CN107704805B - 疲劳驾驶检测方法、行车记录仪及存储装置 - Google Patents
疲劳驾驶检测方法、行车记录仪及存储装置 Download PDFInfo
- Publication number
- CN107704805B CN107704805B CN201710779077.7A CN201710779077A CN107704805B CN 107704805 B CN107704805 B CN 107704805B CN 201710779077 A CN201710779077 A CN 201710779077A CN 107704805 B CN107704805 B CN 107704805B
- Authority
- CN
- China
- Prior art keywords
- face
- facial image
- fatigue driving
- eyes
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 210000001508 eye Anatomy 0.000 claims abstract description 93
- 230000001815 facial effect Effects 0.000 claims abstract description 55
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000007637 random forest analysis Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了疲劳驾驶检测方法、行车记录仪及存储装置，所述疲劳驾驶检测方法通过开启摄像头拍摄人脸图像；读入一帧人脸图像，并对所述人脸图像进行预处理；采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。本发明具有能在检测驾驶员的眨眼状况的过程中排除干扰，准确的对驾驶员的疲劳状态进行判定的优点。
Description
技术领域
本发明涉及机动车疲劳驾驶检测方法领域，特别涉及一种疲劳驾驶检测方法、行车记录仪及存储装置。
背景技术
随着我国汽车保有量的快速提高，我国面临着前所未有的道路交通安全问题。疲劳驾驶是造成交通事故的主要原因之一，据统计约30％的交通事故是由驾驶员疲劳引起的。及时有效地检测出疲劳状态并发出报警信号可以最大程度地减少由疲劳驾驶所引起的交通事故。
疲劳检测的方法主要分为接触式及非接触式两种。采用传感器监测驾驶员生理信号，得到脉搏信号，脑电图，心电图，肌电图，呼吸频率等生理指标对疲劳状态进行分析的方法需要有仪器连接驾驶员身体，称为接触式。通过图像监控驾驶员头部运动和面部表情，进行图像处理，或者通过机械控制监测车辆运行轨迹，分析车辆行驶状态来判断驾驶员状态的方法，称为非接触式。
为了使检测方便，目前多通过非接触式疲劳检测方法对驾驶员状态进行检测。一种非接触式疲劳检测方法为运用计算机视觉方法对驾驶员面部状态进行检测与分析，比如分析驾驶员眨眼、打哈欠、头部状态等，其中在分析驾驶员眨眼时，使用传统的基于灰度投影、求质心或者边缘检测的方法很容易受到驾驶员戴有的如黑框眼睛等物品的干扰。
因而现有技术还有待改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种疲劳驾驶检测方法、行车记录仪及存储装置，具有能在检测驾驶员的眨眼状况的过程中排除干扰，准确的对驾驶员的疲劳状态进行判定的优点。
为了达到上述目的，本发明采取了以下技术方案：
一种疲劳驾驶检测方法,包括如下步骤:
开启摄像头拍摄人脸图像；
读入一帧人脸图像，并对所述人脸图像进行预处理；
采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；
根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；
根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；
统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
所述的疲劳驾驶检测方法中，所述根据人脸框计算得出眼睛和嘴巴周围共16个关键点的坐标信息的步骤包括：
根据人脸框给出人脸的初始形状；
通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸的形状，即确定68个关键点的坐标位置；
选取眼睛和嘴巴周围共16个关键点的坐标信息。
所述的疲劳驾驶检测方法中，所述通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸形状，即确定68个关键点的坐标位置之前，还包括：
根据当前人脸的关键点的像素差特征，利用随机森林得到局部二值特征；
通过局部二值特征串联组成全值特征后，训练得出映射参数；
提取当前的人脸的形状的各个关键点的特征，并与映射参数相乘形成偏移量。
所述的疲劳驾驶检测方法中，所述像素差特征通过以关键点为圆心，以不断减小的r为半径形成圆，并在该圆内随机选取500对位置，通过500对位置的像素值相减形成像素差值作为像素差特征，且其计算公式为:
其中，I为像素强度，x和y为圆内随机生成点的横坐标和纵坐标值，△和△分别为针对该随机生成点的第一点的横坐标及纵坐标的偏移值，△和△分别为针对该随机生成点的第二点的横坐标及纵坐标的偏移值。
所述的疲劳驾驶检测方法中，所述根据检测出的关键点的坐标信息计算眼睛区域的计算公式为：
其中，与为图像中右眼的眼睛区域的左上角的x和y坐标，与为眼睛区域的长和宽，0～5号位分别为由右眼的眼睛区域最左方开始沿逆时针排列的各个关键点位，为该关键点位x方向的坐标，为该关键点位Y方向的坐标，T为由各关键点的位置上往外扩大形成眼睛区域的值。
所述的疲劳驾驶检测方法中，所述统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号的步骤包括：
通过计数器统计30帧人脸图像内眼睛闭合的人脸图像总帧数以及连续闭合的人脸图像帧数，并进行加权平均；
如果加权平均数大于预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
所述的疲劳驾驶检测方法中，所述对图像进行预处理的步骤包括依次对图像进行缩放、裁剪、灰度化和归一化处理。
一种存储装置，所述存储装置存储有计算机程序，所述计算机程序适于被执行以实现如上述意一项所述的疲劳驾驶检测方法。
一种行车记录仪，包括处理器、与所述处理器通信连接的存储器，所述存储器存储有计算机程序，计算机程序适于被执行以实现如上述任意一项所述的疲劳驾驶检测方法；
所述处理器用于调用所述存储器中的计算机程序，以执行如上述任意一项所述的疲劳驾驶检测方法。
相较于现有技术，本发明提供的疲劳驾驶检测方法、行车记录仪及存储装置，所述疲劳驾驶检测方法通过开启摄像头拍摄人脸图像；读入一帧人脸图像，并对所述人脸图像进行预处理；采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。本发明具有能在检测驾驶员的眨眼状况的过程中排除干扰，准确的对驾驶员的疲劳状态进行判定的优点，从而可以在驾驶员疲劳驾驶时及时发出疲劳报警信号，最大程度地减少由疲劳驾驶所引起的交通事故。
附图说明
图1为本发明提供的疲劳驾驶检测方法的流程图。
图2为本发明提供的疲劳驾驶检测方法中步骤S40的流程图。
图3为本发明提供的人脸关键点的示意图。
图4为本发明提供的人脸标定方法的流程图示意图。
图5为本发明提供的像素差特征提取的示意图。
图6为本发明提供的局部二值特征提取的示意图。
图7为本发明提供的疲劳驾驶检测方法中步骤S60的流程图。
图8为本发明提供的一种行车记录仪的较佳实施例的运行环境示意图。
图9为本发明安装疲劳驾驶检测程序的行车记录仪较佳实施例的功能模块图。
具体实施方式
鉴于现有技术中分析驾驶员眨眼时使用的基于灰度投影、求质心或者边缘检测的方法很容易受到驾驶员戴有的如黑框眼睛等物品的干扰，本发明的目的在于提供疲劳驾驶检测方法、行车记录仪及存储装置，能在检测驾驶员的眨眼状况的过程中排除干扰并对驾驶员的疲劳状态进行准确的判定，从而可以在驾驶员疲劳驾驶时及时发出疲劳报警信号，最大程度地减少由疲劳驾驶所引起的交通事故。
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，为本发明提供的疲劳驾驶检测方法的流程图，其包括以下步骤：
S10、开启摄像头拍摄人脸图像。
其中，摄像头为与行车记录仪连接的车内摄像头，可以预先设置在机动车内后视镜上或者其他能拍摄驾驶员面部的位置。
S20、读入一帧人脸图像，并对所述人脸图像进行预处理。
优选的，所述对图像进行预处理的步骤包括依次对图像进行缩放、裁剪、灰度化和归一化处理。对图像进行缩放和裁剪是为了得到合适尺寸的图像，便于对其后续的处理。灰度化是为了减小图像原始数据量，减少对图像后续处理时的计算量。最后通过对图像进行了一系列标准的处理变换即归一化处理，使图像变换为能被嵌入式模型处理的固定标准形式。
S30、采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框。
Adaboost算法是一种提升算法，其针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。Haar是最早是由Papageorgiou等应用于人脸表示，Viola和Jones在此基础上，提出的一种简单矩形特征，常用于人脸检测。本实施例给出的人脸检测算法的详细说明如下：
定义Haar人脸检测分类器cv::CascadeClassifier haar_cascade;
加载OpenCV模块训练好的分类器模型bool yes = haar_cascade.load(fn_haar);
调用函数进行人脸检测haar_cascade.detectMultiScale（）
关于haar_cascade.detectMultiScale（）函数补充说明：
haar_cascade.detectMultiScale(resizedFrame, faces, 1.1, 3, 0,
cv::Size(image.rows / 5, image.rows / 5),
cv::Size(image.rows * 2 / 3, image.rows * 2 / 3));
输入：裁剪过的归一化图片。
输出：保存在faces里面，faces是定义的Vector型变量，存储的是一系列人脸框。
BoundingBox 是本实施例定义的类，描述一个矩形框的左上角x,y坐标，长、宽，中心点坐标，可以根据faces坐标来计算。
S40、根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息。
现有人脸检测技术中需要采用多个关键点信息确定人脸的形状，一般认为68个关键点即可确定人脸的五官轮廓。鉴于本实施例提供的疲劳驾驶检测方法采用的嵌入式模型大小的要求及运行速度的要求，本实施例只采用眼睛和嘴巴周围共16个关键点的位置坐标信息。请参阅图2，其为本发明提供的疲劳驾驶检测方法中步骤S40的流程图。
如图2所示，所述步骤S40包括：
S41、根据人脸框给出人脸的初始形状。
S42、通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸的形状，即确定68个关键点的坐标位置。
S43、选取眼睛和嘴巴周围共16个关键点的坐标信息。
通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量是一个不断迭代的过程。通过给一个人脸初始形状，通过多次回归，每次都向正确方向回归一步。请参阅图3，其为本发明提供的人脸关键点示意图。人脸上68个关键点位置（本实施例只选取眼睛和嘴巴周围共16个关键点）组成人脸特征的形状，其中每一个点都有一个坐标，这68个关键点位置的集合就构成了形状S，S=（x1,y1,x2,y2,…x68,y68），其中△S指的是每一个关键点在更新的时候二维的偏移量(∆x,∆y)。比如初始的时候一个点在位置（x1,y1），需要让这个点移动△S =(∆x,∆y)，通过每一次都移动△S，移动多次，最后这个点就到达了一个正确的位置，比如正好落在了眼角的位置。即每一次都是在原来形状的基础上更新一个△S，直到到达正确位置
本实施例采用的人脸标定方法，即对偏移量△S的确定方法出自Face Alignmentat3000 FPS via Regressing Local Binary Features，简称face alignment 3000，该方法提取的是局部局部二值特征。本实施例给出的人脸关键点检测算法的详细说明如下：
采用face alignment 3000fps人脸标定方法。
cv:Mat_<double> res = cas_load.Predict(image, current_shape, bbox);
输入：图像，初始人脸形状，上一步Haar检测出来的人脸框。
输出：预测出的正确人脸形状，即人脸上68个关键点的坐标信息，并只采用眼睛和嘴巴周围共16个关键点。
请继续参阅图4，其为本发明提供的人脸标定方法流程图，在疲劳驾驶检测方法中步骤S42之前还包括如下步骤：
S401、根据当前人脸的关键点的像素差特征，利用随机森林得到局部二值特征；
S402、通过局部二值特征串联组成全值特征后，训练得出映射参数；
S403、提取当前的人脸的形状的各个关键点的特征，并与映射参数相乘形成偏移量。
本实施例给出的人脸形状的预测函数的详细说明如下：
伪代码：
Input: Image I, initial shape
Output: refined shape S
For t=1:T //总共有T个stage
{
}
进一步的。请继续参阅图5，其为本发明提供的像素差特征提取示意图，所述像素差特征通过以各个关键点为圆心，以不断减小的r为半径形成圆，并在该圆内随机选取500对位置，通过500对位置的像素值相减形成像素差值作为像素差特征，且其计算公式为:
其中，I为像素强度，x和y为由圆内随机生成点的横坐标和纵坐标值，△和△分别为针对该随机生成点的第一点的横坐标及纵坐标的偏移值，△和△分别为针对该随机生成点的第二点的横坐标及纵坐标的偏移值。
更进一步的，请继续参阅图6，其为本实施例中局部二值特征提取的示意图。此外本实施例提供的一种特征提取函数binary_features = GetGlobalBinaryFeatures（）步骤如下：
特征提取：在每一个关键点附近单独提取特征，然后再串联起来，最后形成的是1000010001……等局部二值特征，在每一个关键点是建立随机森林来提取特征，随机森林由决策树组成，决策树建立时所用的分裂节点的特征集合是像素差特征。
创建随机森林的伪代码：
Random Forest由很多tree组成，相比于单棵tree能够防止模型的over fitting。Random Forest能用于regression(本文用到的功能)和classification。那么如何建立Random Forest，主要是如何选择split node，下面以如何构建一颗regression tree为例。首先我们确定一个landmark l，随机产生在l附近的500个pixel difference features的位置，然后对training中的所有images抽取这500个features，确定要构建l的第几个棵树（其他树一样，只是训练数据不一样而已）。
从树根节点开始
var = variance of landmark l of traing images,
var_red = -INFINITY, fea = -1, left_child = NULL, right_child = NULL
For each feature f:
{
threshold = random choose from all images’s feature f
tmp_left_child = images with f < threshold
// 左子节点为所有f小于threshold的图片
tmp_right_child = images with f >= threshold tmp_var_red=var-|left_child|/|root|*var_tmp_left_child-|right_child|/|root|*var_tmp_right_child
// var_tmp_left_child是左子节点landmark l的variance
if ( tmp_var_red > var_red) {
mvar_red = tmp_var_red
fea = f
left_child = tmp_left_child
right_child = tmp_right_child
}
}End For
fea就是最后选择的feature，实际上var是固定的，所以不用算，|left_child|是当前left_child所包含的图片数，|root|表示root包含的图片数，实际计算的时候可以省去，因为是定的。对子节点left_child和right_child做跟3一样的操作，直到达到tree的最大depth，或者对于某一个根节点根据maximum variance reduction找到的feature是恰好一个child包含了所有的图，而另一个child没有图（事实上这个情况基本上不太可能出现），所以训练的时候基本上能够达到定义的max_depth，经验证，max_depth=5,6就可以了，再深很容易出现overfitting的问题landmark l的其他树也一样如上，对其他landmark和对l的操作一样。
至此一个关键点附近的随机森林已经创建好了，接下来是二值特征提取过程：
那么对于每一张图的每一个landmark的每一棵树最后都会输出一个值，第一棵树遍历后来到了最左边的子节点所以记为[1, 0, 0, 0]，对于每一棵树访问到的叶子节点记为1，其他的记为0，然后一个landmark拥有一个forest即有多棵树，那么把所有的结果连起来就是 =[1,0,0,0,0,1,0,0,0,0,1,0,…]，真正的Local Binary Features是将所有的landmark的这些feature都连起来。所以我们可以看出这是一个很稀疏的向量，中间为1的个数是所有landmark中tree的总个数，其余的为0。
应当说明的是，图3、图4、图5和图6仅用于协助更好的理解本发明的技术方案，其对本发明的疲劳驾驶检测方法的技术方案不会造成任何影响。
请继续结合图3，所述根据检测出的关键点的坐标信息计算眼睛区域（图中矩形框）的计算公式为：
其中，与为图像中右眼的眼睛区域的左上角的x和y坐标，与为眼睛区域的长和宽，0～5号位分别为由右眼的眼睛区域最左方开始沿逆时针排列的各个关键点位，为该关键点位x方向的坐标，为该关键点位Y方向的坐标，T为由各关键点的位置上往外扩大形成眼睛区域的值，设置T值的目的是为了完整的把眼睛框出来。
S50、根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态。
SVM分类器是指支持向量机，通俗来讲，它是机器学习里泛化分类能力较好的一个分类器，是一种二分类模型。HOG是指方向梯度直方图（Histogram of Oriented Gradient）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图(直方图(Histogram)又称质量分布图。是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况)来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，在本实施例中被用于判断眼睛是睁开还是闭合。
此外，卡内基梅隆研究所经过反复实验和论证，提出了度量疲劳/瞌睡的物理量（PERCLOS），其定义为单位时间内眼睛闭合所占的百分比，超过阈值就认为发生了瞌睡。故本实施例提供一种人眼睁闭状态检测具体流程如下：
EyesStat = detectEyeVar(image, res, count, leftSvm, rightSvm);
左右眼分别进行提取HOG特征，送入SVM分类器，判断眼睛状态。
以左眼为例：
定义HOG特征描述子HOGDescriptor leftHog；
计算HOG特征leftTestFeatureMat.at<float>(0,i) =left Descriptor [i];
SVM分类器预测int LeftEyeResult = leftsvm.predict(leftTestFeatureMat)，
两只眼睛都为睁开状态判定为睁开，只要有一只眼睛为闭合状态判定为闭合状态。
S60、统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
请参阅图7，其为本发明提供的疲劳驾驶检测方法中步骤S60的流程图。所述步骤S60包括：
S61、通过计数器统计30帧人脸图像内眼睛闭合的人脸图像总帧数以及连续闭合的人脸图像帧数，并进行加权平均；
S62、如果加权平均数大于预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
本实施例提供的驾驶员疲劳状态检测具体流程如下：
Eye_Status.checkEyeStat(EyesStat);
EyeCloseNumTab[ ] 设置一段时间内眼睛闭合总次数对疲劳影响程度的权值的数组。
eyeCloseDurationTab[ ] 设置一段时间内眼睛连续闭合次数对疲劳影响程度的权值的数组。
统计30帧内，眼睛闭合总次数，和连续闭合的次数，两者用上面的数组做一个加权，算出一个疲劳值，如果大于疲劳阈值则判定为疲劳，否则为不疲劳。
本发明还提供一种存储装置，所述存储装置存储有计算机程序，所述计算机程序适于被执行以实现上述的基于行车记录仪的疲劳驾驶检测方法
请继续参阅图8，其为本发明提供的行车记录仪的较佳实施例的运行环境示意图，所述行车记录仪包括处理器10、与所述处理器通信连接的存储器20，所述存储器存储有计算机程序，计算机程序适于被执行以实现如上述的基于行车记录仪的疲劳驾驶检测方法。
所述处理器用于调用所述存储器中的计算机程序，以执行上述的基于行车记录仪的疲劳驾驶检测方法。
当然，图8仅示出了行车记录仪的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。比如行车记录仪还包括显示器30。
所述存储器20在一些实施例中可以是所述行车记录仪的各组件的内部存储单元，例如行车记录仪的硬盘或内存。所述存储器20在另一些实施例中也可以是所述行车记录仪的外部存储设备，例如行车记录仪上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述行车记录仪的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述行车记录仪的应用软件及各类数据，例如所述安装行车记录仪的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有疲劳驾驶检测程序40，该疲劳驾驶检测程序40可被处理器10所执行，从而实现本申请各实施例的疲劳驾驶检测方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述权限认证方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述行车记录仪中处理的信息以及用于显示可视化的用户界面，例如指派信息界面、认证报告界面等。所述行车记录仪的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中疲劳驾驶检测程序40时实现以下步骤：
开启摄像头拍摄人脸图像；
读入一帧人脸图像，并对所述人脸图像进行预处理；
采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；
根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；
根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；
统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
根据人脸框计算得出眼睛和嘴巴周围共16个关键点的坐标信息的步骤包括：
根据人脸框给出人脸的初始形状；
通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸的形状，即确定68个关键点的坐标位置；
选取眼睛和嘴巴周围共16个关键点的坐标信息。
通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸形状，即确定68个关键点的坐标位置之前，还包括：
根据当前人脸的关键点的像素差特征，利用随机森林得到二值特征；
通过二值特征串联组成全值特征后，训练得出全局线性投影参数；
提取当前的人脸的形状的各个关键点的特征，并与全局线性投影参数相乘形成偏移量。
所述统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号的步骤包括：
通过计数器统计30帧人脸图像内眼睛闭合的人脸图像总帧数以及连续闭合的人脸图像帧数，并进行加权平均；
如果加权平均数大于预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
请参阅图9，其为本发明安装疲劳驾驶检测程序的行车记录仪较佳实施例的功能模块图。在本实施例中，安装疲劳驾驶检测程序的行车记录仪可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器20中，并由一个或多个处理器（本实施例为所述处理器10）所执行，以完成本发明。例如，在图9中，行车记录仪可以被分割成图像接收模块21、图像处理模块22、分析模块23和报警模块24。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述微信客户行为反馈程序在所述微信客户行为反馈设备中的执行过程。以下描述将具体介绍所述模块21-24的功能。
图像接收模块21，用于开启摄像头拍摄人脸图像，并将人脸图像输入图像处理模块；
图像处理模块22，用于对人脸图像进行预处理及人脸检测，绘制人脸框并预测得出眼睛和嘴巴周围共16个关键点的坐标信息；
分析模块23，用于根据关键点的坐标信息判断眼睛是否为闭合状态，并统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，判定是否为疲劳驾驶。
报警模块24，用于输出疲劳报警信号。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储装置中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储装置可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：
开启摄像头拍摄人脸图像；
读入一帧人脸图像，并对所述人脸图像进行预处理；
采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；
根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；
根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；
统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号；
所述根据人脸框计算得出眼睛和嘴巴周围共16个关键点的坐标信息的步骤包括：
根据人脸框给出人脸的初始形状；
通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸的形状，即确定68个关键点的坐标位置；
选取眼睛和嘴巴周围共16个关键点的坐标信息；
所述通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸形状，即确定68个关键点的坐标位置之前，还包括：
根据当前人脸的关键点的像素差特征，利用随机森林得到局部二值特征；
通过局部二值特征串联组成全值特征后，训练得出映射参数；
提取当前的人脸的形状的各个关键点的特征，并与映射参数相乘形成偏移量。
2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述像素差特征通过以关键点为圆心，以不断减小的r为半径形成圆，并在该圆内随机选取500对位置，通过500对位置的像素值相减形成像素差值作为像素差特征，且其计算公式为:
其中，I为像素强度，x和y为圆内随机生成点的横坐标和纵坐标值，△和△分别为针对该随机生成点的第一点的横坐标及纵坐标的偏移值，△和△分别为针对该随机生成点的第二点的横坐标及纵坐标的偏移值。
3.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据检测出的关键点的坐标信息计算眼睛区域的计算公式为：
其中，与为图像中右眼的眼睛区域的左上角的x和y坐标，与为眼睛区域的长和宽，0～5号位分别为由右眼的眼睛区域最左方开始沿逆时针排列的各个关键点位，为该关键点位x方向的坐标，为该关键点位Y方向的坐标，T为由各关键点的位置上往外扩大形成眼睛区域的值。
4.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号的步骤包括：
通过计数器统计30帧人脸图像内眼睛闭合的人脸图像总帧数以及连续闭合的人脸图像帧数，并进行加权平均；
如果加权平均数大于预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。
5.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述对图像进行预处理的步骤包括依次对图像进行缩放、裁剪、灰度化和归一化处理。
6.一种存储装置，其特征在于，所述存储装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1~5任意一项所述的疲劳驾驶检测方法。
7.一种行车记录仪，其特征在于，包括处理器、与所述处理器通信连接的存储器，所述存储器存储有计算机程序，计算机程序适于被执行以实现如权利要求1~5任意一项所述的疲劳驾驶检测方法；
所述处理器用于调用所述存储器中的计算机程序，以执行如权利要求1~5任意一项所述的疲劳驾驶检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710779077.7A CN107704805B (zh) | 2017-09-01 | 2017-09-01 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710779077.7A CN107704805B (zh) | 2017-09-01 | 2017-09-01 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107704805A CN107704805A (zh) | 2018-02-16 |
| CN107704805B true CN107704805B (zh) | 2018-09-07 |
Family
ID=61171433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710779077.7A Active CN107704805B (zh) | 2017-09-01 | 2017-09-01 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107704805B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470322B (zh) * | 2018-03-09 | 2022-03-18 | 北京小米移动软件有限公司 | 处理人脸图像的方法、装置及可读存储介质 |
| CN108615014B (zh) * | 2018-04-27 | 2022-06-21 | 京东方科技集团股份有限公司 | 一种眼睛状态的检测方法、装置、设备和介质 |
| CN109063545B (zh) * | 2018-06-13 | 2021-11-12 | 五邑大学 | 一种疲劳驾驶检测方法及装置 |
| CN110659537B (zh) * | 2018-06-28 | 2022-05-20 | 长沙智能驾驶研究院有限公司 | 驾驶员异常驾驶行为检测方法、计算机设备和存储介质 |
| CN109241842B (zh) * | 2018-08-02 | 2024-03-05 | 平安科技（深圳）有限公司 | 疲劳驾驶检测方法、装置、计算机设备及存储介质 |
| JP7034052B2 (ja) * | 2018-11-02 | 2022-03-11 | 京セラ株式会社 | 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム |
| CN111160071B (zh) * | 2018-11-08 | 2023-04-07 | 杭州海康威视数字技术股份有限公司 | 一种疲劳驾驶检测方法和装置 |
| CN111661059B (zh) * | 2019-03-08 | 2022-07-08 | 虹软科技股份有限公司 | 分心驾驶监测方法、系统及电子设备 |
| CN109919131A (zh) * | 2019-03-22 | 2019-06-21 | 杭州电子科技大学 | 一种基于图像处理技术的疲劳检测方法 |
| CN111860056B (zh) * | 2019-04-29 | 2023-10-20 | 北京眼神智能科技有限公司 | 基于眨眼的活体检测方法、装置、可读存储介质及设备 |
| CN110751011A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
| CN112241645A (zh) * | 2019-07-16 | 2021-01-19 | 广州汽车集团股份有限公司 | 一种疲劳驾驶检测方法及其系统、电子设备 |
| CN110826396B (zh) * | 2019-09-18 | 2022-04-22 | 云知声智能科技股份有限公司 | 一种视频中眼睛状态检测方法及装置 |
| CN111209789B (zh) * | 2019-10-21 | 2023-06-06 | 高新兴创联科技有限公司 | 对关键项点发生瞬间进行图像采集以及分析的方法 |
| CN111184509A (zh) * | 2019-11-29 | 2020-05-22 | 杭州电子科技大学 | 一种基于传递熵的情绪诱导脑电信号分类方法 |
| CN111160123B (zh) * | 2019-12-11 | 2023-06-09 | 桂林长海发展有限责任公司 | 一种飞机目标识别方法、装置及存储介质 |
| CN111079679A (zh) * | 2019-12-23 | 2020-04-28 | 广东小天才科技有限公司 | 一种眼睛疲惫值判断方法、装置、设备及存储介质 |
| CN111645695B (zh) * | 2020-06-28 | 2022-08-09 | 北京百度网讯科技有限公司 | 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质 |
| CN111814880A (zh) * | 2020-07-10 | 2020-10-23 | 北京航空航天大学 | 一种基于贝叶斯最优化XGBoost算法的疲劳预测方法 |
| CN112183220B (zh) * | 2020-09-04 | 2024-05-24 | 广州汽车集团股份有限公司 | 一种驾驶员疲劳检测方法及其系统、计算机存储介质 |
| CN112528792B (zh) * | 2020-12-03 | 2024-05-31 | 深圳地平线机器人科技有限公司 | 疲劳状态检测方法、装置、介质及电子设备 |
| CN113705460B (zh) * | 2021-08-30 | 2024-03-15 | 平安科技（深圳）有限公司 | 图像中人脸睁眼闭眼检测方法、装置、设备及存储介质 |
| CN113780125A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种驾驶员多特征融合的疲劳状态检测方法及装置 |
| CN114049676A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安财产保险股份有限公司 | 疲劳状态检测方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150870A (zh) * | 2013-02-04 | 2013-06-12 | 浙江捷尚视觉科技有限公司 | 一种基于视频的火车驾驶员疲劳检测方法 |
| CN103839056A (zh) * | 2014-03-24 | 2014-06-04 | 智慧城市系统服务（中国）有限公司 | 一种人眼状态识别方法和装置 |
| CN105354986A (zh) * | 2015-11-12 | 2016-02-24 | 熊强 | 汽车司机驾驶状态监测系统及方法 |
| CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技（深圳）有限公司 | 一种驾驶员疲劳状态检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100590572B1 (ko) * | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | 눈 위치 검출 방법 및 장치 |
-
2017
- 2017-09-01 CN CN201710779077.7A patent/CN107704805B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150870A (zh) * | 2013-02-04 | 2013-06-12 | 浙江捷尚视觉科技有限公司 | 一种基于视频的火车驾驶员疲劳检测方法 |
| CN103839056A (zh) * | 2014-03-24 | 2014-06-04 | 智慧城市系统服务（中国）有限公司 | 一种人眼状态识别方法和装置 |
| CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技（深圳）有限公司 | 一种驾驶员疲劳状态检测方法及系统 |
| CN105354986A (zh) * | 2015-11-12 | 2016-02-24 | 熊强 | 汽车司机驾驶状态监测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107704805A (zh) | 2018-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704805B (zh) | 疲劳驾驶检测方法、行车记录仪及存储装置 | |
| You et al. | A real-time driving drowsiness detection algorithm with individual differences consideration | |
| Li et al. | A fatigue driving detection algorithm based on facial multi-feature fusion | |
| Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
| CN109308445B (zh) | 一种基于信息融合的固定岗位人员疲劳检测方法 | |
| Alioua et al. | Driver’s fatigue detection based on yawning extraction | |
| Mbouna et al. | Visual analysis of eye state and head pose for driver alertness monitoring | |
| CN102289660B (zh) | 一种基于手部姿态跟踪的违规驾驶行为检测方法 | |
| Zhang et al. | Driver yawning detection based on long short term memory networks | |
| CN105335722A (zh) | 一种基于深度图像信息的检测系统及方法 | |
| You et al. | A fatigue driving detection algorithm based on facial motion information entropy | |
| CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
| CN104881956A (zh) | 一种疲劳驾驶预警系统 | |
| Lashkov et al. | Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing | |
| CN112699802A (zh) | 一种驾驶员微表情检测装置及方法 | |
| CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测系统 | |
| JP7211428B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN112052829B (zh) | 一种基于深度学习的飞行员行为监控方法 | |
| AlKishri et al. | Enhanced image processing and fuzzy logic approach for optimizing driver drowsiness detection | |
| CN116758643A (zh) | 一种深度伪造人脸图像检测方法及装置 | |
| CN110443211A (zh) | 基于车载gpu的列车驾驶盹睡检测系统及方法 | |
| CN114792437A (zh) | 一种基于面部特征的安全驾驶行为分析的方法及系统 | |
| CN114049676A (zh) | 疲劳状态检测方法、装置、设备及存储介质 | |
| CN109711260B (zh) | 疲劳状态的检测方法、终端设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fatigue driving detection method, automobile data recorder and storage device Effective date of registration: 20200331 Granted publication date: 20180907 Pledgee: Shenzhen SME financing Company limited by guarantee Pledgor: SHENZHEN APICAL TECHNOLOGY Co.,Ltd. Registration number: Y2020990000255 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210330 Granted publication date: 20180907 Pledgee: Shenzhen SME financing Company limited by guarantee Pledgor: SHENZHEN APICAL TECHNOLOGY Co.,Ltd. Registration number: Y2020990000255 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fatigue driving detection method, driving recorder and storage device Effective date of registration: 20210413 Granted publication date: 20180907 Pledgee: Shenzhen SME financing Company limited by guarantee Pledgor: SHENZHEN APICAL TECHNOLOGY Co.,Ltd. Registration number: Y2021980002582 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220419 Granted publication date: 20180907 Pledgee: Shenzhen SME financing Company limited by guarantee Pledgor: SHENZHEN APICAL TECHNOLOGY CO.,LTD. Registration number: Y2021980002582 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fatigue driving detection method, tachograph and storage device Effective date of registration: 20220425 Granted publication date: 20180907 Pledgee: Shenzhen SME financing Company limited by guarantee Pledgor: SHENZHEN APICAL TECHNOLOGY CO.,LTD. Registration number: Y2022980004784 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20180907 Pledgee: Shenzhen SME financing Company limited by guarantee Pledgor: SHENZHEN APICAL TECHNOLOGY CO.,LTD. Registration number: Y2022980004784 |