CN111191573A - 一种基于眨眼规律识别的驾驶员疲劳检测方法 - Google Patents
一种基于眨眼规律识别的驾驶员疲劳检测方法 Download PDFInfo
- Publication number
- CN111191573A CN111191573A CN201911371427.1A CN201911371427A CN111191573A CN 111191573 A CN111191573 A CN 111191573A CN 201911371427 A CN201911371427 A CN 201911371427A CN 111191573 A CN111191573 A CN 111191573A
- Authority
- CN
- China
- Prior art keywords
- eye
- image
- eyes
- blink
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000004399 eye closure Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 10
- 230000004397 blinking Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于眨眼规律识别的驾驶员疲劳检测方法，首先提取眼部图片，建立训练集，然后训练模型；对驾驶员的眼部图像进行识别，如果连续多帧都识别为闭眼，则显示驾驶员为疲劳状态；本发明使用多种算法相结合，构成一个整体，能够精细化的定位到眼睛，更为准确的判断眼睛部位矩阵睁眼闭眼状态；在场景剧烈变化时，睁眼闭眼误检率也较低，从而拥有相对较高的通过眨眼规律来进行疲劳检测的识别精度。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及一种基于眨眼规律识别的驾驶员疲劳检测方法。
背景技术
1)随着我国生活水平的提高，人们的衣食住行等方面有了很大的改善，在交通方面更是有了质的飞跃。四通八达的道路、便捷的交通工具大大地缩短了人与人的距离，但是交通事故也变得多发起来。其中，疲劳驾驶正逐渐成为交通事故的主要原因之一，疲劳驾驶是指驾驶员由于睡眠不足或长时间持续驾驶造成的反应能力下降，这种下降表现在注意力不集中、反映迟钝、操作不当等问题，从而直接导致了交通事故的发生。如果通过疲劳检测技术提醒驾驶者，将会很大程度上预防和减少交通事故的发生，使得公民的出行更加安全。
2)目前，在基于眨眼规律识别的驾驶员疲劳检测的技术领域中，大多依据眼睛在一段时间内每次眨眼时闭眼的持续时间来进行疲劳检测的，经过实验统计，精神状态饱满的人员，每次眨眼时闭眼的持续时间200到300毫秒左右；疲劳的人员每次眨眼时的持续时间800到900毫秒左右，甚至更长。利用眨眼规律识别来进行疲劳检测，也就转化成了眼睛位置检测以及睁眼和闭眼的检测。主要有利用二值化的方式和利用模板匹配的方式以及利用人脸提取的特征点的方式。具体为，利用二值化的方式，首先检测出人脸，利用皮肤颜色对人脸进行二值化，统计在人脸区域内的眼睛区域的黑色部分的像素数，来判断睁眼和闭眼；利用模板匹配的方式，首先利用灰度积分确定准眼睛区域，在准确定位脸部位置后，根据人脸的面部器官的分布，人眼在脸部的上半部，所以首先截取人脸区域是上半部进行处理，人脸图像中眼睛部位的灰度值通常比周围区的灰度值小，利用该特征常使用积分投影的方法来定位眼睛，然后利用模板匹配方法，利用模板在待搜索图像中搜索与模板具有相近的尺寸、方向和图像的子图，并确定其坐标位置以及判断当前图像睁眼和闭眼；利用人脸提取的特征点的方式，首先根据提取的人脸特征点来确定眼睛的位置，然后根据眼睛位置的特征点坐标对应的纵横比来判断当前图像睁眼和闭眼。
3)虽然利用二值化的方式和利用模板匹配的方式以及利用人脸提取的特征点的方式等几种方式，在利用眼睛位置检测以及睁眼和闭眼的检测，然后结合闭眼的持续时间做驾驶员疲劳检测的方案取得了不错的效果，但是仍然存在一些不足：
(1)利用二值化的方式，利用眼睛区域的黑色部分的像素数来判别睁眼和闭眼，用来做判别的阈值的取值受光照强度、场景变化等因素影响较大，造成算法的鲁棒性较差，在睁眼闭眼的识别精度上表现一般。
(2)利用模板匹配的方式，在利用模板在待搜索图像中搜索与模板具有相近的尺寸、方向和图像的子图，并确定其坐标位置以及判断当前图像睁眼和闭眼的过程中，判别精度受光照强度、人眼尺寸、人眼外形等因素影响较大，造成只有在特定的场合特定的人员的情况下，能够达到较高的精度。
(3)利用人脸提取的特征点的方式，虽然根据检测出的人眼特征点在判别睁眼和闭眼时，几乎不受光照强度、场景变化，人眼尺寸、人眼外形等因素的影响，并取得较好的精度，但是，在眨眼检测时如果人员低头，多数情况下会出现如图2所示把眉毛误判为人眼的情况，造成这种情况下识别精度大大降低，进一步影响了算法整体的识别精度。
发明内容
有鉴于此，本发明的目的是提供一种基于眨眼规律识别的驾驶员疲劳检测方法，可以精确的检测人员睁、闭眼，结合驾驶员疲劳时的眨眼规律，最终实现驾驶员疲劳检测。
一种基于眨眼规律识别的疲劳检测方法，其特征在于，包括：
步骤一、拍摄若干人脸图像，并截取左眼和右眼的眼睛部位图像；
步骤二、对所述眼睛图像进行预处理，包括：
首先，将所有所述眼睛部位图像尺寸调整为统一大小；
然后，使用高斯滤波对眼睛部位图像进行降噪；
再然后，对眼睛部位图像进行直方图均衡化；
最后，将眼睛部位图像的每个颜色通道进行归一化；
步骤三、然后给每张眼睛部位图像标记标签：睁眼或者闭眼，由此得到训练数据集；将交叉熵损失函数作为损失函数，基于训练数据集对深度学习神经元网络进行学习和训练，最后得到可判断人员睁眼或闭眼的模型；
步骤四、拍摄驾驶员脸部的视频，对于视频中每一帧图像按照步骤一至步骤二的方法进行处理，得到每一帧的眼睛部位图像；然后将每一帧眼睛部位图像采用步骤三的模型进行识别；如果识别出的闭眼连续帧数超过设定的阈值，发出相应的疲劳报警信息。
较佳的，所述步骤一中，拍摄人脸图像后，通过人脸关键点检测模型来定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点，然后再截取左眼和右眼的眼睛部位图像。
较佳的，在截取眼睛部位图像时，分别截取以左右眼为中心的正方形图像，正方形的边长为左右眼睛直线距离的一半。
较佳的，所述将所有所述眼睛部位图像尺寸调整为统一大小时；如果眼睛部位图像尺寸小于标准尺寸，使用最临近点插值算法放大图像；如果眼睛部位图像尺寸大于标准尺寸大小，采用基于区域子块提取的方法缩小图像，即：在求缩小图像的像素时，不仅仅单纯的取在原图像中的采样点像素，将原图像分成一个个的子块，缩小图像的像素取相应子块像素的均值。
5较佳的，所述高斯滤波的方法为：针对每一个像素点的像素值，将其本身和邻域内的其他像素值经过加权平均后得到。
较佳的，所述深度学习神经元网络为VGG、GoogleNet或Resnet。
较佳的，所述设定的阈值为7帧。
本发明具有如下有益效果：
本发明的一种基于眨眼规律识别的驾驶员疲劳检测方法，首先提取眼部图片，建立训练集，然后训练模型；对驾驶员的眼部图像进行识别，如果连续多帧都识别为闭眼，则显示驾驶员为疲劳状态；本发明使用多种算法相结合，构成一个整体，能够精细化的定位到眼睛，更为准确的判断眼睛部位矩阵睁眼闭眼状态；在场景剧烈变化时，睁眼闭眼误检率也较低，从而拥有相对较高的通过眨眼规律来进行疲劳检测的识别精度；相对于利用二值化的方式，能够在光照强度、场景等变化较大的情况下，本发明具有很高的鲁棒性，能够达到较高的睁眼闭眼的识别精度；相对于利用模板匹配的方式来说，本发明由于使用了深度学习技术进行睁眼闭眼检测，所以检测精度几乎不受光照强度、人眼尺寸、人眼外形等因素影响；相对于利用人脸提取的特征点的方式来说，即使在眨眼检测时如果人员低头，本发明也不会出现把眉毛误判为人眼的情况，在这种情况下识别精度也能够得到保证，进一步保证了算法的整体的识别精度。
附图说明
图1为本发明算法流程图；
图2为把眉毛误判为人眼的情况；
图3为步骤三使用到的睁眼闭眼数据集合；
图4为本发明驾驶员疲劳检测的情况。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
一种基于眨眼规律识别的驾驶员疲劳检测的方法，其基本实施过程如下：
步骤一、输入待检测人员图像序列，读取一帧图像，定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点。其中，定位关键点是通过人脸关键点检测模型来实现的。
步骤二、根据关键点坐标截取眼睛部位图像。具体为，分别截取以左右眼为中心的正方形图像矩阵，正方形的边长为左右眼睛直线距离的一半，得到的正方形图像矩阵即为截取的眼睛部位图像。
步骤三、使用一组数字图像处理操作处理截取的眼睛图像，使得截取的眼睛部位图像能够作为后续步骤的良好的输入，以此来达到提高本发明检测精度的目的。操作具体为：
首先，将截取的眼睛部位图像尺寸调整为同一大小。如果截取的原始眼睛部位图像尺寸小于标准尺寸大小，使用最临近点插值算法放大原始眼睛部位图像；如果截取的原始眼睛部位图像尺寸大于标准尺寸大小，采用基于区域子块提取图像缩小的方法缩小图像，具体为在求缩小图像的像素时，不仅仅单纯的取在原图像中的采样点像素，将原图像分成一个个的子块，缩小图像的像素取相应子块像素的均值。
然后，使用高斯滤波对眼睛图像进行模糊处理，减少瑕疵点，以此来达到对图像降噪的目的。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。具体操作为：用一个模板扫描图像中的每一个像素，用模板中像素的加权平均值去替代模板中心像素点的值。高斯滤波相对于均值滤波它的平滑效果更柔和，而且边缘保留的也更好。
最后，对上一阶段得到的眼睛图像进行直方图均衡化。直方图均衡化对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。它的基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围从而可达到增强图像整体对比度的效果。以此来凸显睁眼和闭眼的不同特征。
步骤四、利用睁闭眼判别模型判断截取眼睛图像的眼睛状态并记录。使用深度学习模型来判断人员睁眼或闭眼，具体为：首先，随机裁剪眼部图像原图和对原图进行水平翻转后的图像,扩大数据集合；然后，将眼睛图像数据集合的测试集和训练集尺寸，将尺寸调整为同一大小；接着，对整个训练集的图片进行归一化，也就是训练集图片的每个颜色通道分别减去所有训练集图片在该颜色通道平均值；随后，使用深度学习神经元网络例如VGG、GoogleNet，Resnet等，根据眼睛图像数据集合提取眼部区域睁眼和闭眼特征，使用交叉熵损失函数作为损失函数；最后，构建出可判断人员睁眼或闭眼的模型。
步骤五、拍摄驾驶员脸部的视频，对于视频中每一帧图像按照步骤一至步骤三的方法进行处理，得到每一帧的眼睛图像；然后将每一帧眼睛图像采用步骤四的模型进行识别；如果识别出的闭眼连续帧数超过设定的阈值，发出相应的疲劳报警信息，否则继续处理待检测人员图像序列。
其中判断疲劳的连续闭眼帧数的阈值是通过如下方法确定的，经过实验统计，精神状态饱满的人员，每次眨眼时闭眼的持续时间200到300毫秒左右，疲劳的人员每次眨眼时的持续时间800到900毫秒左右，甚至更长。再结合不同设备利用算法处理每一帧图像的时间，最终确定判别阈值。
自此，就完成了一种基于眨眼规律识别的驾驶员疲劳检测的方法。
实施例：
首先，输入待检测人员图像序列，读取一帧图像，利用MTCNN人脸检测定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点。
其次，根据关键点坐标截取眼睛部位图像。具体为，假设左眼坐标为(x1,y1),右眼坐标为(x2,y2)。截取的左眼部位矩阵的左上角坐标为：
左眼部位正方形图像矩阵的边长为：
截取的右眼部位矩阵的左上角坐标为：
右眼部位正方形图像矩阵的边长为：
也就是分别截取以左右眼为中心的正方形图像矩阵，正方形的边长为左右眼睛直线距离的一半，得到的正方形图像矩阵即为截取的眼睛部位图像。
接着，使用一组数字图像处理操作处理截取的眼睛图像，使得截取的眼睛部位图像能够作为后续步骤的良好的输入。
然后，利用睁闭眼判别模型判断截取眼睛图像的眼睛状态并记录。使用自己训练的深度学习模型来判断人员睁眼或闭眼，具体为：首先，数据预处理，以步长为1随机裁剪眼部图像原图和对原图进行水平翻转后的图像,每张原始图像随机裁剪出10张；然后，将眼睛图像数据集合的测试集和训练集尺寸，将尺寸调整为同一大小为24x24；接着，对整个训练集的图片进行归一化，也就是训练集图片的每个通道分别减去训练集该通道平均值；随后，使用深度学习神经元网络ResNet18，根据眼睛图像数据集合提取眼部区域睁眼和闭眼特征，使用交叉熵损失函数作为损失函数；最后，构建出判断人员睁眼或闭眼的模型。
最后如果通过记录数据发现图像序列中连续的闭眼帧数多次超过阈值，发出相应的疲劳报警信息，其中，在八代i5-8300处理器，16G内存，256固态内存的笔记本电脑上，阈值设定为7帧，否则继续处理步骤一中输入的待检测人员图像序列。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于眨眼规律识别的疲劳检测方法，其特征在于，包括：
步骤一、拍摄若干人脸图像，并截取左眼和右眼的眼睛部位图像；
步骤二、对所述眼睛图像进行预处理，包括：
首先，将所有所述眼睛部位图像尺寸调整为统一大小；
然后，使用高斯滤波对眼睛部位图像进行降噪；
再然后，对眼睛部位图像进行直方图均衡化；
最后，将眼睛部位图像的每个颜色通道进行归一化；
步骤三、然后给每张眼睛部位图像标记标签：睁眼或者闭眼，由此得到训练数据集；将交叉熵损失函数作为损失函数，基于训练数据集对深度学习神经元网络进行学习和训练，最后得到可判断人员睁眼或闭眼的模型；
步骤四、拍摄驾驶员脸部的视频，对于视频中每一帧图像按照步骤一至步骤二的方法进行处理，得到每一帧的眼睛部位图像；然后将每一帧眼睛部位图像采用步骤三的模型进行识别；如果识别出的闭眼连续帧数超过设定的阈值，发出相应的疲劳报警信息。
2.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，所述步骤一中，拍摄人脸图像后，通过人脸关键点检测模型来定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点，然后再截取左眼和右眼的眼睛部位图像。
3.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，在截取眼睛部位图像时，分别截取以左右眼为中心的正方形图像，正方形的边长为左右眼睛直线距离的一半。
4.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，所述将所有所述眼睛部位图像尺寸调整为统一大小时；如果眼睛部位图像尺寸小于标准尺寸，使用最临近点插值算法放大图像；如果眼睛部位图像尺寸大于标准尺寸大小，采用基于区域子块提取的方法缩小图像，即：在求缩小图像的像素时，不仅仅单纯的取在原图像中的采样点像素，将原图像分成一个个的子块，缩小图像的像素取相应子块像素的均值。
5.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，所述高斯滤波的方法为：针对每一个像素点的像素值，将其本身和邻域内的其他像素值经过加权平均后得到。
6.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，所述深度学习神经元网络为VGG、GoogleNet或Resnet。
7.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，所述设定的阈值为7帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371427.1A CN111191573A (zh) | 2019-12-27 | 2019-12-27 | 一种基于眨眼规律识别的驾驶员疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371427.1A CN111191573A (zh) | 2019-12-27 | 2019-12-27 | 一种基于眨眼规律识别的驾驶员疲劳检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111191573A true CN111191573A (zh) | 2020-05-22 |
Family
ID=70709970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911371427.1A Pending CN111191573A (zh) | 2019-12-27 | 2019-12-27 | 一种基于眨眼规律识别的驾驶员疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191573A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111645695A (zh) * | 2020-06-28 | 2020-09-11 | 北京百度网讯科技有限公司 | 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质 |
| CN111784973A (zh) * | 2020-07-30 | 2020-10-16 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
| CN111938567A (zh) * | 2020-07-09 | 2020-11-17 | 上海交通大学 | 基于深度学习的眼科参数测量方法、系统及设备 |
| CN112016429A (zh) * | 2020-08-21 | 2020-12-01 | 高新兴科技集团股份有限公司 | 基于火车驾驶室场景下疲劳驾驶检测方法 |
| CN112356839A (zh) * | 2020-11-06 | 2021-02-12 | 广州小鹏自动驾驶科技有限公司 | 一种驾驶状态监测方法、系统及汽车 |
| CN112733628A (zh) * | 2020-12-28 | 2021-04-30 | 杭州电子科技大学 | 基于MobileNet-V3的疲劳驾驶状态检测方法 |
| CN112907635A (zh) * | 2021-03-22 | 2021-06-04 | 东南大学 | 基于几何分析提取眼部异常运动特征的方法 |
| US20210192351A1 (en) * | 2019-12-19 | 2021-06-24 | Senseye, Inc. | Ocular system to optimize learning |
| CN113191231A (zh) * | 2021-04-21 | 2021-07-30 | 栈鹿(上海)教育科技有限公司 | 疲劳状态下的安全驾驶方法 |
| CN113537176A (zh) * | 2021-09-16 | 2021-10-22 | 武汉未来幻影科技有限公司 | 一种驾驶员疲劳状态的确定方法、装置以及设备 |
| US20220239510A1 (en) * | 2021-01-25 | 2022-07-28 | Marvell Asia Pte Ltd | Ethernet physical layer transceiver with non-linear neural network equalizers |
| CN114863545A (zh) * | 2022-07-05 | 2022-08-05 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
| CN116168374A (zh) * | 2023-04-21 | 2023-05-26 | 南京淼瀛科技有限公司 | 一种主动安全辅助驾驶方法及系统 |
| CN116913007A (zh) * | 2023-09-14 | 2023-10-20 | 贵州大学 | 基于自助体检机的多端交互方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846734A (zh) * | 2017-04-12 | 2017-06-13 | 南京理工大学 | 一种疲劳驾驶检测装置及方法 |
| CN108960071A (zh) * | 2018-06-06 | 2018-12-07 | 武汉幻视智能科技有限公司 | 一种睁眼闭眼状态检测方法 |
| US20190065873A1 (en) * | 2017-08-10 | 2019-02-28 | Beijing Sensetime Technology Development Co., Ltd. | Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles |
| CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
| CN110232327A (zh) * | 2019-05-21 | 2019-09-13 | 浙江师范大学 | 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 |
| CN110569756A (zh) * | 2019-08-26 | 2019-12-13 | 长沙理工大学 | 人脸识别模型构建方法、识别方法、设备和存储介质 |
-
2019
- 2019-12-27 CN CN201911371427.1A patent/CN111191573A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846734A (zh) * | 2017-04-12 | 2017-06-13 | 南京理工大学 | 一种疲劳驾驶检测装置及方法 |
| US20190065873A1 (en) * | 2017-08-10 | 2019-02-28 | Beijing Sensetime Technology Development Co., Ltd. | Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles |
| CN108960071A (zh) * | 2018-06-06 | 2018-12-07 | 武汉幻视智能科技有限公司 | 一种睁眼闭眼状态检测方法 |
| CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
| CN110232327A (zh) * | 2019-05-21 | 2019-09-13 | 浙江师范大学 | 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 |
| CN110569756A (zh) * | 2019-08-26 | 2019-12-13 | 长沙理工大学 | 人脸识别模型构建方法、识别方法、设备和存储介质 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230306341A1 (en) * | 2019-12-19 | 2023-09-28 | Senseye, Inc. | Ocular system to optimize learning |
| US11640572B2 (en) * | 2019-12-19 | 2023-05-02 | Senseye, Inc. | Ocular system to optimize learning |
| US20210192351A1 (en) * | 2019-12-19 | 2021-06-24 | Senseye, Inc. | Ocular system to optimize learning |
| US12093871B2 (en) * | 2019-12-19 | 2024-09-17 | Senseye, Inc. | Ocular system to optimize learning |
| CN111645695A (zh) * | 2020-06-28 | 2020-09-11 | 北京百度网讯科技有限公司 | 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质 |
| CN111938567A (zh) * | 2020-07-09 | 2020-11-17 | 上海交通大学 | 基于深度学习的眼科参数测量方法、系统及设备 |
| CN111938567B (zh) * | 2020-07-09 | 2021-10-22 | 上海交通大学 | 基于深度学习的眼科参数测量方法、系统及设备 |
| CN111784973A (zh) * | 2020-07-30 | 2020-10-16 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
| CN111784973B (zh) * | 2020-07-30 | 2021-12-14 | 广州敏视数码科技有限公司 | 一种车队管理平台的mdvr设备集成疲劳检测方法 |
| CN112016429A (zh) * | 2020-08-21 | 2020-12-01 | 高新兴科技集团股份有限公司 | 基于火车驾驶室场景下疲劳驾驶检测方法 |
| CN112356839A (zh) * | 2020-11-06 | 2021-02-12 | 广州小鹏自动驾驶科技有限公司 | 一种驾驶状态监测方法、系统及汽车 |
| CN112733628A (zh) * | 2020-12-28 | 2021-04-30 | 杭州电子科技大学 | 基于MobileNet-V3的疲劳驾驶状态检测方法 |
| US20220239510A1 (en) * | 2021-01-25 | 2022-07-28 | Marvell Asia Pte Ltd | Ethernet physical layer transceiver with non-linear neural network equalizers |
| CN112907635A (zh) * | 2021-03-22 | 2021-06-04 | 东南大学 | 基于几何分析提取眼部异常运动特征的方法 |
| CN112907635B (zh) * | 2021-03-22 | 2024-04-09 | 东南大学 | 基于几何分析提取眼部异常运动特征的方法 |
| CN113191231A (zh) * | 2021-04-21 | 2021-07-30 | 栈鹿(上海)教育科技有限公司 | 疲劳状态下的安全驾驶方法 |
| CN113537176A (zh) * | 2021-09-16 | 2021-10-22 | 武汉未来幻影科技有限公司 | 一种驾驶员疲劳状态的确定方法、装置以及设备 |
| CN114863545A (zh) * | 2022-07-05 | 2022-08-05 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
| CN116168374B (zh) * | 2023-04-21 | 2023-12-12 | 南京淼瀛科技有限公司 | 一种主动安全辅助驾驶方法及系统 |
| CN116168374A (zh) * | 2023-04-21 | 2023-05-26 | 南京淼瀛科技有限公司 | 一种主动安全辅助驾驶方法及系统 |
| CN116913007A (zh) * | 2023-09-14 | 2023-10-20 | 贵州大学 | 基于自助体检机的多端交互方法及装置 |
| CN116913007B (zh) * | 2023-09-14 | 2023-12-12 | 贵州大学 | 基于自助体检机的多端交互方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191573A (zh) | 一种基于眨眼规律识别的驾驶员疲劳检测方法 | |
| US6661907B2 (en) | Face detection in digital images | |
| CN107862299B (zh) | 一种基于近红外与可见光双目摄像头的活体人脸检测方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN103634680B (zh) | 一种智能电视的播放控制方法及装置 | |
| Asteriadis et al. | Facial feature detection using distance vector fields | |
| KR101653278B1 (ko) | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 | |
| CN106599870A (zh) | 一种基于自适应加权局部特征融合的人脸识别方法 | |
| CN108369644B (zh) | 一种定量检测人脸抬头纹的方法、智能终端和存储介质 | |
| CN109190456B (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| CN111079688A (zh) | 一种人脸识别中的基于红外图像的活体检测的方法 | |
| CN108446642A (zh) | 一种快速人脸识别系统 | |
| Lai et al. | An efficient real-time traffic sign recognition system for intelligent vehicles with smart phones | |
| CN113450369A (zh) | 一种基于人脸识别技术的课堂分析系统及方法 | |
| CN107862298B (zh) | 一种基于红外摄像装置下眨眼的活体检测方法 | |
| JP2002049912A (ja) | 人物画像取得システム | |
| CN108334870A (zh) | Ar设备数据服务器状态的远程监控系统 | |
| Chen et al. | Fast face detection algorithm based on improved skin-color model | |
| WenJuan et al. | A real-time lip localization and tacking for lip reading | |
| CN111611866B (zh) | 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统 | |
| Lin et al. | Face detection based on skin color segmentation and SVM classification | |
| Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
| CN110598521A (zh) | 一种基于人脸图像智能分析的行为与生理状态识别方法 | |
| AU739936B2 (en) | Face detection in digital images | |
| KR20160017152A (ko) | 이진 하르 캐스케이드에 기반한 성별 분류 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200522 |