CN102324166B - 一种疲劳驾驶检测方法及装置 - Google Patents
一种疲劳驾驶检测方法及装置 Download PDFInfo
- Publication number
- CN102324166B CN102324166B CN 201110278098 CN201110278098A CN102324166B CN 102324166 B CN102324166 B CN 102324166B CN 201110278098 CN201110278098 CN 201110278098 CN 201110278098 A CN201110278098 A CN 201110278098A CN 102324166 B CN102324166 B CN 102324166B
- Authority
- CN
- China
- Prior art keywords
- nose frame
- face region
- human eye
- human face
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 70
- 210000003128 head Anatomy 0.000 claims abstract description 51
- 239000011521 glass Substances 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000013519 translation Methods 0.000 claims description 13
- 238000002474 experimental method Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种疲劳驾驶检测方法及装置。该方法包括：基于采集到的驾驶员头部图像定位人脸区域；基于所述人脸区域检测鼻架区域，所述鼻架区域为连接眼镜左右镜框的连接部架在驾驶员鼻梁上的区域；若检测到鼻架区域，则基于所述鼻架区域获取人眼区域；若没检测到鼻架区域，则基于所述人脸区域定位人眼区域；基于所述人眼区域分析眼睛闭合状态，将眼睛闭合状态与疲劳标准相比，判断驾驶员是否处于疲劳状态。本发明通过搜索鼻架区域的方案，克服了传统的基于机器视觉的人眼搜索方法中直接搜索人眼而极易受到眼镜/墨镜等物体干扰的缺陷，提高了对驾驶员眼睛闭合判断的准确性，进而提高了疲劳驾驶判断的准确性，具有更好的适应性。
Description
技术领域
本发明涉及车辆的安全驾驶技术领域，尤其涉及疲劳驾驶的监控技术领域。
背景技术
先进汽车安全技术的发展方向是主动安全技术，即通过对驾驶员和车辆以及周边环境的检测，提前判断可能的危险，并采取措施预防。而驾驶员疲劳驾驶预警技术就是一种典型的主动安全技术。驾驶员处于疲劳状态时，对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降，容易发生交通事故。因此，研究开发高性能的驾驶员注意力实时监测及预警技术，能够有效减少疲劳驾驶等行为带来的隐患，从而达到保障驾驶员人身安全和周边相关人员安全的目的。
目前，疲劳驾驶预警技术一般通过三种方式实现，包括以驾驶员的脸部和眼部为检测对象的疲劳驾驶预警技术、以驾驶员的生理指标为检测对象的疲劳驾驶预警技术、以驾驶员的操作行为为检测对象的疲劳驾驶预警技术。其中最常用的是以驾驶员的眼部为检测对象的疲劳驾驶预警技术，也称为基于机器视觉的疲劳驾驶检测方法，其主要通过检测驾驶员眼部闭合情况来判断驾驶员的疲劳程度，一般采用摄像头进行脸部和眼部图像采集，再通过图像分析方法定位眼睛所在区域，确定眼睛状态来判断驾驶员是否闭眼。这种方法存在一个严重问题：对于面部无任何附加物体的驾驶员，传统的基于机器视觉的眼睛检测及定位方法能够较好地定位出眼睛区域，但是，对于佩戴各种不同样式眼镜/墨镜的驾驶员，由于眼镜影响了该区域的图像的一些参数，使眼睛的精确定位受到了极大的干扰，从而使得眼部状态的检测结果失去有效性。
因此，传统的基于机器视觉的疲劳驾驶检测方法在实际使用中存在着很明显的局限性，难以达到较好的鲁棒性要求。
发明内容
本发明所要解决的技术问题是，提供一种能够抗眼镜干扰的鲁棒性疲劳驾驶检测方法及装置。
根据本发明实施例的一方面，提供一种疲劳驾驶检测方法，包括：人脸获取步骤，基于采集到的驾驶员头部图像定位人脸区域；鼻架定位步骤，基于所述人脸区域检测鼻架区域，所述鼻架区域为连接眼镜左右镜框的连接部架在驾驶员鼻梁上的区域；人眼定位步骤，若检测到鼻架区域，则基于所述鼻架区域获取人眼区域；若没检测到鼻架区域，则基于所述人脸区域定位人眼区域；疲劳判断步骤，基于所述人眼区域分析眼睛闭合状态，将眼睛闭合状态与疲劳标准相比，判断驾驶员是否处于疲劳状态。
进一步地，所述基于鼻架区域获取人眼区域包括：对所述鼻架区域进行平移缩放操作从而获得人眼区域。
进一步地，所述方法还包括：图像旋转步骤；所述图像旋转步骤在所述人脸获取步骤的定位人脸区域之前执行，包括：将所述头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的头部图像进行检测，选择匹配程度最高的头部图像作为驾驶员在竖直姿态下的头部图像。
根据本发明实施例的另一方面，提供一种疲劳驾驶检测装置，包括：人脸获取模块，用于基于采集到的驾驶员头部图像定位人脸区域；鼻架定位模块用于基于所述人脸区域检测鼻架区域，所述鼻架区域为连接眼镜左右镜框的连接部架在驾驶员鼻梁上的区域；人眼定位模块，用于当检测到鼻架区域时，基于所述鼻架区域获取人眼区域，当没检测到鼻架区域，则基于所述人脸区域定位人眼区域；疲劳判断模块，用于基于所述人眼区域分析眼睛闭合状态，将眼睛闭合状态与疲劳标准相比，判断驾驶员是否处于疲劳状态。
进一步地，疲劳驾驶检测装置还包括：图像旋转模块，所述图像旋转模块位于所述人脸获取模块前，用于将所述人脸获取模块中采集到的头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的头部图像进行检测，选择匹配程度最高的头部图像作为驾驶员在竖直姿态下的头部图像；或者，所述图像旋转模块位于所述鼻架定位模块前，用于将人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域；或者，所述图像旋转模块用于所述人眼定位模块获取人眼区域前，将所述鼻架区域顺时针和逆时针分别旋转若干预设角度，使用鼻架特征分类器对旋转后的鼻架区域进行检测，选择匹配程度最高的鼻架区域作为驾驶员在竖直姿态下的鼻架区域；或者，所述图像旋转模块用于所述人眼定位模块定位人眼区域前，将所述人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的图像进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域。
本发明通过搜索鼻架区域然后基于鼻架区域获取人眼区域，通过鼻架特征分类器搜索鼻架区域，若搜索到鼻架区域则采用非直接方式进行人眼区域的获取，即根据经验公式获取驾驶员的人眼区域，若未搜索到鼻架区域则直接使用人眼特征分类器定位人眼区域，克服了传统的基于机器视觉的人眼搜索方法中直接搜索人眼而极易受到眼镜等物体干扰的缺陷，提高了对驾驶员眼睛闭合判断的准确性，进而提高了疲劳驾驶判断的准确性，具有更好的适应性。一种实施例还对采集的头部图像进行旋转处理以获得竖直姿态下驾驶员的头部图像，有效减少驾驶员因头部偏斜导致的检测错误。
附图说明
图1是根据本发明第一实施例中疲劳驾驶检测装置的结构示意图；
图2是根据本发明第二实施例中疲劳驾驶检测装置的结构示意图；
图3是根据本发明一种实施例中疲劳驾驶检测方法的流程图；
图4是根据本发明另一种实施例中疲劳驾驶检测方法的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
本发明实施例的设计思想是：通过摄像头获取驾驶员头部的实时图像，利用各种眼镜框架结构上的相似性，先搜索鼻架区域，判断驾驶员是否佩戴眼镜，然后根据鼻架区域的搜索结果确定相应的人眼区域定位方法，当搜索到鼻架区域时，采用基于鼻架区域的人眼区域获取方法，当未搜索到鼻架区域时，在定位出的驾驶员的头部图像上直接定位人眼区域。从而克服了传统的基于机器视觉的人眼搜索方法中直接搜索人眼而极易受到眼镜/墨镜等物体干扰的缺陷。
为清楚解释本发明实施例，下面给出相关定义。
(1)鼻架区域：是指连接眼睛左右镜框的连接部架在驾驶员鼻梁上的区域；眼镜可以是各种眼镜，例如平镜、近视镜、远视镜、太阳镜或墨镜等。
(2)人眼区域：是指驾驶员的眼部。
如图1所示，本发明第一实施例提供的一种疲劳驾驶检测装置包括：图像采集模块110、人脸获取模块130、鼻架定位模块150、人眼定位模块170和疲劳判断模块190。图像采集模块110用于采集驾驶员头部图像，人脸获取模块130用于基于头部图像定位人脸区域；鼻架定位模块150用于基于人脸区域检测鼻架区域，人眼定位模块170用于当检测到鼻架区域时基于鼻架区域获取人眼区域，当没检测到鼻架区域时，基于人脸区域直接定位人眼区域；疲劳判断模块190用于基于人眼区域分析眼睛闭合状态，将眼睛闭合状态与疲劳标准相比，判断驾驶员是否处于疲劳状态。
本发明的第二实施例是基于第一实施例的一种改进，如图2所示，除了与第一实施例类似的图像采集模块210′、人脸获取模块230′、鼻架定位模块250′、人眼定位模块270′和疲劳判断模块290′，还包括：图像旋转模块220′，位于人脸获取模块230′前，用于将采集到的驾驶员头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的头部图像进行检测，选择匹配程度最高的头部图像作为驾驶员在竖直姿态下的头部图像。该实施例通过对采集的头部图像进行旋转处理以获得竖直姿态下驾驶员的头部图像，有效减少驾驶员因头部偏斜导致的检测错误。
基于第一实施例的另一种改进可以得到第三实施例，第三实施例中包括除了与第一实施例类似的图像采集模块、人脸获取模块、鼻架定位模块、人眼定位模块和疲劳判断模块，还包括：图像旋转模块，该图像旋转模块与第二实施例不同在于，本实施例中图像旋转模块位于所述鼻架定位模块前，用于将人脸获取模块得到的人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域；然后再在该人脸区域的基础上进行鼻架区域的检测。该实施例通过对人脸区域的图像进行旋转处理以获得竖直姿态下驾驶员的人脸区域，有效减少驾驶员因头部偏斜导致的检测错误。
基于第一实施例的再一种改进可以得到第四实施例，第四实施例中包括除了与第一实施例类似的图像采集模块、人脸获取模块、鼻架定位模块、人眼定位模块和疲劳判断模块，还包括：图像旋转模块，该图像旋转模块与第二实施例不同在于，本实施例中图像旋转模块用于所述人眼定位模块获取人眼区域前，将鼻架区域顺时针和逆时针分别旋转若干预设角度，使用鼻架特征分类器对旋转后的鼻架区域进行检测，选择匹配程度最高的鼻架区域作为驾驶员在竖直姿态下的鼻架区域图像；然后再在该鼻架区域的基础上进行人眼区域的获取。该实施例通过对采集的鼻架区域进行旋转处理以获得竖直姿态下驾驶员的鼻架区域，有效减少驾驶员因头部偏斜导致的检测错误。
基于第一实施例的又一种改进可以得到第五实施例，第四实施例中包括除了与第一实施例类似的图像采集模块、人脸获取模块、鼻架定位模块、人眼定位模块和疲劳判断模块，还包括：图像旋转模块，该图像旋转模块与第二实施例不同在于，本实施例中图像旋转模块用于所述人眼定位模块定位人眼区域前，用于将人脸获取模块得到的人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域图像；然后再在该人脸区域的基础上直接定位人眼区域。该实施例通过对人脸区域进行旋转处理以获得竖直姿态下驾驶员的人脸区域，有效减少驾驶员因头部偏斜导致的检测错误。
基于上述各实施例中的疲劳驾驶检测装置，可得到对应的各实施例的疲劳驾驶检测方法，下面以基于第一实施例的疲劳驾驶检测装置所对应的疲劳驾驶检测方法为例进行说明。该疲劳驾驶检测方法实施例包括：人脸获取步骤、鼻架定位步骤、人眼直接定位步骤、以及疲劳判断步骤，具体流程如图3所示：
步骤S310，采集头部图像；
可通过设置安装在驾驶员前方的摄像头(例如红外CCD摄像头或CMOS摄像头)采集驾驶员头部图像。
步骤S330，定位人脸区域；
基于采集到的头部图像定位人脸区域。
在定位人脸区域时，可采用现有的各种定位人脸区域方法。本实施例中仅以举例方式说明一种检测人脸区域的方法，采用根据预先训练的人脸特征分类器定位人脸区域。为制作人脸特征分类器，采用AdaBoost算法对大量的人脸样本进行检测。AdaBoost算法能够从大量的人脸样本图像中提取出人脸图像中最具有区别性的特征，构造出一个具有高度精确的人脸特征分类器，然后使用一种基于Haar-like特征的训练算法训练出人脸特征分类器文件(haarcascade_faces.xm1)，该分类器是在大量人脸样本数据基础上训练出来，具有较强的普适性。在读取采集到的每帧视频图像后，根据人脸特征分类器文件中所记录的人脸Harr特征来分析图像信息，然后再采用AdaBoost算法及相关人脸特征分类器对图像进行模式识别，对图像中的人脸区域进行标定，从而获得最匹配的人脸区域。
由于采集到的驾驶员头部图像中，除了驾驶员头部外，还可能存在其它不相关背景，为此，在本实施例的一种实例中，在定位人脸区域前先确定出人脸检测感兴趣区域，只在较小范围内搜索人脸，减少图像处理面积(即去除不相关背景)，从而减少数据处理量。例如，确定人脸检测感兴趣区域的方法可以是：当采集的图像为摄像头初始化后的第一帧图像时，在全图像上搜索人脸，并根据人脸特征分类器定位人脸区域；当采集的图像为第一帧之后的图像时，提取前一帧图像的人脸区域并进行设定数值的扩大后作为人脸检测感兴趣区域，如将前一帧图像的人脸区域向外扩展1厘米后作为人脸检测感兴趣区域，之后，在人脸检测感兴趣区域中完成对图像中的人脸区域的检测和定位。
此外，在本实施例的又一种实例中，还可以对采集的头部图像进行适当处理，例如根据数据格式的需要，将获取的UYVY格式图像转换成YUV格式，以符合数据库格式的要求，具体转换方法可参考现有格式转换方法，在此不作详述。
步骤S350：检测鼻架区域；
可采用现有的各种物体检测方法来检测鼻架区域；本实施例中仅以举例方式说明一种检测鼻架区域的方法，采用预先训练的鼻架特征分类器定位鼻架区域。
鼻架特征分类器的预先训练包括：将眼镜框架中的两镜框连接处的鼻架结构图像列入正样本训练集、将未戴眼镜时同区域下鼻梁图像列入负样本训练集，从而构造能够区分鼻架区域和非鼻架区域的矩形特征及相应的弱分类器；利用得到的弱分类器和AdaBoost算法进行进一步训练，得到一层鼻架区域/非鼻架区域的强分类器；重复前述训练过程，得到结构由简单到复杂的多层分类器；将这些多层分类器级联起来，得到一个完整的鼻架特征分类器。可以理解，类似前述步骤S330定位人脸的过程，训练过程中可以得到鼻架特征分类器文件(如haarcascade_noses.xml)。
然后定位鼻架区域，具体过程是：对定位出的人脸区域按预定步长进行遍历，得到待检测子图像集；利用预先训练的鼻架特征分类器对该待检测子图像集进行检测，对于待检测子图像集中的某一待检测子图像，若鼻架特征分类器的任意一层的输出低于经预先训练所得的该层的阈值，则该待检测子图像为非鼻架区域，若鼻架特征分类器的每一层的输出都高于或等于经预先训练的该层的阈值，则该待检测子图像为鼻架区域。
通过鼻架区域的定位结果，可以知道，当定位出鼻架区域，表示检测到鼻架区域的图像，此时说明驾驶员佩戴了眼镜，当没有定位出鼻架区域，表示没有检测到鼻架区域的图像，此时说明驾驶员没有佩戴眼镜。针对驾驶员佩戴眼镜或不佩戴眼镜的情况，采用不同的检测人眼的方法，具体见解下来的步骤。
为减少计算量，本实施例的一种实例中，在检测鼻架区域前，根据人脸结构常识和实际实验在人脸区域中确定待检测的感兴趣区域(此处即指鼻架区域)，以缩小搜索眼睛的检测范围，提高检测速度。例如，选取人脸区域的中上部分作为待检测的感兴趣区域，或者，按照人脸结构的“三庭五眼”准则来选择感兴趣区域。“三庭”指脸的长度比例，把脸的长度分为三个等分，从前额发际线至眉骨，从眉骨至鼻底，从鼻底至下颌，各占脸长的1/3；待检测的鼻架区域在纵向上为中间部分的上面2/3区域并适当调整扩大。“五眼”指脸的宽度比例，以眼形长度为单位，把脸的宽度分为五个等分，从左侧发际至右侧发际，为五只眼形，两只眼睛之间有一只眼睛的间距，两眼外侧至侧发际各为一个眼睛的间距，各占比例的1/5；待检测的鼻架区域在横向为第二眼和第四眼并适当调整扩大。
步骤S370：根据步骤S350定位鼻架区域的结果，若定位得到鼻架区域，则说明存在鼻架区域，转步骤S371，若通过鼻架定位步骤检测不到鼻架区域，则说明不存在鼻架区域，转步骤S372；
步骤S371：获取人眼区域；
图像处理中通常将某幅图像或图像中的某区域用矩形框选，通过矩形来描述图像或区域的坐标、宽高等特征；但也不排除采用其他形状进行说明。为便于描述，本实施例中采用矩形框选出定位到的鼻架区域，然后，根据鼻架区域所对应的矩形通过平移缩放操作转换为人眼所在的矩形区域，从而获得人眼区域。以获取驾驶员的左眼区域为例，一种实例中平移缩放公式如下：
eyeRect.x＝noseRect.x-noseRect.width*a
eyeRect.y＝noseRect.y-noseRect.height*b
eyeRect.width＝noseRect.width*c
eyeRect.height＝noseRect.height*d
其中，noseRect为鼻架区域，noseRect.x和noseRect.y分别为鼻架区域的左上角点的坐标，noseRect.width和noseRect.height分别为鼻架区域的宽和高，eyeRect为平移缩放操作后得到的人眼区域，eyeRect.x和eyeRect.y分别为人眼区域的左上角点的坐标，eyeRect.width和eyeRect.height分别为人眼区域的宽和高，参数a、b、c、d分别为经验值，可根据常识及大量试验获得。类似地，将公式中的“-”改变为“+”可获取驾驶员的右眼区域。
其他实施例中也可以采用其他形状框选出定位到的鼻架区域，然后通过平移缩放操作得到人眼所在的矩形区域，所涉及的平移缩放公式可根据具体情况结合几何学方法得到。
步骤S372：定位人眼区域；
如果步骤S350检测不到鼻架区域，则基于步骤S330得到的人脸区域直接定位人眼区域。可采用现有的各种人眼检测方法来检测人眼区域；本实施例中仅以举例方式说明一种检测人眼区域的方法，采用预先训练的人眼特征分类器定位人眼区域，过程类似前述定位人脸区域或定位鼻架区域，在此不作详细说明。
步骤S390：基于人眼区域，对眼睛闭合状态进行检测，根据眼睛闭合状态判断驾驶员是否处于疲劳状态。
可采用现有的各种眼睛闭合状态检测方法；本实施例中仅以举例方式说明一种检测方法，先在人眼区域中获取虹膜图像，然后基于虹膜图像分析眼睛闭合状态。
其中，获取虹膜图像的过程可以是：将人眼区域的亮度增强，突出人眼的虹膜区域；然后采用图像平滑算法去除噪声，可采用高斯去噪的方法，不仅能消除图像存在的噪声和干扰，还可平滑轮廓；然后，进行自适应阈值的二值化处理。当车辆处于光线较暗的环境中时，摄像头可能拍摄不到清晰的人脸获人眼，采用自适应阈值的二值变换时为了得到人眼虹膜的信息，例如采用自适应阈值的OTSU图像分割法对人眼区域进行处理，动态确定二值图像的阈值，利用人眼图像的灰度明显区别于其他人脸部位的特征(特别是当采用红外摄像头时)，使人眼区域中灰度大于或等于阈值的部分显示白色，人眼区域中灰度小于阈值的部分显示黑色，通过边缘检测、自适应的二值图像处理得到人眼拟合椭圆，从而消除眉毛、眼袋、眼角对于图像的干扰，获得虹膜的二值图像及其边缘信息，包括上下眼睑点、虹膜中心等。自适应阈值的二值化处理能自适应光线变化，如夜间、隧道等特殊环境，因此，经过自适应阈值的二值化处理后能够得到轮廓较分明的虹膜图像。经实验证明，对于得到的黑色的虹膜图像来说，当眼睛睁开时，黑色的虹膜图像的中间有一片白色区域，该区域为瞳孔图像，当眼睛闭合时，黑色的虹膜图像的中间的白色区域非常少。应理解，若得到的为白色的虹膜图像，则白色的虹膜图像的中央是黑色区域，该黑色区域为瞳孔图像。
提取虹膜轮廓，并根据改进的PERCLOS判断眼睛闭合状态。依据人眼的虹膜轮廓，计算眼睛的上下眼睑点及上下眼睑间的距离，分析眼睛闭合状态，包括闭合程度和闭合时间等，并将各参数值与疲劳标准进行对比。现有技术中，疲劳标准通常采用PERCLOS标准。PERCLOS标准以瞳孔为判断对象，由于瞳孔的成像效果受摄像头分辨率影响较大，并且在红外光照射下，瞳孔周围容易产生噪点。本实施例中疲劳标准采用改进的PERCLOS标准，即以虹膜为判断对象，将虹膜被上下眼睑遮住的区域作为眼睛闭合区域，由此计算闭合程度和闭合时间，从而判断疲劳状态。
上下眼睑点是指通过虹膜中心的上下方向的中心轴线与虹膜轮廓的交点。检测出上下眼睑点后即可计算出两者之间的距离。通过检测，可知眼睛正常睁开状态下的上下眼睑点之间的距离，计算实时检测的上下眼睑点之间的距离与眼睛正常睁开状态下的上下眼睑点之间的距离的比值，即可知眼睛闭合程度。当眼睛闭合程度小于设定阈值时，认为眼睛闭合。例如，正常情况下，人眼可见虹膜约为80％，当眼睛闭合程度为80％(即可见虹膜为20％)时认为眼睛闭合。统计一段时间内眼睛闭合的总时间和/或驾驶着眨眼一次中眼睛闭合所占时间。本实施例的疲劳标准为将眼睛闭合百分比f和设定的临界值相比较，当眼睛闭合百分比f大于临界值时，认为驾驶员处于疲劳状态。眼睛闭合百分比f为眨眼一次的过程中眼睛闭合程度大于或等于80％的时间占眼睛闭合程度小于或等于20％的时间的百分比，即：
f越接近1，则代表驾驶员越接近疲劳状态。如果选定0.8为判断驾驶员疲劳与否临界值，即眼睛闭合百分比f大于0.8时认为驾驶员处于疲劳状态。
根据上述疲劳标准，如果检测每一帧图像中眼睛是闭合还是睁开，则只需要检测上下眼睑点之间的距离与眼睛正常睁开状态下的上下眼睑点之间的距离的比值是否大于或等于80％，如果是，则判断该帧图像中眼睛处于睁开状态，否则判断该帧图像中眼睛处于闭合状态。在单位时间内，如果眼睛闭合的连续图像帧数大于或等于80％，则判断驾驶员此时处于疲劳状态。例如，如果按照每秒10帧计算，若连续8帧的可见虹膜为20％或以下，则驾驶员处于疲劳状态。
在另外的实施例中，也可以采用其它的疲劳标准来判断疲劳。
应理解，在判断出驾驶员处于疲劳状态后，还可以发出报警信号，如通过声音或灯光闪烁等方式提醒驾驶员，这里不作详述。
以上为基于第一实施例的疲劳驾驶检测装置所对应的疲劳驾驶检测方法实施例的流程说明，通过摄像头获取驾驶员头部的实时图像，通过搜索鼻架区域的结果，按照两种不同方案进行人眼区域的搜索，即基于鼻架区域获取人眼区域这种非直接定位人眼方式以及在未搜索到鼻架区域时直接定位人眼的方式，克服了传统的基于机器视觉的人眼搜索方法中直接搜索人眼而极易受到眼镜/墨镜等物体干扰的缺陷。
基于上述疲劳驾驶检测方法的流程，还可以作出一些改进。
一种改进的实施例中，如图4所示，为了减少驾驶员斜侧头部带来的检测误差，在步骤S410中采集头部图像后，步骤S420对头部图像进行旋转操作，具体地，将头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的图像进行检测，选择匹配程度最高的图像作为驾驶员在竖直姿态下的头部图像，从而有效减少驾驶员因头部偏移导致的检测错误。步骤S430至步骤S491与前述实施例中的过程类似，在此不再重述。
上述旋转操作可以不在采集头部图像后进行，例如：在另一种改进的实施例中，在检测鼻架区域之前，将人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域；又或者，在另一种改进的实施例中，在检测到鼻架区域后，在获取人眼区域之前，将鼻架区域顺时针和逆时针分别旋转若干预设角度，使用鼻架特征分类器对旋转后的鼻架区域进行检测，选择匹配程度最高的鼻架区域作为驾驶员在竖直姿态下的鼻架区域；又或者，在又一种改进的实施例，在未检测到鼻架区域后直接定位人眼区域前，将人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的图像进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域。无论那种实施例，其目的都是为了有效减少驾驶员因头部偏移而导致的检测错误。
上述各实施例中的疲劳驾驶检测装置/方法是一种抗眼镜/墨镜干扰的鲁棒性疲劳驾驶检测装置/方法，通过利用各种眼镜及墨镜鼻架结构相似性所设计的特征分类器，在驾驶员人脸区域中使用该特征分类器对图像进行分析，当驾驶员佩戴眼镜/墨镜时获取两镜框连接处鼻架区域，通过平移缩放操作获取眼睛所在矩形区域，继而对驾驶员眼睛闭合状态与疲劳状态进行检测；当驾驶员未佩戴眼镜/墨镜时，则通过人眼分类器在驾驶员面部区域内直接搜索眼睛区域；最后对驾驶员眼睛闭合状态与疲劳状态进行检测。实施例利用了不同眼镜/墨镜框架结构上的共同点，采用分类和间接方式进行人眼区域的搜索与定位，克服了传统的基于机器视觉的人眼搜索方法中直接搜索人眼操作极易受到眼镜/墨镜等物体干扰的缺陷，因此具有更好的适应性。
上述模块或流程可以编制成程序，该程序可被安装在计算机中，包括各种处理器。上述模块或流程编制成的程序可以被存储在外部可读性存储介质中，这种存储介质可以是软盘、CD-ROM、硬盘、磁带记录介质、IC卡的半导体存储器或其它的光学记录介质(例如DVD或PD)或磁记录介质。介质还包括电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)。
上述实施例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。
Claims (14)
1.一种疲劳驾驶检测方法，其特征在于，包括：
人脸获取步骤，基于采集到的驾驶员头部图像定位人脸区域；
鼻架定位步骤，基于所述人脸区域检测鼻架区域，所述鼻架区域为连接眼镜左右镜框的连接部架在驾驶员鼻梁上的区域，对定位出的人脸区域按预定步长进行遍历，得到待检测子图像集，利用预先训练的鼻架特征分类器对所述待检测子图像集进行检测，对于待检测子图像集中的某一待检测子图像，若鼻架特征分类器的任意一层的输出低于经预先训练所得的该层的阈值，则该待检测子图像为非鼻架区域，若鼻架特征分类器的每一层的输出都高于或等于经预先训练的该层的阈值，则该待检测子图像为鼻架区域；
人眼定位步骤，若检测到鼻架区域，则基于所述鼻架区域获取人眼区域；若没检测到鼻架区域，则基于所述人脸区域定位人眼区域；
疲劳判断步骤，基于所述人眼区域分析眼睛闭合状态，将眼睛闭合状态与疲劳标准相比，判断驾驶员是否处于疲劳状态。
2.如权利要求1所述的方法，其特征在于，所述鼻架特征分类器是通过将眼镜框架中的两镜框连接处鼻架结构图像列入正样本训练集、将未戴眼镜时同区域下鼻梁图像列入负样本训练集训练得到。
3.如权利要求1所述的方法，其特征在于，所述基于鼻架区域获取人眼区域包括：对所述鼻架区域进行平移缩放操作从而获得人眼区域。
4.如权利要求2所述的方法，其特征在于，所述基于鼻架区域获取人眼区域包括：对所述鼻架区域进行平移缩放操作从而获得人眼区域。
5.如权利要求3所述的方法，其特征在于，所述平移缩放操作公式如下：
eyeRect.x＝noseRect.x-noseRect.width*a
eyeRect.y＝noseRect.y-noseRect.height*b
eyeRect.width＝noseRect.width*c
eyeRect.height＝noseRect.height*d
其中，noseRect为鼻架区域，noseRect.x和noseRect.y分别为鼻架区域的左上角点的坐标，noseRect.width和noseRect.height分别为鼻架区域的宽和高，eyeRect为平移缩放操作后得到的人眼区域，eyeRect.x和eyeRect.y分别为人眼区域的左上角点的坐标，eyeRect.width和eyeRect.height分别为人眼区域的宽和高，参数a、b、c、d分别为经验值。
6.如权利要求4所述的方法，其特征在于，所述平移缩放操作公式如下：
eyeRect.x＝noseRect.x-noseRect.width*a
eyeRect.y＝noseRect.y-noseRect.height*b
eyeRect.width＝noseRect.width*c
eyeRect.height＝noseRect.height*d
其中，noseRect为鼻架区域，noseRect.x和noseRect.y分别为鼻架区域的左上角点的坐标，noseRect.width和noseRect.height分别为鼻架区域的宽和高，eyeRect为平移缩放操作后得到的人眼区域，eyeRect.x和eyeRect.y分别为人眼区域的左上角点的坐标，eyeRect.width和eyeRect.height分别为人眼区域的宽和高，参数a、b、c、d分别为经验值。
7.如权利要求1-6任一项所述的方法，其特征在于，所述疲劳判断步骤中基于人眼区域分析眼睛闭合状态包括：在人眼区域中获取虹膜图像，基于虹膜图像分析眼睛闭合状态。
8.如权利要求1-6任一项所述的方法，其特征在于，还包括图像旋转步骤；所述图像旋转步骤在所述人脸获取步骤的定位人脸区域之前执行，包括：将所述头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的头部图像进行检测，选择匹配程度最高的头部图像作为驾驶员在竖直姿态下的头部图像；
或者，所述图像旋转步骤在所述鼻架定位步骤的检测鼻架区域之前执行，包括：将所述人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域；
或者，所述图像旋转步骤在所述人眼定位步骤的获取人眼区域之前执行，包括：将所述鼻架区域顺时针和逆时针分别旋转若干预设角度，使用鼻架特征分类器对旋转后的鼻架区域进行检测，选择匹配程度最高的鼻架区域作为驾驶员在竖直姿态下的鼻架区域；
或者，所述图像旋转步骤在所述人眼定位步骤的定位人眼区域之前执行，包括：将所述人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的图像进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域。
9.如权利要求7所述的方法，其特征在于，还包括图像旋转步骤；所述图像旋转步骤在所述人脸获取步骤的定位人脸区域之前执行，包括：将所述头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的头部图像进行检测，选择匹配程度最高的头部图像作为驾驶员在竖直姿态下的头部图像；
或者，所述图像旋转步骤在所述鼻架定位步骤的检测鼻架区域之前执行，包括：将所述人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域；
或者，所述图像旋转步骤在所述人眼定位步骤的获取人眼区域之前执行，包括：将所述鼻架区域顺时针和逆时针分别旋转若干预设角度，使用鼻架特征分类器对旋转后的鼻架区域进行检测，选择匹配程度最高的鼻架区域作为驾驶员在竖直姿态下的鼻架区域；
或者，所述图像旋转步骤在所述人眼定位步骤的定位人眼区域之前执行，包括：将所述人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的图像进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域。
10.如权利要求1-6任一项所述的方法，其特征在于，所述鼻架定位步骤之前还包括根据人脸结构常识和实际实验在人脸区域中确定待检测的感兴趣区域；所述鼻架定位步骤中基于所述人脸区域检测鼻架区域包括基于所述待检测的感兴趣区域检测鼻架区域。
11.如权利要求7所述的方法，其特征在于，所述鼻架定位步骤之前还包括根据人脸结构常识和实际实验在人脸区域中确定待检测的感兴趣区域；所述鼻架定位步骤中基于所述人脸区域检测鼻架区域包括基于所述待检测的感兴趣区域检测鼻架区域。
12.如权利要求8所述的方法，其特征在于，所述鼻架定位步骤之前还包括根据人脸结构常识和实际实验在人脸区域中确定待检测的感兴趣区域；所述鼻架定位步骤中基于所述人脸区域检测鼻架区域包括基于所述待检测的感兴趣区域检测鼻架区域。
13.一种疲劳驾驶检测装置，其特征在于，包括：
人脸获取模块，用于基于采集到的驾驶员头部图像定位人脸区域；
鼻架定位模块，用于对定位出的人脸区域按预定步长进行遍历，得到待检测子图像集，利用预先训练的鼻架特征分类器对所述待检测子图像集进行检测，对于待检测子图像集中的某一待检测子图像，若鼻架特征分类器的任意一层的输出低于经预先训练所得的该层的阈值，则该待检测子图像为非鼻架区域，若鼻架特征分类器的每一层的输出都高于或等于经预先训练的该层的阈值，则该待检测子图像为鼻架区域，所述鼻架区域为连接眼镜左右镜框的连接部架在驾驶员鼻梁上的区域；
人眼定位模块，用于当检测到鼻架区域时，基于所述鼻架区域获取人眼区域，当没检测到鼻架区域，则基于所述人脸区域定位人眼区域；
疲劳判断模块，用于基于所述人眼区域分析眼睛闭合状态，将眼睛闭合状态与疲劳标准相比，判断驾驶员是否处于疲劳状态。
14.如权利要求13所述的疲劳驾驶检测装置，其特征在于，还包括：
图像旋转模块，所述图像旋转模块位于所述人脸获取模块前，用于将所述人脸获取模块中采集到的头部图像顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的头部图像进行检测，选择匹配程度最高的头部图像作为驾驶员在竖直姿态下的头部图像；或者，所述图像旋转模块位于所述鼻架定位模块前，用于将人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的人脸区域进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域；或者，所述图像旋转模块用于所述人眼定位模块获取人眼区域前，将所述鼻架区域顺时针和逆时针分别旋转若干预设角度，使用鼻架特征分类器对旋转后的鼻架区域进行检测，选择匹配程度最高的鼻架区域作为驾驶员在竖直姿态下的鼻架区域；或者，所述图像旋转模块用于所述人眼定位模块定位人眼区域前，将所述人脸区域顺时针和逆时针分别旋转若干预设角度，使用人脸特征分类器对旋转后的图像进行检测，选择匹配程度最高的人脸区域作为驾驶员在竖直姿态下的人脸区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110278098 CN102324166B (zh) | 2011-09-19 | 2011-09-19 | 一种疲劳驾驶检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110278098 CN102324166B (zh) | 2011-09-19 | 2011-09-19 | 一种疲劳驾驶检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102324166A CN102324166A (zh) | 2012-01-18 |
| CN102324166B true CN102324166B (zh) | 2013-06-12 |
Family
ID=45451904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110278098 Expired - Fee Related CN102324166B (zh) | 2011-09-19 | 2011-09-19 | 一种疲劳驾驶检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102324166B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303772A (zh) * | 2012-09-24 | 2016-02-03 | 由田新技股份有限公司 | 瞌睡提醒装置 |
| CN103093210B (zh) * | 2013-01-24 | 2017-02-08 | 北京天诚盛业科技有限公司 | 人脸识别中眼镜的鉴别方法及装置 |
| CN103093215B (zh) * | 2013-02-01 | 2016-12-28 | 北京天诚盛业科技有限公司 | 人眼定位方法及装置 |
| TWI492193B (zh) * | 2013-06-14 | 2015-07-11 | Utechzone Co Ltd | 觸發訊號的方法及車用電子裝置 |
| CN103400471B (zh) * | 2013-08-12 | 2015-10-28 | 电子科技大学 | 一种驾驶员疲劳驾驶检测系统及检测方法 |
| CN103839046B (zh) * | 2013-12-26 | 2017-02-01 | 苏州清研微视电子科技有限公司 | 驾驶人注意力自动识别系统及其识别方法 |
| CN103956027A (zh) * | 2014-04-04 | 2014-07-30 | 驻马店市金格尔电气设备有限公司 | 一种驾驶员人眼疲劳检测装置及检测方法 |
| CN104091150B (zh) * | 2014-06-26 | 2019-02-26 | 浙江捷尚视觉科技股份有限公司 | 一种基于回归的人眼状态判断方法 |
| CN104732202A (zh) * | 2015-02-12 | 2015-06-24 | 杭州电子科技大学 | 一种人眼检测中消除眼镜框影响的方法 |
| TWI547909B (zh) * | 2015-05-15 | 2016-09-01 | 吳鍾達 | 眼球動態追蹤裝置 |
| CN106295474B (zh) * | 2015-05-28 | 2019-03-22 | 交通运输部水运科学研究院 | 船舶驾驶员的疲劳检测方法、系统和服务器 |
| CN104881955B (zh) * | 2015-06-16 | 2017-07-18 | 华中科技大学 | 一种驾驶员疲劳驾驶检测方法及系统 |
| CN105389948A (zh) * | 2015-11-11 | 2016-03-09 | 上海斐讯数据通信技术有限公司 | 一种预防司机疲劳驾驶的系统及方法 |
| CN105853160B (zh) * | 2016-03-28 | 2018-03-06 | 天脉聚源(北京)传媒科技有限公司 | 一种防视力疲劳的方法及装置 |
| CN106548132A (zh) * | 2016-10-16 | 2017-03-29 | 北海益生源农贸有限责任公司 | 融合眼睛状态和心率检测的疲劳驾驶检测方法 |
| CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易（北京）科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN107464440B (zh) * | 2017-06-21 | 2020-12-01 | 深圳市盛路物联通讯技术有限公司 | 一种停车位智能引导方法及系统 |
| CN107248313A (zh) * | 2017-06-21 | 2017-10-13 | 深圳市盛路物联通讯技术有限公司 | 一种车辆停车诱导系统及方法 |
| CN107240292A (zh) * | 2017-06-21 | 2017-10-10 | 深圳市盛路物联通讯技术有限公司 | 一种基于驾驶员自身停车技能的停车诱导方法及系统 |
| CN107730834A (zh) * | 2017-08-07 | 2018-02-23 | 西北工业大学 | 一种基于姿态检测与图像识别相结合的抗疲劳智能穿戴设备 |
| CN108573219B (zh) * | 2018-03-27 | 2022-03-29 | 上海电力学院 | 一种基于深度卷积神经网络的眼睑关键点精确定位方法 |
| CN111052127A (zh) * | 2018-09-12 | 2020-04-21 | 北京嘀嘀无限科技发展有限公司 | 疲劳检测的系统和方法 |
| CN109214373B (zh) * | 2018-11-05 | 2020-11-13 | 绍兴文理学院 | 一种用于考勤的人脸识别系统及方法 |
| CN111382648A (zh) * | 2018-12-30 | 2020-07-07 | 广州市百果园信息技术有限公司 | 人脸动态表情的检测方法、装置、设备及存储介质 |
| CN112733570B (zh) * | 2019-10-14 | 2024-04-30 | 北京眼神智能科技有限公司 | 眼镜检测的方法、装置、电子设备及存储介质 |
| CN112183502B (zh) * | 2020-11-26 | 2021-02-12 | 湖北亿咖通科技有限公司 | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 |
| CN115311819B (zh) * | 2022-10-10 | 2023-01-20 | 南京智慧交通信息股份有限公司 | 一种智慧公交智能车载实时告警系统及其方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| CN101642376B (zh) * | 2008-08-04 | 2012-02-08 | 南京大学 | 疲劳检测装置及方法 |
| CN101593425B (zh) * | 2009-05-06 | 2011-01-12 | 深圳市汉华安道科技有限责任公司 | 一种基于机器视觉的疲劳驾驶监控方法及系统 |
| CN101803928A (zh) * | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 基于视频的驾驶员疲劳检测装置 |
-
2011
- 2011-09-19 CN CN 201110278098 patent/CN102324166B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102324166A (zh) | 2012-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102324166B (zh) | 一种疲劳驾驶检测方法及装置 | |
| Ramzan et al. | A survey on state-of-the-art drowsiness detection techniques | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| CN107292251B (zh) | 一种基于人眼状态的驾驶员疲劳检测方法及系统 | |
| Alioua et al. | Driver’s fatigue detection based on yawning extraction | |
| Zhang et al. | Driver yawning detection based on deep convolutional neural learning and robust nose tracking | |
| CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
| CN102054163B (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
| CN101692980B (zh) | 疲劳驾驶检测方法及装置 | |
| CN105286802B (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
| CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
| CN102289660A (zh) | 一种基于手部姿态跟踪的违规驾驶行为检测方法 | |
| CN106846734A (zh) | 一种疲劳驾驶检测装置及方法 | |
| CN102085099B (zh) | 疲劳驾驶检测方法和装置 | |
| CN104269028A (zh) | 一种疲劳驾驶检测方法及系统 | |
| CN112818883B (zh) | 基于眼动信号的感兴趣目标深度学习检测与定位方法 | |
| CN103729646B (zh) | 一种眼睛图像有效性检测方法 | |
| Noman et al. | Mobile-based eye-blink detection performance analysis on android platform | |
| Huda et al. | Mobile-based driver sleepiness detection using facial landmarks and analysis of EAR values | |
| Naz et al. | Driver fatigue detection using mean intensity, SVM, and SIFT | |
| Al Redhaei et al. | Realtime driver drowsiness detection using machine learning | |
| Liu et al. | 3DCNN-based real-time driver fatigue behavior detection in urban rail transit | |
| Mu et al. | Research on a driver fatigue detection model based on image processing | |
| US20210085258A1 (en) | System and method to predict a state of drowsiness in a subject | |
| Boverie et al. | Driver vigilance diagnostic based on eyelid movement observation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180403 Address after: 518000 Guangdong city of Shenzhen province Nanshan District Nanshan Street Bay Road No. 2076 building 7 building 79049 hi tech group Patentee after: SHENZHEN BOWEI YUANJING TECHNOLOGY Co.,Ltd. Address before: 518055 Guangdong city of Shenzhen province Nanshan District Taoyuan University City Street Lishan Pioneering Park Room 804 Patentee before: SHENZHEN SAFDAO TECHNOLOGY Corp.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |