CN111209833B - 一种疲劳驾驶检测方法及无人驾驶设备 - Google Patents
一种疲劳驾驶检测方法及无人驾驶设备 Download PDFInfo
- Publication number
- CN111209833B CN111209833B CN201911415003.0A CN201911415003A CN111209833B CN 111209833 B CN111209833 B CN 111209833B CN 201911415003 A CN201911415003 A CN 201911415003A CN 111209833 B CN111209833 B CN 111209833B
- Authority
- CN
- China
- Prior art keywords
- fatigue
- unmanned
- driver
- information
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 210000001747 pupil Anatomy 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000000638 stimulation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例涉及无人驾驶技术领域，公开了一种疲劳驾驶检测方法及无人驾驶设备。其中，所述疲劳驾驶检测方法包括：在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息；根据所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息；当所述目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式。本发明实施例提升了无人驾驶设备的安全性。
Description
技术领域
本发明涉及无人驾驶技术领域，特别是涉及一种疲劳驾驶检测方法及无人驾驶设备。
背景技术
目前，无人驾驶设备包括有人驾驶模式和无人驾驶模式，有人驾驶模式和无人驾驶模式通过人为操作进行切换。但是，当在有人驾驶模式下，若驾驶者发生疲劳驾驶，驾驶者未能及时切换驾驶模式，则可能导致安全事故。
发明内容
本发明实施例旨在提供一种提升安全性的疲劳驾驶检测方法及无人驾驶设备。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供了一种疲劳驾驶检测方法，包括：
在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息；
根据所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息；
当所述目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式。
在一些实施例中，所述在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息包括：
获取无人驾驶设备的驾驶者的第一人脸图像；
延时预设时长后，继续获取无人驾驶设备的驾驶者的第二人脸图像；
基于深度学习算法，处理每张人脸图像，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息；
当所述第一瞳孔大小信息及所述第二瞳孔大小信息皆小于预设开度阈值，且所述第一瞳孔大小信息与所述第二瞳孔大小信息的差值小于参考差值时，确定所述驾驶者满足疲劳检测条件，并产生疲劳刺激信息。
在一些实施例中，所述基于深度学习算法，处理每张人脸图像，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息包括：
对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域；
基于深度学习算法，处理每张所述目标图像区域，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。
在一些实施例中，所述疲劳刺激信息包括蓝光刺激信息，所述对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域，包括：
剔除每张人脸图像中RGB值未在混合颜色阈值范围内的噪声图像区域，保留RGB值在混合颜色阈值范围的目标图像区域。
在一些实施例中，所述产生疲劳刺激信息包括：
按照光强由小到大的渐变模式，控制安装在所述无人驾驶设备的驾驶座周边的灯具产生蓝光刺激信息。
在一些实施例中，所述目标瞳孔信息包括目标瞳孔大小信息，所述当所述目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式包括：
将所述目标瞳孔大小信息与所述第二瞳孔大小信息相除，得到比值；
当所述比值小于或等于预设参考比值时，确定所述目标瞳孔信息满足无人驾驶触发条件，切换至无人驾驶模式。
在一些实施例中，无人驾驶设备所述当所述比值小于或等于预设参考比值时，确定所述目标瞳孔信息满足无人驾驶触发条件，切换至无人驾驶模式包括：
当所述比值小于或等于预设参考比值时，获取切换至无人驾驶模式前所述驾驶者正常驾驶的持续时长以及所述驾驶者的疲劳次数，其中，所述疲劳次数为所述驾驶者因疲劳而进入无人驾驶模式的历史次数；
根据所述持续时长、所述疲劳次数及所述比值，计算所述驾驶者的疲劳分值；
当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式。
在一些实施例中，所述根据所述持续时长、所述疲劳次数及所述比值，计算所述驾驶者的疲劳分值包括：
分别计算第一权重乘以所述比值的第一结果、第二权重乘以所述持续时长的第二结果以及第三权重乘以所述疲劳次数的第三结果，其中，所述第一权重、所述第二权重及所述第三权重的总和为100％；
累加所述第一结果、所述第二结果及所述第三结果，得到所述驾驶者的疲劳分值。
在一些实施例中，所述当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式包括：
当所述疲劳分值大于或等于预设参考分值时，切换至无人驾驶模式。
第二方面，本发明实施例提供了一种无人驾驶设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的疲劳驾驶检测方法。
第三方面，本发明实施例提供了一种疲劳驾驶检测装置，包括：
产生模块，用于在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息；
获取模块，用于根据所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息；
切换模块，用于当所述目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式。
在一些实施例中，所述产生模块包括：
第一获取单元，用于获取无人驾驶设备的驾驶者的第一人脸图像；
第二获取单元，用于延时预设时长后，继续获取无人驾驶设备的驾驶者的第二人脸图像；
处理单元，用于基于深度学习算法，处理每张人脸图像，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息；
产生单元，用于当所述第一瞳孔大小信息及所述第二瞳孔大小信息皆小于预设开度阈值，且所述第一瞳孔大小信息与所述第二瞳孔大小信息的差值小于参考差值时，确定所述驾驶者满足疲劳检测条件，并产生疲劳刺激信息。
在一些实施例中，所述处理单元包括：
第一处理子单元，用于对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域；
第二处理子单元，用于基于深度学习算法，处理每张所述目标图像区域，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。
在一些实施例中，所述疲劳刺激信息包括蓝光刺激信息，所述第一处理子单元具体用于剔除每张人脸图像中RGB值未在混合颜色阈值范围内的噪声图像区域，保留RGB值在混合颜色阈值范围的目标图像区域。
在一些实施例中，所述产生单元包括：
产生子单元，用于按照光强由小到大的渐变模式，控制安装在所述无人驾驶设备的驾驶座周边的灯具产生蓝光刺激信息。
在一些实施例中，所述目标瞳孔信息包括目标瞳孔大小信息，所述切换模块包括：
运算单元，用于将所述目标瞳孔大小信息与所述第二瞳孔大小信息相除，得到比值；
切换单元，用于当所述比值小于或等于预设参考比值时，确定所述目标瞳孔信息满足无人驾驶触发条件，切换至无人驾驶模式。
在一些实施例中，所述切换单元包括：
获取子单元，用于当所述比值小于或等于预设参考比值时，获取切换至无人驾驶模式前所述驾驶者正常驾驶的持续时长以及所述驾驶者的疲劳次数，所疲劳次数其中，所述疲劳次数为所述驾驶者因疲劳而进入无人驾驶模式的历史次数；
计算子单元，用于根据所述持续时长、所述疲劳次数及所述比值，计算所述驾驶者的疲劳分值；
切换子单元，用于当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式。
在一些实施例中，所述计算子单元具体用于分别计算第一权重乘以所述比值的第一结果、第二权重乘以所述持续时长的第二结果以及第三权重乘以所述疲劳次数的第三结果，其中，所述第一权重、所述第二权重及所述第三权重的总和为100％；
累加所述第一结果、所述第二结果及所述第三结果，得到所述驾驶者的疲劳分值。
在一些实施例中，所述切换子单元具体用于当所述疲劳分值大于或等于预设参考分值时，切换至无人驾驶模式。
第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机能够执行如上所述的疲劳驾驶检测方法。
本发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例提供的一种疲劳驾驶检测方法及无人驾驶设备，通过在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息，根据疲劳刺激信息，获取驾驶者的目标瞳孔信息，当目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式，因此，本发明实施例提升了无人驾驶设备的安全性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的疲劳驾驶检测方法的其中一种应用场景；
图2是本发明实施例提供的一种疲劳驾驶检测方法的方法流程图；
图3是图2中步骤10的其中一种方法流程图；
图4是图3中步骤103的其中一种方法流程图；
图5是图2中步骤50的其中一种方法流程图；
图6是图5中步骤502的其中一种方法流程图；
图7是本发明实施例提供的一种疲劳驾驶检测装置的结构示意图；
图8是本发明实施例提供的一种无人驾驶设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
需要说明的是，本发明实施例提供的疲劳驾驶检测方法应用于无人驾驶设备，所述无人驾驶设备包括各类交通工具，例如无人驾驶汽车、无人驾驶飞机、无人驾驶轮船、无人驾驶轨道交通工具、无人驾驶施工工具等，本实施例以无人驾驶汽车进行阐述。
具体地，图1是本发明实施例提供的疲劳驾驶检测方法的其中一种应用场景，其中，该应用于场景中包括无人驾驶汽车100，为提升无人驾驶汽100的客户群体和使用体验，无人驾驶汽车100设置有人驾驶模式与无人驾驶模式，有人驾驶模式与无人驾驶模式可根据驾驶者操作进行任意切换，也可根据本发明实施例提供的疲劳驾驶检测方法触发从有人驾驶模式切换为无人驾驶模式。
其中，无人驾驶汽车100与现有的燃油汽车、电力汽车、混合动力汽车类似，包括发动机、底盘、车身、电气设备、轮胎等。在有人驾驶模式下，通过驾驶者对汽车控制系统的操控，将其他形式的能量转换为无人驾驶汽车100行驶的机械能，从而控制无人驾驶汽车100的启动、行驶速度、行驶方向、刹车等。
无人驾驶汽车100作为一种无人驾驶的智能汽车，应当设置有车载传感器(图未示)，例如，激光雷达等距离传感器，用于检测车辆与周围物体的距离，速度传感器，用于检测前方阻挡车辆的行驶车速。无人驾驶汽车100还应当设置有图像采集装置(图未示)，例如摄像头等，用于采集无人驾驶汽车100的驾驶者的人脸图像。
进一步的，无人驾驶汽车100内设汽车电控系统，能够获取无人驾驶汽车100的驾驶者的人脸图像，并且，根据所述人脸图像，可确定所述驾驶者满足疲劳检测条件，触发无人驾驶汽车100从有人驾驶模式切换为无人驾驶模式。
其中，所述人脸图像可以是视频格式，也可以图片格式，所述传感器和摄像头可以为若干个。
在一些实施例中，所述摄像头还用于采集无人驾驶汽车100预设范围内的路面图像，汽车电控系统根据所述路面图像，可识别与无人驾驶汽车100有关的道路信息、障碍物信息、天气信息等。
具体地，下面结合附图，对本发明实施例作进一步阐述。
可以理解，引起疲劳驾驶的原因是多方面的，驾驶者的疲劳主要是神经和感觉器官的疲劳，以及长时间保持固定姿势，血液循环不畅所引起的肢体疲劳。驾驶者长时间坐在固定的座位上，动作受到一定限制，注意力高度集中，忙于判断车外刺激信息，精神状态高度紧张，从而出现眼睛模糊、腰酸背痛、反应迟钝、驾驶不灵活等驾驶疲劳现象。
由于瞳孔变化是一个不受意识支配的生理指标，故而，本发明实施例将瞳孔变化作为判断是否满足疲劳检测条件。无人驾驶设备在行驶过程中速度较快，而路面交通情况又是复杂多变的，交通意外的发生往往在很短的时间内，疲劳状态下的驾驶者发生意外事件的概率更高，是以，本发明提出了一种疲劳驾驶检测方法，当驾驶者满足疲劳检测条件时，将无人驾驶设备从有人驾驶模式切换至无人驾驶模式，从而避免了因疲劳驾驶导致安全事故发生的现象。
请参阅图2，是本发明实施例提供的一种疲劳驾驶检测方法的方法流程图，该方法可被上述无人驾驶汽车所执行，如图2所示，所述疲劳驾驶检测方法包括但不限于：
步骤10：在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息。
请参阅图3，步骤10包括步骤101-步骤104，具体如下：
步骤101：获取无人驾驶设备的驾驶者的第一人脸图像。
步骤102：延时预设时长后，继续获取无人驾驶设备的驾驶者的第二人脸图像。
当所述预设时长等于所述无人驾驶设备的摄像头的采集周期时，所述第一人脸图像和所述第二人脸图像为相邻两帧的图像，可以理解，本发明实施例不限制所述预设时长的大小，根据每一驾驶者的驾驶习惯，可选择合理的所述预设时长。
其中，利用位于驾驶者前方的摄像头采集所述驾驶者的第一人脸图像和第二人脸图像，通过支架固定等方式，将所述摄像头安装于前挡风玻璃和所述驾驶者之间，所述摄像头的安装位置略高于所述驾驶者的头部，使其可完整地、无遮挡地采集所述第一人脸图像和所述第二人脸图像。
步骤103：基于深度学习算法，处理每张人脸图像，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。
请参阅图4，步骤103包括步骤1031-步骤1032，具体如下：
步骤1031：对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域。
其中，所述疲劳刺激信息包括蓝光刺激信息，所述对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域，包括：剔除每张人脸图像中RGB值未在混合颜色阈值范围内的噪声图像区域，保留RGB值在混合颜色阈值范围的目标图像区域。
RGB是指光学三原色，R是红色，G是绿色，B是蓝色，从物理光学试验中得出：红、绿、蓝三种色光是其他色光所混合不出来的，而这三种色光以不同比例的混合几乎可以得出自然界所有的颜色。一种颜色的数值一般用这种颜色的RGB值来表示，RGB值是指所述人脸图像的亮度，用整数0、1、2……直到255来表示，其中，255亮度最大，R、G、B均各有256级亮度。在本实施例中，需将所述RGB值转换为所述无人驾驶设备的电子控制系统可识别的数据，例如16进制数等。
可以理解，作用于每张人脸图像上的光照包括太阳光、车载照明光、其他无人驾驶设备的照明光、建筑物的照明光、广告牌灯光等至少一种与蓝光刺激信息的结合。对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域，可排除噪声图像区域的影响，提升所述第一瞳孔大小信息和所述第二瞳孔大小信息的计算结果的准确性。
步骤1032：基于深度学习算法，处理每张所述目标图像区域，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。
在本实施例中，采用卷积神经网络处理每张所述目标图像区域。所述卷积神经网络包括卷积层、池化层以及全连接层，通过卷积层初步提取特征，池化层提取主要特征，全连接层将各部分特征汇总，产生分类器，进行预测识别。
卷积层的作用是提取所述目标图像区域的每个小部分里面具有的特征，具体地，通过不断改变卷积核，来确定初步表征所述目标图像区域的有用的卷积核是哪些，再得到与相应的卷积核相乘后的输出矩阵。池化层的输入是卷积层输出的原始数据与相应的卷积核相乘后的输出矩阵，对所述目标图像区域进行池化的目的是：一、为了减少训练参数的数量，降低卷积层输出的特征向量的维度；二、减小过拟合现象，只保留最有用的图片信息，减少噪声的传递。
可见，卷积层和池化层的工作就是提取特征，并减少原始图像带来的参数。然而，为了生成最终的输出，应用全连接层来生成一个等于需要的类的数量的分类器。全连接层的工作原理是将池化层输出的张量重新切割成一些向量，乘上权重矩阵，加上偏置值，然后对其使用ReLU激活函数，用梯度下降法优化参数既可将各部分特征汇总，产生分类器，所述分类器用于识别所述第一人脸图像的第一瞳孔大小信息以及所述第二人脸图像的第二瞳孔大小信息。
在一些实施例中，可根据所述人脸图像，检测人眼轮廓图像，根据所述人眼轮廓图像，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。具体地，所述根据所述人脸图像，检测人眼轮廓图像，包括：建立主动形状模型；根据所述主动形状模型，在所述人脸图像中搜索所述人眼轮廓图像，其中，所述人眼轮廓图像包括瞳孔的中心坐标信息、瞳孔的直径信息等，即所述第一瞳孔大小信息和所述第二瞳孔大小信息包括瞳孔的中心坐标信息、瞳孔的直径信息等。
步骤104：当所述第一瞳孔大小信息及所述第二瞳孔大小信息皆小于预设开度阈值，且所述第一瞳孔大小信息与所述第二瞳孔大小信息的差值小于参考差值时，确定所述驾驶者满足疲劳检测条件，并产生疲劳刺激信息。
其中，所述产生疲劳刺激信息包括：按照光强由小到大的渐变模式，控制安装在所述无人驾驶设备的驾驶座周边的灯具产生蓝光刺激信息。步骤30：根据所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息。
可以理解，当所述驾驶者满足疲劳检测条件，即所述驾驶者确定为疲劳驾驶时，所述蓝光刺激信息对所述驾驶者的影响时间较短，且在短时间内对所述驾驶者的影响也较小。相应地，所述疲劳刺激信息作用于所述驾驶者，该驾驶者的瞳孔随之发生变化，得到所述驾驶者的目标瞳孔信息，根据所述目标瞳孔信息与所述第二瞳孔大小信息的相对变化程度，判断是否满足无人驾驶触发条件。
步骤50：当所述目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式。
请参阅图5，步骤50包括步骤501-步骤502，具体如下：
步骤501：将所述目标瞳孔大小信息与所述第二瞳孔大小信息相除，得到比值。
步骤502：当所述比值小于或等于预设参考比值时，确定所述目标瞳孔信息满足无人驾驶触发条件，切换至无人驾驶模式。
请参阅图6，步骤502包括步骤5021-步骤5023，具体如下：
步骤5021：当所述比值小于或等于预设参考比值时，获取切换至无人驾驶模式前所述驾驶者正常驾驶的持续时长以及所述驾驶者的疲劳次数，其中，所述疲劳次数为所述驾驶者因疲劳而进入无人驾驶模式的历史次数。
步骤5022：根据所述持续时长、所述疲劳次数及所述比值，计算所述驾驶者的疲劳分值。
其中，所述根据所述持续时长、所述疲劳次数及所述比值，计算所述驾驶者的疲劳分值包括：分别计算第一权重乘以所述比值的第一结果、第二权重乘以所述持续时长的第二结果以及第三权重乘以所述疲劳次数的第三结果，其中，所述第一权重、所述第二权重及所述第三权重的总和为100％；累加所述第一结果、所述第二结果及所述第三结果，得到所述驾驶者的疲劳分值。
步骤5023：当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式。
其中，当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式包括：当所述疲劳分值大于或等于预设参考分值时，切换至无人驾驶模式。
综上，在所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息，当所述比值小于或等于预设参考比值时，确定所述目标瞳孔信息满足无人驾驶触发条件，切换至无人驾驶模式的基础上，进一步结合驾驶者的驾驶时长和该驾驶者因疲劳而进入无人驾驶模式的历史次数，计算该驾驶者的疲劳分值，根据所述疲劳分值，判断是否满足无人驾驶触发条件，提升了驾驶者因疲劳驾驶切换至无人驾驶模式的可靠性。
本发明实施例提供的一种疲劳驾驶检测方法，通过在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息，根据疲劳刺激信息，获取驾驶者的目标瞳孔信息，当目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式，因此，本发明实施例提升了无人驾驶设备的安全性。
请参阅图7，是本发明实施例提供的一种疲劳驾驶检测装置的结构示意图。如图7所示，所述疲劳驾驶检测装置应用于上述无人驾驶汽车，所述疲劳驾驶检测装置700包括产生模块71、获取模块72以及切换模块73。
所述产生模块71用于在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息。
在一些实施例中，所述产生模块71包括第一获取单元711、第二获取单元712、处理单元713以及产生单元714。
所述第一获取单元711用于获取无人驾驶设备的驾驶者的第一人脸图像。
所述第二获取单元712用于延时预设时长后，继续获取无人驾驶设备的驾驶者的第二人脸图像。
所述处理单元713用于基于深度学习算法，处理每张人脸图像，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。
在一些实施例中，所述处理单元713包括第一处理子单元7131和第二处理子单元7132。
所述第一处理子单元7131用于对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域。
在一些实施例中，所述疲劳刺激信息包括蓝光刺激信息，所述第一处理子单元具体用于剔除每张人脸图像中RGB值未在混合颜色阈值范围内的噪声图像区域，保留RGB值在混合颜色阈值范围的目标图像区域。
所述第二处理子单元7132用于基于深度学习算法，处理每张所述目标图像区域，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息。
所述产生单元714用于当所述第一瞳孔大小信息及所述第二瞳孔大小信息皆小于预设开度阈值，且所述第一瞳孔大小信息与所述第二瞳孔大小信息的差值小于参考差值时，确定所述驾驶者满足疲劳检测条件，并产生疲劳刺激信息。
在一些实施例中，所述产生单元714包括产生子单元7141，用于按照光强由小到大的渐变模式，控制安装在所述无人驾驶设备的驾驶座周边的灯具产生蓝光刺激信息。
所述获取模块72用于根据所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息。
所述切换模块73用于当所述目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式。
在一些实施例中，所述目标瞳孔信息包括目标瞳孔大小信息，所述切换模块73包括运算单元731和切换单元732。
所述运算单元731用于将所述目标瞳孔大小信息与所述第二瞳孔大小信息相除，得到比值。
所述切换单元732用于当所述比值小于或等于预设参考比值时，确定所述目标瞳孔信息满足无人驾驶触发条件，切换至无人驾驶模式。
在一些实施例中，所述切换单元732包括获取子单元7321、计算子单元7322以及切换子单元7323。
所述获取子单元7321用于当所述比值小于或等于预设参考比值时，获取切换至无人驾驶模式前所述驾驶者正常驾驶的持续时长以及所述驾驶者的疲劳次数，所疲劳次数其中，所述疲劳次数为所述驾驶者因疲劳而进入无人驾驶模式的历史次数。
所述计算子单元7322用于根据所述持续时长、所述疲劳次数及所述比值，计算所述驾驶者的疲劳分值。
在一些实施例中，所述计算子单元7322具体用于分别计算第一权重乘以所述比值的第一结果、第二权重乘以所述持续时长的第二结果以及第三权重乘以所述疲劳次数的第三结果，其中，所述第一权重、所述第二权重及所述第三权重的总和为100％；累加所述第一结果、所述第二结果及所述第三结果，得到所述驾驶者的疲劳分值。
所述切换子单元7323用于当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式。
在一些实施例中，所述切换子单元7323具体用于当所述疲劳分值大于或等于预设参考分值时，切换至无人驾驶模式。
本发明实施例提供的一种疲劳驾驶检测装置，通过产生模块在检测到无人驾驶设备的驾驶者满足疲劳检测条件时，产生疲劳刺激信息，获取模块根据疲劳刺激信息，获取驾驶者的目标瞳孔信息，切换模块当目标瞳孔信息满足无人驾驶触发条件时，切换至无人驾驶模式，因此，本发明实施例提升了无人驾驶设备的安全性。
请参阅图8，是本发明实施例提供的一种无人驾驶设备的结构示意图。如图8所示，所述无人驾驶设备100包括至少一个处理器101以及与所述至少一个处理器101通信连接的存储器102，图8中以其以一个处理器101为例。所述存储器102存储有可被所述至少一个处理器101执行的指令，所述指令被所述至少一个处理器101执行，以使所述至少一个处理器101能够执行如上述方法实施例所述的疲劳驾驶检测方法。
所述处理器101和所述存储器102可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的疲劳驾驶检测方法对应的程序指令/模块，例如，附图7所示的各个模块。处理器101通过运行存储在存储器102中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例所述的疲劳驾驶检测方法。
存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据疲劳驾驶检测装置的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至控制无人车行车的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器102中，当被所述一个或者多个处理器101执行时，执行上述任意方法实施例中的疲劳驾驶检测方法，例如，执行以上描述的图2至图6的方法步骤，实现图7中的各模块和各单元的功能。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图2至图6的方法步骤，实现图7中各模块的功能。
本发明实施例还提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意方法实施例所述的疲劳驾驶检测方法，例如，执行以上描述的图2至图6的方法步骤，实现图7中各模块的功能。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种疲劳驾驶检测方法，其特征在于，包括：
获取无人驾驶设备的驾驶者的第一人脸图像；
延时预设时长后，继续获取无人驾驶设备的驾驶者的第二人脸图像；
对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域；
基于深度学习算法，处理每张所述目标图像区域，分别得到所述第一人脸图像的第一瞳孔大小信息，以及所述第二人脸图像的第二瞳孔大小信息；
当所述第一瞳孔大小信息及所述第二瞳孔大小信息皆小于预设开度阈值，且所述第一瞳孔大小信息与所述第二瞳孔大小信息的差值小于参考差值时，确定所述驾驶者满足疲劳检测条件，并产生疲劳刺激信息；
根据所述疲劳刺激信息，获取所述驾驶者的目标瞳孔信息，所述目标瞳孔信息包括目标瞳孔大小信息；
将所述目标瞳孔大小信息与所述第二瞳孔大小信息相除，得到比值；
当所述比值小于或等于预设参考比值时，获取切换至无人驾驶模式前所述驾驶者正常驾驶的持续时长以及所述驾驶者的疲劳次数，其中，所述疲劳次数为所述驾驶者因疲劳而进入无人驾驶模式的历史次数；
分别计算第一权重乘以所述比值的第一结果、第二权重乘以所述持续时长的第二结果以及第三权重乘以所述疲劳次数的第三结果，其中，所述第一权重、所述第二权重及所述第三权重的总和为100%；
累加所述第一结果、所述第二结果及所述第三结果，得到所述驾驶者的疲劳分值；
当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式。
2.根据权利要求1所述的方法，其特征在于，所述疲劳刺激信息包括蓝光刺激信息，所述对每张人脸图像作图像处理，获得所述人脸图像的目标图像区域，包括：
剔除每张人脸图像中RGB值未在混合颜色阈值范围内的噪声图像区域，保留RGB值在混合颜色阈值范围的目标图像区域。
3.根据权利要求2所述的方法，其特征在于，所述产生疲劳刺激信息包括：
按照光强由小到大的渐变模式，控制安装在所述无人驾驶设备的驾驶座周边的灯具产生蓝光刺激信息。
4.根据权利要求1所述的方法，其特征在于，所述当所述疲劳分值满足无人驾驶触发条件，切换至无人驾驶模式包括：
当所述疲劳分值大于或等于预设参考分值时，切换至无人驾驶模式。
5.一种无人驾驶设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4任一项所述的疲劳驾驶检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310708337.7A CN116740686A (zh) | 2019-12-31 | 2019-12-31 | 一种应用于无人驾驶设备的疲劳驾驶检测方法及无人驾驶设备 |
| CN201911415003.0A CN111209833B (zh) | 2019-12-31 | 2019-12-31 | 一种疲劳驾驶检测方法及无人驾驶设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415003.0A CN111209833B (zh) | 2019-12-31 | 2019-12-31 | 一种疲劳驾驶检测方法及无人驾驶设备 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310708337.7A Division CN116740686A (zh) | 2019-12-31 | 2019-12-31 | 一种应用于无人驾驶设备的疲劳驾驶检测方法及无人驾驶设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111209833A CN111209833A (zh) | 2020-05-29 |
| CN111209833B true CN111209833B (zh) | 2023-06-30 |
Family
ID=70787896
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911415003.0A Active CN111209833B (zh) | 2019-12-31 | 2019-12-31 | 一种疲劳驾驶检测方法及无人驾驶设备 |
| CN202310708337.7A Pending CN116740686A (zh) | 2019-12-31 | 2019-12-31 | 一种应用于无人驾驶设备的疲劳驾驶检测方法及无人驾驶设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310708337.7A Pending CN116740686A (zh) | 2019-12-31 | 2019-12-31 | 一种应用于无人驾驶设备的疲劳驾驶检测方法及无人驾驶设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111209833B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529089A (zh) * | 2020-12-18 | 2021-03-19 | 广东科学技术职业学院 | 基于仿生球周回路的气味识别方法、计算机装置及计算机可读存储介质 |
| CN112874524B (zh) * | 2021-01-11 | 2022-08-23 | 广东科学技术职业学院 | 一种行驶车辆的方法、装置以及无人驾驶车辆 |
| CN114926645A (zh) * | 2022-06-21 | 2022-08-19 | 深圳市慧智生命科技有限公司 | 视觉疲劳的检测方法和视觉疲劳的检测装置 |
| CN115273600A (zh) * | 2022-07-27 | 2022-11-01 | 山东心法科技有限公司 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530623A (zh) * | 2016-12-30 | 2017-03-22 | 南京理工大学 | 一种疲劳驾驶检测装置及检测方法 |
| CN108846308A (zh) * | 2018-04-24 | 2018-11-20 | 浙江吉利控股集团有限公司 | 一种疲劳驾驶检测方法及装置 |
| CN109117810A (zh) * | 2018-08-24 | 2019-01-01 | 深圳市国脉畅行科技股份有限公司 | 疲劳驾驶行为检测方法、装置、计算机设备及存储介质 |
-
2019
- 2019-12-31 CN CN201911415003.0A patent/CN111209833B/zh active Active
- 2019-12-31 CN CN202310708337.7A patent/CN116740686A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530623A (zh) * | 2016-12-30 | 2017-03-22 | 南京理工大学 | 一种疲劳驾驶检测装置及检测方法 |
| CN108846308A (zh) * | 2018-04-24 | 2018-11-20 | 浙江吉利控股集团有限公司 | 一种疲劳驾驶检测方法及装置 |
| CN109117810A (zh) * | 2018-08-24 | 2019-01-01 | 深圳市国脉畅行科技股份有限公司 | 疲劳驾驶行为检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 姚瑶 ; 杨艳芳 ; 齐美彬 ; 蒋建国 ; .基于视觉的疲劳驾驶检测算法.合肥工业大学学报(自然科学版).2015,(12),第48-53页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740686A (zh) | 2023-09-12 |
| CN111209833A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209833B (zh) | 一种疲劳驾驶检测方法及无人驾驶设备 | |
| CN112965504B (zh) | 基于自动驾驶的远程确认方法、装置、设备及存储介质 | |
| KR102554643B1 (ko) | 동적 범위를 확장하기 위한 다수의 동작 모드들 | |
| US11003931B2 (en) | Vehicle monitoring method and apparatus, processor, and image acquisition device | |
| CN111507170B (zh) | 通过车对车连接警告驾驶员的异常状态的方法和装置 | |
| DE102012214852B4 (de) | Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs | |
| JP5794255B2 (ja) | 物体検出装置 | |
| CN107914707A (zh) | 碰撞预警方法、系统、车载后视镜及存储介质 | |
| JP2019106159A (ja) | 知的地形特定のための方法及び装置、車両搭載端末、並びに車両 | |
| US10929715B2 (en) | Semantic segmentation using driver attention information | |
| CN111507171B (zh) | 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置 | |
| US11805330B2 (en) | Image recognition device, solid-state imaging device, and image recognition method | |
| CN113276774B (zh) | 无人车远程驾驶过程中视频画面的处理方法、装置及设备 | |
| DE112017000342T5 (de) | Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren | |
| CN111931644A (zh) | 一种车载人数检测的方法、系统、设备及可读存储介质 | |
| US10967824B1 (en) | Situational impact mitigation using computer vision | |
| US20220276379A1 (en) | Device, measuring device, distance measuring system, and method | |
| CN111277956A (zh) | 车辆盲区信息的采集方法及装置 | |
| JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
| JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
| DE112018005515T5 (de) | Bildaufnahmesteuervorrichtung, bildaufnahmevorrichtung, steuerverfahren für die bildaufnahmesteuervorrichtung und ein nicht flüchtiges computerlesbares medium | |
| CN113232668B (zh) | 一种驾驶辅助方法、系统、介质及终端 | |
| JP7318352B2 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム | |
| JP7415459B2 (ja) | 車両制御装置及び運転者状態判定方法 | |
| US20220268890A1 (en) | Measuring device and distance measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |