CN116052136B - 分心检测方法、车载控制器和计算机存储介质 - Google Patents
分心检测方法、车载控制器和计算机存储介质 Download PDFInfo
- Publication number
- CN116052136B CN116052136B CN202310301251.2A CN202310301251A CN116052136B CN 116052136 B CN116052136 B CN 116052136B CN 202310301251 A CN202310301251 A CN 202310301251A CN 116052136 B CN116052136 B CN 116052136B
- Authority
- CN
- China
- Prior art keywords
- driver
- distraction
- image
- scene
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims abstract description 8
- 230000008447 perception Effects 0.000 claims abstract description 5
- 210000001508 eye Anatomy 0.000 claims description 68
- 210000001747 pupil Anatomy 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 23
- 210000003128 head Anatomy 0.000 claims description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 238000011426 transformation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 210000004087 cornea Anatomy 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及安全驾驶领域，并且更具体地涉及一种分心检测方法、实施该方法的车载控制器和实施该方法的计算机存储介质。该方法包括：A、接收同步采集的驾驶员面部图像与外部场景图像；B、利用目标检测算法获取外部场景图像中的场景目标物的坐标，其中，场景目标物为能够向驾驶员提供风险感知的对象；C、基于驾驶员面部图像与外部场景图像，计算驾驶员的凝视点在外部场景图像中的坐标；以及D、通过比对凝视点的坐标与场景目标物的坐标，判断驾驶员是否处于分心状态。该车载控制器，其特征在于，包括：存储器；处理器；以及存储在所述存储器上并可在处理器上运行的计算机程序，所述计算机程序的运行使得分心检测方法被执行。
Description
技术领域
本发明涉及安全驾驶领域，并且更具体地涉及一种分心检测方法、实施该方法的车载控制器和实施该方法的计算机存储介质。
背景技术
随着汽车数量的增多以及路况的复杂化，倘若驾驶员在车辆行驶过程出现分心等不规范行为，则会对生命和财产安全造成巨大威胁。目前，针对驾驶员的注意力检测的现有技术方案主要聚焦于检测驾驶员面部是否朝向正前方、驾驶员视线是否朝向正前方，以及诸如打哈欠检测、眨眼频率检测、闭眼检测之类的疲劳特征检测。由于此类现有技术方案通常以检测到疲劳特征为前提，并且只能判断驾驶员的眼分心（eyes-off）状态，并不能精准检测驾驶员的脑分心（minds-off）状态，因此其检测准确率较低。
发明内容
为了解决或至少缓解以上问题中的一个或多个，提供了以下技术方案。本发明的实施例提供了一种分心检测方法、实施该方法的车载控制器和实施该方法的计算机存储介质，其能够将分心状态转化为可测量的量化信息并且覆盖全部的分心场景，从而提高了分心检测的准确度，维护了用户的生命以及财产安全。
按照本发明的第一方面，提供一种分心检测方法，包括以下步骤：A、接收同步采集的驾驶员面部图像与外部场景图像；B、利用目标检测算法获取所述外部场景图像中的场景目标物的坐标，其中，所述场景目标物为能够向所述驾驶员提供风险感知的对象；C、基于所述驾驶员面部图像与外部场景图像，计算所述驾驶员的凝视点在所述外部场景图像中的坐标；以及D、通过比对所述凝视点的坐标与所述场景目标物的坐标，判断所述驾驶员是否处于分心状态。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤C包括：C1、利用计算机视觉提取所述驾驶员面部图像中的眼部特征信息，并获取驾驶员的视线方向；C2、利用计算机视觉的姿态解算并结合惯性测量单元的姿态测量，获取所述驾驶员的头部姿态；以及C3、基于所述驾驶员的视线方向和头部姿态，计算所述驾驶员的凝视点在所述外部场景图像中的坐标。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤C1包括：从所述驾驶员面部图像中提取眼部图像；利用霍夫圆变换法提取所述眼部图像中的圆形区域；以及将所述圆形区域的灰度作为灰度阈值对所述眼部图像进行阈值分割，以确定瞳孔中心的第一位置。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤C1进一步包括：若所述圆形区域并非正圆形，则对所述眼部图像进行Canny边缘检测，以获取瞳孔边缘；以及对所述瞳孔边缘进行最小二乘法椭圆拟合，其中，拟合成的椭圆中心为瞳孔中心的精确位置。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤C1进一步包括：若所述眼部图像中存在光斑区域，则去除光斑噪声点并以所述瞳孔中心的第一位置为圆心向外发散星射线以探测瞳孔边缘点。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤C1进一步包括：基于所述瞳孔中心的第一位置或所述瞳孔中心的精确位置，利用Le Grand眼球模型确定眼球光轴直线方程；以及根据所述眼球光轴直线方程以及视线方向与眼球光轴之间的线性关系，确定所述驾驶员的视线方向，其中，所述线性关系的参数与双眼的眼球光轴与视轴之间的kappa角的旋转矩阵相关联。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤C2包括：利用计算机视觉的姿态解算从所述驾驶员面部图像中提取初始头部姿态；接收由惯性测量单元检测的实时姿态角；以及基于所述初始头部姿态以及实时姿态角，计算所述驾驶员的实时头部姿态。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述场景目标物包括以下各项中的一项或多项：交通灯、交通标志、行人、前方车辆、本车后视镜、路障、以及其他禁止障碍物。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤D包括：
在车辆行驶过程中，若所述凝视点的坐标在第一时段内保持不变，且第一时段大于或等于第一阈值，则判定所述驾驶员处于分心状态。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤D包括：确定第二时段期间所述驾驶员的凝视点落在所述场景目标物上的有效时间；计算所述有效时间与所述第二时段的比值；以及若所述比值小于或等于第二阈值，则判定所述驾驶员处于分心状态。
作为以上方案的替代或补充，在根据本发明一实施例的方法中，确定在第三时段期间获取的所述外部场景图像中的场景目标物的总数量N1；确定在所述第三时段期间与所述驾驶员的凝视点重叠的所述场景目标物的总数量N2；以及若N2与N1的比值小于或等于第三阈值，则判定所述驾驶员处于分心状态。
根据本发明的第二方面，提供一种车载控制器，包含：存储器；处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序的运行使得根据本发明第一方面所述的分心检测方法中的任意一项被执行。
根据本发明的第三方面，提供一种计算机存储介质，所述计算机存储介质包括指令，所述指令在运行时执行根据本发明第一方面所述的分心检测方法中的任意一项。
根据本发明的一个或多个实施例的分心检测方案通过比对外部场景图像中的场景目标物的坐标以及驾驶员的凝视点在外部场景图像中的坐标，将分心状态这一主观行为转化为定量化信息，也即，驾驶员的视觉注意力是否落在外部场景中能够提供风险感知的对象上。相较于仅依据驾驶员的面部或视线是否朝向正前方来进行分心检测的现有技术方案，本方案能够精准判断驾驶员是否处于脑分心状态。此外，本方案无需以驾驶员的疲劳特征检测为前提，能够实现对疲劳前的分心状态的监测，从而提高了分心检测场景的覆盖度。
附图说明
本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。在所述附图中：
图1为按照本发明的一个或多个实施例的分心检测方法10的示意性流程图；
图2为按照本发明的一个或多个实施例的头戴式眼动跟踪设备的结构示意图；
图3为按照本发明的一个或多个实施例中Le Grand眼球模型的示意图；
图4为按照本发明的一个或多个实施例中提取到的眼部图像的示意图；以及
图5为按照本发明的一个或多个实施例的车载控制器50的框图。
具体实施方式
以下具体实施方式的描述本质上仅仅是示例性地，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述技术领域、背景技术或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述公知的特征，以避免不必要地使描述复杂化。
诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
由于驾驶员在分心状态下较少将目光投向有意义的场景目标物（例如，交通参与者），因此，驾驶员在给定时间窗口内的凝视点（也即，视线落点）坐标以及凝视点的转换能够清楚地表征驾驶员是否处于分心状态。本发明将主观意义上的分心指标转化为判断驾驶员的视觉注意力是否落在有意义的场景目标物上的客观统计方法，从而提高了针对分心检测的准确度。在下文中，将参考附图详细地描述根据本发明的各示例性实施例。
图1为按照本发明的一个或多个实施例的分心检测方法10的示意性流程图。
如图1所示，在步骤S110中，接收同步采集的驾驶员面部图像与外部场景图像。
在一个示例中，用于采集驾驶员面部图像和外部场景图像的图像采集设备可以设置在车辆后视镜或者中控屏等能够直接对驾驶员面部取像的位置附近。在另一个示例中，该图像采集设备可以集成在如图2所示的头戴式眼动跟踪设备中，该头戴式眼动跟踪设备包括头戴式设备框架以及固定在框架上的眼部摄像头、红外光源和场景摄像头。如图2所示，针对每只眼睛设置了两个眼部摄像头，即共设有四个眼部摄像头。为了去除可见光在眼球表面反射所造成的干扰，需要向每个眼部摄像头加装滤光片。由于滤光片能够滤除可见光波段的所有光线，因此眼部摄像头直接采集的图像亮度较低，需要红外光源（例如，近红外发光二极管（LED））进行照明，同时提供额外的光斑信息。场景摄像头优选地设置在头戴式设备框架的鼻架中间。
应理解，在本发明的实施例中，相机、镜头、摄像机、摄像头等均表示可以获取覆盖范围内的图像或影像的设备，其含义类似，且可以互换，本发明对此不做限制。在图像采集过程中，可以以固定频率（例如，每秒25帧）同步采集驾驶员面部图像与外部场景图像。
在步骤S120中，利用目标检测算法获取外部场景图像中的场景目标物的坐标。
需要说明的是，本发明中所提及的场景目标物指代外部场景图像中能够向驾驶员提供风险感知的对象。示例性地，场景目标物可以包括以下各项中的一项或多项：交通灯、交通标志（诸如，警告标志、禁止标志、指示标志、指路标志、道路交通标线等）、行人、前方车辆、本车后视镜、路障（诸如，路锥、路桩、阻车器等）、以及其他禁止障碍物（诸如，突然掉落的花盆）等。可以理解的是，当驾驶员的视觉注意力落在上述场景目标物上时，驾驶员将获知由该场景目标物带来的风险或与该场景目标物相关联的风险。例如，当驾驶员的视觉注意力落在前方行人上时，其将意识到本车与行人相撞的风险，又例如，当驾驶员的视觉注意力落在限速指示牌上时，其将意识到若不减速将违反交规的风险。与此形成对照，当驾驶员的视觉注意力落在无意义对象（也即，外部场景图像中除场景目标物之外的对象，例如，天空、道路空白处等）上时，驾驶员将不能从中获取有价值的信息。
示例性地，在某一时刻获取的外部场景图像中可以包括一个或多个场景目标物，因此在步骤S120中，可利用目标检测算法识别出多个场景目标物（例如，人行道和行人）并分别获取多个场景目标物的坐标。示例性地，上述目标检测算法可以是基于深度学习的目标检测算法。在一些实施例中，将外部场景图像输入深度学习算法模型，该深度学习算法模型可以构造为多通道卷积神经网络（CNN）（例如，双通道CNN）算法模型，以识别外部场景图像中的各个感兴趣的场景目标物的存在、位置和尺寸，从而获取场景目标物的属性以及其在外部场景图像中的具体坐标。该深度学习算法模型可以预先以多组包括样本图像和相应标注信息的训练数据进行训练，其中，标注信息指示在该样本图像中是否存在诸如车辆、车道线、交通灯、交通标志（例如，禁止鸣笛标志）之类的感兴趣的场景目标物。此外，还可以结合图像处理技术以实现对场景目标物的提取，其中图像处理功能包括图像预处理、图像分割、感兴趣区域识别、特征点提取、特征分类等。
在步骤S130中，基于驾驶员面部图像与外部场景图像，计算驾驶员的凝视点在外部场景图像中的坐标。
示例性地，图像采集设备通过双目摄像头获取驾驶员面部图像，采用卷积神经网络方法对面部动作序列进行检测和跟踪，包括例如人脸方向检测、头部姿态检测、眨眼检测等。在一些实施例中，可以通过计算机视觉的方法提取眼部图像特征并结合对头部姿态的检测来估计凝视点坐标。可选的，步骤S130包括如下所述的子步骤S131-S133。
步骤S131：利用计算机视觉提取驾驶员面部图像中的眼部特征信息，并获取驾驶员的视线方向。
示例性地，眼部特征信息的提取可以以如图3所示的Le Grand眼球模型为基础。如图所示，人的视线，即视轴，是凝视点和视网膜黄斑中心点之间的连线，无法直接检测和估算。但视轴与眼球光轴，即瞳孔中心与角膜球心的连线，存在一个固定的夹角，即kappa角，而与眼球光轴相关的特征直接反映于眼部图像上并且可以通过算法提取。因此，本发明通过提取眼部特征信息以估计驾驶员的视线方向。
具体而言，在步骤S131中，首先从驾驶员面部图像中提取眼部图像。如图4所示为提取到的近红外眼部图像的一个示例，其中，瞳孔在图像中是一个近圆的、低灰度的、靠近图像中心的区域。因此瞳孔检测与定位通常需要利用瞳孔的形状特征与灰度特征。基于形状特征的瞳孔检测方法之一为霍夫（Hough）圆变换。Hough圆变换法可以检测到眼部图像中的圆形区域（其可能是正圆形或椭圆形）且鲁棒性较高，不易受光照等外部因素影响，也能够较好的避免睫毛等其他眼部特征的影响。但由于瞳孔在眼部图像中通常是近圆的椭圆，因此Hough圆变换法检测的瞳孔中心通常不准确。基于灰度特征的瞳孔检测方法之一为灰度阈值分割法，其利用阈值分割将瞳孔区域与其他眼部区域分离，检测二值图像的连通域得到瞳孔区域。灰度阈值分割法的时间复杂度很低，但鲁棒性较差，图像中睫毛等灰度较低的区域也会被检测为可能的瞳孔区域，且易受光照、图像对比度等外界因素的影响。有鉴于此，本发明提出同时利用Hough圆变换法与灰度阈值分割法来检测瞳孔中心的位置。示例性地，可以基于初始的若干帧眼部图像通过Hough圆变换法提取其中的圆形区域，将该圆形区域的灰度作为灰度阈值，并在后续获取的眼部图像上利用这一灰度阈值对图像进行阈值分割，以确定瞳孔中心的位置。当阈值分割的结果出现异常（例如，灰度阈值与非瞳孔灰度相近，无法做区分）时，再使用Hough圆变换法重新确定灰度阈值。该瞳孔中心检测方法可以在保证鲁棒性的同时满足对实时眼动跟踪的要求。
需要说明的是，当瞳孔在眼部图像上是椭圆形时，Hough圆变换法与灰度阈值分割法均无法实现瞳孔椭圆中心的精确定位，因此，在这种情况下，Hough圆变换法与灰度阈值分割法只能作为粗定位瞳孔区域的方法，接下来还需要对瞳孔中心进行精确定位。示例性地，本发明使用星射线法与最小二乘椭圆拟合法来实现瞳孔中心的精确定位。具体而言，若通过Hough圆变换法提取到的圆形区域并非正圆形，则继续对眼部图像进行Canny边缘检测，以获取瞳孔边缘，并接着对瞳孔边缘进行最小二乘椭圆拟合，其中，拟合成的椭圆中心即为瞳孔中心的精确位置。还需要注意的是，如若眼部图像中存在光斑区域，则去除光斑噪声点并以粗定位的瞳孔中心为圆心向外发散星射线以探测瞳孔边缘点，以避免光斑的存在对Canny边缘检测的不利影响。
在获取瞳孔中心的位置之后，可以基于高精度眼球模型（例如，如图3所示的LeGrand眼球模型），在考虑角膜折射与角膜非球面性质对眼部图像成像的影响的情况下完成对凝视点坐标的计算。在高精度眼球模型中，角膜被建模为一旋转椭球体，旋转轴为眼球光轴。基于此模型，现有的视线跟踪方法中常用的瞳孔中心角膜反射（PCCR）方法将引入较大误差，不再适用。同时，考虑角膜折射，瞳孔经角膜折射后在眼部摄像机成像，因此眼部摄像机光心与成像平面的瞳孔中心的连线不包含真实的瞳孔中心。有鉴于此，可以通过检测眼球光轴作为滑移鲁棒的眼部特征，基于瞳孔中心位置，利用LeGrand眼球模型确定眼球光轴直线方程。具体而言，针对每个眼球，可以利用两枚眼部摄像头拍摄眼部图像，两枚眼部摄像头经事先标定，确定各摄像机内参数与两摄像机之间的变换矩阵。利用与眼部摄像头光心重合的近红外光源提供角膜反射光斑，建立眼球光轴与摄像机光心平面，由两平面交线确定眼球光轴直线方程。接下来，根据眼球光轴直线方程以及视线方向与眼球光轴之间的线性关系，确定驾驶员的视线方向，其中，线性关系的参数与双眼的眼球光轴与视轴之间的kappa角的旋转矩阵相关联。
步骤S132：利用计算机视觉的姿态解算并结合惯性测量单元的姿态测量，获取驾驶员的头部姿态。可选地，首先利用计算机视觉的姿态解算从驾驶员面部图像中提取初始头部姿态，之后接着接收由惯性测量单元（例如，三轴陀螺仪、三轴加速度计和三轴磁力计）检测到的实时姿态角，最后基于初始头部姿态以及实时姿态角，计算驾驶员的实时头部姿态。
步骤S133：基于驾驶员的视线方向和头部姿态，计算驾驶员的凝视点在外部场景图像中的坐标。经研究表明，驾驶员的真实凝视点还与其头部姿态有关。例如，若驾驶员在注视目标物A时，在不改变头部姿态的前提下扫视了一眼旁边的目标物B，此时，目标物B并非该驾驶员的真实凝视点。又例如，若驾驶员先注视目标物A，然后把头转向目标物B的方向并注视目标物B，此时，目标物A和目标物B均为该驾驶员的真实凝视点。示例性地，在检测到驾驶员的视线方向和头部姿态的基础上，根据标定的场景摄像头坐标系与眼部摄像头坐标系之间的转换矩阵，计算凝视点在外部场景图像中的坐标。
在步骤S140中，通过比对凝视点的坐标与场景目标物的坐标，判断驾驶员是否处于分心状态。
在一些实施例中，可以依据驾驶员的视线方向或凝视点坐标的保持时间来判断其是否处于分心状态（例如，盯着场景目标物或天空发呆）。例如，在车辆行驶过程中，若凝视点的坐标在第一时段内保持不变，且第一时段大于或等于第一阈值，则判定驾驶员处于分心状态。可选地，该第一阈值可以与凝视对象的属性相关联。例如，若驾驶员凝视点为场景目标物时，第一阈值为9 s，若驾驶员凝视点为无意义对象时，第一阈值为5 s。
此外，如上文所述，由于驾驶员在分心状态下较少将目光投向有意义的场景目标物，因此，在给定时间窗口内，驾驶员的凝视点坐标与场景目标物的坐标重合的次数和/或重合的时间能够清楚地表征驾驶员是否处于分心状态。
在一些实施例中，可以依据驾驶员的凝视点落在场景目标物上的时间与总时间的占比判断其是否处于分心状态。具体而言，确定第二时段期间（例如，每隔10s）驾驶员的凝视点落在场景目标物上的有效时间；计算有效时间与第二时段的比值；若该比值小于或等于第二阈值（例如，50%），则判定驾驶员处于分心状态。
在一些实施例中，可以依据驾驶员在给定时间窗口内注视过的场景目标物的个数与场景目标物的总个数的占比判断其是否处于分心状态。具体而言，确定在第三时段期间（例如，每隔10s）获取的外部场景图像中的场景目标物的总数量N1；确定在第三时段期间与驾驶员的凝视点重叠的场景目标物的总数量N2；以及若N2与N1的比值小于或等于第三阈值（例如，40%），则判定驾驶员处于分心状态。
可选地，上述阈值（例如，第一阈值、第二阈值、第三阈值）的大小还可以与实时车速相关联。还需要说明的是，本文中所述的预设的值（例如，第一阈值、第二阈值、第三阈值、第一时段、第二时段、第三时段等）的数值范围可根据实际需求进行设置，不限于本实施例所示的数值范围。
可选地，若判定驾驶员处于分心状态，可以生成提示信号以触发车内提示装置对本车驾驶员进行提醒。示例性地，车内提示装置可以为车内扬声器、方向盘振动装置、以及主驾座椅振动装置中的一项或多项。
根据一些实施例，方法10通过比对外部场景图像中的场景目标物的坐标以及驾驶员的凝视点在外部场景图像中的坐标，将分心状态这一主观行为转化为定量化信息，也即，驾驶员的视觉注意力是否落在外部场景中能够提供风险感知的对象上。相较于仅依据驾驶员的面部或视线是否朝向正前方来进行分心检测的现有技术方案，方法10能够精准判断驾驶员是否处于脑分心状态。此外，方法10无需以驾驶员的疲劳特征检测为前提，能够实现对疲劳前的分心状态的监测，从而提高了分心检测场景的覆盖度。
图5为按照本发明的一个或多个实施例的车载控制器50的框图。车载控制器50包含存储器510、处理器520、以及存储在存储器510上并可在处理器520上运行的计算机程序530，计算机程序530的运行使得如图1所示的方法10被执行。
另外，如上所述，本发明也可以被实施为一种计算机存储介质，在其中存储有用于使计算机执行如图1所示的方法10的程序。在此，作为计算机存储介质，能采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，ROM、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。
在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本发明提供的各种实施例。而且，在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在可适用的情况下，预期的是，软件部件可以被实现为硬件部件，以及反之亦然。
根据本发明的软件（诸如程序代码和/或数据）可以被存储在一个或多个计算机存储介质上。还预期的是，可以使用联网的和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中标识的软件。在可适用的情况下，本文中描述的各个步骤的顺序可以被改变、被组合成复合步骤和/或被分成子步骤以提供本文中描述的特征。
提供本文中提出的实施例和示例，以便最好地说明按照本发明及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。
Claims (13)
1.一种分心检测方法，其特征在于，包括以下步骤：
A、接收同步采集的驾驶员面部图像与外部场景图像；
B、利用目标检测算法获取所述外部场景图像中的场景目标物的坐标，其中，所述场景目标物为能够向所述驾驶员提供风险感知的对象；
C、基于所述驾驶员面部图像与外部场景图像，计算所述驾驶员的凝视点在所述外部场景图像中的坐标，即凝视点的坐标；以及
D、通过比对所述凝视点的坐标与所述场景目标物的坐标，判断所述驾驶员是否处于分心状态，其中所述分心状态包括脑分心状态。
2.根据权利要求1所述的分心检测方法，其中，步骤C包括：
C1、利用计算机视觉提取所述驾驶员面部图像中的眼部特征信息，并获取驾驶员的视线方向；
C2、利用计算机视觉的姿态解算并结合惯性测量单元的姿态测量，获取所述驾驶员的头部姿态；以及
C3、基于所述驾驶员的视线方向和头部姿态，计算所述驾驶员的凝视点在所述外部场景图像中的坐标。
3.根据权利要求2所述的分心检测方法，其中，步骤C1包括：
从所述驾驶员面部图像中提取眼部图像；
利用霍夫圆变换法提取所述眼部图像中的圆形区域；以及
将所述圆形区域的灰度作为灰度阈值对所述眼部图像进行阈值分割，以确定瞳孔中心的第一位置。
4.根据权利要求3所述的分心检测方法，其中，步骤C1进一步包括：
若所述圆形区域并非正圆形，则对所述眼部图像进行Canny边缘检测，以获取瞳孔边缘；以及
对所述瞳孔边缘进行最小二乘法椭圆拟合，其中，拟合成的椭圆中心为瞳孔中心的精确位置。
5.根据权利要求4所述的分心检测方法，其中，步骤C1进一步包括：
若所述眼部图像中存在光斑区域，则去除光斑噪声点并以所述瞳孔中心的第一位置为圆心向外发散星射线以探测瞳孔边缘点。
6.根据权利要求3-5中任一项所述的分心检测方法，其中，步骤C1进一步包括：
基于所述瞳孔中心的第一位置或所述瞳孔中心的精确位置，利用Le Grand眼球模型确定眼球光轴直线方程；以及
根据所述眼球光轴直线方程以及视线方向与眼球光轴之间的线性关系，确定所述驾驶员的视线方向，其中，所述线性关系的参数与双眼的眼球光轴与视轴之间的kappa角的旋转矩阵相关联。
7.根据权利要求2所述的分心检测方法，其中，步骤C2包括：
利用计算机视觉的姿态解算从所述驾驶员面部图像中提取初始头部姿态；
接收由所述惯性测量单元检测的实时姿态角；以及
基于所述初始头部姿态以及实时姿态角，计算所述驾驶员的实时头部姿态。
8.根据权利要求1所述的分心检测方法，其中，所述场景目标物包括以下各项中的一项或多项：交通灯、交通标志、行人、前方车辆、本车后视镜、路障、以及其他禁止障碍物。
9.根据权利要求1所述的分心检测方法，其中，步骤D包括：
在车辆行驶过程中，若所述凝视点的坐标在第一时段内保持不变，且第一时段大于或等于第一阈值，则判定所述驾驶员处于分心状态。
10.根据权利要求1所述的分心检测方法，其中，步骤D包括：
确定第二时段期间所述驾驶员的凝视点落在所述场景目标物上的有效时间；
计算所述有效时间与所述第二时段的比值；以及
若所述比值小于或等于第二阈值，则判定所述驾驶员处于分心状态。
11.根据权利要求1所述的分心检测方法，其中，步骤D包括：
确定在第三时段期间获取的所述外部场景图像中的场景目标物的总数量N1；
确定在所述第三时段期间与所述驾驶员的凝视点重叠的所述场景目标物的总数量N2；以及
若N2与N1的比值小于或等于第三阈值，则判定所述驾驶员处于分心状态。
12.一种车载控制器，其特征在于，包含：存储器；处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序的运行使得根据权利要求1-11中任一项所述的分心检测方法被执行。
13.一种计算机存储介质，其特征在于，所述计算机存储介质包括指令，所述指令在运行时执行根据权利要求1-11中任一项所述的分心检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310301251.2A CN116052136B (zh) | 2023-03-27 | 2023-03-27 | 分心检测方法、车载控制器和计算机存储介质 |
| EP23217940.8A EP4439490A1 (en) | 2023-03-27 | 2023-12-19 | Distracted driving detection method, vehicle-mounted controller, and computer storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310301251.2A CN116052136B (zh) | 2023-03-27 | 2023-03-27 | 分心检测方法、车载控制器和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116052136A CN116052136A (zh) | 2023-05-02 |
| CN116052136B true CN116052136B (zh) | 2023-09-05 |
Family
ID=86127565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310301251.2A Active CN116052136B (zh) | 2023-03-27 | 2023-03-27 | 分心检测方法、车载控制器和计算机存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP4439490A1 (zh) |
| CN (1) | CN116052136B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014100352A1 (de) * | 2013-01-18 | 2014-07-24 | Carnegie Mellon University | Fahrerblickdetektionssystem |
| JP2015219892A (ja) * | 2014-05-21 | 2015-12-07 | 大日本印刷株式会社 | 視線分析システムおよび視線分析装置 |
| CN106168853A (zh) * | 2016-06-23 | 2016-11-30 | 中国科学技术大学 | 一种自由空间头戴式视线跟踪系统 |
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| WO2020078464A1 (zh) * | 2018-10-19 | 2020-04-23 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控系统、车辆 |
| WO2020186801A1 (zh) * | 2019-03-18 | 2020-09-24 | 北京市商汤科技开发有限公司 | 驾驶员注意力监测方法和装置及电子设备 |
| CN113361441A (zh) * | 2021-06-18 | 2021-09-07 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及系统 |
| CN113378771A (zh) * | 2021-06-28 | 2021-09-10 | 济南大学 | 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 |
| WO2022110917A1 (zh) * | 2020-11-26 | 2022-06-02 | 亿咖通（湖北）科技有限公司 | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 |
| CN114998870A (zh) * | 2022-05-31 | 2022-09-02 | 福思(杭州)智能科技有限公司 | 一种驾驶行为状态识别方法、装置、设备及存储介质 |
| CN115147817A (zh) * | 2022-06-17 | 2022-10-04 | 淮阴工学院 | 一种姿态引导的实例感知网络的驾驶员分心行为识别方法 |
| CN115246405A (zh) * | 2021-04-26 | 2022-10-28 | 上海擎感智能科技有限公司 | 一种驾驶员分心行为的检测方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6989754B2 (en) * | 2003-06-02 | 2006-01-24 | Delphi Technologies, Inc. | Target awareness determination system and method |
| US9460601B2 (en) * | 2009-09-20 | 2016-10-04 | Tibet MIMAR | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance |
| US9405982B2 (en) * | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
| US9505413B2 (en) * | 2015-03-20 | 2016-11-29 | Harman International Industries, Incorporated | Systems and methods for prioritized driver alerts |
| US10318831B2 (en) * | 2016-07-21 | 2019-06-11 | Gestigon Gmbh | Method and system for monitoring the status of the driver of a vehicle |
| EP3535646A4 (en) * | 2016-11-07 | 2020-08-12 | Nauto, Inc. | SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION |
| TWI653170B (zh) * | 2017-11-01 | 2019-03-11 | 宏碁股份有限公司 | 駕駛提示方法與系統 |
| CN110794963A (zh) * | 2019-10-18 | 2020-02-14 | 天津理工大学 | 基于深度相机的眼控辅助输入方法 |
-
2023
- 2023-03-27 CN CN202310301251.2A patent/CN116052136B/zh active Active
- 2023-12-19 EP EP23217940.8A patent/EP4439490A1/en active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014100352A1 (de) * | 2013-01-18 | 2014-07-24 | Carnegie Mellon University | Fahrerblickdetektionssystem |
| JP2015219892A (ja) * | 2014-05-21 | 2015-12-07 | 大日本印刷株式会社 | 視線分析システムおよび視線分析装置 |
| CN106168853A (zh) * | 2016-06-23 | 2016-11-30 | 中国科学技术大学 | 一种自由空间头戴式视线跟踪系统 |
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| WO2019029195A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监测方法和装置、驾驶员监控系统、车辆 |
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| WO2020078464A1 (zh) * | 2018-10-19 | 2020-04-23 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控系统、车辆 |
| WO2020186801A1 (zh) * | 2019-03-18 | 2020-09-24 | 北京市商汤科技开发有限公司 | 驾驶员注意力监测方法和装置及电子设备 |
| WO2022110917A1 (zh) * | 2020-11-26 | 2022-06-02 | 亿咖通（湖北）科技有限公司 | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 |
| CN115246405A (zh) * | 2021-04-26 | 2022-10-28 | 上海擎感智能科技有限公司 | 一种驾驶员分心行为的检测方法及系统 |
| CN113361441A (zh) * | 2021-06-18 | 2021-09-07 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及系统 |
| CN113378771A (zh) * | 2021-06-28 | 2021-09-10 | 济南大学 | 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 |
| CN114998870A (zh) * | 2022-05-31 | 2022-09-02 | 福思(杭州)智能科技有限公司 | 一种驾驶行为状态识别方法、装置、设备及存储介质 |
| CN115147817A (zh) * | 2022-06-17 | 2022-10-04 | 淮阴工学院 | 一种姿态引导的实例感知网络的驾驶员分心行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种依赖3D眼球模型的两级瞳孔定位算法;夏小宝等;《中国科学技术大学学报》;第44卷(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116052136A (zh) | 2023-05-02 |
| EP4439490A1 (en) | 2024-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7332726B2 (ja) | ヒートマップを使用したドライバーの注目の検出 | |
| JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
| JP4811259B2 (ja) | 視線方向推定装置及び視線方向推定方法 | |
| CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
| EP2338416B1 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
| JP4879189B2 (ja) | 安全走行支援装置 | |
| EP3477540A1 (en) | Method and apparatus for tracking object | |
| US20140204193A1 (en) | Driver gaze detection system | |
| CN105286802B (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
| US20070291231A1 (en) | Eyeglass detection method | |
| CN110703904A (zh) | 一种基于视线跟踪的增强虚拟现实投影方法及系统 | |
| CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
| CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
| García et al. | Driver monitoring based on low-cost 3-D sensors | |
| CN102310771A (zh) | 基于驾驶员面部识别的机动车安全控制方法及系统 | |
| KR101914362B1 (ko) | 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법 | |
| KR20200092739A (ko) | 운전자 상태 모니터링 방법 및 장치 | |
| Xiao et al. | Detection of drivers visual attention using smartphone | |
| CN116052136B (zh) | 分心检测方法、车载控制器和计算机存储介质 | |
| Dongare et al. | Eye gaze tracking and eyes off the road detection for traffic safety on raspberry Pi | |
| KR20160056189A (ko) | 보행자 검출 경보 장치 및 방법 | |
| CN111267865B (zh) | 基于视觉的安全驾驶预警方法、系统及存储介质 | |
| CN112258813A (zh) | 一种车辆主动安全控制方法和设备 | |
| Wong | Driver monitoring scheme in advanced driver assistance systems perspective | |
| Zaid et al. | Assessing Driver Hazard Attention Toward anIntelligent, Artificial Co-Driver |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |