CN113298041A - 用于标定驾驶员分心参考方向的方法及系统 - Google Patents

用于标定驾驶员分心参考方向的方法及系统 Download PDF

Info

Publication number
CN113298041A
CN113298041A CN202110688063.0A CN202110688063A CN113298041A CN 113298041 A CN113298041 A CN 113298041A CN 202110688063 A CN202110688063 A CN 202110688063A CN 113298041 A CN113298041 A CN 113298041A
Authority
CN
China
Prior art keywords
data
driver
reference direction
angle
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110688063.0A
Other languages
English (en)
Other versions
CN113298041B (zh
Inventor
曾宇前
章涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202110688063.0A priority Critical patent/CN113298041B/zh
Publication of CN113298041A publication Critical patent/CN113298041A/zh
Application granted granted Critical
Publication of CN113298041B publication Critical patent/CN113298041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供用于监控驾驶员的驾驶状态的方法。该方法包括接收所述驾驶员的脸部图像；从所接收的脸部图像提取脸部数据；基于所提取的脸部数据确定与视线方向相关的数据，包括俯仰角、偏航角；从所确定的视线方向角度相关的数据中滤除干扰数据；对已经滤除干扰数据的视线方向角度相关的数据中俯仰角和偏航角的分布进行统计；以及根据所统计的分布来标定参考方向。

Description

用于标定驾驶员分心参考方向的方法及系统
技术领域
本申请涉及驾驶员图像处理技术，更为具体地，涉及用于监控驾驶员的驾驶状态的技术。
背景技术
驾驶员监控系统(Driver Monitoring System，DMS)是对驾驶的分心状况进行监控，意在发现驾驶员走神、疲劳或者打瞌睡等影响驾驶安全的情况。通常的监控方式是根据所获取图像帧中驾驶员头部的偏转角度或视线方向，判断在一段时间内，驾驶员头部姿态或视线方向相对于参考方向的角度是否超出设定阈值。根据该判断结果来确定司机是否出现分心状态。
驾驶员的头部姿态或视线方向分别可用头部姿态的俯仰角pitch、偏航角yaw、翻滚角roll，以及视线的俯仰角pitch、偏航角yaw、翻滚角roll来表示。基于图像获取设备(例如相机)所确定的头部姿态或视线方向与该设备的安装角度、位置有关。头部姿态或视线方向还会随着驾驶员的坐姿等因素而发生变化。
参考方向则是安装时标定好的方向，比如，驾驶员驾驶车辆时正视前方的视线方向。参考方向还可能是在DMS系统开启后所获取的之前标定的参考方向，或根据DMS系统工作后获取的驾驶员的前N帧图像获得的平均方向等、或由驾驶员手动触发标定过程而标定的参考方向等。
如在此所述的用于获取驾驶员的参考方向的这些方法，在使用过程中或已经与车辆实际行驶时的驾驶员姿态存在较大差别、或较为依赖驾驶员等，存在标定结果不太理想的情况，也使得分心监测误报较多。
发明内容
有鉴于此，根据根本申请的一个方面，提出改进的用于标定驾驶员分心参考方向的方法。该方法包括接收所述驾驶员的脸部图像；从所接收的脸部图像提取并存储脸部数据；基于所提取的脸部数据确定与视线方向相关的数据；从所确定的与视线方向相关的数据中滤除干扰数据；对已经滤除干扰数据的与视线方向相关的数据中俯仰角和偏航角的分布进行统计；以及根据所统计的分布来标定参考方向。
根据本申请的另一方面，提供用于标定驾驶员分心参考方向的系统。该系统包括输入/输出接口、存储部和处理部。处理部被配置为从由所述输入/输出接口所传送的驾驶员的脸部图像中提取脸部数据并将其传送给所述存储部存储；基于所提取脸部数据确定与视线方向相关的数据并从该与视线方向相关的数据中滤除干扰数据；对已经滤除干扰数据的与视线方向相关的数据中的俯仰角和偏航角的分布进行统计；以及根据所统计的分布来标定所述参考方向。
根据本申请的再一方面，提供一种用于监控驾驶员的驾驶状态的系统，所述系统包括面向驾驶员设置以获取驾驶员图像的图像获取设备；以及控制单元，其与所述图像获取设备耦接，并被配置为执行在此描述的用于标定驾驶员分心参考方向的方法。
根据本申请的又一方面，还提供一种存储介质，其存储指令，在所述指令被处理器执行时，能实现在此描述的任意一种用于标定驾驶员分心参考方向的方法。
根据本申请，还提供一种车辆，其被配置为能执行在此描述的任意一种用于标定驾驶员分心参考方向的方法或包括用于标定驾驶员分心参考方向的系统。
附图说明
图1是根据本申请一个实施例的用于监控驾驶状态的方法的流程图。
图2示意了二维5x5高斯滤波的系数。
图3是二维分布直方图的原始分布。
图4是则是对图3进行放大和高斯滤波后的直方图的分布。
图5是经过噪声截断分割后的二维分布直方图。
图6是根据本申请示例的驾驶员监控系统的结构示意图。
图7A和图7B为同一个驾驶员两次动态标定后的标定结果示意。
图8是用于标定驾驶员分心参考方向的系统的结构示意图。
具体实施方式
下文将结合附图对本申请的具体实施方式做详细描述。应理解，本申请能够以很多不同于在此描述的其它方式来实施，在此所做的描述意在使本领域技术人员清楚、完整地了解本申请的实施，而非对本申请的限制。
本申请提供用于标定驾驶员分心参考方向的方法。本申请各示例中，图像获取设备指的是相机、摄像头、图像传感器等各类捕获图像的设备、器件、装置、系统等。相机应做广义理解，它可以是传统意义上的相机、还可以是手机、平板等带摄像模块的数据处理设备。
根据本申请各示例所确定的参考方向，可由DMS系统使用。比如，在DMS开启之后，即可通过本申请示例的方法获得用于判断驾驶员是否分心的参考方向。该参考方向可以是驾驶员正视前方的视线方向。DMS系统会将驾驶员当前的视线方向与该参考方向比较，如果两者之间的角度大于预设阈值，则认为驾驶员分心，从而可发出警示等信息。不仅如此，在根据本申请示例的方法确定的参考方向时还可确定表征驾驶员头部位置和头部大小的数据等，这些数据都有助于DMS据此判断驾驶员是否分心，当然，这些数据还可有其它用途，就不一一列举。
图1是根据本申请一个实施例的标定驾驶员分心参考方向的方法的流程图。图1所示的方法可执行在例如车辆的驾驶员监控系统DMS中。在车辆没有设置DMS的情况下，所示的方法可由车辆的其它系统来执行，比如设置在车辆合适位置的图像获取设备(如，相机)和与该图像获取设备耦接的控制系统。
参照图1，在步骤S100，接收驾驶员的脸部图像。驾驶员的脸部图像由图像获取设备捕获。图像获取设备指的是各类可获取驾驶员脸部图像的设备，包括但不限于各类摄像头、红外摄像机等。图像获取设备例如正对驾驶员面部而设置在车内，以便获取驾驶员的图像，尤其面部图像。
在步骤S102，从所接收的脸部图像提取脸部数据，并存储。示例而非限制地，对所接收的脸部图像进行处理以确定人脸边框(Bounding Box)和关键点(landmark)，由此获取脸部数据。处理脸部图像并获取数据是本领域已知的技术，可例如通过脸部特征检测模块等执行。所提取的脸部数据存储在存储部件中。
在驾驶过程中，可能出现驾驶员脸部被遮挡的情况。基于这种情况所获取的图像数据，可能包括影响驾驶员视线的数据。比如，从驾驶员脸部被驾驶员的手、手臂、口罩、电话、水杯等遮挡驾驶员视线时所拍摄的图像数据中，提取的脸部数据为影响驾驶员视线的数据，按照本申请，它们会影响到人脸特征的提取，从而导致驾驶员视线数据不可信，因此将作为下文将要提到的干扰数据的一部分。
在步骤S104，基于所提取的脸部数据确定与视线方向相关的数据。其中，与视线方向相关的数据至少包括针对视线的俯仰角和偏航角。示例地，基于在步骤S102所确定的人脸边框和关键点，估算与驾驶员的视线方向相关的数据。
尽管不是必需，但是如果从驾驶员的脸部图像提取的脸部数据中包括驾驶员的头部姿态数据、表征驾驶员头部位置和大小的数据，可能更有利于驾驶员视线方向的确定。
在此给出的一些例子中，示例而非限制地，与视线相关的数据包括表征驾驶员的头部位置和头部大小的数据。更进一步，与视线相关的数据还可包括驾驶者的头部姿态相关的数确定参考方向的情况下，可将驾驶员的头部姿态数据作为视线数据使用。
对人脸边框和关键点的确定可例如通过人脸检测器获得，人脸检测器可采用已知的MTCNN、SSD(Single Shot MultiBox Detector)、FaceNet等方法。基于获得的脸部数据，进一步回归脸部关键点并估计与驾驶员的头部姿态相关的数据(诸如俯仰角、偏航角，还可包括翻滚角)，比如通过MTCNN、Dlib人脸识别、PFLD等方法。通常采用诸如卷积神经网络CNN等方法来对驾驶员的视线进行估计，结合头部姿态和脸部数据中涉及眼睛的部分回归出视线的角度。在此提到的角度指的是以相机平面作为参照面的角度。
在步骤S106，从所确定的与视线方向相关的数据中滤除干扰数据。驾驶员在开车过程中，可能出现看左右后视镜或发生头部大范围移动等情况，由在这种情况下捕获的图像所提取的脸部数据将影响对驾驶员视线的估算，进而影响对参考方向的标定。还可能出现如上文提到的影响驾驶员的视线的数据，以及可能存在不利于标定参考方向的俯仰角和偏航角数据。按照本申请，这些数据都是影响标定参考方向的干扰数据，将滤除这些干扰数据。在滤除干扰数据之后，与视线方向相关的数据将主要对应驾驶员在驾驶过程中正视前方的数据。
示例而非限制地，如果俯仰角和偏航角任意一项的绝对值超过角度阈值(例如为40度)，则认为该组俯仰角和偏航角对应的图像数据为干扰数据，可滤除的该组角度数据对应的图像帧。角度阈值是基于在拍摄驾驶员图像的诸如相机的图像获取设备的视角下，驾驶员脸部的偏转角度而设置的。再根据脸部图像数据确定驾驶员出现大于预定程度的移动时，滤除与该移动相关的图像数据。
示例而非限制的，可通过对比驾驶员的脸部图像的前后帧来判断驾驶员的移动幅度。比如，采用前后帧的测量差除以时间差的方式来判断移动幅度。假设前后帧的测量差除以时间差获得的值为a，则a代表移动幅度，将该移动幅度a与预定程度(即，设定的移动幅度阈值)比较，以判断驾驶员的移动幅度是否大于预定程度。在移动幅度大于预定程度的情况下，滤除该移动涉及的图像帧。在此，移动幅度阈值可参照实际应用场景并根据经验值设定。
在步骤S108，对已经滤除干扰数据的与视线方向相关的数据中的俯仰角和偏航角的分布进行统计。作为示例，生成该俯仰角和偏航角数据的二维分布直方图。
根据一个具体的示例，采用统计俯仰角和偏航角的二维分布直方图来统计驾驶员视线方向的分布规律。在该示例中，将统计角度设置在-40°到40°之间，步进1°，如此，则共有81x81个仓(bin)区间。将统计时间换算为帧数，统计总帧数为total_stastic_num，满足要求的有效帧数为total_valid_num，同时以一定的间隔存储俯仰角、偏航角、表征驾驶员头部位置和驾驶员头部大小的数据，以便后续从所存储的这些与视线方向相关的数据中，搜索参考方向下驾驶员的头部位置。对于该以累加方式进行的统计，在统计时间达到时间阈值时即可认为统计过程结束。时间阈值例如为4分钟，则统计时长达到4分钟时，即认为统计过程结束。需要说明的是，如果统计时间过短，驾驶员的分心状态会对标定结果造成干扰，导致标定结果不够准确甚至标定失败，这是因为在很短时间内的统计可能会包含驾驶员发生大幅度移动等驾驶员姿态调整的情况。在驾驶员专心驾驶的情况下，如果统计时间太长，则因为延迟较大而使得系统反应迟钝。根据根本申请的示例是以4分钟作为统计时长的时间阈值，但实际上只要在设置的统计时间内能获得足够的有效帧数，即可结束统计，并不以在此给出的时间阈值为限。按照本申请示例的方法，统计时长是可动态调整的，这有助于提高动态标定的准确性和效率。
在步骤S110，根据所统计的分布来标定参考方向。参考方向是指作为驾驶员分心判断基准的驾驶员在驾驶过程中正视前方时的视线方向。示例地，对在步骤S108获得的俯仰角和偏航角的二维分布直方图进行放大，并进行高斯滤波，以生成滤波后直方图。随后，以噪声截断方式分割滤波后的直方图，且只保留参考方向可能位于其中的目标区域。在该目标区域中选择最佳目标区域，作为该参考方向的粗估位置。计算该粗估位置一定半径区域内的俯仰角和偏航角，并在所存储的脸部数据中搜索与所计算的俯仰角和偏航角对应的脸部数据，以获得能作为参考方向的标定结果。
根据一个具体的示例，二维分布直方图bin间隔为1°，考虑到该分布易受到统计不均或噪声的影响而导致区域分割失效，所以将统计分布结果放大例如16倍(放大倍数可根据数据的量动态调整)，这样可避免因有效数据过少和整数截位产生多个分布最大值。以例如图2所示的二维5x5高斯滤波的系数对放大后的二维分布直方图的统计结果进行高斯滤波。图3为该示例的二维分布直方图的原始分布，图4是对图3进行放大、高斯滤波后获得的直方图分布。随后，以噪声截断的方式分割经高斯滤波后获得的数据，例如，设置一个动态变化的噪声截断门限来对图像进行分割，只保留可能是参考方向可能位于其中的目标区域。图5是经过噪声截断分割后的二维分布直方图。如图5所示，数据分布越多，分布直方图中颜色就越深。图5的示例中，在连通区域50内筛选出最佳目标区域，作为对参考方向的粗略估计。这次连通区域50是相对于另一区域52来说的，另一区域52与区域50是分开的两个区域。在连通区域50内选择最佳目标区域。按照本申请的示例，选择最大值所在位置(即，数据分布最多的地方，图中颜色最深的部分501即为最大值所在与位置)作为最佳目标区域，以作为参考方向的粗估位置。也可以采用其他聚类方式来获得最佳目标区域。以最大值所在位置501作为中心，在其周围半径为R的区域内，根据公式(1)加权计算用于驾驶员视线的精确俯仰角pitch和偏航角yaw，有效精度可控制在1°以内。公式(1)如下：
Figure BDA0003125502680000071
其中，pitch为俯仰角，yaw为偏航角，vij为二维分布图中坐标(i,j)所在的bin区间的数值，Ω为以最大值所在位置(pmax，ymax)作为中心且以R作为半径所确定的区域。
关于半径R，其可满足公式(2)表示的条件：
(i-pmax)2+(j-ymax)2＜R2 (2)
据此，已由公式(1)所计算的俯仰角和偏航角确定了驾驶员的视线参考方向。
进一步地，根据本申请，可以由公式(1)所计算的俯仰角和偏航角，在先前已存储的脸部数据中搜索与其对应的驾驶员的脸部图像数据。比如根据搜索结果，对应于与这组俯仰角和偏航角的驾驶员的脸部图像有10帧，以确定出与其对应的标定点处的驾驶员的头部位置、头部大小等，将所获得这些数据作为标定结果数据存储。所获得的这些数据一方面，有助于DMS根据图像中驾驶员头部位置、头部大小等判断驾驶员的分心状态，另一方面也可用于一下次动态标定参考方向时，判断图像数据中的无效数据。
按照本申请的示例，图1所描述的方法会执行多次，每一次执行可获得一个参考方向。例如，上文提到每隔20分钟执行一次统计，统计时长为4分钟，可以理解为在本申请的方法被执行后得到一个参考方向，直到根据本申请所示的该方法被停止执行。每次都对该次标定进行评估，并使用置信度高的参考方向替代先前标定的参考方向。
根据本申请示例的用于监控驾驶员的驾驶状态的方法在实现到车辆中后，它的执行是可被触发的。触发的方式可以例如为定时触发，即，每隔20分钟执行本方法。作为替代或补充，触发的方式还可以是结合车速以及驾驶员的状态参数来进行。例如，在车速达到预定车速(如，30公里/小时)的情况下，如果从驾驶员的状态参数判断驾驶员的头部位置或视线范围在一定时间内偏离上一次的标定结果，则触发该方法以重新标定。
结合图1所描述的根据本申请示例的方法可执行于车辆的驾驶员监控系统DMS。在车辆中没有驾驶员监控系统DMS的情况下，结合图1描述的方法可由配置在车辆中的图像获取设备以及与该图像获取设备耦接的处理器来执行，其中，该处理器可以是车辆中已有的处理器或为执行本申请的方案而单独设置的处理器。
如上文所提到的，根据本申请示例的用于监控驾驶员的驾驶状态的方法在实现到车辆中后，可被触发执行。触发的方式可以是例如为定时触发，或基于车速及驾驶员的状态来触发。
在此，举例简述基于车速及驾驶员的状态来触发的过程。在车速达到预定车速(如，30公里/小时)的情况下，如果从驾驶员的状态参数判断驾驶员的头部位置或视线范围在一段时间内偏离最新(或上一次)的动态标定结果，则触发本申请的方法以使其运行，对参考方向进行标定。具体而言，首先过滤驾驶员头部姿态yaw值大于设置阈值(例如40°)和头部运动或转动幅度较大的图像帧，并分别求一段时间内(例如40s内)的人脸边框和视线方向的pitch、yaw的平均值。随后，在车辆行驶速度大于预定车速时，分别计算所计算的当前人脸边框与上一次标定的人脸边框的交并比face_monitor_iou,当前视线方向pitch,yaw与标定视线方向的L2距离(即：欧式距离)pose_monitor_dis，如果face_monitor_iou<Th1(Th1为第一阈值，例如设定为0.05)或pose_monitor_dis>Th2(Th1为第二阈值，例如设定为15)时触发重新标定。
图6是根据本申请示例的驾驶员监控系统的结构示意图。该系统包括图像获取设备600和控制单元602。图像获取设备600可以是各类能捕获驾驶员面部信息用于判断其驾驶状态的设备。本例中，图像获取设备600为红外相机，更为具体地，例如为940nm红外相机。图像获取设备600获取驾驶员的图像，并将所获取的图像传送给控制单元602。控制单元602可以是实现在车辆已有电子系统、或已有处理器的控制模块，也可以是单独实现的器件。
图像获取设备00可被设置在车辆的合适位置，比如，车辆的前后视镜周围或驾驶位上方、前方任何可以捕获驾驶员面部的位置。在一些情况下，图像获取设备600可被结合在前后视镜中。控制单元602被配置为接收相机600传输的驾驶员的脸部图像，并用于执行上文结合图1所描述的过程。
示例而非限制地，现通过设置在车辆内的图6所示的驾驶员监控系统执行图1所述的方法来进一步简述对驾驶员状态的监控，尤其是视线方向的动态调整。
在车辆启动之后，驾驶员监控系统上电并进行初始化。在初始化过程中，驾驶员监控系统的控制单元602读取存储器(图6未示出)所存储的上次的标定结果，亦即，读取最新一次标定的驾驶员的参考方向，还可读取上次标定结果中的表征头部位置和头部大小的数据(如果存储器中有的话)等。同时，控制单元602从图像获取设备600接收(步骤S100)其拍摄的驾驶员的脸部图像。应理解到，图像获取设备600在监控系统上电之后即开始或在系统上电之后的T时间后开始拍摄驾驶员的脸部图像，T时间比如为几秒等，它是可配置的。
控制单元602在接收到驾驶员的脸部图像之后，从所接收的脸部图像提取(步骤S102)脸部数据，并根据所提取的脸部数据确定(步骤S104)与视线方向相关的数据。简单讲，由控制单元602中的人脸检测模块获取到人脸的人脸边框和关键点。在一些情况下，可估算出头部姿态角度pitch，yaw，还可包括roll，可进一步根据头部姿态数据和眼睛瞳孔相对于眼睑的位置估算出驾驶员视线方向，作为该系统后续估计视线的参考方向的数据基础。另外，在不计算驾驶员视线方向的应用场景下，可以驾驶员头部姿态数据作为估计视线参考方向的数据基础。控制单元602所提取的脸部数据中，还可包括影响驾驶员视线的数据，比如从驾驶员脸部被驾驶员的手、口罩、电话、水杯等遮挡了驾驶员视线的图像中获得的数据。
控制单元602根据所获得的驾驶员的图像数据来评估驾驶员的驾驶状态，一旦驾驶员的驾驶状态表明驾驶员视线范围在预设时间内偏离上一次所标定的参考方向(或，在一些示例中，驾驶员的头部位置偏离上一次标定的参考方向)，且当前车速大于预设车速(例如30公里/小时)时，控制单元602触发其动态标定功能，即，进入重新标定过程。车速可由车辆的相关部件或系统传送给控制单元602。除此之外，控制单元602对动态标定功能的触发也可以是定时触发的，比如每隔20分钟触发动态标定。需要说明的是，触发动态标定功能是可选配置，并不要求根据本申请示例的驾驶员监控系统或驾驶员监控方法必须包括该功能或该步骤。可将上文结合图1描述的步骤S104以后的过程看作可触发的动态标定功能。
可选地，控制单元602在触发了动态标定功能之后，至少清除已有的与标定参考视线方向有关的数据，为后续标定做准备。
控制单元602从所确定的与视线方向角度相关的数据中滤除(步骤S106)干扰数据。控制单元602基于已经滤除了干扰数据的与视线方向角度相关的数据中的俯仰角和偏航角的分布进行统计(步骤S108)，并且根据所统计的分布来标定(步骤S110)参考方向。
应理解到，在车辆的行驶过程中，只要图6所示的系统处于工作状态，则对参考方向的标定就一直在进行，从而会产生多个标定结果。由此，可对标定结果进行评估，以可信度高的标定的参考方向替代之前可信度低的结果。据此，按照本申请，控制单元602还可以基于有效数据比例、平均标定偏差来评价各次标定。
有效数据比例use_ratio表示为公式(3)：
Figure BDA0003125502680000111
其中，total_stastic_num为统计的图像帧的总数量，即总帧数，total_valid_num为有效帧数。
平均标定偏差avg_dis表示为公式(4)：
Figure BDA0003125502680000121
其中，pitch为俯仰角，yaw为偏航角，Vij为统计的二维分布图中各点的坐标(i,j)所在bin区间数值。应理解到，本公式中，作为坐标的i和j，其取值范围在区域Ω内。
据此，可根据如下的公式(5)来评价某次标定得分score：
Figure BDA0003125502680000122
公式(3)中，use_ratio为统计有效数据比例，avg_dis为平均标定偏差，a，b为偏置系数。作为示例，a为0.1，b为0。
图7A和图7B为同一个驾驶员两次动态标定后的标定结果示意。图7A中，面驾驶员头部运动较多，统计图中参考方向所在的目标区域(作为参考方向的区域即图中颜色较深的部分)较分散，score较小。在图7A的示例中，Use_ratio为0.3445,Avg_dis为6.243,score为0.0712,pitch为21.431,yaw为-6.392。
图7B中，驾驶员相对更加专心，统计图中有效数据比例较高，参考方向所在的目标区域更加集中，score较大。图7B的示例中，Use_ratio为0.6158,Avg_dis为4.037，score为0.1773，pitch为19.49，yaw为-4.445。
如以上结合本申请所描述的，在对参考方向标定的过程中，可以在先标定参考方向时生产的头部位置和头部大小等数据来帮助过滤后续标定过程的干扰数据，同时又可用后续标定的可信度更高的参考方向来更新在先的可信度低的参考方向，由此就实现了对标定的参考方向的过滤、及动态修正与更新。
此外，可按照公式(6)对标定结果进行平滑，这也有助于在驾驶员姿态变动时以较快的速度响应该变化。对于一阶低通滤波器，Xi和
Figure BDA0003125502680000131
分别是i时刻原始数据和滤波结果。公式(6)如下：
Figure BDA0003125502680000132
α是位于[0,1]区间的平滑因子，α越接近1，结果越接近当次结果Xi，响应迅速；随着α的减小，新数据的贡献降低，历史数据贡献加大，抖动减小，但是延迟增加，从而实现平滑效果。公式(6)中下标的i用于表示当前时刻，i-1表示上一时刻。
可按照公式(7)确定α，其使用了一种动态调整的方法，即，同时考虑了Xi的增量(或者叫导数)
Figure BDA0003125502680000133
及每次结果的score得分Si：
Figure BDA0003125502680000134
其中，参数b用于控制
Figure BDA0003125502680000135
的力度，b越大，α趋向1，即输出
Figure BDA0003125502680000136
更趋向于Xi，实现快速响应；反之，则增加平滑力度，降低抖动。参数b经验值为6.0。两次得分SSi-1和i的比采用比值的λ次幂作为权重系数，λ用于控制score比值对结果呈相应的指数变化。建议的λ设置区间为(0,3)区间内，经验值λ＝2。
本申请还提供了如图8所示的用于标定驾驶员分心参考方向的系统。该系统包括输入/输出接口800，存储部802和处理部804。处理部804被配置为执行如上文结合图1所描述的方法。输入/输出接口800可与获取驾驶员图像的影像获取部件连接。输入/输出接口表示该接口可用于输入数据，也可用于输出数据。
本申请还提供了控制器，该控制器被配置为能执行上文所描述的任意一种用于标定驾驶员分心参考方向的方法。
本申请还提供了存储介质，该存储介质用于存储指令，在所述指令被处理器执行时能实现上文所描述的任意一种用于标定驾驶员分心参考方向的方法。
本申请还提供车辆，车辆被配置为能执行上文所描述的任意一种用于标定驾驶员分心参考方向的方法或包括上文描述的任意一种用于标定驾驶员分心参考方向的系统。
以上所述实施例和示例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请主张的权利要求的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (12)

1.一种用于标定驾驶员分心参考方向的方法，其特征在于，所述方法包括：
接收驾驶员的脸部图像；
从所接收的脸部图像提取并存储脸部数据；
基于所提取的脸部数据确定与视线方向相关的数据；
从所确定的与视线方向相关的数据中滤除干扰数据；
对已经滤除干扰数据的与视线方向相关的数据中的俯仰角和偏航角的分布进行统计；以及
根据所统计的分布来标定所述参考方向。
2.根据权利要求1所述的方法，其特征在于，所述从所确定的与视线方向相关的数据中滤除干扰数据包括以下之一或多个：
如果与视线方向相关的数据中的俯仰角和偏航角中，任意一项角度的绝对值超过角度阈值，则将该角度作为干扰数据滤除；
根据脸部图像数据确定驾驶员出现大于预定程度的移动时，将对应于该移动数据作为干扰数据滤除；
将所提取的图像数据中影响该驾驶员的视线的数据作为干扰数据滤除。
3.根据权利要求2或3所述的方法，其特征在于，对已经滤除干扰数据的与视线方向相关的数据中的俯仰角和偏航角的分布进行统计是生成所述俯仰角和偏航角的二维分布直方图。
4.根据权利要求3所述的方法，其特征在于，所述根据所统计的分布来标定所述参考方向包括：
放大所生成的二维分布直方图的统计结果并对其进行高斯滤波，以生成滤波后直方图；
以噪声截断方式分割所述滤波后直方图，且仅保留参考方向可能位于其中的目标区域；
在所述目标区域内选择最佳目标区域，作为所述参考方向的粗估位置；
计算所述粗估位置一定半径区域内的俯仰角和偏航角，由此获得标定的参考方向。
5.根据权利要求4所述的方法，其特征在于，所述最佳目标区域为所述直方图中最大值所在位置(Pmax,Ymax)；以及，计算所述粗估位置一定半径区域内的俯仰角和偏航角，是按照如下公式计算：
Figure FDA0003125502670000021
Figure FDA0003125502670000022
其中，pitch为俯仰角，yaw为偏航角，Vij为所述二维分布图中坐标(i,j)所在的bin区间的数值，Ω为以最大值所在位置(pmax，ymax)作为中心且以R作为半径所确定的区域。
6.根据权利要求4所述的方法，其特征在于，还包括：
对多次标定结果进行评估，将其中可信度高的标定结果作为最新的参考方向。
7.根据权利要求4所述的方法，其特征在于，计算所述粗估位置一定半径区域内的俯仰角和偏航角，由此获得标定的参考方向，还包括：
在所存储的脸部数据中搜索与所计算的俯仰角和偏航角对应的脸部数据，以从所述脸部数据中获得表征驾驶员的头部位置和头部大小的数据并存储。
8.一种用于标定驾驶员分心参考方向的系统，其特征在于，所述系统包括：
输入/输出接口；
存储部；
处理部，其被配置为：
从由所述输入/输出接口所传送的驾驶员的脸部图像中提取脸部数据并将其传送给所述存储部存储；
基于所提取脸部数据确定与视线方向相关的数据并从该与视线方向相关的数据中滤除干扰数据；
对已经滤除干扰数据的与视线方向相关的数据中的俯仰角和偏航角的分布进行统计；以及
根据所统计的分布来标定所述参考方向。
9.根据权利要求8所述的系统，其特征在于，所述输入/输出接口与获取驾驶员图像的影像获取部件连接。
10.一种用于监控驾驶员的驾驶状态的系统，其特征在于，所述系统包括：
面向驾驶员设置以获取驾驶员图像的图像获取设备；以及
控制单元，其与所述图像获取设备耦接，并被配置为执行如权利要求1到7中任意一项所述的用于标定驾驶员分心参考方向的方法。
11.一种存储介质，其特征在于，所述存储介质用于存储指令，在所述指令被执行时，能实现如权利要求1到7中任意一项所述的用于标定驾驶员分心参考方向的方法。
12.一种车辆，其特征在于，所述车辆被配置为能执行如权利要求1到7中任意一项所述的标定驾驶员分心参考方向的方法、或包括如权利要求8或9所述的用于标定驾驶员分心参考方向的系统。
CN202110688063.0A 2021-06-21 2021-06-21 用于标定驾驶员分心参考方向的方法及系统 Active CN113298041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110688063.0A CN113298041B (zh) 2021-06-21 2021-06-21 用于标定驾驶员分心参考方向的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110688063.0A CN113298041B (zh) 2021-06-21 2021-06-21 用于标定驾驶员分心参考方向的方法及系统

Publications (2)

Publication Number Publication Date
CN113298041A true CN113298041A (zh) 2021-08-24
CN113298041B CN113298041B (zh) 2024-07-02

Family

ID=77329213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110688063.0A Active CN113298041B (zh) 2021-06-21 2021-06-21 用于标定驾驶员分心参考方向的方法及系统

Country Status (1)

Country Link
CN (1) CN113298041B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822234A (zh) * 2021-11-22 2021-12-21 成都星宇融科电力电子股份有限公司 基于车载热成像的目标检测预警分析方法、系统及终端

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154178A1 (en) * 2010-12-17 2012-06-21 Eurocopter Deutschland Gmbh Method for presenting spatial attitude and heading information of a vehicle
US20140139655A1 (en) * 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
CN107750340A (zh) * 2015-06-15 2018-03-02 莱尔德波鸿有限责任公司 用于确定相对于交通节点固定的坐标系中的车辆位置的设备和方法
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN109774779A (zh) * 2018-12-20 2019-05-21 东风汽车集团有限公司 一种基于不同驾驶员的方向盘智能调节装置及方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN111079476A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN111539333A (zh) * 2020-04-24 2020-08-14 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111985403A (zh) * 2020-08-20 2020-11-24 中再云图技术有限公司 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法
CN112289003A (zh) * 2020-10-23 2021-01-29 江铃汽车股份有限公司 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139655A1 (en) * 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20120154178A1 (en) * 2010-12-17 2012-06-21 Eurocopter Deutschland Gmbh Method for presenting spatial attitude and heading information of a vehicle
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
CN107750340A (zh) * 2015-06-15 2018-03-02 莱尔德波鸿有限责任公司 用于确定相对于交通节点固定的坐标系中的车辆位置的设备和方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109937152A (zh) * 2017-08-10 2019-06-25 北京市商汤科技开发有限公司 驾驶状态监测方法和装置、驾驶员监控系统、车辆
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN111079476A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN109774779A (zh) * 2018-12-20 2019-05-21 东风汽车集团有限公司 一种基于不同驾驶员的方向盘智能调节装置及方法
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN111539333A (zh) * 2020-04-24 2020-08-14 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111985403A (zh) * 2020-08-20 2020-11-24 中再云图技术有限公司 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法
CN112289003A (zh) * 2020-10-23 2021-01-29 江铃汽车股份有限公司 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MASAHIRO MIYAJI: ""Study on psychosomatic features of driver\'s distraction based on pattern recognition"", 《2011 11TH INTERNATIONAL CONFERENCE ON ITS TELECOMMUNICATIONS》 *
刘敏: ""基于头部特征和姿态估计的疲劳驾驶检测技术的研究"", 《中国优秀硕士学位论文全文数据库 工程科技辑》 *
袁霞;侯锁军;吴启斌;: "基于转向盘特征值的汽车疲劳驾驶系统的应用研究", 河南机电高等专科学校学报, no. 05 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822234A (zh) * 2021-11-22 2021-12-21 成都星宇融科电力电子股份有限公司 基于车载热成像的目标检测预警分析方法、系统及终端

Also Published As

Publication number Publication date
CN113298041B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
EP2860664B1 (en) Face detection apparatus
US9789820B2 (en) Object detection apparatus
US7253739B2 (en) System and method for determining eye closure state
EP1801730B1 (en) Method of detecting vehicle-operator state
EP1732028B1 (en) System and method for detecting an eye
CA2218793C (en) Multi-modal system for locating objects in images
EP1933256B1 (en) Eye closure recognition system and method
US7835551B2 (en) Television set and authentication device
EP1589485A2 (en) Object tracking and eye state identification method
EP3483832B1 (en) Image processing device
US20070236570A1 (en) Method and apparatus for providing motion control signals between a fixed camera and a ptz camera
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
EP1671258A4 (en) METHOD AND DEVICE FOR CARRYING OUT AN IRIS DETECTION FROM ONE IMAGE
EP2060993B1 (en) An awareness detection system and method
JP2009237993A (ja) 画像監視装置
CN111738241B (zh) 基于双摄像头的瞳孔检测方法及装置
JP2002274265A (ja) ミラー調整装置
CN109426797B (zh) 瞌睡检测装置及其瞌睡检测方法
CN113298041A (zh) 用于标定驾驶员分心参考方向的方法及系统
CN109565549A (zh) 用于运行内饰摄像机的方法和设备
JP6065629B2 (ja) 物体検知装置
WO2017101292A1 (zh) 自动对焦的方法、装置和系统
JP2002282210A (ja) 視線検出方法及びその装置
JP2008194309A (ja) 目検知装置、居眠り検知装置及び目検知装置の方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant