CN115376113A - 驾驶员分心检测方法、驾驶员监控系统及存储介质 - Google Patents

驾驶员分心检测方法、驾驶员监控系统及存储介质 Download PDF

Info

Publication number
CN115376113A
CN115376113A CN202210946360.5A CN202210946360A CN115376113A CN 115376113 A CN115376113 A CN 115376113A CN 202210946360 A CN202210946360 A CN 202210946360A CN 115376113 A CN115376113 A CN 115376113A
Authority
CN
China
Prior art keywords
face
image
driver
original
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210946360.5A
Other languages
English (en)
Inventor
艾鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jiefa Technology Co ltd
Original Assignee
Hefei Jiefa Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Jiefa Technology Co ltd filed Critical Hefei Jiefa Technology Co ltd
Priority to CN202210946360.5A priority Critical patent/CN115376113A/zh
Publication of CN115376113A publication Critical patent/CN115376113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请提供一种驾驶员分心检测方法，包括：获取人脸原始图像，并获取人脸区域图像；获取人脸区域图像内的2D关键点位置信息；依据2D关键点位置信息，获取人脸原始图像对应的左眼图像和右眼图像；利用人脸原始图像执行3D人脸形状重建，以利用3D人脸形状，获取人脸原始图像对应的头部姿势角度信息；依据人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息，获取人脸原始图像对应的驾驶员视线角度；响应于驾驶员视线角度满足预设条件，判定当前驾驶员分心驾驶。本申请还提供相应的相关设备。本申请提高了驾驶员视线角度的准确度。

Description

驾驶员分心检测方法、驾驶员监控系统及存储介质
技术领域
本申请的所公开实施例涉及辅助驾驶技术领域，且更具体而言，涉及一种驾驶员分心检测方法、驾驶员监控系统及存储介质。
背景技术
预防道路交通事故越来越受关注，其中，驾驶员监控是预防道路交通事故的重要方面，而驾驶员分心检测是驾驶员监控中重要功能，因为，在驾驶过程中，驾驶员分心导致的道路交通事故占比较大。
故驾驶员分心检测是辅助驾驶中亟待解决的重要部分。
发明内容
根据本申请的实施例，本申请提出一种驾驶员分心检测方法、驾驶员监控系统及存储介质。
根据本申请的第一方面，公开一种实例性的驾驶员分心检测方法，包括：获取当前驾驶员的人脸原始图像，并自所述人脸原始图像，获取人脸区域图像；自所述人脸区域图像，获取所述人脸区域图像内的2D关键点位置信息；依据所述2D关键点位置信息，获取所述人脸原始图像对应的左眼图像和右眼图像；执行3D人脸形状重建，以利用3D人脸形状，获取所述人脸原始图像对应的头部姿势角度信息；依据所述人脸原始图像及所述人脸原始图像对应的所述左眼图像、所述右眼图像和所述头部姿势角度信息，获取所述人脸原始图像对应的驾驶员视线角度；以及响应于所述驾驶员视线角度满足预设条件，判定所述当前驾驶员分心驾驶。
根据本申请的第二方面，公开一种实例性的驾驶员监控系统，其特征在于，包括相互耦接的存储器和处理器以及与所述处理器耦接的摄像头，其中，所述摄像头用于拍摄当前驾驶员的人脸原始图像，所述处理器用于借由所述摄像头所拍摄的当前驾驶员的人脸原始图像，执行所述存储器中存储的程序指令，以实现上述第一方面所述的驾驶员分心检测方法。
根据本申请的第三方面，公开一种实例性的非易失性计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现第一方面所述的驾驶员分心检测方法。
根据本申请的第四方面，公开一种实例性的一种驾驶员监控系统，其特征在于，包括处理器以及与所述处理器耦接的存储器和报警器，所述处理器用于执行所述存储器中存储的程序指令，以实现第一方面所述的驾驶员分心检测方法，所述报警器用于在所述处理器判定当前驾驶员分心驾驶时发出报警信号以提示所述当前驾驶员。
本申请的有益效果有：通过利用人脸原始图像，执行3D人脸形状重建，以利用3D人脸形状，获取人脸原始图像对应的头部姿势角度信息，实现3D人脸重建得到个体化的3D人脸形状，提高头部姿势估计的准确性，并且，通过依据人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息，获取人脸原始图像对应的驾驶员视线角度，实现整个人脸，提高驾驶员视线角度的准确度，另外，通过响应于驾驶员视线角度满足预设条件，判定当前驾驶员分心驾驶，降低误检测的可能性。
在阅读以下对各图及图式中所例示的优选实施例的详细说明之后，本申请的这些及其它目标无疑将对所属领域的技术人员显而易见。
附图说明
图1是例示根据本申请实施例的驾驶员分心检测方法的流程图。
图2是例示本申请实施例的驾驶员监控系统的框架示意图。
图3是例示本申请实施例的非易失性计算机可读存储介质的框架示意图。
图4是例示本申请实施例的驾驶员监控系统的框架示意图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请的技术方案做进一步详细描述。
如图1所示，为根据本申请实施例的驾驶员分心检测方法的流程图。该方法可以应用于车载设备，该车载设备可以与外部的摄像头连接，也可以包括摄像头。例如，车载设备可以包括但不限于智能座舱、IVI(In-Vehicle Infotainment，车载信息娱乐系统)设备或行车记录仪设备等，在此不做限定。
具体地，如图1所示，该方法可包括如下步骤：
步骤11：获取当前驾驶员的人脸原始图像，并自人脸原始图像，获取人脸区域图像。
当前驾驶员的人脸原始图像可以通过摄像头直接拍摄得到，该摄像头可以安装当前驾驶员的前方或斜侧方。自该人脸原始图像获取人脸区域图像，可以通过深度学习模型进行训练得到。例如，采用ZQCNN等轻量级模型对人脸原始图像进行处理，输出该人脸原始图像中人脸区域图像，即人脸相关位置信息(x,y,w,h)，其中，(x,y)表示人脸区域图像的左上角位置，(w,h)分别表示人脸区域图像的宽高。人脸区域图像可以为人脸原始图像中的最大矩形框。
步骤12：自人脸区域图像，获取人脸区域图像内的2D关键点位置信息。
例如，通过人脸识别技术对人脸区域图像进行识别，当人脸区域图像表征已注册用户时，表示非首次检测到当前驾驶员，此时，自该人脸区域图像获取人脸区域图像内的2D关键点位置信息。
具体地，采用深度学习算法训练得到深度学习模型，将人脸区域图像输入到该深度学习模型中，该深度学习模型输出人脸区域图像内的2D关键点位置信息，例如，106个2D关键点的位置信息，包括人脸轮廓、左右眼、鼻子、嘴部等处的2D关键点的位置信息。
步骤13：依据2D关键点位置信息，获取人脸原始图像对应的左眼图像和右眼图像。
依据2D关键点位置信息，例如，依据2D关键点位置信息中关于左右眼处的2D关键点的位置信息，对人脸区域图像进行裁剪，得到相应的左眼图像和右眼图像。
步骤14：利用人脸原始图像，执行3D人脸形状重建，以利用3D人脸形状，获取人脸原始图像对应的头部姿势角度信息。
利用人脸原始图像，执行3D人脸形状重建，表示已经对当前驾驶员执行3D人脸形状重建，即已经重建出当前驾驶员的3D人脸形状，执行3D人脸形状重建后，得到当前驾驶员的3D人脸形状信息，进而根据3D人脸形状信息，得到3D关键点位置信息。当人脸原始图像已用于3D人脸形状重建时，执行3D人脸形状重建所得到的3D关键点位置信息已经被保存，例如，被保存到当前驾驶员对应的注册信息中，当前驾驶员对应的注册信息位于车载设备内的预设数据库中。
利用3D人脸形状信息，获取人脸原始图像对应的头部姿势角度信息，即执行头部姿势估计。具体地，在一些实施例中，利用3D人脸形状信息，获取人脸原始图像对应的头部姿势角度信息包括：依据2D关键点位置信息和3D关键点位置信息，获取人脸原始图像对应的头部姿势角度信息。先求解2D关键点位置信息所表示的2D关键点与3D关键点位置信息所表示的3D关键点之间的转换关系，得到摄像头的旋转矩阵，随后，根据摄像头的旋转矩阵进行转换，得到欧拉角，即头部相对于摄像头的姿势，从而得到头部姿势角度信息。
步骤15：依据人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息，获取人脸原始图像对应的驾驶员视线角度。
人脸原始图像对应的驾驶员视线角度，即当前驾驶员的视线偏离前方的角度。
步骤16：响应于驾驶员视线角度满足预设条件，判定当前驾驶员分心驾驶。
当驾驶员视线角度满足预设条件时，表示当前驾驶员的视线已偏离驾驶方向，判定当前驾驶员分心驾驶，以用于后续警报当前驾驶员。
本实施例中，通过利用人脸原始图像，执行3D人脸形状重建，以利用3D人脸形状，获取人脸原始图像对应的头部姿势角度信息，实现3D人脸重建得到个体化的3D人脸形状，提高头部姿势估计的准确性，并且，通过依据人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息，获取人脸原始图像对应的驾驶员视线角度，实现整个人脸，提高驾驶员视线角度的准确度，另外，通过响应于驾驶员视线角度满足预设条件，判定当前驾驶员分心驾驶，降低检测的可能性。
如上述，利用人脸原始图像，执行3D人脸形状重建时，表示已经对当前驾驶员执行3D人脸形状重建。在一些实施例中，基于上述实施例，该方法进一步包括：判断人脸原始图像是否用于3D人脸形状重建；响应于人脸原始图像已用于3D人脸形状重建，获取3D关键点位置信息；响应于人脸原始图像未用于3D人脸形状重建，利用人脸原始图像，执行3D人脸形状重建，以获得3D关键点位置信息并保存。
人脸原始图像未用于3D人脸形状重建，表示未对当前驾驶员执行3D人脸形状重建，此时，执行3D人脸形状重建，得到当前驾驶员的3D人脸形状信息，进而根据3D人脸形状信息，得到3D关键点位置信息，并将该3D关键点位置信息进行保存，例如，保存到当前驾驶员对应的注册信息中，当前驾驶员对应的注册信息位于车载设备内的预设数据库中。
在一些实施例中，执行3D人脸形状重建包括：初始化用于当前驾驶员的3DMM，并获取优化目标函数，并依据优化目标函数对3DMM进行优化，以得到3D关键点位置信息，从而完成当前驾驶员的3D人脸形状重建；其中，优化目标函数由3DMM所表征的人脸原始图像中的人脸形状信息和2D关键点位置信息表征。
3DMM(3D Morphable Model，三维形变模型)中，人脸形状的特征向量为：
S＝(X1，Y1，Z1，X2，…，Yn，Zn)T∈R3n，
进而人脸形状可以由上述特征向量的线性组合来表示，即人脸形状信息，其公式如下：
Figure BDA0003787525170000061
初始化用于当前驾驶员的3DMM，即初始化该3DMM的相关参数，例如上述人脸形状相关的参数α以及外部渲染参数，例如，摄像头的位置、图像平面的旋转角度等参数。
依据优化目标函数对3DMM进行优化，以得到3D关键点位置信息。首先，基于初始化3DMM的上述参数，获得3DMM投影到2D平面的2D图像，计算人脸原始图像与该2D图像之间的误差，当重建当前驾驶员的3D人脸形状时，该误差可以为3DMM所表征的人脸原始图像中的人脸形状信息与3DMM投影到2D平面所得到的2D关键点位置信息之间的误差，即优化目标函数中所表示的误差。
其中，优化目标函数由3DMM所表征的人脸原始图像中的人脸形状信息和3DMM投影到2D平面所得到的2D关键点位置信息表征，例如，其公式如下：
Figure BDA0003787525170000062
其中，K表示摄像头的内参，在摄像头标定时，为已知参数，R为头部相对于摄像头的旋转角度，T表示头部相对于摄像头的位移值，X2D表示2D关键点位置信息，为2D关键点的坐标。
随后，以误差反向传播调整相关参数a，优化3DMM，不断迭代，即在误差大于或等于阈值或者迭代次数未达到上限时，调整相关参数α，调整3DMM，进而基于调整后的相关参数，重新计算误差，不断迭代，直到误差达到最小值，从而实现优化3DMM，得到最优的相关参数α。随后，根据上述人脸形状的公式，即可得到最终的3D关键点位置信息。
可以看出，上述3D人脸形状重建的过程，使用优化目标函数对3DMM进行优化，从而能够得到个体间准确的3D人脸形状，相比于平均三维人脸形状用于头部姿势估计而言，将此3D人脸形状用于头部姿势估计，通过投影变换得到的头部旋转角度更准确，因为平均三维人脸形状是基于数据集BFM2017数据库，且根据PCA方法得到的，其中，该数据集内包含200个三维人脸的头部数据。也就是说，平均人脸形状只代表个体的平均值，不能体现个体之间的差异。
如上述，依据人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息，获取人脸原始图像对应的驾驶员视线角度。在一些实施例中，获取人脸原始图像对应的驾驶员视线角度，包括：将人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息输入到视线检测模型，以获得第一视线角度，其中第一视线角度相对于摄像头坐标系；获取摄像头坐标系与车辆坐标系之间的旋转矩阵；以及通过旋转矩阵，获得驾驶员视线角度，其中驾驶员视线角度相对于车辆坐标系。
视线检测模型可以是进行训练得到的，例如，视线检测模型可以为神经网络模型，对其进行前向推理。本申请对视线检测模型的具体构造及其训练方式不做限定。
将人脸原始图像及人脸原始图像对应的左眼图像、右眼图像和头部姿势角度信息输入到视线检测模型，对视线检测模型进行前向推理，获得第一视线角度，第一视线角度相对于摄像头坐标系。
摄像头坐标系与车辆坐标系之间的旋转矩阵需要摄像头外参，假设摄像头外参为(α,β,γ)，则摄像头坐标系与车辆坐标系之间的旋转矩阵为
Figure BDA0003787525170000081
cx＝cos(α)，sx＝sin(α)
cy＝cos(β)，sy＝sin(β)
cz＝cos(γ)，sz＝sin(γ)
通过上述旋转矩阵，获得驾驶员视线角度，其中，驾驶员视线角度相对于车辆的行驶方向，车辆的行驶方向是在车辆坐标系下定义的，也可以说，驾驶员视线角度相对于车辆坐标系。假设第一视线角度为(a，b，c)，则驾驶员视线角度(a1，b1，c1)为：
Figure BDA0003787525170000082
当驾驶员视线角度中a1，b1，c1均大于预设值时，表示在人脸原始图像中当前驾驶员的视线已偏离车辆前进方向。
如上述，当驾驶员视线角度满足预设条件时，判定当前驾驶员分心驾驶。不同的人脸原始图像具有不同的驾驶员视线角度。在一些实施例中，获取当前驾驶员的人脸原始图像包括：预设时间内获取连续的多帧人脸原始图像，此时，预设条件包括连续的多帧人脸原始图像分别对应的驾驶员视线角度均大于预设值。也就是说，预设时间内连续多帧人脸原始图像中都检测到当前驾驶员的视线偏离车辆前进方向，则判定当前驾驶员分心驾驶，降低误检测。
在另一些实施例中，预设条件包括驾驶员视线角度大于预设值以及驾驶员视线角度与视线角度曲线之间的距离位于预设范围之外，其中，视线角度曲线表征当前驾驶员非分心驾驶时的视线角度。
视线角度曲线表征当前驾驶员非分心驾驶时的视线角度，即当前驾驶员正常驾驶时的视线角度。收集当前驾驶员正常驾驶时的视线角度，进而通过高斯函数进行拟合，得到视线角度曲线，其中高斯函数的表达式如下：
Figure BDA0003787525170000091
其中，x为三维向量值，b为三维中心向量，a、c均为标量值。
该视线角度曲线保存于车载设备内，例如，保存于车载设备内当前驾驶员对应的注册信息中，当前驾驶员对应的注册信息位于车载设备内的预设数据库中。
当获取到一帧人脸原始图像(以下简称为当前帧人脸原始图像)时，驾驶员视线角度大于预设值，表示当前驾驶员在当前帧人脸原始图像中视线已偏离车辆前进方向，随后，比较驾驶员视线角度与视线角度曲线之间的距离，例如，驾驶员视线角度与视线角度曲线的中心视线角度之间的距离，判断该距离是否位于预设范围内，若该距离位于预设范围之外，则判定当前驾驶员分心驾驶，若该距离位于预设范围之内，则表示当前驾驶员正常驾驶。
如上述，当驾驶员视线角度满足预设条件，判定当前驾驶员分心驾驶。在一些实施例中，基于上述实施例，该方法进一步包括：响应于驾驶员视线角度不满足预设条件，获取驾驶员视线角度，以用于得到视线角度曲线。
当驾驶员视线角度不满足预设条件，直接收集驾驶员视线角度，以用于拟合得到视线角度曲线，例如，采用高斯函数进行拟合。预设条件在上述实施例中已详细说明，在此不再赘述。
如上述，自人脸区域图像，获取人脸区域图像内的2D关键点位置信息。在一些实施例中，基于上述实施例，在自人脸区域图像，获取人脸区域图像内的2D关键点位置信息之前，该方法进一步包括：判断所述人脸区域图像是否表征已注册用户；响应于人脸区域图像表征未注册用户，执行注册操作。
通过人脸识别技术对人脸区域图像进行识别，当人脸区域图像表征未注册用户时，执行注册操作，将当前驾驶员的相关信息进行保存，例如车载设备内的预设数据库中，以便当前驾驶员后续使用。
在一些示例中，若人脸区域图像的特征向量与预设数据库中所有特征向量之间的最小余弦距离值小于或等于预设阈值，则人脸区域图像表征已注册用户，其中人脸区域图像的特征向量是通过将人脸原始图像输入到人脸识别模型中得到的；若最小余弦距离值大于预设阈值，则人脸原始图像表征未注册用户。
将人脸区域图像输入到人脸识别模型中，输出一多维特征向量，即人脸区域图像的特征向量，将该特征向量与车载设备内预设数据库中所有特征向量进行比对，计算其余弦距离值，从而得到最小余弦距离值，当最小余弦距离值小于或等于预设阈值，则相应的已注册用户与当前驾驶员为同一人，即当前驾驶员的人脸区域图像表征已注册用户，当最小余弦距离值大于预设阈值，则当前驾驶员未注册，即当前驾驶员的人脸区域图像表征未注册用户，提示当前驾驶员进行注册，从而执行注册操作。
如图2所示，为本申请实施例的驾驶员监控系统的框架示意图。驾驶员监控系统20包括相互耦接的存储器21和处理器22以及与处理器22耦接的摄像头23，摄像头23用于拍摄当前驾驶员的人脸原始图像，处理器22用于借由摄像头23所拍摄的当前驾驶员的人脸原始图像，执行存储器21中存储的程序指令，以实现上述任一驾驶员分心检测方法实施例中的步骤。摄像头23可以与存储器21和处理器22为一体，也可以与存储器21和处理器22分开。例如，存储器21和处理器22可以为某个车载设备，而摄像头23可以为该车载设备的外部设备，也可以为该车载设备的内部组件。在一个具体的实施场景中，该车载设备可以包括但不限于智能座舱、IVI(In-Vehicle Infotainment，车载信息娱乐系统)设备或行车记录仪设备等，在此不做限定。
具体而言，处理器22用于控制其自身以及存储器21以实现上述任一驾驶员分心检测方法实施例中的步骤。处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器22可以由集成电路芯片共同实现。
如图3所示，为本申请实施例的非易失性计算机可读存储介质的框架示意图。非易失性计算机可读存储介质30存储有能够被处理器运行的程序指令301，程序指令301用于实现上述任一驾驶员分心检测方法实施例中的步骤。
如图4所示，本申请实施例的驾驶员监控系统的框架示意图。该驾驶员监控系统40包括处理器41以及与处理器41耦接的存储器42和报警器43，处理器41用于执行存储器42中存储的程序指令，以实现上述任一驾驶员分心检测方法实施例中的步骤，报警器43用于在处理器41判定当前驾驶员分心驾驶时发出报警信号以提示当前驾驶员。
具体而言，处理器41用于控制其自身以及存储器21以实现实现上述任一驾驶员分心检测方法实施例中的步骤。处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器41可以由集成电路芯片共同实现。
报警器43可以为语音报警器，以及其他任意可以提示当前驾驶员的报警器，本申请对此不做限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员易知，可在保持本申请的教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。

Claims (13)

1.一种驾驶员分心检测方法，其特征在于，包括：
获取当前驾驶员的人脸原始图像，并自所述人脸原始图像，获取人脸区域图像；
自所述人脸区域图像，获取所述人脸区域图像内的2D关键点位置信息；
依据所述2D关键点位置信息，获取所述人脸原始图像对应的左眼图像和右眼图像；
利用所述人脸原始图像，执行3D人脸形状重建，以利用3D人脸形状，获取所述人脸原始图像对应的头部姿势角度信息；
依据所述人脸原始图像及所述人脸原始图像对应的所述左眼图像、所述右眼图像和所述头部姿势角度信息，获取所述人脸原始图像对应的驾驶员视线角度；以及
响应于所述驾驶员视线角度满足预设条件，判定所述当前驾驶员分心驾驶。
2.如权利要求1所述的方法，其特征在于，进一步包括：
判断所述人脸原始图像是否用于3D人脸形状重建；
响应于所述人脸原始图像已用于3D人脸形状重建，获取3D关键点位置信息；
响应于所述人脸原始图像未用于3D人脸形状重建，利用所述人脸原始图像，执行3D人脸形状重建，以获得所述3D关键点位置信息并保存。
3.如权利要求1所述的方法，其特征在于，
所述利用3D人脸形状，获取所述人脸原始图像对应的头部姿势角度信息，包括：
依据所述2D关键点位置信息和所述3D关键点位置信息，获取所述人脸原始图像对应的头部姿势角度信息。
4.如权利要求1-3中任一项所述的方法，其特征在于，所述执行3D人脸形状重建包括：
初始化用于所述当前驾驶员的3DMM，并依据优化目标函数对所述3DMM进行优化，以得到所述3D关键点位置信息，从而完成所述当前驾驶员的3D人脸形状重建。
5.如权利要求1所述的方法，其特征在于，所述获取所述人脸原始图像对应的驾驶员视线角度，包括：
将所述人脸原始图像及所述人脸原始图像对应的所述左眼图像、所述右眼图像和所述头部姿势角度信息输入到视线检测模型，以获得第一视线角度，其中所述第一视线角度相对于摄像头坐标系；
获取所述摄像头坐标系与车辆坐标系之间的旋转矩阵；以及
通过所述旋转矩阵，获得所述驾驶员视线角度，其中所述驾驶员视线角度相对于所述车辆坐标系。
6.如权利要求1所述的方法，其特征在于，所述获取当前驾驶员的人脸原始图像包括：
预设时间内获取连续的多帧人脸原始图像；
所述预设条件包括连续的多帧人脸原始图像分别对应的所述驾驶员视线角度均大于预设值。
7.如权利要求1所述的方法，其特征在于，所述预设条件包括所述驾驶员视线角度大于预设值以及所述驾驶员视线角度与视线角度曲线之间的距离位于预设范围之外，其中，所述视线角度曲线表征所述当前驾驶员非分心驾驶时的视线角度。
8.如权利要求7所述的方法，其特征在于，进一步包括：
响应于所述驾驶员视线角度不满足预设条件，获取所述驾驶员视线角度，以用于得到所述视线角度曲线。
9.如权利要求1所述的方法，其特征在于，在自所述人脸区域图像，获取所述人脸区域图像内的2D关键点位置信息之前，进一步包括：
判断所述人脸区域图像是否表征已注册用户；
响应于所述人脸区域图像表征未注册用户，执行注册操作。
10.如权利要求9所述的方法，其特征在于，
若所述人脸区域图像的特征向量与预设数据库中所有特征向量之间的最小余弦距离值小于或等于预设阈值，则所述人脸区域图像表征已注册用户，其中所述人脸区域图像的特征向量是通过将所述人脸原始图像输入到人脸识别模型中得到的；
若所述最小余弦距离值大于所述预设阈值，则所述人脸原始图像表征未注册用户。
11.一种驾驶员监控系统，其特征在于，包括相互耦接的存储器和处理器以及与所述处理器耦接的摄像头，其中，所述摄像头用于拍摄当前驾驶员的人脸原始图像，所述处理器用于借由所述摄像头所拍摄的当前驾驶员的人脸原始图像，执行所述存储器中存储的程序指令，以实现权利要求1至10中任一项所述的驾驶员分心检测方法。
12.一种非易失性计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至10中任一项所述的驾驶员分心检测方法。
13.一种驾驶员监控系统，其特征在于，包括处理器以及与所述处理器耦接的存储器和报警器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至10中任一项所述的驾驶员分心检测方法，所述报警器用于在所述处理器判定当前驾驶员分心驾驶时发出报警信号以提示所述当前驾驶员。
CN202210946360.5A 2022-08-08 2022-08-08 驾驶员分心检测方法、驾驶员监控系统及存储介质 Pending CN115376113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210946360.5A CN115376113A (zh) 2022-08-08 2022-08-08 驾驶员分心检测方法、驾驶员监控系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210946360.5A CN115376113A (zh) 2022-08-08 2022-08-08 驾驶员分心检测方法、驾驶员监控系统及存储介质

Publications (1)

Publication Number Publication Date
CN115376113A true CN115376113A (zh) 2022-11-22

Family

ID=84064184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210946360.5A Pending CN115376113A (zh) 2022-08-08 2022-08-08 驾驶员分心检测方法、驾驶员监控系统及存储介质

Country Status (1)

Country Link
CN (1) CN115376113A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524877A (zh) * 2023-07-03 2023-08-01 一汽解放汽车有限公司 车载屏幕亮度调节方法、装置、电子设备和存储介质
CN117333927A (zh) * 2023-12-01 2024-01-02 厦门磁北科技有限公司 车载人脸识别酒精检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524877A (zh) * 2023-07-03 2023-08-01 一汽解放汽车有限公司 车载屏幕亮度调节方法、装置、电子设备和存储介质
CN117333927A (zh) * 2023-12-01 2024-01-02 厦门磁北科技有限公司 车载人脸识别酒精检测方法及系统
CN117333927B (zh) * 2023-12-01 2024-04-16 厦门磁北科技有限公司 车载人脸识别酒精检测方法及系统

Similar Documents

Publication Publication Date Title
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
EP3539054B1 (en) Neural network image processing apparatus
CN115376113A (zh) 驾驶员分心检测方法、驾驶员监控系统及存储介质
EP3033999B1 (en) Apparatus and method for determining the state of a driver
US8401251B2 (en) Face pose estimation device, face pose estimation method and face pose estimation program
US9117122B2 (en) Apparatus and method for matching parking-lot outline
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
CN109094491B (zh) 车辆部件的调整方法、装置、系统及终端设备
US10528802B2 (en) Head pose and distraction estimation
US20220084316A1 (en) Method and electronic device for recognizing abnormal sitting posture, and storage medium
JP2015007953A (ja) 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体
JP2020126638A (ja) 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置
CN113632098A (zh) 人脸图像处理方法、装置和车辆
JP2016115118A (ja) 下方視判定装置および下方視判定方法
CN113361441B (zh) 基于头部姿态和空间注意力的视线区域估计方法及系统
WO2021024905A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体
Watta et al. Nonparametric approaches for estimating driver pose
JP7019394B2 (ja) 視認対象検知装置、視認対象検知方法、およびプログラム
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치
JP2021009503A (ja) 個人データ取得システム、個人データ取得方法、画像処理装置用顔センシングパラメータの調整方法及びコンピュータプログラム
EP4250247A1 (en) Method and apparatus for determining a gaze direction of a user
CN109886213B (zh) 疲劳状态判断方法、电子设备及计算机可读存储介质
WO2020261832A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
WO2020261820A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
JP4068888B2 (ja) アイリス推定装置およびアイリス照合装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination