CN111539333B - 驾驶员的注视区域识别及分心检测方法 - Google Patents

驾驶员的注视区域识别及分心检测方法 Download PDF

Info

Publication number
CN111539333B
CN111539333B CN202010334363.4A CN202010334363A CN111539333B CN 111539333 B CN111539333 B CN 111539333B CN 202010334363 A CN202010334363 A CN 202010334363A CN 111539333 B CN111539333 B CN 111539333B
Authority
CN
China
Prior art keywords
head
driver
area
head posture
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010334363.4A
Other languages
English (en)
Other versions
CN111539333A (zh
Inventor
邓淑龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202010334363.4A priority Critical patent/CN111539333B/zh
Publication of CN111539333A publication Critical patent/CN111539333A/zh
Application granted granted Critical
Publication of CN111539333B publication Critical patent/CN111539333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种驾驶员的注视区域识别及分心检测方法，其中，驾驶员的注视区域识别方法包括：采集驾驶员的脸部图像；将所述脸部图像输入到已训练的头部姿态估计模型，通过所述头部姿态估计模型获取与所述脸部图像对应的第一头部姿态数据；根据所述第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域。在本发明提供的方案中，无需驾驶员佩戴眼动仪，仅根据驾驶员的脸部图像即可确定驾驶员的注视区域，有效提升了用户体验且降低了成本。

Description

驾驶员的注视区域识别及分心检测方法
技术领域
本发明涉及汽车技术领域，特别是涉及一种驾驶员的注视区域识别及分心检测方法。
背景技术
驾驶员在驾驶过程中注视不同区域以及注视时长可以反映驾驶员的驾驶行为。通过对驾驶员的注视区域的识别，可以进一步判断驾驶员的状态。
驾驶员在注视某个点的时候，一般是通过头部转向去完成的。所以头部姿态近似等于驾驶员的注视方向。目前，精准的头部姿态获取方法是通过眼动仪，但是眼动仪不仅会对驾驶员造成干扰，影响驾驶员正常的驾驶，而且眼动仪价格非常贵，商用部署成本非常高。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种驾驶员的注视区域识别及分心检测方法。
根据本发明的一个方面，提供了一种驾驶员的注视区域识别方法，该方法包括：
采集驾驶员的脸部图像；
将所述脸部图像输入到已训练的头部姿态估计模型，通过所述头部姿态估计模型获取与所述脸部图像对应的第一头部姿态数据；
根据所述第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域。
可选地，所述头部姿态估计模型通过以下方式训练获得：
采集驾驶员不同时刻的样本脸部图像；
采集与所述样本脸部图像对应的样本头部姿态数据；
将所述样本脸部图像和相对应的所述样本头部姿态数据输入到神经网络中进行训练，得到所述头部姿态估计模型。
可选地，所述方法还包括：
采集所述样本头部姿态数据中的头部俯仰角；
采集所述样本头部姿态数据中的头部偏转角；
将所述样本脸部图像以及对应的所述头部俯仰角输入到所述神经网络中进行训练，得到第一头部姿态估计模型；
将所述样本脸部图像以及对应的所述头部偏转角输入到所述神经网络中进行训练，得到第二头部姿态估计模型。
可选地，所述方法还包括：
采集所述样本头部姿态数据中的头部俯仰角；
采集所述样本头部姿态数据中的头部偏转角；
将所述样本脸部图像以及对应的所述头部俯仰角、所述头部偏转角输入到所述神经网络中进行训练，得到第三头部姿态估计模型。
可选地，所述根据所述第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域，包括：
建立头部姿态分布图像坐标系；
在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，其中，所述注视区域封闭曲线为头部姿态与注视区域映射关系；
将所述第一头部姿态数据映射为头部姿态分布图像坐标系中的坐标点；
根据所述注视区域封闭曲线以及所述坐标点确定驾驶员的注视区域。
可选地，在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，包括：
获取驾驶员注视各个注视区域时的所有第二头部姿态数据；
根据所述所有第二头部姿态数据在头部姿态分布图像坐标系中构造头部姿态分布图像；其中，所述头部姿态分布图像中的任一像素点为一组所述第二头部姿态数据，任一像素点的灰度值与所述像素点对应的该组第二头部姿态数据的数量与所述所有第二头部姿态数据的数量的比值正相关；
利用图像分割算法在所述头部姿态分布图像中分割出各注视区域对应的注视区域封闭曲线获得头部姿态与注视区域的映射关系。
可选地，获取驾驶员注视各个注视区域时的所有第二头部姿态数据包括：
采集驾驶员注视任一注视区域时的多帧脸部图像；
将所述多帧脸部图像输入到所述头部姿态估计模型中，通过所述头部姿态估计模型获取所述多帧脸部图像对应的多组第二头部姿态数据；
遍历所有注视区域，获取各个注视区域对应的所有第二头部姿态数据。
根据本发明的另一个方面，还提供了一种驾驶员的分心检测方法，其包括：
根据上述任一项所述的驾驶员注视区域识别方法确定驾驶员的注视区域；
判断所述注视区域是否为分心区域；
若是，则判断驾驶员处于分心状态。
根据本发明的又一个方面，还提供了一种计算机可存储介质，其中，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任意一项所述的驾驶员的注视区域识别方法。
根据本发明的再一个方面，还提供了一种计算机可存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述所述的驾驶员的分心检测方法。
在本发明提供的驾驶员的注视区域识别方法中，将采集到的驾驶员的脸部图像输入到已训练的头部姿态估计模型可获得对应的头部姿态数据，之后根据头部姿态数据以及头部姿态与注视区域映射关系可确定驾驶员的注视区域。整个过程中无需驾驶员佩戴眼动仪，仅根据驾驶员的脸部图像即可确定驾驶员的注视区域，有效提升了用户体验且降低了成本。
进一步地，在本发明提供的驾驶员的分心检测方法中，若判断注视区域为分心区域，则判断驾驶员处于分心状态。从而可以提醒驾驶员注意行驶，有效保障了人身安全和车辆安全。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例的驾驶员的注视区域识别方法的流程示意图；
图2示出了根据本发明实施例的驾驶员的注视区域识别方法中的驾驶员的头部姿态示意图；
图3示出了根据本发明实施例的驾驶员的注视区域识别方法中的LeNet-5卷积神经网络模型的结构示意图；
图4示出了根据本发明实施例在车内划分的注视区域图；
图5示出了根据本发明实施例的驾驶员的注视区域识别装置的结构框图；
图6示出了根据本发明一优选实施例的驾驶员的注视区域识别装置的结构框图；
图7示出了根据本发明实施例的驾驶员的分心检测方法的流程示意图；
图8示出了根据本发明实施例的驾驶员的分心检测装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，在不冲突的前提下本发明实施例及可选实施例中的技术特征可以相互结合。
本发明实施例提出了一种驾驶员的注视区域识别方法，图1示出了根据本发明实施例的驾驶员的注视区域识别方法的流程示意图。如图1所示，该方法包括如下步骤：
S102：采集驾驶员的脸部图像；
S104：将脸部图像输入到已训练的头部姿态估计模型，通过头部姿态估计模型获取与脸部图像对应的第一头部姿态数据；
S106：根据第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域。
图2示出了根据本发明实施例的驾驶员的注视区域识别方法中的驾驶员的头部姿态示意图。如图2所示，一组第一头部姿态数据包括头部姿态的头部俯仰角值以及头部姿态的头部偏转角值。一般来说，头部姿态包括头部姿态pitch值、头部姿态yaw值及头部姿态Roll值。其中，头部姿态yaw值表示绕y轴旋转头部的角度，即头部偏转角，头部姿态pitch值表示绕x轴旋转头部的角度，即头部俯仰角，头部姿态roll值表示头部绕z轴旋转的角度，即头部翻滚角。
在本发明的实施例中，采集驾驶员的脸部图像是指获取通过摄像头等光学设备拍摄的图像，已训练的头部姿态估计模型可以根据脸部图像得到对应的头部姿态，因此，将采集到的驾驶员的脸部图像输入到已训练的头部姿态估计模型可获得对应的第一头部姿态数据。
在本发明的实施例中，每一组头部姿态具有一与之对应的注视区域，即头部姿态与注视区域具有映射关系，因此，根据第一头部姿态数据以及头部姿态与注视区域映射关系可确定驾驶员的注视区域。整个过程中无需驾驶员佩戴眼动仪，仅根据驾驶员的脸部图像即可确定驾驶员的注视区域，有效提升了用户体验且降低了成本。
在本发明的实施例中，上文步骤S104中提及的头部姿态估计模型具体可以通过以下方式获得：采集驾驶员不同时刻的样本脸部图像和各时刻与样本脸部图像对应的驾驶员的样本头部姿态数据，将相对应的样本脸部图像和样本头部姿态数据输入到神经网络中进行训练，从而得到已训练的基于脸部图像确定头部姿态数据的头部姿态估计模型。
具体地，在训练头部姿态估计模型阶段，可以将多个红外摄像头部署在车舱内的不同角落以获取驾驶员在不同时刻的样本脸部图像，与此同时，驾驶员会佩戴眼动仪以采集不同时刻的与样本脸部图像对应的头部姿态作为样本头部姿态数据。在另一实施方式中，还可以通过陀螺仪获得驾驶员的头部姿态。
在本发明的实施例中，在采集到样本脸部图像和样本头部姿态数据后，具体可以是将样本脸部图像和样本头部姿态数据作为训练集输入LeNet-5卷积神经网络模型中进行训练。图3示出了根据本发明实施例的驾驶员的注视区域识别方法中的LeNet-5卷积神经网络模型的结构示意图。如图3所示，LeNet-5卷积神经网络模型可以包括：输入层(Input，layer)、卷积层(Convolutions1，layer)、池化层(Sub-sampling，layer)、全连接层(FullyConnected MLP)、输出层(Output，layer)。
为了使模型中需要训练的参数在更少的训练次数下可以获得目标值，可以采用Adagrad算法加速训练模型中的参数，公式具体为：
Figure BDA0002466063600000051
其中，Wt表示模型中要训练的参数；t表示迭代次数；ε一般表示一个极小值，以防止分母为0；Gt表示t次迭代时图像的灰度；gt表示t次迭代时的头部俯仰角值或头部偏转角值；α为学习率。
采用Adagrad算法可以在较少的训练次数下，训练出模型中的全部参数。将驾驶员的脸部图像输入到已训练的模型中，模型根据脸部图像的灰度值可以快速确定与之对应的头部姿态数据。
此外，为了防止模型训练过程中模型过拟合，在参数训练过程中的每一步都使用dropout方法按照一定的概率将一些参数暂时从模型中丢弃，但是在模型训练好之后，会保留全部的参数进行预测。
在本发明的一个优选实施例中，可以采用神经网络同时针对与样本脸部图像对应的样本头部姿态的头部俯仰角值和头部偏转角值训练得到基于脸部图像同时得到头部姿态的头部俯仰角值和头部偏转角值的第三头部姿态估计模型，即当将脸部图像输入到第三头部姿态估计模型时可以同时得到头部姿态的头部俯仰角值和头部偏转角值。驾驶员无需佩戴眼动仪，提升了驾驶员体验的同时且降低了成本。
在本发明的另一个优选实施例中，可以采用神经网络分别针对样本脸部图像对应的样本头部姿态的头部俯仰角值和头部偏转角值进行训练，得到基于头部姿态的头部俯仰角值的第一头部姿态估计模型和基于头部姿态的头部偏转角值的第二头部姿态估计模型，即将脸部图像输入到第一头部姿态估计模型可以得到头部俯仰角值，将脸部图像输入到第二头部姿态估计模型可以得到头部偏转角值。相比同时训练，分开训练的优势在于，当获取到的头部姿态的头部俯仰角值或头部偏转角值不准时，可以只对该数值对应的模型优化，不会影响到另一个模型。
在本发明的实施中，上文提及的步骤S106具体可以包括如下子步骤：
S1：建立头部姿态分布图像坐标系；
S2：在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，其中，注视区域封闭曲线为头部姿态与注视区域映射关系；
S3：将第一头部姿态数据映射为头部姿态分布图像坐标系中的坐标点；
S4：根据注视区域封闭曲线以及坐标点确定驾驶员的注视区域。
其中，注视区域可以由人为预先划分，图4示出了根据本发明实施例在车内划分的注视区域图。如图4所示，一般注视区域可以包括：1、前方玻璃左上角；2、前方玻璃右上角；3、前方玻璃左下角；4、前方玻璃右下角；5、前方玻璃中间正上方；6、主驾驶正前方中间位置；7、主驾驶正前方下方位置；8：副驾驶正前方中间位置；9、前方玻璃正中间位置；10、前方玻璃中间位置左下方；11、左后视镜；12、右后视镜；13、左车窗玻璃中间位置；14、右车窗玻璃中间位置；15、仪表盘；16、车机位置；17、副驾驶储物柜；18、左侧车门门把手位置；19、右侧车门门把手位置；20、主驾驶位置下方；21、副驾驶位置下方。
需要说明地是，上述举出的注视区域仅是示例，在实际应用过程中可以以实际需要划分。
在本发明的实施例中，步骤S1提到的头部姿态分布图像坐标系具体可以是以头部左右方向为横轴即以头部偏转角值为横轴，头部上下方向为纵轴即以头部俯仰角值为纵轴构建的头部姿态分布图像坐标系。在另一实施例中，以头部左右方向为纵轴即以头部偏转角值为纵轴，头部上下方向为横轴即以头部俯仰角值为横轴构建的头部姿态分布图像坐标系。
在建立头部姿态图像坐标系后，针对步骤S2中提及的在头部姿态分布图像坐标系中计算各个注视区域封闭曲线。在本发明的实施例中，首先获取驾驶员注视各个区域时的第二头部姿态数据。具体地，针对任一注视区域，使驾驶员用不同的头部姿态注视以得到注视区域对应的驾驶员的多帧脸部图像，之后将多帧脸部图像输入到头部姿态估计模型中以获取任一注视区域对应的多组第二头部姿态数据。最后遍历所有的注视区域，获取到全部注视区域对应的全部第二头部姿态数据。每组第二头部姿态数据包括头部姿态的头部俯仰角值和头部偏转角值。
其中，利用头部姿态估计模型计算驾驶员注视注视区域时的第二头部姿态数据，从而可以在驾驶员驾驶过程中插入测试任务，使得驾驶员注视注视区域时的第二头部姿态与驾驶过程中的习惯更加符合。
在本实施例中，在获取到各个注视区域的全部第二姿态数据后，将全部的第二头部姿态数据映射到头部姿态分布图像的坐标系中构造头部姿态分布图像，头部姿态分布图像中的每一像素点为一组头部姿态数据，任一像素点的灰度值与像素点对应的该组第二头部姿态数据的数量与所有第二头部姿态数据的数量的比值正相关。在一具体实施例中，任一像素点的灰度值与像素点对应的该组第二头部姿态数据的数量与所有第二头部姿态数据的数量的比值呈正比例关系，即计算出像素点对应的该组第二头部姿态数据的数量与所有第二头部姿态数据的数量的比值后，将该比值转换到灰度值范围内，例如灰度值范围在0～255之间，则将该比值乘以255得到对应的灰度值。之后利用图像分割算法在头部姿态分布图像中分割出各注视区域对应的注视区域封闭曲线获得头部姿态与注视区域的映射关系。
其中，图像分割算法优选测地活动轮廓模型，具体地，
Figure BDA0002466063600000081
其中，p∈(0、1)，p表示以傅里叶变换描述边界的自变量；E[c(p)]表示注视区域封闭曲线c(p)的能量泛函；
Figure BDA0002466063600000082
表示注视区域封闭曲线的弧长；
Figure BDA0002466063600000083
表示注视区域封闭曲线的边缘探测函数；I表示头部姿态图像；
Figure BDA0002466063600000084
表示头部姿态图像的灰度梯度；λ是平衡公式中第一项和第二项的参数；β是边缘探测函数的参数。
通过最小化能量泛函E[c(p)]即可获得任一注视区域对应的注视区域封闭曲线。
在获得各注视区域对应的注视区域封闭曲线后，可以将第一头部姿态数据映射为头部姿态分布图像坐标系中的坐标点，进而在头部姿态分布图像坐标系中确定出将该坐标点包含在内的注视区域封闭曲线对应的注视区域作为驾驶员的注视区域。
基于同一发明构思，本发明还提出了一种驾驶员的注视区域识别装置。图5示出了根据本发明实施例的驾驶员的注视区域识别装置的结构框图。如图5所示，该装置200包括：
采集模块210，用于采集驾驶员的脸部图像；
获取模块220，用于将脸部图像输入到已训练的头部姿态估计模型，通过头部姿态估计模型获取与脸部图像对应的第一头部姿态数据；
第一确定模块230，用于根据第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域。
在本发明的实施例中，获取模块220将采集模块210采集到的驾驶员的脸部图像输入到已训练的头部姿态估计模型可获得对应的头部姿态数据，之后第一确定模块230根据头部姿态数据以及头部姿态与注视区域映射关系可确定驾驶员的注视区域。整个过程中无需驾驶员佩戴眼动仪，仅根据驾驶员的脸部图像即可确定驾驶员的注视区域，有效提升了用户体验且降低了成本。
在本发明的实施例中，上文提及的头部姿态估计模型可以通过如下方式获得：采集驾驶员不同时刻的样本脸部图像并采集与样本脸部图像对应的样本头部姿态数据，将样本脸部图像和相对应的样本头部姿态数据输入到神经网络中进行训练，得到头部姿态估计模型。
具体地，优选将样本脸部图像和相对应的样本头部姿态数据输入到LeNet-5卷积神经网络模型中，并采用AdaGrad算法加速训练LeNet-5卷积神经网络模型中的参数。
采用AdaGrad算法可以在较少的训练次数下训练出模型中的全部参数。将驾驶员的脸部图像输入到已训练的模型中，模型根据脸部图像的灰度值可以快速确定与之对应的头部姿态数据。
在本发明一优选实施例中，采用神经网络可以同时针对与样本脸部图像对应的样本头部姿态的头部俯仰角值和头部偏转角值训练得到基于脸部图像同时得到头部姿态的头部俯仰角值和头部偏转角值的第三头部姿态估计模型，即当将脸部图像输入到第三头部姿态估计模型时可以同时得到头部姿态的头部俯仰角值和头部偏转角值。驾驶员无需佩戴眼动仪，提升了驾驶员体验的同时且降低了成本。
在本发明另一优选实施例中，采用神经网络可以分别针对样本脸部图像对应的样本头部姿态的头部俯仰角值和头部偏转角值进行训练，得到基于头部姿态的头部俯仰角值的第一头部姿态估计模型和基于头部姿态的头部偏转角值的第二头部姿态估计模型，即将脸部图像输入到第一头部姿态估计模型可以得到头部俯仰角值，将脸部图像输入到第二头部姿态估计模型可以得到头部偏转角值。相比同时训练，分开训练的优势在于，当获取到的头部姿态的头部俯仰角值或头部偏转角值不准时，可以只对该数值对应的模型优化，不会影响到另一个模型。
图6示出了根据本发明一优选实施例的驾驶员的注视区域识别装置的结构框图。如图6所示，第一确定模块230可以包括：
建立单元231，用于建立头部姿态分布图像坐标系；
计算单元232，用于在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，其中，注视区域封闭曲线为头部姿态与注视区域映射关系；
映射单元233，用于将第一头部姿态数据映射为头部姿态分布图像坐标系中的坐标点；
确定单元234，根据注视区域封闭曲线以及坐标点确定驾驶员的注视区域。
在本发明的实施例中，上述计算单元还可以用于：获取驾驶员注视各个注视区域时的所有第二头部姿态数据，根据第二头部姿态数据在头部姿态分布图像坐标系中构造头部姿态分布图像；其中，头部姿态分布图像中的任一像素点为一组第二头部姿态数据，任一像素点的灰度值与像素点对应的该组第二头部姿态数据的数量与所有第二头部姿态数据的数量的比值正相关。在一具体实施例中，任一像素点的灰度值与像素点对应的该组第二头部姿态数据的数量与所有第二头部姿态数据的数量的比值呈正比例关系，即计算出像素点对应的该组第二头部姿态数据的数量与所有第二头部姿态数据的数量的比值后，将该比值转换到灰度值范围内，例如灰度值范围在0～255之间，则将该比值乘以255得到对应的灰度值。之后利用图像分割算法在头部姿态分布图像中分割出各注视区域对应的注视区域封闭曲线获得头部姿态与注视区域的映射关系。
其中，计算单元232获取驾驶员注视各个注视区域时的第二头部姿态数据具体可以通过如下方式，采集驾驶员注视任一注视区域时的多帧脸部图像，将多帧脸部图像输入到头部姿态估计模型中，通过头部姿态估计模型获取多帧脸部图像对应的多组第二头部姿态数据，遍历所有注视区域，获取各个注视区域对应的所有第二头部姿态数据。
在本发明的实施例中，利用头部姿态估计模型计算驾驶员注视注视区域时的头部姿态数据，从而可以在驾驶员驾驶过程中插入测试任务，使得驾驶员注视注视区域时的头部姿态与驾驶过程中的习惯更加符合。
在本发明的实施例中，图像分割算法优选为测地活动轮廓模型，具体地，
Figure BDA0002466063600000101
其中，E[c(p)]表示注视区域封闭曲线c(p)的能量泛函；p∈(0、1)，p表示以傅里叶变换描述边界的自变量；
Figure BDA0002466063600000102
表示注视区域封闭曲线的弧长；
Figure BDA0002466063600000103
表示注视区域封闭曲线的边缘探测函数；I表示头部姿态分布图像；
Figure BDA0002466063600000104
表示头部姿态分布图像的灰度梯度；λ是平衡公式中第一项和第二项的参数；β是边缘探测函数的参数。
通过最小化能量泛函E[c(p)]即可获得任一注视区域对应的注视区域封闭曲线。
根据本发明的驾驶员的注视区域识别方法，本发明还提出一种驾驶员的分心检测方法，图7示出了根据本发明实施例的驾驶员的分心检测方法的流程示意图。如图7所示，该方法包括如下步骤：
步骤S302：根据驾驶员注视区域识别方法确定驾驶员的注视区域；
步骤S304：判断注视区域是否为分心区域；若是，则判断驾驶员处于分心状态。
在本实施例中，利用上文提及的驾驶员的注视区域识别方法确定驾驶员的注视区域后，可以判断确定出的注视区域是否属于预先设置的分心区域，若判断注视区域为分心区域则判断驾驶员处于分心状态，从而可以通过报警音、提示音等方式提醒驾驶员注意安全。
在本发明一实施例中，分心区域可预先设置，例如设置如图4中副驾驶正前方中间位置、副驾驶储物柜、主驾驶正前方下方位置、右侧车门门把手位置、副驾驶位置下方、车机位置、左侧车门门把手位置等注视区域为分心区域，其他注视区域不属于分心区域。
在本发明一具体实施例中，可以根据驾驶员的驾驶行为确定分心区域。驾驶行为可以为前进、倒退、左转、右转等。例如驾驶行为为前进时，车机位置则为分心区域；驾驶行为为倒退时，车机位置由于有倒车影像，则不属于分心区域。
基于同一发明构思，本发明还提出了一种驾驶员的分心检测装置400，图8示出了根据本发明实施例的驾驶员的分心检测装置的结构框图。如图8所示，分心检测装置400包括：
第二确定模块410，用于根据上述任一实施例所述的驾驶员注视区域识别方法确定驾驶员的注视区域；
判断模块420，用于判断注视区域是否为分心区域；若是，则判断驾驶员处于分心状态。
基于本发明实施例的驾驶员的分心检测装置，在根据驾驶员的注视区域属于分心区域时判断驾驶员处于分心状态，从而可以通过报警音、提示音等方式提醒驾驶员注意安全，保障了人身安全和车辆安全。
在本发明一实施例中，分心区域可预先设置，例如设置如图4中副驾驶正前方中间位置、副驾驶储物柜、主驾驶正前方下方位置、右侧车门门把手位置、副驾驶位置下方、车机位置、左侧车门门把手位置等注视区域为分心区域，其他注视区域不属于分心区域。
在本发明一具体实施例中，可以根据驾驶员的驾驶行为确定分心区域。驾驶行为可以为前进、倒退、左转、右转等。例如驾驶行为为前进时，车机位置则为分心区域；驾驶行为为倒退时，车机位置由于有倒车影像，则不属于分心区域。
依据本发明的另一方面，本发明还提供一种计算机可存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任意实施例所述的驾驶员的注视区域识别方法。
依据本发明的又一方面，本发明还提供一种计算机可存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任意实施例所述的驾驶员的分心检测方法。
本发明提供了一种驾驶员的注视区域识别及分心检测方法，在本发明提供的注视区域识别方法中，将采集到的驾驶员的脸部图像输入到已训练的头部姿态估计模型可获得对应的头部姿态数据，之后根据头部姿态数据以及头部姿态与注视区域映射关系可确定驾驶员的注视区域。整个过程中无需驾驶员佩戴眼动仪，仅根据驾驶员的脸部图像即可确定驾驶员的注视区域，有效提升了用户体验且降低了成本。
进一步地，根据上述注视区域识别方法，还可以获得驾驶员在车辆行驶过程中，注视任一注视区域的时长，找出驾驶员在驾驶车辆时所感兴趣的注视区域，据此可以进一步研究驾驶员的心理动态甚至生理功能的情况。
在本发明提供的驾驶员的分心检测方法中，在根据驾驶员的注视区域属于分心区域时判断驾驶员处于分心状态，从而可以通过报警音、提示音等方式提醒驾驶员注意安全，保障了人身安全和车辆安全。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (8)

1.一种驾驶员的注视区域识别方法，其特征在于，包括：
采集驾驶员的脸部图像；
将所述脸部图像输入到已训练的头部姿态估计模型，通过所述头部姿态估计模型获取与所述脸部图像对应的第一头部姿态数据；
根据所述第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域；
其中，所述头部姿态估计模型基于对驾驶员不同时刻的样本脸部图像和与样本脸部图像对应的样本头部姿态数据训练获得，所述样本头部姿态数据包括头部俯仰角和头部偏转角；
其中，所述根据所述第一头部姿态数据以及头部姿态与注视区域映射关系确定驾驶员的注视区域，包括：
建立头部姿态分布图像坐标系；
在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，其中，所述注视区域封闭曲线为头部姿态与注视区域映射关系；
将与所述脸部图像对应的所述第一头部姿态数据映射为头部姿态分布图像坐标系中的坐标点；
确定将该坐标点包含在内的注视区域封闭曲线对应的注视区域为所述驾驶员的注视区域；
其中，在头部姿态分布图像坐标系中计算各个注视区域封闭曲线，包括：
获取驾驶员注视各个注视区域时的所有第二头部姿态数据；
根据所述所有第二头部姿态数据在头部姿态分布图像坐标系中构造头部姿态分布图像；其中，所述头部姿态分布图像中的任一像素点为一组所述第二头部姿态数据，任一像素点的灰度值与所述像素点对应的该组第二头部姿态数据的数量与所述所有第二头部姿态数据的数量的比值正相关；
利用图像分割算法在所述第二头部姿态分布图像中分割出各注视区域对应的注视区域封闭曲线获得头部姿态与注视区域的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述头部姿态估计模型通过以下方式训练获得：
采集驾驶员不同时刻的样本脸部图像；
采集与所述样本脸部图像对应的样本头部姿态数据；
将所述样本脸部图像和相对应的所述样本头部姿态数据输入到神经网络中进行训练，得到所述头部姿态估计模型。
3.根据权利要求2所述的方法，其特征在于，包括：
采集所述样本头部姿态数据中的头部俯仰角；
采集所述样本头部姿态数据中的头部偏转角；
将所述样本脸部图像以及对应的所述头部俯仰角输入到所述神经网络中进行训练，得到第一头部姿态估计模型；
将所述样本脸部图像以及对应的所述头部偏转角输入到所述神经网络中进行训练，得到第二头部姿态估计模型。
4.根据权利要求2所述的方法，其特征在于，包括：
采集所述样本头部姿态数据中的头部俯仰角；
采集所述样本头部姿态数据中的头部偏转角；
将所述样本脸部图像以及对应的所述头部俯仰角、所述头部偏转角输入到所述神经网络中进行训练，得到第三头部姿态估计模型。
5.根据权利要求1所述的方法，其特征在于，获取驾驶员注视各个注视区域时的所有第二头部姿态数据包括：
采集驾驶员注视任一注视区域时的多帧脸部图像；
将所述多帧脸部图像输入到所述头部姿态估计模型中，通过所述头部姿态估计模型获取所述多帧脸部图像对应的多组第二头部姿态数据；
遍历所有注视区域，获取各个注视区域对应的所有第二头部姿态数据。
6.一种驾驶员的分心检测方法，其特征在于，包括：
根据权利要求1-5任一项所述的驾驶员注视区域识别方法确定驾驶员的注视区域；
判断所述注视区域是否为分心区域；
若是，则判断驾驶员处于分心状态。
7.一种计算机可存储介质，其中，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1-5任意一项所述的驾驶员的注视区域识别方法。
8.一种计算机可存储介质，其中，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求6所述的驾驶员的分心检测方法。
CN202010334363.4A 2020-04-24 2020-04-24 驾驶员的注视区域识别及分心检测方法 Active CN111539333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010334363.4A CN111539333B (zh) 2020-04-24 2020-04-24 驾驶员的注视区域识别及分心检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010334363.4A CN111539333B (zh) 2020-04-24 2020-04-24 驾驶员的注视区域识别及分心检测方法

Publications (2)

Publication Number Publication Date
CN111539333A CN111539333A (zh) 2020-08-14
CN111539333B true CN111539333B (zh) 2021-06-29

Family

ID=71977217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010334363.4A Active CN111539333B (zh) 2020-04-24 2020-04-24 驾驶员的注视区域识别及分心检测方法

Country Status (1)

Country Link
CN (1) CN111539333B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489425A (zh) * 2020-11-25 2021-03-12 平安科技（深圳）有限公司 车辆防撞预警方法、装置、车载终端设备和存储介质
CN113128417B (zh) * 2021-04-23 2023-04-07 南开大学 一种基于头部姿态的双区域眼动跟踪方法
CN113239861B (zh) * 2021-05-28 2024-05-28 多伦科技股份有限公司 驾驶员头部动作的确定方法、存储介质、电子装置
CN113361441B (zh) * 2021-06-18 2022-09-06 山东大学 基于头部姿态和空间注意力的视线区域估计方法及系统
CN113298041B (zh) * 2021-06-21 2024-07-02 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
CN114296375A (zh) * 2021-12-21 2022-04-08 徐州重型机械有限公司 一种车载显示装置自动控制方法、控制系统及工程车辆
CN116597425B (zh) * 2023-05-24 2024-04-05 无锡车联天下信息技术有限公司 一种驾驶员的样本标签数据的确定方法、装置及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
CN107323338A (zh) * 2017-07-03 2017-11-07 北京汽车研究总院有限公司 车用转向灯控制系统、控制方法及车辆
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN109034137A (zh) * 2018-09-07 2018-12-18 百度在线网络技术（北京）有限公司 头部姿态标记更新方法、装置、存储介质和终端设备
CN109583338A (zh) * 2018-11-19 2019-04-05 山东派蒙机电技术有限公司 基于深度融合神经网络的驾驶员视觉分散检测方法
CN109934926A (zh) * 2019-02-26 2019-06-25 深圳市云之梦科技有限公司 模型数据处理方法、装置、可读存储介质和设备
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN110688930A (zh) * 2019-09-20 2020-01-14 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质
WO2020058006A1 (de) * 2018-09-19 2020-03-26 Robert Bosch Gmbh Verfahren zum klassifizieren einer fahraufgabenfremden aktivität eines fahrers hinsichtlich einer unterbrechbarkeit der fahraufgabenfremden aktivität bei einer übernahmeaufforderung der fahraufgabe und verfahren zur wiederfreigabe einer fahraufgabenfremden aktivität nach einer unterbrechung der fahraufgabenfremden aktivität aufgrund einer übernahmeaufforderung der fahraufgabe
WO2020078464A1 (zh) * 2018-10-19 2020-04-23 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899340B2 (ja) * 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US9874996B2 (en) * 2014-08-21 2018-01-23 Lonnie Holmes Big face icons

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
CN107323338A (zh) * 2017-07-03 2017-11-07 北京汽车研究总院有限公司 车用转向灯控制系统、控制方法及车辆
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN109034137A (zh) * 2018-09-07 2018-12-18 百度在线网络技术（北京）有限公司 头部姿态标记更新方法、装置、存储介质和终端设备
WO2020058006A1 (de) * 2018-09-19 2020-03-26 Robert Bosch Gmbh Verfahren zum klassifizieren einer fahraufgabenfremden aktivität eines fahrers hinsichtlich einer unterbrechbarkeit der fahraufgabenfremden aktivität bei einer übernahmeaufforderung der fahraufgabe und verfahren zur wiederfreigabe einer fahraufgabenfremden aktivität nach einer unterbrechung der fahraufgabenfremden aktivität aufgrund einer übernahmeaufforderung der fahraufgabe
WO2020078464A1 (zh) * 2018-10-19 2020-04-23 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN109583338A (zh) * 2018-11-19 2019-04-05 山东派蒙机电技术有限公司 基于深度融合神经网络的驾驶员视觉分散检测方法
CN109934926A (zh) * 2019-02-26 2019-06-25 深圳市云之梦科技有限公司 模型数据处理方法、装置、可读存储介质和设备
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN110688930A (zh) * 2019-09-20 2020-01-14 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Identification and Analysis of Driver Postures for In-Vehicle Driving Activities and Secondary Tasks Recognition;Yang Xing等;《IEEE TRANSACTIONS ON COMPUTATIONAL SOCIAL SYSTEMS》;20180331;第95-108页 *
基于单目视觉的疲劳驾驶检测方法研究;毛须伟;《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》;20170315;第C035-292页 *

Also Published As

Publication number Publication date
CN111539333A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539333B (zh) 驾驶员的注视区域识别及分心检测方法
EP3539054B1 (en) Neural network image processing apparatus
US9405982B2 (en) Driver gaze detection system
CN104573623B (zh) 人脸检测装置、方法
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
US10068143B2 (en) Method for calibrating a camera for a gaze direction detection in a vehicle, device for a motor vehicle having a camera and at least one further element, and computer program product
US11455810B2 (en) Driver attention state estimation
US20160224852A1 (en) Vehicle operator monitoring system and method
EP3893090A1 (en) Method for eye gaze tracking
EP3440592B1 (en) Method and system of distinguishing between a glance event and an eye closure event
JP6814977B2 (ja) 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム
CN116189153A (zh) 驾驶员的视线识别方法及装置、车辆和存储介质
CN116194342A (zh) 用于分析车辆内部的计算机实现的方法
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
Badgujar et al. Driver gaze tracking and eyes off the road detection
CN114103961B (zh) 面部信息获取装置以及面部信息获取方法
US20240063687A1 (en) Abnormal physical condition determination system, abnormal physical condition determination method, and computer program
CN116486386A (zh) 一种视线分心范围确定方法和装置
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP4676375B2 (ja) 車両運転者の視線方向の検出方法又は同装置
Wang et al. Enhancing YOLOv7-Based Fatigue Driving Detection through the Integration of Coordinate Attention Mechanism
JP2005071041A (ja) 運転者視対象検出装置及び運転者視対象検出システム
JP6770488B2 (ja) 注視対象物推定装置、注視対象物推定方法、およびプログラム
CN116597425B (zh) 一种驾驶员的样本标签数据的确定方法、装置及电子设备
CN115035499A (zh) 用于确定注视区域的方法、车辆控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220323

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: No.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right