CN110781718A - 一种驾驶室红外视觉系统及驾驶员注意力分析方法 - Google Patents

一种驾驶室红外视觉系统及驾驶员注意力分析方法 Download PDF

Info

Publication number
CN110781718A
CN110781718A CN201910802102.8A CN201910802102A CN110781718A CN 110781718 A CN110781718 A CN 110781718A CN 201910802102 A CN201910802102 A CN 201910802102A CN 110781718 A CN110781718 A CN 110781718A
Authority
CN
China
Prior art keywords
face
loss function
eyeball
orientation
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910802102.8A
Other languages
English (en)
Other versions
CN110781718B (zh
Inventor
缪其恒
苏志杰
陈淑君
程婷婷
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN201910802102.8A priority Critical patent/CN110781718B/zh
Publication of CN110781718A publication Critical patent/CN110781718A/zh
Application granted granted Critical
Publication of CN110781718B publication Critical patent/CN110781718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种驾驶室红外视觉系统及驾驶员注意力分析方法，包括驾驶室红外视觉系统，所述驾驶室红外视觉系统包括壳体、摄像头、微处理器以及红外补光灯，所述摄像头灯嵌套在壳体侧面，所述红外补光灯安装在摄像头的四周，所述微处理器设置在壳体内，所述微处理器集成有：图像预处理模块、面部关键点检测模块、眼球关键点检测模块、面部朝向回归模块、眼球朝向回归模块以及时序行为分类模块；该技术方案利用基于红外补光的驾驶室视觉输入，通过深度卷积神经网络对驾驶员面部以及眼球特征进行分析，并通过递归神经网络对时序驾驶员目光注意范围进行分类，实现全面驾驶员注意力以及意图分析。

Description

一种驾驶室红外视觉系统及驾驶员注意力分析方法
技术领域
本发明涉及驾驶员行为辅助系统领域，具体的，涉及一种驾驶室红外视觉系统及驾驶员注意力分析方法。
背景技术
据道路交通事故数据统计，有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而，此类人为事故中大部分是由于驾驶疲劳或注意力分散造成的，现有乘用车以及商用车的主动安全系统很少有涉及驾驶员行为分析与提醒的功能。
对于L2-L3级自动驾驶系统而言，需要驾驶员对车辆进行不同层级的监管，因而要求系统能够实时感知驾驶员的注意力范围，现有系统通过方向盘驾驶力矩信号分析驾驶员对车辆的监控状态，此类系统仅能判断驾驶员手部是否脱离方向盘，而无法识别驾驶员注意力(如是否观察车辆前方场景等)是否能够应对相应等级自动驾驶系统的功能需求。
对于商业运输车辆而言，长时间以及长途驾驶使上述危险驾驶情况的发生概率更高，现有大部分商用营运车辆不具备功能完善的驾驶员行为监测系统，部分具备车载录像以及操作记录功能，不具备疲劳或危险驾驶行为预警系统，因而无法有效保障长途驾驶的行车安全。近年来市场中出现的部分驾驶疲劳预警系统，或通过驾驶操纵信号(方向盘转角以及油门、制动踏板信号)，或通过驾驶员眼部开闭程度进行疲劳驾驶行为判断，此类系统仅能对部分疲劳驾驶行为进行识别，然而无法判断驾驶员目光注意力范围以及驾驶意图。
现有驾驶员监测与分析系统大部分基于车辆动力学状态(横摆角速度、加速度等)，车辆操作信号(方向盘、油门、制动踏板等)以及驾驶员面部特征状态(眼睛开度等)对驾驶员疲劳以及不专注等驾驶行为进行识别、告警并上传相应驾驶行为视频片段，部分驾驶员行为分析系统利用驾驶员面部朝向近似驾驶员注意力方向，并以之分析分析低头、左顾右盼等不专注驾驶行为。部分驾驶员行为分析系统利用场景驾驶员ROI区域的图像特征描述，并用神经网络或支持向量机等方法对预定义不良驾驶行为进行分类(如接打电话、吸烟、吃东西等)。上述已有系统仅具备部分疲劳以及不专注驾驶行为的识别能力，无法对驾驶员注意力类别以及驾驶操作意图进行分辨。
发明内容
本发明的目的是解决现有驾驶员检测与分析系统无法对驾驶员注意力类别以及驾驶操作意图进行分辨的弊端，提出了一种驾驶室红外视觉系统及驾驶员注意力分析方法，本技术方案利用基于红外补光的驾驶室视觉输入，通过深度卷积神经网络对驾驶员面部以及眼球特征进行分析，并通过递归神经网络对时序驾驶员目光注意范围进行分类，实现全面驾驶员注意力以及意图分析，可应用于辅助驾驶系统驾驶员分神提示以及自动驾驶系统驾驶员注意力监测。
为实现上述技术目的，本发明提供的一种技术方案是，一种驾驶室红外视觉系统，包括壳体、摄像头、微处理器以及红外补光灯，所述摄像头灯嵌套在壳体侧面，所述红外补光灯安装在摄像头的四周，所述微处理器设置在壳体内，所述微处理器集成有：
图像预处理模块：用于摄像头参数的调节以及采集到的图像参数的调节；
面部关键点检测模块：用于进行驾驶员面部关键点检测，输入为Y通道驾驶室图像数据，输出包含眼、鼻、口等部位的预定义面部关键点信息；
眼球关键点检测模块：用于眼球关键点特征提取，输出眼球关键点位置信息；
面部朝向回归模块：用于检测驾驶员的面部朝向角度，建立面部朝向角度分区；
眼球朝向回归模块：用于检测驾驶员眼球朝向角度；
时序行为分类模块：包括时序行为分析模块和长短期记忆模块，将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块，采用长短期记忆模块对驾驶员注意力进行分类。
本方案中，以红外补光驾驶室场景视觉图像作为系统输入，补光灯波长为940nm，水平视场角为54°，垂直视场角为30°，驾驶室红外视觉系统安装于驾驶员座位距离1.5米，水平照射角(镜头与驾驶员面部连线水平平面内投影)左右15°，垂直照射角(镜头与驾驶员面部连线垂直平面内投影)上下15°范围内，默认安装角度水平照射角为0°，垂直照射角为–10，基于驾驶室红外图像输入到面部关键点检测模块，利用面部关键点卷积神经网络(F-NN)进行驾驶员面部关键点检测，输出包含眼、鼻、口等部位的预定义面部关键点信息；基于眼部ROI区域浅层卷积特征输入到眼球关键点检测模块，利用眼球关键点卷积神经网络(P-NN)进行眼球关键点检测，输出包含瞳孔以及眼球等部位的预定义眼球关键点信息；基于人脸ROI区域特征输入到面部朝向回归模块，利用面部朝向卷积神经网络，预测三自由度面部朝向角度，并利用卡尔曼滤波进行面部朝向角后处理；当眼球朝向处于可观测范围内(即按默认安装角度，人脸朝向处于左右旋转30°范围之内)，将上述人脸ROI区域特征旋转变换至与驾驶室相机光轴正交的平面，将数据输入到眼球朝向回归模块，利用眼球朝向卷积神经网络，基于眼球ROI区域特征输入，预测面部平面二自由度眼球朝向角度，并利用卡尔曼滤波进行眼球朝向角后处理；级联上述眼部与面部特征，根据不同应用需求，利用注意力行为分类模块中的递归神经网络模型对时序行为进行分类。
一种基于驾驶室红外视觉系统的驾驶员注意力分析方法，包括如下步骤：
S1、图像预处理；
S2、面部关键点检测；
S3、面部朝向计算；
S4、眼球关键点检测
S5、眼球朝向计算；
S6、注意力行为分类。
所述步骤S1中，图像预处理包括摄像头参数的调节以及图像参数的调节，所述摄像头参数的调节包括有：摄像头快门、光圈及增益的参数自适应调节；所述图像调节包括有：图像ROI截取、Y通道截取以及缩放所需分辨率。
所述步骤S2中，面部关键点检测包括如下步骤：
S21、面部关键点检测网络拓扑；设计基于驾驶室视觉输入的多任务分析神经网络，所述多任务分析神经网络包括有共享特征编码层以及各解码输出分支，所述解码输出分支包括有面部分类分支、面部框回归分支以及面部关键点回归分支；
S22、面部关键点网络离线训练；在光照情况、背景环境以及驾驶室布局变化的情况下，通过摄像头安装位置与角度采集驾驶室场景训练数据，作为所述网络离线训练的训练数据；
S23、人工标注生成训练标签；
S24、求解损失函数Lface；
S25、面部关键点模型后处理以及前向部署；将训练好的模型参数经剪枝与量化后，部署于前端嵌入式平台。
所述损失函数Lface包括分类损失函数Lcls、区域位置回归损失函数Lbbox以及关键点回归损失函数Lkpts，采用下列公式计算表示：
Lface＝k1Lcls+k2Lbbox+k3Lkpts
Figure BDA0002182608260000031
Figure BDA0002182608260000032
Figure BDA0002182608260000033
Lcross-entropy(Y，G)＝GlogY+(1-G)log(1-Y)
Figure BDA0002182608260000041
式中：k1为分类损失函数Lcls的权重系数；k2为区域位置回归损失函数Lbbox的权重系数；k3为关键点回归损失函数Lkpts的权重系数；Bboxi为面部区域坐标；Kptsi为面部关键点坐标；gcls，i为面部分类分支的样本真值标签，gbbox，i为面部框回归分支的样本真值标签，gkpts，i为面部关键点回归分支的样本真值标签。
所述步骤S3中，面部朝向计算包括如下步骤：
S31、面部朝向训练样本生成；利用3D人脸检测模型获取场景下驾驶员面部稠密关键点信息，3D重构红外图像所对应的人脸模型，基于重构红外图像，生成特定朝向角度训练数据集；
S32、面部朝向模型离线训练；利用特定朝向角度训练数据集，采用批量随机梯度下降的方法求优损失函数Lhp；
S33、面部朝向模型后处理以及前向部署：模型输出的面部朝向角，经剪枝与量化后，经低通滤波后送入后续应用层算法。
所述损失函数Lhp包括有区间分类损失函数Lhpc、角度回归损失函数Lhpd以及角度与区间一致性损失函数Lhpe三部分：
Lhp＝k4Lhpc+k5Lhpd+k6Lhpe
Figure BDA0002182608260000042
Figure BDA0002182608260000043
Figure BDA0002182608260000044
Lcross-entropy(Y，G)＝GlogY+(1-G)log(1-Y)
Figure BDA0002182608260000045
其中，k4为区间分类损失函数Lhpc的权重系数；k5为角度回归损失函数Lhpd的权重系数；k6为角度与区间一致性损失函数Lhpe的权重系数；Hpi为面部朝向角度，Hpci为面部朝向分类区间；ghp，i为面部朝向角度真值标签，ghpc，i为面部朝向分类区间真值标签；f(Hpi)为面部朝向区间与面部朝向角的映射关系。
所述步骤S4中，眼球关键点检测包括如下步骤：
S41、眼部特征对齐；
S42、眼球关键点模型离线训练；
S43、求解损失函数Lpupil；损失函数Lpupil包括有包括眼球可见性分类损失函数Lp以及关键点回归损失函数Lk，采用下列公式计算表示：
Lpupil＝k7Lp+k8Lk
Figure BDA0002182608260000051
Figure BDA0002182608260000052
式中：Pi为眼球可见性，Ki为眼球关键点，gp，i为眼球可见性真值标签，gk，i为相应的真值标签；k7为眼球可见性分类损失函数Lp的权重系数,k8为关键点回归损失函数的权重系数。
S43：模型压缩与在线推理；
所述步骤S5中，眼球朝向计算包括如下步骤：
S51、眼球朝向训练样本生成；
S52、眼球朝向模型离线训练；
S53、求解损失函数LGD；损失函数LGD包括有区间分类损失函数Lgdc、角度回归损失函数Lgd以及角度与区间一致性损失函数Lgdf；采用下列公式计算表示：
LGD＝k9Lgdc+k10Lgd+k11Lgdf
Figure BDA0002182608260000053
Figure BDA0002182608260000061
Figure BDA0002182608260000062
式中：Gdi为眼球朝向角度，Gdci为分类区间；ggd，i，ggdc，i为眼球朝向真值；k9为区间分类损失函数Lgdc的权重系数，k10为角度回归损失函数Lgd的权重系数，k11为角度与区间一致性损失函数Lgdf的权重系数；h(Gdi)为眼球朝向区间与面部朝向角的映射关系；
S54、眼球朝向模型后处理以及前向部署；模型输出的眼球朝向角，经剪枝与量化后，经低通滤波后送入后续应用层算法。
所述步骤S6，注意力行为分类包括如下步骤：
S61、长短期记忆模块网络拓扑；
使用公式如下：
ft＝sigmoid(σf(xt，ht-1))
it＝sigmoid(σi(xt，ht-1))
ot＝sigmoid(σo(xt，ht-1))
ct＝ft·ct-1+it·tanh(σc(xt，ht-1))
ht＝ot·tanh(ct)
其中，xt为输入向量，ft为遗忘门向量，it为更新门向量，ht为隐层向量，ot为输出门向量，ct为元组状态向量；
S62、训练数据集；根据驾驶员注意力范围类别，生成时序连续训练数据集；
S63、离线训练求解损失函数Lbehavior；损失函数Lbehavior计算公式如下：
Figure BDA0002182608260000063
式中：Bi，j为预测行为类别，gb，ij为行为类别真值，N为独立片段数，T为单独片段帧数。
本发明的有益效果：
1、可通过对驾驶室视觉输入下的面部以及眼球特征联合分析，准确识别驾驶员注意力范围与意图，并应用于自动驾驶或辅助驾驶系统功能中；
2.采用单通道(Y通道)图像输入，系统所占用带宽与神经网络运算量均更优化；
3、可移植性强，应用灵活，可集成于已有基于视觉输入的驾驶员分析系统(场景视角、视觉系统硬件、处理系统硬件均可复用)。
附图说明
图1为本发明的一种驾驶室红外视觉系统的结构图。
图2为本发明的一种驶员注意力分析方法的具体方法流程图流程图。
图3为本发明的一种驶员注意力分析方法的深度卷积神经网络拓扑示意图。
图中标记说明：1-壳体、2-摄像头、3-红外补光灯。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：如图1所示，是一种驾驶室红外视觉系统，由壳体1、摄像头2、微处理器(未示出)以及若干红外补光灯3组成，摄像头2嵌套在壳体1侧面，所述若干红外补光灯3安装在摄像头的四周，所述微处理器设置在壳体1内，所述微处理器集成有：图像预处理模块：用于摄像头参数的调节以及采集到的图像参数的调节；面部关键点检测模块：用于进行驾驶员面部关键点检测，输入为Y通道驾驶室图像数据，输出包含眼、鼻、口等部位的预定义面部关键点信息；眼球关键点检测模块：用于眼球关键点特征提取，输出眼球关键点位置信息；面部朝向回归模块：用于检测驾驶员的面部朝向角度，建立面部朝向角度分区；眼球朝向回归模块：用于检测驾驶员眼球朝向角度；时序行为分类模块：包括时序行为分析模块和长短期记忆模块，将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块，采用长短期记忆模块对驾驶员注意力进行分类。
本实施例中，以红外补光驾驶室场景视觉图像作为系统输入，补光灯波长为940nm，水平视场角为54°，垂直视场角为30°，驾驶室红外视觉系统安装于驾驶员座位距离1.5米，水平照射角(镜头与驾驶员面部连线水平平面内投影)左右15°，垂直照射角(镜头与驾驶员面部连线垂直平面内投影)上下15°范围内，默认安装角度水平照射角为0°，垂直照射角为–10，基于驾驶室红外图像输入到面部关键点检测模块，利用面部关键点卷积神经网络(F-NN)进行驾驶员面部关键点检测，输出包含眼、鼻、口等部位的预定义面部关键点信息；基于眼部ROI区域浅层卷积特征输入到眼球关键点检测模块，利用眼球关键点卷积神经网络(P-NN)进行眼球关键点检测，输出包含瞳孔以及眼球等部位的预定义眼球关键点信息；基于人脸ROI区域特征输入到面部朝向回归模块，利用面部朝向卷积神经网络，预测三自由度面部朝向角度，并利用卡尔曼滤波进行面部朝向角后处理；当眼球朝向处于可观测范围内(即按默认安装角度，人脸朝向处于左右旋转30°范围之内)，将上述人脸ROI区域特征旋转变换至与驾驶室相机光轴正交的平面，将数据输入到眼球朝向回归模块，利用眼球朝向卷积神经网络，基于眼球ROI区域特征输入，预测面部平面二自由度眼球朝向角度，并利用卡尔曼滤波进行眼球朝向角后处理；级联上述眼部与面部特征，根据不同应用需求，利用注意力行为分类模块中的递归神经网络模型对时序行为进行分类。
如图2所示为一种驶员注意力分析方法的具体方法流程图，包括如下步骤：
S1、图像预处理：主要包括相机快门、光圈及增益等参数自适应调节、图像ROI截取、Y通道截取以及缩放至后续算法模块所需分辨率等。其中，相机快门、光圈及增益等参数自适应调节可通过离线图像质量调试的方式完成；图像ROI、通道截取以及缩放可通过将相应算法配置参数写入初始化函数并由相应函数接口读入而实现。
S2、面部关键点检测：利用面部关键点卷积神经网络(F-NN，如图3是深度卷积神经网络拓扑示意图)进行驾驶员面部关键点检测，输入为Y通道驾驶室图像数据，输出包含眼、鼻、口等部位的预定义面部关键点信息。
详细内容如下：
S21、面部关键点检测网络拓扑：设计基于驾驶室视觉输入的多任务分析神经网络，如图3所示，主要由共享特征编码层以及各解码输出分支。其中共享特征层主要由级联卷积、池化、激活以及正则操作组合而成；面部关键点检测解码分支主要包含面部分类、面部框回归以及面部关键点回归三个分支，包含卷积、全连接以及softmax层构成，面部分类输出为(0-非人脸，1-人脸)，面部框回归输出为(x-中心点横坐标,y-中心点纵坐标,w-宽度,h-高度)，面部关键点回归输出为(0-左眼左眼角，1-左眼右眼角，2-右眼左眼角，3-右眼右眼角，4-鼻尖，5-左嘴角，6-右嘴角)。
S22、面部关键点网络离线训练：按本部分之前内容所描述的驾驶室相机安装位置与角度采集驾驶室场景训练数据，包含不同光照情况、背景环境以及驾驶室布局等。
S23人工标注生成训练标签。通过随机几何、色彩变换在线扩充上述训练数据集，随机初始化神经网络模型参数。
S24、采用批量随机梯度下降的方法求优如下损失函数Lface，主要包含分类、区域回归以及关键点回归损失函数三部分：
Lface＝k1Lcls+k2Lbbox+k3Lkpts
Figure BDA0002182608260000091
Figure BDA0002182608260000092
Figure BDA0002182608260000093
Lcross-entropy(Y，G)＝GlogY+(1-G)log(1-Y)
Figure BDA0002182608260000094
其中，Lcls为分类损失函数；Lbbox为区域位置回归损失函数；Lkpts为关键点回归损失函数；k1,k2,k3为各损失函数权重系数；Bboxi为面部区域坐标；Kptsi为面部关键点坐标；gcls，i，gbbox，i，gkpts，i为各分支输出的样本真值标签。
S25、面部关键点模型后处理以及前向部署：将上述训练好模型参数经剪枝(通道剪裁以及稀疏化)与量化(8位或16位浮点、定点数据类型)等压缩操作后，部署于前端嵌入式平台(包括数据文件与配置文件)。
S3、面部朝向回归：基于面部关键点检测网络特征层输入fm2，设计面部朝向回归分支(如图3所示)，主要由卷积(conv)，池化(pool)，激活(Relu)以及全连接(fc)等基础层构成，输出为相机坐标系下三自由度面部朝向角度。作为中间结果，将面部朝向角度(上下以及左右旋转角)各分为6个区间，每个区间30°，总范围-90°至90°。
详细内容如下：
S31、面部朝向训练样本生成：不同于步骤S2中面部关键点检测的训练任务，面部朝向回归标签难以用人工标注的方式生成。采集驾驶室场景红外图像数据，利用3D人脸检测模型(如PRNET等)获取该场景下驾驶员面部稠密关键点(格栅)信息，并3D重构该红外图像所对应的人脸模型。按预设3自由度角度参数(正负60°范围内)设定若干渲染点，基于上述重构红外图像，生成特定朝向角度训练数据集。
S32、面部朝向模型离线训练：利用步骤S3.1中生成的训练数据集，固化浅层特征参数，随机初始化分支部分神经网络参数。
S33、采用批量随机梯度下降的方法求优如下损失函数Lhp，损失函数Lhp包括有区间分类损失函数Lhpc、角度回归损失函数Lhpd以及角度与区间一致性损失函数Lhpe；采用下列公式计算表示：
Lhp＝k4Lhpc+k5Lhpd+k6Lhpe
Figure BDA0002182608260000101
Figure BDA0002182608260000102
Figure BDA0002182608260000103
Lcross-entropy(Y，G)＝GlogY+(1-G)log(1-Y)
Figure BDA0002182608260000104
其中，k4为区间分类损失函数Lhpc的权重系数；k5为角度回归损失函数Lhpd的权重系数；k6为角度与区间一致性损失函数Lhpe的权重系数；Hpi为面部朝向角度,，Hpci为面部朝向分类区间；ghp，i为面部朝向角度真值标签，ghpc，i为面部朝向分类区间真值标签；f(Hpi)为面部朝向区间与面部朝向角的映射关系。
S34、面部朝向模型后处理以及前向部署：模型压缩与嵌入式部署方法参照步骤S25。模型输出的面部朝向角，经低通滤波(如kalman滤波或者moving-average滤波)后送入后续应用层算法。
S4、眼球关键点检测：基于面部关键点检测网络特浅层征层输入fm1，经特征对齐操作后传入眼球关键点检测分支，经卷积(conv)，池化(pool)，激活(Relu)以及全连接(fc)等神经网络运算操作，输出预定义眼球关键点位置(6个虹膜边缘点以及一个瞳孔点)。具体内容如下：
S41、眼部特征对齐：利用步骤S3中面部朝向回归结果对齐上述卷积特征，方法如下：
Figure BDA0002182608260000105
其中，θ，ψ，φ为三个轴面部方向角，R为3*3旋转矩阵，fm′1为对齐后特征图谱。
S42、眼球关键点模型离线训练：利用步骤S2中所述的相机安装方式与场景，人工标注生成眼球关键点训练标签，包含眼球是否可见(0-不可见，1-可见)以及步骤S4中描述的7个眼球关键点。按步骤S22中样本增广方法扩充训练数据集，经步骤S4所述的对齐预处理操作后，送入眼球关键点检测分支。
S43、固化浅层神经网络特征参数(仅更新ROI池化后的相应网络权重参数)，采用批量随机梯度下降的方法求优如下损失函数Lpupil，主要包括眼球可见性分类损失函数Lp以及关键点回归损失函数Lk；损失函数的计算公式如下：
Lpupil＝k7Lp+k8Lk
Figure BDA0002182608260000111
Figure BDA0002182608260000112
Figure BDA0002182608260000113
式中：Pi为眼球可见性，Ki为眼球关键点，gp，i为眼球可见性真值标签,gk，i为相应的真值标签；k7为眼球可见性分类损失函数Lp的权重系数,k8为关键点回归损失函数的权重系数。
S44、模型压缩与在线推理：模型压缩与嵌入式部署方法参照S25.
S5、眼球朝向回归：基于眼球关键点检测网络特征层输入fm3，设计眼球朝向回归分支(如图3相应分支所示)，主要由卷积(conv)，池化(pool)，激活(Relu)以及全连接(fc)等基础层构成，输出为相机坐标系下二自由度(忽略面部平面内旋转角)眼球朝向角度。详细内容如下：
S51、眼球朝向训练样本生成：采用类似于3.1中面部朝向回归的训练样本生成方法，基于正面(或小角度偏转)人脸图像，利用离线眼球稠密关键点检测与重建方法生成特定眼球朝向角度(正负30°范围内)训练数据集。
S52、眼球朝向模型离线训练：利用5.1中生成的训练数据集，固化浅层特征参数，随机初始化分支部分神经网络参数，采用批量随机梯度下降的方法求优如下损失函数LGD，主要包含区间分类损失函数Lgdc、角度回归损失函数Lgd以及角度与区间一致性损失函数Lgdf：
LGD＝k9Lgdc+k10Lgd+k11Lgdf
Figure BDA0002182608260000114
Figure BDA0002182608260000121
Figure BDA0002182608260000122
其中，Gdi为眼球朝向角度，Gdci为分类区间；ggd，i，ggdc，i为眼球朝向真值(角度以及区间分类)；k9为区间分类损失函数Lgdc的权重系数，k10为角度回归损失函数Lgd的权重系数，k11为角度与区间一致性损失函数Lgdf的权重系数；h(Gdi)为眼球朝向区间与面部朝向角的映射关系；
S53、眼球朝向模型后处理以及前向部署：模型压缩与嵌入式部署方法参照步骤S25。模型输出的眼球朝向角，经低通滤波(如kalman滤波或者moving-average滤波)后送入后续应用层算法。基于相机坐标系的驾驶员注意力朝向角度λfocus为面部朝向λhp以及眼球朝向λhp的几何之和，即：
λfocus＝λhp+λhp
S6、时序注意力行为分类：作为可选项，将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块，采用长短期记忆模块(LSTM)对驾驶员注意力进行分类，输出为驾驶员注意力范围类别(0-前方路面，1-左后视镜，2-右后视镜，3-中央反光镜，4-中控系统，5-其他)。详细信息如下：
6.1 LSTM网络拓扑：如图2所示，时序递归单元个数为12(按12.5帧/秒的处理速度，近似为1秒的时序数据所对应的行为)，所使用公式如下：
ft＝sigmoid(σf(xt，ht-1))
it＝sigmoid(σi(xt，ht-1))
ot＝sigmoid(σo(xt，ht-1))
ct＝ft·ct-1+it·tanh(σc(xt，ht-1))
ht＝ot·tanh(ct)
其中，xt为输入向量，ft为遗忘门向量，it为更新门向量，ht为隐层向量，ot为输出门向量，ct为元组状态向量。
S62、训练数据集：采用2中所述的驾驶室相机安装方式，按本部分之前描述的驾驶员注意力范围类别，生成时序连续训练数据集。每段视频数据长度为2秒(50帧)，对应一个行为标签。
S63、离线训练：采用随机梯度下降的方式求解如下损失函数Lbehavior:损失函数Lbehavior计算公式如下：
Figure BDA0002182608260000131
其中，Bi，j为预测行为类别，gb，ij为行为类别真值，N为独立片段数，T为单独片段帧数。
以上所述之具体实施方式为本发明一种驾驶室红外视觉系统及驾驶员注意力分析方法的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。

Claims (10)

1.一种驾驶室红外视觉系统，其特征在于：包括壳体、摄像头、微处理器以及若干红外补光灯，所述摄像头灯嵌套在壳体侧面，所述若干红外补光灯安装在摄像头的四周，所述微处理器设置在壳体内，所述微处理器集成有：
图像预处理模块：用于摄像头参数的调节以及采集到的图像参数的调节；
面部关键点检测模块：用于进行驾驶员面部关键点检测，输入为Y通道驾驶室图像数据，输出包含眼、鼻、口等部位的预定义面部关键点信息；
眼球关键点检测模块：用于眼球关键点特征提取，输出眼球关键点位置信息；
面部朝向回归模块：用于检测驾驶员的面部朝向角度，建立面部朝向角度分区；
眼球朝向回归模块：用于检测驾驶员眼球朝向角度；
时序行为分类模块：包括时序行为分析模块和长短期记忆模块，将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块，采用长短期记忆模块对驾驶员注意力进行分类。
2.一种驾驶员注意力分析方法，适用于如权利要求1所述的一种驾驶室红外视觉系统，其特征在于：包括如下步骤：
S1、图像预处理；
S2、面部关键点检测；
S3、面部朝向计算；
S4、眼球关键点检测
S5、眼球朝向计算；
S6、注意力行为分类。
3.根据权利要求2所述的一种驾驶员注意力分析方法，其特征在于：
所述步骤S1中，图像预处理包括摄像头参数的调节以及图像参数的调节，所述摄像头参数的调节包括有：摄像头快门、光圈及增益的参数自适应调节；所述图像调节包括有：图像ROI截取、Y通道截取以及缩放所需分辨率。
4.根据权利要求2所述的一种驾驶员注意力分析方法，其特征在于：
所述步骤S2中，面部关键点检测包括如下步骤：
S21、面部关键点检测网络拓扑；设计基于驾驶室视觉输入的多任务分析神经网络，所述多任务分析神经网络包括有共享特征编码层以及各解码输出分支，所述解码输出分支包括有面部分类分支、面部框回归分支以及面部关键点回归分支；
S22、面部关键点网络离线训练；在光照情况、背景环境以及驾驶室布局变化的情况下，通过摄像头安装位置与角度采集驾驶室场景训练数据，作为所述网络离线训练的训练数据；
S23、人工标注生成训练标签；
S24、求解损失函数Lface；
S25、面部关键点模型后处理以及前向部署；将训练好的模型参数经剪枝与量化后，部署于前端嵌入式平台。
5.根据权利要求4所述的一种驾驶员注意力分析方法，其特征在于：
所述损失函数Lface包括分类损失函数Lcls、区域位置回归损失函数Lbbox以及关键点回归损失函数Lkpts，采用下列公式计算表示：
Lface＝k1Lcls+k2Lbbox+k3Lkpts
Figure FDA0002182608250000022
Figure FDA0002182608250000023
Lcross-sntropy(Y，G)＝GlogY+(1-G)log(1-Y)
Figure FDA0002182608250000024
式中：k1为分类损失函数Lcls的权重系数；k2为区域位置回归损失函数Lbbox的权重系数；k3为关键点回归损失函数Lkpts的权重系数；Bboxi为面部区域坐标；Kptsi为面部关键点坐标；gcls，i为面部分类分支的样本真值标签，gbbox，i为面部框回归分支的样本真值标签，gkpts，i为面部关键点回归分支的样本真值标签。
6.根据权利要求2所述的一种驾驶员注意力分析方法，其特征在于：
所述步骤S3中，面部朝向计算包括如下步骤：
S31、面部朝向训练样本生成；利用3D人脸检测模型获取场景下驾驶员面部稠密关键点信息，3D重构红外图像所对应的人脸模型，基于重构红外图像，生成特定朝向角度训练数据集；
S32、面部朝向模型离线训练；利用特定朝向角度训练数据集，固化浅层特征参数，随机初始化分支部分神经网络参数；
S33、采用批量随机梯度下降的方法求优损失函数Lhp；
S34、面部朝向模型后处理以及前向部署：模型输出的面部朝向角，经剪枝与量化后，经低通滤波后送入后续应用层算法。
7.根据权利要求6所述的一种驾驶员注意力分析方法，其特征在于：
所述损失函数Lhp包括有区间分类损失函数Lhpc、角度回归损失函数Lhpd以及角度与区间一致性损失函数Lhpe；采用下列公式计算表示：
Lhp＝k4Lhpc+k5Lhpd+k6Lhpe
Figure FDA0002182608250000032
Figure FDA0002182608250000033
Lcross-entropy(Y，G)＝GlogY+(1-G)log(1-Y)
Figure FDA0002182608250000034
其中，k4为区间分类损失函数Lhpc的权重系数；k5为角度回归损失函数Lhpd的权重系数；k6为角度与区间一致性损失函数Lhpe的权重系数；Hpi为面部朝向角度,，Hpci为面部朝向分类区间；ghp，i为面部朝向角度真值标签，ghpc，i为面部朝向分类区间真值标签；f(Hpi)为面部朝向区间与面部朝向角的映射关系。
8.根据权利要求2所述的一种驾驶员注意力分析方法，其特征在于：
所述步骤S4中，眼球关键点检测包括如下步骤：
S41、眼部特征对齐；
S42、眼球关键点模型离线训练；
S43、求解损失函数Lpupil；损失函数Lpupil包括有包括眼球可见性分类损失函数Lp以及关键点回归损失函数Lk，采用下列公式计算表示：
Lpupil＝k7Lp+k8Lk
Figure FDA0002182608250000041
式中：Pi为眼球可见性，Ki为眼球关键点，gp，i为眼球可见性真值标签，gk，i为相应的真值标签；k7为眼球可见性分类损失函数Lp的权重系数，k8为关键点回归损失函数的权重系数；
S44、模型压缩与在线推理。
9.根据权利要求2所述的一种驾驶员注意力分析方法，其特征在于：
所述步骤S5中，眼球朝向计算包括如下步骤：
S51、眼球朝向训练样本生成；
S52、眼球朝向模型离线训练；
S53、求解损失函数LGD；损失函数LGD包括有区间分类损失函数Lgdc、角度回归损失函数Lgd以及角度与区间一致性损失函数Lgdf；采用下列公式计算表示：
LGD＝k9Lgdc+k10Lgd+k11Lgdf
Figure FDA0002182608250000043
Figure FDA0002182608250000051
Figure FDA0002182608250000052
式中：Gdi为眼球朝向角度，Gdci为分类区间；ggd，i，ggdc，i为眼球朝向真值；k9为区间分类损失函数Lgdc的权重系数，k10为角度回归损失函数Lgd的权重系数，k11为角度与区间一致性损失函数Lgdf的权重系数；h(Gdi)为眼球朝向区间与面部朝向角的映射关系；
S54、眼球朝向模型后处理以及前向部署；模型输出的眼球朝向角，经剪枝与量化后，经低通滤波后送入后续应用层算法。
10.根据权利要求2所述的一种驾驶员注意力分析方法，其特征在于：
所述步骤S6，注意力行为分类包括如下步骤：
S61、长短期记忆模块网络拓扑；
使用公式如下：
ft＝sigmoid(σf(xt，ht-1))
it＝sigmoid(σi(xt，ht-1))
ot＝sigmoid(σo(xt，ht-1))
ct＝ft·ct-1+it·tanh(σc(xt，ht-1))
ht＝ot·tanh(ct)
其中，xt为输入向量，ft为遗忘门向量，it为更新门向量，ht为隐层向量，ot为输出门向量，ct为元组状态向量；
S62、训练数据集；根据驾驶员注意力范围类别，生成时序连续训练数据集；
S63、离线训练求解损失函数Lbehavior；损失函数Lbehavior计算公式如下：
Figure FDA0002182608250000053
式中：Bi，j为预测行为类别，gb，ij为行为类别真值，N为独立片段数，T为单独片段帧数。
CN201910802102.8A 2019-08-28 2019-08-28 一种驾驶室红外视觉系统及驾驶员注意力分析方法 Active CN110781718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802102.8A CN110781718B (zh) 2019-08-28 2019-08-28 一种驾驶室红外视觉系统及驾驶员注意力分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802102.8A CN110781718B (zh) 2019-08-28 2019-08-28 一种驾驶室红外视觉系统及驾驶员注意力分析方法

Publications (2)

Publication Number Publication Date
CN110781718A true CN110781718A (zh) 2020-02-11
CN110781718B CN110781718B (zh) 2023-10-10

Family

ID=69383321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802102.8A Active CN110781718B (zh) 2019-08-28 2019-08-28 一种驾驶室红外视觉系统及驾驶员注意力分析方法

Country Status (1)

Country Link
CN (1) CN110781718B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN112706710A (zh) * 2021-01-27 2021-04-27 南京工程学院 一种机动车安全驾驶智能识别及警示系统和方法
CN112906633A (zh) * 2021-03-18 2021-06-04 南通师范高等专科学校 一种基于学生注意力的教学优化方法
CN113591815A (zh) * 2021-09-29 2021-11-02 北京万里红科技有限公司 生成眼角识别模型的方法及识别眼部图像中眼角的方法
CN113705349A (zh) * 2021-07-26 2021-11-26 电子科技大学 一种基于视线估计神经网络的注意力量化分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211395A1 (en) * 2016-06-07 2017-12-14 Toyota Motor Europe Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN109493305A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种人眼视线与前景图像叠加的方法及系统
US20190139233A1 (en) * 2017-11-07 2019-05-09 Tata Consultancy Services Limited System and method for face position tracking and alerting user
EP3493178A1 (en) * 2017-12-01 2019-06-05 Veoneer Sweden AB Driver attentiveness detection method and device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211395A1 (en) * 2016-06-07 2017-12-14 Toyota Motor Europe Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
US20190139233A1 (en) * 2017-11-07 2019-05-09 Tata Consultancy Services Limited System and method for face position tracking and alerting user
EP3493178A1 (en) * 2017-12-01 2019-06-05 Veoneer Sweden AB Driver attentiveness detection method and device
CN111357038A (zh) * 2017-12-01 2020-06-30 维宁尔瑞典公司 驾驶员注意力检测方法及装置
CN109493305A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种人眼视线与前景图像叠加的方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN112706710A (zh) * 2021-01-27 2021-04-27 南京工程学院 一种机动车安全驾驶智能识别及警示系统和方法
CN112906633A (zh) * 2021-03-18 2021-06-04 南通师范高等专科学校 一种基于学生注意力的教学优化方法
CN113705349A (zh) * 2021-07-26 2021-11-26 电子科技大学 一种基于视线估计神经网络的注意力量化分析方法及系统
CN113705349B (zh) * 2021-07-26 2023-06-06 电子科技大学 一种基于视线估计神经网络的注意力量化分析方法及系统
CN113591815A (zh) * 2021-09-29 2021-11-02 北京万里红科技有限公司 生成眼角识别模型的方法及识别眼部图像中眼角的方法
CN113591815B (zh) * 2021-09-29 2021-12-21 北京万里红科技有限公司 生成眼角识别模型的方法及识别眼部图像中眼角的方法

Also Published As

Publication number Publication date
CN110781718B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN110781718B (zh) 一种驾驶室红外视觉系统及驾驶员注意力分析方法
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
US10877485B1 (en) Handling intersection navigation without traffic lights using computer vision
CN110097109B (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN105654753A (zh) 一种智能车载安全驾驶辅助方法及系统
US20210012126A1 (en) Detecting illegal use of phone to prevent the driver from getting a fine
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和系统
US10744936B1 (en) Using camera data to automatically change the tint of transparent materials
CN110807352B (zh) 一种用于危险驾驶行为预警的车内外场景视觉分析方法
US20070031006A1 (en) Method for detecting nocturnal fog and system for implementing the method
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
CN111062292B (zh) 一种疲劳驾驶检测装置与方法
WO2020231401A1 (en) A neural network for head pose and gaze estimation using photorealistic synthetic data
CN110222596B (zh) 一种基于视觉的驾驶员行为分析防作弊方法
US10967824B1 (en) Situational impact mitigation using computer vision
US11124143B1 (en) Reducing injury likelihood during front collisions
CN115690750A (zh) 一种驾驶员分心检测方法和装置
CN115205729A (zh) 基于多模态特征融合的行为识别方法、系统
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
JP2004334786A (ja) 状態検出装置及び状態検出システム
CN109624667A (zh) 一种汽车智能防交通摄像装置炫目的方法及系统
CN117292346A (zh) 面向驾驶人和车辆状态一体感知的车辆行驶风险预警方法
CN112330558A (zh) 基于雾天环境感知的道路图像恢复预警系统及方法
CN114792437A (zh) 一种基于面部特征的安全驾驶行为分析的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant