CN111259719A - 一种基于多目红外视觉系统的驾驶室场景分析方法 - Google Patents

Abstract

本发明涉及一种基于多目红外视觉系统的驾驶室场景分析方法：①驾驶舱场景视觉数据采集与预处理；②驾驶员结构化数据分析：驾驶员上半身关键点分析；驾驶员面部关键点分析；驾驶员面部朝向分析；驾驶员眼部关键点以及朝向分析；手部行为分类；安全带状态分类；③驾驶舱结构化数据分析：驾驶舱语义分析；驾驶舱视深分析；驾驶舱成员检测；驾驶舱成员属性分析；④离线模型训练以及在线模型部署；⑤将驾驶舱状态、驾驶员状态以及其他成员状态的结构化数据通过车载网关发送给上层应用终端。本发明为座舱配置以及娱乐系统交互、为调整不同车辆驾驶配置并且在不同驾驶模式下发出相应交互提供数据依据，有效提升智能驾驶系统使用与交互体验。

Description

一种基于多目红外视觉系统的驾驶室场景分析方法

技术领域

本发明涉及汽车智能驾驶系统技术领域，尤其涉及一种基于多目红外视觉系统的驾驶室场景分析方法。

背景技术

智能化是当今汽车产业发展的重要趋势之一，伴随着汽车智能化程度的提升，未来汽车的交互方式以及驾驶体验将发生重大变革。不同自动化等级的智能驾驶系统与技术正日趋完善，其应用将极大程度的提升车辆的主动安全性能并且在特定场景分担部分驾驶任务。现有自动驾驶及辅助驾驶系统对驾驶场景的分析与理解日趋成熟，基于视觉、毫米波雷达以及激光雷达等多模态传感系统输入，识别静态场景语义信息，预测动态交通参与者轨迹并规划出优化行车轨迹。

然而，随着车辆智能化程度的提升，娱乐系统以及人机交互将成为驾驶舱内的核心内容。因而，全面且准确的分析驾驶室场景信息对智能汽车的发展有着极其重要的意义。现有量产车辆没有配备完善的驾驶室分析系统，部分搭载高等级自动驾驶系统的车型具备部分驾驶员行为分析功能，如手部是否脱离方向盘、视线是否脱离前方路面等。此类系统仅仅服务于车辆所配置的自动驾驶或辅助驾驶功能，应用上较为单一。并且，所基于的传感器输入，如方向盘扭矩传感器，不具备后续应用的延展性(其他驾驶室应用的可行性)。

此外，驾驶室视觉系统被相对广泛的应用于营运商用车辆中。现有的驾驶员分析系统主要用于分析监管驾驶者在长时间驾驶过程中的疲劳以及分神驾驶行为，如是否瞌睡、是否使用手机等；现有的车舱分析系统主要用于分析监管车舱内的综合情况，如人流统计、异常行为等。现有此类系统的应用限制性较强，主要用于提升商用车辆的运营安全，不适用于面向消费者群体的乘用车辆。

发明内容

本发明为了解决上述技术问题；提供一种基于多目红外视觉系统的驾驶室场景分析方法，通过不同视觉场景输入以及卷积神经网络模型分析，输出完整、可拓展的包括驾驶舱状态、驾驶员状态以及其他成员状态的驾驶室结构化数据，为调整不同车辆驾驶配置并且在不同驾驶模式下发出相应交互信号提供数据依据，为座舱配置调整以及娱乐系统交互提供数据依据，有效提升智能驾驶系统以及智能座舱系统使用与交互体验。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明一种基于多目红外视觉系统的驾驶室场景分析方法，包括下列步骤：

①驾驶舱场景视觉数据采集与预处理；

②驾驶员结构化数据分析，包括：驾驶员上半身关键点分析；驾驶员面部关键点分析；驾驶员面部朝向分析；驾驶员眼部关键点以及朝向分析；手部行为分类；安全带状态分类；

③驾驶舱结构化数据分析，包括：驾驶舱语义分析；驾驶舱视深分析；驾驶舱成员检测；驾驶舱成员属性分析；

④离线模型训练以及在线模型部署；

⑤结构化数据输出后处理：提取包括驾驶舱状态、驾驶员状态以及其他成员状态的预定义驾驶舱结构化数据，通过车载网关发送给上层应用终端。

采集驾驶舱多目红外视觉图像输入，主要包括曝光、增益、对比度等参数自适应配置。图像采集后，与滚动采集帧序号或采集时间戳送入待处理图像队列，经图像通道截取、图像ROI(感兴趣区域)截取、图像ROI缩放以及卷积神经网络图像输入归一化等操作后，送入神经网络输入图像队列，完成驾驶舱场景视觉数据采集与预处理。基于驾驶员分析相机(窄角相机)场景输入，利用多任务深度卷积神经网络进行驾驶员上半身以及面部特征分析，输出包括驾驶员身份、眼睛开度、面部朝向、视线方向、情绪状态、安全带状态以及车辆操控状态等数据，完成驾驶员结构化数据分析。基于驾驶舱相机(广角相机)场景输入，利用语义分割深度卷积神经网络进行驾驶室场景语义分析，输出像素级驾驶室场景语义信息，包括人、座椅以及其他类别语义，完成驾驶舱语义分析。基于驾驶舱相机(广角相机)场景输入，利用深度卷积神经网络进行驾驶室场景视深估计，输出像素级驾驶室场景视深信息，范围0～5米，完成驾驶舱视深分析。基于驾驶舱相机(广角相机)场景输入以及驾驶舱语义分析、驾驶舱视深分析结果，进行驾驶舱成员检测、成员状态以及行为分类，输出各座位上成员是否存在、成员年龄、成员性别、成员情绪状态以及行为状态等成员属性，完成驾驶舱结构化数据分析。再经离线模型训练以及在线模型部署后，对于驾驶员以及驾驶舱神经网络分析结果进行信号处理，提取包括驾驶舱状态、驾驶员状态以及其他成员状态的预定义驾驶舱结构化数据，通过车载以太网或CAN总线发送给上层应用终端。本发明通过不同视觉场景输入以及卷积神经网络模型分析，输出完整、可拓展的包括驾驶舱状态、驾驶员状态以及其他成员状态的驾驶室结构化数据，为调整不同车辆驾驶配置并且在不同驾驶模式下发出相应交互信号提供数据依据，为座舱配置调整以及娱乐系统交互提供数据依据，有效提升智能驾驶系统以及智能座舱系统使用与交互体验。

作为优选，所述的驾驶员上半身关键点分析采用下列方法：基于驾驶室红外场景驾驶员感兴趣区域输入，经多尺度卷积神经网络特征描述，输出包含头顶、颈根、左肩、右肩、左肘、右肘、左腕和右腕信息的驾驶员上半身关键点信息；其中，共享驾驶室卷积特征部分包括卷积、池化、正则以及激活操作；上半身关键点解码输出分支包括反卷积和上采样操作。

作为优选，所述的驾驶员面部关键点分析采用下列方法：基于上半身头部关键点输出以及浅层驾驶室卷积特征图谱描述进行面部关键点分析ROI池化。对于池化后面部区域浅层特征图谱，进行面部共享特征描述，作为不同面部区域相关神经网络应用输入；基于上述面部特征描述，级联面部关键点网络分支，输出面部分类、面部位置回归、面部关键点位置回归以及活体分类；例如：面部分类(0-背景，1-人脸)，面部位置回归(1-左上角横坐标，2-左上角纵坐标，3-宽度，4-高度)，面部关键点位置回归(1-左眼外眼角，2-左眼内眼角，3-右眼外眼角，4-右眼内眼角，5-鼻尖，6-左嘴角，7-右嘴角)，活体分类(0-非活体，1-活体)；

所述的驾驶员面部朝向分析采用下列方法：基于所述的驾驶员面部关键点分析中面部共享特征图谱输入以及面部位置回归输出进行面部特征ROI池化；级联面部朝向回归分支于池化后面部特征图谱，输出三维面部朝向角度；例如：三维面部朝向角度(1-垂直转角，2-水平转角，3-平面转角)。

作为优选，所述的驾驶员眼部关键点以及朝向分析采用下列方法：基于浅层面部共享特征图谱输入以及眼部关键点回归输出进行眼部特征ROI对齐；对于对齐后眼部特征图谱，级联眼球关键点回归分支，经神经网络运算操作，输出眼球关键点信息以及二维眼球朝向角度回归。例如：眼球关键点信息(1-上边缘，2-左边缘，3-下边缘，4-右边缘，5-瞳孔点)，二维眼球朝向角度回归(1-垂直转角，2-水平转角)。

作为优选，所述的手部行为分类采用下列方法：基于驾驶员上半身关键点分析中上半身手部关键点输出以及浅层驾驶室卷积特征图谱描述进行手部状态分析ROI池化；对于池化后手部区域浅层特征图谱，级联安全带手部分类分支，经神经网络运算操作，输出驾驶员手部特征相关行为状态；例如：驾驶员手部特征相关行为状态(0-其他，1-喝水，2-手持食物，3-使用电话，4-驾驶车辆)；

所述的安全带状态分类采用下列方法：基于驾驶员上半身关键点分析中上半身肩部关键点输出以及浅层驾驶室卷积特征图谱描述进行安全带状态分析ROI池化；对于池化后肩部区域浅层特征图谱，级联安全带状态分类分支，经神经网络运算操作，输出驾驶员安全带状态。例如：驾驶员安全带状态(0-未系，1-已系)。

作为优选，所述的驾驶舱语义分析采用下列方法：基于驾驶舱分析相机场景输入，经多尺度卷积神经网络特征编码以及反卷积特征解码，输出驾驶舱语义信息(输出与输入维度相同，通道定义如下：0-背景，1-座位，2-婴儿座椅，3-方向盘，4-乘坐者)；

所述的驾驶舱视深分析采用下列方法：基于驾驶舱分析相机场景输入，与驾驶舱语义分析分支复用共享多尺度卷积神经网络特征编码，经反卷积特征解码，输出驾驶舱视深信息(输出与输入维度相同，通道数为1)。

作为优选，所述的驾驶舱成员检测采用下列方法：基于驾驶舱共享浅层特征图谱以及驾驶舱语义分支输出，进行座舱座位感兴趣区域特征池化；利用神经网络运算操作对上述浅层感兴趣特征在不同尺度进行进一步描述并级联送入上半身关键点解码分支，再经神经网络运算操作后，输出相应驾驶舱区域的成员关键点位置。定义与驾驶员上半身关键点分析中相同，即输出包含头顶、颈根、左肩、右肩、左肘、右肘、左腕和右腕信息的成员上半身关键点信息。

作为优选，所述的驾驶舱成员属性分析采用下列方法：基于所述的驾驶舱成员检测中座舱成员感兴趣区域池化特征输出，级联成员属性分析输出分支，经神经网络运算操作后，并行输出包含年龄、性别、情绪以及行为的成员属性分类结果。例如：年龄(0-青年，1-中年，2-老年，3-儿童，4-婴儿)、性别(0-男，1-女)、情绪(0-正常，1-正面情绪，2-负面情绪)、行为(0-正常，1-睡觉，2-交谈，3-游戏)。

作为优选，所述的步骤①包括下列步骤：

(11)图像通道截取：读取待处理图像队列中的图像数据，输入为YUV格式图片数据地址以及数据长度，选取亮度数据相应长度；

(12)图像ROI截取：输入步骤(11)中选取的亮度通道图像数据，按算法配置参数预设图像处理ROI，截取对应亮度通道数据；

(13)图像ROI缩放：读取神经网络拓扑文件中输入层维度，将步骤(12)中所截取的亮度通道图像ROI所对应数据，按双线性或最近邻方式缩放至神经网络所定义的输入维度；

(14)图像输入归一化：读取神经网络参数文件中输入层归一化参数，对输入的图像ROI数据进行归一化操作。

作为优选，所述的步骤④包括下列步骤：

(41)训练数据库：通过驾驶室相机采集不同条件驾驶舱场景训练数据，人工标注生成训练标签，建立离线训练数据库，包括座舱场景数据库、驾驶员数据库以及座舱成员数据库；

(42)离线模型训练：对于步骤(41)中建立的离线训练数据库，通过几何与色彩变化针对不同训练任务在线增广训练样本；采用迷你批量样本梯度下降的方式分步训练更新各分支模型参数，可配置的训练参数包括学习率、批量样本数量、权重动能系数以及衰减系数；

(43)在线模型部署：将步骤(42)中训练所得的模型权重参数根据前端嵌入式平台运算特性，经压缩操作后，部署于前端嵌入式平台。

基于步骤②与步骤③中所述的驾驶员以及驾驶舱分析神经网络架构，建立训练离线数据库，在服务器端训练相应模型并在嵌入式端部署前向推理模型。

本发明的有益效果是：利用驾驶者分析卷积神经网络进行驾驶者结构化数据分析，包括驾驶状态、身份状态以及情绪状态等，为调整不同的车辆驾驶配置并且在自动驾驶或人为驾驶的不同驾驶模式下发出预警、提示信号等相应交互信号提供数据依据；利用驾驶室分析卷积神经网络进行座舱结构化数据分析，包括各乘客座位的占据情况、各乘客的身份状态以及行为、情绪状态，为座舱配置调整以及娱乐系统交互提供数据依据。用于配套各级别智能驾驶以及智能座舱系统的应用，有效提升智能驾驶系统以及智能座舱系统使用与交互体验。

附图说明

图1是安装有本发明驾驶室场景分析系统的汽车的一种俯视结构示意图。

图2是本发明的一种流程图。

图3是本发明中驾驶员结构化数据分析所用神经网络的一种拓扑结构示意图。

图4是本发明中驾驶舱结构化数据分析所用神经网络的一种拓扑结构示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于多目红外视觉系统的驾驶室场景分析方法，采用的驾驶室场景分析系统，如图1所示，包括一个驾驶舱广角相机、一个一体式的驾驶员红外相机(窄角)和一个分体式的驾驶员红外相机(窄角)以及一个嵌入式智能分析终端，其中一个驾驶员红外相机为50°水平视场角，场景覆盖驾驶员一侧空间，另一个驾驶员红外相机为140°视场角，场景覆盖整个驾驶室。视觉系统可一体式安装于中央后视镜处或驾驶台中部，驾驶员分析相机亦可分体式安装于A柱处。

基于多目红外视觉系统的驾驶室场景分析方法，如图2所示，包括下列步骤：

①驶舱场景视觉数据采集与预处理：按25或30fps帧率采集驾驶舱多目视觉图像输入，主要包括曝光、增益、对比度等参数自适应配置；图像采集后，与滚动采集帧序号或采集时间戳送入待处理图像队列，经图像通道截取、图像ROI截取、图像ROI缩放以及卷积神经网络图像输入归一化等操作后，送入神经网络输入图像队列；

(11)图像通道截取：读取待处理图像队列中的图像数据，输入为YUV格式图片数据地址以及数据长度，选取亮度(Y通道)数据相应长度；

(12)图像ROI截取：输入步骤(11)中选取的亮度通道图像数据，按算法配置参数预设图像处理ROI，截取对应亮度通道数据；

(13)图像ROI缩放：读取神经网络拓扑文件中输入层维度，将步骤(12)中所截取的亮度通道图像ROI所对应数据，按双线性或最近邻方式缩放至神经网络所定义的输入维度；

(14)图像输入归一化：读取神经网络参数文件中输入层归一化参数，对输入的图像ROI数据进行减均值等归一化操作。

②驾驶员结构化数据分析：基于两个驾驶员红外相机(窄角相机)场景输入，设计多任务驾驶员分析神经网络如图3所示，经面部、肩部以及手部区域图像特征分析，输出包含面部检测信息、身份识别信息、面部以及眼球朝向信息以及部分特定行为信息等。详细内容如下：

(21)驾驶员上半身关键点分析：如图3中上半身关键点网络分支所示，基于驾驶员(窄角)红外场景驾驶员感兴趣区域输入，经多尺度卷积神经网络特征描述，输出驾驶员上半身关键点信息(0-头顶，1-颈根，2-左肩，3-右肩，4-左肘，5-右肘，6-左腕，7-右腕)；其中，共享驾驶室卷积特征部分由卷积、池化、正则以及激活等操作组成；上半身关键点解码输出分支由反卷积、上采样等操作组成；

(22)驾驶员面部关键点分析：如图3中面部关键点网络分支所示，基于上半身头部关键点输出以及浅层驾驶室卷积特征图谱描述进行面部关键点分析ROI池化；对于池化后面部区域浅层特征图谱，进行面部(头部)共享特征描述，包括卷积、池化、正则以及激活等神经网络运算操作，作为不同面部区域相关神经网络应用输入。基于上述面部特征描述，级联面部关键点网络分支，输出面部分类(0-背景，1-人脸)、面部位置回归(1-左上角横坐标，2-左上角纵坐标，3-宽度，4-高度)、面部关键点位置回归(1-左眼外眼角，2-左眼内眼角，3-右眼外眼角，4-右眼内眼角，5-鼻尖，6-左嘴角，7-右嘴角)以及活体分类(0-非活体，1-活体)；

(23)驾驶员面部朝向分析：如图3中面部朝向网络分支所示，基于步骤(22)中所述面部共享特征图谱输入以及面部位置回归输出进行面部特征ROI池化；级联面部朝向回归分支于池化后面部特征图谱，输出三维面部朝向角度(1-垂直转角，2-水平转角，3-平面转角)；

(24)驾驶员眼部关键点以及朝向分析：如图3中眼部关键点及朝向网络分支所示，基于浅层面部共享特征图谱输入以及眼部关键点回归输出进行眼部特征ROI对齐。对于对齐后眼部特征图谱，级联眼球关键点回归分支，经卷积、池化以及全连接等神经网络运算操作，输出眼球关键点信息(1-上边缘，2-左边缘，3-下边缘，4-右边缘，5-瞳孔点)以及二维眼球朝向角度回归(1-垂直转角，2-水平转角)；

(25)驾驶员手部行为分类：如图3中手部状态分类网络分支所示，基于上半身手部关键点输出以及浅层驾驶室卷积特征图谱描述进行手部状态分析ROI池化。对于池化后手部区域浅层特征图谱，级联安全带手部分类分支，经卷积、池化以及全连接等神经网络运算操作，输出驾驶员手部特征相关行为状态(0-其他，1-喝水，2-手持食物，3-使用电话，4-驾驶车辆)；

(26)驾驶员安全带状态分类：如图3中安全带状态分类网络分支所示，基于上半身肩部关键点输出以及浅层驾驶室卷积特征图谱描述进行安全带状态分析ROI池化。对于池化后肩部区域浅层特征图谱，级联安全带状态分类分支，经卷积、池化以及全连接等神经网络运算操作，输出驾驶者安全带状态(0-未系，1-已系)。

③驾驶舱结构化数据分析：基于驾驶舱广角相机场景输入，设计多任务驾驶舱分析神经网络如图4所示，经上半身特征分析以及面部特征分析，输出包含驾驶舱成员基本状态信息、情绪状态信息以及行为状态信息等。详细内容如下：

(31)驾驶舱语义分析：如图4中驾驶舱语义网络分支所示，基于驾驶舱广角相机场景输入，经多尺度卷积神经网络特征编码以及反卷积特征解码，输出驾驶舱语义信息(输出与输入维度相同，通道定义如下：0-背景，1-座位，2-婴儿座椅，3-方向盘，4-乘坐者)；

(32)驾驶舱视深分析：如图4中驾驶舱视深网络分支所示，基于驾驶舱广角相机场景输入，与语义分析分支复用共享多尺度卷积神经网络特征编码，经反卷积特征解码，输出驾驶舱视深信息(输出与输入维度相同，通道数为1)；

(33)驾驶舱成员检测：如图4中座舱成员检测网络分支所示，基于驾驶舱共享浅层特征图谱以及驾驶舱语义分支输出，进行座舱座位感兴趣区域特征池化。利用卷积、池化等网络操作对上述浅层感兴趣特征在不同尺度进行进一步描述并级联送入上半身关键点解码分支，经反卷积、全连接以及回归等操作后，输出相应驾驶舱区域的成员关键点位置，定义如步骤(21)内容；

(34)驾驶舱成员属性分析：如图4中座舱成员属性分析分支所示，基于步骤(33)中座舱成员感兴趣区域池化特征输出，级联成员属性分析输出分支，经特征归一化、卷积、全连接等网络操作后，并行输出年龄(0-青年，1-中年，2-老年，3-儿童，4-婴儿)、性别(0-男，1-女)、情绪(0-正常，1-正面情绪，2-负面情绪)以及行为(0-正常，1-睡觉，2-交谈，3-游戏)分类结果。

④离线模型训练以及在线模型部署：基于步骤②与步骤③中驾驶者以及驾驶舱分析神经网络架构，建立训练离线数据库，在服务器端训练相应模型并在嵌入式端部署前向推理模型。详细内容如下：

(41)训练数据库：通过视觉系统采集不同条件驾驶舱场景训练数据，包括不同光照条件、不同驾驶者身份、状态以及不同座舱成员身份、状态等，按步骤②与步骤③中定义各分支网络输出形式，人工标注生成训练标签，建立离线训练数据库，主要包括座舱场景数据库、驾驶者数据库以及座舱成员数据库。

a.座舱场景数据库：提取时序离散广角座舱场景图片，包含有人和无人两种场景，利用激光雷达点云数据辅助生成场景视深标签，人工以多段线形式标注生成场景语义标签；

b.驾驶者数据库：提取时序离散窄角驾驶座区域场景图片，人工筛选各种驾驶者状态样本图片，包含不同情绪、疲劳以及专注程度等状态，标注生成相应面部、肢体区域以及关键点标签以及情绪、疲劳等行为状态标签；

c.座舱成员数据库：提取时序离散广角座舱场景图片，人工筛选各种座舱成员状态样本图片，包含不同情绪以及行为状态，标注生成相应肢体区域和关键点标签以及情绪、行为状态标签；

(42)离线模型训练：对于步骤(41)中建立的训练数据库，通过几何与色彩变化针对不同训练任务在线增广训练样本，采用迷你批量样本梯度下降的方式分步训练更新各分支模型参数，可配置的训练参数包括学习率、批量样本数量、权重动能系数以及衰减系数等。训练过程所使用的损失函数如下：

a.对于分类任务，如情绪分类、行为分类等，采用交叉熵损失函数：

L_{cross-entropy}(Y，G)＝GlogY+(1-G)log(1-Y)

其中，Y为网络输出预测值，G为标签真实值；

b.对于回归任务，如面部、肢体关键点位置回归、面部朝向回归等，采用smoothL1损失函数：

其中，X为网络输出预测值，G为标签真实值；

对于目标级训练任务(如检测等)，相应损失函数根据每个批量中的目标数量归一化；

对于像素级训练任务(如分割等)，相应损失函数根据每个批量中的像素数量归一化；

对于多目标训练任务，相应损失函数可由各子目标加权求和所得；

(43)将步骤(42)中训练所得的模型权重参数根据前端嵌入式平台运算特性，经剪枝(通道剪裁以及稀疏化)与量化(8位或16位浮点、定点数据类型)等压缩操作后，部署于前端嵌入式平台(包括数据文件与配置文件)。

⑤结构化数据输出后处理：对于驾驶员以及驾驶舱神经网络分析结果进行信号处理，提取预定义驾驶舱结构化数据，主要包括驾驶舱状态、驾驶者状态以及其他成员状态，以CAN消息的形式(8字节)通过车载网关发送给上层应用终端，详细内容如下：

(51)驾驶舱状态：包括座位数以及各座位的占据状态(每个座位用2位二进制字符表示，0-空，1-成人，2-婴儿，3-宠物)；

(52)驾驶者状态：包括驾驶者基础信息(身份、年龄、性别、座位编号以及安全带状态信息，均以预定义整型数表示)，驾驶疲劳描述状态(眨眼频率，眼睛平均开度，哈欠频率以及瞳孔散度，均以浮点数表示)，驾驶注意力状态(面部朝向，眼球朝向)，驾驶情绪状态(0-正常，1-正面情绪，2-负面情绪)以及驾驶行为状态(使用电话-0/1，双手驾驶-0/1，单手驾驶-0/1，双手脱离-0/1，交谈状态-0/1)；

(53)其他成员状态：包括乘坐者基础信息(年龄、性别、座位编号以及安全带状态信息)，乘坐者情绪状态(0-正常，1-正面情绪，2-负面情绪)以及乘坐者行为状态(0-正常，1-睡觉，2-交谈，3-游戏，4，5，6，7，8-预留状态)。

本发明的优势在于：(i).使用多目红外补光相机输入，红外补光确保夜间视觉分析效果，广角相机保障了驾驶室场景的覆盖范围，窄角相机确保了驾驶者分析的视觉细节丰富性；(ii).基于共享卷积神经网络特征的多任务视觉场景分析，准确性高；可按运算性能以及应用需求前端部署相应推理输出分支，灵活性较强；(iii).驾驶舱分析应用广泛，其结构化数据输出能够支持各等级智能驾驶系统应用(驾驶者注意力、个性化驾驶特性等)以及智能座舱相关应用(乘客个性化交互配置等)，同时也能支持运营车辆的相关应用(如驾驶者行为监管、驾驶舱状态监管等)。

Claims (10)

1.一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于包括下列步骤：

①驾驶舱场景视觉数据采集与预处理；

②驾驶员结构化数据分析，包括：驾驶员上半身关键点分析；驾驶员面部关键点分析；驾驶员面部朝向分析；驾驶员眼部关键点以及朝向分析；手部行为分类；安全带状态分类；

③驾驶舱结构化数据分析，包括：驾驶舱语义分析；驾驶舱视深分析；驾驶舱成员检测；驾驶舱成员属性分析；

④离线模型训练以及在线模型部署；

⑤结构化数据输出后处理：提取包括驾驶舱状态、驾驶员状态以及其他成员状态的预定义驾驶舱结构化数据，通过车载网关发送给上层应用终端。

2.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的驾驶员上半身关键点分析采用下列方法：基于驾驶室红外场景驾驶员感兴趣区域输入，经多尺度卷积神经网络特征描述，输出包含头顶、颈根、左肩、右肩、左肘、右肘、左腕和右腕信息的驾驶员上半身关键点信息；其中，共享驾驶室卷积特征部分包括卷积、池化、正则以及激活操作；上半身关键点解码输出分支包括反卷积和上采样操作。

3.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的驾驶员面部关键点分析采用下列方法：基于上半身头部关键点输出以及浅层驾驶室卷积特征图谱描述进行面部关键点分析ROI池化。对于池化后面部区域浅层特征图谱，进行面部共享特征描述，作为不同面部区域相关神经网络应用输入；基于上述面部特征描述，级联面部关键点网络分支，输出面部分类、面部位置回归、面部关键点位置回归以及活体分类；

所述的驾驶员面部朝向分析采用下列方法：基于所述的驾驶员面部关键点分析中面部共享特征图谱输入以及面部位置回归输出进行面部特征ROI池化；级联面部朝向回归分支于池化后面部特征图谱，输出三维面部朝向角度。

4.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的驾驶员眼部关键点以及朝向分析采用下列方法：基于浅层面部共享特征图谱输入以及眼部关键点回归输出进行眼部特征ROI对齐；对于对齐后眼部特征图谱，级联眼球关键点回归分支，经神经网络运算操作，输出眼球关键点信息以及二维眼球朝向角度回归。

5.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的手部行为分类采用下列方法：基于驾驶员上半身关键点分析中上半身手部关键点输出以及浅层驾驶室卷积特征图谱描述进行手部状态分析ROI池化；对于池化后手部区域浅层特征图谱，级联安全带手部分类分支，经神经网络运算操作，输出驾驶员手部特征相关行为状态；

所述的安全带状态分类采用下列方法：基于驾驶员上半身关键点分析中上半身肩部关键点输出以及浅层驾驶室卷积特征图谱描述进行安全带状态分析ROI池化；对于池化后肩部区域浅层特征图谱，级联安全带状态分类分支，经神经网络运算操作，输出驾驶员安全带状态。

6.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的驾驶舱语义分析采用下列方法：基于驾驶舱分析相机场景输入，经多尺度卷积神经网络特征编码以及反卷积特征解码，输出驾驶舱语义信息；

所述的驾驶舱视深分析采用下列方法：基于驾驶舱分析相机场景输入，与驾驶舱语义分析分支复用共享多尺度卷积神经网络特征编码，经反卷积特征解码，输出驾驶舱视深信息。

7.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的驾驶舱成员检测采用下列方法：基于驾驶舱共享浅层特征图谱以及驾驶舱语义分支输出，进行座舱座位感兴趣区域特征池化；利用神经网络运算操作对上述浅层感兴趣特征在不同尺度进行进一步描述并级联送入上半身关键点解码分支，再经神经网络运算操作后，输出相应驾驶舱区域的成员关键点位置。

8.根据权利要求7所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的驾驶舱成员属性分析采用下列方法：基于所述的驾驶舱成员检测中座舱成员感兴趣区域池化特征输出，级联成员属性分析输出分支，经神经网络运算操作后，并行输出包含年龄、性别、情绪以及行为的成员属性分类结果。

9.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的步骤①包括下列步骤：

(11)图像通道截取：读取待处理图像队列中的图像数据，输入为YUV格式图片数据地址以及数据长度，选取亮度数据相应长度；

(12)图像ROI截取：输入步骤(11)中选取的亮度通道图像数据，按算法配置参数预设图像处理ROI，截取对应亮度通道数据；

(13)图像ROI缩放：读取神经网络拓扑文件中输入层维度，将步骤(12)中所截取的亮度通道图像ROI所对应数据，按双线性或最近邻方式缩放至神经网络所定义的输入维度；

(14)图像输入归一化：读取神经网络参数文件中输入层归一化参数，对输入的图像ROI数据进行归一化操作。

10.根据权利要求1所述的一种基于多目红外视觉系统的驾驶室场景分析方法，其特征在于所述的步骤④包括下列步骤：

(41)训练数据库：通过驾驶室相机采集不同条件驾驶舱场景训练数据，人工标注生成训练标签，建立离线训练数据库，包括座舱场景数据库、驾驶员数据库以及座舱成员数据库；

(42)离线模型训练：对于步骤(41)中建立的离线训练数据库，通过几何与色彩变化针对不同训练任务在线增广训练样本；采用迷你批量样本梯度下降的方式分步训练更新各分支模型参数，可配置的训练参数包括学习率、批量样本数量、权重动能系数以及衰减系数；

(43)在线模型部署：将步骤(42)中训练所得的模型权重参数根据前端嵌入式平台运算特性，经压缩操作后，部署于前端嵌入式平台。

Images