CN112380935B - 面向自动驾驶的人机协同感知方法及系统 - Google Patents

Abstract

本发明公开了面向自动驾驶的人机协同感知方法及系统，该方法包括：通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，提取脸部特征，获取特征角点；建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，并保存至注视点缓存数据库；基于注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态，构建拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整。本发明通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。

Description

面向自动驾驶的人机协同感知方法及系统

技术领域

本发明涉及智能驾驶的技术领域，特别涉及一种面向自动驾驶的人机协同感知方法及系统。

背景技术

智能辅助驾驶乃至自动驾驶技术是未来汽车发展的必然趋势。在该技术领域，当前感知系统成为阻碍自动驾驶技术发展的瓶颈。

目前，由于单传感器方案在应对复杂环境时存在的信息单一、不确定性高、可靠性低等先天不足，难以满足感知系统鲁棒性、准确性、稳定性的苛刻要求。相反，多传感器信息融合方案能够形成对不确定性信息的有效互补，已经成为当下感知主流的解决方案。激光雷达、毫米波雷达、摄像头、超声波雷达彼此之间或者多个同类型的多传感器组合感知方案就是为了获取车辆相对全面的车身环境信息，但是此类多传感器组合方案无法避开的弊端就是单位时间处理数据量大、硬件资源需求高，往往难以满意系统的实时性要求、系统不经济。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种面向自动驾驶的人机协同感知方法，能够有效降低单位时间处理数据量，提升系统处理速度。

本发明还提出一种具有上述面向自动驾驶的人机协同感知方法的面向自动驾驶的人机协同感知系统。

根据本发明的第一方面实施例的面向自动驾驶的人机协同感知方法，包括以下步骤：S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；S200，基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；S300，基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；S400，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

根据本发明实施例的面向自动驾驶的人机协同感知方法，至少具有如下有益效果：通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。

根据本发明的一些实施例，所述步骤S100包括：S110，通过所述双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像，进行全景合成拼接、灰度处理、二值化处理后，得到所述驾驶员面部合成图像；S120，通过人脸肤色模型，对所述驾驶员面部合成图像进行区分，得出待检区域，并基于人脸模型匹配所述待检区域，得到人脸检测图像，存入历史人脸数据库中；S130，从所述人脸检测图像中提取所述特征角点，识别出两只眼睛的内外眼角、两个嘴角及两个人眼中心点，并根据两内眼角和两嘴角建立人脸平面；S140，基于所述双目红外CCD在世界坐标系的位置和方向，求解所述特征角点的三维空间坐标，进行坐标转换得到所述特征角点的世界坐标，并根据所述特征角点的世界坐标建立所述眼球坐标系。

根据本发明的一些实施例，所述步骤S140还包括：S141，从所述历史人脸数据库中读取所述人脸检测图像，通过视频流分析驾驶员面部特征变化及视觉注意力变化，对驾驶员精神状态进行检测，获取精神状态评分；S142，若所述精神状态评分小于设定阈值，则继续通过所述双目红外CCD拍摄驾驶员头部影像获取所述人脸检测图像，重新计算所述精神状态评分；S143，否则，求解所述特征角点的三维空间坐标，并建立所述眼球坐标系。

根据本发明的一些实施例，所述步骤S200包括：S210，对所述驾驶员面部合成图像进行眼球区域识别，截取眼球区域图像，将所述眼球区域图像进行阈值分析，分别获取瞳孔阈值图像和普尔钦斑阈值图像，识别瞳孔和普尔钦斑，并计算出瞳孔中心和普尔钦斑点中心坐标，确立瞳孔-普尔钦斑位置关系映射函数；S220，根据所述瞳孔-普尔钦斑位置关系映射函数得出所述驾驶员三维视线；S230，通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系；S240，对所述驾驶员三维视线与环境感知摄像头成像求交，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库。

根据本发明的一些实施例，所述步骤S220还包括：S221，通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据；S222，基于环境模型进行数据融合，通过所述头部运动数据补偿视线追踪数据，推算并输出所述驾驶员三维视线。

根据本发明的一些实施例，所述眼动状态包括：注视、跳视以及平滑尾随跟踪。

根据本发明的一些实施例，所述步骤S400还包括：S410，获取当前驾驶员眼动特征，并与预设驾驶员眼动特征数据库的数据眼动特征进行比对，获取通过环境感知摄像头获取的感知图像的像素特征分类；S420，根据所述像素特征分类，对所述感知图像进行处理。

根据本发明的第二方面实施例的面向自动驾驶的人机协同感知系统，包括：面部图像采集模块，用于通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像；角点定位模块，用于从所述驾驶员面部合成图像中提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；注视点获取模块，用于基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；拓维感知标记模块，用于基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；感知融合模块，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

根据本发明实施例的面向自动驾驶的人机协同感知系统，至少具有如下有益效果：通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。

根据本发明的一些实施例，还包括：头部运动补偿模块，用于通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据，以及，基于环境模型进行数据融合，通过所述头部运动数据补偿视线追踪数据，推算并输出所述驾驶员三维视线。

根据本发明的一些实施例，还包括：感知图像分类处理模块，用于获取当前驾驶员眼动特征，并与预设驾驶员眼动特征数据库的数据眼动特征进行比对，获取通过环境感知摄像头获取的感知图像的像素特征分类，并根据所述像素特征分类，对所述感知图像进行处理。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的流程示意图；

图2为本发明实施例的方法中的数据处理过程示意图；

图3为本发明实施例的系统的模块示意框图。

附图标记：

面部图像采集模块100、角点定位模块200、注视点获取模块300、拓维感知标记模块400、感知融合模块500、头部运动补偿模块600、感知图像分类处理模块700。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

名词解释：

RIO，region of interest，感兴趣区域。

普尔钦斑(Purkinje image)，眼球角膜上的一个亮光点，由进入瞳孔的光线在角膜外表面上反射(corneal reflection，CR)而产生。

参照图1，本发明的实施例的方法包括：S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过特征角点的定位建立眼球坐标系；S200，基于眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；S300，基于驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；S400，根据拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

本发明的实施例中对数据的处理过程大致上分为以下四步：双目红外成像采集面部图像、GPU对面部图像处理、CPU计算数据并缓存、存储与融合输出；具体包括：图像采集、脸部特征检测、特征角点检测、特征三维坐标提取、驾驶视线方向计算、驾驶视线落点计算、融合输出，参照图2。双目红外CCD用于拍摄驾驶过程全工况下驾驶员面部，采集视频图像并缓存。GPU对面部图像处理包括对驾驶员面部特征检测和特征角点坐标提取；CPU计算定位驾驶员视线在环境摄像头成像中的RIO区域；存储与融合输出则根据缓存的驾驶员视觉RIO区域历史信息，对感知数据进行重构拓维，基于视觉注意力机制对拓维数据进行融合输出。

作为输入端的图像采集主要是采集和缓存驾驶员面部视频流图像。视频图像采集不能对驾驶员本身行为产生干扰，因此需要采用非穿戴式等对驾驶员行为干涉小的采集方式；此外，驾驶舱的光照环境通常非常复杂且恶劣，常规摄像头适用场景有限，因此必须采用对光照环境不敏感的红外摄像头。且驾驶过程中存在驾驶员自身运动造成的大偏转姿态，为了避免单摄像头捕捉驾驶员眼部失败，通过在设置于车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像。每个摄像头可能只能摄取脸部图像的一部分，本发明的一些实施例中，双目摄像头摄取的图像经过全景合成拼接、灰度处理、二值化处理成一部完整的驾驶员面部合成图像，再传递到下一处理流程。

脸部特征检测，用于提取合成图像中的驾驶员脸部位置，为接下来的脸部特征点提取做预处理，并为视线方向计算提供基础数据；应注意的是，人脸特征检测需要保持对驾驶员脸部特征的持续追踪，从而提高系统运行速度、降低误检率。本发明的实施例的方法中，通过人脸肤色模型将合成较像中的脸部区域与背景区域分开，得到可能存在脸部区域的待检区域，再通过人脸模型匹配待检区域，分析比较得到与该人脸模型的匹配度，从而根据该匹配度提取可能存在人脸的区域。在人脸检测成功基础上，开始之后的特征角点检测；如果人脸检测失败，则重新继续循环检测人脸。在脸部特征检测过程过程中，本发明的实施例的方法中，还对摄取的图像进行循环存储，构建历史人脸数据库，以便为接下来的驾驶员精神状态监测提供时间序列维度信息。

特征角点提取建立在脸部特征检测的基础上，通过脸部特征检测从驾驶员面部图像中裁剪获得人脸检测图像，从图片中提取人脸上的两只眼睛的内外眼角、两个嘴角、两个人眼中心点，对这些特征角点定位，并建立人脸坐标系。具体流程：首先在人脸检测图像之后，依据人脸区域“三庭五眼”原则进行人眼范围粗定位，以便缩小人眼检测范围，提高检测精度和检测速度；接着通过动态阈值分割、梯度变换等手段，完成眼睛等特征角点的提取，并根据两内眼角和两嘴角建立人脸平面。在检测出脸部区域及眼睛之后，可以通过红外CCD相机对驾驶员面部进行持续观测，通过视频流分析驾驶员面部特征点变化和视觉注意力变化，以检测驾驶员驾驶的精神状态(包括疲劳状态、驾驶专注度)，得到精神状态评分，并在驾驶员精神状态良好的情况下进行下一步操作，否则持续摄取脸部和眼部图像并循环观测；防止采集驾驶员疲劳状态的视觉追踪数据，融合感知后造成误判。

特征角三维坐标提取，即提取上述特征角点的三维坐标。通过经过标定的双目红外CCD相机系统，可以获取上述特征角点在双目相机成像系统中的位置和方位，然后，根据摄像机坐标系与理想坐标系之间的关系获取脸部角点位置相对坐标。根据眼角点和嘴角坐标建立人脸平面坐标系，其中人脸朝向与人脸平面垂直。接着，由摄像机在世界坐标系的位置和方向，从而求解出脸部角点三维空间坐标，通过一系类坐标转换即可获取各角点的世界坐标系。人眼在转动过程中基本可以假设眼球中心相对人脸坐标系的坐标是不变的，因此，可根据眼角和嘴角坐标确定眼球中心的坐标。据此，通过获取的角点坐标，建立眼球坐标系。

驾驶视线方向计算，该步骤就是求解驾驶员视线方向并保持持续追踪的过程。人眼的视线路径是视网膜中间的凹与晶体中间的连接线的方向。由于眼球的活动是很平动夹杂前后移动的复杂动态的过程，而并非纯球体的转动；因此，检测并获取严格定义上的视线方向将是非常困难的，故而一般定义上视线方向就是眼球中心与人眼表面中心的连线方向。根据“瞳孔-角膜反射方法”原理可知，普尔钦斑不会随着眼球运动而大幅变化，因此提取瞳孔和普尔钦斑坐标即可求解驾驶员视线方向。具体的，对面部合成图像中提取出的人脸检测图像进行眼球区域识别，截取眼球区域图像。再对眼球区域图像进行阈值分析，分别获取瞳孔阈值图像和普尔钦斑阈值图像，识别出瞳孔和普尔钦斑并计算出瞳孔中心和普尔钦斑点中心坐标，确立瞳孔-普尔钦斑位置关系映射函数。本发明的实施例中的对驾驶视线方向的计算还包括：利用头部跟踪进行图像数据补偿；包括：通过图像识别获取头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三维坐标系的三轴平动数据进行缓存记录，基于环境模型进行数据融合，利用头部运动数据补偿视线追踪数据，最终推算并输出三维空间方向视线。

驾驶视线落点计算主要用于完成驾驶员关注提取与追踪，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系。驾驶员三维视线是基于眼球坐标系的，环境感知摄像头成像上像素位置是基于成像坐标系的，因此建立二者之间的映射关系涉及坐标矩阵变换。其中，眼球坐标系相对双目红外CCD摄像机成像坐标系的位置是确定的，而双目红外CCD摄像机成像坐标系相对车身的坐标是确定的；同样，环境感知摄像头成像坐标系相对环境感知摄像头成像坐标系位置相对确定，而环境感知摄像头相对车身的位置确定。因此，通过坐标矩阵变换将驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，既可建立三维视线与环境感知摄像头成像像素信息的映射关系；再利用三维视线与环境感知摄像头成像求交，即可求解驾驶员视觉落点。对驾驶员视觉落点持续追踪，并保存至驾驶员注视点缓存数据库。可以理解的是，在本发明的实施例方法中，若检测到驾驶员三维视线与环境感知摄像头成像存在交集，即视觉落点求解成功则继续进行下一步数据融合，否则继续循环求解注视点。

信息融合则是在驾驶员注视点与成像像素配准的基础上进行有效信息提取和组合。在视觉理论上，眼部运动大致分为注视、跳视、平滑尾随跟踪三种运动形式，三种眼部运动形式代表了驾驶员不同的主观意图。其中，注视是眼球片刻的静止时间并伴随微小的眼动特征，其是对感兴趣目标上稳定的视网膜眼动，注视停留时间至少100ms～200ms以上；跳视则是眼球快速眼动，用于将视觉中心的中心凹快速转移到新的感兴趣区域，持续时间范围是10ms～100ms；平滑尾随跟踪是眼球跟踪运动感兴趣目标时的眼动行为，此时眼球与物体之间会产生一个稳定的关系。基于驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，并对此刻驾驶员眼动状态(注视、跳动、尾随跟踪)进行标记；同时对驾驶员视觉落点与成像的交点的像素区域进行标记；基于上述标记信息，构建包含驾驶员视觉信息的拓维环境感知图像数据库。

根据拓维环境感知图像数据，训练一个注意力的神经网络模块，该神经网络模块用于自动调整传统图像处理神经网络某部分的分配权重，以自适应图像像素遍历精细程度和区域，在像素标记下迅速定位图像感兴趣区域，减少算法像素遍历时间。在本发明实施例的方法中，对于通过环境感知摄像头获取的感知图像，还会通过预设驾驶员眼动特征数据库进行像素特征进行辅助分类，通过获取当前驾驶员眼动特征，在该预设驾驶员眼动特征数据库中查找匹配的数据眼动特征，确定当前感知图像的图像像素特征分类，从而选用特定的图像处理方法进行处理，能够提升恶劣环境下(光照、雨天、夜晚等)的环境感知的准确度。

本发明的实施例的系统，参照图3，包括：面部图像采集模块100，用于通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像；角点定位模块200，用于从驾驶员面部合成图像中提取脸部特征，获取特征角点，并通过特征角点的定位建立眼球坐标系；注视点获取模块300，用于基于眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；拓维感知标记模块400，用于基于驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；感知融合模块500，根据拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。头部运动补偿模块600，用于通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据，以及，基于环境模型进行数据融合，通过头部运动数据补偿视线追踪数据，推算并输出驾驶员三维视线。感知图像分类处理模块700，用于获取当前驾驶员眼动特征，并与预设驾驶员眼动特征数据库的数据眼动特征进行比对，获取通过环境感知摄像头获取的感知图像的像素特征分类，并根据像素特征分类，对感知图像进行处理。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种面向自动驾驶的人机协同感知方法，其特征在于，包括以下步骤：

S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；

S200，基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；

S300，基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；

S400，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

2.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S100包括：

S110，通过所述双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像，进行全景合成拼接、灰度处理、二值化处理后，得到所述驾驶员面部合成图像；

S120，通过人脸肤色模型，对所述驾驶员面部合成图像进行区分，得出待检区域，并基于人脸模型匹配所述待检区域，得到人脸检测图像，存入历史人脸数据库中；

S130，从所述人脸检测图像中提取所述特征角点，识别出两只眼睛的内外眼角、两个嘴角及两个人眼中心点，并根据两内眼角和两嘴角建立人脸平面；

S140，基于所述双目红外CCD在世界坐标系的位置和方向，求解所述特征角点的三维空间坐标，进行坐标转换得到所述特征角点的世界坐标，并根据所述特征角点的世界坐标建立所述眼球坐标系。

3.根据权利要求2所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S140还包括：

S141，从所述历史人脸数据库中读取所述人脸检测图像，通过视频流分析驾驶员面部特征变化及视觉注意力变化，对驾驶员精神状态进行检测，获取精神状态评分；

S142，若所述精神状态评分小于设定阈值，则继续通过所述双目红外CCD拍摄驾驶员头部影像获取所述人脸检测图像，重新计算所述精神状态评分；

S143，否则，求解所述特征角点的三维空间坐标，并建立所述眼球坐标系。

4.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S200包括：

S210，对所述驾驶员面部合成图像进行眼球区域识别，截取眼球区域图像，将所述眼球区域图像进行阈值分析，分别获取瞳孔阈值图像和普尔钦斑阈值图像，识别瞳孔和普尔钦斑，并计算出瞳孔中心和普尔钦斑点中心坐标，确立瞳孔-普尔钦斑位置关系映射函数；

S220，根据所述瞳孔-普尔钦斑位置关系映射函数得出所述驾驶员三维视线；

S230，通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系；

S240，对所述驾驶员三维视线与环境感知摄像头成像求交，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库。

5.根据权利要求4所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S220还包括：

S221，通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据；

S222，基于环境模型进行数据融合，通过所述头部运动数据补偿视线追踪数据，推算并输出所述驾驶员三维视线。

6.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述眼动状态包括：注视、跳视以及平滑尾随跟踪。

7.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S400还包括：

S410，获取当前驾驶员眼动特征，并与预设驾驶员眼动特征数据库的数据眼动特征进行比对，获取通过环境感知摄像头获取的感知图像的像素特征分类；

S420，根据所述像素特征分类，对所述感知图像进行处理。

8.一种面向自动驾驶的人机协同感知系统，其特征在于，包括：

面部图像采集模块，用于通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像；

角点定位模块，用于从所述驾驶员面部合成图像中提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；

注视点获取模块，用于基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；

拓维感知标记模块，用于基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；

感知融合模块，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

9.根据权利要求8所述的面向自动驾驶的人机协同感知系统，其特征在于，包括：

头部运动补偿模块，用于通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据，以及，基于环境模型进行数据融合，通过所述头部运动数据补偿视线追踪数据，推算并输出所述驾驶员三维视线。

10.根据权利要求8所述的面向自动驾驶的人机协同感知系统，其特征在于，包括：

感知图像分类处理模块，用于获取当前驾驶员眼动特征，并与预设驾驶员眼动特征数据库的数据眼动特征进行比对，获取通过环境感知摄像头获取的感知图像的像素特征分类，并根据所述像素特征分类，对所述感知图像进行处理。

Images