CN105279493A - 车辆行驶过程中驾驶人视觉识别系统 - Google Patents

Abstract

本发明公开了一种车辆行驶过程中驾驶人视觉识别系统，包括以下步骤：头部姿态的表示方法及正面基准图像、图像特征匹配、头部姿态估计、实验结构分析。该系统能够时刻对驾驶者的视觉进行检测，使得驾驶者在驾驶过程中视觉始终是处于正常范围中，防止其出现疲劳或者其他注意力不集中的现象，造成安全事故发生。

Description

车辆行驶过程中驾驶人视觉识别系统

技术领域

本发明涉及汽车领域，具体地，涉及一种车辆行驶过程中驾驶人视觉识别系统。

背景技术

汽车有如下定义：由动力驱动，具有4个或4个以上车轮的非轨道承载的车辆，主要用于：载运人员和或货物；牵引载运人员或货物的车辆；特殊用途。1879年，德国工程师卡尔·本茨，首次试验成功一台二冲程试验性发动机。1883年10月，他创立了“本茨公司和莱茵煤气发动机厂”，1885年，他在曼海姆制成了第一辆本茨专利机动车，该车为三轮汽车，采用一台二冲程单缸0.9马力的汽油机，此车具备了现代汽车的一些基本特点，如火花点火、水冷循环、钢管车架、钢板弹簧悬架、后轮驱动前轮转向和制动手把等。1886年的1月29日，德国工程师卡尔·本茨为其机动车申请了专利。同年11月，卡尔·本茨的三轮机动车获得了德意志专利权。这就是公认的世界上第一辆现代汽车。由于上述原因，人们一般都把1886年作为汽车元年，也有些学者把卡尔·本茨制成第一辆三轮汽车之年即1885年，视为汽车诞生年。1885年是汽车发明取得决定性突破的一年。当时和戴姆勒在同一工厂的本茨，也在研究汽车。他在1885年几乎与戴姆勒同时制成了汽油发动机，装在汽车上，以每小时12公里的速度行驶，获得成功。这一年，英国的巴特勒也发明了装有汽油发动机的汽车。此外，意大利的贝尔纳也发明了汽车，俄国的普奇洛夫和伏洛波夫两人发明了装有内燃机的汽车。以前中国没有汽车制造业。中国土地上第一辆汽车是1903年输入的美国产奥斯莫比尔牌小汽车，领得第一号汽车行驶牌证，其所有者为上海富翁。自1953年7月第一汽车制造厂动工兴建，1956年7月投产，1957年7月13日我国生产出第一辆载货的解放牌汽车，又于1958年5月，我国第一汽车制造厂自行研制设计生产了第一辆与当时政治风云起伏颠簸、荣辱与共的红旗牌乘用车，被誉为“东方神韵”。几十年来，我国汽车工业得到了快速的发展。特别是改革开放以来，汽车生产采用了各种高科技及人性化的安全及便利设施，汲国外汽车科研之精华。不仅秉乘了传统的坚固造型，更具时尚汽车的柔媚风貌，线条流畅，驾乘舒适的“座驾”新宠不断诞生。2001年底，中国正式加入了世贸组织，以此为契机，中国汽车产业迎来了一个新的高速发展时期。2009年，中国汽车产销分别为1379.10万辆和1364.48万辆，一举超越美国，称为世界第一汽车产销大国。2012年中国汽车全年产销分别为1927.18万辆和1930.64万辆，连续四年蝉联世界第一。进经过十年高速发展之后，中国自主品牌乘用车技术得到了长足的发展。2013年上半年先后上市的一汽红旗、北汽绅宝、长安睿骋、吉利帝豪、比亚迪思锐及此前已经先后上市的上汽荣威、广汽传祺等为代表的自主品牌高端乘用车向合资品牌发起集团式冲锋，将逐步改写自主品牌乘用车只能在中低端抢占市场的现状。现代汽车种类繁多，人们在驾驶汽车行驶过程中，由于驾驶者疲劳或者其他因素使得视觉不能集中，造成意外发生。

发明内容

本发明所要解决的技术问题是提供一种辆行驶过程中驾驶人视觉识别系统，该系统能够时刻对驾驶者的视觉进行检测，使得驾驶者在驾驶过程中视觉始终是处于正常范围中，防止其出现疲劳或者其他注意力不集中的现象，造成安全事故发生。

本发明解决上述问题所采用的技术方案是：车辆行驶过程中驾驶人视觉识别系统，包括以下步骤：

(1)头部姿态的表示方法及正面基准图像：头部姿态的转动包括三个自由度，即分别为绕X、Y、Z轴的转动，相应的运动分别称为横转、倾斜和俯仰，头部姿态估计都是相对驾驶员在正常驾驶过程中头部位姿而言的，把这一姿态叫做正面基准图像，采用主动设置方式，即驾驶员初次使用该系统时，保持驾车姿势，目视前方，将此时的图像作为正面基准图像，并把此时的坐标系作为标准坐标系；

(2)图像特征匹配：给定输入的视频序列，首先检测正面人脸的位置，以正面人脸为基准，标记正面人脸图像的姿态角度为0°，而网络摄像头获取的驾驶员在驾驶过程中视频序列同基准图像在不同角度、光线、遮挡等因素下有着很大的差异，图像特征匹配，检测到匹配点的数目直接影响匹配结果的准确性，对于满足传统隐含假设的特征点按已有算法进行匹配，对于不满足假设条件的区域，即难以直接匹配的区域通过优化的方法进行匹配，来获取更多的匹配点，利用SIFT算法对相邻帧图像之间进行特征点检测和匹配，然后利用驾驶员肤色等先验知识，对特征匹配结果进行过滤和跟踪，得到不同图像之间的人脸区域，实验结果表明，70×80象素的图像上，能够获得150个特征点；

(3)头部姿态估计：基于人脸区域内的特征匹配结果，利用对极几何的方法估计两幅图像之间的姿态角度，即三维空间中某一特征点X，被投影到两个不同的视角中，成像点位x1，x2，而成像点仅与摄像机的参数和相机间的相对姿态有关，本文驾驶员头部姿态，即考虑头部与摄像头之间的相对运动，则满足：

${X^T}_2{\mathrm{Fx}}_1=0$

F为基本矩阵，是极限约束的代数表示；设置e1，e2为对极点，即两摄像机的基线与成像平面的交点；C1，C2为两个相机的中心；l’表示图像中的x1点，在另外图像中的相应的对极线，即

l'＝Fx₁

首先根据归一化的线性8点算法获取基础矩阵，在此基础上进行驾驶员头部姿态角度，设摄像机的内参数为K，则摄像机矩阵为：

P＝K[P|t]

x＝PX为图像上的一点，则存在K^-1,使得，

x^＝K¹x

则空间一点X在摄像机归一化矩阵下的像为x^，与归一化摄像机矩阵对应的基础矩阵为摄像机本质矩阵与基本矩阵的关系为：

E＝K^TFK

质矩阵包含了旋转和平移矢量信息，即：

E＝[t]_xR

通过上式可从本质矩阵中获取旋转矩阵R，旋转矩阵可转化为欧拉角，即分别绕Z，Y，X的旋转角度为α，β，γ，旋转矩阵可表达为：

$R=\left[\begin{array}{ccc}\cos \mathrm{\α}& sin\mathrm{\α}& 0\\ sin\mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\β}& 0& sin\mathrm{\β}\\ 0& 1& 0\\ sin\mathrm{\β}& 0& cos\mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\mathrm{\γ}& sin\mathrm{\γ}\\ 0& sin\mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]$

基于人脸区域内的特征匹配结果，利用动态姿态估计算法估计图像之间的基础矩阵和本质矩阵，进而估计任意两幅相邻图像帧之间绕旋转轴X,Y,Z三个方向的相对角度；

(4)实验结构分析：对于使用本系统进行头部姿态估计时，采用驾驶员上车后获取的基准图像为标准正面人脸坐标系，设驾驶员内眼角连线的中心为坐标原点，通过网络摄像头获取的每一帧图像，通过图像特征匹配算法获取足够多的特征点，利用RANSAC算法将错误的匹配点过滤，然后利用头部姿态估计算法，计算驾驶员人脸相对于标准坐标系的旋转矩阵，进而估计出该帧的驾驶员头部姿态相对于正面姿态的α，β，γ旋转角度，当驾驶员头部横滚姿态，即此时驾驶员大部分时间目视前方，而且头部有小幅度的左右转动，即横滚，观察路况，记录的驾驶员处于疲劳状态，驾驶过程中，每隔一段时间会出现头部大幅度低下，即俯视，接着会迅速抬起，而且大幅度点头的频率越来越高，在驾驶员头部长时间左偏，即偏航，持续时间长过120帧，表示驾驶员走神或瞌睡，出现俯视及偏航情况，系统会发出警报，提醒驾驶员。

本方案通过在行驶过程驾驶人操作，通过算法计算后，投影显示，视觉上能够快速得到信息，便于对前方行人、车辆以及路线的识别。

综上，本发明的有益效果是：该系统能够时刻对驾驶者的视觉进行检测，使得驾驶者在驾驶过程中视觉始终是处于正常范围中，防止其出现疲劳或者其他注意力不集中的现象，造成安全事故发生。

具体实施方式

下面结合实施例，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例：

车辆行驶过程中驾驶人视觉识别系统，包括以下步骤：

(1)头部姿态的表示方法及正面基准图像：头部姿态的转动包括三个自由度，即分别为绕X、Y、Z轴的转动，相应的运动分别称为横转、倾斜和俯仰，头部姿态估计都是相对驾驶员在正常驾驶过程中头部位姿而言的，把这一姿态叫做正面基准图像，采用主动设置方式，即驾驶员初次使用该系统时，保持驾车姿势，目视前方，将此时的图像作为正面基准图像，并把此时的坐标系作为标准坐标系；

(2)图像特征匹配：给定输入的视频序列，首先检测正面人脸的位置，以正面人脸为基准，标记正面人脸图像的姿态角度为0°，而网络摄像头获取的驾驶员在驾驶过程中视频序列同基准图像在不同角度、光线、遮挡等因素下有着很大的差异，图像特征匹配，检测到匹配点的数目直接影响匹配结果的准确性，对于满足传统隐含假设的特征点按已有算法进行匹配，对于不满足假设条件的区域，即难以直接匹配的区域通过优化的方法进行匹配，来获取更多的匹配点，利用SIFT算法对相邻帧图像之间进行特征点检测和匹配，然后利用驾驶员肤色等先验知识，对特征匹配结果进行过滤和跟踪，得到不同图像之间的人脸区域，实验结果表明，70×80象素的图像上，能够获得150个特征点；

(3)头部姿态估计：基于人脸区域内的特征匹配结果，利用对极几何的方法估计两幅图像之间的姿态角度，即三维空间中某一特征点X，被投影到两个不同的视角中，成像点位x1，x2，而成像点仅与摄像机的参数和相机间的相对姿态有关，本文驾驶员头部姿态，即考虑头部与摄像头之间的相对运动，则满足：

${X^T}_2{\mathrm{Fx}}_1=0$

F为基本矩阵，是极限约束的代数表示；设置e1，e2为对极点，即两摄像机的基线与成像平面的交点；C1，C2为两个相机的中心；l’表示图像中的x1点，在另外图像中的相应的对极线，即

l'＝Fx₁

首先根据归一化的线性8点算法获取基础矩阵，在此基础上进行驾驶员头部姿态角度，设摄像机的内参数为K，则摄像机矩阵为：

P＝K[P|t]

x＝PX为图像上的一点，则存在K^-1,使得，

x^＝K¹x

则空间一点X在摄像机归一化矩阵下的像为x^，与归一化摄像机矩阵对应的基础矩阵为摄像机本质矩阵与基本矩阵的关系为：

E＝K^TFK

质矩阵包含了旋转和平移矢量信息，即：

E＝[t]_xR

通过上式可从本质矩阵中获取旋转矩阵R，旋转矩阵可转化为欧拉角，即分别绕Z，Y，X的旋转角度为α，β，γ，旋转矩阵可表达为：

$R=\left[\begin{array}{ccc}\cos \mathrm{\α}& sin\mathrm{\α}& 0\\ sin\mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\β}& 0& sin\mathrm{\β}\\ 0& 1& 0\\ sin\mathrm{\β}& 0& cos\mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\mathrm{\γ}& sin\mathrm{\γ}\\ 0& sin\mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]$

基于人脸区域内的特征匹配结果，利用动态姿态估计算法估计图像之间的基础矩阵和本质矩阵，进而估计任意两幅相邻图像帧之间绕旋转轴X,Y,Z三个方向的相对角度；

(4)实验结构分析：对于使用本系统进行头部姿态估计时，采用驾驶员上车后获取的基准图像为标准正面人脸坐标系，设驾驶员内眼角连线的中心为坐标原点，通过网络摄像头获取的每一帧图像，通过图像特征匹配算法获取足够多的特征点，利用RANSAC算法将错误的匹配点过滤，然后利用头部姿态估计算法，计算驾驶员人脸相对于标准坐标系的旋转矩阵，进而估计出该帧的驾驶员头部姿态相对于正面姿态的α，β，γ旋转角度，当驾驶员头部横滚姿态，即此时驾驶员大部分时间目视前方，而且头部有小幅度的左右转动，即横滚，观察路况，记录的驾驶员处于疲劳状态，驾驶过程中，每隔一段时间会出现头部大幅度低下，即俯视，接着会迅速抬起，而且大幅度点头的频率越来越高，在驾驶员头部长时间左偏，即偏航，持续时间长过120帧，表示驾驶员走神或瞌睡，出现俯视及偏航情况，系统会发出警报，提醒驾驶员。

该系统能够时刻对驾驶者的视觉进行检测，使得驾驶者在驾驶过程中视觉始终是处于正常范围中，防止其出现疲劳或者其他注意力不集中的现象，造成安全事故发生。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术、方法实质上对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (1)

1.车辆行驶过程中驾驶人视觉识别系统，其特征在于，包括以下步骤：

(1)头部姿态的表示方法及正面基准图像：头部姿态的转动包括三个自由度，即分别为绕X、Y、Z轴的转动，相应的运动分别称为横转、倾斜和俯仰，头部姿态估计都是相对驾驶员在正常驾驶过程中头部位姿而言的，把这一姿态叫做正面基准图像，采用主动设置方式，即驾驶员初次使用该系统时，保持驾车姿势，目视前方，将此时的图像作为正面基准图像，并把此时的坐标系作为标准坐标系；

(2)图像特征匹配：给定输入的视频序列，首先检测正面人脸的位置，以正面人脸为基准，标记正面人脸图像的姿态角度为0°，而网络摄像头获取的驾驶员在驾驶过程中视频序列同基准图像在不同角度、光线、遮挡等因素下有着很大的差异，图像特征匹配，检测到匹配点的数目直接影响匹配结果的准确性，对于满足传统隐含假设的特征点按已有算法进行匹配，对于不满足假设条件的区域，即难以直接匹配的区域通过优化的方法进行匹配，来获取更多的匹配点，利用SIFT算法对相邻帧图像之间进行特征点检测和匹配，然后利用驾驶员肤色等先验知识，对特征匹配结果进行过滤和跟踪，得到不同图像之间的人脸区域，实验结果表明，70×80象素的图像上，能够获得150个特征点；

(3)头部姿态估计：基于人脸区域内的特征匹配结果，利用对极几何的方法估计两幅图像之间的姿态角度，即三维空间中某一特征点X，被投影到两个不同的视角中，成像点位x1，x2，而成像点仅与摄像机的参数和相机间的相对姿态有关，本文驾驶员头部姿态，即考虑头部与摄像头之间的相对运动，则满足：

x^T ₂Fx₁＝0

F为基本矩阵，是极限约束的代数表示；设置e1，e2为对极点，即两摄像机的基线与成像平面的交点；C1，C2为两个相机的中心；l’表示图像中的x1点，在另外图像中的相应的对极线，即

l'＝Fx₁

首先根据归一化的线性8点算法获取基础矩阵，在此基础上进行驾驶员头部姿态角度，设摄像机的内参数为K，则摄像机矩阵为：

P＝K[P|t]

x＝PX为图像上的一点，则存在K^-1,使得，

则空间一点X在摄像机归一化矩阵下的像为与归一化摄像机矩阵对应的基础矩阵为摄像机本质矩阵与基本矩阵的关系为：

E＝K^TFK

质矩阵包含了旋转和平移矢量信息，即：

E＝[t]_xR

通过上式可从本质矩阵中获取旋转矩阵R，旋转矩阵可转化为欧拉角，即分别绕Z，Y，X的旋转角度为α，β，γ，旋转矩阵可表达为：

$R=\left[\begin{array}{ccc}cos\mathrm{\α}& sin\mathrm{\α}& 0\\ sin\mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\β}& 0& sin\mathrm{\β}\\ 0& 1& 0\\ sin\mathrm{\β}& 0& cos\mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\mathrm{\γ}& sin\mathrm{\γ}\\ 0& sin\mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]$

基于人脸区域内的特征匹配结果，利用动态姿态估计算法估计图像之间的基础矩阵和本质矩阵，进而估计任意两幅相邻图像帧之间绕旋转轴X,Y,Z三个方向的相对角度；

(4)实验结构分析：对于使用本系统进行头部姿态估计时，采用驾驶员上车后获取的基准图像为标准正面人脸坐标系，设驾驶员内眼角连线的中心为坐标原点，通过网络摄像头获取的每一帧图像，通过图像特征匹配算法获取足够多的特征点，利用RANSAC算法将错误的匹配点过滤，然后利用头部姿态估计算法，计算驾驶员人脸相对于标准坐标系的旋转矩阵，进而估计出该帧的驾驶员头部姿态相对于正面姿态的α，β，γ旋转角度，当驾驶员头部横滚姿态，即此时驾驶员大部分时间目视前方，而且头部有小幅度的左右转动，即横滚，观察路况，记录的驾驶员处于疲劳状态，驾驶过程中，每隔一段时间会出现头部大幅度低下，即俯视，接着会迅速抬起，而且大幅度点头的频率越来越高，在驾驶员头部长时间左偏，即偏航，持续时间长过120帧，表示驾驶员走神或瞌睡，出现俯视及偏航情况，系统会发出警报，提醒驾驶员。