CN111797810A - 一种行车过程中驾驶员前视预瞄区域的获取方法 - Google Patents

一种行车过程中驾驶员前视预瞄区域的获取方法 Download PDF

Info

Publication number
CN111797810A
CN111797810A CN202010696894.8A CN202010696894A CN111797810A CN 111797810 A CN111797810 A CN 111797810A CN 202010696894 A CN202010696894 A CN 202010696894A CN 111797810 A CN111797810 A CN 111797810A
Authority
CN
China
Prior art keywords
driver
image
fixation point
acquiring
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010696894.8A
Other languages
English (en)
Other versions
CN111797810B (zh
Inventor
胡宏宇
程铭
赵宇婷
盛愈欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010696894.8A priority Critical patent/CN111797810B/zh
Publication of CN111797810A publication Critical patent/CN111797810A/zh
Application granted granted Critical
Publication of CN111797810B publication Critical patent/CN111797810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种行车过程中驾驶员前视预瞄区域的获取方法,包括如下步骤:步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像,并获取驾驶员视角图像坐标系下的行车眼动数据;步骤二、对所述驾驶员视角图像进行图像矫正;步骤三、获得所述驾驶员视角图像坐标系下的注视点,并且计算采样周期内的修正注视点图像坐标;步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配,消除驾驶员视角图像的动态抖动,获取消除抖动后的修正注视点图像坐标;步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系,得到驾驶员前视预瞄区域。

Description

一种行车过程中驾驶员前视预瞄区域的获取方法
技术领域
本发明属于驾驶员视觉建模技术领域,特别涉及一种行车过程中驾驶员前视预瞄区域的获取方法。
背景技术
在行车过程中,驾驶员通过眼睛观察道路环境,如道路标识,红绿灯,周围车辆,行人等目标,然后大脑对视觉输入信息进行加工处理,在保证安全驾驶的前提下,产生行车决策,进而指导手脚对车辆的方向盘、油门踏板、刹车踏板进行操纵,实现预期的车辆控制。因此,驾驶员的视觉行为在行车过程具有重要的作用,是大脑产生行车决策的先行条件,是指导车辆按照预期轨迹行驶的基础。
驾驶车辆是一项动态控制任务,在该任务中,驾驶员必须从大量主要是视觉输入中选择相关信息,以做出决策并执行适当的控制响应。尽管有时司机必须对一些意外事件做出反应,但一般来说,司机执行的计划行动是由他们对前方展开的道路、行人和交通场景的期望以及他们实际观察到的现实所决定的。驾驶员从道路的视觉观察中获取信息,将这些几何信息转换为驾驶决策与操纵行为。视觉在人类控制自我运动方面起着主导作用,驾驶员和车辆之间的交互取决于驾驶员如何处理来自前方道路和周围环境的信息。在考虑视觉认知的驾驶员模型中,可以通过驾驶员驾驶过程中注视点的位置及前方视野,对驾驶员进行可靠的操纵稳定性评价,驾驶员自身也能够及时感知前方道路信息,做出决策和适当的控制行为,使控制效果更具人性化。
驾驶过程中,驾驶员可以根据前方车道、障碍车辆等信息,提前预判是否需要进行转向操作,这一过程被称为预瞄,驾驶员的预瞄行为可以提升车辆控制的稳定性。驾驶员预瞄行为是模拟一个真实驾驶员的视觉预瞄输入-控制输出的实际驾驶过程,进而通过一个以侧向偏差或航向角偏差作为反馈量的PI控制器模型形式来进行表征。通过模拟了驾驶员真实的预瞄行为,提取获取前方道路的信息来进行车辆横向控制,能够取得较高的路径跟踪精度。驾驶员预瞄建模不仅可以用于汽车操纵稳定性的评价,在智能汽车轨迹跟踪中也有着广泛的应用前景。那么如何获取真实驾驶过程中的预瞄点以及构建鸟瞰视角投影,对于研究行车过程的驾驶员行为,与构建人性化的驾驶员横向控制模型具有重要的意义;对于获得控制精度接近甚至优于真实驾驶员的控制模型,研究人-车-路交互、获得更人性化的控制效果具有重要的作用。
目前驾驶员视觉预瞄的很多研究都是从理论推导或者模拟假设进行求解,缺乏真实行车过程获取驾驶员前视预瞄行为的方法。
发明内容
本发明设计开发了一种能够在行车过程中获取驾驶员前视预瞄点及鸟瞰投影视图的方法,在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像,并获取驾驶员视角图像坐标系下的行车注视点坐标,对所述驾驶员视角图像进行图像矫正,根据所述图像坐标系下的注视点坐标进行变化得到注视点的空间坐标,进而得到所述驾驶员前视预瞄点,将所述注视点的空间坐标投影到鸟瞰视角视图,得到前视预瞄的鸟瞰投影视图。本发明的目的是通过实车驾驶利用图像处理技术得到驾驶员真实的预瞄点。
本发明提供的技术方案为:
一种行车过程驾驶员前视预瞄点及鸟瞰视角投影获取方法,包括如下步骤:
步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像,并获取驾驶员视角图像坐标系下的行车眼动数据;
步骤二、对所述驾驶员视角图像进行图像矫正;
步骤三、获得所述驾驶员视角图像坐标系下的注视点,并且计算采样周期内的修正注视点图像坐标;
步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配,消除驾驶员视角图像的动态抖动,获取消除抖动后的修正注视点图像坐标;
步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系,得到驾驶员前视预瞄区域。
优选的是,在所述步骤二中,通过如下公式对图像进行矫正:
Figure BDA0002591563650000031
Figure BDA0002591563650000032
其中,(xu,yu)是矫正后得到的像素点坐标,(xd,yd)为所述像素点畸变后的坐标,(x0,y0)为畸变中心坐标,rd为所述像素点距离畸变中心的距离,λ为畸变系数。
优选的是,在所述步骤四中,获取消除抖动后的修正注视点图像坐标,包括如下步骤:
步骤1、在行车记录仪采集的图像中筛选多个第一特征点,在同时刻采集所述驾驶员视角图像中筛选出多个第二特征点;
其中,所述多个第一特征点与所述多个第二特征点为一一对应关系;
步骤2、随机选择4对相互对应的第一特征点和第二特征点,并且得到所述第一特征点与所述第二特征点之间的变换矩阵;
步骤3、根据所述变换矩阵及所述驾驶员视角图像坐标系下的修正注视点坐标计算得到所述消除抖动后的修正注视点图像坐标;
Figure BDA0002591563650000033
式中,
Figure BDA0002591563650000034
为变换矩阵,(x,y)为驾驶员视角视频中图像坐标系下的修正注视点坐标;(x',y')为消除抖动后的修正注视点图像坐标。
优选的是,在所述步骤1中,通过如下公式筛选出所述第一特征点:
Figure BDA0002591563650000041
其中,能够满足det(H)=0的所有的像素点即为所述第一特征点,f(x,y)是图像在该像素点的灰度值。
优选的是,在所述步骤2中,得到变化矩阵包括如下步骤:
步骤a、选取m组特征点;并且根据所述m组特征点分别计算出m个初始变化矩阵:
其中,每组所述特征点均包括随机选择的4对相互对应的第一特征点和第二特征点;
步骤b、使用所述m个初始变化矩阵分别变换所有第二特征点,得到的变换后的第二特征点;
步骤c、计算所述变换后的第二特征点与其对应的所述第一特征点的匹配误差;筛选出匹配误差最小的计算结果对应的初始变换矩阵,即为所述变换矩阵;
其中,所述匹配误差为:
Figure BDA0002591563650000042
式中,(x1′0,y1′0)表示变换后的第二特征点的坐标,(x1,y1)表示第一特征点的坐标。
优选的是,在所述步骤c中,当所述匹配误差S≤10时,保留对应的初始变换矩阵,否则舍弃对应的初始变换矩阵。
优选的是,在所述步骤五中,通过如下变换将将所述消除抖动后的预瞄点图像坐标投影到世界坐标系:
Figure BDA0002591563650000043
其中,(x',y')为消除抖动后的修正注视点图像坐标,(x″,y″)为所述消除抖动后的修正注视点图像坐标投射到鸟瞰视角路面上的坐标;H'为通过行车记录仪相机位姿参数计算的透视矩阵。
优选的是,所述通过行车记录仪相机位姿参数计算的透视矩阵为:
Figure BDA0002591563650000051
其中,(X0,Y0)为修正注视点图像中心坐标,R为行车记录仪相机位置的旋转正交矩阵,T为行车记录仪相机位置的平移矩阵,f为行车记录仪相机焦距。
本发明的有益效果是:
本发明提供的行车过程中驾驶员前视预瞄区域的获取方法,通过行车过程对驾驶员眼动数据及前视视频图像数据进行采集,获取驾驶员视角图像坐标下的注视点,最终得到预瞄点的鸟瞰视角投影;本发明能够通过实车驾驶过程得到更为真实的预瞄点,克服了现有技术中从理论推导进行的求解,缺乏实车测试的数据支撑的缺陷。
附图说明
图1为本发明所述的行车过程驾驶员注视点获取流程图。
图2为本发明所述的将驾驶员视角图像投影到路平面的示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1所示,本发明提供了一种行车过程驾驶员前视预瞄点及鸟瞰视角投影获取方法,具体实施过程主要包括:
步骤一、试验设备准备。
试验设备包括:眼镜式眼动仪,用于实时获取行车过程驾驶员眼动数据(图像坐标系)及驾驶员视角的道路视频图像(由安装在眼镜式眼动仪上的单目摄像头拍摄)。由于眼镜式眼动仪会随驾驶员头部转动,会导致其所拍摄的视频图像也是动态的。因此,使用固定视角行车记录仪同步采集行车前方道路视频图像,后期用于驾驶员视角图像的匹配与矫正。安装该行车记录仪时,需要预先测量该行车记录仪距离车辆后轴中点位置。该行车记录仪装在前风挡玻璃,后视镜正下方,所拍摄视角为行车正前方。
步骤二、数据同步。
由于试验使用了眼动仪、行车记录仪系统进行数据采集,在数据分析过程中多套系统采集到的数据需要同步。为此,在采集这两组数据时都额外记录了每一帧数据的Unix时间戳(Unix timestamp)。Unix时间戳在许多操作系统中被广泛采用。试验中使用多套数据采集设备均可以记录该时间戳。在使用Unix时间作为同步基准之后,总体的同步误差可以小于1ms,并且没有额外的设备需求。
步骤三、图像畸变矫正。
从摄像机获得的原始视频、图像存在一定畸变。这种畸变会对后续图像-世界坐标变换存在影响,导致驾驶员的注视点获取存在偏差。在视频图像数据处理阶段,利用如下公式进行图像矫正:
Figure BDA0002591563650000061
Figure BDA0002591563650000062
式中,(x0,y0)为畸变中心坐标,rd为所述像素点距离畸变中心的距离,λ为畸变系数,(xu,yu)是矫正后得到的像素点坐标,(xd,yd)为所述像素点当前坐标。
参数λ仅与摄像机镜头参数有关,需要在测试之前进行摄像机参数标定,具体方法如下:
1.使用待测摄像机拍摄标定用图,一般为直线组成的图形,并且尽量在各个方向均有直线(标定板上的几何直线);
2.识别圆弧,一般可以通过角点检测或者边缘检测的方式估算各圆弧(直线畸变形成的圆弧)的几何参数(圆心及半径);
获取的直线表示为如下形式(即求解式中A、B、C):
Figure BDA0002591563650000071
3.将各直线段畸变后的圆弧的几个重要特征点,获取实际点,畸变点,畸变中心的坐标。具体计算公式如下,其中求解x0,y0
(A1-A2)x0+(B1-B2)y0+(C1-C2)=0
(A1-A3)x0+(B1-B3)y0+(C1-C3)=0
4.通过畸变中心参数匹配并估算式中的系数λ(畸变系数一般为普通镜头尺寸的1/20;
Figure BDA0002591563650000072
5.使用上式进行逐像素点的变换获得矫正后的图像。
步骤四、行车过程驾驶员注视点获取。
驾驶员的可视范围可分为三个区域:中心区,中央扩展区,旁侧区。中心区(双眼中心垂直2°处)的可视性非常好,中央扩展区(延伸到5°左右)的可视性相对较差,在旁侧区(中央扩展区以外的区域)的可视性很差。为了获取本车道信息以及前方障碍目标,驾驶员会通过眼动,使中心区与驾驶员关注的目标重合,更好地观察目标物体获取相关视觉信息。以往的研究发现人切换观测对象是通过一种叫做视点切换的反应实现的。在两次视点切换之间,我们的眼睛会相对静止地注视大约0.2S。视点切换过程中眼睛快速运动,此时对视觉信息的输入敏感度会降低,一般认为此时不能有效地获取视觉信息。眼动设备采集到的原始眼动数据包含了注视点和扫视点,其中的扫视点记录了驾驶员视点切换的过程,驾驶员扫视点更多时候是由于视线移动造成,对于道路环境认知,我们更为关注驾驶员的注视信息。
通过计算一个动态时间窗口内的视点偏离,来判断是否为注视点。视点偏离具体计算公式为:
D=(max(x)-min(x))+(max(y)-min(y))
其中,max(x)为窗口内视点x坐标最大值,max(y)为窗口内视点y坐标最大值;min(x)为窗口内视点x坐标最小值,min(y)为窗口内视点y坐标最小值。
1)初始化,时间窗口初值设定为0.2s,视点偏离阈值这里设定为50;
2)计算时间窗口内的视点偏离D,如果低于视点偏离阈值,则认为该时间窗口是注视点,执行第3步;否则如果高于或等于视点偏离阈值,执行第4步;
3)进入下一时刻,更新时间窗口,将下一时刻数据划入该动态时间窗口数据集,执行第2步;
4)滑动时间窗口,新时间窗口起始从上一个窗口的末尾时刻T+1接入,窗口大小0.2S,执行第2步。
采用这种方法遍历时间序列,进而获得所有有效的行车过程注视点。
步骤五、确定时间间隔T内的修正注视点图像坐标。
由于驾驶员的预瞄行为与车辆行驶速度相关,因此我们获取时间间隔T(取值为1s)内的视频图像集合,假定该时间片段速度变化很小,忽略速度变化对预瞄行为的影响。
统计该时间片段T内,每一帧图像内所有注视点的水平、垂直方向位置分布。进而计算分布中心的横纵坐标值(Dx,Dy),以此作为该帧图像的驾驶员注视点图像坐标。
进一步的,计算T内所有n帧图像的注视点分布中心横纵坐标值,计算平均坐标
Figure BDA0002591563650000081
以此作为时间T内的修正注视点坐标。
行车过程的注视点应分布在灭点以下,灭点是在存在于空间中延申向无穷远处的一组平行线(车道的左右车道线)在透视投影到二维图像也就是摄像机获取的图像内相交的交点,即视野内道路的终点。当计算得到的修正注视点的垂直方向高度在灭点高度以下,且坐落于在当前车道内时,意味着驾驶员预瞄落在行驶道路上,即驾驶员存在合理的预瞄行为。否则,保留上一时间间隔的修正注视点作为当前时间间隔的修正注视点。
对于第一次计算修正注视点,如果符合上述条件,则选择计算修正注视点坐标;假设不满足上述条件,修正注视点坐标初始值赋值为灭点坐标。
以此类推,每个时间间隔T内,均可计算出驾驶员的修正注视点。
步骤六,驾驶员视角图像与行车记录仪图像匹配。
要获得注视点的空间坐标需要确定摄像头的空间位置,但眼动仪为头戴眼镜式,行驶过程中不可避免地发生位置移动,且不同驾驶员身高、坐姿习惯都有差异,导致驾驶员视角采集到的图像可能是动态变化的(安装在眼动仪上的摄像头采集)。直接对其进行图像坐标变换,其摄像机参数(离地高度,俯仰,侧倾)均不确定,因此需要一个在车内位置相对固定的摄像机(上述行车记录仪)同时采集视频图像数据以供匹配对比参考,确定一个稳定的投影透视矩阵,进而准确获取预瞄点图像坐标在世界坐标系空间的投影。
使用SURF特征进行图像匹配。SURF算法使用了Hessian矩阵计算每一个像素点的特征值,进而识别出图像稳定的边缘点(突变点),这些边缘点实际也就是Hessian矩阵的判别式取得局部极大值的点。
Figure BDA0002591563650000091
Figure BDA0002591563650000092
上式中,(x,y)是某一像素点的坐标,f(x,y)是该像素点的灰度值。能够满足det(H)=0的所有像素点,即为特征点。在找到特征点后,SURF会用一个独特的不随透视变换变化的特征向量描述它,以方便后续的匹配。下面是具体的特征向量求取方式:
1.先求取主方向值,需要设计一个以特征点为中心,张角为60度的扇形滑动窗口,统计这个扇形区域内的Haar小波特征总和。以步长为0.2弧度左右,旋转这个滑动窗口,再统计小波特征总和。小波特征总和最大的方向为主方向。特征总和的求法是对图像Haar小波响应值dx、dy进行累加,得到一个矢量mw
Figure BDA0002591563650000093
Figure BDA0002591563650000094
主方向为最大Haar响应累加值所对应的方向,也就是最长矢量所对应的方向,即:
θ=θw|max{mw}
2.在特征点周围选取一个正方形框,方向(正方形对角线方向)为特征点的主方向。将其划分为16个区域,每个区域统计25个像素的水平方向和垂直方向的Haar小波特性(均相对于正方形框的主方向确定的)。生成特征点描述子,需要计算图像的Haar小波响应。在一个矩形区域来计算Haar小波响应。
3.以特征点为中心,沿主方向将图像划分为4×4个子块,每个子块利用Haar模板进行响应值计算,最后子块对应的特征向量:
V子块=[∑dx,∑|dx|,∑dy,∑|dy|];
至此,每个特征点的特征矢量已经可以求得,对于两幅待匹配图像都进行一次SURF特征检测,可以获得两组特征点和特征矢量。在基准图像(固定的摄像头采集的图像)与待匹配图像(眼动仪获得的驾驶员视角的图像)中分别生成匹配的SURF特征点对。然后使用RANSAC算法使更多的特征点和特征矢量相匹配。该算法假设数据由正常点和异常点构成,异常点是完全不适应假设模型的数据,对结果无影响。具体的实现方式是:
1.首先随机选择4个特征点作为初始特征点。然后用这些点计算一个Homography矩阵,该计算结果唯一;
Figure BDA0002591563650000101
式中,(x20,y20)为待匹配图像中选择的初始特征点的坐标,(x10,y10)为基准图像上选择的初始特征点的坐标;H表示Homography矩阵。
2.使用该Homography矩阵变换驾驶员视角视频图像中的其他所有特征点;
Figure BDA0002591563650000102
式中,H表示Homography矩阵,(x2,y2)为驾驶员视角图像坐标系下的特征点坐标;(x1′,y1′)表示使用该Homography矩阵变换将(x2,y2)的投影变换结果;
3.将(x1′,y1′)与对应基准图像的匹配的特征点(x1,y1)进行误差分析,如果满足下式则直接输出该Homography矩阵(n为特征点数)。此时误差足够小,精度足够高。
Figure BDA0002591563650000111
4.如果本次匹配的特征点误差分析结果S大于之前一次则直接舍弃本次计算结果;否则保留本次Homography矩阵,并继续进行下一次迭代计算;直到筛选出误差分析结果S最小(匹配程度最高)的Homography矩阵,作为变换矩阵。
5.根据所述变换矩阵及所述驾驶员视角视频中图像坐标系下的修正注视点坐标计算得到所述消除抖动后的修正注视点图像坐标;
Figure BDA0002591563650000112
式中,
Figure BDA0002591563650000113
为变换矩阵,(x,y)为驾驶员视角视频中图像坐标系下的修正注视点坐标;(x',y')为消除抖动后的修正注视点图像坐标。
步骤七,获得预瞄区域鸟瞰投影视图。
如图2所示,为了简化计算,忽略路面的倾斜,同样可以用一个二维坐标表示驾驶员在路面平面的注视位置,这二维坐标就是我们希望获得的注视点的空间位置。考虑到从驾驶员视角图像变换到二维的路面平面也属于一种透视变换,我们只需要通过行车记录仪摄像头的空间位置、焦距等参数求解透视矩阵H’:
Figure BDA0002591563650000114
式中,(X0,Y0)为图像中心坐标,f为行车记录仪相机焦距,R为行车记录仪相机位置的正交旋转矩阵,T为行车记录仪相机位置的平移矩阵。
R为行车记录仪相机位置的正交旋转矩阵,可写为:
Figure BDA0002591563650000121
T为行车记录仪相机位置的平移矩阵,可写为:
Figure BDA0002591563650000122
基于此可将整幅驾驶员视角图像(消除动态抖动后的)投影到道路平面。具体方法为:通过如下变换将消除抖动后的修正注视点图像坐标投影到路面上:
Figure BDA0002591563650000123
其中,(x',y')为消除抖动后的修正注视点图像坐标,(x″,y″)为所述消除抖动后的修正注视点图像坐标投射到鸟瞰视角路面上的坐标;
如上式所示,预瞄点鸟瞰视图投影坐标都可以通过乘以透视性矩阵H'获得,所获得投影点即为预瞄点的鸟瞰投影(预瞄区域)。
应用本发明中的方法可以确定驾驶员驾驶过程中的注视点,可以据此评价驾驶员的操纵特性。从人工智能角度出发,利用预瞄跟随理论详细的研究驾驶员操纵行为特性,并以驾驶员开车行为特性建模的角度来建立智能车辆的控制策略,进行汽车智能驾驶系统的理论研究是现实可行的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,包括如下步骤:
步骤一、在行驶过程中同步采集驾驶员视角的前视图像及行车记录仪获取的路况图像,并获取驾驶员视角图像坐标系下的行车眼动数据;
步骤二、对所述驾驶员视角图像进行图像矫正;
步骤三、获得所述驾驶员视角图像坐标系下的注视点,并且计算采样周期内的修正注视点图像坐标;
步骤四、对所述驾驶员视角图像和所述行车记录以获取的路况图像进行匹配,消除驾驶员视角图像的动态抖动,获取消除抖动后的修正注视点图像坐标;
步骤五、将所述消除抖动后的修正注视点图像坐标投影到世界坐标系,得到驾驶员前视预瞄区域。
2.根据权利要求1所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,在所述步骤二中,通过如下公式对图像进行矫正:
Figure FDA0002591563640000011
Figure FDA0002591563640000012
其中,(xu,yu)是矫正后得到的像素点坐标,(xd,yd)为所述像素点畸变后的坐标,(x0,y0)为畸变中心坐标,rd为所述像素点距离畸变中心的距离,λ为畸变系数。
3.根据权利要求2所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,在所述步骤四中,获取消除抖动后的修正注视点图像坐标,包括如下步骤:
步骤1、在行车记录仪采集的图像中筛选多个第一特征点,在同时刻采集所述驾驶员视角图像中筛选出多个第二特征点;
其中,所述多个第一特征点与所述多个第二特征点为一一对应关系;
步骤2、随机选择4对相互对应的第一特征点和第二特征点,并且得到所述第一特征点与所述第二特征点之间的变换矩阵;
步骤3、根据所述变换矩阵及所述驾驶员视角图像坐标系下的修正注视点坐标计算得到所述消除抖动后的修正注视点图像坐标;
Figure FDA0002591563640000021
式中,
Figure FDA0002591563640000022
为变换矩阵,(x,y)为驾驶员视角视频中图像坐标系下的修正注视点坐标;(x',y')为消除抖动后的修正注视点图像坐标。
4.根据权利要求3所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,在所述步骤1中,通过如下公式筛选出所述第一特征点:
Figure FDA0002591563640000023
其中,能够满足det(H)=0的所有的像素点即为所述第一特征点,f(x,y)是图像在该像素点的灰度值。
5.根据权利要求4所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,在所述步骤2中,得到变化矩阵包括如下步骤:
步骤a、选取m组特征点;并且根据所述m组特征点分别计算出m个初始变化矩阵:
其中,每组所述特征点均包括随机选择的4对相互对应的第一特征点和第二特征点;
步骤b、使用所述m个初始变化矩阵分别变换所有第二特征点,得到的变换后的第二特征点;
步骤c、计算所述变换后的第二特征点与其对应的所述第一特征点的匹配误差;筛选出匹配误差最小的计算结果对应的初始变换矩阵,即为所述变换矩阵;
其中,所述匹配误差为:
Figure FDA0002591563640000031
式中,(x1′0,y1′0)表示变换后的第二特征点的坐标,(x1,y1)表示第一特征点的坐标。
6.根据权利要求5所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,在所述步骤c中,当所述匹配误差S≤10时,保留对应的初始变换矩阵,否则舍弃对应的初始变换矩阵。
7.根据权利要求6所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,在所述步骤五中,通过如下变换将将所述消除抖动后的预瞄点图像坐标投影到世界坐标系:
Figure FDA0002591563640000032
其中,(x',y')为消除抖动后的修正注视点图像坐标,(x″,y″)为所述消除抖动后的修正注视点图像坐标投射到鸟瞰视角路面上的坐标;H'为通过行车记录仪相机位姿参数计算的透视矩阵。
8.根据权利要求7所述的行车过程中驾驶员前视预瞄区域的获取方法,其特征在于,所述通过行车记录仪相机位姿参数计算的透视矩阵为:
Figure FDA0002591563640000033
其中,(X0,Y0)为修正注视点图像中心坐标,R为行车记录仪相机位置的旋转正交矩阵,T为行车记录仪相机位置的平移矩阵,f为行车记录仪相机焦距。
CN202010696894.8A 2020-07-20 2020-07-20 一种行车过程中驾驶员前视预瞄区域的获取方法 Active CN111797810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010696894.8A CN111797810B (zh) 2020-07-20 2020-07-20 一种行车过程中驾驶员前视预瞄区域的获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010696894.8A CN111797810B (zh) 2020-07-20 2020-07-20 一种行车过程中驾驶员前视预瞄区域的获取方法

Publications (2)

Publication Number Publication Date
CN111797810A true CN111797810A (zh) 2020-10-20
CN111797810B CN111797810B (zh) 2022-11-29

Family

ID=72807836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010696894.8A Active CN111797810B (zh) 2020-07-20 2020-07-20 一种行车过程中驾驶员前视预瞄区域的获取方法

Country Status (1)

Country Link
CN (1) CN111797810B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381875A (zh) * 2020-11-16 2021-02-19 吉林大学 一种头戴式眼动仪注视点像素坐标系同一化方法
CN112884941A (zh) * 2021-01-19 2021-06-01 中国人民解放军32212部队 一种用于坦克装甲车辆作战试验的车载信息采集系统
CN113139443A (zh) * 2021-04-08 2021-07-20 武汉理工大学 面向眼动仪前向视频的交通目标自动识别与匹配的方法
CN113536909A (zh) * 2021-06-08 2021-10-22 吉林大学 一种基于眼动数据的预瞄距离计算方法、系统和设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统
CN103903276A (zh) * 2014-04-23 2014-07-02 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
US20150070470A1 (en) * 2013-09-10 2015-03-12 Board Of Regents, The University Of Texas System Apparatus, System, and Method for Mobile, Low-Cost Headset for 3D Point of Gaze Estimation
CN104700090A (zh) * 2015-03-25 2015-06-10 武汉大学 基于密度的眼动注视点测定方法及系统
US20180125404A1 (en) * 2016-11-10 2018-05-10 Neurotrack Technologies, Inc. Method and system for correlating an image capturing device to a human user for analysis of cognitive performance
CN108447303A (zh) * 2018-03-20 2018-08-24 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
CN108437898A (zh) * 2018-05-12 2018-08-24 吉林大学 一种基于眼动跟踪的行车环境感知装置
US20190077308A1 (en) * 2017-09-11 2019-03-14 Stanislav D. Kashchenko System and method for automatically activating turn indicators in a vehicle
CN110852281A (zh) * 2019-11-13 2020-02-28 吉林大学 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法
CN111179271A (zh) * 2019-11-22 2020-05-19 浙江众合科技股份有限公司 一种基于检索匹配的物体角度信息标注方法及电子设备
CN111427451A (zh) * 2020-03-25 2020-07-17 中国人民解放军海军特色医学中心 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法
CN111433067A (zh) * 2017-11-14 2020-07-17 麦克赛尔株式会社 平视显示装置及其显示控制方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统
US20150070470A1 (en) * 2013-09-10 2015-03-12 Board Of Regents, The University Of Texas System Apparatus, System, and Method for Mobile, Low-Cost Headset for 3D Point of Gaze Estimation
CN103903276A (zh) * 2014-04-23 2014-07-02 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN104700090A (zh) * 2015-03-25 2015-06-10 武汉大学 基于密度的眼动注视点测定方法及系统
US20180125404A1 (en) * 2016-11-10 2018-05-10 Neurotrack Technologies, Inc. Method and system for correlating an image capturing device to a human user for analysis of cognitive performance
US20190077308A1 (en) * 2017-09-11 2019-03-14 Stanislav D. Kashchenko System and method for automatically activating turn indicators in a vehicle
CN111433067A (zh) * 2017-11-14 2020-07-17 麦克赛尔株式会社 平视显示装置及其显示控制方法
CN108447303A (zh) * 2018-03-20 2018-08-24 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
CN108437898A (zh) * 2018-05-12 2018-08-24 吉林大学 一种基于眼动跟踪的行车环境感知装置
CN110852281A (zh) * 2019-11-13 2020-02-28 吉林大学 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法
CN111179271A (zh) * 2019-11-22 2020-05-19 浙江众合科技股份有限公司 一种基于检索匹配的物体角度信息标注方法及电子设备
CN111427451A (zh) * 2020-03-25 2020-07-17 中国人民解放军海军特色医学中心 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HONGYU HU 等: "Driver"s Preview Modeling Based on Visual Characteristics through Actual Vehicle Tests", 《SENSORS》 *
PIETER BLIGNAUT: "Fixation identification: The optimum threshold for a dispersion algorithm", 《ATTENTION PERCEPTION & PSYCHOPHYSICS》 *
王颖: "基于人机交互仿真的驾驶次任务研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 *
盛愈欢: "考虑视觉认知特性的驾驶员模型", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
陈芳等: "山区高速公路弯道路段驾驶员视点分布特征研究", 《合肥工业大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381875A (zh) * 2020-11-16 2021-02-19 吉林大学 一种头戴式眼动仪注视点像素坐标系同一化方法
CN112381875B (zh) * 2020-11-16 2024-01-30 吉林大学 一种头戴式眼动仪注视点像素坐标系同一化方法
CN112884941A (zh) * 2021-01-19 2021-06-01 中国人民解放军32212部队 一种用于坦克装甲车辆作战试验的车载信息采集系统
CN113139443A (zh) * 2021-04-08 2021-07-20 武汉理工大学 面向眼动仪前向视频的交通目标自动识别与匹配的方法
CN113139443B (zh) * 2021-04-08 2023-12-22 武汉理工大学 面向眼动仪前向视频的交通目标自动识别与匹配的方法
CN113536909A (zh) * 2021-06-08 2021-10-22 吉林大学 一种基于眼动数据的预瞄距离计算方法、系统和设备

Also Published As

Publication number Publication date
CN111797810B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN111797810B (zh) 一种行车过程中驾驶员前视预瞄区域的获取方法
CN111829549B (zh) 一种基于高精度地图的积雪路面虚拟车道线投影方法
JP3868876B2 (ja) 障害物検出装置及び方法
US8831280B2 (en) 3D motion recognition method and apparatus
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
EP2757527B1 (en) System and method for distorted camera image correction
CN111797809B (zh) 一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法
DE112018000605T5 (de) Informationsverarbeitungsvorrichtung, Datenverwaltungsvorrichtung, Datenverwaltungssystem, Verfahren und Programm
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
JP2008310509A (ja) 画像処理装置,運転支援装置
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
DE102016104729A1 (de) Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示系统
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
JP4872890B2 (ja) 画像の歪曲補正方法
CN111242866A (zh) 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法
CN114007054A (zh) 车载屏幕画面投影矫正的方法及装置
CN112017246A (zh) 一种基于逆透视变换的图像获取方法及装置
Dornaika et al. A new framework for stereo sensor pose through road segmentation and registration
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN108230356A (zh) 一种基于透视矫正的机动车辆跟踪方法
Kundur et al. Novel active vision-based visual threat cue for autonomous navigation tasks
CN115797405A (zh) 一种基于车辆轴距的多镜头自适应跟踪方法
JP2023523958A (ja) カメラの較正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant