CN113781562A - 一种基于道路模型的车道线虚实配准和自车定位方法 - Google Patents

Abstract

本发明涉及一种基于道路模型的车道线虚实配准和自车定位方法，包括：(1)道路模型的构建；采用矩形块的四个角点表示道路模型中的每条虚线段车道线；(2)车道线检测以及虚实配准跟踪；A、初始帧车道线检测：采用霍夫概率变换求取消失点，检测初始帧车道线；B、后续帧车道线检测：根据帧间关系确定各个自适应感兴趣区域，并在各个自适应感兴趣区域中进行特征点匹配，实现车道线追踪功能；(3)车辆定位；经过前后帧的虚实配准之后，通过两者间的投影变换矩阵M获得两帧的相对位置，从而实现对车辆的定位。本发明构建一种简单的道路模型，仅使用单目相机就可以实现平面级的配准，避免了多目相机同步以及价格高昂的问题。

Description

一种基于道路模型的车道线虚实配准和自车定位方法

技术领域

本发明涉及一种基于道路模型的车道线虚实配准和自车定位方法，属于数字图像处理和计算机视觉的技术领域。

背景技术

随着5G技术的逐渐落地以及人工智能技术的快速发展，以自动驾驶为代表的汽车智能化技术是未来汽车行业发展的重要方向。由互联网、物联网、车联网三网合一的智慧交通系统和自动驾驶技术必定会成为未来交通行业和汽车制造业发展的主要方向。

车辆定位技术作为辅助与自动驾驶系统的基础，已成为该领域的关键技术。目前常用的车辆定位技术按照定位原理分为直接定位和航位推算。其中，直接定位主要基于信号的空间交汇测量及环境特征的匹配定位，航位推算则是依据加速度、角速度、速度等信息结合初始值进行积分定位。其间使用信息源主要有卫星定位、惯性导航、视觉、激光雷达和磁力计等，而在具体系统实现过程中，由单独的定位技术发展为多传感器定位技术融合，到现阶段采用多种组合定位技术融合定位，从而尽可能发挥各传感器优势并进行场景互补，减小甚至消除累积误差的影响，达到连续可靠定位结果。从技术实现上，车辆定位技术主要可分成基于视觉的方法和基于其他传感器的方法。

采用计算机视觉的车辆运动轨迹估计方法统称为视觉里程计，是辅助驾驶和自动驾驶系统中实现车辆定位的一种常用方式，该方法通过估计连续输入图像之间的相对位置实现定位。视觉里程计具有多种实现形式，如采用单目或双目视觉，利用透视或全景相机；其中最常用的方法是通过时间序列下特征点的检测和跟踪实现，用传统的特征检测方法进行检测和匹配。另外一种流行的定位技术是使用激光测距仪和视觉传感器进行SLAM。已经有很多关于这方面的研究，应用SLAM可以在重建三维地图的同时，从连续的视频图像帧中计算出行迹的轨线，得到车辆的定位，在SLAM即时定位与地图重建方法中要么实时构建地图，要么使用之前构建好的地图数据。

现有技术在对特征点的检测时，通常根据纹理和细节来进行构建。

发明内容

针对现有技术的不足，本发明提供一种基于道路模型的车道线虚实配准和自车定位方法。

本发明的道路模型结构简洁，不存在特征点检测所需要的纹理和细节。因此，本发明结合光流法的速度和NCC的精度，从而实现本发明道路模型下的虚实匹配方法，并基于此实现车辆定位。

术语说明：

1、自车定位：车辆通过传感器获取的信息来获得自身的位置。

2、中国标准高速公路模型：如图1所示，由中间的虚线车道线和两侧的实线车道线构成。

3、ROI：感兴趣区域是从图像中选择的一个图像区域，是你的图像分析所关注的重点。

4、SLAM：Simultaneous Localization and Mapping，同步定位和绘图。

5、PPHT:Progressive Probabilistic Hough Transform,累计概率霍夫变换。

6、VP:Vanishing Point,消失点。

7、光流：空间物体运动在成像平面上像素的表观运动。

8、LK光流：一种稀疏光流，针对图像上稀疏的点进行图像配准的方法。

9、

光流：一种稠密光流，通过多项式转移原理进行图像配准。

10、高斯模糊处理：图像处理中通常用以减少图像噪声以及降低细节层次的方法。

11、大津法，OTSU，是一种确定图像二值化分割阈值的算法，由日本学者大津于1979年提出。从大津法的原理上来讲，该方法又称作最大类间方差法，因为按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。

12、骨架提取：图像的骨架，可以理解为物体的中轴。经过一层层的剥离，从原来的图中去掉一些点，但仍要保持原来的形状，直到得到图像的骨架。

本发明的技术方案为：

一种基于道路模型的多车道线重建方法，该方法包括步骤如下：

(1)道路模型的构建

采用矩形块的四个角点表示道路模型中的每条虚线段车道线；

(2)车道线检测以及虚实配准跟踪；

A、初始帧车道线检测：采用霍夫概率变换求取消失点，检测初始帧车道线；

B、后续帧车道线检测：根据帧间关系确定各个自适应感兴趣区域，并在各个自适应感兴趣区域中进行特征点匹配，实现车道线追踪功能；

(3)车辆定位

经过前后帧的虚实配准之后，通过两者间的投影变换矩阵M获得两帧的相对位置，从而实现对车辆的定位，具体是指：通过透视投影矩阵、单应性矩阵和平面投影变换矩阵M这些矩阵映射关系，来进行车辆位姿估计。

根据本发明优选的，步骤A的具体实现过程包括：

首先，对感兴趣区域内进行高斯模糊处理；

然后，使用大津法对图像进行阈值分割；

接着，对阈值分割后的图像用骨架提取获取二值图；

最后，采用霍夫变换来提取图像中的结构信息，通过这些线段拟合VP，获得VP之后，利用PPHT检测得到的线段与VP进行对比，获得初始帧车道线位置。

根据本发明优选的，步骤B中，采用离散自适应感兴趣区域的方法，根据每个离散自适应感兴趣区域的匹配度高低来决定是否作为特征匹配点，其选择策略为：

设定任一虚线段车道线为{B₁₁,B₁₂,B₁₃,B₁₄}，B₁₁、B₁₂为近车端，B₁₃、B₁₄为远车端，对应与不同远处检测区域，W_ROI将自适应变化，与width成正比，与height成反比，如式(Ⅰ)所示：

式(Ⅰ)中，width为虚线段车道线的宽度，height为虚线段车道线的长度；

结合光流法和NCC算法，根据前一帧重建的车道线提取特征点，寻找当前帧中对应的特征点；具体包括步骤如下：

给定参考图H和当前图I，计算参考图H中角点P(u_r,v_r)在当前图I中的对应点Q(x+Δx,y+Δy)即Q(u_m,v_m)，其中，(Δx,Δy)就是当前图I中角点相对于H的偏移量，在分别以P点、Q点为中心的两个小矩形窗口中；并通过求解式(Ⅱ)的目标函数确定差异最小点的位置；

min_Δx,ΔyE(Δx,Δy)＝∑_(x,y)∈ω|H(u_r,v_r)-I(u_r+Δx,v_r+Δy)|² (Ⅱ)

式(Ⅱ)中，ω＝[u_r-r,u_r+r]×[v_r-r,v_r+r]，是一个以(u_r,v_r)为中心、长宽都为2r的矩形窗口，H为参考图，I为当前图；采用非线性最小二乘法求解式(Ⅱ)，得到使目标函数达到最小值的(Δx,Δy)，从而得到2D平面像素坐标系下，前一帧车道线角点(u_m,v_m)与当前帧中对应点(u_r,v_r)之间的偏移量(Δx,Δy)；

NCC算法通过式(Ⅲ)来实现：

式(Ⅲ)中，R_{ccorr_normed}表示模板与大尺寸图像的互相关值，T为模板图像，即参考图H；I为被匹配图像，即当前图I；点(x,y)即前一帧车道线角点(u_m,v_m)，为NCC算法匹配的起始点，(x′,y′)即当前帧中对应点(u_r,v_r)，为匹配的尺寸；

将道路模型中世界坐标点(X_w,Y_w,Z_w)中的Z_w全部置零，即所有点均在Z_w＝0的平面上，此时世界坐标系的原点设置在Z_w＝0的位置，故相机投影矩阵如式(Ⅳ)所示：

式(Ⅳ)中，Z_C为相机坐标系下Z轴和光心的距离，X_i、Y_i为世界坐标系下点的两坐标值，u_i、v_i为像素坐标系下点的两坐标值，E_x、E_y为相机在x轴和y轴的焦距，u₀、v₀为像素坐标系相对于CCD传感器平面的偏移值的两个坐标值，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂、t₁、t₂、t₃为平移旋转矩阵种的前两个旋转向量在x,y,z三个轴上的分量，平移向量在x,y,z三个轴上的分量；

同一路面上的车道线角点通过(X_w,Y_w)来表示，其在2D平面像素坐标系下的对应点用(u,v)表示，(X_w,Y_w)与(u,v)之间通过一个单应性矩阵映射，该单应性矩阵homo通过式(Ⅴ)求取：

根据本发明优选的，步骤(3)的具体实现过程如下：

以车辆的正向方向为Z轴，垂直路面的方向为Y轴，车辆的车轴方向为X轴，则围绕X轴的旋转角α代表车辆俯仰角，即道路的坡度；围绕Y轴的旋转角β代表车辆的偏航角，即车辆的转向；围绕Z轴的旋转角γ代表车辆的翻滚角，即道路或车辆的横向侧倾，得到：

令homo＝[h₁,h₂,h₃]＝sK[r₁,r₂,t]，s为比例系数，通过分解矩阵得式(Ⅵ)：

式(Ⅵ)中，h₁,h₂,h₃则由是单应性矩阵homo的三个列向量；Y是相机内参矩阵；r₁、r₂,t是相机外参矩阵的三个列向量；

令旋转平移矩阵W＝[r₁,r₂,t]，则由式(Ⅵ)得到式(Ⅶ)：

构造3×3旋转矩阵R＝[r₁,r₂,r₃]，由旋转矩阵的特性可知，其逆矩阵为其本身的转置，且旋转向量r₁,r₂，r₃相互正交，可得r₃＝r₁×r₂，根据式(Ⅶ)重写R为R'，如式(Ⅷ)所示：

R′＝UIV^T (Ⅷ)

根据罗德里格斯变换，将R变换为3×1的向量r＝[α，β,γ]，r即为实拍图像车道线模型相对道路模型车道线的旋转向量，α为俯仰角，即绕X轴旋转，β为偏航角，当车辆向右变道，即绕Y轴顺时针旋转时，β为负值，反之为正值；γ为翻滚角，当路面坡度不大时，该值为0°，至此得到车辆的实时姿态；

对旋转矩阵R进行精确求准R'之后，对R'进行逆运算，由旋转平移矩阵W求得平移矩阵T，如式(IX)所示：

T＝[T₁,T₂，T₃]＝R′^-1W (IX)

式(IX)中，T为3×3矩阵，T₁，T₂，T₃为三个列向量，通过式(IX)对矩阵T进行归一化处理，得到车辆在道路模型坐标系下的坐标t，进而求得车辆的实际位置，如式(Ⅹ)所示：

式(Ⅹ)中，t_x代表车辆距离道路模型中心的横向距离，当车辆在道路模型左侧时，t_x为正，反之为负，t_y代表车辆距离道路模型中心的高差，t_z代表车辆距离道路模型平面原点的距离。

根据本发明优选的，采用霍夫变换来提取图像中的结构信息，通过这些线段拟合VP，获得VP之后，利用PPHT检测得到的线段与VP进行对比，获得初始帧车道线位置；具体是指：

结合消失点筛选k条车道线，对于线段l_i∈L对应的两个端点坐标(x_i1,y_i1),(x_i2,y_i2)和消失点V_P的坐标(x₀,y₀)，i＝1,2,…,n，设定一个参数θ_avg来衡量线段L_i与消失点V_P的位置关系，如式(Ⅺ)所示：

式(Ⅺ)中，

len₂＝((x_i2-x₀)²+(y_i2-y₀)²)^1/2。

本发明的有益效果为：

1、本发明构建一种简单的道路模型，仅使用单目相机就可以实现平面级的配准，避免了多目相机同步以及价格高昂的问题。

2、本发明提出了一种基于消失点和累计概率霍夫变换的车道线检测方法，能够准确的获取初始多车道线的位置，克服了以往算法中初始帧确定困难的缺点。

3、本发明提出一种NCC+光流的特征点匹配方法，针对道路模型的特点，在处理道路模型和实际路面的匹配问题时，有效提升检测的精度和速度。

附图说明

图1为标准高速公路规格示意图；

图2为本发明道路模型示意图；

图3坡度路面示意图；

图4为自适应感兴趣区域示意图；

图5为不同遮挡程度下的多车道重建效果图。

具体实施方式

下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。

实施例1

一种基于道路模型的多车道线重建方法，该方法包括步骤如下：

(1)道路模型的构建

本发明以高速公路的多车道线为主要研究对象，使用的道路模型则根据中国标准高速公路模型构建。由于道路模型中车道线由块状或长条状的矩形块构成，故本发明采用矩形块的四个角点(以图2中(a)中{B₁₁,B₁₂,B₁₃,B₁₄}为例，图2中(b)为俯视图下的坐标点)表示道路模型中的每条虚线段车道线；此外，在有效的高速公路车道线范围内，近处路面坡度可以忽略不计，远处坡度也一般较小，可用θ来表示其与近处平面路面的夹角，如图3所示，图3中，(a)为世界坐标系下的坐标点；(b)为坡度路面俯视图下的坐标点；本算法在此前提下对道路模型进行一定的改进，使整个模型更加简洁有效。

(2)车道线检测以及虚实配准跟踪；

A、初始帧车道线检测：采用霍夫概率变换求取消失点，检测初始帧车道线；

B、后续帧车道线检测：根据帧间关系确定各个自适应感兴趣区域，并在各个自适应感兴趣区域中进行特征点匹配，实现车道线追踪功能；

(3)车辆定位

经过前后帧的虚实配准之后，通过两者间的投影变换矩阵M获得两帧的相对位置，从而实现对车辆的定位，具体是指：通过透视投影矩阵、单应性矩阵和平面投影变换矩阵M这些矩阵映射关系，来进行车辆位姿估计。

实施例2

根据实施例1所述的一种基于道路模型的多车道线重建方法，其区别在于：

初始帧车道线的检测是整个算法的基础和关键步骤。步骤A的具体实现过程包括：

首先，对感兴趣区域内进行高斯模糊处理；

然后，使用大津法(OTSU)对图像进行阈值分割；

接着，对阈值分割后的图像用骨架提取获取二值图；

最后，采用霍夫变换来提取图像中的结构信息，通过这些线段拟合VP，获得VP之后，利用PPHT检测得到的线段与VP进行对比，获得初始帧车道线位置；具体是指：

结合消失点筛选k条车道线，对于线段l_i∈L对应的两个端点坐标(x_i1,y_i1),(x_i2,y_i2)和消失点V_P的坐标(x₀,y₀)，i＝1,2,…,n，设定一个参数θ_avg来衡量线段L_i与消失点V_P的位置关系，如式(Ⅺ)所示：

式(Ⅺ)中，

len₂＝((x_i2-x₀)²+(y_i2-y₀)²)^1/2。

本发明所提出的基于消失点的多车道线检测算法，逻辑过程见算法1。将线段{L}按照θ_avg进行排序后，根据透视关系可得，越趋向于水平线的线段越加密集，因此通过自适应比较线段{L}与消失点V_P的θ_avg值，将小角度范围内的线段整合成一条候选车道线。假设目前有n条候选车道线，需在其中选择k条作为正确检测的车道线，根据透视关系易得，当第j条和第j+k-1条候选车道线之间的夹角最大时，这k条车道线为正确检测的车道线。

步骤B中，由于图像帧与帧之间的变化是微小的，根据这一特点，对于后续帧车道线的跟踪，可以通过前一帧车道线模型的位置进行检测。本方法在设置感兴趣区域时，对不同的路况进行了大量实验，最后采用离散自适应感兴趣区域的方法，根据每个离散自适应感兴趣区域的匹配度高低来决定是否作为特征匹配点，其选择策略为：

以图4中的虚线段车道线B₁₁,B₁₂,B₁₃,B₁₄为例，B₁₁,B₁₂为近车端，B₁₃,B₁₄为远车端，绿色虚线框为有效检测区域。由于透视关系，表现在图像上即是平时熟知的近宽远窄，近大远小的现象。设定任一虚线段车道线为{B₁₁,B₁₂,B₁₃,B₁₄}，B₁₁、B₁₂为近车端，B₁₃、B₁₄为远车端，对应与不同远处检测区域，具体见图4，B₁₁、B₁₂和B₁₃、B₁₄对应的两侧虚线框表示的范围不同，W_ROI将自适应变化，与width成正比，与height成反比，如式(Ⅰ)所示：

式(Ⅰ)中，width为虚线段车道线的宽度，height为虚线段车道线的长度；

当虚线段即虚线段车道线为{B₁₁,B₁₂,B₁₃,B₁₄}的质心还处在有效检测范围(还未被车辆引擎盖所遮挡的时候，能够被相机所捕获到的有效范围)内时，即使近车端的B₁₁、B₁₂特征点已经无法检测，本算法会继续检测远车端的B₁₃,B₁₄。只有当质心也超出检测范围时，整块虚线段的所有端点将被放弃检测。由于图像帧与帧之间的变化是微小的，根据这一特点，对于后续帧车道线的跟踪，可以通过上一帧虚拟图像位置与当前帧实拍图像道路位置进行虚实配准，最后确定当前帧车道线的准确位置。

此外，为了解决光流法在车道线横向检测时出现的孔径效应，本发明结合光流法和NCC(normalized cross correlation，归一化互相关匹配)算法，根据前一帧重建的车道线提取特征点，寻找当前帧中对应的特征点；具体包括步骤如下：

光流法分为稠密光流法和稀疏光流法，本发明主要使用稀疏光流法。稀疏光流是一种针对图像中稀疏分布的点进行配准的方法，即在参考图像中给定若干个目标点(一般为角点)，找到其在当前图像中的对应点。用数学的语言描述就是，给定参考图H和当前图I，计算参考图H中角点P(u_r，v_r)在当前图I中的对应点Q(x+Δx，y+Δy)即Q(u_m，v_m)，其中，(Δx，Δy)就是当前图I中角点相对于H的偏移量，在分别以P点、Q点为中心的两个小矩形窗口中；若所有对应点的像素值相同，则表明这两个点是匹配的。

在实际图像数据中，由于存在噪声的干扰，两个对应点所在小矩形窗口内的像素点不可能完全相同。因此，取一定范围内差异最小点作为匹配点，并通过求解式(Ⅱ)的目标函数确定差异最小点的位置；

min_Δx,ΔyE(Δx,Δy)＝∑_(x,y)∈ω|H(u_r,v_r)-I(u_r+Δx,v_r+Δy)|² (Ⅱ)

式(Ⅱ)中，ω＝[u_r-r,u_r+r]×[v_r-r,v_r+r]，是一个以(u_r,v_r)为中心、长宽都为2r的矩形窗口，H为参考图，I为当前图；采用非线性最小二乘法求解式(Ⅱ)，得到使目标函数达到最小值的(Δx,Δy)，从而得到2D平面像素坐标系下，前一帧车道线角点(u_m,v_m)与当前帧中对应点(u_r,v_r)之间的偏移量(Δx,Δy)；

NCC(normalized cross correlation)算法，即归一化互相关匹配法，是模板匹配中常用的一种算法。模板是一副已知的目标图像，而模板匹配则是在一副较大尺寸的图像中搜寻目标图像。已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。NCC算法通过式(Ⅲ)来实现：

式(Ⅲ)中，R_{ccorr_normed}表示模板与大尺寸图像的互相关值，T为模板图像，即参考图H；I为被匹配图像，即当前图i；点(x,y)即前一帧车道线角点(u_m,v_m)，为NCC算法匹配的起始点，(x′,y′)即当前帧中对应点(u_r,v_r)，为匹配的尺寸；

本发明3D道路模型准确投影到相机视角下的2D道路平面，是重建被遮挡车道线的关键。本发明根据道路模型的特点，结合相机投影矩阵，推导出将3D道路模型中车道线角点，投影到相机视角下2D道路平面的单应性矩阵表达公式。在此进行简要介绍相机投影矩阵：

三维空间中的点(X_w,Y_w,Z_w)可以通过相机内参矩阵和相机外参矩阵投影到一个2D平面中，具体计算过程如下所示：

其中Z_C为相机坐标系下Z轴和光心的距离；R表示旋转矩阵，T表示偏移向量，两者构成了相机外参；u,v为3D空间中的点投影到2D平面上的两个坐标。

由于在高速公路上行驶时，车辆前方近距离的路面可近似视作平面，故可将道路模型中世界坐标点(X_w,Y_w,Z_w)中的Z_w全部置零，即所有点均在Z_w＝0的平面上，此时世界坐标系的原点设置在Z_w＝0的位置，故相机投影矩阵如式(Ⅳ)所示：

式(Ⅳ)中，Z_C为相机坐标系下Z轴和光心的距离，X_i、Y_i为世界坐标系下点的两坐标值，u_i、v_i为像素坐标系下点的两坐标值，f_x、f_y为相机在x轴和y轴的焦距，u₀、v₀为像素坐标系相对于CCD(CMOS)传感器平面的偏移值的两个坐标值，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂、t₁、t₂、t₃为平移旋转矩阵种的前两个旋转向量在x,y,z三个轴上的分量，平移向量在x,y,z三个轴上的分量；

将式(Ⅳ)中R,T展开为

将R矩阵的第三列与Z_w相乘，而Z_w＝0，故将

矩阵改写旋转平移矩阵

通过这一步的简化之后，同一路面上的车道线角点通过(X_w,Y_w)来表示，其在2D平面像素坐标系下的对应点用(u,v)表示，(X_w,Y_w)与(u,v)之间通过一个单应性矩阵映射，该单应性矩阵homo通过式(Ⅴ)求取：

如图5可以看到，通过道路模型投影实现了当前帧的多车道线重建，准确地检测出了被车辆遮挡的车道线。其中，a1、a2、a3代表无遮挡情况下的多车道线重建效果，b1、b2、b3代表部分遮挡下的重建效果，c1、c2、c3代表大面积遮挡下的重建效果。

步骤(3)的具体实现过程如下：

以车辆的正向方向为Z轴，垂直路面的方向为Y轴，车辆的车轴方向为X轴，则围绕X轴的旋转角α代表车辆俯仰角，即道路的坡度；围绕Y轴的旋转角β代表车辆的偏航角，即车辆的转向；围绕Z轴的旋转角γ代表车辆的翻滚角，即道路或车辆的横向侧倾，得到：

令homo＝[h₁,h₂,h₃]＝sK[r₁,r₂,t]，s为比例系数，通过分解矩阵得式(Ⅵ)：

式(Ⅵ)中，h₁,h₂,h₃则由是单应性矩阵homo的三个列向量；K是相机内参矩阵；r₁、r₂,t是相机外参矩阵的三个列向量；

为防止变量混淆，此处令旋转平移矩阵W＝[r₁,r₂,t]，则由式(Ⅵ)得到式(Ⅶ)：

构造3×3旋转矩阵R＝[r₁,r₂,r₃]，由旋转矩阵的特性可知，其逆矩阵为其本身的转置，且旋转向量r₁,r₂,r₃相互正交，可得r₃＝r₁×r₂，但是，在使用实验数据进行计算时发现，对旋转向量进行简单的叉乘无法得到精确的R，即需要使R^TR＝RR^T＝I，I为单位矩阵，因此，在这对R进行奇异值分解，得R＝UDV^T，由于R自身为正交矩阵，故D＝I，根据式(Ⅶ)重写R为R'，如式(Ⅷ)所示：

R′＝UIV^T (Ⅷ)

根据罗德里格斯变换，将R变换为3×1的向量r＝[α,β,γ]，r即为实拍图像车道线模型相对道路模型车道线的旋转向量，α为俯仰角，即绕X轴旋转，正常计算的结果为180°左右；β为偏航角，也是最常用的姿态角，当车辆向右变道，即绕Y轴顺时针旋转时，β为负值，反之为正值；γ为翻滚角，当路面坡度不大时，该值为0°，至此得到车辆的实时姿态；

对旋转矩阵R进行精确求准R'之后，对R'进行逆运算，由旋转平移矩阵W求得平移矩阵T，如式(IX)所示：

k＝[T₁,T₂,T₃]＝R′^-1W (IX)

式(IX)中，T为3×3矩阵，T₁，T₂，T₃为三个列向量，通过式(IX)对矩阵T进行归一化处理，得到车辆在道路模型坐标系下的坐标t，进而求得车辆的实际位置，如式(Ⅹ)所示：

式(Ⅹ)中，t_x代表车辆距离道路模型中心的横向距离，当车辆在道路模型左侧时，t_x为正，反之为负，结合道路模型具体规格推算出车辆所在车道以及精确的距离；t_y代表车辆距离道路模型中心的高差，当路面的坡度不大时，t_y等于车内视频采集装置与路面的高度差；t_z代表车辆距离道路模型平面原点的距离。该值与道路模型的原点设定有关，且在行驶过程中根据路面模型的变化进行实时的更新变换。通过上述计算得到了车辆在以实拍图像坐标系下的位置。

Claims (5)

1.一种基于道路模型的多车道线重建方法，其特征在于，该方法包括步骤如下：

(1)道路模型的构建

采用矩形块的四个角点表示道路模型中的每条虚线段车道线；

(2)车道线检测以及虚实配准跟踪；

A、初始帧车道线检测：采用霍夫概率变换求取消失点，检测初始帧车道线；

B、后续帧车道线检测：根据帧间关系确定各个自适应感兴趣区域，并在各个自适应感兴趣区域中进行特征点匹配，实现车道线追踪功能；

(3)车辆定位

经过前后帧的虚实配准之后，通过两者间的投影变换矩阵M获得两帧的相对位置，从而实现对车辆的定位，具体是指：通过透视投影矩阵、单应性矩阵和平面投影变换矩阵M这些矩阵映射关系，来进行车辆位姿估计。

2.根据权利要求1所述的一种基于道路模型的多车道线重建方法，其特征在于，步骤A的具体实现过程包括：

首先，对感兴趣区域内进行高斯模糊处理；

然后，使用大津法对图像进行阈值分割；

接着，对阈值分割后的图像用骨架提取获取二值图；

最后，采用霍夫变换来提取图像中的结构信息，通过这些线段拟合VP，获得VP之后，利用PPHT检测得到的线段与VP进行对比，获得初始帧车道线位置。

3.根据权利要求1所述的一种基于道路模型的多车道线重建方法，其特征在于，步骤B中，采用离散自适应感兴趣区域的方法，根据每个离散自适应感兴趣区域的匹配度高低来决定是否作为特征匹配点，其选择策略为：

设定任一虚线段车道线为{B₁₁，B₁₂，B₁₃，B₁₄}，B₁₁、B₁₂为近车端，B₁₃、B₁₄为远车端，对应与不同远处检测区域，W_ROI将自适应变化，与width成正比，与height成反比，如式(I)所示：

式(I)中，width为虚线段车道线的宽度，height为虚线段车道线的长度；

结合光流法和NCC算法，根据前一帧重建的车道线提取特征点，寻找当前帧中对应的特征点；具体包括步骤如下：

给定参考图H和当前图I，计算参考图H中角点P(u_r，v_r)在当前图I中的对应点Q(x+Δx，y+Δy)即Q(u_m，v_m)，其中，(Δx，Δy)就是当前图I中角点相对于H的偏移量，在分别以P点、Q点为中心的两个小矩形窗口中；并通过求解式(II)的目标函数确定差异最小点的位置；

min_Δx，ΔyE(Δx，Δy)＝∑_(x，y)∈ω|H(u_r，v_r)-I(u_r+Δx，v_r+Δy)|² (II)

式(II)中，ω＝[u_r-r，u_r+r]×[v_r-r，v_r+r]，是一个以(u_r，v_r)为中心、长宽都为2r的矩形窗口，H为参考图，I为当前图；采用非线性最小二乘法求解式(II)，得到使目标函数达到最小值的(Δx，Δy)，从而得到2D平面像素坐标系下，前一帧车道线角点(u_m，v_m)与当前帧中对应点(u_r，v_r)之间的偏移量(Δx，Δy)；

NCC算法通过式(III)来实现：

式(III)中，R_{ccorr_normed}表示模板与大尺寸图像的互相关值，T为模板图像，即参考图H；I为被匹配图像，即当前图I；点(x，y)即前一帧车道线角点(u_m，v_m)，为NCC算法匹配的起始点，(x′，y′)即当前帧中对应点(u_r，v_r)，为匹配的尺寸；

将道路模型中世界坐标点(X_w，Y_w，Z_w)中的Z_w全部置零，即所有点均在Z_w＝0的平面上，此时世界坐标系的原点设置在Z_w＝0的位置，故相机投影矩阵如式(IV)所示：

式(IV)中，Z_C为相机坐标系下Z轴和光心的距离，X_i、Y_i为世界坐标系下点的两坐标值，u_i、v_i为像素坐标系下点的两坐标值，f_x、f_y为相机在x轴和y轴的焦距，u₀、v₀为像素坐标系相对于CCD传感器平面的偏移值的两个坐标值，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂、t₁、t₂、t₃为平移旋转矩阵种的前两个旋转向量在x，y，z三个轴上的分量，平移向量在x，y，z三个轴上的分量；

同一路面上的车道线角点通过(X_w，Y_w)来表示，其在2D平面像素坐标系下的对应点用(u，v)表示，(X_w，Y_w)与(u，v)之间通过一个单应性矩阵映射，该单应性矩阵homo通过式(V)求取：

4.根据权利要求1所述的一种基于道路模型的多车道线重建方法，其特征在于，步骤(3)的具体实现过程如下：

以车辆的正向方向为Z轴，垂直路面的方向为Y轴，车辆的车轴方向为X轴，则围绕X轴的旋转角α代表车辆俯仰角，即道路的坡度；围绕Y轴的旋转角β代表车辆的偏航角，即车辆的转向；围绕Z轴的旋转角γ代表车辆的翻滚角，即道路或车辆的横向侧倾，得到：

令homo＝[h₁，h₂，h₃]＝sK[r₁，r₂，t]，s为比例系数，通过分解矩阵得式(VI)：

式(VI)中，h₁，h₂，h₃则由是单应性矩阵homo的三个列向量；K是相机内参矩阵；r₁、r₂，t是相机外参矩阵的三个列向量；

令旋转平移矩阵W＝[r₁，r₂，t]，则由式(VI)得到式(VII)：

构造3×3旋转矩阵R＝[r₁，r₂，r₃]，由旋转矩阵的特性可知，其逆矩阵为其本身的转置，且旋转向量r₁，r₂，r₃相互正交，可得r₃＝r₁×r₂，根据式(VII)重写R为R′，如式(VIII)所示：

R′＝UIV^T (VIII)

根据罗德里格斯变换，将R变换为3×1的向量r＝[α，β，γ]，r即为实拍图像车道线模型相对道路模型车道线的旋转向量，α为俯仰角，即绕X轴旋转，β为偏航角，当车辆向右变道，即绕Y轴顺时针旋转时，β为负值，反之为正值；γ为翻滚角，当路面坡度不大时，该值为0°，至此得到车辆的实时姿态；

对旋转矩阵R进行精确求准R′之后，对R′进行逆运算，由旋转平移矩阵W求得平移矩阵T，如式(IX)所示：

T＝[T₁，T₂，T₃]＝R′^-1W (IX)

式(IX)中，T为3×3矩阵，T₁，T₂，T₃为三个列向量，通过式(IX)对矩阵T进行归一化处理，得到车辆在道路模型坐标系下的坐标t，进而求得车辆的实际位置，如式(X)所示：

式(X)中，t_x代表车辆距离道路模型中心的横向距离，当车辆在道路模型左侧时，t_x为正，反之为负，t_y代表车辆距离道路模型中心的高差，t_z代表车辆距离道路模型平面原点的距离。

5.根据权利要求24任一所述的一种基于道路模型的多车道线重建方法，其特征在于，采用霍夫变换来提取图像中的结构信息，通过这些线段拟合VP，获得VP之后，利用PPHT检测得到的线段与VP进行对比，获得初始帧车道线位置，具体是指：

结合消失点筛选k条车道线，对于线段l_i∈L对应的两个端点坐标(x_i1，y_i1)，(x_i2，y_i2)和消失点V_P的坐标(x₀，y₀)，i＝1，2，...，n，设定一个参数θ_avg来衡量线段L_i与消失点V_P的位置关系，如式(XI)所示：

式(XI)中，

len₂＝((x_i2-x₀)²+(y_i2-y₀)²)^1/2。

Images