CN112985360A - 基于车道线的双目测距校正方法、装置、设备和存储介质 - Google Patents

Abstract

本发明涉及距离测量领域，具体而言，涉及一种基于车道线的双目测距校正方法、装置、设备和存储介质。方法包括：调整双目相机的任一目标相机的位姿；根据相机坐标系与图像像素坐标系之间的转换关系，计算基准坐标上的车道线像素点的正确深度值；计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值；对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系；根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值；采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。本实施例可以提高双目测距的精度。

Description

基于车道线的双目测距校正方法、装置、设备和存储介质

技术领域

本发明涉及距离测量领域，具体而言，涉及一种基于车道线的双目测距校正方法、装置、设备和存储介质。

背景技术

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息，从而实现测距。

但由于硬件和算法的原因，双目测距存在一定误差。目前，提高双目测距精度的方法主要包括对摄像头硬件的提升、标定方法精度的提高以及双目立体匹配算法的优化。李行等人提出了基于部分角点的双目标定方法，解决了现有双目标定无法覆盖部分位置而导致此区域误差容易较大的问题，显著降低了双目标定过程中对于图像的限制性要求。姚剑等人提出了一种基于细节增强的双目立体匹配算法，在提高视差结果的精度与鲁棒性的同时，还提升了视差图中对小目标以及边缘等细节信息的估计结果。

目前，在针对双目立体视觉算法的研究上，国内外已取得了诸多优秀成果，但仍然无法避免误差的存在。

发明内容

本发明的目的在于提供一种基于车道线的双目测距校正方法、装置、设备和存储介质，以提高双目测距的精度。

为了实现上述目的，本发明采用以下技术方案：

第一方面，本发明提供了一种基于车道线的双目测距校正方法，包括：

调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直；

获取所述双目相机对所述平行车道线进行拍摄得到的深度图像；此时所述平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度；

根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值；

基于所述深度图像，确定所述基准坐标上车道线像素点的待校正深度值；

计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值；

对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系；

确定所述深度图像上各像素点的待校正深度值；

根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值；

采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。

第二方面，本发明提供了一种基于车道线的双目测距校正装置，包括：

调整模块，用于调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直；

获取模块，用于获取所述双目相机对所述平行车道线进行拍摄得到的深度图像；此时所述平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度；

第一计算模块，用于根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值；

第一确定模块，用于基于所述深度图像，确定所述基准坐标上车道线像素点的待校正深度值；

第二计算模块，用于计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值；

拟合模块，用于对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系；

第二确定模块，用于确定所述深度图像上各像素点的待校正深度值；

第三确定模块，用于根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值；

校正模块，用于采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。

第三方面，本发明提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的基于车道线的双目测距校正方法。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现任一实施例所述的基于车道线的双目测距校正方法。

本实施例提供了一种简单有效的校正双目测距误差的方法，以解决现有技术中算法复杂、效率较低且误差无法避免的问题。通过调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直，在这一特殊位姿下，通过平行车道线以及相机坐标系与图像像素坐标系之间的转换关系，巧妙地得到基准坐标上的车道线像素点的正确深度值；通过对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，总结提炼出同一像素点的待校正深度值与补偿值的对应关系，从而将基准坐标上的车道线像素点扩展到整个深度图像，根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值，并进行校正，实现了整个深度图像的校正。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于车道线的双目测距校正方法的流程图；

图2是本发明实施例提供的校正前XOZ平面上的车道线点集示意图；

图3是本发明实施例提供的车道线点集的测量误差示意图；

图4是本发明实施例提供的校正后XOZ平面上的车道线点集示意图；

图5是本发明实施例提供的Zc_true，Zc_measure和Zc_correct的对比示意图；

图6是本发明实施例提供的目标相机光心位于左右车道线中心且X轴与左右车道线垂直时的视野和两夹角示意图；

图7是本发明实施例提供的基于车道线的双目测距校正装置的结构示意图；

图8是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1是本发明实施例提供的一种基于车道线的双目测距校正方法的流程图，本实施例适用于对双目相机拍摄得到的深度图像中各像素点的深度值进行校正的情况。本实施例的执行主体为基于车道线的双目测距校正装置，该装置可以由硬件和/或软件构成，并一般集成在电子设备中。结合图1，该方法包括以下步骤：

S110、调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直。

在一具体应用场景中，双目相机搭载在车辆上，通过移动所述车辆，调整双目相机的任一目标相机的位姿。可选的，目标相机一般是左相机。

目标相机的坐标系描述如下：目标相机的光心位于平行车道线的宽度中心，且相机坐标系的水平轴X（向右为正方向）与所述平行车道线垂直。其中，相机坐标系的水平轴X穿过光心并与光轴（Z轴）垂直，与水平面平行。相机坐标系的垂直轴Y（向下为正方向）穿过光心，且与X轴和Z轴垂直。

在调整目标相机的位姿之前，需要对双目相机进行标定和校正，校正双目包括畸变校正和立体校正，获得校正后左右相机的内参矩阵，畸变系数，旋转矩阵和平移矩阵。在调整目标相机的过程中，实质是两个相机同步调节，以保证标定和校正的准确性。

S120、获取所述双目相机对所述平行车道线进行拍摄得到的深度图像。此时所述平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度。

通过双目相机对所述平行车道线进行拍摄，保证平行车道线上无遮挡。为了方便描述，平行车道线包括左车道线和右车道线。首先测量车道宽度并记录为lane_width。例如lane_width=2.5m。

根据标定结果对双目相机对平行车道线拍摄得到的两张单目图像进行校正，校正后的两张单目图像位于同一平面且互相平行。然后，对校正后的两张单目图像进行像素点匹配。根据匹配结果计算每个像素点的深度值，从而获得深度图像。可见，深度图像中各像素点的深度值由匹配算法（例如双目立体视觉算法）计算得到，鉴于该算法得到的深度值仍然存在误差，本实施例将此深度值称为待校正深度值，并进行校正。

值得说明的是，在S110所示的位姿下，理想情况下，平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度。也就是说，在相机坐标系下，左车道线上的点集Xc=-0.5*lane_width=-0.5*2.5=-1.25，右车道线上的点集Xc=0.5*lane_width=0.5*2.5=1.25。

S130、根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值。

假设图像像素坐标系下，以图像的顶点为坐标原点，水平轴U与水平面平行，水平向右为正方向；垂直轴V垂直向下为正方向，图像分辨率为宽（width）*高（height）。相机坐标系与图像像素坐标系之间的关系如下所示：

；（1）

其中，Xc是X轴上的坐标，Yc是Y轴上的坐标，Zc是Z轴上的坐标，u是U轴上的坐标，v是V轴上的坐标，u₀和v₀分别是U轴和V轴的中心坐标。内参矩阵为上式中

。其中，f_u为目标相机的一个内参，即使用像素描述的X轴方向焦距的长度，f_v为使用像素描述的Y轴方向焦距的长度。

根据式（1），Xc与Zc之间的关系如式（2）。

；(2)

当深度图像的Zc值Zc_measure存在误差时，从而造成Xc的值存在误差。通过式（2）分析可得，当Zc_measure比正确值偏小时，Xc将向u₀靠近，车道线呈现出“内八”的情况，图2是本发明实施例提供的校正前XOZ平面上的车道线点集示意图，为车道线的俯视视角。呈现“内八”的情况。主要是因为距离双目相机越远，Zc_measure值越不精确且小于真实值。相反，当Zc_measure比正确值偏大时，则呈现出“外八”的情况。在理想情况下，左右车道线应该平行，且左车道线点集合Xc=-0.5*lane_width，右车道线点集合Xc=0.5*lane_width。因此，根据公式（2）可以求得当Xc为正确值时对应的正确深度值。

；(3)

除了从深度图像中得到各像素点的待校正深度值Zc_measure之外，还需要对单目图像进行车道线识别，将识别到的所有左侧车道线像素点和所有右侧车道线像素点分别进行线性拟合，得到左右车道线模型laneL：u=a_l*v+b_l，laneR：u=a_r*v+b_r及对应的点集合left_point={(u,v)|u=a_l*v+b_l}，right_point={(u,v)|u=a_r*v+b_r}。其中，a_l和b_l分别是左车道线拟合直线（即左车道线模型）的斜率和截距，a_r和b_r分别是右车道线拟合直线（即右车道线模型）的斜率和截距。

需要说明的是，对车道线像素点进行识别和线性拟合的方法属于现有技术，此处不在赘述。

对于左车道线，将左车道线在水平轴U上的坐标u（即left_point中的u）以及基准坐标Xc=-0.5*lane_width带入公式（3），分别求出每个左车道线像素点对应的正确Zc_true。和/或，将基准坐标Xc=0.5×车道宽度和右车道线在水平轴U上的坐标u（即right_point中的u）带入公式（3），得到每个右车道线像素点对应的正确深度值Zc_ture。

S140、基于所述深度图像，确定所述基准坐标上车道线像素点的待校正深度值。

基于S130中的描述，已确定单目图像中的车道线像素点，则对应匹配到深度图像中的车道线像素点，进而确定基准坐标上车道线像素点的待校正深度值Zc_measure。

S150、计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值。

计算左右车道线每个像素点正确深度值Zc_true与待校正深度值Zc_measure之间的差error，作为补偿值。error=Zc_true-Zc_measure。对每个Zc_measure和error进行存储。error曲线图如图3，从图中可得距离摄像头越远，误差越大。

S160、对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系。

同一车道线像素点具有一个待校正深度值和一个补偿值，通过多张不同时刻、不同光线/背景下拍摄得到的深度图像，并重复执行S110~S150，从而得到大量的车道线像素点以及其具有的待校正深度值和补偿值。采用这些数据进行拟合，可以增加该对应关系的泛化能力。

可选的，采用随机抽样一致算法（Random Sample Consensus，RANSAC）对所述基准坐标上的车道线像素点的待校正深度值Zc_measure和补偿值error进行拟合，得到同一像素点的待校正深度值Zc_measure与补偿值error的二次曲线关系。RANSAC算法可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法，有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。本实施例采用RANSAC算法可以去除异常点，让拟合结果更加鲁棒。二次曲线关系如下所示：

error=a*Zc_measure²+b*Zc_measure+c；（4）

其中，a、b、c为二次曲线关系中的系数。在一示例中，a=0.134959，b=-0.089630，c=-0.406008。

拟合曲线的方法采用Ransac曲线拟合算法，该算法可以去除异常点，让拟合结果更加鲁棒。本实验分别用存储数据拟合了直线，二次曲线，三次曲线，拟合后的误差表示为error_fit。求所有存储数据对应的|error_fit-error|的平均值，直线为0.098432，二次曲线为0.037126，三次曲线为0.039031。同时，在实验中发现拟合次数越高计算越复杂并容易受噪声影响，因此选择二次曲线作为误差补偿模型。

S170、确定所述深度图像上各像素点的待校正深度值。

S110~S160旨在获得基准坐标上的车道线像素点的，待校正深度值与补偿值的对应关系。由于，深度图像的各像素点采用同一双目相机拍摄得到，待校正深度值Zc_measure采用同一算法得到，因此可将基准坐标上的车道线像素点扩展到整个深度图像，认为整个深度图像上各像素点的待校正深度值与补偿值，也呈现前述对应关系。

S180、根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值。

将各像素点的待校正深度值Zc_measure分别代入到式（4）中得到各像素点的补偿值error。

S190、采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。

将深度图像中各像素点待校正深度值Zc_measure根据公式5进行补偿，从而得到最终的深度值Zc_correct。

Zc_correct=Zc_measure+a*Zc_measure²+b*Zc_measure+c；（5）

图4是本发明实施例提供的校正后XOZ平面上的车道线点集示意图。通过观察校正前后的车道线点集示意图，结合图2和图4可以看出，校正前的平行车道线出现“内八”现象。主要是因为距离摄像头越远，测得的深度值越不精确且小于真实值。对测量值进行校正后，左右车道线趋于平行，误差得到了有效校正。表1和图5是实验中记录的部分Zc_true，Zc_measure和Zc_correct的数据，从图5中可以看到校正值趋于真实值，通过统计计算得校正后的双目测距误差控制在1.5%以内。从而证明了本发明的有效性。

表1 校正后测距误差百分比

通过观察校正前后车道线点集示意图，通过校正得到的车道线点集比较平行，可以有效的修正误差，从而证明了本发明的有效性。至此完成根据车道线对双目测距进行校正的算法。

本实施例提供了一种简单有效的校正双目测距误差的方法，以解决现有技术中算法复杂、效率较低且误差无法避免的问题。通过调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直，在这一特殊位姿下，通过平行车道线以及相机坐标系与图像像素坐标系之间的转换关系，巧妙地得到基准坐标上的车道线像素点的正确深度值；通过对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，总结提炼出同一像素点的待校正深度值与补偿值的对应关系，从而将基准坐标上的车道线像素点扩展到整个深度图像，根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值，并进行校正，实现了整个深度图像的校正。

与现有技术相比，本发明的有益效果为：本发明提出的方法，简单有效，对于安装好的双目相机只需标定一次即可。根据车道线的平行特性，通过测量车道宽度，可以快速获得车道线点集在相机坐标系下的坐标，省去了测量多个参考点的过程。通过建立对应关系，有效的校正了双目测距存在的误差，提高了双目测距精度。

下面详细介绍“如何调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直”。

第一步：在所述目标相机处于当前位姿时，获取所述目标相机对所述两条平行车道线进行拍摄得到的单目图像。

首先移动车辆以将双目相机的中心尽量保证与平行车道线的中心在同一条直线上，此时目标相机为当前位置。

第二步：对所述单目图像进行车道线检测，并对检测到的车道线像素点进行线性拟合，得到左右车道线对应的直线。

参见上述描述，对单目图像进行车道线识别，得到左右车道线模型laneL：u=a_l*v+b_l，laneR：u=a_r*v+b_r及对应的点集合left_point={(u,v)|u=a_l*v+b_l}，right_point={(u,v)|u=a_r*v+b_r}。

第三步：计算所述单目图像的水平轴U分别与左右车道线对应的直线构成的两个夹角。

假设U轴正方向的单位向量u=(1,0)，U轴负方向的单位向量-u=(-1,0)。当v=0.8×height时，根据左右车道线模型分别求对应左右车道线上的点坐标，stratL=left_point(ul,vl)，startR=right_point(ur,vr)，其中，vl=vr=0.8×height，为左右车道线模型中的v轴坐标，ul和ur分别是左右车道线模型中v=0.8×height对应的U轴坐标。同理求得v=0.7×height时左右车道线上的点坐标，endL=left_point(ul,vl)，endR=right_point(ur,vr)。其中，vl=vr=0.7×height，为左右车道线模型中的v轴坐标，ul和ur分别是左右车道线模型中v=0.7×height对应的U轴坐标。

值得说明的是，此处的0.7和0.8可以采用其它0~1之间的两个不同数值代替。

第四步：调整所述目标相机的当前位姿，以使所述两个夹角之差在设定范围内。

根据左右车道线上的点坐标求左右车道线向量，L=endL-stratL，R=endR-startR。两个向量内积公式6可得两向量夹角的余弦值公式7，夹角值参见公式8。

；（6）

；（7）

；（8）

根据公式8，求得左车道线向量L与U轴正方向的夹角为angleL。右车道线向量R与U轴负方向的夹角为angelR。

计算两夹角的差的绝对值|angleL-angelR|。理想情况下，当目标相机光心位于左右车道线中心且X轴与左右车道线垂直时，|angleL-angelR|=0，示意图如图6。但实际操作中，总会有误差。因此预设设定范围angle_threshold=5°，如果两夹角的差的绝对值大于5°，返回调整目标相机的当前位姿，直到两夹角的差的绝对值小于等于5°。

图7是本发明实施例提供的基于车道线的双目测距校正装置的结构示意图，本实施例适用于对双目相机拍摄得到的深度图像中各像素点的深度值进行校正的情况。该装置包括：调整模块601、获取模块602、第一计算模块603、第一确定模块604、第二计算模块605、拟合模块606、第二确定模块607、第三确定模块608和校正模块609。

调整模块601，用于调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直；

获取模块602，用于获取所述双目相机对所述平行车道线进行拍摄得到的深度图像；此时所述平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度；

第一计算模块603，用于根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值；

第一确定模块604，用于基于所述深度图像，确定所述基准坐标上车道线像素点的待校正深度值；

第二计算模块605，用于计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值；

拟合模块606，用于对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系；

第二确定模块607，用于确定所述深度图像上各像素点的待校正深度值；

第三确定模块608，用于根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值；

校正模块609，用于采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。

本实施例提供了一种简单有效的校正双目测距误差的装置，以解决现有技术中算法复杂、效率较低且误差无法避免的问题。通过调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直，在这一特殊位姿下，通过平行车道线以及相机坐标系与图像像素坐标系之间的转换关系，巧妙地得到基准坐标上的车道线像素点的正确深度值；通过对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，总结提炼出同一像素点的待校正深度值与补偿值的对应关系，从而将基准坐标上的车道线像素点扩展到整个深度图像，根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值，并进行校正，实现了整个深度图像的校正。

可选的，拟合模块606具体用于采用随机抽样一致算法对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的二次曲线关系。

可选的，调整模块601具体用于在所述目标相机处于当前位姿时，获取所述目标相机对所述两条平行车道线进行拍摄得到的单目图像；对所述单目图像进行车道线检测，并对检测到的车道线像素点进行线性拟合，得到左右车道线对应的直线；计算所述单目图像的水平轴U分别与左右车道线对应的直线构成的两个夹角；调整所述目标相机的当前位姿，以使所述两个夹角之差在设定范围内。

可选的，第一计算模块603具体用于将基准坐标Xc=-0.5×车道宽度和左车道线在水平轴U上的坐标u带入公式（3），和/或将基准坐标Xc=0.5×车道宽度和右车道线在水平轴U上的坐标u带入式（3），得到所述基准坐标上的车道线像素点的正确深度值Zc_true；其中，u₀为单目图像的水平轴U的中心坐标，f_u为所述目标相机的一个内参。

可选的，该装置还包括标定和校正模块，用于在所述调整双目相机的任一目标相机的位姿之前，对所述双目相机进行标定和校正，并获取校正后的内参矩阵。

可选的，双目相机搭载在车辆上；调整模块601具体用于通过移动所述车辆，调整双目相机的任一目标相机的位姿。

本发明实施例所提供的基于车道线的双目测距校正装置可执行本申请任意实施例所提供的基于车道线的双目测距校正方法，具备执行方法相应的功能模块和有益效果。

图8为本发明实施例提供的一种电子设备的结构示意图，如图8所示，该设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图8中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图8中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于车道线的双目测距校正方法对应的程序指令/模块（例如，基于车道线的双目测距校正装置中的调整模块601、获取模块602、第一计算模块603、第一确定模块604、第二计算模块605、拟合模块606、第二确定模块607、第三确定模块608和校正模块609）。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于车道线的双目测距校正方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例的基于车道线的双目测距校正方法。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种基于车道线的双目测距校正方法，其特征在于，包括：

调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直；

获取所述双目相机对所述平行车道线进行拍摄得到的深度图像；此时所述平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度；

根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值；

基于所述深度图像，确定所述基准坐标上车道线像素点的待校正深度值；

计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值；

对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系；

确定所述深度图像上各像素点的待校正深度值；

根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值；

采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。

2.根据权利要求1所述的方法，其特征在于，所述对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系，包括：

采用随机抽样一致算法对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的二次曲线关系。

3.根据权利要求1所述的方法，其特征在于，所述调整双目相机的任一目标相机的位姿，包括：

在所述目标相机处于当前位姿时，获取所述目标相机对所述两条平行车道线进行拍摄得到的单目图像；

对所述单目图像进行车道线检测，并对检测到的车道线像素点进行线性拟合，得到左右车道线对应的直线；

计算所述单目图像的水平轴U分别与左右车道线对应的直线构成的两个夹角；

调整所述目标相机的当前位姿，以使所述两个夹角之差在设定范围内。

4.根据权利要求3所述的方法，其特征在于，所述根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值，包括：

将基准坐标Xc=-0.5×车道宽度和左车道线在水平轴U上的坐标u带入下式，和/或将基准坐标Xc=0.5×车道宽度和右车道线在水平轴U上的坐标u带入下式，得到所述基准坐标上的车道线像素点的正确深度值Zc_true；

；

其中，u₀为单目图像的水平轴U的中心坐标，f_u为所述目标相机的一个内参。

5.根据权利要求4所述的方法，其特征在于，在所述调整双目相机的任一目标相机的位姿之前，还包括：

对所述双目相机进行标定和校正，并获取校正后的内参矩阵。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述双目相机搭载在车辆上；

所述调整双目相机的任一目标相机的位姿，包括：

通过移动所述车辆，调整双目相机的任一目标相机的位姿。

7.一种基于车道线的双目测距校正装置，其特征在于，包括：

调整模块，用于调整双目相机的任一目标相机的位姿，以使所述目标相机的光心位于平行车道线的中心，且相机坐标系的水平轴X与所述平行车道线垂直；

获取模块，用于获取所述双目相机对所述平行车道线进行拍摄得到的深度图像；此时所述平行车道线在相机坐标系水平轴X上的基准坐标Xc分别为-0.5×车道宽度和0.5×车道宽度；

第一计算模块，用于根据相机坐标系与图像像素坐标系之间的转换关系，计算所述基准坐标上的车道线像素点的正确深度值；

第一确定模块，用于基于所述深度图像，确定所述基准坐标上车道线像素点的待校正深度值；

第二计算模块，用于计算同一车道线像素点的正确深度值与待校正深度值之间的补偿值；

拟合模块，用于对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的对应关系；

第二确定模块，用于确定所述深度图像上各像素点的待校正深度值；

第三确定模块，用于根据所述各像素点的待校正深度值以及所述对应关系，确定所述各像素点的补偿值；

校正模块，用于采用各像素点的补偿值，对各像素点的待校正深度值进行校正，得到各像素点最终的深度值。

8.根据权利要求7所述的装置，其特征在于，

拟合模块具体用于：采用随机抽样一致算法对所述基准坐标上的车道线像素点的待校正深度值和补偿值进行拟合，得到同一像素点的待校正深度值与补偿值的二次曲线关系。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的基于车道线的双目测距校正方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于车道线的双目测距校正方法。

Images