CN111382591B - 一种双目相机测距校正方法及车载设备 - Google Patents

Abstract

本发明提供一种双目相机测距校正方法及车载设备，可以将视差图中的障碍物检测区域划分为多个子区域，根据每个子区域的测距校正模型计算每个子区域的测距校正参数，再根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表，基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。由于本发明可以根据实际环境对障碍物检测区域中的多个子区域分别计算测距校正参数，通过测距校正参数修正测距校正模型，从而可以提高测距精度。

Description

一种双目相机测距校正方法及车载设备

技术领域

本发明涉及智能交通及辅助驾驶技术领域，尤其涉及一种双目相机测距校正方法及车载设备。

背景技术

随着汽车智能化的发展趋势，辅助驾驶、自动驾驶等正成为学术界和工业界的研究热点，国内外众多传统汽车厂商、高科技企业等都致力于推出各自的解决方案。近年来，基于毫米波雷达和激光雷达的方案已经广泛用于高端汽车，毫米波雷达的主要优势体现在具有很强的抵抗环境干扰的能力，可穿透雾、烟、灰尘等，具有全天候全天时工作的能力，可直接检测前方车辆的距离和速度。激光雷达的主要优势体现在极精准的测距能力和超高分辨率。然而，不论是毫米波雷达还是激光雷达，存在垂直视场角较窄、纵向分辨率较低、无法提供颜色和纹理信息的问题，并且这些参数对很多应用场景而言是非常重要的，例如行人检测、车辆识别、交通标志识别等。

车载双目系统包括图像采集、相机标定、图像校正、立体匹配和ADAS(AdvancedDriving Assistant System，高级驾驶辅助系统)功能等部分。其中，双目相机在进行图像采集时需要保持采集时间的高度同步性、左右图像画质的清晰性和一致性；双目相机标定为了获取无畸变、平行等位以及测距精度符合要求的左右图像；左右图像经过图像校正后，进行立体匹配，获得稀疏/稠密视差图像，供后续算法使用相应的距离信息；ADAS功能主要包括障碍物检测和车道线检测等功能，用于实现对车辆前方的障碍物检测和车道线检测，从而实现危险预警。

由此可见，双目ADAS产品的优劣很大程度依赖于相机的测距性能，测距精度往往容易受感光单元的装配精度，镜头的各种畸变，双目标定算法和匹配算法等等因素的影响，导致双目相机标定以后的测距精度难以满足实际应用要求。

发明内容

有鉴于此，本发明提供一种双目相机测距校正方法及车载设备来解决现有技术中双目相机测距精度无法满足应用要求的问题。

具体地，本发明是通过如下技术方案实现的：

本发明提供一种双目相机测距校正方法，所述方法包括：

将视差图中的障碍物检测区域划分为多个子区域；

根据每个子区域的测距校正模型计算每个子区域的测距校正参数；

根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表；

基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。

作为一个实施例，将视差图中的障碍物检测区域划分为多个子区域，包括：

确定所述障碍物检测区域中的感兴趣区域和非感兴趣区域；

分别为所述感兴趣区域和所述非感兴趣区域划分的子区域；

所述感兴趣区域中的子区域数量大于所述非感兴趣区域中的子区域数量。

作为一个实施例，根据每个子区域的测距校正模型计算每个子区域的测距校正参数，包括：

通过预设的评估板计算测定距离对应的视差值；

基于所述测定距离和所述视差值计算所述测距校正模型中的测距校正参数。

作为一个实施例，通过预设的评估板计算测定距离对应的视差值，包括：

基于预设的评估板，通过匹配算法计算测定距离对应的视差值；

所述预设评估板为多种线条组合的灰度梯度板，其中每一行中分布不同灰度区域，每一行无重复线条纹理。

作为一个实施例，所述测距校正模型，包括：

纵向深度Z对应的测距校正模型为：

其中，Z为纵向深度，d为视差值，B是相机基线长，f是相机的焦距，α_z为视差校正系数，Δ_z校正综合补偿量，所述α_z和Δ_z为测距校正参数。

作为一个实施例，所述测距校正模型，包括：

水平距离X对应的测距校正模型为：

其中，X为水平距离，d为视差值，B是相机基线长，W为图像宽度，u为像素点在水平方向的坐标，α_x为视差校正系数，Δ_x校正综合补偿量，所述α_x和Δ_x为测距校正参数。

作为一个实施例，所述测距校正模型，包括：

垂直距离Y对应的测距校正模型为：

其中，Y为垂直距离，d为视差值，B是相机基线长，H为图像高度，v为像素点在垂直方向的坐标，α_y为视差校正系数，Δ_y校正综合补偿量，所述α_y和Δ_y为测距校正参数。

基于相同的构思，本发明还提供一种车载设备，所述车载设备包括存储器、处理器、通信接口以及通信总线；

其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现所述双目相机测距校正方法的任一步骤。

基于相同的构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述双目相机测距校正方法的任一步骤。

由此可见，本发明可以将视差图中的障碍物检测区域划分为多个子区域，根据每个子区域的测距校正模型计算每个子区域的测距校正参数，再根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表，基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。由于本发明可以根据实际环境对障碍物检测区域中的多个子区域分别计算测距校正参数，通过测距校正参数修正测距校正模型，从而可以提高测距精度。

附图说明

图1是现有技术中的双目相机三角测距模型示意图；

图2是本发明一种示例性实施方式中的一种双目相机测距校正方法的处理流程图；

图3-1是本发明一种示例性实施方式中的视差图示意图；

图3-2是本发明一种示例性实施方式中的感兴趣区域示意图；

图4是本发明一种示例性实施方式中的区域划分示意图；

图5是本发明一种示例性实施方式中的评估板示意图；

图6是本发明一种示例性实施方式中的测距校正参数表示意图；

图7本发明一种示例性实施方式中的一种车载设备的逻辑结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前通用的测距模型为三角测距，测距模型如图1所示，其中该测距模型基于图像的物理坐标系，若以双目相机的连线的中心为原点，双目相机在XYZ三个方向的测距公式如下：

其中，W为图像宽度，H为图像高度，像素点的坐标为(u,v)，x为测定对象距离两个相机中心线的水平距离，y为测定对象距离地面的垂直距离，z为测定对象距离双目相机的纵向深度距离。B是相机基线长，f是相机的焦距，d是视差值。

上述距离计算公式的前提是双目相机的光轴是完全平行等位的，但是实际上两台相机的几乎不可能有准确的共面和行对准的成像平面，虽然通过相机标定可以将两台相机的图像平面进行重新投影，但是在相机的标定的过程中仍存在误差，会导致双目测距模型精度下降，并且图像的不同区域的测距精度也会存在差异，因此导致目前的双目相机测距精度较低。

为了解决现有技术存在的问题，本发明提供一种双目相机测距校正方法及车载设备，可以将视差图中的障碍物检测区域划分为多个子区域，根据每个子区域的测距校正模型计算每个子区域的测距校正参数，再根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表，基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。由于本发明可以根据实际环境对障碍物检测区域中的多个子区域分别计算测距校正参数，通过测距校正参数修正测距校正模型，从而可以提高测距精度。

请参考图2，是本发明一种示例性实施方式中的一种双目相机测距校正方法的处理流程图，所该方法包括：

步骤201、将视差图中的障碍物检测区域划分为多个子区域；

在本实施例中，可以将双目相机获取的图片转换为视差图，再将视差图中的障碍物检测区域划分为多个子区域，所述障碍物检测区域通常就是指图3-1所示的图像区域。

由于在路面监控时获取的障碍物检测区域通常会包含车辆信息、路面信息和其他物体信息，例如路边建筑、天空等。为了减少干扰，提高障碍物检测的精度，可以设置一定的感兴趣区域作为检测区域，仅对感兴趣区域内的障碍物进行检测。由于本发明的测距目标主要是路面上的车辆，因此对当前车道位置的精度要求更高，尤其是图像中间区域(如图3-2中白色框所示)的测距精度对于ADAS性能指标至关重要。因此，测距时保证感兴趣区域的测距准确性尤为重要。

例如针对图3-1所示的车辆监控的场景而言，该感兴趣区域的可以是车辆及路面所在的区域，其他区域则属于非感兴趣区域，划分示例如图3-2所示，其中图中间的白色线条以下的区域(箭头所指的区域)为感兴趣区域，剩下的区域为非感兴趣区域。

将障碍物检测区域划分为感兴趣区域和非感兴趣区域后，可以分别为所述感兴趣区域和所述非感兴趣区域划分的子区域，其中，所述感兴趣区域中的子区域数量大于所述非感兴趣区域中的子区域数量。具体来讲，针对图3-2的子区域划分结果如图4所示，其中所谓的子区域就是图4中的矩形方块。子区域的划分大小可以不同，可以根据实际应用需求确定每个矩形区域的大小和矩形块的密度分布，矩形块划分越精细，则测距校正模型越精确，同时计算量增加。可以看到，图4中，非感兴趣区域被划分为五个子区域，每个子区域的面积较大；而感兴趣区域在按照非感兴趣区域划分的子区域大小划分的方块中，有再次进行细化，每个大方块又被分为4个小方块，因此本发明可以通过增加感兴趣区域中的矩形块的数量，保证感兴趣区域的测距精度更加准确。需要说明的是，每一个子区域对应的矩形方块内的像素点的测距校正模型及测距校正参数均是相同的，不同子区域对应的测距校正模型及测距校正参数可以根据实际场景而产生相应的差异。

步骤202、根据每个子区域的测距校正模型计算每个子区域的测距校正参数；

在本实施例中，通过分析理想的平行光轴测距模型，可知视差值d和目标距离呈现反比例关系，且在无穷远处的视差值为0，由于各类误差相互耦合，本发明提出在理想模型的基础之上，对视差值和距离之间的反比例关系进行修正，重新修正双目测距模型如下：

其中、纵向深度Z对应的测距校正模型为：

其中，Z为纵向深度，d为视差值，B是相机基线长，f是相机的焦距，α_z为视差校正系数，Δ_z校正综合补偿量，所述α_z和Δ_z为测距校正参数。

水平距离X对应的测距校正模型为：

其中，X为水平距离，d为视差值，B是相机基线长，W为图像宽度，u为像素点在水平方向的坐标，α_x为视差校正系数，Δ_x校正综合补偿量，所述α_x和Δ_x为测距校正参数。

垂直距离Y对应的测距校正模型为：

其中，Y为垂直距离，d为视差值，B是相机基线长，H为图像高度，v为像素点在垂直方向的坐标，α_y为视差校正系数，Δ_y校正综合补偿量，所述α_y和Δ_y为测距校正参数。

其中，通过对测距校正模型添加视差校正系数和校正综合补偿量来修正测距校正模型，也可以称视差校正系数和校正综合补偿量为测距校正参数，可以保证测距校正模型在xyz三个方向的精度都能得到大幅提高。目前的测距校正模型的分母项上为一次项，为了进一步提高测距精度，还也可以将分母项修改为二次项或多项式，修正思路上述测距校正模型相同，不再赘述。

作为一个实施例，根据每个子区域的测距校正模型计算每个子区域的测距校正参数，具体可以先获取目标的测定距离，以纵向深度Z为例，可以拍摄已知固定深度位置的z1下的评估板的左右图像，z1的距离值可以使用激光器的测定距离作为真值；然后通过预设的评估板计算测定距离对应的视差值，所述预设评估板为多种线条组合的灰度梯度板，其中每一行中分布不同灰度区域，每一行无重复线条纹理，该评估板的模型如图5所示，其中基于黑白图像进行算法处理，构建了黑，白，灰三个层次的灰度梯度板，并进行了线条的自由组合，其中包括了左倾斜45°的线条，右倾斜45°的线条，垂直线条，水平线条及弯曲线条等，用于模拟现实世界下复杂的场景。基于该评估板，采用双目匹配算法匹配拍摄的左右图像，从而可以计算测定距离对应的视差值d，该测定距离可以是X、Y、Z方向上的距离。

本发明提供的评估板相比于现有的棋盘格标定板更能够准确拟合现实世界的情况，并且利用匹配算法计算视差值可以引入综合误差的因素，从而可以提高修正模型的精度。

获取视差值后，可以将所述测定距离和所述视差值代入相应的测距校正模型中，从而可以计算所述测距校正模型中的测距校正参数。

步骤203、根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表；

由于每个子区域各自对应自己的测距校正参数，因此可以将通过上述方法计算出的测距校正参数与各个子区域进行对应，生成上述障碍物检测区域对应的测距校正参数表，该测距校正参数表如图6所示。

步骤204、基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。

基于所述测距校正参数表和所述测距校正模型可以实现对视差图中的目标进行双目相机测距。

相比于现有技术，本发明考虑测距模型和匹配算法产生的综合误差，提供了测距校正模型，并通过对感兴趣区域划分为多个子区域进行测距，从而可以提高双目相机的测距精度。

基于相同的构思，本发明还提供一种车载设备，如图7所示，所述车载设备包括存储器71、处理器72、通信接口73以及通信总线74；

其中，所述存储器71、处理器72、通信接口73通过所述通信总线74进行相互间的通信；

所述存储器71，用于存放计算机程序；

所述处理器72，用于执行所述存储器71上所存放的计算机程序，所述处理器72执行所述计算机程序时实现本发明实施例提供的双目相机测距校正方法的任一步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的双目相机测距校正方法的任一步骤。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算机设备和计算机可读存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

综上所述，本发明可以将视差图中的障碍物检测区域划分为多个子区域，根据每个子区域的测距校正模型计算每个子区域的测距校正参数，再根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表，基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。由于本发明可以根据实际环境对障碍物检测区域中的多个子区域分别计算测距校正参数，通过测距校正参数修正测距校正模型，从而可以提高测距精度。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种双目相机测距校正方法，其特征在于，所述方法包括：

将视差图中的障碍物检测区域划分为多个子区域，包括：确定所述障碍物检测区域中的感兴趣区域和非感兴趣区域；分别为所述感兴趣区域和所述非感兴趣区域划分子区域；所述感兴趣区域中的子区域数量大于所述非感兴趣区域中的子区域数量；所述感兴趣区域的单个子区域的面积小于所述非感兴趣区域的单个子区域的面积；

根据每个子区域的测距校正模型计算每个子区域的测距校正参数；包括：通过预设的评估板计算测定距离对应的视差值；基于所述测定距离和所述视差值计算所述测距校正模型中的测距校正参数；

根据所述测距校正参数生成所述障碍物检测区域对应的测距校正参数表；

基于所述测距校正参数表和所述测距校正模型对视差图进行双目相机测距。

2.根据权利要求1所述的方法，其特征在于，通过预设的评估板计算测定距离对应的视差值，包括：

基于预设的评估板，通过匹配算法计算测定距离对应的视差值；

所述预设评估板为多种线条组合的灰度梯度板，其中每一行中分布不同灰度区域，每一行无重复线条纹理。

3.根据权利要求1所述的方法，其特征在于，所述测距校正模型，包括：

纵向深度Z对应的测距校正模型为：

其中，Z为纵向深度，d为视差值，B是相机基线长，f是相机的焦距，α_z为纵向视差校正系数，Δ_z为纵向校正综合补偿量，所述α_z和Δ_z为测距校正参数。

4.根据权利要求1所述的方法，其特征在于，所述测距校正模型，包括：

水平距离X对应的测距校正模型为：

其中，X为水平距离，d为视差值，B是相机基线长，W为图像宽度，u为像素点在水平方向的坐标，α_x为水平视差校正系数，Δ_x为水平校正综合补偿量，所述α_x和Δ_x为测距校正参数。

5.根据权利要求1所述的方法，其特征在于，所述测距校正模型，包括：

垂直距离Y对应的测距校正模型为：

其中，Y为垂直距离，d为视差值，B是相机基线长，H为图像高度，v为像素点在垂直方向的坐标，α_y为垂直视差校正系数，Δ_y为垂直校正综合补偿量，所述α_y和Δ_y为测距校正参数。

6.一种车载设备，其特征在于，所述车载设备包括存储器、处理器、通信接口以及通信总线；

其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。