CN112927283A - 测距方法及装置、存储介质及电子设备 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种测距方法及装置、存储介质及电子设备。其中，测距方法包括：获取本车安装的摄像头采集的道路图像；获取利用车道线检测算法得到的道路图像中本车所在车道的车道线方程；根据车道线方程计算第一像素宽度，第一像素宽度是指在道路图像中，本车所在车道位于摄像头的盲区边界处的像素宽度；根据车道线方程计算第二像素宽度，第二像素宽度是在指道路图像中，本车所在车道位于待测目标处的像素宽度；计算第一像素宽度与第二像素宽度之间的第一比值；将第一比值代入到其与距离值的测距关系方程中，计算得到待测目标与本车之间的距离值。该方法的测距过程简单、测距精度较高、适用范围广。

Description

测距方法及装置、存储介质及电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种测距方法及装置、存储介质及电子设备。

背景技术

在高级驾驶辅助系统(Advanced Driving Assistance System，简称ADAS)以及自动驾驶中，涉及到对车辆周围的目标进行检测以及测距。目前基于图像的测距方法主要分为单目测距和双目测距两类。其中，双目测距因需要特定的硬件设备提供支持,导致其实施成本较高。单目测距虽然可通过普通摄像头采集的图像进行测距，但其测距精度较低。

发明内容

本申请实施例的目的在于提供一种测距方法及装置、存储介质及电子设备，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种测距方法，包括：获取本车安装的摄像头采集的道路图像；获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程；根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述摄像头的盲区边界处的像素宽度；根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；计算所述第一像素宽度与所述第二像素宽度之间的第一比值；将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

上述方法基于车道等宽的假设进行测距，其大致原理为：盲区边界处的车道和待测目标处的车道本应是等宽的，但由于透视效应，二者在道路图像中的像素宽度分别为第一像素宽度和第二像素宽度。第一像素宽度和第二像素宽度之间的第一比值是随待测目标与本车之间的距离而变化的，二值之间的变化规律满足一个方程(测距关系方程)，从而将第一比值代入该方程即可获得测距结果。

由于车道等宽的假设在绝大多数情况下都成立，因此该测距方法的基础十分可靠，其测距精度较高。并且，该方法中的测距关系方程建立在第一比值和实际距离之间，相当于消除了车道实际宽度对测距结果的影响(例如，若关系方程建立在第二像素宽度和测距结果之间，则车道实际宽度对测距结果存在影响)，使得该方法可适用于任意宽度的车道，其测距过程简单高效。

在第一方面的一种实现方式中，所述根据所述车道线方程计算第一像素宽度，包括：将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度。

上述实现方式给出了计算第一像素宽度的一种可能的方式。

在第一方面的一种实现方式中，所述根据所述车道线方程计算第二像素宽度，包括：检测所述道路图像中的目标，检测到的目标中包括所述待测目标；根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

上述实现方式给出了计算第二像素宽度的一种可能的方式。

在第一方面的一种实现方式中，在所述根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标之前，所述方法还包括：根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标。

发明人研究发现，虽然本申请提出的测距方法对于非本车所在车道内的待测目标也可以进行测距，但受透视效应影响，测距精度会下降，对于本车所在车道内的待测目标则测距结果较为准确。因此在上述实现方式中，仅将本车所在车道内的目标作为待测目标，这样不仅能够发挥该测距方法的优势，而且还减小了测距过程中的运算量。

并且，实际中对车辆周围的目标进行测距，很大程度上是为了避免车辆与这些目标发生碰撞。一般而言，本车所在车道内的目标与本车的碰撞风险最高，对其进行测距的价值也最大，因此即使只对这些目标进行测距，方法也具有足够高的实用价值。

在第一方面的一种实现方式中，所述车道线方程为直线方程，所述测距关系方程为直线方程或二次曲线方程。

发明人研究发现，本申请提出的测距方法对于直线车道线的场景表现较好，而测距关系方程在采用直线方程或二次曲线方程时，测距精度已经足够，并且运算量较小。

在第一方面的一种实现方式中，所述获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程：从所述道路图像中确定包含车道线的感兴趣区域图像；利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜中的待检测区域转换为对应的俯视图；其中，所述待检测区域中包含本车所在车道的车道线；确定所述俯视图中对应于本车所在车道的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标；根据变换坐标后的车道线像素点集合拟合形成所述道路图像中本车所在车道的车道线方程。

上述实现方式中的车道线检测算法具有如下优势：其一，利用深度学习的方法(指语义分割网络)对车道线进行分割，有利于提高车道线分割精度，进而提高后续步骤中的车道线检测精度；其二，并非直接基于分割掩膜进行车道线检测，而是先将分割掩膜转中的待检测区域换为对应的俯视图后，再基于俯视图进行车道线检测，其原因在于，分割掩膜中本来平行的车道线由于透视效应，很可能会在远处汇聚，导致后续步骤中某些搜索车道线像素点的算法(如，滑框算法)难以区分不同的车道线，而转换成俯视图后由于消除了分割掩膜中的透视效应，不同的车道线之间的平行关系在俯视图中得以保留，从而可以提高车道线检测的精度，进而提高基于车道线方程进行测距的精度。

在第一方面的一种实现方式中，所述方法还包括：获取所述摄像头采集的标定道路图像；获取第三像素宽度，所述第三像素宽度是指在所述标定道路图像中，测量得到的本车所在车道位于所述摄像头的盲区边界处的像素宽度；获取多个第四像素宽度，所述第四像素宽度是指在所述标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度；其中，每个第四像素宽度对应一个不同的预设距离；计算所述多个第四像素宽度与所述第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点；根据所述多个数据点求解出所述测距关系方程的参数。

上述实现方式给出了求解测距关系方程参数的过程，该过程也称为标定过程。标定所使用的数据点的个数和要求解的参数个数相关，例如二次曲线方程有三个参数，则需要使用三个数据点。

第二方面，本申请实施例提供一种测距装置，包括：图像获取模块，用于获取本车安装的摄像头采集的道路图像；车道线获取模块，用于获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程；第一宽度计算模块，用于根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述摄像头的盲区边界处的像素宽度；第二宽度计算模块，用于根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；比值计算模块，用于计算所述第一像素宽度与所述第二像素宽度之间的第一比值；距离计算模块，用于将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

第四方面，本申请实施例提供一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供测距方法的工作原理；

图2示出了本申请实施例提供的一种测距方法的流程；

图3示出了本申请实施例提供的测距方法的测距过程；

图4示出了本申请实施例提供的测距方法的标定过程；

图5示出了本申请实施例提供的一种车道线检测方法的流程；

图6示出了本申请实施例提供的感兴趣区域图像；

图7示出了本申请实施例提供的分割掩膜；

图8示出了本申请实施例提供的语义分割网络

图9示出了本申请实施例提供的分割掩膜中的待检测区域；

图10示出了本申请实施例提供的分割掩膜对应的俯视图；

图11示出了本申请实施例提供的远端部分图像和近端部分图像；

图12示出了基于远端部分图像对应的分割掩膜和近端部分图像对应的分割掩膜得到的俯视图；

图13示出了本申请实施例提供的俯视图中用于直方图统计的区域；

图14示出了本申请实施例提供的直方图；

图15示出了本申请实施例提供的滑框搜索结果；

图16示出了本申请实施例提供的一种测距装置的结构；

图17示出了本申请实施例提供的一种电子设备的结构。

具体实施方式

现有技术中已存在基于车载摄像头采集的图像进行测距的方法，这些方法先在道路图像中进行车辆检测，然后利用前方车辆的检测框下边沿的宽度推算其与本车的距离。但实验表明这些方法的测距结果准确性不高，只有约30％左右。

发明人研究发现，造成这一现象的原因在于：这些方法假定所有车辆都是等宽的，但该假设实际上并不成立，统计表明车辆的宽度一般在1.5米至3米之间变化，即检测框下边沿的宽度可能代表不同的实际宽度，而并非是一个固定值。即使在目标检测时对车辆进行了分类，然后按照不同的车辆类别进行测距，仍难以确保每一类车辆都是等宽的，并且还会使得测距过程变得复杂。

作为对比的，本申请提出的测距方法基车道等宽的假设进行测距，即同一车道的两条车道线总是保持平行，该假设在绝大多数情况下都成立，因此该测距方法的理论基础十分可靠，其测距精度相较于现有方法显著提高。

需要指出，除了本申请新提出的测距方法外，上述现有技术中存在的问题以及造成该问题的原因，都属于发明人在发明过程中所作出的贡献。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。首先，将结合图1解释一些和测距方法相关的基本概念，然后再介绍该测距方法的基本原理，最后再对方法的具体步骤进行说明。

在后文中，应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在车辆行驶的过程中，由车辆上安装的摄像头(亦可简称车载摄像头)采集的包含路面的图像称为道路图像，摄像头可能安装在车辆的头部、尾部等位置，后文主要以安装在车头的情况为例。安装有摄像头的车辆即“本车”，显然，“本车”和道路图像之间具有对应关系。本申请的方案所要测量的正是本车与待测目标(例如其他车辆、行人、骑行者)之间的距离。

参照图1，x轴上方的矩形区域表示道路图像(或者说x轴在道路图像的底边位置)，x轴表示道路图像中的横坐标，单位为像素。

同时，x轴也是车载摄像头的盲区边界位置，所谓盲区，即摄像头无法采集到图像的区域，例如，若摄像头安装在车头，对于距离车头很近的区域，摄像头无法进行拍摄，道路图像的画面中也不会包含该区域的画面。在图1中，x轴下方的矩形区域表示盲区，车载摄像头安装在O处。O点也表示测距原点，即待测目标与本车之间的距离都是指待测目标与O点之间的距离。

在道路图像中包含四条车道线，分别是LO’、RO’、L’O’、R’O’(在阐述原理时为简单起见，以车道线是直线的情况为例)，其中O’表示消失点，即由于透视效应，车道线发生汇聚的位置。当然，消失点可能位于道路图像中车道线的可见范围之外，因此图1中车道线的近处部分用实线示出，表示在道路图像中可见，远处部分则用虚线示出，表示在道路图像中不可见。四条车道线中，LO’和RO’属于同一车道，L’O’和R’O’属于同一车道，两个车道的宽度不同。

继续参照图1，为便于阐述测距原理，假设本车行驶于道路正中，而摄像头也安装于车头正中，从而连线OO’即车道中轴。在道路图像中作垂直于车道中轴且与车道线相交的线段，称这样的线段为等宽线，对于同一车道而言，位于不同位置的等宽线对应相同的实际宽度。例如，A、B、C处的等宽线可能都对应3米的车道线宽度。将等宽线在道路图像中的宽度(称为像素宽度)记为W_，由于透视效应，等宽线在道路图像中的宽度是不同的，从图1中也可以直观地看出。特别地，将盲区边界处的等宽线宽度记为W。

在图1中，s轴表示等宽线位置(可以理解为等宽线与车道中轴交点的位置，如A、B、C点)的世界坐标(坐标原点为O点)，即等宽线与本车(O点)之间的实际距离。以s轴为纵轴、x轴为横轴可形成一个坐标系。

本申请提出的测距方法其基本原理如下：

盲区边界处的车道和某个待测目标处的车道本应是等宽的，但由于透视效应，二者在道路图像中对应的等宽线的宽度却不同，分别为W和W_。将二者的比值记为r，即r＝W_/W(当然交换分子分母也可以)，r的取值随待测目标与本车之间的距离而变化，二者之间的变化规律满足一个方程s＝f(r)，该方程的参数可以通过事先标定确定下来，对于同一个摄像头而言这些参数取值在标定后保持恒定，从而直接将r代入该方程就可以求得待测目标与本车之间的距离s。其中，待测目标与本车之间的距离就是待测目标对应的等宽线位置的世界坐标。

例如，在图1的道路图像中，假设待测目标位于C处，不妨将其对应的等宽线的宽度W_记为W_C，计算W_C和W的比值r_C，然后将r_C代入方程s＝f(r)，即可以得到待测目标与本车之间的距离s_C(也即C的世界坐标)。

进一步的，在图1中，以A点为例，存在关系AA’/PR＝AA”/PR’，从而，对于不同宽度的车道，在同一等宽线位置处计算出的比值r＝W_/W总是相同的，即该测距方法的测距结果不受车道实际宽度的影响，或者说能够适应不同的宽度的车道。

图2示出了本申请实施例提供的一种测距方法的流程，其基本原理上面已经介绍。该方法可以但不限于由一电子设备执行，该电子设备的结构具体见后文对于图15的阐述。参照图2，该方法包括：

步骤S110：获取本车安装的摄像头采集的道路图像。

图2中的测距方法存在多种应用方式，对应道路图像的不同获取方式：例如，可以由本车安装的摄像头实时采集道路图像并由车载设备实时进行测距，此时道路图像的获取方式为实时采集；又例如，可以收集由本车安装的摄像头采集的道路图像构成的数据集，在PC机或者服务器上进行测距，此时道路图像的获取方式为从数据集中读取，等等。

步骤S120：获取利用车道线检测算法得到的道路图像中本车所在车道的车道线方程。

车道线检测算法的输入为道路图像，输出为道路图像中本车所在车道的车道线方程。若在执行步骤S120时，道路图像还没有进行过车道线检测，则可以在步骤S120中进行车道线检测，车道线检测可以采用现有技术中的算法，后文也会给出本申请提出的一种算法。若在执行步骤S120时，道路图像已经进行过车道线检测，则在步骤S120中直接读取已经得到的车道线方程即可。

不妨假设检测结果中本车所在车道的两条车道线的方程分别为x＝f1(y)和x＝f2(y)，x表示道路图像中的横坐标，y表示道路图像中的纵坐标，f1、f2表示x和y之间的函数关系。车道线方程可能是直线方程、二次曲线方程等，视车道线检测的需求而定，在后文中主要以直线为例。

参照图3，图3为车载摄像头采集的道路图像，其中两条黑色直线表示通过车道线检测算法得到的本车所在车道的车道线方程。

步骤S130：根据车道线方程计算第一像素宽度。

其中，第一像素宽度是指在道路图像中，本车所在车道位于车载摄像头的盲区边界处的像素宽度(即盲区边界处等宽线的宽度)，延续前文记作W。在介绍图1时已经提到，盲区边界可视为道路图像的底边，从而盲区边界的纵坐标y_W是已知的，将其代入步骤S120中的车道线方程，可以算出盲区边界处等宽线的两个端点的横坐标f1(y_W)和f2(y_W)，进而可以通过计算这两个横坐标的差值abs(f1(y_W)-f2(y_W))得到W。图3中标出了W所代表的像素宽度。

步骤S140：根据车道线方程计算第二像素宽度。

其中，第二像素宽度是在指道路图像中，本车所在车道位于待测目标处的像素宽度(即待测目标处等宽线的宽度)，延续前文记作W_。

为计算W_，首先需要检测道路图像中的目标，例如，可通过Mask-RCNN、YOLOv3等神经网络模型实现目标检测，检测结果中包含目标的类别信息以及检测框位置。

然后，需要从检测到的所有目标中确定待测目标，所谓待测目标，即需要进行测距的目标。确定待测目标有多种方式：

方式一：将所有检测到的目标都作为待测目标，此种方式逻辑简单直接，但可能导致待测目标过多，运算量较大。

方式二：考虑到测距的实际用途很可能是为了避免本车和周围目标产生碰撞，因此从全部的目标中筛选出与本车存在碰撞风险的目标作为待测目标，比如那些检测框尺寸较大、且未被其他检测框遮挡的目标。此种方式显著减小了需测距目标的数量，使测距过程变得高效，同时不损害测距方法的实用性。

方式三：从方法本身的测距特性出发选择则待测目标，对于本申请提出的测距方法，发明人研究发现，虽然该方法对于非本车所在车道内的目标也可以进行测距，但受透视效应影响，测距精度会下降，对于本车所在车道内的目标则测距结果则较为准确，因此可仅将本车所在车道内检测到的目标作为待测目标。对于其他车道内的目标，若需要进行测距，可采用其他方式，例如雷达测距等。在已知目标的检测框和车道线方程的情况下，一个目标是否位于本车所在的车道内，是可以判断的，此处不赘述。

此种方式不仅能够发挥该测距方法的优势，而且还减小了测距过程中的运算量。并且一般而言，本车所在车道内的目标与本车的碰撞风险最高，对其进行测距的价值也最大，因此即使只对这些目标进行测距，方法也具有足够高的实用价值。

进一步的，方式三还可以和方式二结合，例如选择本车所在车道内的、框尺寸大于预设尺寸的、且未被其他检测框遮挡的目标作为待测目标。

以采用方式三为例，根据待测目标的检测框可以确定待测目标在道路图像中的纵坐标y_W_，例如可取检测框下边沿(代表车轮与地面接触位置，当然也可能取检测框中心)的纵坐标。将得到的纵坐标代入步骤S120中的车道线方程，可以算出待测目标处等宽线的两个端点的横坐标f1(y_W_)和f2(y_W_)，进而可以通过计算这两个横坐标的差值abs(f1(y_W_)-f2(y_W_))得到W_。图3中标出了检测框的位置以及W_所代表的像素宽度。

步骤S150：计算第一像素宽度与第二像素宽度之间的第一比值。

第一比值延续前文记作r，r＝W_/W(当然交换分子分母也可以)。

步骤S160：将第一比值代入到其与距离值的测距关系方程中，计算得到待测目标与本车之间的距离值。

测距关系方程即前文提到的s＝f(r)，代入步骤S250中的r之后，算出s即待测目标与本车之间的距离值。

简单总结一下该测距方法的优势：其一是由于车道等宽的假设在绝大多数情况下都成立，因此其理论基础十分可靠，测距精度较高。其二是该方法中的测距关系方程建立在第一比值和实际距离之间，相当于消除了车道实际宽度对测距结果的影响(因为前文已指出第一比值和车道实际宽度无关)，使得该方法可适用于任意宽度的车道，其测距过程简单高效。作为对比的，若测距关系方程建立在第二像素宽度和测距结果之间，则车道实际宽度对测距结果存在影响，使得测距过程变得复杂而不准确。

进一步的，发明人研究发现，上述测距方法对于直线车道线的场景表现较好，而测距关系方程在采用直线方程或二次曲线方程时，测距精度已经足够，并且运算量较小，其中采用二次曲线时精度较高。因此，可以只在检测到的车道线为直线的情况下，才使用上述测距方法进行测距，在车道线为曲线时，则可以采用其他方法进行测距。

下面再结合图4说明一下上述测距方法的标定过程，该标定过程的目的是为了求解测距关系方程中的参数，使得这些参数在步骤S110至步骤S160执行之前就得以固定下来。标定过程的步骤包括：

步骤a:获取本车安装的摄像头采集的标定道路图像。

标定道路图像由要标定的车载摄像头采集，采集标定道路图像的道路环境可以如图4所示，选择空旷的道路，将本车行驶至某个等宽车道的正中(若摄像头也安装在车头正中，则此时摄像头位于本车所在车道的中轴上)，并将车头正对前方，使得摄像头的光轴与车道线平行。

步骤b：获取第三像素宽度。

其中，第三像素宽度是指在标定道路图像中，测量得到的本车所在车道位于车载摄像头的盲区边界处的像素宽度。第三像素宽度的定义和第一像素宽度类似，不再重复解释。不妨将第三像素宽度记为W_0。

由于是标定阶段，可以人工在标定道路图像中先标注出车道线方程(图4中的黑色直线)，然后人工测量(当然也可以利用坐标计算)W_0。

步骤c：获取多个第四像素宽度。

其中，第四像素宽度是指在标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度，即预设距离处的等宽线宽度。每个第四像素宽度对应一个不同的预设距离，即一个等宽线位置。例如，在图4中示出了3个预设距离，20米、50米和100米，这些预设距离对应的等宽线位置是已知的(位置1、2、3)，例如，可以由人工在图中标注，或者，事先在这些距离处的路面上放置标志物以便确定其位置。

由于是标定阶段，可以人工在标定道路图像中先标注出车道线方程(图4中的黑色直线)，然后人工测量各预设距离处的等宽线宽度(当然也可以利用坐标计算)。例如，在图4中测量了3个等宽线宽度，分别记为W_1、W_2以及W_3。

步骤d：计算多个第四像素宽度与第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点。

标定所使用的数据点的个数和要求解的参数个数相关：例如，若测距关系方程为二次曲线s＝a*r2+b*r+c，则有3个参数，因此需要使用3个数据点，在步骤c中也要测量3个第四像素宽度；又例如，若测距关系方程为直线s＝a*r+b，则有2个参数，因此需要使用2个数据点，在步骤c中也要测量2个第四像素宽度。

以图4为例，可以计算出3个第二比值，分别记为：

r1＝W_1/W_0

r2＝W_2/W_0

r3＝W_3/W_0

进而可以形成3个数据点P1(20,r1)、P2(50,r2)以及P3(100,r3)。

步骤e：根据多个数据点求解出测距关系方程的参数。

利用已知的数据点求解方程参数的方法可参考现有技术，此处不作具体阐述。例如，若测距关系方程为s＝a*r2+b*r+c，代入P1、P2、P3后可以解出参数a、b、c，这样测距关系方程的形式就确定了，可以执行后续的距离计算。

下面，再介绍一下步骤S120中可以采用的一种车道线检测方法。参照图5，该方法包括：

步骤S121：从道路图像中确定包含车道线的感兴趣区域图像。

步骤S110中的感兴趣区域是指道路图像中包含车道线的区域，感兴趣区域图像即道路图像位于感兴趣区域内的部分，显然，感兴趣区域一旦确定以后，很容易从道路图像中截取出感兴趣区域图像。注意，这里的“包含”应该理解为若道路图像中有车道线，则车道线会出现在感兴趣区域中，而不应理解为道路图像在感兴趣区域内必然存在车道线(因为有的道路上没有车道线)。

由于在道路图像中，道路总是位于图像底部，所以在比较简单的实现方式中，可以直接将道路图像底部的某个区域(例如，底部占全图面积1/3的区域)确定为感兴趣区域。或者，由于车载摄像头的安装位置、角度等通常是固定的，因此可以计算道路图像中的消失点，并将消失点下方的区域确定为感兴趣区域，等等。

参照图6，白色横线下方的区域为感兴趣区域，该区域对应的图像为感兴趣区域图像，不难看出，感兴趣区域图像中包含了所要检测的车道线。

步骤S122：利用语义分割网络处理感兴趣区域图像，获得图像中车道线的分割掩膜，并将分割掩膜中的待检测区域转换为对应的俯视图。

语义分割网络是一个训练好的卷积神经网络，该网络以感兴趣区域图像或者经预处理(例如，缩放、归一化等处理)后的感兴趣区域图像为输入，输出道路图像中车道线的分割掩膜。

分割掩膜可视为车道线分割结果的一种表示方式，分割掩膜中可以包含车道线的类别信息，以及，每种类别的车道线的位置信息。在本申请的方案中，分割掩膜具有像素级精度，即其分辨率和语义分割网络的输入图像相同，分割掩膜中的每个像素点都指明了输入图像中对应位置的像素点的分割结果。发明人研究发现，高精度的车道线分割，有利于提高后续步骤中的车道线检测精度，而通过深度学习方法训练的语义分割网络正是实现高精度分割的基础。

其中，车道线的类别有多种划分方式，例如：

若划分为11类，类别可以为：

[背景(非车道线),白实线，黄实线，双白实线，双黄实线，白实虚线，黄实虚线，白虚线，黄虚线，双白虚线，双黄虚线]

若划分是6类，类别可以为：

[背景,单实线，单虚线，双实线，双虚线，实虚线]

若划分为3类，类别可以为：

[背景,单线，双线]

若划分为2类，类别可以为：

[背景，车道线]

根据不同的设计，分割掩膜可以具有不同的形式：

例如，图7示出了一种车道线的分割掩膜，该分割掩膜是一张灰度图，图中像素点取不同的灰度值表示不同的车道线类别，比如，黑色代表背景、白色代表单虚线，灰色代表单实线，而不同灰度值的区域在分割掩膜中的位置则表示不同类别的车道线的位置。

又例如，车道线的分割掩膜可以是RGB图，图中像素点取不同的RGB值表示不同的车道线类别，比如，黑色代表背景、绿色代表单虚线，蓝色代表单实线，而不同RGB值的区域在分割掩膜中的位置则表示不同类别的车道线的位置。

又例如，车道线的分割掩膜可以是多值图，图中像素点取不同的枚举值表示不同的车道线类别，比如，0代表背景、1代表单虚线，2代表单实线，而不同枚举值的区域在分割掩膜中的位置则表示不同类别的车道线的位置。

在分割掩膜的上述三种形式中，RGB图比较适于对外展示，使得用户能够直观地看到车道线分割结果，当然即使分割掩膜采用灰度图或者多值图的形式，也可以将其转化为RGB图后再对外展示。应当理解，分割掩膜的实现形式不限于以上三种形式。

语义分割网络的具体结构不限定，例如可以采用现有技术中的FCN、SegNet、UNet等架构，本申请也提出一种新的语义分割网络架构，下面具体进行介绍，在介绍时主要以图8中的网络结构图为参考：

该语义分割网络包括主干网络以及与主干网络连接的特征融合网络，其中，主干网络用于提取感兴趣区域图像的多尺度特征，而特征融合网络则将主干网络提取出的多尺度特征进行融合，并输出针对不同车道线类别的分割结果，当然，该分割结果在形式上可能和分割掩膜存在一定的差异，需要进一步将其转换为分割掩膜。在该语义分割网络中，通过提取并融合多尺度特征以获得分割掩膜，由于融合后的特征具有较强的表达能力，从而有利于提高车道线分割精度。例如，在图8中，最左侧一列的方框表示主干网络，右侧两列的方框则表示特征融合网络。

在设计语义分割网络时，可以按照上述对主干网络和特征融合网络的功能描述分别进行网络结构的设计。

比如，在一种设计中，主干网络可以进一步包括多个bottleneck模块，可从这些bottleneck模块提取的特征中选择出一些作为上述多尺度特征。其中，bottleneck模块是MobileNet(例如，MobileNetv2)中的一种卷积模块，其内部结构可参考MobileNet，此处从略。由于MobileNet是一种轻量级网络，其中广泛使用深度可分离卷积，因此借助于MobileNet中的bottleneck模块实现主干网络，有利于在满足分割准确性的同时减小语义分割网络的计算量、提高车道线分割的实时性，考虑到该语义分割网络很有可能部署在嵌入式环境(例如，车载设备)中进行实时的车道线检测，此种实现方式具有较高的实用价值。

参照图8，图8中的主干网络包括串联的1个卷积层(Conv2d)以及7个bottleneck模块(主干网络的方框中的数字表示输入当前模块的特征尺寸，三个数字分别表示宽度、高度以及通道数)，进一步选择了第4个、第6个、第7个bottleneck模块输出的特征(尺度分别是52*28、26*14、13*7，即输入图像按照8倍、16倍、32倍下采样的结果)作为主干网络的输出，其中，要选择哪些bottleneck模块输出的特征作为主干网络的输出，可以根据实验来确定。

在一种设计中，特征融合网络将主干网络输出的每个尺度的特征卷积后与该尺度的融合特征相加，相加结果经反卷积上采样后得到上一尺度的融合特征，可用于和主干网络输出的上一尺度的特征继续融合。其中存在两个特例，主干网络输出的最小尺度的特征卷积后直接作为相加结果(因为没有最小尺度的融合特征)，而利用主干网络输出的最大尺度的特征计算得到的上一尺度的融合特征则直接作为分割结果输出。

参照图8，前文提到，主干网络的第4个、第6个、第7个bottleneck模块分别输出尺度为52*28、26*14、13*7的特征，其中，52*28是26*14的上一尺度，26*14是13*7的上一尺度，52*28是最大尺度，13*7是最小尺度。

尺度为13*7的特征经卷积层(13*7*11的conv)处理后直接作为相加结果，相加结果经反卷积层(26*14*11的Deconv)上采样后，得到的融合特征的尺度为26*14，和其上一尺度的特征相同。尺度为26*14的特征经卷积层(26*14*11的conv)处理后与尺度为26*14的融合特征逐像素点相加，相加结果经反卷积层(52*28*11的Deconv)上采样后，得到的融合特征的尺度为52*28，和其上一尺度的特征相同。尺度为52*28的特征经卷积层(52*28*11的conv)处理后与尺度为52*28的融合特征逐像素点相加，相加结果经反卷积层(416*224的Deconv)上采样后，得到的融合特征的尺度为416*224，和语义分割网络的输入图像的分辨率相同，此融合特征同时也是语义分割网络的分割结果。需要注意一点，特征融合网络的方框中的数字表示输出当前模块的特征尺寸，这与主干网络中的数字含义不同。

可见，在上述特征融合网络中，按照特征尺度从小到大的顺序，逐级对特征进行上采样及相加融合，由于不同尺度的特征包含不同的语义信息并对应不同的感受野，因此通过特征融合可以显著提高特征的表达能力，进而改善车道线分割精度。

进一步的，在图8中，分割结果有11个通道(416*224*11)，代表11个车道线类别，其中每个通道用于指示一种车道线的分割状态。例如，第k(k取1～11中的整数)个通道中的像素值可以是一个置信度，表示对应像素点属于第k个车道线类别的概率，通过设置针对第k个通道的阈值即可以判断出哪些像素点属于第k个车道线类别。然而，根据前文所述，分割掩膜可能只是单通道图像(灰度图、多值图)或者三通道图像(RGB图)，因此得到分割结果后，还需要将分割结果转化为分割掩膜。

虽然基于分割掩膜直接检测车道线是可行的，但在本申请的方案中，并非直接基于分割掩膜进行车道线检测，而是先将分割掩膜转换为对应的俯视图后，再基于俯视图进行车道线检测。

其原因在于，车道线检测过程中存在一个搜索车道线像素点的步骤(步骤S123)，其搜索结果直接决定车道线拟合(步骤S124，拟合出的车道线方程即车道线检测结果)的精确性。然而，在分割掩膜中，本来平行的车道线由于透视效应，很可能会在远处汇聚在一起，导致某些搜索车道线像素点的算法(例如，后文会提到的滑框算法)在搜索到车道线汇聚位置时难以区分属于不同车道线的像素点，进而造成车道线检测结果不准确，而转换成俯视图后，由于消除了分割掩膜中的透视效应，不同的车道线之间的平行关系在俯视图中得以保留，使得搜索车道线像素点的算法能够得到较为准确的结果，从而可以提高车道线检测的精度。其中，转换俯视图可以采用透视变换。

在转换俯视图时，可以将整个分割掩膜都转换为俯视图。但一方面，在本申请提出的测距方法中只关注本车所在车道(对应两条车道线)的车道线方程，检测其他车道线对于测距没有太大意义，另一方面，车道线通常是有规律延伸的(例如，按直线延伸)，在步骤S123中即使只搜索出一部分车道线像素点也足以在步骤S124中拟合出车道线方程。从而，基于这两方面考虑，在一些实现方式中，可以利用车载摄像头的内外参数(已预先标定好)从分割掩膜中确定出一个待检测区域，并仅将分割掩膜位于待检测区域内的部分利用透视变换转换为俯视图。其中，待检测区域代表本车所在车道的近处区域，例如，摄像头左右各4米，纵向100米的矩形区域。由于无需再基于整个掩膜图像进行车道线检测，因此这种做法不仅可以节约运算量，而且几乎不影响车道线检测效果。

因为透视效应的缘故，待检测区域在分割掩膜中可能表现为一个梯形区域，如图9所示，通过待检测区域转换得到的俯视图则如图10所示，不难看出，在图10中，两条车道线近似平行。

进一步的，在一些实现方式中，将分割掩膜转换为俯视图时，还可以顺便将其转换为二值图(如果分割掩膜本来不是二值图的话)，比如，在二值图中，可以用像素值0表示背景，像素值1表示车道线(不区分是哪种车道线)。其动机在于，在基于俯视图检测车道线的过程中(详见后文步骤)，可以并不使用通过语义分割网络得到的车道线类别，从而采用二值图作为俯视图可以使后续的检测步骤(例如，统计直方图等)得到简化。参照图9，图10是二值图的可视化结果(0映射为黑色，1映射为白色)，两条车道线虽然一条是单虚线，一条是单实线，但在图10中都以白色示出，并不进行区分。

前文提到，感兴趣区域图像在输入语义分割网络前，可能会经过缩放。随着目前摄像头性能的提高，比较常见的情况是，道路图像具有较高的分辨率，而语义分割网络的输入分辨率则较低，即，感兴趣区域图像会以较大的比例缩小后再输入语义分割网络进行处理。

在这样的情况下，发明人发现如下问题：在感兴趣区域图像中，由于透视效应，远端的车道线所占像素点较少，近端的车道线所占像素点较多，这导致在其缩小后产生的输入图像中，远端的车道线只占很少的像素点，这样语义分割网络将很难对其进行有效分割，后续也难以有效检测这部分车道线。

在一些实现方式中，为改善此问题，可以采取如下做法：

首先，从感兴趣区域图像中确定出包含远端车道线的远端部分图像，以及，包含近端车道线的近端部分图像。例如，可以根据消失点的位置以及预设的比例从感兴趣区域图像中截取得到远端部分图像和近端部分图像。参照图11，图11中示出两个黑色方框，靠上的表示远端部分图像，靠下的表示近端部分图像，由于透视效应，近端部分图像的尺寸可以取得比远端部分图像更大一些，以便其包含完整的车道线。

然后，利用语义分割网络分别处理远端部分图像以及近端部分图像，获得远端部分图像中车道线的分割掩膜以及近端部分图像中车道线的分割掩膜。计算分割掩膜的方式和前文只有一个输入图像的情况是类似的，得到的两个分割掩膜也和图7类似，此处不再重复阐述。

最后，将远端部分图像中车道线的分割掩膜和近端部分图像中车道线的分割掩膜转换为二者共同对应的俯视图，转换俯视图的方法在前文已经阐述，这里的区别仅在于需要将两个分割掩膜映射到同一个俯视图中。在转换之前，也可以先从两个分割掩膜中分别确定第一待检测区域和第二待检测区域，仅将分割掩膜在这两个区域中的内容转换为俯视图，第一待检测区域和第二待检测区域合起来应对应前文提到的待检测区域(图9中的梯形框)。

其中，远端部分图像和近端部分图像在输入语义分割网络前也需要进行缩放，以便满足语义分割网络在输入分辨率方面的要求。但由于远端部分图像和近端部分图像都只是感兴趣区域图像的一部分，其尺寸小于感兴趣区域图像的尺寸，所以远端部分图像即使被缩小，缩小的比例也不及直接对感兴趣区域图像进行缩小时的比例，并且，根据语义分割网络的输入分辨率，远端部分图像还不一定会被缩小，甚至可能会被放大。这使得在缩放后的远端部分图像中，远端的车道线得以占据较多的像素点，这样语义分割网络可以对其进行有效分割，后续也能够有效检测这部分远端的车道线。

参照图12，图12示出了这些实现方式下得到的俯视图(采用了上述第一检测区域和第二检测区域)，不难看出，相较于图10，图12中车道线像素点的数量增多了，特别是位于俯视图上方的、代表远处车道线的像素点。这样后续步骤中可以从俯视图中搜索到更多的车道线像素点，从而拟合得到更精确的车道线方程。在后文中，为简单起见，仍然继续以图10中的俯视图为例进行阐述。

步骤S123：确定俯视图中对应于本车所在车道的车道线像素点集合，并将集合中车道线像素点的坐标从俯视图中的坐标变换为道路图像中的坐标。

在俯视图中，每条车道线都由一些像素点构成，这些像素点称为车道线像素点，这些像素点构成的集合则称为车道线像素点集合，每条车道线都对应自己的一个车道线像素点集合，步骤S123的主要任务即在俯视图中搜索出每条车道线对应的车道线像素点集合。例如，在图10中，理想情况下应搜索到两个车道线像素点集合，分别对应图中的单虚线和单实线。

为搜索车道线像素点集合，需要确定一个起始的搜索位置，从该位置出发进行进一步搜索。在一些实现方式中，可以以车道线和俯视图底边的交点为起始的搜索位置，称该交点为车道线的定位基点，显然，每条车道线对应一个定位基点，确定了定位基点的位置后，利用一定的搜索算法沿俯视图的纵向进行搜索，即可获得俯视图中对应于不同车道线的车道线像素点集合。

当然，定位基点在俯视图中的位置是未知的，需要通过计算才能得到。例如，可以统计俯视图中每个横坐标处的车道线像素点的数量，获得一个直方图，然后根据直方图中波峰的横坐标确定俯视图中车道线的定位基点。

其中，由于俯视图中表示车道线的像素点和表示背景的像素点取值不同(例如，在俯视图为二值图时，一个取1一个取0)，所以这种统计是可行的。在统计得到的直方图中，波峰必然对应车道线像素点分布最为密集的位置，自然也最有可能是车道线所在的位置，从而将波峰的横坐标作为定位基点的横坐标(由于定位基点位于俯视图底部，所以其纵坐标已知，无需计算)，就可以快速、准确地得到定位基点的位置。

可选的，在统计直方图时，可以只取俯视图底部一个指定高度的区域进行统计，不必取整个俯视图进行统计，一方面因为定位基点可以定义为车道线和俯视图底边的交点，其本来就和远处的车道线没太大关系，在该小区域内搜索已经足够，此举不仅有利于节约运算量，而且还可能得到更准确的定位基点的位置，另一方面因为该小区域距离摄像头较近，其中车道线的倾斜程度较小，也有利于更准确地确定定位基点的位置。

例如，对于图10中的俯视图，假设其分辨率为80*180，在统计每个横坐标处的车道线像素点的数量时，可以只在其底部对应于近处20米的区域(根据车载摄像头的内外参数可以将20米换算为对应的像素高度，例如50)内进行统计，在图13中该区域用白色方框标出。而图14则示出了相应的统计结果，图14中直方图的横轴x表示俯视图的横坐标，纵轴m则表示车道线像素点的数量，不难看出，直方图包含两个明显的波峰，分别对应图10中两个定位基点的横坐标。在可选的方案中，对于直接统计得到的直方图，可以先进行滤波，然后再在滤波后的直方图中搜索波峰，滤波操作使得对于每条车道线，在直方图中只产生一个波峰。

从直方图中搜索波峰可以采取不同的策略，下面继续进行介绍：

检测车道线很可能是一个连续的过程，例如，在车辆行驶的过程中车载摄像头不断采集道路图像并进行检测。将在当前道路图像之前采集的道路图像称为当前道路图像的前序图像，前序图像通常也会进行车道线检测，检测频率可以是预先设定好的(可能为一个较短的时间)，例如每帧都进行检测或者每三帧进行一次检测。对于最近一个进行车道线检测的前序图像，若在检测时已经确定了定位基点的位置(不妨称这些定位基点为已知定位基点)，考虑到车辆运动的连续性以及车道线本身的连续性，在当前的道路图像对应的俯视图中，如果也存在车道线的定位基点，其位置不会偏离已知定位基点的位置太远。从而，一种可选的波峰搜索策略是(后文称为策略A)：在直方图中位于已知定位基点的横坐标附近的预设范围内搜索波峰，这样可以显著提高确定定位基点位置的效率。其中，预设范围可以是已知定位基点左右各1米(需根据车载摄像头的内外参数将1米换算为对应的像素宽度)。

对于最近一个进行车道线检测的前序图像，若在检测时未能确定定位基点的位置(例如，该前序图像中根本没有车道线)，或者，检测车道线是从当前道路图像才开始进行的，对于前序图像未进行过车道线检测，又或者，当前道路图像是摄像头采集的第一帧图像，其根本不存在前序图像，这些因素都将导致并不存在已知定位基点。此时，只能采取另一种波峰搜索策略(后文称为策略B)：在直方图的全部横坐标范围内搜索波峰。

下面结合策略A和B，进一步说明如何确定本车所在车道对应的两个定位基点：

若存在两个已知定位基点(对应本车所在车道的两条车道线)，根据上文阐述，应采用策略A，即分别在直方图中位于两个已知定位基点的横坐标附近的预设范围内搜索波峰。若找到了两个波峰，且其横坐标x1和x2满足条件thresh_min<abs(x1-x2)<thresh_max，则将x1和x2确定为两个定位基点的横坐标。其中，thresh_min为预设的车道线最小宽度(例如，2.5米对应的像素宽度)，thresh_max为预设的车道线最大宽度(例如，3.75米对应的像素宽度)，abs表示取绝对值运算，该条件用于检验x1和x2的距离abs(x1-x2)是否合理，若二者相距太近或太远，都不能表示一个真实的车道。

若不存在已知定位基点，根据上文阐述，应采用策略B，此时可以分别在直方图的横坐标范围[0,L/2]和[L/2,L]内搜索波峰，其中L为直方图的横坐标最大值(例如，80)，因此该搜索方式相当于全范围搜索。

若找到两个波峰，且其横坐标x1和x2满足条件thresh_min<abs(x1-x2)<thresh_max，则将x1和x2确定为两个定位基点的横坐标；

若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min<abs(x1-x2)<2*thresh_max和abs(x1-L/2)<abs(x2-L/2)，则将x1和(x1+x2)/2确定为两个定位基点的横坐标；

若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min<abs(x1-x2)<2*thresh_max和abs(x1-L/2)>abs(x2-L/2)，则将x2和(x1+x2)/2确定为两个定位基点的横坐标。

因为不同类型的车道宽度不同，所以即使转换俯视图时限定了待检测区域的大小只包含两条车道线，实际中也有可能包含进来三条车道线。例如，车道宽度可能介于2.5米至3.75米之间，若待检测区域的宽度取车载摄像头左右各4米，对于宽3.75米的车道，则基本只包含两条车道线，对于宽2.5米的车道，则很有可能包含三条车道线。

若两个波峰的横坐标满足条件thresh_min<abs(x1-x2)<thresh_max，表明此时俯视图内有两条车道线，x1和x2分别对应本车所在车道的两条车道线位置，从而直接根据x1和x2可确定定位基点。

若两个波峰的横坐标满足条件2*thresh_min<abs(x1-x2)<2*thresh_max，表明此时俯视图内有三条车道线，应进一步计算本车所在车道的两条车道线对应的定位基点。

此时，若abs(x1-L/2)<abs(x2-L/2)，表明本车在靠左边的车道(三条车道线共形成两个车道)，x1和(x1+x2)/2分别对应本车所在车道的两条车道线位置(三条车道线中靠左侧的两条车道线)，即所要确定的两个定位基点的横坐标；若abs(x1-L/2)>abs(x2-L/2)，表明本车在靠右边的车道，x2和(x1+x2)/2分别对应本车所在车道的两条车道线位置(三条车道线中靠右侧的两条车道线)，即所要确定的两个定位基点的横坐标。

确定了车道线的定位基点后，可以从定位基点开始，沿俯视图的纵向进行搜索，获得俯视图中对应于本车所在车道的车道线像素点集合，具体搜索方式不限，下面以一种滑框搜索算法为例进行说明。

针对之前步骤中得到的每个定位基点，都执行以下步骤：

(1)根据定位基点确定滑框的起始位置，滑框为具有预设大小的矩形框；

(2)从起始位置开始，向俯视图的顶部不断移动滑框以进行搜索，滑框每移动至一个新位置后，根据预设的规则判断在该位置处滑框是否有效，若滑框有效，则将滑框内的车道线像素点加入到该定位基点对应的车道线像素点集合中；

(3)重复执行步骤(2)直至滑框到达俯视图顶部，此时得到的车道线像素点集合为该定位基点对应的车道线像素点集合。

滑框搜索算法实现简单，并且该算法以滑框为基本搜索单位，具有较小的搜索粒度，使得搜索结果兼顾了效率与准确性。此外，该算法还允许在搜索过程中根据搜索结果灵活地调整滑框的位置，有利于进一步提高搜索结果的准确性。图15示出了滑框搜索过程中滑框的移动轨迹(从下至上)，可见，滑框有效覆盖了车道线像素点区域(白色区域)，并且两条车道线对应的两组滑框之间也不存在交集，因此其搜索结果较为准确。

下面再对算法步骤进行进一步解释：

对于步骤(1)，若定位基点位于俯视图的底边上，则可以将定位基点作为滑框底边的中点，以此确定滑框的起始位置。

在步骤(2)中，预设的规则可以是：判断在当前位置处，滑框内的车道线像素点的数量是否超过第一阈值，若超过第一阈值，则确定滑框有效，否则确定滑框无效。设置该规则的出发点在于，若滑框内车道线像素点的数量较多(超过第一阈值)，表明滑框的位置与车道线的位置是匹配的，此时搜索到的车道线像素点应为有效的搜索结果，否则滑框内的车道线像素点可能是误检的噪声，或者滑框已经偏离车道线的位置。可以理解的，该预设的规则也可以采取其他规则。

在步骤(2)中，只要求滑框总体上是向俯视图的顶部移动，但并不强制滑框每次都必须向着俯视图的顶部移动，比如，也允许滑框的纵坐标保持不变，横向调整其位置。

在一些实现方式中，可以根据当前的搜索结果计算滑框的下一个位置。例如，在滑框有效时，计算滑框内的车道线像素点的横坐标均值，并根据计算结果确定滑框将要移动至的新位置，比如，将该横坐标均值作为新位置的横坐标，将滑框当前的纵坐标增加(或减少，取决于纵轴方向)一个滑框的高度后作为新位置的纵坐标，移动后滑框底边的中点与该新位置重合。在这些实现方式中，由于滑框的位置是根据滑框内车道线像素点的横坐标动态计算的，因此有利于滑框跟随车道线的延伸趋势进行移动，获得更好地搜索结果。

在滑框无效时，不能再采用上面计算横坐标均值的方法确定滑框的新位置，但也应当继续移动滑框尝试搜索新的车道线像素点，而非停止搜索，因为滑框无效可能是一种“正常”的情况：例如，车道线本来就是虚线，中间存在间断，导致滑框移动后其中没有或只包含了很少的车道线像素点；又例如，车道线发生剧烈变化(如大幅弯曲)，而滑框未能有效跟随车道线移动，导致其中没有或只包含了很少的车道线像素点，等等。

这里存在多种可能的处理方式。一种可能的方式是保持当前滑框的横坐标不变向俯视图顶部继续移动滑框(比如，可以移动一个滑框的高度)，例如，若车道线存在间断，此种方式会使得滑框很快匹配到下一段车道线。另一种可能的方式是根据已搜索到的车道线像素点(即当前的车道线像素点集合)，首先计算出车道线的延伸趋势。例如，可以根据已搜索到的车道线像素点拟合一个临时的车道线方程或者计算一个代表车道线延伸趋势的向量，等等。然后，再顺着车道线的延伸趋势移动滑框，由于车道线具有连续性，因此计算出的延伸趋势是对车道线位置的较好预测，从而此种方式可以在很大程度上确保滑框始终跟随车道线移动，例如，若车道线发生剧烈变化，此种方式会使得滑框很快匹配到新的车道线位置。

对于步骤(3)，在一些实现方式中，若滑框搜索已经结束，还可以进一步判断在搜索过程中得到的有效滑框的总个数是否超过第二阈值，若超过第二阈值，才会认可获得的车道线像素点集合，否则不认可获得的车道线像素点集合(即从当前的定位基点出发搜索车道线像素点集合失败)。这些实现方式的出发点在于：若有效的滑框数量较多(超过第二阈值)，表明获得的车道线像素点集合可信度较高，应当认可，反之则不应认可。通过此判断能够提高车道线检测的准确性，避免误检。

步骤S123中的搜索过程结束后，已经得到俯视图中对应于本车所在车道的两个车道线像素点集合，但其中像素点的坐标仍是俯视图中的坐标，需要将其变换为道路图像中的坐标，因为最终的车道线检测是针对道路图像而言的，在变换坐标时可以利用透视变换。

步骤S124：根据变换坐标后的车道线像素点集合拟合形成车道线方程。

根据点集拟合方程的方法可采用现有技术，此处不作具体说明。例如，若用x表示道路图像中的横坐标，y表示道路图像中的纵坐标，本车所在车道的两条车道线的方程可以分别表示为x＝f1(y)和x＝f2(y)。图3用两条黑色直线示出了一个可能的车道线检测结果。

下面简单总结本申请提出的车道线检测算法相较于现有方法的优势：

其一，利用深度学习的方法(指语义分割网络)对车道线进行像素精度的分割，有利于提高车道线分割精度，进而提高后续步骤中的车道线检测精度。在一些实现方式中，还可以对语义分割网络进行轻量化以及多尺度特征融合的设计，提高其分割性能。

其二，并非直接基于分割掩膜进行车道线检测，而是先将分割掩膜转换为对应的俯视图后，再基于俯视图进行车道线检测，此举可在俯视图中尽量保留不同的车道线之间的平行关系，同样可以提高车道线检测的精度。另外，在基于俯视图进行检测时，还进一步提出了基于直方图查找定位基点、滑框搜索车道线像素点集合等方法，同样有利于提高车道线检测精度。

图16示出了本申请实施例提供的测距装置200的功能模块图。参照图16，测距装置200包括：

图像获取模块210，用于获取本车安装的摄像头采集的道路图像；

车道线获取模块220，用于获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程；

第一宽度计算模块230，用于根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述摄像头的盲区边界处的像素宽度；

第二宽度计算模块240，用于根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；

比值计算模块250，用于计算所述第一像素宽度与所述第二像素宽度之间的第一比值；

距离计算模块260，用于将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

在测距装置200的一种实现方式中，第一宽度计算模块230根据所述车道线方程计算第一像素宽度，包括：将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度。

在测距装置200的一种实现方式中，第二宽度计算模块240根据所述车道线方程计算第二像素宽度，包括：检测所述道路图像中的目标，检测到的目标中包括所述待测目标；根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

在测距装置200的一种实现方式中，第二宽度计算模块240还用于：在根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标之前，根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标。

在测距装置200的一种实现方式中，所述车道线方程为直线方程，所述测距关系方程为直线方程或二次曲线方程。

在测距装置200的一种实现方式中，车道线获取模块220获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程：从所述道路图像中确定包含车道线的感兴趣区域图像；利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜中的待检测区域转换为对应的俯视图；其中，所述待检测区域中包含本车所在车道的车道线；确定所述俯视图中对应于本车所在车道的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标；根据变换坐标后的车道线像素点集合拟合形成所述道路图像中本车所在车道的车道线方程。

在测距装置200的一种实现方式中，所述装置还包括：

标定模块，用于：获取所述摄像头采集的标定道路图像；获取第三像素宽度，所述第三像素宽度是指在所述标定道路图像中，测量得到的本车所在车道位于所述摄像头的盲区边界处的像素宽度；获取多个第四像素宽度，所述第四像素宽度是指在所述标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度；其中，每个第四像素宽度对应一个不同的预设距离；计算所述多个第四像素宽度与所述第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点；根据所述多个数据点求解出所述测距关系方程的参数。

本申请实施例提供的测距装置200，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法实施例中相应内容。

图17示出了本申请实施例提供的电子设备300的一种可能的结构。参照图17，电子设备300包括：处理器310、存储器320以及通信接口330，这些组件通过通信总线340和/或其他形式的连接机构(未示出)互连并相互通讯。

其中，处理器310包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器310可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network ProcessingUnit，简称NPU)、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器310为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器320包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。处理器310以及其他可能的组件可对存储器320进行访问，读和/或写其中的数据。例如，在存储器320中可以存储一个或多个计算机程序指令，处理器310可以读取并运行这些计算机程序指令，以实现本申请实施例提供的测距方法。

通信接口330包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口330可以包括进行有线和/或无线通信的接口。

可以理解，图17所示的结构仅为示意，电子设备300还可以包括比图17中所示更多或者更少的组件，或者具有与图17所示不同的配置。图17中所示的各组件可以采用硬件、软件或其组合实现。电子设备300可能是实体设备，例如车载设备、PC机、笔记本电脑、平板电脑、手机、服务器等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备300也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的测距方法。例如，计算机可读存储介质可以实现为图17中电子设备300中的存储器320。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种测距方法，其特征在于，包括：

获取本车安装的摄像头采集的道路图像；

获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程；

根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述摄像头的盲区边界处的像素宽度；

根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；

计算所述第一像素宽度与所述第二像素宽度之间的第一比值；

将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

2.根据权利要求1所述的测距方法，其特征在于，所述根据所述车道线方程计算第一像素宽度，包括：

将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；

根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度。

3.根据权利要求1所述的测距方法，其特征在于，所述根据所述车道线方程计算第二像素宽度，包括：

检测所述道路图像中的目标，检测到的目标中包括所述待测目标；

根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；

根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

4.根据权利要求3所述的测距方法，其特征在于，在所述根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标之前，所述方法还包括：

根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标。

5.根据权利要求1所述的测距方法，其特征在于，所述车道线方程为直线方程，所述测距关系方程为直线方程或二次曲线方程。

6.根据权利要求1所述的测距方法，其特征在于，所述获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程：

从所述道路图像中确定包含车道线的感兴趣区域图像；

利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜中的待检测区域转换为对应的俯视图；其中，所述待检测区域中包含本车所在车道的车道线；

确定所述俯视图中对应于本车所在车道的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标；

根据变换坐标后的车道线像素点集合拟合形成所述道路图像中本车所在车道的车道线方程。

7.根据权利要求1-6中任一项所述的测距方法，其特征在于，所述方法还包括：

获取所述摄像头采集的标定道路图像；

获取第三像素宽度，所述第三像素宽度是指在所述标定道路图像中，测量得到的本车所在车道位于所述摄像头的盲区边界处的像素宽度；

获取多个第四像素宽度，所述第四像素宽度是指在所述标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度；其中，每个第四像素宽度对应一个不同的预设距离；

计算所述多个第四像素宽度与所述第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点；

根据所述多个数据点求解出所述测距关系方程的参数。

8.一种测距装置，其特征在于，包括：

图像获取模块，用于获取本车安装的摄像头采集的道路图像；

车道线获取模块，用于获取利用车道线检测算法得到的所述道路图像中本车所在车道的车道线方程；

第一宽度计算模块，用于根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述摄像头的盲区边界处的像素宽度；

第二宽度计算模块，用于根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；

比值计算模块，用于计算所述第一像素宽度与所述第二像素宽度之间的第一比值；

距离计算模块，用于将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-7中任一项所述的方法。

10.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1-7中任一项所述的方法。

Images