CN108694731A - 基于低线束激光雷达和双目相机的融合定位方法及设备 - Google Patents

Abstract

本发明涉及一种基于低线束激光雷达和双目相机的融合定位方法，适于在计算设备中执行，该方法包括：获取双目相机图像数据和低线束激光雷达的雷达数据；依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数；根据所述误差系数调整所述图像数据，生成校准图像数据。本发明提供的基于低线束激光雷达和双目相机的融合定位方法及设备通过将双目相机获取的数据和低线束激光雷达获取的数据相融合，利用双目相机获取数据全面而低线束激光雷达获取数据精确的特点，低成本地提高双目相机获取的数据的准确性，改善无人驾驶车辆的行驶精度。

Description

基于低线束激光雷达和双目相机的融合定位方法及设备

技术领域

本发明涉及无人驾驶车辆安全驾驶领域，特别是涉及一种基于低线束激光雷达和双目相机的融合定位方法及设备。

背景技术

无人驾驶车辆技术近年来正加速发展，其在出行安全、节能环保等方面具有非常巨大的优势，被认为是解决交通拥堵、降低交通事故和改善环境污染的有效途径。在最近一段时间内，随着人工智能以及智能车辆的不断发展，无人驾驶技术得到了广泛关注，成为未来汽车发展的重要方向。

无人驾驶的实现首先要解决无人驾驶车辆的“眼睛”问题，也就是需要让无人驾驶车辆能够尽可能准确地感知到车辆前方甚至是车辆周边一定范围内的交通信息情况，例如能够获知周围的车辆、人员、交通信号等等信息。现有的无人驾驶感知方案中多采用多线束激光雷达以获取周围环境的三维信息，但是多线高性能激光雷达成本太高，短期内无法实现大规模应用。而以双目立体视觉为基础的无人驾驶感知方案则能够以较低的成本得到车辆周围环境的信息，但是由于视觉先天受光照等环境因素影响较大，以至于在许多环境条件下无法保证精度，也就无法实现全天候应用。

发明内容

基于此，有必要针对上述提到的至少一个问题，提供一种基于低线束激光雷达和双目相机的融合定位方法，并相应提供一种基于低线束激光雷达和双目相机的融合定位装置。

一种基于低线束激光雷达和双目相机的融合定位方法，适于在计算设备中执行，该方法包括：

获取双目相机图像数据和低线束激光雷达的雷达数据；

依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数；

根据所述误差系数调整所述图像数据，生成校准图像数据。

本发明同时提供一种基于激光雷达和双目相机的融合定位装置，包括：

获取模块，用于获取双目相机图像数据和低线束激光雷达的雷达数据；

分析模块，用于依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数；

校准模块，用于根据所述误差系数调整所述图像数据，生成校准图像数据。

本发明提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的基于低线束激光雷达和双目相机的融合定位方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于低线束激光雷达和双目相机的融合定位方法。

本发明提供的基于低线束激光雷达和双目相机的融合定位方法及设备通过将双目相机获取的数据和低线束激光雷达获取的数据相融合，利用双目相机获取数据全面而低线束激光雷达获取数据精确的特点，低成本地提高双目相机获取的数据的准确性，改善无人驾驶车辆的行驶精度。

附图说明

图1为本发明一实施例中的基于低线束激光雷达和双目相机的融合定位方法流程图；

图2为本发明一实施例中的误差系数生成流程图；

图3为本发明一实施例中的校准图像数据生成流程图；

图4为本发明一实施例中的语义分割校正方法流程图；

图5为本发明一实施例中的点集相对位置校正方法流程图；

图6为本发明一实施例中的融合定位装置结构示意图；

图7为本发明一实施例中的分析模块结构示意图；

图8为本发明一实施例中的校准模块结构示意图；

图9为本发明另一实施例中的融合定位装置结构示意图；

图10为本发明一实施例中的语义分割校正模块结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明一实施例中提供了一种基于激光雷达和双目相机的融合定位方法，如图1所示，该方法适于在计算设备中执行，包括下列步骤：

步骤S100：获取双目相机图像数据和低线束激光雷达的雷达数据。双目相机是无人驾驶车辆上的一个关键传感器，其用于收集车辆周围信息，相当于无人驾驶车辆的眼睛，由于具有立体信息收集功能，因而可以从双目相机获取到的图像信息中分析出图像深度数据，判断物体分布的位置。双目相机获取到的图像数据能够较为完整地反映无人驾驶车辆周围的物理场景，在视线清晰的环境中，仅依靠双目相机获取的图像数据也能够指导无人驾驶车辆行进。激光雷达是利用激光、GPS和惯性测量装置(IMU)合一，利用3D建模进行环境感知，同步建图以加强车辆定位，具有能够精确获取车辆周围物体位置参数的特点，已逐渐成为另一种无人驾驶车辆上的标配传感器。由于多线束激光雷达是利用多个发射源发出来的激光来追踪多个物体的运动轨迹，其线束数越高，精确度越大，但成本更是加倍提高，因而采用低线束激光雷达，线束数量不大于16的低线束激光雷达能够在满足实际需要的前提下大幅度降低设备成本，以便于更好地在无人驾驶领域应用。双目立体视觉可提供像素级稠密的三维点云，但其受环境影响较为明显，在低光线条件下尤其无法保证这些点云的精确性，而低线束激光雷达虽然得到的点云较为稀疏，但是其精度较高，成本很低。通过步骤S100同时获取到无人驾驶车辆周围的图像数据和雷达数据，由于在某一时刻的图像数据和雷达数据中存在有相同对象的数据，利用精确但较为稀疏的雷达数据去校准反映信息较为完整的图像数据，使图像数据更为精确，即使在低光照情况下也能够获取到较为准确的图像数据。

步骤S200：依据图像数据和雷达数据中相同对象对应的数据，生成误差系数。利用现有的计算机识别技术和雷达的目标识别技术能够判断出图像数据中和雷达数据中的相同对象部分，由于雷达数据中采集的样本数据较为精确，因而将雷达数据作为基准数据，计算出该相同对象部分对应的图像数据的误差，生成误差系数，作为后期进一步处理的基础。具体而言，双目立体视觉采用的三角测量原理Z＝Bf/d，其中基线B和焦距f由双目相机结构确定，其精确值可通过对双目相机的设定来确定，因而图像数据的主要误差来源是视差d，该视差d主要由立体视觉左右图像素匹配算法得到，由于现实环境光照条件等因素变化复杂，无法保证每一个像素都能精确无误，并且当测量物体较远即真实测量值Z较大的时候，视差d的微小偏差将带来真实测量值Z的巨大误差。

作为一个优选的方案，如图2所示，依据图像数据和雷达数据中相同对象对应的数据，生成误差系数的步骤具体可采用的方法包括：

步骤S210：解析出雷达数据中若干点的雷达深度值。雷达数据获取的数据值能够较为真实地反映实际物体的位置关系，将这些点的雷达深度值作为真实值。雷达数据中并非所有点均可使用，需要结合与图像数据中相对应的部分的像素点。本领域人员可知的，择取的点越多，得到的数据越精确和真实。

步骤S220：通过立体视觉匹配算法解析出图像数据中与若干点一一对应的若干像素点的视觉深度值。立体匹配是通过在两幅或多幅存在视点差异、几何畸变、灰度畸变、噪声干扰的图像对之间进行的。立体视觉匹配算法是一种现有技术，该算法的实现一般包含以下三个过程：(1)基元的选择，即选择适当的图像特征如点、直线、相位等作为匹配基元；(2)匹配的准则，将关于物理世界的某些固有特征表示为匹配所必须遵循的若干规则，使匹配结果能真实反映景物的本来面目；(3)算法结构，通过利用适当的数学方法设计能正确匹配所选择基元的稳定算法。更为具体的实现方法并非本发明的重点，在此不作更多赘述。优选的，以dispnet的网络结构为基础的改进型视差网络作为本发明一实施例中立体视觉匹配算法中的算法结构，得到的结果图更为平滑且分辨率更高，也就能提供更为精确的像素点的视觉深度值。根据立体视觉匹配算法获取到与前述雷达数据中挑选出的若干点相对应的图像数据中像素点的视觉深度值，该视觉深度值是由算法获取到的计算值，是获取自双目相机的单一来源数据。

步骤S230：根据梯度下降法计算误差函数中的误差系数。

在求解误差函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的误差函数和模型参数值。因而根据梯度下降法计算误差函数中的误差系数的具体过程为：

设补偿函数为：相应的，误差函数为 该设定表明，补偿函数和误差函数的数学形式已知，这是根据现有技术就能够获得的，而其中的系数却未知，现计算误差函数最小值以作为求解补偿函数系数的一个约束。梯度下降求解补偿函数系数的公式为：

K_i的梯度：K_i的更新：将更新后的K_i’代入J(K₁,K₂,…,K_j)，若J<e，则计算结束，补偿函数为y(d_c)，否则重复进行代入运算，继续更新K_i，直到误差函数值足够小而满足上述条件。

步骤S300：根据误差系数调整图像数据，生成校准图像数据。

根据步骤S200获取到误差系数之后，可以根据该误差系数来调整图像数据中除与前述雷达数据相对应的像素点之外的其他图像数据，即调整图像数据的整体精确度，生成校准图像数据。如图3所示，该生成校准图像数据的步骤具体包括：

步骤S310：根据误差系数获取用于校正图像数据的补偿函数中的补偿系数。

步骤S320：补偿函数导入图像数据，生成校准图像数据。

将补偿函数导入在现有技术中应用的立体视觉像素匹配算法后，即可实现图像校准，生成校准图像数据，然后根据计算机图像技术得到补偿后的视差图，然后根据视差图中的视差值将视差图换算成点云图。由于在计算机中处理的对象和结果均是数据，因而生成校准图像数据即是本步骤的主要目的。

作为一种优选的方案，本发明还结合语义分割技术进一步调整图像数据的准确性。语义分割技术首先对图片的每个像素都做分类，大致可分为两种方式：1)传统机器学习方法：如像素级的决策树分类，参考TextonForest以及Random Forest basedclassifiers；2)深度学习方法，更确切地说，是卷积神经网络，最初流行的分割方法是打补丁式的分类方法(patch classification)，逐像素地抽取周围像素对中心像素进行分类，深度学习方法已经逐渐从全卷积码网络(Fully Convolutional Networks，FCN)发展到金字塔场景解析网络(Pyramid Scene Parsing Network，PSPNet)等，像素分类越来越清晰，对图片内容的识别也更加精确。语义分割技术的根本思路是通过对图片中每个像素进行分类划分出图片中不同的像素点集，也即特征区域。根据现有的语义分割技术能够在宏观尺度范围内良好提高无人驾驶车辆对于摄像机摄取的图像的处理精度。因而通过对上述的校准图像数据进一步处理，能够进一步提高校准图像数据的识别精度。如图4所示，其具体步骤包括：

步骤S410：将图像数据依照类别特征划分为若干点集，其中类别特征包括形状、颜色和/或明度。语义分割将图像的每个像素根据特定的类别特征进行划分，将满足一个或多个相同特征条件的像素点归为某一类别，也即划分成若干点集。这些类别特征可以是形状、颜色、明度或对比度等，划分条件可根据其中的一个，也可以多个相结合的方式。划分成的点集内各个像素点均具有相同的类别特征，从而能够根据不同点集推测图像数据中对应的不同物体。

步骤S420：判断点集对应的物体属性。根据点集整体形成的数据特征，判断出点集所对应的物体的属性，也即判断出点集对应的具体内容，比如图片中某个区域对应的是车辆，某个区域对应的是行人，某个区域对应的是信号灯等。优先采用图像语义分割的方法判断上述点集对应的物体属性，图像语义分割的具体原理是一种人工神经网络识别技术，在此不对其原理进行赘述。根据不同的语义分割技术，点集划分的精确度不同，识别的准确性也不一样，例如采用FCN可能无法区分几乎并行在一处的汽车和三轮车，而使用PSPNet则能够对其进行区分。

步骤S430：根据物体属性校正校准图像数据中的点集的属性和不同点集之间的相对位置关系数据。将物体属性数据提取出来是为了从宏观的图像级别对图像数据进行分析处理，优选的，如图5所示，对其中不同点集之间的相对位置关系数据的校正采用下述方法：

步骤S431：判断若干个点集的损失函数。通过语义分割，我们可以在图像级层面上知道场景中各个区域是什么，转换到立体视觉三维点云上即能预先知道某一簇点云在现实中是什么以及点云之间的位置关系和边界，根据这些关系，即能对误差点云进行相应调整，从而提高其精度。

步骤S432：根据损失函数的加权值生成点集之间的相对位置关系数据。

针对图像数据中所有区分出来的点集所构建的损失函数加权值计算公式为：其中m为语义分割部分分割出的第m个点集，d_mj为第m个点集内最邻近立体视觉像素d_mi的激光雷达数据点，u为相关系数，根据点集类别进行预先设定，例如对于行人或车辆，可将其数值设定大一些，而对于道路交通线等，可将其数值设置小一些，代表着立体视觉点集偏离激光雷达对应点集在语义分割相关区域对误差的偏差加权，h(d_mi)为训练时网络输出，y_(mi)为训练真值。获取到图像数据中各点集的损失函数加权值之后，利用计算机深度学习技术，根据损失函数加权值调整语义分割出的点集的区域边界，使不同点集之间的相对位置关系数据更贴近真实实际，也就能够对校准图像数据进一步校正调整，获取到更准确的图像数据，通过该准确的图像数据，在经过视差换算，获取更加准确的三维立体图。

相应地，本发明提供了一种基于激光雷达和双目相机的融合定位装置，如图6所示，该融合定位装置包括获取模块10、分析模块20和校准模块30。其中获取模块10用于获取双目相机图像数据和低线束激光雷达的雷达数据，分析模块20用于依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数，校准模块30用于根据所述误差系数调整所述图像数据，生成校准图像数据。进一步的，如图7所示，分析模块20中包括解析单元21、匹配单元22和计算单元23，其中解析单元21用于解析出雷达数据中若干点的雷达深度值，匹配单元22用于通过立体视觉匹配算法解析出图像数据中与所述若干点一一对应的若干像素点的视觉深度值，而计算单元23用于根据梯度下降法计算误差函数中的误差系数。优选的，如图8所示，校准模块30包括补偿计算单元3123和融合计算单元3223，其中补偿计算单元3123用于根据所述误差系数获取用于校正所述图像数据的补偿函数中的补偿系数，融合计算单元3223用于将所述补偿函数导入所述图像数据，生成校准图像数据。进一步优选的，上述的融合定位装置还包括语义分割校正模块40，如图9和图10所示，该语义分割校正模块40包括分割单元41、判断单元42和校正单元43，其中分割单元41用于将所述图像数据依照类别特征划分为若干点集，所述类别特征包括形状、颜色和/或明度，判断单元42用于判断点集对应的物体属性，校正单元43则用于根据物体属性校正校准图像数据中的点集的属性和不同所述点集之间的相对位置关系数据。各模块和各单元的具体工作原理和流程参见上文对于基于低线束激光雷达和双目相机的融合定位方法的描述，不做更多赘述。

基于计算机系统的整体性原理，本发明同时提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文所述的基于低线束激光雷达和双目相机的融合定位方法。本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前文所述的基于低线束激光雷达和双目相机的融合定位方法。

为更好理解本发明，现列举本发明的应用实例：

将在空域和时序上进行配准后的双目摄像头、四线激光雷达等硬件设备采集的数据进行分析。其中视差图大小为360(像素)×720(像素)，配准切割并进行三维坐标到图像坐标系视差反射出来的雷达数据为720*4。每帧所得到立体视觉与激光雷达的视差数据点分别为d_c和d_l，共2800*2个点。分析多帧数据在d的相关尺度上误差J(d)＝(d_c-d_l)²的分布情况。依据图像数据和雷达数据中相同对象对应的数据，生成误差系数，采用梯度下降法计算出符合要求的误差函数值，即能够获知2800个像素点与真实值之间的误差关系，将该误差关系应用到前述的360×720的视差图中，调整整个视差图的图像数据值，得到校准图像数据，该校准图像数据更接近真实数据值。更进一步，再结合语义分割技术和计算机深度学习技术，在宏观尺度上清晰划分校准图像数据中的点集区域以及校正点集区域之间的位置关系，获取宏观尺度的校准数据，具体为将校准图像数据中的反映行人、道路、车辆等物体的点集尽可能准确的区分判断出来，再计算行人、道路和车辆等点集区域边界之间的损失函数加权值，再依据计算机深度学习技术，通过该损失函数加权值调整计算机中的经低线束激光雷达校正后的校准图像数据，使其更符合现实当中行人、道路和车辆等之间的位置关系，并进而指导无人驾驶车辆运动。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于低线束激光雷达和双目相机的融合定位方法，其特征在于，适于在计算设备中执行，该方法包括：

获取双目相机图像数据和低线束激光雷达的雷达数据；

依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数；

根据所述误差系数调整所述图像数据，生成校准图像数据。

2.根据权利要求1所述的基于低线束激光雷达和双目相机的融合定位方法，其特征在于，所述低线束激光雷达的线束数量不大于16。

3.根据权利要求1所述的基于低线束激光雷达和双目相机的融合定位方法，其特征在于，所述依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数的步骤具体包括：

解析出雷达数据中若干点的雷达深度值；

通过立体视觉匹配算法解析出图像数据中与所述若干点一一对应的若干像素点的视觉深度值；

根据梯度下降法计算误差函数中的误差系数。

4.根据权利要求1所述的基于低线束激光雷达和双目相机的融合定位方法，其特征在于，所述生成校准图像数据的步骤具体包括：

根据所述误差系数获取用于校正所述图像数据的补偿函数中的补偿系数；

将所述补偿函数导入所述图像数据，生成校准图像数据。

5.根据权利要求1所述的基于低线束激光雷达和双目相机的融合定位方法，其特征在于，所述生成校准图像数据的步骤之后还包括：

将所述图像数据依照类别特征划分为若干点集，所述类别特征包括形状、颜色和/或明度；

判断所述点集对应的物体属性；

根据所述物体属性校正校准图像数据中的点集的属性和不同所述点集之间的相对位置关系数据。

6.根据权利要求5所述的基于低线束激光雷达和双目相机的融合定位方法，其特征在于，所述判断所述点集对应的物体属性的步骤具体包括：

根据所述类别特征，依据图像语义分割的方法判断所述点集对应的物体属性。

7.根据权利要求5所述的基于低线束激光雷达和双目相机的融合定位方法，其特征在于，所述根据所述物体属性校正校准图像数据中不同所述点集之间的相对位置关系数据的步骤包括：

判断所述若干个所述点集的损失函数，根据所述损失函数的加权值生成点集之间的相对位置关系数据。

8.一种基于激光雷达和双目相机的融合定位装置，其特征在于，包括：

获取模块，用于获取双目相机图像数据和低线束激光雷达的雷达数据；

分析模块，用于依据所述图像数据和所述雷达数据中相同对象对应的数据，生成误差系数；

校准模块，用于根据所述误差系数调整所述图像数据，生成校准图像数据。

9.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述的基于低线束激光雷达和双目相机的融合定位方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-7中任一项所述的基于低线束激光雷达和双目相机的融合定位方法。