CN110345924A - 一种距离获取的方法和装置 - Google Patents

Abstract

本申请公开了一种距离获取的方法及装置，该方法包括：通过双目相机采集目标物体的一对图像，利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体，根据所确定的视差立方体，确定视差图像，根据所述视差图像，确定所述视差图像对应的深度图像，根据所述深度图像，获取距目标物体的距离。通过上述方法，由于双目相机能够基于人眼测量物体的原理对目标物体进行测距，因此，相对于现有的单目测距，双目测距能够对任何场景中的任何物体进行测距。

Description

一种距离获取的方法和装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种距离获取的方法及装置。

背景技术

目前，服务商为了给人们提供更好的出行服务，会对车辆行驶前方的物体进行测距，如，对行驶前方的障碍物进行测距。

现有的对车辆行驶前方的物体进行测距的技术主要是单目测距，具体的，通过检测算法检测到行驶前方的待测距的物体在图像中的尺寸信息，再按照该尺寸信息与该待测距的物体的实际尺寸的对应关系计算车辆距待测距的物体的距离。

但是，单目测距需要对相机进行特殊的安装，需要提前知道待测距的物体的实际尺寸信息，而在很多实际场景中，待测距的物体并没有一些固定的形状和大小，这就导致无法使用单目测距来对物体进行测距。

发明内容

有鉴于此，本申请实施例提供一种距离获取的方法及装置，相比于现有的测距方法，能够对任何场景中的任何物体进行测距。

为解决上述技术问题，本申请实施例公开一种距离获取的方法，该方法包括：

通过双目相机采集目标物体的一对图像，其中，所述一对图像包括：左图像以及右图像；

利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体；

根据所确定的视差立方体，确定视差图像；

根据所述视差图像，确定所述视差图像对应的深度图像；

根据所述深度图像，获取距目标物体的距离。

为了实现上述距离获取的方法，本申请实施例公开一种距离获取的装置，该装置包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现所述的距离获取方法。

另外，本申请实施例还公开一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时实现所述的距离获取方法。

本申请还提供了一种控制系统，所述控制系统包含:

通过如上所述的距离获取装置执行如上所述的距离获取方法以获取距目标物体的距离，并根据所述距目标物体的距离，确定车道真实偏离距离，当所获取的车道真实偏离距离超过预设的阈值时，则进行偏离预警；和/或

通过如上所述的距离获取装置执行如上所述的距离获取方法以获取距目标物体的距离，并根据所述距目标物体的距离，进行碰撞预测；和/或

通过如上所述的距离获取装置执行如上所述的距离获取方法以获取距目标物体的距离，并获取车辆的全球卫星定位系统的定位信息和高精度地图，根据所述距目标物体的距离、所述定位信息以及所述高精度地图，对所述车辆进行定位。

本申请实施例公开一种距离获取的方法及装置，该方法能够产生以下有益效果：

由于双目相机能够基于人眼测量物体的原理对目标物体进行测距，因此，相对于现有的单目测距，双目测距能够对任何场景中的任何物体进行测距。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的距离获取的过程；

图2为本申请实施例提供的一对图像及其对应的深度图像；

图3为本申请实施例提供的第一种距离获取的装置结构示意图；

图4为本申请实施例提供的第二种距离获取的装置结构示意图；

图5为本申请实施例提供的第三种距离获取的装置结构示意图；

图6为本申请实施例提供的一种应用距离获取的装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的距离获取的过程，具体包括以下步骤：

S101：通过双目相机采集目标物体的一对图像。

在实际生活中，为了给人们提供更好的出行服务，会对车辆行驶前方的物体进行测距，如，对行驶前方的障碍物进行测距。

进一步地，在对车辆行驶前方的物体进行测距的过程中，首先需要采集行驶前方的物体的图像，而在本申请中，是通过双目相机来采集目标物体的一对图像的。

在此需要说明的是，该目标物体指的是需要测量与车辆之间距离的物体。该双目相机安装在车辆不同位置，双目相机针对同一目标物体会采集一对图像，该一对图像包括左图像以及右图像，另外，所采集的一对图像是双目相机在同一时刻针对同一目标物体采集的。

S102：利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体。

进一步地，由于本申请是通过采集目标物体的一对图像，进而根据该一对图像，确定该对图像对应的视差图，再根据视差图确定深度图的方式来对目标物体进行测距，而又由于在确定视差图的过程中，最重要的就是将左图像与右图像中点进行匹配，确定针对左图像中的每个点，在右图像中哪个点与该点是同一物体的同一点，因此，在本申请中，想要确定出所采集的目标物体的一对图像对应的视差图，需要在采集左图像以及右图像后，先确定所采集的一对图像对应的视差立方体，再根据视差立方体确定视差图。

在此需要说明的是，在本申请中，该视差立方体指的是针对左图像的每一个点，该点与右图像中的一个区域内的每个点之间均会有一个相似度，该点与右图像中的一个区域内的所有点的相似度构成了三维立方体，其中，右图像中的一个区域是根据左图像中的点在右图像上对应的极线确定的。

进一步地，本申请在根据所采集的左图像和右图像确定对应的视差立方体的过程中，可以利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体，具体是利用图4以及图5所给出的相似性模块来确定所采集的一对图像对应的视差立方体。

进一步地，在本申请中，可通过以下步骤获取预先训练的相似性衡量代价模型，具体的，采集一对样本图像及其相应的视差图，其中，所采集的一对样本图像和相应的视差图要在同一时刻，所述一对样本图像中的样本左图像与样本右图像存在对应关系，根据所采集的一对样本图像制作训练样本，将所制作的训练样本输入到相似性衡量代价模型，根据所采集的一对样本图像对应的视差图与所述相似衡量代价模型输出的视差值对比，得到相似性衡量代价模型。

在此需要说明的是，在本申请中，根据所采集的一对样本图像制作训练样本可以通过以下方式来完成：选取所述样本左图像中的多个第一像素点，针对所选取的每个第一像素点，在所述样本右图像中确定该第一像素点对应的第二像素点，将该第一像素点及其对应的第二像素点作为正样本，对所述第二像素点随机生成偏移量，确定第三像素点，将该第一像素点以及所述第三像素点作为负样本，将所述正样本以及所述负样本作为训练样本。

在此还需要说明的是，在样本右图像中确定所选取的第一像素点对应的第二像素点的过程中，可以利用标签视差图在右图像上找到第一像素点对应的第二像素点。另外，在实际应用中，由于图像在采集的过程中有光照、形变等噪音的影响，为了增强左图像和右图像的鲁棒性，因此，在本申请中，需要对正样本、以及负样本进行预处理，如，对存在对应的点的正样本的亮度进行归一化处理，对存在对应的点的负样本的亮度进行归一化处理，或者对正样本以及负样本进行旋转处理、平移处理，这样在增强左图像和右图像的鲁棒性的同时还可以增加样本左图像和样本右图像的样本量。

另外，训练神经网络模型的过程为监督学习，另外，在通过双目相机采集样本左图像和样本右图像的同时还需要获取样本左图像与样本右图像对应的视差图，也就是说，同一目标物体的样本左图像和样本右图像要与其对应的视差图处在同一时刻，视差图可以利用激光点云进行间接获取。

在此需要说明的是，通过激光点云间接获取到的视差图主要用于训练相似性衡量代价模型，而不是通过所获取的视差图来确定距目标物体的距离，当相似性衡量代价模型训练完成后，则不再通过激光点云获取视差图，而是直接通过本申请所述的方法来获取视差图，进而确定出距目标物体的距离。

进一步地，本申请在利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体时，具体是利用预先训练的相似性衡量代价模型中的向量的内积确定所采集的一对图像对应的视差立方体，如，针对目标物体的左图像中的一个点的向量，确定该点的向量与右图像中的一个区域内的每个点的向量的乘积，该乘积为该点与右图像中的一个区域内的每个点之间的相似度，该点与右图像中的一个区域内的所有点的相似度构成了三维立方体。

S103：根据所确定的视差立方体，确定视差图像。

进一步地，在本申请中，在确定出所采集的一对图像对应的视差立方体后，还需要根据所确定出的一对图像对应的视差立方体，确定该对图像对应的视差图像。

进一步地，本申请给出了根据所确定的视差立方体，确定该对图像对应的视差图像的实施方式，具体如下：

根据所确定的视差立方体，通过能量函数E(D)＝∑₁(C(l,D(l))+∑_1,ra{D(l)-D(r)})，确定视差图像，其中，D为视差图像，l为左图像上的点，r为右图像上的点，a{D(l)-D(r)}为惩罚项，C(l,D(l))为相似度代价项。

在此需要说明的是，在本申请中，通过能量函数，能够针对左图像中的每个点，在右图像中确定出到底哪个点与该点最相似，从而将该点与右图像中与该点最相似的点相关联，该点与右图像中与该点最相似的点是同一个物体上的同一点，也就是说，根据所确定的视差立方体，确定该对图像对应的视差图像，其实就是以视差为自变量，利用搜索算法寻找使能量函数最优的视差图。

在此还需要说明的是，该能量函数是由两部分组成，即，C(l,D(l))和∑_l,ra{D(l)-D(r)}组成，C(l,D(l))为左图像与右图像在匹配的过程中的相似度代价，左图像中的一个点与右图像中的一个点相似性越高，该值越低，∑_l,ra{D(l)-D(r)}为惩罚项，具体是对视差不平滑的惩罚项，视差越大，惩罚越严重，并且，惩罚项是根据所采集的一对图像以及所确定的视差立方体确定得到的。

另外，在本申请中，上述通过能量函数，根据所确定的视差立方体，确定该对图像对应的视差图像，并不是唯一的实施方式，也可以直接针对左图像中的每个点，在视差立方体中找到该点与右图像中存在相似性值的各个点，取相似性值最小的点作为该点在右图像上对应的点。

进一步地，在本申请中，在根据所确定的视差立方体，确定视差图像后，为了提高测距的准确性，在确定出视差图像后，还可以对所确定出的视差图像进行优化，具体的，可以对该视差图像进行遮挡部分的插值处理，和/或对该视差图像进行亚像素增强处理，和/或对该视差图像进行平滑处理，和/或对该视差图像进行中值滤波处理。

S104：根据所述视差图像，确定所述视差图像对应的深度图像。

S105：根据所述深度图像，获取距目标物体的距离。

进一步地，在本申请中，在确定出一对图像对应的视差图像后，还需要根据该视差图，通过相机内部的结构参数确定视差图像对应的深度图像，也就是，一对图像对应的深度图像，如图2所示，图2a为左图像，图2b为右图像，图2c为左图像和右图像对应的深度图像。

进一步地，由于深度图像中每个像素点均包含了深度信息，也就是车辆距离目标物体的距离，因此，在本申请中，当确定出深度图像后，可直接根据深度图像获取距目标物体的距离。

通过上述方法，由于双目相机能够基于人眼测量物体的原理对目标物体进行测距，因此，相对于现有的单目测距，双目测距能够对任何场景中的任何物体进行测距。

在实际应用中，通过车辆安装的双目相机所采集的目标物体的左图像和右图像，获取到距目标物体的距离后，可以有多种用途，在本申请中，有以下几种用途：

第一种用途：当目标物体为车道时，根据距目标物体的距离，确定车道真实偏离距离，当所获取的车道真实偏离距离超过预设的阈值时，则进行偏离预警。

第二种用途：当目标物体为行人或车辆或障碍物时，根据距目标物体的距离，进行碰撞预测。

第三种用途：当目标物体为标识牌时，获取车辆的全球卫星定位系统的定位信息和高精度地图，根据距目标物体的距离、该定位信息以及该高精度地图，对车辆进行精确定位。

另外，针对上述三种用途，本申请提供了一种控制系统，可以通过该控制系统实现上述三种用途，该控制系统包括：

通过本申请所述的距离获取装置执行所述的距离获取方法以获取距目标物体的距离，并根据所述距目标物体的距离，确定车道真实偏离距离，当所获取的车道真实偏离距离超过预设的阈值时，则进行偏离预警；和/或

通过本申请所述的距离获取装置执行所述的距离获取方法以获取距目标物体的距离，并根据所述距目标物体的距离，进行碰撞预测；和/或

通过本申请所述的距离获取装置执行所述的距离获取方法以获取距目标物体的距离，并获取车辆的全球卫星定位系统的定位信息和高精度地图，根据所述距目标物体的距离、所述定位信息以及所述高精度地图，对所述车辆进行定位。

以上为本申请实施例提供的距离获取的方法，基于同样的思路，本申请实施例还提供第一种距离获取的装置，如图3所示。

图3为本申请实施例提供的第一种距离获取的装置结构示意图，包括:

存储设备301，用于存储程序数据；

处理器302，用于执行所述存储设备301中的程序数据以实现距离获取方法。

另外，本申请给出了第二种距离获取的装置结构示意图，如图4所示，包括:

左目图像模块401，用于采集目标物体的左图像，并对左图像进行预处理；

右目图像模块402，用于采集目标物体的右图像，并对右图像进行预处理；

简单卷积模块403，用于将左图像和右图像进行卷积，分别提取左图像和右图像的特征；

相似性模块404，用于根据左图像的特征以及右图像的特征，确定左图像和右图像对应的视差立方体；

视差模块405，用于根据所确定出的左图像和右图像对应的视差立方体，确定左图像和右图像对应的视差图像；

深度模块406，用于根据所确定出的左图像和右图像对应的视差图像，确定左图像和右图像对应的深度图像。

在此需要说明的是，预处理可以为光照处理以及图像的畸变扩充处理，另外，上述给出的第二种距离获取的装置适用于对精度要求不高，对速度要求很高的情况，以实现快速计算。

在实际应用中，有可能对精度要求很高的情况，针对这种情况，本申请给出了第三种距离获取的装置结构示意图，如图5所示，包括:

左目图像模块501，用于采集目标物体的左图像，并对左图像进行预处理；

右目图像模块502，用于采集目标物体的右图像，并对右图像进行预处理；

卷积模块503，用于将左图像和右图像进行卷积，分别提取左图像和右图像的特征；

相似性模块504，用于根据左图像的特征以及右图像的特征，确定左图像和右图像对应的视差立方体；

平滑模块505，用于根据左目图像模块501输入的左图像、右目图像模块502输入的右图像以及相似性模块504输入的视差立方体，确定惩罚项；

视差模块506，用于根据相似性模块504所确定出的左图像和右图像对应的视差立方体以及平滑模块506确定的惩罚项，确定左图像和右图像对应的视差图像；

深度模块507，用于根据所确定出的左图像和右图像对应的视差图像，确定左图像和右图像对应的深度图像。

在此需要说明的是，预处理可以为光照处理以及图像的畸变扩充处理，而且卷积模块503相对于第二种距离获取的装置里的简单卷积模块403而言，具有更多的强链接层以及卷积核，有更强的特征提取能力，从而提供视差模块505获取视差的置信度量。

进一步地，在实际应用中，通过车辆安装的双目相机所采集的目标物体的左图像和右图像，获取到距目标物体的距离后，可以有多种用途，在本申请中，给出了基于本申请上述的距离获取的装置应用到三种用途的装置，具体如图6所示，该装置包括：

车道检测模块601，用于检测车道的数据；

行人检测模块602，用于检测行人的数据；

车辆检测模块603，用于检测车辆的数据；

障碍物检测模块604，用于检测障碍物的数据；

标识牌检测模块605，用于检测标识牌的数据；

距离获取装置606，用于获取车道检测模块601输入的车道检测数据，并根据车道检测数据，确定距目标物体的距离，再根据距目标物体的距离，确定车道真实偏离距离；获取行人检测模块602输入的行人检测数据，并根据行人检测数据，确定距目标物体的距离；获取车辆检测模块603输入的车辆检测数据，并根据车辆检测数据，确定距目标物体的距离；获取障碍物检测模块604输入的障碍物检测数据，并根据障碍物检测数据，确定距目标物体的距离；获取标识牌检测模块605输入的标识牌检测数据，并根据标识牌检测数据，确定距目标物体的距离；

偏离预警模块607，用于当距离获取装置606获取车道检测模块601输入的车道检测数据，并根据车道检测数据，确定距目标物体的距离，再根据距目标物体的距离，确定车道真实偏离距离时，判断距离获取装置606所确定的车道真实偏离距离超过预设的阈值，若是，则进行偏离预警；

碰撞预警模块608，用于当距离获取装置606获取行人检测模块602输入的行人检测数据，并根据行人检测数据，确定距目标物体的距离；获取车辆检测模块603输入的车辆检测数据，并根据车辆检测数据，确定距目标物体的距离；获取障碍物检测模块604输入的障碍物检测数据，并根据障碍物检测数据，确定距目标物体的距离时，判断距离获取装置606所确定的距目标物体的距离超过预设的阈值，若是，则进行碰撞预警；

获取模块609，用于当距离获取装置606获取标识牌检测模块605输入的标识牌检测数据，并根据标识牌检测数据，确定距目标物体的距离时，获取车辆的全球卫星定位系统的定位信息以及高精度地图；

定位模块6010，用于当距离获取装置606获取标识牌检测模块605输入的标识牌检测数据，并根据标识牌检测数据，确定距目标物体的距离时，根据距离获取装置606所确定的距目标物体的距离以及获取模块609获取车辆的全球卫星定位系统的定位信息以及高精度地图，对车辆进行定位。

另外，本申请实施例还公开一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时实现所述的距离获取方法。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种距离获取方法，其特征在于，包括：

通过双目相机采集目标物体的一对图像，其中，所述一对图像包括：左图像以及右图像；

利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体；

根据所确定的视差立方体，确定视差图像；

根据所述视差图像，确定所述视差图像对应的深度图像；

根据所述深度图像，获取距目标物体的距离。

2.如权利要求1所述的方法，其特征在于，训练相似性衡量代价模型，具体包括：

采集一对样本图像及其相应的视差图，其中，所采集的一对样本图像和相应的视差图要在同一时刻，所述一对样本图像中的样本左图像与样本右图像存在对应关系；

根据所采集的一对样本图像制作训练样本；

将所制作的训练样本输入到相似性衡量代价模型，根据所采集的一对样本图像对应的视差图与所述相似衡量代价模型输出的视差值对比，得到相似性衡量代价模型。

3.如权利要求2所述的方法，其特征在于，根据所采集的一对样本图像制作训练样本，具体包括：

选取所述样本左图像中的多个第一像素点，针对所选取的每个第一像素点，在所述样本右图像中确定该第一像素点对应的第二像素点，将该第一像素点及其对应的第二像素点作为正样本；

对所述第二像素点随机生成偏移量，确定第三像素点，将该第一像素点以及所述第三像素点作为负样本；

将所述正样本以及所述负样本作为训练样本。

4.如权利要求1所述的方法，其特征在于，利用预先训练的相似性衡量代价模型确定所采集的一对图像对应的视差立方体，具体包括：

利用预先训练的相似性衡量代价模型中的向量的内积确定所采集的一对图像对应的视差立方体。

5.如权利要求1所述的方法，其特征在于，根据所确定的视差立方体，确定视差图像，具体包括：

根据所确定的视差立方体，通过能量函数E(D)＝∑₁(C(l,D(l))+∑_l,ra{D(l)-D(r)})，确定视差图像；

其中，D为视差图像，l为左图像上的点，r为右图像上的点，a{D(l)-D(r)}为惩罚项，C(l,D(l))为相似度代价项。

6.如权利要求5所述的方法，其特征在于，所述惩罚项根据所采集的一对图像以及所确定的视差立方体确定。

7.如权利要求1所述的方法，其特征在于，在根据所述视差图像，确定所述视差图像对应的深度图像之前，所述方法还包括：

对所述视差图像进行遮挡部分的插值处理；和/或

对所述视差图像进行亚像素增强处理；和/或

对所述视差图像进行平滑处理；和/或

对所述视差图像进行中值滤波处理。

8.一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现权利要求1-7中任一项所述的距离获取方法。

9.一种距离获取装置，其特征在于，包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现权利要求1-7中任一项所述的距离获取方法。

10.一种控制系统，其特征在于，所述控制系统包含:

通过如权利要求9所述的距离获取装置执行如权利要求1-7中任一项所述的距离获取方法以获取距目标物体的距离，并根据所述距目标物体的距离，确定车道真实偏离距离，当所获取的车道真实偏离距离超过预设的阈值时，则进行偏离预警；和/或

通过如权利要求9所述的距离获取装置执行如权利要求1-7中任一项所述的距离获取方法以获取距目标物体的距离，并根据所述距目标物体的距离，进行碰撞预测；和/或

通过如权利要求9所述的距离获取装置执行如权利要求1-7中任一项所述的距离获取方法以获取距目标物体的距离，并获取车辆的全球卫星定位系统的定位信息和高精度地图，根据所述距目标物体的距离、所述定位信息以及所述高精度地图，对所述车辆进行定位。