CN110068308A - 一种基于多目相机的测距方法及测距系统 - Google Patents

Abstract

本申请实施例公开了一种基于多目相机的测距方法及测距系统。该方法通过在同一直线上设置至少两组双目相机，以形成多目相机平台；进而通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，并根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。实施本申请实施例，有利于提升距离测量的精度以及适用范围。

Description

一种基于多目相机的测距方法及测距系统

技术领域

本申请涉及视觉测量领域，尤其涉及一种基于多目相机的测距方法及测距系统。

背景技术

视觉测量技术以计算机视觉为基础，融合了光电子学、计算机技术、图像处理技术等现代科学技术，组成一个综合的测量测距系统，广泛应用在视频监控、自动驾驶、机器人学等多个先进领域。其中对距离(即深度)的测量尤为重要，目前主流的视觉距离测量方案有两种：单目测距和双目测距。

单目视觉测距通过利用一个摄像机获得的图片得出深度信息，根据已知物体信息和相似三角形等几何原理得到物体的距离。算法中物体的先验信息一般需要大量数据和图片进行训练，并结合目标检测等算法识别出感兴趣的物体才可以获得，该测距方法不仅复杂而且精度差。

双目视觉测距则是模仿人眼的结构，通过两个摄像机获取图片并计算两幅图片之间的视差进而得到距离信息。由于在真实的三维场景中，物体较近时，双目获取的图像视差较大，物体逐渐变远时，双目图像的视差也会逐渐减小。根据这一原理，并结合相似三角形等几何原理，可测算出被测物体的距离。但是根据双目测距原理，会存在视野盲区和最远测距极限等问题，会影响双目测距的适用性。

发明内容

本申请提供了一种基于多目相机的测距方法及测距系统，以提高距离测量的精度以及适用性。

第一方面，本申请提供了一种基于多目相机的测距方法，其包括：

在同一直线上设置至少两组双目相机，以形成多目相机平台；

通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，所述测距结果包括至少两个测量距离值；

根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。

第二方面，本申请提供了一种测距系统，其包括：多目相机平台以及处理装置；

所述多目相机平台包括在同一直线上设置至少两组双目相机；

处理装置包括测距模块以及生成模块；所述测距模块用于通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，所述测距结果包括至少两个测量距离值；所述生成模块用于根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。

所述处理装置还用于执行权利要求5至7中任意一种基于多目相机的测距方法。

本申请提供一种基于多目相机的测距方法及测距系统。该方法通过在同一直线上设置至少两组双目相机，以形成多目相机平台；进而通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，并根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。实施本申请实施例，有利于提升距离测量的精度以及适用范围。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于多目相机的测距方法的示意流程图；

图2为本申请实施例提供的一种基于多目相机的测距方法的应用场景示意图；

图3为本申请实施例提供的一种多目相机平台的示意图；

图4为本申请实施例提供的一种多目相机平台测距的另一示意流程图；

图5为本申请实施例提供的一种基于多目相机的测距方法的另一示意流程图；

图6为本申请实施例提供的一种基于多目相机的距离测量示意图；

图7为本申请实施例提供的一种基于多目相机的另一距离测量示意图；

图8为本申请实施例提供的一种测距系统的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1以及图2，图1是本申请实施例提供的一种基于多目相机的测距方法的示意流程图。图2是本申请实施例提供的一种基于多目相机的测距方法的应用场景示意图。该基于多目相机的测距方法可应用于测距系统10中，所述测距系统10包括但不限于测距平台100以及处理装置200。该测距系统10可以安装于汽车等器械中，例如该测距系统10可以安装于无人驾驶汽车中。

其中，该方法包括步骤S110-S130。

S110，在同一直线上设置至少两组双目相机，以形成多目相机平台。

在本实施例中，所形成的多目相机平台至少包括两组双目相机，例如多目相机平台中双目相机的数量可以为2组、3组或4组等等，本申请实施例并不对多目相机平台中双目相机数量作出限制。

具体实施中，如图3所示，其为本申请实施例提供的一种多目相机平台的示意图。该多目相机平台中的双目相机的数量为两组，即所述多目相机平台包括在同一直线上设置第一双目相机以及第二双目相机。第一双目相机的基线小于第二双目相机的基线。其中，所述第一双目相机包括第一摄像头110以及第二摄像头120，所述第二双目相机包括第三摄像头130以及第四摄像头140；所述第一摄像头110以及所述第二摄像头120设置于所述第三摄像头130以及所述第四摄像头140之间。

进一步地，所述第一摄像头110与所述第二摄像头120的连接线中点M与所述第三摄像头130与所述第四摄像头140的连接线中点M重合。即以第一摄像头110与所述第二摄像头120连接线中点M为中轴线，对称设置所述第三摄像头130与所述第四摄像头140。

进一步地，所述第一双目相机的视角大于所述第二双目相机，所述第一双目相机的景深小于所述第二双目相机。

实施本申请实施例，通过将第一双目相机与第二双目相机设置于同一直线，以形成多目相机平台。其中，所述第一双目相机的视角大于所述第二双目相机，所述第一双目相机的景深小于所述第二双目相机，利用该多目相机平台进行距离测量，可获得最大范围的视角覆盖，有利于减少距离测量过程中的盲区大小。

S120，通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，所述测距结果包括至少两个测量距离值。

具体实施中，如图4所示，其为本申请实施例提供的一种基于多目相机的测距方法的另一示意流程图。步骤S120包括但不限于步骤S121-S123。

S121，对所述双目相机进行标定，以获取所述双目相机的内参数以及外参数并对所述双目相机进行双目校正。

在本实施例中，所述对所述双目相机进行标定是指确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。其中，所述双目相机的内参数主要包括内参矩阵，所述内参矩阵例如为：其中，f_x和f_y分别为x、y方向上以像元单位表示的焦距，c_x和c_y表示图像中心坐标在x、y方向上的值。所述双目相机的外参数包括旋转矩阵R以及平移矩阵T。其中，旋转矩阵R表示双目相机中两个摄像头之间的坐标系旋转。平移矩阵T表示双目相机中两个摄像头之间的坐标系平移。

在利用双目相机测距的过程中，由于双目相机所用到的相机与理想相机模型不完全一致，双目相机的摄像头中的透镜为“球形”，成像仪的中心点会产生偏移，所采集到的图像会产生畸变，故需要对采集到的图像进行校正。因此，需要对双目相机进行标定，从而获取到双目相机的内外参数等信息。进而根据标定摄像头得到的内外参数对获取到的图片进行校正，从而使获取到的图片与理想相机模型得到的图片相同。

S122，对所述双目相机进行立体匹配，以获取所述双目相机对应的视差图。

在本实施例中，针对多目相机平台中的每一组双目相机分别进行立体匹配，以获取所述双目相机对应的视差图。通过对所述双目相机进行标定所得到的内参数和外参数，对双目相机所拍摄的左视图和右视图进行畸变校正和立体校正，获取符合极线约束的左视图和右视图。再利用立体匹配算法，找出极线约束后的左视图和右视图中每个像素的对应关系，进而获得视差图。

具体实施中，如图6以及图7所示，其均为本申请实施例提供的一种基于多目相机的距离测量示意图。双目相机包括第一摄像头以及第二摄像头，假设通过第一摄像头获取得出的视图为左视图810，通过第二摄像头得出的视图为右视图820。第一摄像头对应的坐标原点为(0,0,0)，第二摄像头对应的坐标原点为(B,0,0)，即第一摄像头与第二摄像头之间的直线距离为B。

具体请参照图6，通过立体匹配算法找出点Q分别在左视图和右视图上成像的点坐标。其中，点Q对应的坐标为(X,Y,Z)；点Q在左视图上成像的点为Q1，点Q1对应的坐标为(x1,y1)；点Q在右视图上成像的点为Q2，点Q2对应的坐标为(x2,y2)。其中，

具体请参照图7，通过将线段BQ平移至第一摄像头对应的坐标原点(0,0,0)处。此时，点Q与点Q’的距离值为B，点Q1与点Q2的距离值为视差值。点Q1、点Q2以及原点形成的三角形与点Q、点Q’以及原点形成的三角形构成相似三角形。根据相似三角形原理，由视差公式可计算得出视差d的数值，其中f为双目相机的焦距，Z为测量距离值，B为第一摄像头与第二摄像头之间的直线距离。

S123，根据所述视差图计算得出所述目标物体的测距结果。

在本实施例中，所述测距结果包括至少两个测量距离值，所述测量距离值的数量与所述多目相机平台中的双目相机数量相同。例如所述多目相机平台中的双目相机数量为4组，则所述测距结果所包括的测量距离值为4个。

其中，所述视差图所得出的视差公式即可换算得出所述目标物体的测量距离值Z。例如，所述视差公式根据所述视差公式所换算得出的测量距离值为：

通过分别获取所述多目相机平台中各组双目相机对应的测量距离值，并根据测量距离值生成所述测距结果。假设该多目相机平台包括2组双目相机，且该2组双目相机对应的测量距离值分别为4.8以及5.0，则所生成的测距结果包括2个测量距离值，该测距结果具体为(4.8,5.0)。

S130，根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。

在本实施例中，该神经网络模型可以为全连接神经网络模型。所述全连接神经网络模型包括输入层、隐含层以及输出层。

具体实施，通过将所述测距结果作为所述训练后的神经网络模型的出入参数，通过所述训练后的神经网络模型即可得出所述目标物体的预测距离值。实施本申请实施例，通过训练后的神经网络模型对测距结果中的测量距离值进行融合，以得出所述目标物体的预测距离值，有利于提升距离测量的准确度。

具体实施中，如图7所示，其为本申请实施例提供的一种基于多目相机的测距方法的另一示意流程图。步骤S130包括但不限于步骤S131-S133。

S131，获取用于训练神经网络模型的测量距离值。

进一步地，步骤S131具体为：利用所述多目相机平台在至少两个不同的实际距离值处对所述目标物体进行距离测量，以获取至少两组测距结果；每个实际距离值对应至少一组测距结果，每一组测距结果包括至少两个测量距离值。

在本实施例中，所述测量距离值的数量与多目相机平台中的双目相机的数量相同，例如多目相机平台中的双目相机数量为4组，则每一组测距结果包括的测量距离值为4个。通过设定多个不同的实际距离值，对不同的目标物体进行距离测量，以获取多组测距结果。所获取到的测距结果越多，越有利于神经网络模型的训练。例如所获取到的测距结果为8000组。

S132，根据所述用于训练神经网络模型的测量距离值和所述测量距离值对应的实际距离值生成训练样本。

在本实施例中，根据所述用于训练神经网络模型的测量距离值和所述测量距离值对应的实际距离值生成训练样本的格式可以为{R；c1,c2…cn}，其中，R表示实际距离值，每一个实际距离值对应一个或者多个的训练样本；c1,c2…cn表示每一组测距结果中的多个测量距离值。

假设所设定的实际距离值分别为2.0米、2.5米以及3.0米，所述多目相机平台包括2组双目相机。通过该多目相机平台对目标物体在所述实际距离值处分别进行1次距离测量；则所得到的测距结果的数量为3组，且每组的测距结果包括2个测量距离值。假设该3次的测距结果分别为：(1)1.9，2.0；(2)2.5，2.4；(3)3.0，3.1。根据上述训练样本的格式所生成的训练样本的数量为三个，具体分别如下：(1){2.0；1.9,2.0}；(2){2.5；2.5,2.4}；(3){3.0；3.0,3.1}。

S133，利用所述训练样本训练所述神经网络模型，得出所述训练后的神经网络模型。

在本实施例中，通过将所述训练样本作为所述神经网络模型的输入参数，对所述神经网络模型进行不断重复的训练，以不断增强所述神经网络模型的准确度。例如若所述神经网络模型的准确度大于或者等于预设的准确度阈值，停止对所述神经网络模型的训练。其中，预设的准确度阈值可根据实际需求进行设定，例如所述预设的准确度阈值设定为93％。若停止对所述神经网络模型的训练，该训练结束的神经网络模型即为所述训练后的神经网络模型。

实施本申请实施例，通过在同一直线上设置至少两组双目相机，以形成多目相机平台；进而通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，并根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。实施本申请实施例，有利于提升距离测量的精度以及适用范围。同时，可根据实际需求形成由不同数量的双目相机组成的多目相机平台，多目相机平台的构建方案具有多样化、成本低、操作简单等优点，有利于降低生产成本。

请参阅图8并结合图2至图3，图8本申请实施例提供的测距系统10的示意性框图。

所述测距系统10包括多目相机平台100以及处理装置200；所述多目相机平台100包括在同一直线上设置至少两组双目相机。

具体实施中，所述多目相机平台包括设置于同一直线上的第一双目相机以及第二双目相机。第一双目相机的基线小于第二双目相机的基线。其中，所述第一双目相机包括第一摄像头以及第二摄像头，所述第二双目相机包括第三摄像头以及第四摄像头；所述第一摄像头以及所述第二摄像头设置于所述第三摄像头以及所述第四摄像头之间；所述第一摄像头与所述第二摄像头的连接线中点与所述第三摄像头与所述第四摄像头的连接线中点重合。

进一步地，所述第一双目相机的视角大于所述第二双目相机，所述第一双目相机的景深小于所述第二双目相机。

处理装置200包括测距模块210以及生成模块220；其中，所述测距模块210用于通过所述多目相机平台100对目标物体进行距离测量，以生成测距结果，所述测距结果包括至少两个测量距离值；所述生成模块220用于根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。

具体实施中，所述测距模块210具体用于：对所述双目相机进行标定，以获取所述双目相机的内参数以及外参数并对所述双目相机进行双目校正；对所述双目相机进行立体匹配，以获取所述双目相机对应的视差图；根据所述视差图计算得出所述目标物体的测距结果。

具体实施中，所述生成模块220具体用于：获取用于训练神经网络模型的测量距离值；根据所述用于训练神经网络模型的测量距离值和所述测量距离值对应的实际距离值生成训练样本；利用所述训练样本训练所述神经网络模型，得出所述训练后的神经网络模型。

进一步地，获取用于训练神经网络模型的测量距离值具体为利用所述多目相机平台100在至少两个不同的实际距离值处对所述目标物体进行距离测量，以获取至少两组测距结果；每个实际距离值对应至少一组测距结果，每一组测距结果包括至少两个测量距离值。

由于说明书前面的实施例已经对该基于多目相机的测距方法进行了详细地介绍，所属领域的技术人员在阅读前述的基于多目相机的测距方法实施例的技术方案后，可以清楚地得知本实施例中的测距系统10的工作过程。为了说明书的简洁性，在此不对测距系统10的具体工作过程做重复说明。

在本实施例中，由于该测距系统10采用本申请提供的基于多目相机的测距方法，使得该测距系统10可实现通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，并根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。实施本申请实施例，有利于提升距离测量的精度以及适用范围。同时，可根据实际需求形成由不同数量的双目相机组成的多目相机平台，多目相机平台的构建方案具有多样化、成本低、操作简单等优点，有利于降低生产成本。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多目相机的测距方法，其特征在于，包括：

在同一直线上设置至少两组双目相机，以形成多目相机平台；

通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，所述测距结果包括至少两个测量距离值；

根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。

2.如权利要求1所述的方法，其特征在于，所述多目相机平台包括在同一直线上设置第一双目相机以及第二双目相机；

其中，所述第一双目相机包括第一摄像头以及第二摄像头，所述第二双目相机包括第三摄像头以及第四摄像头；所述第一摄像头以及所述第二摄像头设置于所述第三摄像头以及所述第四摄像头之间。

3.如权利要求2所述的方法，其特征在于，所述第一摄像头与所述第二摄像头的连接线中点与所述第三摄像头与所述第四摄像头的连接线中点重合。

4.如权利要求2所述的方法，其特征在于，所述第一双目相机的视角大于所述第二双目相机，所述第一双目相机的景深小于所述第二双目相机。

5.如权利要求1所述的方法，其特征在于，所述通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，包括：

对所述双目相机进行标定，以获取所述双目相机的内参数以及外参数并对所述双目相机进行双目校正；

对所述双目相机进行立体匹配，以获取所述双目相机对应的视差图；

根据所述视差图计算得出所述目标物体的测距结果。

6.如权利要求1所述的方法，其特征在于，所述根据所述测距结果以及预设的神经网络模型，生成所述目标物体的预测距离之前，还包括：

获取用于训练神经网络模型的测量距离值；

根据所述用于训练神经网络模型的测量距离值和所述测量距离值对应的实际距离值生成训练样本；

利用所述训练样本训练所述神经网络模型，得出所述训练后的神经网络模型。

7.如权利要求6所述的方法，其特征在于，所述获取用于训练神经网络模型的测量距离值，包括：

利用所述多目相机平台在至少两个不同的实际距离值处对所述目标物体进行距离测量，以获取至少两组测距结果；每个实际距离值对应至少一组测距结果，每一组测距结果包括至少两个测量距离值。

8.一种测距系统，其特征在于，所述测距系统包括多目相机平台以及处理装置；

所述多目相机平台包括在同一直线上设置至少两组双目相机；

处理装置包括测距模块以及生成模块；所述测距模块用于通过所述多目相机平台对目标物体进行距离测量，以生成测距结果，所述测距结果包括至少两个测量距离值；所述生成模块用于根据所述测距结果以及训练后的神经网络模型，生成所述目标物体的预测距离值。

所述处理装置还用于执行权利要求5至7中任意一种基于多目相机的测距方法。

9.如权利要求8所述的测距系统，其特征在于，所述多目相机平台包括设置于同一直线上的第一双目相机以及第二双目相机；

其中，所述第一双目相机包括第一摄像头以及第二摄像头，所述第二双目相机包括第三摄像头以及第四摄像头；所述第一摄像头以及所述第二摄像头设置于所述第三摄像头以及所述第四摄像头之间；

所述第一摄像头与所述第二摄像头的连接线中点与所述第三摄像头与所述第四摄像头的连接线中点重合。

10.如权利要求9所述的测距系统，其特征在于，所述第一双目相机的视角大于所述第二双目相机，所述第一双目相机的景深小于所述第二双目相机。