CN113587895B

CN113587895B - 双目测距方法及装置

Info

Publication number: CN113587895B
Application number: CN202110873530.7A
Authority: CN
Inventors: 陈汉清; 孔方琦; 沈丽萍; 李先红; 郭宏瑞
Original assignee: Hangzhou Santan Medical Technology Co Ltd
Current assignee: Hangzhou Santan Medical Technology Co Ltd
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2023-06-30
Anticipated expiration: 2041-07-30
Also published as: CN113587895A

Abstract

本申请提供一种双目测距方法及装置，该方法可以包括：根据用户对所述双目相机的相机标定结果，确定相机内参与被摄物体距离的对应关系以及双目相机的两个摄像头之间的相对位置关系；获取所述两个摄像头针对目标对象所拍摄的图像；通过预先构造的深度估计网络对所述图像分别进行处理，并根据处理结果确定所述目标对象与双目相机间的预估距离；根据所述对应关系确定对应于所述预估距离的目标内参；根据所述目标内参、所述相对位置关系、所述图像确定所述目标对象的深度信息。通过本申请的技术方案，可以降低相机内参变化所造成的双目测距误差，提高测距精准度。

Description

双目测距方法及装置

技术领域

本申请涉及机器视觉技术领域，特别是双目测距方法及装置。

背景技术

随着医疗行业的发展，一些新兴的医疗设备可以用于对患者进行手术治疗，目前的医疗设备主要利用机器视觉系统测量病灶与医疗设备之间的距离，并基于测量得到的距离定位病灶位置，以便针对该病灶所处部位执行手术。因此，手术成功率很大程度取决于医疗设备的机器视觉精准度。

目前，医疗设备的机器视觉系统主要依赖于传统的双目测距技术进行距离测量，通过医疗设备上所装配的双目测距装置检测设备与被测目标病灶之间的距离，但传统的双目测距技术的测量精度难以达到手术要求。

发明内容

有鉴于此，本申请提供双目测距方法及装置。

具体的，本申请通过如下技术方案实现：

根据本申请的第一方面，提出了一种双目测距方法，应用于配置有双目相机的电子设备，包括：

根据用户对所述双目相机中的第一摄像头和第二摄像头的相机标定结果，确定相机内参与被摄物体距离的对应关系以及所述第一摄像头与所述第二摄像头之间的相对位置关系；

获取所述第一摄像头和所述第二摄像头分别针对目标对象所拍摄的第一图像和第二图像；

通过预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，并根据处理结果确定所述目标对象与所述第一摄像头的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离；

根据所述对应关系确定对应于所述第一预估距离的第一目标内参和对应于所述第二预估距离的第二目标内参；

根据所述第一目标内参、所述第二目标内参、所述相对位置关系、所述第一图像和所述第二图像确定所述目标对象的深度信息。

根据本申请的第二方面，提出了一种双目测距装置，应用于配置有双目相机的电子设备，包括：

标定结果确定单元，用于根据用户对所述双目相机中的第一摄像头和第二摄像头的相机标定结果，确定相机内参与被摄物体距离的对应关系以及所述第一摄像头与所述第二摄像头之间的相对位置关系；

图像获取单元，用于获取所述第一摄像头和所述第二摄像头分别针对目标对象所拍摄的第一图像和第二图像；

距离预估单元，用于通过预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，并根据处理结果确定所述目标对象与所述第一摄像头的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离；

内参确定单元，用于根据所述对应关系确定对应于所述第一预估距离的第一目标内参和对应于所述第二预估距离的第二目标内参；

深度信息确定单元，用于根据所述第一目标内参、所述第二目标内参、所述相对位置关系、所述第一图像和所述第二图像确定所述目标对象的深度信息。

根据本申请的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如上述第一方面的实施例中所述的方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面的实施例中所述方法的步骤。

由以上本申请提供的技术方案可见，本申请通过预先确定相机内参与被摄物体距离的对应关系，并在双目测距时通过对被摄物体与双目相机间距离进行粗略估计，以基于与预估距离对应的相机内参计算被摄物体与摄像头之间的距离，从而可以准确确定双目相机在进行双目测距时所采用的相机内参，降低双目测距的误差，提高测量精准度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据本申请一示例性实施例示出的一种双目相机的成像模型示意图；

图2是根据本申请一示例性实施例示出的一种双目测距方法的流程图；

图3是根据本申请一示例性实施例示出的一种相机内参与被摄物体距离的对应关系集合曲线图；

图4是根据本申请一示例性实施例示出的一种相机内参与被摄物体距离的拟合函数示意图；

图5是根据本申请一示例性实施例示出的一种拍摄图像与对应深度图像示意图；

图6是根据本申请一示例性实施例示出的一种图像底边物体深度信息的测量模型示意图；

图7是根据本申请一示例性实施例示出的一种双目测距电子设备示意图；

图8是根据本申请一示例性实施例示出的一种双目测距装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

接下来对本申请实施例进行详细说明。

双目相机的测距原理与人眼相似，由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”，物体距离越远，视差越小；反之，视差越大，因此人眼能够感知物体的远近。类似的，通过对双目相机中的两个摄像头所拍摄到的两幅图像的视差进行计算，也可以直接测量两幅图像所共同拍摄到的范围内的物体与双目相机之间的距离。图1为双目相机的成像模型示意图，如图1所示，点P为待测量的目标对象，C_L表示双目相机中第一摄像头的中心点，C_R表示双目相机中第二摄像头的中心点，点P在第一摄像头与第二摄像头所拍摄到的图像上成像的点分别为P_L和P_R，点P_L的横坐标为x_L，点P_R的横坐标为x_R。x_L和x_R分别表示点在第一摄像头与第二摄像头成像上的水平位置。其中，视差定义为d＝x_L-x_R，即同一个空间点在两个摄像头成像中对应的x坐标的差值，视差可由视差图得到。利用相似三角形定理可推导出目标对象P与双目相机之间的距离，即深度Z值，目标对象的深度信息Z的计算公式如下：

在公式(1)中，f为拍摄装置的焦距，b为第一摄像头光心C_L与第二摄像头光心C_R之间的距离，即第一摄像头与第二摄像头的基线长度，X_L-X_R为视差。在传统的双目测距技术中，焦距f和基线长度b作为固定参数，可以通过预先对双目相机进行相机标定所确定的相机内参得到。

但在实际测距过程中，相机内参并非为固定值，而是会随着所拍摄物体的距离发生变化。举例而言，被摄物体的距离越远，拍摄该物体时相机所采用的焦距值越大，且在被摄物体距离较近时相机也易发生失焦。因此，传统双目测距技术中通过一次相机标定确定固定的相机内参容易对测距结果造成较大误差。

为了解决这一问题，本申请针对不同距离下的目标对象，采用不同的相机内参进行计算，从而减小由相机内参所导致的测距误差。图2为根据本申请一示例性实施例示出的一种双目测距方法的流程图。如图2所示，该方法应用于配置有双目相机的电子设备，可以包括如下步骤：

步骤202：根据用户对所述双目相机中的第一摄像头和第二摄像头的相机标定结果，确定相机内参与被摄物体距离的对应关系以及所述第一摄像头与所述第二摄像头之间的相对位置关系。

在本申请中，双目相机通常由两个摄像头组成，第一摄像头与第二摄像头可以同时分别对目标对象进行拍摄。第一摄像头与第二摄像头可以为参数一致的同款摄像头也可以为不同参数的摄像头，本申请对此不做限制。在双目相机中，由于摄像头会因为光学透镜的特性使得成像存在着径向畸变，并且因为存在装配方面的误差，传感器与光学镜头之间也并非完全平行，成像存在切向畸变。因此，在利用双目相机进行双目测距前，需要对双目相机中的第一摄像头与第二摄像头进行相机标定，以确定摄像头的相机内参与相机外参，其中，相机内参可以包括相机焦距、畸变参数、成像原点等参数，相机外参可以包括第一摄像头与第二摄像头之间的相对位置关系等参数。其中，第一摄像头与第二摄像头之间的相对位置关系可以用第一摄像头相对于第二摄像头的旋转矩阵和平移向量表示。

与传统的相机标定方式相同，本申请同样采用张氏标定法对摄像头进行相机标定，通过双目相机拍摄棋盘标定板得到棋盘标定板图像，其中棋盘标定板是一块由黑白方块间隔组成的标定板，根据摄像头对标定板从不同方向拍摄的多张图像以及标定板上的特征点与像平面的像点间的对应关系，即每张图像的单应性矩阵来进行摄像头的标定，具体的标定计算方法可以参考相关技术中的记载，本申请在此不做赘述。

不同的是，相比于传统双目测距技术中的通过单次相机标定得到的相机内外参的计算方法，本申请需要对摄像头进行多次标定，针对不同距离下的标定板拍摄多组标定板图像，并基于所拍摄到的多组标定板图像分别对相机进行标定，以确定摄像头在拍摄各个距离标定板时所分别采用的相机内参，得到多组“相机内参——标定板距离”的对应关系。在本申请中，相机标定可以通过例如matlab所提供的stereo camera calibrator工具箱、opencv所提供的find4QuadCornerSubpix、calibrateCamera等函数或者其他方式实现，本申请对此不作限制。举例而言，可以在与摄像头距离50cm-90cm处每隔2cm设置一标定板，分别针对这20个标定板拍摄标定板图像并进行相机标定，获取20组相机内参与被摄物体距离的数据对。如图3所示，为相机内参与被摄物体距离的对应关系集合曲线图，图3中的横轴为被摄物体距离，纵轴为相机焦距，该图像中的曲线拐点可以分别表示相机标定所得到的第一摄像头在分别拍摄50cm-90cm间不同距离远处的标定板时所采用的焦距值，根据图3中的曲线可以发现，虽然由于测量误差使得标定得到的焦距值较为波动，但总体上来说摄像头焦距随着被摄物体距离的增大而增大。

在一实施例中，可以预先根据标定得到的离散的摄像头在拍摄不同距离标定板时的相机内参拟合相机内参与被摄物体距离的对应关系，基于上述拟合操作，所述相机内参与所述被摄物体距离符合一函数关系。因此，可以根据目标对象的距离以及该函数关系，确定拍摄该目标对象时摄像头所采用的相机内参，再根据该相机内参进行双目测距计算。仍以上述通过拍摄50cm-90cm距离远处的标定板进行相机标定为例，可以利用高斯曲线拟合标定得到的相机焦距与被摄物体距离的数值对，生成如图4所示相机内参与被摄物体距离的拟合函数示意图中的焦距变化曲线。在拟合过程中可以根据所有具体的实验数据，使得尽可能多的数据点位于拟合的函数图像上或位于该函数图像的附近，以实现最佳的拟合效果。应当注意的是，上述的高斯曲线拟合只是对拟合方式的一种举例，事实上相关技术中的任意拟合算法都可以用于对标定得到的相机内参与被摄物体距离的对应关系进行拟合，本申请对此不作限制。通过对相机标定的实验数据进行拟合，可以获取相机内参与被摄物体距离的连续函数，减小相机标定误差对实际测距影响，提高后续双目测量时获取的相机内参的准确性。

步骤204：获取所述第一摄像头和所述第二摄像头分别针对目标对象所拍摄的第一图像和第二图像。

在实际测距过程中，双目相机中的第一摄像头与第二摄像头可以分别针对目标对象同时进行拍摄，将实时采集的带有目标对象的图像进行保存，获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像。

进一步的，在拍摄过程中应尽量使第一摄像头与第二摄像头平行放置，确保第一摄像头和第二摄像头的高度相等，以使得第一摄像头针对目标对象的拍摄平面与第二摄像头针对目标对象的拍摄平面处于同一平面上，从而可以减少后续针对第一图像与第二图像双目校正的计算量，提高图像处理速度，降低测量误差。

步骤206：通过预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，并根据处理结果确定所述目标对象与所述第一摄像头的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离。

在本申请的技术方案中，在通过双目测距技术计算目标对象深度前，需要将双目相机所拍摄到的第一图像与第二图像输入预先训练好的深度估计网络，通过该深度估计网络对第一图像、第二图像进行处理，以获取对应的深度图像，其中，深度图像中的像素值可以表示从图像采集器到场景中各点的距离。为了便于计算，本申请所采用的深度图像为灰度图，其像素值可以通过单通道的灰度值表示，图5即为一包含有标定板的拍摄图像以及与其对应深度图像示意图。相关技术中，存在多种基于无监督和自监督的深度学习算法模型用于预测图像深度，本申请对所采取的深度估计网络模型不作任何限制。在获取到深度图像后，可以确定所述目标对象在所述第一图像中的第一坐标信息和所述目标对象在所述第二图像中的第二坐标信息以获取深度图像中对应于该坐标处的灰度值，该灰度值即可表示目标对象的深度。其中，目标对象在图像中的坐标信息可以通过特征识别等方式确定，举例而言，当目标物体为标定板时，可以通过opencv中的findchessboard函数探测第一图像中棋盘格四个顶点的坐标，该四个顶点坐标所围成的四边形即为所拍摄的标定板上的棋盘格，通过获取第一深度图像中顶点坐标处的灰度值即为标定板棋盘格顶点的灰度值。进一步的，为了减小误差也可以计算四个顶点坐标所围成的四边形内像素点的灰度均值，将该灰度均值作为标定板的灰度值。应该注意的是，本申请中所提到的灰度值均为深度图像中用于表示深度值的灰度值，与被摄图像本身的色彩无关。

在一实施例中，深度估计网络可以为Monodepth2网络，双目相机在拍摄到第一图像与第二图像后将第一图像输入Monodepth2网络中，其中，Monodepth2网络的训练方法可以参考相关技术中的记载，本申请在此不做赘述。以第一图像为例，Monodepth2网络可以基于用户设置的参数，将第一图像转化为第一RGB深度图像后输出，在RGB深度图像中可以通过色彩颜色和色彩亮度体现图像中各物体的深度值，图像中深度越近的物体在RGB深度图像所体现出的颜色越趋近于亮黄色，深度越远的物体在RGB深度图中所体现出的颜色越趋近于黑色。进一步的，由于RGB深度图中的像素值为三通道的RGB数值，不利于计算，因此可以采用Monodepth2网络的内置函数将第一RGB图像转换为仅存有灰度单通道的第一深度图像，第一深度图像中单一像素点的灰度值即可代表该点的深度值。

虽然深度估计网络处理后的深度图像可以通过灰度值体现图像中的物体深度，但由于常用的距离单位为米制距离单位，因此需要将像素单位与距离单位相统一，将灰度值转换为米制距离，该转换后的米制距离即为目标对象的预估距离。

在一实施例中，可以通过预先对包含有不同距离物体的测试图像进行实验，测量拍摄该测试图像时各个测试对象与拍摄摄像头之间的距离以作为各个测试对象的深度信息；并将测试图像输入双目测距所使用的深度，通过上述步骤106所述的相关内容将该测试图像转化为测试深度图像，根据不同测试对象在该测试图像中的坐标信息确定各个测试对象的所对应的灰度值，从而确定多组“灰度值——距离”的映射关系。根据测试得到的多组“灰度值——距离”的映射关系拟合灰度值与距离的对应关系，基于上述拟合操作，所述灰度值与距离符合一函数关系。在双目测距过程中，可以根据该函数关系以及目标对象的灰度值确定对应的预设距离，从而较为准确的预估目标对象与双目相机之间距离。

在另一实施例中，可以预设级灰度值与深度的符合线性关系y＝kx，其中x表示灰度值，y表示米制距离，k表示预设常数。以第一图像为例，在对第一图像进行处理的过程中，可以根据三角函数通过第一摄像头的高度信息和拍摄角度计算位于所述第一图像底边的物体的深度信息。图6为第一摄像头拍摄第一图像的模型示意图，其中，601为第一摄像头，602为第一摄像头所拍摄的第一图像，P为目标对象，Q为位于第一图像底边的物体，h为第一摄像头的高度信息，α为拍摄角度，l为所要计算的图像底边的物体的深度信息，其中摄像头的高度信息可以通过双目相机所配置的姿态传感器获取，拍摄角度可以通过姿态传感器以及摄像头的视场角计算得到。为了方便计算，在该实施例中第一图像的底边物体与摄像头高度的参照面可以处于同一平面。根据该图像底边物体的深度信息和灰度值，即可确定预设线性函数中的常数k，再将目标对象的第一灰度值、第二灰度值分别代入该函数关系，可以计算得到目标对象的第一预估距离和第二预估距离。

步骤208：根据所述对应关系确定对应于所述第一预估距离的第一目标内参和对应于所述第二预估距离的第二目标内参。

在通过深度估计网络粗略估计出目标对象与第一摄像头之间的第一预估距离以及目标对象与第二摄像头之间的第二预估距离后，可以基于上述步骤102所确定出的相机内参与被摄物体距离的对应关系，确定对应于第一预估距离的第一目标内参以及对应于第二预估距离的第二目标内参，其中，第一目标内参即为第一摄像头在拍摄目标对象时所采用的相机内参，第二目标内参即为第二摄像头在拍摄目标对象时所采用的相机内参。举例而言，若相机内参与被摄物体距离的对应关系符合一函数关系，被摄物体距离作为该函数关系中的自变量，相机内参作为对应的因变量，则可以分别将深度估计网络所得到的第一预估距离和第二预估距离作为被摄物体距离代入该函数关系，计算得到相应的第一目标内参和第二目标内参，其中第一目标内参即为第一摄像头在拍摄目标对象时所采用的相机内参，第二目标内参即为第二摄像头在拍摄目标物体时所采用的相机内参。

步骤210：根据所述第一目标内参、所述第二目标内参、所述相对位置关系、所述第一图像和所述第二图像确定所述目标对象的深度信息。

在确定根据当前双目相机的摄像头所采用的目标内参后，可以根据所确定的目标内参以及双目相机中的两个摄像头之间的相对位置关系对第一图像和第二图像进行双目校正，分别对第一图像和第二图像进行消除畸变和行对准，使得第一图像与第二图像的成像原点坐标一致、第一摄像头与第二摄像头光轴平行、第一图像与第二图像成像平面共面、对极线行对齐。在本申请中，双目校正的过程与传统的双目测距的校正过程相同，在此不再进行赘述。

校正完成后，可以对双目校正后的第一图像和第二图像进行立体匹配，得到视差图，具体地，本步骤中的立体匹配方式与传统双目测距算法的立体匹配相同，在此不再进行赘述。通过立体匹配，可获取第一摄像头、第二摄像头拍摄目标对象的视差图。根据该视差图以及根据相机内参与被摄物体距离的对应关系所确定出的目标内参，即可基于上述图1所示的相关内容，利用相似三角形定理计算待测目标对象的深度信息。

在一实施例中，电子设备为配置有双目相机的医疗设备，所述目标对象为病灶，则根据本申请所公开的双目测量方法可以精确测量病灶的深度信息，并根据测量出的病灶深度信息建立该病灶所处部位处的三维模型，基于建立的三维模型可以帮助医疗设备以及医生准确确定所述病灶的位置信息，提高针对该病灶部位处手术的成功率。

与上述方法实施例相对应，本说明书还提供了一种装置的实施例。

图7是根据本申请一示例性实施例示出的一种双目测距电子设备的结构示意图。参考图7，在硬件层面，该电子设备包括处理器702、内部总线704、网络接口706、内存708以及非易失性存储器710，当然还可能包括其他业务所需要的硬件。处理器702从非易失性存储器710中读取对应的计算机程序到内存708中然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

图8是根据本申请一示例性实施例示出的一种双目测距装置的框图。参照图8，该装置包括标定结果确定单元802、图像获取单元804、距离预估单元806、内参确定单元808和深度信息确定单元810，其中：

标定结果确定单元802被配置为根据用户对所述双目相机中的第一摄像头和第二摄像头的相机标定结果，确定相机内参与被摄物体距离的对应关系以及所述第一摄像头与所述第二摄像头之间的相对位置关系。

图像获取单元804被配置为获取所述第一摄像头和所述第二摄像头分别针对目标对象所拍摄的第一图像和第二图像。

距离预估单元806被配置为通过预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，并根据处理结果确定所述目标对象与所述第一摄像头的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离。

内参确定单元808被配置为根据所述对应关系确定对应于所述第一预估距离的第一目标内参和对应于所述第二预估距离的第二目标内参。

深度信息确定单元810被配置为根据所述第一目标内参、所述第二目标内参、所述相对位置关系、所述第一图像和所述第二图像确定所述目标对象的深度信息。

可选的，所述相机标定结果由所述用户根据张氏标定法分别对所述第一摄像头和所述第二摄像头拍摄的多组标定板图像进行标定得到；所述多组标定板图像分别由所述第一摄像头和所述第二摄像头针对不同距离下的标定板拍摄得到；所述相机标定结果包括所述第一摄像头在拍摄不同距离标定板时的相机内参和所述第二摄像头在拍摄不同距离标定板时的相机内参。

可选的，所述根据用户对所述双目相机中的第一摄像头和第二摄像头的相机标定结果，确定相机内参与被摄物体距离的对应关系，包括：根据用户标定的所述双目相机中的第一摄像头和第二摄像头在拍摄不同距离标定板时的相机内参，拟合得到所述第一摄像头的相机内参与被摄物体距离的第一函数关系以及所述第二摄像头的相机内参与被摄物体距离的第二函数关系，以作为相机内参与被摄物体距离的对应关系。

可选的，所述根据预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，确定所述目标对象与所述第一摄像头间的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离，包括：根据预先构造的深度估计网络分别将所述第一图像和第二图像转化为第一深度图像和第二深度图像，所述第一深度图像和所述第二深度图像为灰度图像；确定所述目标对象在所述第一图像中的第一坐标信息和所述目标对象在所述第二图像中的第二坐标信息；根据所述第一坐标信息确定所述目标对象在所述第一深度图像中的第一灰度值，并根据所述第二坐标信息确定所述目标对象在所述第二深度图像中的第二灰度值；根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离。

可选的，所述深度估计网络包括Monodepth2网络，所述根据预先构造的深度估计网络分别将所述第一图像和第二图像转化为第一深度图像和第二深度图像，包括：根据预先构造的Monodepth2网络分别将所述第一图像和所述第二图像转化为第一RGB深度图像和第二RGB深度图像；对所述第一RGB深度图像和所述第二RGB深度图像进行灰度转换处理，生成第一深度图像和第二深度图像。

可选的，所述根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离，包括：根据灰度值与距离的对应关系确定对应于所述第一灰度值的第一预估距离，以及对应于所述第二灰度值的第二灰度距离；其中，所述灰度值与距离的对应关系根据预先获取的多组深度信息与灰度值的数值对拟合得到，所述深度信息通过测量测试对象与拍摄所述测试对象的测试摄像头间的距离得到，所述灰度值通过所述深度估计网络对所述测试摄像头拍摄到的测试图像进行处理后得到。

可选的，所述根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离，包括：根据获取到的所述第一摄像头的高度信息和拍摄角度计算位于所述第一图像底边的物体的深度信息；通过所述第一深度图像获取所述位于所述第一图像底边的物体的灰度值；根据位于所述第一图像底边的物体的深度信息和灰度值估计与所述第一灰度值相对应的所述目标对象与所述第一摄像头间的第一预估距离，以及与所述第二灰度值相对应的所述目标对象与所述第二摄像头间的第二预估距离。

可选的，所述根据所述目标内参、所述相对位置关系、所述第一图像和所述第二图像确定所述目标对象的深度距离，包括：根据所述目标内参、所述相对位置关系对所述第一图像和所述第二图像进行双目校正；对校正后的所述第一图像和所述第二图像进行双目匹配，生成视差图；根据所述视差图、所述第一目标内参、所述第二目标内参和所述相对位置关系确定所述目标对象的深度距离。

可选的，所述电子设备为医疗设备，所述目标对象为病灶，所述装置还包括：

三维模型建立单元812，被配置为根据所述病灶的深度信息建立所述病灶所处部位的三维模型。

病灶位置确定单元814，被配置为根据所述三维模型确定所述病灶的位置信息。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由双目测距装置的处理器执行以实现如上述实施例中任一所述的方法，比如该方法可以包括：

其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本申请并不对此进行限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种双目测距方法，其特征在于，应用于配置有双目相机的电子设备，所述方法包括：

通过预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，并根据处理结果确定所述目标对象与所述第一摄像头的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离，包括：根据预先构造的深度估计网络分别将所述第一图像和第二图像转化为第一深度图像和第二深度图像，所述第一深度图像和所述第二深度图像为灰度图像；确定所述目标对象在所述第一图像中的第一坐标信息和所述目标对象在所述第二图像中的第二坐标信息；根据所述第一坐标信息确定所述目标对象在所述第一深度图像中的第一灰度值，并根据所述第二坐标信息确定所述目标对象在所述第二深度图像中的第二灰度值；根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离；

2.根据权利要求1所述方法，其特征在于，所述相机标定结果由所述用户根据张氏标定法分别对所述第一摄像头和所述第二摄像头拍摄的多组标定板图像进行标定得到；所述多组标定板图像分别由所述第一摄像头和所述第二摄像头针对不同距离下的标定板拍摄得到；

所述相机标定结果包括所述第一摄像头在拍摄不同距离标定板时的相机内参和所述第二摄像头在拍摄不同距离标定板时的相机内参。

3.根据权利要求1所述方法，其特征在于，所述根据用户对所述双目相机中的第一摄像头和第二摄像头的相机标定结果，确定相机内参与被摄物体距离的对应关系，包括：

根据用户标定的所述双目相机中的第一摄像头和第二摄像头在拍摄不同距离标定板时的相机内参，拟合得到所述第一摄像头的相机内参与被摄物体距离的第一函数关系以及所述第二摄像头的相机内参与被摄物体距离的第二函数关系，以作为相机内参与被摄物体距离的对应关系。

4.根据权利要求1所述方法，其特征在于，所述深度估计网络包括Monodepth2网络，所述根据预先构造的深度估计网络分别将所述第一图像和第二图像转化为第一深度图像和第二深度图像，包括：

根据预先构造的Monodepth2网络分别将所述第一图像和所述第二图像转化为第一RGB深度图像和第二RGB深度图像；

对所述第一RGB深度图像和所述第二RGB深度图像进行灰度转换处理，生成第一深度图像和第二深度图像。

5.根据权利要求1所述方法，其特征在于，所述根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离，包括：

根据灰度值与距离的对应关系确定对应于所述第一灰度值的第一预估距离，以及对应于所述第二灰度值的第二灰度距离；

其中，所述灰度值与距离的对应关系根据预先获取的多组深度信息与灰度值的数值对拟合得到，所述深度信息通过测量测试对象与拍摄所述测试对象的测试摄像头间的距离得到，所述灰度值通过所述深度估计网络对所述测试摄像头拍摄到的测试图像进行处理后得到。

6.根据权利要求1所述方法，其特征在于，所述根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离，包括：

根据获取到的所述第一摄像头的高度信息和拍摄角度计算位于所述第一图像底边的物体的深度信息；

通过所述第一深度图像获取所述位于所述第一图像底边的物体的灰度值；

根据位于所述第一图像底边的物体的深度信息和灰度值估计与所述第一灰度值相对应的所述目标对象与所述第一摄像头间的第一预估距离，以及与所述第二灰度值相对应的所述目标对象与所述第二摄像头间的第二预估距离。

7.根据权利要求1所述方法，其特征在于，所述根据所述第一目标内参、所述第二目标内参、所述相对位置关系、所述第一图像和所述第二图像确定所述目标对象的深度信息，包括：

根据所述第一目标内参、所述第二目标内参、所述相对位置关系对所述第一图像和所述第二图像进行双目校正；

对校正后的所述第一图像和所述第二图像进行双目匹配，生成视差图；

根据所述视差图、所述第一目标内参、所述第二目标内参和所述相对位置关系确定所述目标对象的深度距离。

8.根据权利要求1所述方法，其特征在于，所述电子设备为医疗设备，所述目标对象为病灶，所述方法还包括：

根据所述病灶的深度信息建立所述病灶所处部位的三维模型；

根据所述三维模型确定所述病灶的位置信息。

9.一种双目测距装置，其特征在于，应用于配置有双目相机的电子设备，所述装置包括：

距离预估单元，用于通过预先构造的深度估计网络对所述第一图像和所述第二图像进行处理，并根据处理结果确定所述目标对象与所述第一摄像头的第一预估距离、所述目标对象与所述第二摄像头间的第二预估距离，包括：根据预先构造的深度估计网络分别将所述第一图像和第二图像转化为第一深度图像和第二深度图像，所述第一深度图像和所述第二深度图像为灰度图像；确定所述目标对象在所述第一图像中的第一坐标信息和所述目标对象在所述第二图像中的第二坐标信息；根据所述第一坐标信息确定所述目标对象在所述第一深度图像中的第一灰度值，并根据所述第二坐标信息确定所述目标对象在所述第二深度图像中的第二灰度值；根据所述第一灰度值和所述第二灰度值分别确定所述目标对象与所述第一摄像头间的第一预估距离和所述目标对象与所述第二摄像头间的第二预估距离；

10.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。