CN111210468B - 一种图像深度信息获取方法及装置 - Google Patents

Abstract

本发明涉及计算机视觉领域，尤其涉及一种图像深度信息获取方法及装置，获取通过双目摄像机采集到的至少两张图像；根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的；根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息，这样，将激光测距法和双目摄像机测距法结合，通过激光测距法来评估和检验立体匹配算法，确定出更加可靠的立体匹配算法，从而在双目摄像机获取图像深度信息时，提高了图像深度信息获取的精度。

Description

一种图像深度信息获取方法及装置

技术领域

本发明涉及计算机视觉领域，尤其涉及一种图像深度信息获取方法及装置。

背景技术

图像深度信息是用于描述三维图像和三维场景的重要信息，现有技术中，获取图像深度信息的方法，主要分为主动测距法和被动测距法。主动测距法主要是通过投射能量或使用某种辅助工具等手段主动地对被测对象施加影响，使得测量获得满意的效果。被动测距法主要是依据一定的几何和物理定律，对直接来自被测对象的、不受观测者控制的某种可用信息进行处理以获得被测对象有关参量的数值。

其中，主动测距法具有稳定性强，精度高，实时性等优点，但是非常醒目无遮挡，容易受被测物体反射特性的影响，且设备造价昂贵。被动测距方法隐蔽性好，无需额外提供能量光源，操作处理简单，但是测量精度没有主动测距法高，容易受周围环境影响，因此这两种方式，都会受到影响而降低图像深度信息的获取精度。

发明内容

本发明实施例提供一种图像深度信息获取方法及装置，以解决现有技术中图像深度信息获取精度较低的问题。

本发明实施例提供的具体技术方案如下：

一种图像深度信息获取方法，包括：

获取通过双目摄像机采集到的至少两张图像；

根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的；

根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息。

可选的，进一步包括：通过对所述双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，所述双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

可选的，根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值，具体包括：

根据所述双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵；其中，所述双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系；

根据所述各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离；

分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

可选的，所述确定的立体匹配算法的确定方式，具体包括：

获取通过双目摄像机采集到的至少两张目标图像；其中，所述至少两张目标图像中包括多个激光点；

将所述多个激光点作为特征点，分别确定所述多个激光点在目标图像上对应的光斑的中心和半径；

根据激光测距法，分别确定出所述多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出所述多个激光点的中心的第二深度信息；

根据激光测距法确定的多个激光点的第一深度信息，分别对所述多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法。

可选的，进一步包括：至少根据图像的深度信息，建立图像深度信息数据集；其中，所述图像深度信息数据集中至少包括图像集和标注集；所述图像集包括多个图像，并所述多个图像按照场景条件，进行了分类；所述标注集包括多个图像对应的标注数据，所述标注数据至少包括图像名、图像中特征点信息。

一种图像深度信息获取装置，包括：

第一获取模块，用于获取通过双目摄像机采集到的至少两张图像；

匹配模块，用于根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的；

获得模块，用于根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息。

可选的，进一步包括：标定模块，用于通过对所述双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，所述双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

可选的，根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值时，匹配模块具体用于：

根据所述双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵；其中，所述双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系；

根据所述各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离；

分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

可选的，所述确定的立体匹配算法的确定方式，具体包括：

第二获取模块，用于获取通过双目摄像机采集到的至少两张目标图像；其中，所述至少两张目标图像中包括多个激光点；

第一确定模块，用于将所述多个激光点作为特征点，分别确定所述多个激光点在目标图像上对应的光斑的中心和半径；

第二确定模块，用于根据激光测距法，分别确定出所述多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出所述多个激光点的中心的第二深度信息；

第三确定模块，用于根据激光测距法确定的多个激光点的第一深度信息，分别对所述多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法。

可选的，进一步包括：建立模块，用于至少根据图像的深度信息，建立图像深度信息数据集；其中，所述图像深度信息数据集中至少包括图像集和标注集；所述图像集包括多个图像，并所述多个图像按照场景条件，进行了分类；所述标注集包括多个图像对应的标注数据，所述标注数据至少包括图像名、图像中特征点信息。

一种电子设备，包括：

至少一个存储器，用于存储计算机程序；

至少一个处理器，用于执行存储器中存储的计算机程序时实现上述任一种图像深度信息获取方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种图像深度信息获取方法的步骤。

本发明实施例中，获取通过双目摄像机采集到的至少两张图像；根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的；根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息，这样，通过激光测距法来评估和检验立体匹配算法，确定出更加合适和可靠的立体匹配算法，为双目摄像机获取的深度信息提供了误差标准依据，从而基于双目摄像机获取图像深度信息时，使用更加可靠和精确的立体匹配算法，计算视差值并获取图像深度信息，降低了成本，并且提高了图像深度信息获取的精度，解决了传统主动测距法和被动测距法在深度信息获取过程中的各自弊端。

附图说明

图1为本发明实施例中图像深度信息获取方法的流程图；

图2为本发明实施例中双目摄像机摆放状态结构示意图；

图3为本发明实施例中图像深度信息计算原理示意图；

图4为本发明实施例中图像深度信息数据集的结构示意图；

图5为图像深度信息数据集中标注集的结构示意图；

图6为本发明实施例中图像深度信息数据集的构建过程流程图；

图7为本发明实施例中图像深度信息获取装置结构示意图；

图8为本发明实施例中电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，获取图像深度信息的方法，主要分为主动测距法和被动测距法，这两种方式都有各自的优缺点，主动测距法的优点为稳定性强，精度高，实时性高，但是比较醒目无遮挡，容易受被测物体反射特性的影响，且设备造价昂贵，成本较高。被动测距方法的优点为隐蔽性好，无需额外提供能量光源，操作处理简单，但是测量精度没有主动测距法的精度高，也容易受周围环境影响，因此，单独实施这两种方式无法兼顾精度高和低成本的问题，并且这两种方式，都会受到环境影响，影响精度。

并且，在双目视觉领域，目前还没有基于图像深度信息的图像深度信息数据集。

因此，本发明实施例中，主要是结合主动测距法和被动测距法，提供了一种更高精度的图像深度信息获取方法，解决了传统图像深度信息获取方法中各自的弊端，主要根据主动测距法确定图像中少量特征点的深度信息，以此作为标准，对基于被动测距法确定出的相同特征点的深度信息进行校正和评估，得到更加适合和精度更高的立体匹配算法，从而再使用确定的立体匹配算法，基于主动测距法，获得图像深度信息。

并且，本发明实施例中，还基于图像深度信息，建立了基于双目视觉的图像深度信息数据集，设计了其结构，包括了各种不同场景和约束条件下的图像，以及相应的图像深度信息，例如，室内场景或室外自然条件场景，数据集中样本更加多样和充分，数量更多，从而可以基于该图像深度信息数据集，对不同场景和需求下确定图像深度信息时立体匹配算法的评估和校验，确定出更加合适的立体匹配算法，提高获取图像深度信息的精度。

参阅图1所示，本发明实施例中，图像深度信息获取方法的具体流程如下：

步骤100：获取通过双目摄像机采集到的至少两张图像。

需要说明的是，主动测距法例如包括：结构光法、三角测距法、飞行时间法、激光测距法等，被动测距法例如包括：单目测距法、双目测距法等。本发明实施例中，主要利用了双目测距法和激光测距法，当然，也可以使用主动测距法和被动测距法的其它方法，本发明实施例并不进行限制，对于类似思路和场景都可以适用。

进一步地，在执行步骤100之前，还需要对双目摄像机进行标定和校正，以获得双目摄像机的相关参数和提高拍摄性能，本发明实施例中提供了一种可能的实施方式：通过对双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

具体地，可以分为两部分进行介绍：

第一部分：双目摄像机的标定。

双目视觉原理是建立在摄像机成像模型的基础上，因此，本发明实施例中，通过对双目摄像机的标定，就是为了获取该模型的参数即双目摄像机的内外参数，确定图像坐标系、摄像机坐标系以及三维空间世界坐标系之间的映射关系。

其中，双目摄像机的内外参数包括但不限于：每个摄像机的内部参数，例如，焦距、成像原点等，外部参数包括但不限于：两个摄像机的相对位置关系，例如旋转矩阵、平移向量等，分别根据两个摄像机与世界坐标系相对位置的外部参数，即旋转矩阵R1、R2和平移向量t1、t2，确定两个摄像机之间的相对位置关系，即旋转矩阵R和平移向量t，建立世界坐标系与摄像机坐标系，以及与图像坐标系之间的映射关系。

其中，对双目摄像机的标定，可以采用现有技术中的标定方法，本发明实施例中并不进行限定，例如可以采用“张正友标定法”，“张正友标定法”是基于单平面棋盘格的摄像机标定法，它与以往传统的摄像机标定法的最大区别是降低了对标定物的高精度要求，只需一个黑白相间的棋盘格作为标定物，将图像与标定物转变为单应性映射关系，该方法使得摄像机的标定操作更加简单有效，标定结果稳定性好、精度高。

第二部分：双目摄像机的校正。

通常，参阅图2所示，为本发明实施例中双目摄像机摆放状态结构示意图。理想情况下双目摄像机系统的两个摄像机图像平面平行，并且光轴和图像平面平行，参阅图2(b)所示，为理想双目摄像机状态示意图。而在实际中，由于摆放、焊接等人为因素，往往无法完全满足该理想双目摄像机状态，例如参阅图2(a)所示，为非理想双目摄像机状态示意图，因此，需要对双目摄像机进行校正，目的是为了将双目摄像机校正到理想状态，即从图2(a)所示状态校正到图2(b)所示状态。

具体地，双目摄像机的校正是根据双目摄像机标定后获得的内外参数，对左右图像进行畸变消除，使得左右摄像机光轴平行、左右成像平面共面，最后实现对极线行对齐，即使得双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

这样，基于标定和校正后的双目摄像机拍摄采集图像，可以预先获得双目摄像机的内外参数，并且图像的对极线行对齐，便于对拍摄的图像进行处理，降低后续匹配的复杂度。

步骤110：根据确定的立体匹配算法，对至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的。

执行步骤110时，具体包括：

首先，根据双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵。

其中，双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系。

然后，根据各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离。

最后，分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

这样，通过标定时的内外参数，经过坐标变换，可以获得各组像素点的视差值，例如为d＝x1-x2，其中，d为视差值，x1为在其中一个摄像机坐标系中像素点距离中心点的水平距离，x2为在另一个摄像机坐标系中相应匹配的像素点距离中心点的水平距离。

其中，本发明实施例中，可以将激光测距法和双目测距法结合，基于激光测距法来检验和评估更加可靠和准确的双目测距法中的立体匹配算法，从而可以确定出更适合匹配的立体匹配算法，提高双目测距法获取图像深度信息的精度，具体地：

首先，获取通过双目摄像机采集到的至少两张目标图像；其中，至少两张目标图像中包括多个激光点。

本发明实施例中，可以同时采用激光测距法和双目摄像机测距法对目标图像进行测距，分别获得目标图像的图像深度信息，这时，由于激光器也在同时测距，因此通过双目摄像机可以采集到包含多个激光点的图像。

然后，将多个激光点作为特征点，分别确定多个激光点在目标图像上对应的光斑的中心和半径。

本发明实施例中，双目摄像机采集到的图像，在同一图像中会获取到多个激光点数据，激光点在图像中通常以一个小光斑形式呈现，一个小光斑会包括多个像素点，为更准确地描述，本发明实施例中将激光测距法得到的激光点的距离，作为光斑的中心的像素点的距离，因此还需要确定图像中光斑的中心和半径。

具体地，本发明实施例中可以采用曲线拟合的方式，即最小二乘法原理，通过无线逼近光斑轮廓的方式，然后求解该拟合圆的参数作为激光点的光斑的基本信息。例如，双目摄像机采集的图像横向有X个像素点，纵向有Y个像素点，E为光斑边界的集合。若某像素点i包含于E内，则(xi，yi)可以表示为光斑内该像素点i的坐标，(a，b)为光斑的中心，即拟合圆的圆心坐标，r为光斑的拟合圆的半径，则该拟合圆的方程式可以表示为：

(x-a)²+(y-b)²＝r²

假设Ei表示残差，则：

E_i＝(x_i-a)²+(y_i-b)²-r²

由最小二乘原理，可得：

通过该约束条件，求解W最小化对应的(a,b)和r的取值，即获得光斑的中心和半径。

进一步地，也可以将图像中获取的激光点的信息，包括中心、半径等信息进行保存，便于后续使用和构建图像深度信息数据集。

然后，根据激光测距法，分别确定出多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出多个激光点的中心的第二深度信息。

最后，根据激光测距法确定的多个激光点的第一深度信息，分别对多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法。

也就是说，本发明实施例中，可以预先基于激光测距法，确定激光的光斑的中心位置和半径，对双目摄像机测距法确定出的深度信息进行检验，为双目摄像机测距法中立体匹配算法的计算提供了更加可靠和准确的误差标准，从而可以对立体匹配算法进行评估、检验和完善，确定出更加准确和可靠的立体匹配算法，提高图像深度信息获取的精度。

步骤120：根据匹配出的各组像素点的视差值，获得至少两张图像的深度信息。

具体地参阅图3所示，为本发明实施例中图像深度信息计算原理示意图。如图3所示，其中O1、O2分别为双目摄像机的左右两个摄像机的透镜中心，T为左右摄像机的中心距离，两个摄像机的焦距都为f，z表示空间中的任意一点M到摄像机的光心的深度信息，即点M到两个摄像机的中心连线的垂直距离。

并且，点M在左右摄像机上的成像点分别为M1、M2，这两个点到左右投影中心的距离分别表示为x1，x2，即点M1在其摄像机坐标系中距离中心点的水平距离为x1，点M2在其摄像机坐标系中距离中心点的水平距离为x2，则视差值可以表示为d＝x1-x2。

然后，根据三角几何原理，可得：

根据视差值d＝x1-x2，可得该点的图像深度信息为：

这样，本发明实施例中，将主动测距法和被动测距法结合，基于主动测距法，确定出合适的立体匹配算法，使用确定出的立体匹配算法，基于被动测距法，获取图像深度信息，提高了图像深度信息获取的精度。

进一步地，本发明实施例中，基于上述图像深度信息获取方法，可以获得多个图像的图像深度信息，从而构建了多场景和环境的图像深度信息数据集，具体地提供了一种可能的实施方式：至少根据图像的深度信息，建立图像深度信息数据集；其中，图像深度信息数据集中至少包括图像集和标注集；图像集包括多个图像，并多个图像按照场景条件，进行了分类；标注集包括多个图像对应的标注数据，标注数据至少包括图像名、图像中特征点信息。

也就是说，本发明实施例中，图像深度信息数据集主要分为两大部分，分别为图像集和标注集。具体参阅图4所示，为本发明实施例中图像深度信息数据集的结构示意图，下面对这两部分进行说明：

第一部分：图像集。

图像集是包括大量的图像，例如，可以是bmp格式的图像，也可以称为图像样本，可以获取不同场景下的多种大量的图像样本，图像集可以保存为bmp格式文件。

为便于对各种场景，例如室内或自然场景中图像样本进行描述，使得图像样本更加充分，进一步地，本发明实施例中图像集还可以分为测试集和训练集，其中，测试集中图像样本根据各约束条件进行分类，例如包括室内外距离因素、深度因素、光照因素等。训练集中图像样本根据各约束条件并根据物体类别进行分类，表示各种不同场景下的不同物体，整合了测试集中的约束条件，并突出了物体类别信息，对不同场景下的不同物体进行了分类，使得图像样本更为丰富多样化，例如包括书本、电脑、路灯等。

第二大部分：标注集。

针对图像集中每张图像样本，在标注集中对每张图像样本建立了相关的标注数据，类似于“个人档案”，例如包括图像名称、类型、大小、以及特征点信息，即激光点信息等。标注集可以保存为xml格式文件，通过图像标识(id)与图像集中每张图像样本一一对应。

例如，具体参阅图5所示，为图像深度信息数据集中标注集的结构示意图，以特征点为激光点为例进行说明，标注数据包括文件名(filename)、图像名(id)、图像大小(size)、激光点(point)，其中，文件名为该图像所在的文件，由于一张图像中可能会包含多个激光点，因此，针对各激光点可以分别进行标记，每个激光点对应一个编号(number)，例如分别为编号1、编号2、…、编号n，并且每个激光点下对应其信息，包括中心坐标，即坐标X和坐标Y，半径(radius)以及距离(depth)，即该点的深度信息。

这样，本发明实施例中，创建了更广泛的基于双目视觉的图像深度信息数据集，并且设计了图像深度信息数据集的整体结构和各部分结构，有效扩充了图像深度信息数据集的范围和领域，丰富并充分了各种图像样本，从而可以基于该图像深度信息数据集为各种立体匹配算法进行评估、检验和完善，为立体匹配算法的评估提供了依据，并且更加准确，可以适用于多种不同的场景。

下面采用具体的应用场景进行具体说明，基于上述实施例，具体参阅图6所示，为本发明实施例中图像深度信息数据集的构建过程流程图，具体包括：

步骤600：采集图像。

本发明实施例中，先可以通过多角度采集图像，实现对双目摄像机的标定和校正。

步骤601：双目摄像机标定。

例如，采用标准棋盘格进行标定。

步骤602：获取双目摄像机的内外参数。

步骤603：双目摄像机校正。

步骤604：判断对极线检测是否通过，若是，则执行步骤605，否则，则执行步骤600。

具体地，若确定双目摄像机的两个摄像机拍摄的图像的对极线行对齐，则判断对极线检测通过，否则，则判断不通过。

步骤605：通过双目摄像机分类采集图像。

即可以采集不同场景和类别的物体的图像。

步骤606：通过激光测距法确定图像深度信息。

步骤607：对基于双目摄像机确定出的图像深度信息进行校正。

就可以采用激光测距法确定的图像深度信息，对基于双目摄像机测距获得的不同类别和场景下的图像的图像深度信息进行比对和校正。

步骤608：获得图像深度信息数据集。

本发明实施例中，获得图像深度信息数据集后，可以将图像深度信息数据集中各图像及标注信息，作为一个标准，作为检测立体匹配算法可靠或精确度的依据。

步骤609：针对图像对进行预处理。

步骤610：根据立体匹配算法，进行图像匹配。

步骤611：获得视差图像。

步骤612：基于图像深度信息数据集，对图像深度信息进行对比验证。

也就是说，验证立体匹配算法的优劣或可靠性，以确定出合适不同场景下或类别的图像的深度信息计算的立体匹配算法。

基于上述实施例，参阅图7所示，本发明实施例中，图像深度信息获取装置具体包括：

第一获取模块70，用于获取通过双目摄像机采集到的至少两张图像；

匹配模块71，用于根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的；

获得模块72，用于根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息。

可选的，进一步包括：标定模块73，用于通过对所述双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，所述双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

可选的，根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值时，匹配模块71具体用于：

根据所述双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵；其中，所述双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系；

根据所述各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离；

分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

可选的，所述确定的立体匹配算法的确定方式，具体包括：

第二获取模块74，用于获取通过双目摄像机采集到的至少两张目标图像；其中，所述至少两张目标图像中包括多个激光点；

第一确定模块75，用于将所述多个激光点作为特征点，分别确定所述多个激光点在目标图像上对应的光斑的中心和半径；

第二确定模块76，用于根据激光测距法，分别确定出所述多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出所述多个激光点的中心的第二深度信息；

第三确定模块77，用于根据激光测距法确定的多个激光点的第一深度信息，分别对所述多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法。

可选的，进一步包括：建立模块78，用于至少根据图像的深度信息，建立图像深度信息数据集；其中，所述图像深度信息数据集中至少包括图像集和标注集；所述图像集包括多个图像，并所述多个图像按照场景条件，进行了分类；所述标注集包括多个图像对应的标注数据，所述标注数据至少包括图像名、图像中特征点信息。

参阅图8所示，本发明实施例中，一种电子设备结构示意图。

本发明实施例提供了一种电子设备，该电子设备可以包括处理器810(CenterProcessing Unit，CPU)、存储器820、输入设备830和输出设备840等，输入设备830可以包括键盘、鼠标、触摸屏等，输出设备840可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器820可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器810提供存储器820中存储的程序指令和数据。在本发明实施例中，存储器820可以用于存储上述图像深度信息获取方法的程序。

处理器810通过调用存储器820存储的程序指令，处理器810用于按照获得的程序指令执行：

获取通过双目摄像机采集到的至少两张图像；

根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法，是根据激光测距法确定出的图像中特征点的深度信息，对基于立体匹配算法确定出的特征点的深度信息进行校正评估后，确定出的；

根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息。

可选的，处理器810进一步用于：

通过对所述双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，所述双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

可选的，根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值时，处理器810具体用于：

根据所述双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵；其中，所述双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系；

根据所述各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离；

分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

可选的，所述确定的立体匹配算法的确定方式，处理器810进一步用于：

获取通过双目摄像机采集到的至少两张目标图像；其中，所述至少两张目标图像中包括多个激光点；

将所述多个激光点作为特征点，分别确定所述多个激光点在目标图像上对应的光斑的中心和半径；

根据激光测距法，分别确定出所述多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出所述多个激光点的中心的第二深度信息；

根据激光测距法确定的多个激光点的第一深度信息，分别对所述多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法。

可选的，处理器810进一步用于：

至少根据图像的深度信息，建立图像深度信息数据集；其中，所述图像深度信息数据集中至少包括图像集和标注集；所述图像集包括多个图像，并所述多个图像按照场景条件，进行了分类；所述标注集包括多个图像对应的标注数据，所述标注数据至少包括图像名、图像中特征点信息。

基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的图像深度信息获取方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像深度信息获取方法，其特征在于，包括：

获取通过双目摄像机采集到的至少两张图像；

根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法的确定方式为，获取通过双目摄像机采集到的至少两张目标图像；其中，所述至少两张目标图像中包括多个激光点；将所述多个激光点作为特征点，分别确定所述多个激光点在目标图像上对应的光斑的中心和半径；根据激光测距法，分别确定出所述多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出所述多个激光点的中心的第二深度信息；根据激光测距法确定的多个激光点的第一深度信息，分别对所述多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法；

根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息。

2.如权利要求1所述的方法，其特征在于，进一步包括：

通过对所述双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，所述双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

3.如权利要求2所述的方法，其特征在于，根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值，具体包括：

根据所述双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵；其中，所述双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系；

根据所述各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离；

分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

4.如权利要求1-3任一项所述的方法，其特征在于，进一步包括：

至少根据图像的深度信息，建立图像深度信息数据集；其中，所述图像深度信息数据集中至少包括图像集和标注集；所述图像集包括多个图像，并所述多个图像按照场景条件，进行了分类；所述标注集包括多个图像对应的标注数据，所述标注数据至少包括图像名、图像中特征点信息。

5.一种图像深度信息获取装置，其特征在于，包括：

第一获取模块，用于获取通过双目摄像机采集到的至少两张图像；

匹配模块，用于根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值；其中，所述确定的立体匹配算法的确定方式为，获取通过双目摄像机采集到的至少两张目标图像；其中，所述至少两张目标图像中包括多个激光点；将所述多个激光点作为特征点，分别确定所述多个激光点在目标图像上对应的光斑的中心和半径；根据激光测距法，分别确定出所述多个激光点的中心的第一深度信息，并基于多个立体匹配算法，分别确定出所述多个激光点的中心的第二深度信息；根据激光测距法确定的多个激光点的第一深度信息，分别对所述多个立体匹配算法确定的相应激光点的第二深度信息进行校正评估后，从多个立体匹配算法中确定出第二深度信息与第一深度信息误差最小的立体匹配算法；

获得模块，用于根据匹配出的各组像素点的视差值，获得所述至少两张图像的深度信息。

6.如权利要求5所述的装置，其特征在于，进一步包括：

标定模块，用于通过对所述双目摄像机进行标定，预先获得所述双目摄像机的内外参数；其中，所述双目摄像机的两个摄像机拍摄的图像的对极线行对齐。

7.如权利要求6所述的装置，其特征在于，根据确定的立体匹配算法，对所述至少两张图像中各像素点进行匹配，并分别计算匹配出的各组像素点的视差值时，匹配模块具体用于：

根据所述双目摄像机的内外参数中图像坐标系、摄像机坐标系和世界坐标系之间的映射关系，分别确定图像中各组像素点在相应的摄像机坐标系下的投影矩阵；其中，所述双目摄像机的内部参数至少包括摄像机的焦距，外部参数至少包括双目摄像机的两个摄像机的相对位置，以及图像坐标系、摄像机坐标系和世界坐标系之间的映射关系；

根据所述各组像素点在相应的摄像机坐标系下的投影矩阵，分别确定各组像素点在相应的摄像机坐标下的坐标位置，并根据各组像素点在相应的摄像机坐标下的坐标位置，分别确定各组像素点距离相应的摄像机坐标系中心点的水平距离；

分别根据各组像素点距离相应的摄像机坐标系中心点的水平距离，计算各组像素点的视差值。

8.如权利要求5-7任一项所述的装置，其特征在于，进一步包括：

建立模块，用于至少根据图像的深度信息，建立图像深度信息数据集；其中，所述图像深度信息数据集中至少包括图像集和标注集；所述图像集包括多个图像，并所述多个图像按照场景条件，进行了分类；所述标注集包括多个图像对应的标注数据，所述标注数据至少包括图像名、图像中特征点信息。

9.一种电子设备，其特征在于，包括：

至少一个存储器，用于存储计算机程序；

至少一个处理器，用于执行存储器中存储的计算机程序时实现如权利要求1-4中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-4中任意一项所述方法的步骤。

Images