CN110274573A - 双目测距方法、装置、设备、存储介质及计算设备 - Google Patents

Abstract

本发明公开了一种双目测距方法、装置、设备、存储介质及计算设备。在标定时，双目成像系统的两个摄像机分别对预定图案进行拍摄而得到至少一对第一图像。按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像。基于该至少一对第二图像获得双目成像系统的参数。在现场测距时，两个摄像机分别对测距现场进行拍摄而得到一对第三图像。按预定比例缩小上述一对第三图像的尺寸，得到一对第四图像。基于上述参数和上述一对第四图像计算深度数据。由此，该双目测距方案显著降低了数据计算量。当采用硬件来实现图像数据处理时，可以在更低功耗的硬件中进行部署和实施。

Description

双目测距方法、装置、设备、存储介质及计算设备

技术领域

本发明涉及计算机视觉领域，尤其涉及低功耗的双目测距实现方案。

背景技术

双目视觉测距算法是计算机视觉领域的重要课题。课题的主要任务为仿生人眼感知物体在场景中的深度信息，使用两个摄像机分别采集左右图像，经过标定校正后，进行立体匹配，获取稠密的视差图像，进而获得深度图像。

其中，立体匹配处理的精度和速度是双目视觉算法的重要指标，也是双目视觉算法的热点和难点。

立体匹配处理涉及的计算复杂度和存储复杂度都很高，需要处理大量的数据。

而随着数字图像技术的发展，高帧率、高分辨率的视频流给立体匹配处理的处理速度和精度带来了更大的挑战。即使使用FPGA、ASIC等并行加速硬件，也不足以在低功耗芯片中获得高性能。因此，近年来双目视觉传统算法的发展已逐渐进入瓶颈。

虽然基于神经网络的双目算法可获得更高的准确度，但是更为复杂的神经网络计算需要强大的GPU作为计算平台，功耗显著增加。

因此，仍然需要一种能够显著降低数据计算量的双目测距方案。

发明内容

本发明要解决的技术问题是提供一种双目测距方案，其能够显著降低双目测距过程中的数据计算量。

根据本发明的第一个方面，提供了一种双目测距方法，包括：按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像，至少一对第一图像是由双目成像系统的两个摄像机分别对预定图案进行拍摄而得到的；基于至少一对第二图像获得双目成像系统的参数；按预定比例缩小上述一对第三图像的尺寸，得到一对第四图像，上述一对第三图像是由两个摄像机分别对测距现场进行拍摄而得到的；以及基于上述参数和上述一对第四图像计算深度数据。

由此，由于缩小了测距现场拍摄的第三图像的尺寸，所以能够显著降低双目测距过程中的数据计算量。另外，由于图像尺寸降低，也降低了存储需求和复杂度，减少了数据存储量，可以使用更小的存储容量。

可选地，基于上述参数和上述一对第四图像计算深度数据的步骤可以包括：对上述一对第四图像进行匹配，以获得视差图像；以及基于视差图像计算得到深度图像。

可选地，对上述一对第四图像进行匹配的步骤可以包括：使用上述参数对上述一对第四图像进行校正，以得到一对极线水平同高的第五图像；以及对上述一对第五图像进行匹配，以获得视差图像。

可选地，基于视差图像计算得到深度图像的步骤可以包括：将具有与第四图像相同尺寸的视差图像还原为具有与第三图像相同尺寸的放大视差图像，使用基于至少一对第一图像获得的双目成像系统参数和放大视差图像，计算得到具有与第三图像相同尺寸的深度图像。或者，基于视差图像计算得到深度图像的步骤可以包括：基于视差图像计算得到具有与第四图像相同尺寸的深度图像，并将具有与第四图像相同尺寸的深度图像还原为具有与第三图像相同尺寸的放大深度图像。

由此，可以得到与测距现场拍摄的第三图像具有相同尺寸的深度图像。

可选地，该预定比例可以包括水平方向上的第一预定比例和竖直方向上的第二预定比例，第一预定比例与第二预定比例可以不同。

由此，可以根据实际需要来灵活配置不同方向上的缩小比例。

可选地，第一预定比例可以大于第二预定比例，也可以等于第二预定比例，还可以小于第二预定比例。

可选地，基于至少一对第二图像获得双目成像系统的参数的步骤可以包括：基于至少一对第二图像对双目成像系统进行标定，以获得双目成像系统的参数。

根据本发明的第二个方面，提供了一种用于双目测距的装置，包括：第一缩小装置，用于按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像，至少一对第一图像是由双目成像系统的两个摄像机分别对预定图案进行拍摄而得到的；参数确定装置，用于基于至少一对第二图像获得双目成像系统的参数；第二缩小装置，用于按预定比例缩小上述一对第三图像的尺寸，得到一对第四图像，上述一对第三图像是由两个摄像机分别对测距现场进行拍摄而得到的；以及深度计算装置，用于基于上述参数和上述一对第四图像计算深度数据。

可选地，深度计算装置可以包括：图像匹配装置，用于对上述一对第四图像进行匹配，以获得视差图像；以及深度图像计算装置，用于基于视差图像计算得到深度图像。

可选地，图像匹配装置可以包括：图像校正装置，用于使用上述参数对上述一对第四图像进行校正，以得到一对极线水平同高的第五图像；以及匹配装置，用于对上述一对第五图像进行匹配，以获得视差图像。

可选地，深度图像计算装置可以包括视差图像还原装置，用于将具有与第四图像相同尺寸的视差图像还原为具有与第三图像相同尺寸的放大视差图像，其中，深度图像计算装置使用基于至少一对第一图像获得的双目成像系统参数和放大视差图像，计算得到具有与第三图像相同尺寸的深度图像。或者，深度图像计算装置可以包括深度图像还原装置，用于将基于视差图像计算得到具有与第四图像相同尺寸的深度图像还原为具有与第三图像相同尺寸的放大深度图像。

可选地，该预定比例可以包括水平方向上的第一预定比例和竖直方向上的第二预定比例。可选地，第一预定比例可以大于第二预定比例，也可以等于第二预定比例，还可以小于第二预定比例。

可选地，参数确定装置可以包括：标定装置，用于基于上述一对第二图像对双目成像系统进行标定，以获得双目成像系统的参数。

根据本发明的第三个方面，提供了一种双目测距设备，包括：双目成像系统，包括按照预定位置关系设置的两个摄像机；数据处理器，用于基于两个摄像机分别拍摄的第三图像进行计算，以得到深度数据，其中，在标定时，两个摄像机分别对预定图案进行拍摄而得到至少一对第一图像，数据处理器按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像，并基于至少一对第二图像获得双目成像系统的参数，在现场测距时，两个摄像机分别对测距现场进行拍摄而得到一对第三图像，数据处理器按预定比例缩小上述一对第三图像的尺寸，得到一对第四图像，基于上述参数和上述一对第四图像计算深度数据。

可选地，该数据处理器执行上述第一个方面的方法。

根据本发明的第四个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行上述第一个方面的方法。

根据本发明的第五个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述第一个方面的方法。

根据本发明的双目测距方案基于现有双目测距流程进行改进，且增加的流程主要为图像缩放，部署成本低，升级代价小，利于实施。

而由于在图像处理过程中缩小了原图像尺寸，有效降低了立体匹配步骤的计算复杂度和存储复杂度，而对计算精度的影响相对较小。另外，在优选实施例中，还可以通过双线性插值等图像放大算法将深度图像恢复成原图像尺寸，实现一定程度的恢复。

由此，根据本发明的双目测距方案可以在更低功耗的硬件中进行部署和实施。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本发明实施例的双目测距设备100的示意性框图。

图2是根据本发明实施例的双目测距方法的示意性流程图。

图3是现场测距时深度数据计算方法的一个实施例的示意性流程图。

图4是现场测距时深度数据计算方法的另一个实施例的示意性流程图。

图5是一种获得原现场图像尺寸的深度图像的方案的示意性流程图。

图6是另一种获得原现场图像尺寸的深度图像的方案的示意性流程图。

图7是根据本发明实施例用于双目测距的装置的示意性框图。

图8是根据一个实施例的深度计算装置的示意性框图。

图9是根据一个实施例的图像匹配装置的示意性框图。

图10是可以用于实施根据本发明实施例的双目测距方法的计算设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

图1是根据本发明实施例的双目测距设备100的示意性框图。

如图1所示，本发明实施例的双目测距设备100包括双目成像系统120和数据处理器140。

双目成像系统120包括按照预定位置关系设置的两个摄像机(或者，也可以称为“摄像头”)122和124。与人的双眼相类比，两个摄像机122和124拍摄的图像可以分别称为“左眼图像”和“右眼图像”。

数据处理器140对两个摄像机122和124分别拍摄的图像进行计算，以得到深度数据。

数据处理器140可以是CPU，通过软件方法来实现数据处理。更优选地，数据处理器140可以由FPGA、ASIC等加速硬件实现，由其中的相应硬件和/或逻辑模块分别处理图像数据处理过程中的相应数据处理部分。

为了实现精确的深度数据计算，需要预先对双目成像系统120进行离线标定。

在标定时，两个摄像机122和124分别对预定图案进行拍摄，从而得到至少一对用于标定的图像，这里可以称为“第一图像”或“标定图像”。

数据处理器140按预定比例缩小上述至少一对第一图像的尺寸，分别得到至少一对缩小的标定图像，这里可以称为“第二图像”。在本申请的上下文中，“按预定比例缩小图像的尺寸”是指将该图像在一个或多个方向(例如水平方向和/或竖直方向)上的尺寸分别缩小为原来尺寸的预定比例。不同方向上的预定缩小比例可以相同，也可以不同。例如，原来图像在某个方向(水平方向/竖直方向)上的尺寸为M，预定比例为1/k，1/k小于1，则缩小后的图像在该方向上的尺寸为M/k。

在这里，图像的尺寸大小可以对应于像素数量多少。例如，水平方向或竖直方向上的尺寸分别对应于水平方向或竖直方向上的像素数量。这里，平行于两个摄像机122和124的中心连线方向的方向可以视为水平方向(也可以称为“第一方向”)，竖直方向(也可以称为“第二方向”)则垂直于水平方向。

数据处理器140可以基于所获得的缩小的至少一对第二图像获得双目成像系统的参数，由此实现离线标定。

而在现场测距时，两个摄像机122和124分别对测距现场进行拍摄而得到一对现场图像，这里可以称为“第三图像”。

数据处理器140按上述预定比例缩小这一对第三图像的尺寸，得到一对缩小了尺寸的第四图像。

这样，数据处理器140就可以基于上述参数和一对第四图像计算深度数据。

这里，对双目成像系统120进行离线标定时，按预定比例对两个摄像机122和124拍摄的标定图像进行了尺寸缩小处理。现场测距的时候，按同样的比例对两个摄像机122和124拍摄的现场图像进行了尺寸缩小处理。这样，离线标定得到的参数可以很好地适用于现场测距时拍摄的图像，从而可以基于缩小了尺寸的现场图像来进行双目测距，可以显著降低例如上述立体匹配计算的计算量，从而可以显著降低功耗，实现低功耗双目测距。例如，在深度学习算法里，图像尺寸缩小(分辨率降低)直接带来的效果是每层卷积次数减少，计算量有效降低。

另外，通过缩小图像尺寸，还可以显著减少数据存储量，降低存储需求和复杂度。

下面参考图2进一步详细描述根据本发明实施例的双目测距方法。图2中示出的有关数据处理的各个步骤例如可以由上述图1中的数据处理器140执行。

首先，进行离线标定。

可以由双目成像系统120的两个摄像机122和124分别对预定图案进行拍摄而得到至少一对第一图像。

例如，可以从不同的空间位置和/或空间角度对预定图案进行拍摄而分别得到成对的第一图像。

预定图案例如可以是指定尺寸的棋盘格平面。双目成像系统120对其进行拍摄得到至少一对棋盘格照片。棋盘格平面可以分别设置于双目成像系统120的视场中的不同空间位置和/或空间角度。

在步骤S220，按预定比例1/k缩小上述至少一对第一图像的尺寸，即将第一图像的尺寸缩小为原来的1/k，分别得到至少一对第二图像。在此过程中，第一图像中的多个第一像素被合并为第二图像中的一个第二像素。

然后，在步骤S240，可以基于缩小尺寸后得到的上述至少一对第二图像获得双目成像系统120的参数。

在下文参考S260描述的步骤中，还将以相同的预定比例缩小测距现场图像的尺寸。在离线标定阶段缩小标定图像的尺寸，是为了获得与现场测距阶段缩小尺寸后的现场图像相适应的参数，实现适应于缩小图像的标定。

水平方向和竖直方向上的缩小比例可以相同。

例如，在步骤S220中，可以将棋盘格照片的长和宽均缩小为原尺寸的1/k，k大于1。换言之，长度方向和宽度方向上的像素数量可以减小分别为原像素数量的1/k。

相应地，相机传感器在长度方向和宽度方向上的像元尺寸都被放大k倍，得到新的等效像元尺寸。

另一方面，水平方向和竖直方向上的缩小比例也可以不相同。这样，上述预定比例可以包括水平方向上的第一预定比例和竖直方向上的第二预定比例。这种情况下，第一预定比例可以大于或等于或小于第二预定比例。

在步骤S240中，可以基于上述至少一对第二图像对双目成像系统进行标定，以获得双目成像系统的参数。

例如，可以使用标定校正工具，如Matlab提供的Stereo Camera Calibrator工具箱，来进行标定，以获得双目成像系统120的参数。

双目成像系统120的参数例如可以包括两个摄像机122和124的内参数和外参数。

内参数例如包括上述两个摄像机122和124的焦距、像元尺寸等。在如上所述缩小了图像尺寸的情况下，内参数中的像元尺寸为等效像元尺寸。

外参数例如包括双目成像系统120的位置、姿态以及两个摄像机122和124的相对位置关系等。

经过上述离线标定，确定了适应于缩小尺寸的图像的参数之后，可以使用该双目测距设备100来进行现场测距。

在现场测距过程中，两个摄像机122和124分别对测距现场进行拍摄而得到一对现场图像，即第三图像。

在步骤S260，按上述预定比例缩小这一对第三图像的尺寸，得到一对第四图像。

例如，可以将两个摄像机122和124拍摄得到的一对图像(左眼图像和右眼图像)，分别缩小为原尺寸的1/k。

如上所述，水平方向和竖直方向上的缩小比例可以相同，也可以不相同。

然后，在步骤S280，基于离线标定时得到的参数和现场拍摄得到的这一对第四图像来计算深度数据。

由于第四图像的尺寸小于原始拍摄的第三图像，所以可以显著减小深度数据计算的计算量，提升计算速度。另外，还可以显著减少数据存储量，降低存储需求和复杂度。

图3是现场测距时深度数据计算方法的一个实施例的示意性流程图。

在图2所示的步骤S260之后，步骤S280可以通过图3所示的步骤S320和S340来实现。

在步骤320中，对这一对第四图像进行匹配，以获得视差图像。

然后，在步骤S340中，基于视差图像来得到深度图像。

在双目测距方案的匹配过程中，一般需要在左眼图像和右眼图像上分别沿水平方向上逐个像素地移动滑窗，以寻找左眼图像和右眼图像上对应的像素点。如果水平方向上的像素数量为M，M为正整数，在传统算法里，一般是遍历左眼M个像素，对每个左眼像素坐标，在右眼中搜索相同坐标向左的N个坐标，即对比次数是MN。。如果将水平方向上的尺寸缩小为原图像的1/k，水平方向上的像素数量减小为M/k，所要移动的N个坐标也减小为N/k。那么一行的对比次数的大致为MN/k²，运算量降低为原来的1/k²。

可见，通过缩小测距现场图像水平方向上的尺寸，可以显著降低深度计算中双目图像匹配过程中的计算量，显著提升计算速度。

另外，在左眼图像和右眼图像在水平方向上已经对齐的情况下，竖直方向上尺寸缩小为原图像的1/k，相应的行处理运算量可以降低为原来的1/k。

竖直方向上缩小图像尺寸的更大意义在于对数据存储的影响。算法内部要缓存一个多行邻域的滑窗，每减少一行，将节省相当数量的片上缓存。

可见，水平方向上的尺寸缩小对计算量的影响比竖直方向上尺寸缩小的影响更加显著，而竖直方向上的尺寸缩小对于数据存储需求具有显著影响，两者具有不同的意义。因此，可以根据实际需要来分别设定水平方向上的缩小比例和竖直方向上的缩小比例。

例如，水平方向上的第一预定比例可以设定为1/k1，即水平方向上缩小为原来尺寸的1/k1；竖直方向上的第二预定比例可以设定为1/k2，即竖直方向上缩小为原来尺寸的1/k2。可以k2>k1，也可以k2＝k1，或者也可以k2<k1。一些情况下，也可以设置k2＝1，即不改变竖直方向上的尺寸。

图4是现场测距时深度数据计算方法的另一个实施例的示意性流程图。

在步骤S260之后，图3的步骤S320可以通过图4所示的步骤S322和S324来实现。

在步骤S322，使用上述参数对这一对第四图像进行校正，一般而言，可以进行水平校正，以得到一对极线水平同高的第五图像。与人眼图像类比，可以视为极线水平同高的双目图像，即左眼图像和右眼图像。

然后，在步骤S324，对这一对第五图像进行匹配，以获得视差图像。

例如可以使用立体匹配算法来对这一对第五图像进行匹配，以便通过计算获得视差图像。这里，可以使用传统算法。或者，也可以使用神经网络算法。

然后，与图3所示相同，在步骤S340中，基于视差图像得到深度图像。

可以输出与第四图像(缩小图像)相同尺寸的深度图像。或者，也可以输出具有与第三图像(原现场图像)相同尺寸的深度图像。

图5是一种获得原现场图像尺寸的深度图像的方案的示意性流程图。

如图5所示，在步骤S320中通过对第四图像进行匹配得到视差图像之后，可以通过步骤S342和是344来实现图3所示的步骤S340。

在步骤S342，先将步骤S320中获得的视差图像放大，从具有与第四图像相同尺寸的视差图像还原为具有与第三图像相同尺寸的放大视差图像。

然后，在步骤S344，使用基于至少一对第一图像(缩小前的标定图像)获得的双目成像系统参数(例如两个摄像机的原像元尺寸)和放大视差图像，计算得到深度图像。这样得到的深度图像的尺寸与第三图像的尺寸相同。这种情况下，需要分别基于第一图像和第二图像获得双目成像系统的两组参数。

图6是另一种获得原现场图像尺寸的深度图像的方案的示意性流程图。

如图6所示，在步骤S320中通过对第四图像进行匹配得到视差图像之后，可以通过步骤S346和是348来实现图3所示的步骤S340。

在步骤S346，先基于步骤S320中获得的视差图像和对应于上述缩小后的图像的等效像元尺寸，计算得到深度图像。这样得到的深度图像具有与第四图像相同尺寸。这里的等效像元尺寸是步骤S240中确定的参数之一。

然后，在步骤S348，将这个具有与第四图像相同尺寸的深度图像还原为具有与第三图像相同尺寸的放大深度图像。

在图5所示步骤是S342和图6所示步骤S348中，可以采用例如双线性插值等图像放大算法来对视差图像或深度图像进行放大。

例如，下面针对图6所示步骤S348进行描述。

如上文所述，在步骤S220中，第一图像中的多个第一像素被合并为第二图像中的一个第二像素。

同样地，在步骤S260中，第三图像中的多个第三像素被合并为第四图像中的一个第四像素。

在步骤S346中，计算第四图像中每个第四像素的对应的深度数据，从而得到深度图像。

这样，在步骤S348中，可以以第四像素对应的深度值作为该第四像素对应的多个第三像素对应的深度值。

或者，也可以如上所述，基于多个第四像素分别对应的深度值，通过插值算法得到所述多个第三像素对应的深度值，从而将所述深度图像放大。

上面已经参考图2至图6详细描述了根据本发明的双目测距方法。该方法的图像数据处理部分可以通过运行于CPU上的计算机程序来实现，也可以通过FPGA、ASIC等硬件来实现。

下面参考图7至图9描述根据本发明实施例的用于双目测距的装置。

下文中将描述的各装置的操作与上面参考图2-6描述的相应步骤基本相同。具体细节在此不再赘述。

这些装置可以对应于CPU执行的计算机程序的软件模块。另一方面，这些装置也可以是FPGA、ASIC等硬件结构上相应规划设计的硬件和/或逻辑模块。

事实上，由于图像处理涉及的计算量非常大，现有技术中已有很多用于图像处理的硬件加速方案，通过相应的硬件结构来提升处理的速度。

使用FPGA、ASIC等硬件结构来实现图像处理已是本领域公开的技术手段。因此，这里不再详细描述可以如何通过具体的硬件和/或逻辑模块来实现下文中将描述到的各个装置。

图7是根据本发明实施例的用于双目测距的装置的示意性框图。

如图7所述，根据本实施例用于双目测距的装置包括第一缩小装置720、参数确定装置740、第二缩小装置760、深度计算装置780。

第一缩小装置720按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像，至少一对第一图像是由双目成像系统120的两个摄像机122和124分别对预定图案进行拍摄而得到的。

如上文所述，缩小比例可以是在各个方向(例如水平方向和竖直方向)上相同的。

或者，缩小比例也可以是在不同方向上不相同的。例如，预定比例可以包括水平方向上的第一预定比例和竖直方向上的第二预定比例。可选地，第一预定比例可以大于第二预定比例，也可以等于第二预定比例，还可以小于第二预定比例。

参数确定装置740基于至少一对第二图像获得双目成像系统的参数。

参数确定装置740例如可以包括标定装置(图中未示出)，标定装置基于一对第二图像对双目成像系统进行标定，以获得双目成像系统的参数。

第二缩小装置760按预定比例缩小一对第三图像的尺寸，得到一对第四图像，这一对第三图像是由两个摄像机122和124分别对测距现场进行拍摄而得到的。

深度计算装置780基于参数和这一对第四图像计算深度数据。

图8是根据一个实施例的深度计算装置780的示意性框图。

如图8所示，深度计算装置780可以包括图像匹配装置820和深度图像计算装置840。

图像匹配装置820对上述一对第四图像进行匹配，以获得视差图像。

图9是根据一个实施例的图像匹配装置820的示意性框图。

如图9所示，图像匹配装置820可以包括图像校正装置822和匹配装置824。

图像校正装置822使用参数对一对第四图像进行校正，以得到一对极线水平同高的第五图像。

匹配装置824对上述一对第五图像进行匹配，以获得视差图像。

返回图8，深度图像计算装置840基于视差图像计算得到深度图像。

另外，如上所述，可以输出与第四图像(缩小图像)相同尺寸的深度图像。

或者，也可以输出具有与第三图像(原现场图像)相同尺寸的深度图像。

在输出具有与第三图像相同尺寸的深度图像的情况下，深度图像计算装置840可以包括视差图像还原装置(图中未示出)，将具有与第四图像相同尺寸的视差图像还原为具有与第三图像相同尺寸的放大视差图像。这样就可以使用基于至少一对第一图像(缩小前的标定图像)获得的双目成像系统参数(例如两个摄像机的原像元尺寸)和放大视差图像，计算得到深度图像。这样得到的深度图像的尺寸可以与第三图像的尺寸相同。

或者，深度图像计算装置840可以包括深度图像还原装置(图中未示出)。先基于图像匹配装置820得到的视差图像和对应于上述缩小后的图像的等效像元尺寸，计算得到深度图像。这样得到的深度图像具有与第四图像相同尺寸将具有与第四图像相同尺寸的深度图像。这里的等效像元尺寸是参数确定装置740确定的参数之一。然后，深度图像还原装置将这个具有与第四图像相同尺寸的深度图像还原为具有与第三图像相同尺寸的放大深度图像。

至此，已详细描述了根据本发明的双目测距方案。

该双目测距方案基于现有双目测距流程进行改进，且增加的流程主要为图像缩放，部署成本低，升级代价小，利于实施。

而由于在图像处理过程中缩小了原图像尺寸，有效降低了立体匹配步骤的计算复杂度和存储复杂度，而对计算精度的影响相对较小。另外，还可以通过双线性插值等图像放大算法将深度图像恢复成原图像尺寸，实现一定程度的恢复。由此，根据本发明的双目测距方案可以在更低功耗的硬件中进行部署和实施。

此外，如上所述，本发明的双目测距方法的数据处理的各个步骤可以通过FPGA、ASIC等硬件结构的各个硬件和/或逻辑模块来实现，也可以通过CPU执行的软件方法来实现。

在通过软件方法来实现上述数据处理的情况下，根据本发明的方法也可以实现为一种计算机程序，该计算机程序包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。或者，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的上述方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

图10示出了根据本发明一实施例可用于实现上述双目识别方法的数据处理的计算设备的结构示意图。

参见图10，计算设备1000包括存储器1010和处理器1020。

处理器1020可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1020可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1020可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可处理代码，当可处理代码被处理器1020处理时，可以使处理器1020执行上文述及的双目测距方法。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种双目测距方法，包括：

按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像，所述至少一对第一图像是由双目成像系统的两个摄像机分别对预定图案进行拍摄而得到的；

基于所述至少一对第二图像获得所述双目成像系统的参数；

按所述预定比例缩小一对第三图像的尺寸，得到一对第四图像，所述一对第三图像是由所述两个摄像机分别对测距现场进行拍摄而得到的；以及

基于所述参数和所述一对第四图像计算深度数据。

2.根据权利要求1所述的双目测距方法，其中，基于所述参数和所述一对第四图像计算深度数据的步骤包括：

对所述一对第四图像进行匹配，以获得视差图像；以及

基于所述视差图像计算得到深度图像。

3.根据权利要求2所述的双目测距方法，其中，对所述一对第四图像进行匹配的步骤包括：

使用所述参数对所述一对第四图像进行校正，以得到一对极线水平同高的第五图像；以及

对所述一对第五图像进行匹配，以获得所述视差图像。

4.根据权利要求2所述的双目测距方法，其中，基于所述视差图像计算得到深度图像的步骤包括：

将具有与所述第四图像相同尺寸的视差图像还原为具有与所述第三图像相同尺寸的放大视差图像，使用基于所述至少一对第一图像获得的双目成像系统参数和所述放大视差图像，计算得到具有与所述第三图像相同尺寸的深度图像；或者

基于所述视差图像计算得到具有与所述第四图像相同尺寸的深度图像，并将具有与所述第四图像相同尺寸的深度图像还原为具有与所述第三图像相同尺寸的放大深度图像。

5.根据权利要求1至4中任何一项所述的双目测距方法，其中，

所述预定比例包括水平方向上的第一预定比例和竖直方向上的第二预定比例，所述第一预定比例大于或等于或小于所述第二预定比例。

6.根据权利要求1至4中任何一项所述的双目测距方法，其中，基于所述至少一对第二图像获得所述双目成像系统的参数的步骤包括：

基于所述至少一对第二图像对所述双目成像系统进行标定，以获得所述双目成像系统的参数。

7.一种用于双目测距的装置，包括：

第一缩小装置，用于按预定比例缩小至少一对第一图像的尺寸，分别得到至少一对第二图像，所述至少一对第一图像是由双目成像系统的两个摄像机分别对预定图案进行拍摄而得到的；

参数确定装置，用于基于所述至少一对第二图像获得所述双目成像系统的参数；

第二缩小装置，用于按所述预定比例缩小一对第三图像的尺寸，得到一对第四图像，所述一对第三图像是由所述两个摄像机分别对测距现场进行拍摄而得到的；以及

深度计算装置，用于基于所述参数和所述一对第四图像计算深度数据。

8.根据权利要求7所述的装置，其中，所述深度计算装置包括：

图像匹配装置，用于对所述一对第四图像进行匹配，以获得视差图像；以及

深度图像计算装置，用于基于所述视差图像计算得到深度图像。

9.根据权利要求8所述的装置，其中，所述图像匹配装置包括：

图像校正装置，用于使用所述参数对所述一对第四图像进行校正，以得到一对极线水平同高的第五图像；以及

匹配装置，用于对所述一对第五图像进行匹配，以获得所述视差图像。

10.根据权利要求8所述的装置，其中，所述深度图像计算装置包括：

视差图像还原装置，用于将具有与所述第四图像相同尺寸的视差图像还原为具有与所述第三图像相同尺寸的放大视差图像，其中，所述深度图像计算装置使用基于所述至少一对第一图像获得的双目成像系统参数和所述放大视差图像，计算得到具有与所述第三图像相同尺寸的深度图像；或者

深度图像还原装置，用于将基于所述视差图像计算得到具有与所述第四图像相同尺寸的深度图像还原为具有与所述第三图像相同尺寸的放大深度图像。

11.根据权利要求7至10中任何一项所述的装置，其中，

所述预定比例包括水平方向上的第一预定比例和竖直方向上的第二预定比例，所述第一预定比例大于或等于或小于所述第二预定比例。

12.根据权利要求17至10中任何一项所述的装置，其中，参数确定装置包括：

标定装置，用于基于所述一对第二图像对所述双目成像系统进行标定，以获得所述双目成像系统的参数。

13.一种双目测距设备，包括：

双目成像系统，包括按照预定位置关系设置的两个摄像机；

数据处理器，用于基于所述两个摄像机分别拍摄的第三图像进行计算，以得到深度数据，其中，

在标定时，所述两个摄像机分别对预定图案进行拍摄而得到至少一对第一图像，所述数据处理器按预定比例缩小所述至少一对第一图像的尺寸，分别得到至少一对第二图像，并基于所述至少一对第二图像获得所述双目成像系统的参数，

在现场测距时，所述两个摄像机分别对测距现场进行拍摄而得到一对第三图像，所述数据处理器按所述预定比例缩小所述一对第三图像的尺寸，得到一对第四图像，基于所述参数和所述一对第四图像计算深度数据。

14.根据权利要求13所述的双目测距设备，其中，所述数据处理器执行如权利要求1-6中任何一项所述的方法。

15.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任何一项所述的方法。

16.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的方法。