CN103581642A

CN103581642A - 在环校准

Info

Publication number: CN103581642A
Application number: CN201310300758.2A
Authority: CN
Inventors: 黄超; 亚尔金·因杰苏; 皮尔乔治·萨托; 奥利弗·埃德勒; 福尔克尔·弗赖布格
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-08-09
Filing date: 2013-07-17
Publication date: 2014-02-12
Also published as: US20140043447A1

Abstract

本发明涉及在环（in loop）校准，其中包括一种用于重复地校准视差估计处理的方法，所述视差估计处理生成与至少由右图像和左图像组成的3D图像有关的视差估计图，所述方法包括：在水平方向和垂直方向上估计3D图像的左至右图像视差图、在水平方向和垂直方向上估计所述3D图像的右至左图像视差图、基于所述视差图确定在所述左图像和所述右图像之间的未对准值、反馈在对下一3D图像的所述视差图的下一估计中考虑的所述未对准值、以及对所述下一3D图像重复所述方法以重复地校准所述视差估计处理。

Description

在环校准

技术领域

本发明涉及用于重复地校准生成与至少由右图像和左图像组成的3D图像有关的视差估计图的视差估计处理的方法。本发明还涉及视差估计装置和计算机程序。

背景技术

在立体视觉系统（也称3D系统）中，通过估计视差（即，由左图像和右图像组成的图像对中对应像素的位移）能够获得场景中对象的深度信息。称为视差处理的这个处理是立体图像处理的基本步骤。它要求必须在图像对的另一图像中搜索像素或特征。

尽管有二十多年间全世界的研究的努力和成果，但是视差估计仍然是一个非常具有挑战性的题目。一个重要的事实是高计算复杂性，因为捕捉图像对的立体摄像机的左摄像机和右摄像机通常相对彼此不能完美地对齐，结果，不得不搜索整个图像以找出图像对中的对应像素。换言之，如果左摄像机和右摄像机完美地对齐，则能够在另一图像的同一行中搜索到该像素，使得搜索范围能够被限制在图像的一行或一条线内。

为了缩小搜索范围，特别是在垂直方向上的搜索范围以降低计算复杂性，需要进行被称为立体校准的分开的预处理步骤。立体校准计算在左图像与右图像之间的相对朝向。基于该信息，通过摄像机的虚拟旋转和平移来几何地调整左图片与右图片。结果是对应的像素位于同一水平线上以“模拟”完美对齐的立体摄像机。这个处理称为矫正。通常立体校准和矫正一起简化视差估计，这是因为匹配搜索范围从二维(即水平方向和垂直方向)降低为一维(即，只有水平方向)。这个方法的示例在图3中示出。

最普遍的立体校准方法是基于特征的。在这些方法中，一般使用例如哈里斯·科纳（Harris Corner）、SIFT或SURF的特征提取方法来提取特征点。然后，在立体图像对中匹配这些特征。之后，使用极线约束（epipolarconstraint）来估计摄像机的摄像机参数和相对朝向。

从例如US2011/0044531A1、US2011/0188736A1、US2010/0020178A1、US2011/0299761A1或WO2011/093752A1中得知视差估计方法的示例。

基于特征的方法的一个缺点是特征提取和特征匹配计算开销大。一方面，立体校准简化了视差估计，然而，另一方面，立体校准本身也很复杂。

因而，存在对计算复杂性进一步优化的需求。

本文中提供的“背景技术”描述为了整体呈现本公开的背景的目的。在该背景技术部分中描述的范围内的当前署名的发明人的工作以及在提交时不能另外归入现有技术的描述的各方面，既不被明示也不被暗示地承认是针对本发明的现有技术。

发明内容

目的是提供用于校准生成较不复杂的视差估计图的视差估计处理的方法。

此外的目的是提供同样较不复杂的并且因此成本强度较低的视差估计装置。

根据一方面，提供了用于重复地校准产生与至少由右图像和左图像组成的3D图像相关的视差估计图的视差估计处理的方法，该方法包括：

在水平方向和垂直方向上估计3D图像的左至右图像视差图；

在水平方向和垂直方向上估计3D图像的右至左图像视差图；

基于视差图确定在左图像与右图像之间的未对准值；

反馈在对下一3D图像的视差图进行估计时考虑的未对准值；以及

对下一3D图像重复该方法以重复地校准视差估计处理。

根据另一方面，提供的视差估计装置包括：视差估计单元，适用于生成至少由左图像和右图像组成的3D图像的左至右水平视差图和左至右垂直视差图以及右至左水平视差图和右至左垂直视差图；以及校准单元，接收由视差估计单元生成的视差图并且适用于基于视差图来确定表示在左图像和右图像之间的未对准的未对准值，并且将未对准值反馈给视差估计单元。

根据另一方面，提供了一种计算机程序，当在所述处理器上执行所述计算机程序时，该程序代码措施用于使处理器电路执行前述方法的步骤。

在从属权利要求中限定了优选的实施例。应当理解的是，所要求的装置与所要求的计算机程序具有与所要求的方法和在从属权利要求中所定义的相似和/或相同的优选实施方式。

本发明的一方面是使用在水平方向和垂直方向上完成的视差估计的结果来确定或计算在左图像和右图像之间的未对准值。未对准值表示捕捉到左图像和右图像的摄像机的相对摄像机朝向。在本申请的上下文中，未对准值可以表示垂直未对准和/或旋转未对准，并且因而能够包括多于一个的值，例如，n个值的矩阵。未对准值可被视为相对摄像机朝向模型。将该未对准值反馈给视差估计，使得重复地（迭代地）（意思是逐步地）执行立体校准。该重复的立体校准允许将垂直的搜索范围限制在与图像的垂直范围相比较小的值。即使垂直的和/或旋转的未对准大于垂直搜索范围，该未对准也在几个重复步骤之后被补偿。

由于摄像机的未对准不是快速变化的动态处理，所以该重复校准处理取得了非常稳定地结果。

优点之一是不需要特征提取和特征匹配，这降低了立体校准的成本。其基于在对立体摄像机的未对准重复地补偿的反馈环中处理的视差估计，使得视差估计的搜索范围保持最小。

应当理解的是，本发明的前述总体描述和以下详细描述两者均是示例性的而不限制本发明。

附图说明

将容易获得本公开的更完整的理解和其众多伴随的优点，这是因为它们将通过参考以下联系附图来考虑的具体实施方式而变得更好理解。

图1示出了视差估计装置的示意性框图；

图2示出了用于说明重复地校准视差估计图的方法的流程图；以及

图3示出了现有技术方法的示意性框图。

具体实施方式

现在参照附图，其中，相同参考标号表明遍及几个附图的相同或对应的部分，图1示出了视差估计装置10的框图。通常，该视差估计装置被设置为基于左图像和右图图像来估计视差图，该视差图用于进一步的处理组件，例如用于内插图像。

视差估计装置包括接收作为输入的左图像L和右图像R的视差估计单元12，该左图像L和右图像R形成3D图像对。如之前已经提到的，这样的3D图像对由包括通常不完美对齐（例如，在垂直方向上）的左摄像机和右摄像机的立体摄像机拍摄。

视差估计单元12的输出被提供至例如生成内插图像的图像处理单元14。然而，图像处理单元不必是视差估计装置10的一部分。

视差估计装置10进一步包括接收视差估计单元12的输出并且输出未对准值MV的校准单元16。该未对准值MV被提供回视差估计单元12和/或可选地设置的矫正单元18。矫正单元18接收作为输入的3D图图像对（左图像L、右图像R）并且提供作为输出的已矫正的3D图像对L'、R'。在已矫正的3D图图像对L'、R'中，至少部分地补偿了在两个图像之间的未对准。

已矫正的3D图像对提供至视差估计单元12。可选地，如果没有设置矫正单元18，则视差估计单元接收“未矫正的”3D图像对L、R。

如图1中所示，校准单元16在视差估计单元12和矫正单元18的输出、或视差估计单元12之间形成反馈环。

校准单元16至少包括一致性检验单元20、未对准确定单元22和控制单元24。

这些单元20至24串联地耦接使得将一致性检验单元20的输出提供至未对准确定单元22，未对准确定单元22转而将其输出提供至控制单元24。控制单元24提供作为输出的未对准值MV，该未对准值MV取决于是否设置了矫正单元18而提供至矫正单元18或视差估计单元12。

视差估计单元12生成所谓的视差估计图，其中该视差估计图包括左/右图像的各个像素的视差矢量。该视差矢量表示在一个图像中的像素与图像对的另一个图像中的对应像素之间的位移。

在本实施方式中，视差估计单元12生成四个视差估计图，即水平的左至右图像视差图和垂直的左至右图像视差图以及水平的右至左图像视差图和垂直的右至左图像视差图。水平视差图包括表示水平位移的矢量，而垂直视差图包括表示垂直位移的视差矢量。

“左至右”的意思是在右图像中搜索左图像的对应像素。因此，“右至左”指在左图像中搜索右图像的对应像素。

应注意四个视差图的用法仅是示例，并且还可以想到在一个图中结合水平位移和垂直位移，使得水平图和垂直图结合到一个图中。

如已经在以上简要提及的，用于在左图像和右图像中匹配像素的搜索范围在垂直方向上扩展，但被限制在例如±10像素行的预定值。

即，搜索范围可视为扩展到图像的整个水平长度的条形区域，例如，在垂直方向上的±10行。例如，如果待搜索的像素位于一个图像的中心，则该条形搜索范围并且与另一个图像的水平中心线平行并且关于该另一个图像的水平中心线对称地扩展。因此，搜索范围相对于另一个图像的中心像素例如向上扩展10行并且向下扩展10行。假定1280×720像素的图像分辨率，则搜索范围将包括1280×21像素（因此，包括26880个像素），这仅是包括921600个像素的完整图像的一小部分。

左至右水平视差图和左至右垂直视差图以及右至左水平视差图和右至左垂直视差图提供至校准单元16并因此提供至一致性检验单元20。一致性检验单元的主要功能是实现对可靠和不可靠视差矢量的某种视差矢量分类。如果左至右水平视差图和左至右垂直视差图以及右至左水平视差图和右至左垂直视差图中对应像素的矢量是一致的，则视差矢量可靠。换言之，左至右视差图的水平矢量和垂直矢量从左图像指向右图像中的对应像素，而在该像素的右至左视差图中的水平视差矢量和垂直视差矢量指回至左图像中的对应像素。

一致性检验单元终止不可靠的矢量并且仅将视差图的可靠矢量作为输出提供。

有多种找出在左至右视差图和右至左视差图中一致的（即，可靠的）矢量的可想到的解决方案。在本实施方式中，一致性检验单元适用于将右至左水平视差向量和右至左垂直视差向量投射到左视图位置并且将他们与对应的左至右图像视差矢量相比。具有来自两侧（左至右、右至左）的相同水平视差矢量和垂直视差矢量的矢量是一致的并且因此归类为可靠的。

基于可靠的矢量，随后的未对准确定单元22计算表示垂直位移并且可选地表示旋转位移的未对准值。未对准值可以矩阵的形式提供，例如，包含几个单一值的3×3矩阵。

总体而言，未对准确定单元22的功能是基于多个可靠的矢量来计算整体未对准值。

计算未对准的几个可想到的方法之一是基于柱状图的方法。未对准确定单元22分析所有的垂直视差矢量并且创建柱状图，该柱状图显示具有在垂直的搜索范围的极限（此处，±10）之间的垂直值的垂直矢量的个数。

然后，所有可靠的垂直视差矢量的平均值被计算出并且随后用作整体未对准值。可选地，未对准确定单元22还基于视差矢量的梯度场来计算在左图像和右图像之间的旋转。

因此，未对准值提供至随后的单元（即，控制单元24），该未对准值可以包括垂直位移值和旋转位移值。

控制单元24被设置为使所计算的未对准值暂时稳定，从而例如避免未对准值的大的变化或未准值的可能的振荡。例如，控制单元24可以被设计成类似于本领域中已知的基本PI控制器。该PI控制器可以以下列等式描述：

G=K_P×Δ+K_I×∫Δ×dt

其中K_P是比例系数而K_I是积分系数，Δ是实际测量值（PV）距设定点(SP)的误差，因此

Δ=SP–PV.

然后，稳定的未对准值MV被提供至不包括矫正单元18的优选实施方式中的视差估计单元12。

在下一3D图像对的下一视差估计步骤中考虑该未对准值。然后，视差估计单元12能根据所提供的未对准值来调整估计处理。

由校准单元16在反馈环中实现的该重复校准处理允许将垂直未对准重复地调整到正确的值。即便在第一步骤中，垂直未对准在垂直搜索范围之外（例如，±10行），也能在随后的重复步骤之一中找到这个实际的垂直值。由于这个优点，搜索范围能够被限制在例如垂直方向上±10行的值。还可想到的是进一步限制这个值，而唯一的后果是仅能在一些进一步的重复步骤中找到正确的未对准值。然而，为了确保重复的校准处理的有效性并且还为了覆盖在左图像和右图像（即，左摄像机和右摄像机）之间的相对旋转，存在例如±5行的最小垂直搜索范围。

图2示出了形式为流程图的参照以上图1描述的重复校准处理。在第一步骤100中，提供了左图像和右图像。然后，在步骤102中，考虑未对准值来生成视差估计图。

然后，基于视差估计图，在步骤104中实现一致性检验，并且随后在步骤106中基于可靠的视差矢量来确定表示在左图像和右图像之间的未对准的未对准值。

未对准值在步骤108中暂时稳定并且在步骤110中反馈。

然后，基于下一左图像和右图像再次开始计算未对准值的处理。

可选地，在步骤112中使用未对准值来矫正所提供的左图像和右图像，而结果是在步骤102中不必再考虑未对准值。

总之，本公开涉及用于校准视差估计图以补偿摄像机未对准的方法和对应的设备。与现有技术的基于特征的立体校准手段相比，上述方法直接从现有的视差估计的结果提取相对的摄像机朝向，并且因此不需要通常计算开销大的特征提取和特征匹配算法。由于校准反馈环，尽管可能的垂直摄像机未对准值可能大得多，但是能够以在垂直方向上非常小的搜索范围来实现视差估计。即便在开始时垂直未对准在垂直搜索范围之外，重复校准处理也至少在几个重复步骤中将未对准值调整到正确值。

因此，该手段提供了覆盖超出所使用搜索范围的垂直位移的可能性，使得能够通过减小垂直搜索范围来减小硬件成本。

图1中示出的实施方式的各个元件/单元可以实现为软件和/或硬件，例如，实现为分开的或组合的电路。电路是包括常规电路元件、集成电路的电子组件的结构性装配，集成电路包括特定应用集成电路、标准集成电路、特定应用标准产品和现场可编程门阵列。此外，电路包括根据软件代码编程或配置的中央处理单元、图形处理单元以及微处理器。尽管电路包括上述执行软件的硬件，但是电路不包括纯软件。

明显地，根据以上教导，本发明可有多个修改和变型。因此应当理解的是在所附权利要求的范围内，本发明的实践可以与本文中的具体描述不同。

在权利要求中，词语“包括”并不排除其他要素或步骤，并且不定冠词“a”或“an”不排除复数。单个元件或其他单元可实现在权利要求中陈述的几项的功能。在彼此不同的从属权利要求中陈述的特定措施这一事实不表示这些措施的组合不能有利地使用。

在本发明的实施方式被描述为至少部分地由软件控制的数据处理装置实现的范围内，应当理解的是携带该软件的非易失性机器可读介质（诸如，光盘、磁盘、半导体存储器等）也被认为表示本发明的实施方式。此外，该软件还可以以其他形式分配，诸如经由互联网或其他有线或无线的电信系统。

权利要求中任何参考符号均不得被解释为限制范围。

Claims

1.一种用于重复地校准视差估计处理的方法，所述视差估计处理生成与至少由右图像和左图像组成的3D图像相关的视差估计图，所述方法包括：

在水平方向和垂直方向上估计3D图像的左至右图像视差图；

在水平方向和垂直方向上估计所述3D图像的右至左图像视差图；

基于所述视差图确定在所述左图像和所述右图像之间的未对准值；

反馈在对下一3D图像的所述视差图的下一估计中考虑的所述未对准值；以及

对所述下一3D图像重复所述方法以重复地校准所述视差估计处理。

2.根据权利要求1所述的方法，其中，所述未对准值包括表示所述左图像和所述右图像之间的垂直未对准的垂直位移值和/或表示所述左图像与所述右图像之间的旋转的旋转值。

3.根据权利要求1或2所述的方法，其中，确定未对准值包括：

确定所述左至右图像视差图和所述右至左视差图之间的失配；以及

将未被确定为失配的所述视差图的矢量视为可靠的。

4.根据权利要求3所述的方法，其中，确定失配包括：

将右至左视差图的视差矢量投射到所述左至右视差图中的对应左视图位置；

将所述右至左视差矢量和所对应的左至右视差矢量相比；以及

将在所述右至左视差图和所述左至右视差图中具有相同的水平视差值和垂直视差值的视差矢量视为可靠的。

5.根据权利要求1至4中的任一项所述的方法，其中，各个视差图包括垂直视差和水平视差。

6.根据权利要求5所述的方法，其中，所述左至右视差图和所述右至左视差图均包括垂直视差图和水平视差图。

7.根据权利要求3至6中的任一项所述的方法，其中，确定未对准值进一步包括评估可靠矢量以确定在所述左图像和所述右图像之间的整体未对准。

8.根据权利要求7所述的方法，其中，所述评估包括生成所述视差图之一的所述可靠矢量的垂直值的平均值，所述平均值表示垂直未对准值。

9.根据权利要求7或8所述的方法，其中，所述评估包括生成视差图之一的所述可靠矢量的梯度场以提取旋转未对准值。

10.根据权利要求1至9中的任一项所述的方法，其中，所述未对准值在反馈时暂时稳定。

11.根据权利要求1至6中的任一项所述的方法，其中，在估计所述下一3D图像的视差图时考虑所述未对准值，以补偿所述视差图中的所述未对准。

12.根据权利要求1至10中的任一项所述的方法，其中，所述未对准值用于矫正所述下一3D图像的左图像或右图像，从而在估计所述视差图之前补偿所述未对准。

13.根据权利要求1至12中的任一项所述的方法，其中，估计视差图包括使用在垂直方向上扩展并且被限制为比所述图像的垂直尺寸小的预定值的搜索区域。

14.一种视差估计装置，包括：

视差估计单元，适用于生成至少由左图像和右图像组成的3D图像的左至右水平视差图和左至右垂直视差图以及右至左水平视差图和右至左垂直视差图；以及

校准单元，接收由所述视差估计单元生成的所述视差图，并且适用于基于所述视差图来确定表示所述左图像与所述右图像之间的未对准的未对准值并且将所述未对准值反馈给所述视差估计单元。

15.根据权利要求14所述的视差估计装置，包括矫正单元，连接至所述视差估计单元以及校准单元，以接收所述未对准值并且适用于基于所述未对准值来矫正所述3D图像的所述左图像和所述右图像之一以补偿未对准，其中所矫正的3D图像被提供至所述视差估计单元。

16.根据权利要求14或15所述的视差估计装置，其中，所述校准单元包括从所述视差估计单元接收所述视差图并且适用于确定所述视差图中的可靠视差矢量的一致性检验单元。

17.根据权利要求16所述的视差估计装置，其中，所述校准单元包括与所述一致性检验单元耦接并且适用于基于所述可靠视差矢量来确定未对准值的未对准确定单元。

18.根据权利要求17所述的视差估计装置，其中，所述校准单元包括与所述未对准确定单元耦接并且适用于使由所述未对准确定单元提供的所述未对准值暂时稳定的控制单元。

19.一种包括程序代码措施的计算机程序，当在处理器上执行所述计算机程序时，所述程序代码措施用于使所述处理器电路执行如权利要求1至13中任一项要求的所述方法的步骤。