CN105100770B - 立体源图像校准方法和设备 - Google Patents

Abstract

公开了一种立体源图像校准方法和设备。通过图像处理设备实现的图像处理设备和方法基于来自左源图像和右源图像的特征对应信息的垂直坐标值之间的差，通过回归分析产生垂直视差图。通过在经由深度估计对深度信息进行恢复之前对通过图像扭曲的几何差进行校准。因此，可无需执行对相机模型的最优化的处理，并可减少可通过图像旋转引起的黑色区域的出现。

Description

立体源图像校准方法和设备

本申请要求于2014年5月13日提交到韩国知识产权局的第10-2014-0057443号韩国专利申请的权益，其中，所述专利申请的公开通过引用全部合并于此。

技术领域

本公开在此涉及用于校准立体源图像的方法和设备。

背景技术

立体三维(3D)视频图像、多视点3D视频图像或光场3D视频图像可能必须被用于对多视点裸眼3D显示器或光场裸眼3D显示器执行基于真实内容的3D渲染。近年来，很多真实3D视频图像是立体形式的，其中，在立体形式中，图像被划分为左眼图像和右眼图像。对于被广泛用于裸眼3D显示器的多视点产生方法，当输入立体视频图像时，通过深度估计来恢复深度信息，并通过基于恢复的深度图执行基于深度图像的渲染(DIBR)来合成多视点视频图像。

发明内容

提供用于对立体源图像进行校准的方法和设备，其中，所述方法和设备用于在无需执行对相机模型最优化的处理的情况下减少可通过图像旋转引起的黑色区域的出现，其中，所述方法和设备基于包括在左源图像和右源图像的特征对应信息中的垂直坐标值之间的差，通过回归分析来产生垂直视差图，进而对通过图像扭曲的几何差进行校准。

提供用于对立体源图像进行校准的方法和设备，其中，所述方法和设备用于在根据特征对应信息获得特征的位置处的平均值和方差之后，对整个图像执行颜色校准，随后局部地执行直方图匹配，以对局部误差进行校准。

提供用于对立体源图像进行校准的方法和设备，其中，所述方法和设备用于通过使用提取相同的特征并对相同的特征进行匹配而产生的特征对应信息来对几何差和颜色差进行校准。

其它方面将部分地在随后的描述中阐述，并部分地从描述将是清楚的，或者可通过对公开的实施例的实践来获知。

根据本公开的一方面，一种立体源图像校准方法可包括：接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图；通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准。

垂直视差图可基于垂直坐标值之间的差通过回归分析来产生，并统计地表示针对左源图像和右源图像的垂直坐标值之间的差。

对差进行校准的步骤可包括：对左源图像和右源图像中的至少一个源图像执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。

所述立体源图像校准方法还可包括：通过使用特征对应信息对左源图像和右源图像执行光度校准。

执行光度校准的操作可包括：计算左源图像和右源图像在包括在特征对应信息中的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

统计值可包括从针对左源图像和右源图像的彩色图像强度的平均值的算术平均值和几何平均值选择的统计值。

第一颜色校准可包括：对左源图像和右源图像的平均值进行校准以与统计值对应。

统计值可包括从左源图像和右源图像的彩色图像强度的方差值的最小值、最大值、算术平均值和几何平均值选择的统计值。

第一颜色校准可包括：对左源图像和右源图像的方差值进行校准以与统计值对应。

光度校准可在从红蓝绿RGB、CIELab和YCbCr选择的颜色空间中被执行。

多个立体源图像可被顺序地输入。

针对第一立体源图像的差校准和针对第二立体源图像的差校准可被独立地执行。

如果从所述多个立体源图像选择的至少两个立体源图像形成场景，则针对所述至少两个立体源图像的差校准可通过使用相同的垂直视差图被执行。

所述立体源图像校准方法还可包括：执行修描处理以对在校准后的左源图像和右源图像的每个边界附近产生的孔洞区域进行填充。

回归分析可包括线性回归分析、广义线性回归分析、非线性回归分析、核回归分析、非参数回归分析和稳健回归分析。

所述立体源图像校准方法还可包括：在通过使用产生的垂直视差图对左源图像和右源图像之间的差进行校准之后，恢复用于左源图像和右源图像的深度信息。

根据本公开的一方面，一种立体源图像校准设备可包括：特征提取单元(特征提取器)，用于接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；特征匹配单元(特征匹配器)，用于通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；几何校准单元(几何校准器)，用于基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图，并通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准。

垂直视差图可基于垂直坐标值之间的差通过回归分析来产生，并统计地表示针对左源图像和右源图像的垂直坐标值之间的差。

几何校准单元可对从包括左源图像和右源图像的组选择的至少一个源图像执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。

所述立体源图像校准设备还可包括：光度校准单元(光度校准器)，用于对通过使用特征对应信息对左源图像和右源图像执行光度校准。

光度校准单元可包括：第一颜色校准单元(第一颜色校准器)，用于计算左源图像和右源图像在包括在特征对应信息中的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；第二颜色校准单元(第二颜色校准器)，用于通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

统计值可包括从针对左源图像和右源图像的彩色图像强度的平均值的算术平均值和几何平均值选择的统计值。

第一颜色校准单元可对左源图像和右源图像的平均值进行校准以与统计值对应。

统计值可包括从针对左源图像和右源图像的彩色图像强度的方差值的最小值、最大值、算术平均值和几何平均值选择的统计值。

第一颜色校准单元可对左源图像和右源图像的方差值进行校准以与统计值对应。

所述立体源图像校准设备还可包括：修描单元(修描器)，用于对在校准后的左源图像和右源图像的每个边界附近产生的孔洞区域进行填充。

特征提取器可依次接收多个立体源图像的输入，几何校准器可独立地执行针对第一立体源图像的差校准和针对第二立体源图像的差校准。

所述立体源图像校准设备还可包括：深度估计器，用于在几何校准器通过使用产生的垂直视差图对左源图像和右源图像之间的差进行校准之后，恢复用于左源图像和右源图像的深度信息。

根据本公开的一方面，一种立体源图像校准设备可包括：特征提取单元(特征提取器)，用于接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；特征匹配单元(特征匹配器)，用于通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；第一颜色校准单元(第一颜色校准器)，用于计算左源图像和右源图像在来自特征对应信息的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；第二颜色校准单元(第二颜色校准器)，用于通过对经由执行第一颜色校准获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

根据本公开的一方面，一种图像处理设备可包括：立体源图像校准单元(立体源图像校准器)，用于接收立体源图像的输入，分别从来自立体源图像的左源图像和右源图像提取特征，通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息，基于特征对应信息对从包括左源图像和右源图像之间的颜色差和几何差的组选择的至少一个进行校准；深度估计单元(深度估计器)，用于通过对在校准后的左源图像和右源图像中的深度的估计来恢复深度信息；基于深度的渲染单元(基于深度的渲染器)，用于基于恢复的深度信息，产生多视点图像。

根据本公开的一方面，一种存储有计算机程序的非暂时性计算机可读记录介质，其中，当所述计算机程序由计算机执行时，所述计算机程序可执行在此公开的方法中的任何一种方法。

根据本公开的一方面，一种立体源图像校准方法包括：接收左源图像和右源图像的输入，并分别从左源图像和右源图像提取特征；通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；通过选择性地使用产生的特征对应信息来选择性地执行几何校准和光度校准中的一个或两个来对左源图像和右源图像进行校准；在对左源图像和右源图像的校准被执行之后，恢复用于左源图像和右源图像的深度信息。

执行几何校准的操作可包括：基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图；通过使用产生的垂直视差图，对左源图像和右源图像之间的差进行校准；对左源图像和右源图像中的至少一个执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。

当选择性地校准的操作包括执行几何校准和光度校准两者时，可使用在执行几何校准之后获得的左源图像和右源图像来执行光度校准。

执行光度校准的操作可包括：计算左源图像和右源图像在与特征对应信息对应的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

当选择性地校准的操作包括执行几何校准和光度校准两者时，可使用在执行光度校准之后获得的左源图像和右源图像来执行几何校准。

附图说明

通过以下结合附图对实施例的描述，这些和/或其它方面将变得清楚和更容易理解，其中：

图1是根据实施例的图像处理设备的示意图；

图2是根据实施例的图1中示出的源图像校准单元的框图；

图3是在图2中示出的几何校准单元的示意性框图；

图4、图5、图6A和图6B示出根据实施例的用于解释几何校准的示例；

图7是根据另一实施例的图1中示出的源图像校准单元的框图；

图8是根据实施例的图7中示出的光度校准单元的框图；

图9A和图9B示出根据实施例的用于解释光度校准的示例；

图10是根据另一实施例的图1中示出的源图像校准单元的框图；

图11是根据另一实施例的图1中示出的源图像校准单元的框图；

图12A和图12B示出由图1中示出的修描(in-painting)单元执行的修描处理的示例；

图13是根据另一实施例的源图像校准方法的流程图。

具体实施方式

现在将详细描述实施例，其示例在附图中被示出，其中，相同的标号始终指示相同的元件。关于这方面，公开的实施例可具有不同的形式，并且不应被解释为受限于在此阐述的描述。由此，以下通过参照附图仅描述实施例以解释本公开的多个方面。如在此使用的，术语“和/或”包括相关联的列出项中的一项或更多项的任意组合和所有组合。当诸如“…中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素，而非修饰所述列中的单个元素。

虽然特定实施例将为了解释的目的在示图中示出并在书面描述中进行了详细的描述，但是公开的实施例将允许对它们的各种改变和修改。然而，这并非意图将实施例的范围限制在实践的特定模式，将理解，不脱离公开的实施例的精神和技术范围的情况下的所有改变、等同形式和替代形式包含在内。在对实施例的描述中，当认为对现有技术的某些详细的解释会不必要地模糊实施例的本质时，将省略它们。

当诸如“第一”、“第二”等的术语可被用于描述各种组件时，这些组件必须不限于以上术语。以上术语仅用于将一个组件与另一个组件区分开。

在本公开中使用的术语仅用于描述公开的实施例，并不意图限制实施例。除非在上下文中有清楚的不同含义，否则单数形式的表述包含复数形式的表述。在本申请文件中，将理解，诸如“包括”、“具有”等的术语意图指示存在申请文件中公开的特征、数量、步骤、作用、操作、组件、部件和它们的组合，并非意图排除可能存在或可能增加一个或更多个其它特征、数量、步骤、作用、操作、组件、部件和它们的组合的可能性。

在下文中，将参照附图更充分地描述示例实施例，其中，在附图中示出了本公开的示例性实施例。由于在附图中相同或同样的标号表示同样的元件，所以在对它们的描述可能是多余的一些示例中，将省略对它们的描述。

图1是根据实施例的图像处理设备100的示意图。

参照图1，图像处理单元100可包括源图像校准单元110、深度估计单元120和基于深度的渲染单元130，其中，源图像校准单元110接收立体源图像的输入，并对左源图像与右源图像之间的颜色差或几何差进行校准。图像处理设备100可以是多视点图像产生设备或光场三维(3D)视频设备，并可包括裸眼3D显示设备。图像处理设备100可接收立体源输入图像的输入，并使用深度估计单元120通过深度估计算法来恢复深度信息。随后，图像处理设备100可基于恢复的深度信息或深度图使用基于深度的渲染单元130来执行基于深度的渲染，因此，输出多视点图像。立体源图像可以是图像被划分为左眼图像和右眼图像的立体形式。

根据深度估计算法，假设如果在左眼图像和右图图像中出现特定3D点，则特定3D点被置于左眼图像和右眼图像中相同的垂直坐标中。换言之，深度估计算法可包括几何约束条件或外极线约束条件。由此，执行深度估计算法来仅在垂直方向上搜索特定3D点。此外，根据深度估计算法，假设光度约束条件或朗伯约束条件(也就是说，假设左源图像的颜色信息与右源图像的颜色信息匹配)。具体地，如果几何假设和光度假设/朗伯假设中的一个或更多个假设是无效的，则在深度估计中会发生误差。

在真实的图像中，存在很多当几何假设或光度假设无效时的情况。引起这种假设无效的原因会发生改变，例如，两个相机之间的变焦比的差异、内倾的程度的差异、曝光时间的差异等。通过消除所有的原因并完全遵守这些假设来捕捉图像并不容易。由于存在很多以下的情况，因此难以估计用于捕捉图像的相机配置：当在立体电影的情况下意图执行内倾操作以将3D效果最大化的情况时的情况、当在真实图像的情况下在不执行精准校准处理的情况下捕捉图像时的情况。

在实施例中，图像处理设备100可接收立体源图像的输入，并执行以下公开的各种操作，以预防与由上述常规的深度估计算法假设的几何假设和光度假设相关联的误差。例如，图像处理设备100可分别从输入的左源图像和右源图像提取特征，通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息，并基于特征对应信息对左源图像和右源图像之间的颜色差和几何差中的至少一个进行校准。

图像处理设备100可基于特征执行简单且稳健的校准，因此可在执行深度估计处理之前对立体源图像进行校准。可基于特征对应信息，在无需执行对相机模型进行最优化的处理的情况下通过产生垂直视差图，并通过各种回归分析统计地产生视差图来执行几何校准。在产生垂直视差图之后，通过在图像扭曲中反映垂直视差图来执行图像扭曲。可通过在获得特定位置的均值或方差之后从全局视点对图像进行校准并通过直方图匹配对局部颜色误差进行校准来执行几何校准。由此，由于在校准的图像中几何误差或颜色误差的量非常少，所以更容易执行深度估计并可能导致更少的误差。合成的多视点图像按照来自几何视点或光度视点的帧内视点(intra-view)和帧间视点(inter-view)。

在下文中，详细地对立体源图像校准的各种实施例进行描述。

图2是根据实施例的在图1中被示出为源图像校准单元110的源图像校准单元200的框图。图3是在图2中示出的几何校准单元230的示意性框图。在下文中，对源图像校准单元200进行描述。

参照图2和图3，源图像校准单元200可包括特征提取单元210、特征匹配单元220和几何校准单元230。几何校准单元230可包括垂直视差图计算单元231和偏移单元232。根据实施例，可对例如黑白图像或彩色图像执行特征提取和匹配。

特征提取单元210可接收立体源图像的输入，并分别从左源图像和右源图像提取特征。如图4中的左眼图像和右眼图像以及图5中的左眼图像和右眼图像中所示，可分别从左眼图像和右眼图像提取特征。如图5中所示，可同时提取与拐角区域、边缘区域和对象区域对应的特征点以及特征点的位置的信息。可通过使用本领域普通技术人员公知的各种特征提取算法(尺度不变特征变换(SIFT)、加速稳健特征(SURF)等)来执行特征点的提取，但不限于此。此外，可从每个图像的各个部分提取足够数量的特征使得这些特征在随后的统计分析中是显著的，并且这些特征可从每个图像的各个部分被提取。提取的特征可包括特征的位置的信息，例如，特征向量。所述特征可被顺序地提取(首先从左源图像提取随后从右源图像提取，反之亦然)，或被并行地被提取(例如，同时从左图和右图提取特征)。

特征匹配单元220可通过将由特征提取单元210提取的特征相互匹配来产生特征对应信息。

如图5中所示，从左眼图像提取的特征和从右眼图像提取的特征可基于各自的特征信息被相互匹配，并可产生特征对应信息。换言之，可采用提取的特征和关于特征的位置的信息(诸如，颜色信息或位置信息)，以增强用于基于提取的特征执行几何校准或光度校准的统计分析的可靠性。由此，可通过使用特征对应信息来消除会使统计分析失真的因素，其中，该因素可包括当不存在左对应点和右对应点时的情况(例如，当在左眼图像中存在的点在右眼图像中不存在时)。

几何校准单元230可基于包括在由特征匹配单元220产生的特征对应信息中的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图，随后可通过使用产生的垂直视差图对左源图像与右源图像之间的差进行校准。

垂直视差图计算单元231可基于包括在特征对应信息中的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图。可通过分析从特征对应信息获得的垂直坐标值之间的差来计算在左源图像与右源图像之间的几何误差的分布形式。可通过使用用于分析差的回归分析来产生垂直视差图，其中，所述垂直视差图统计地表示分布在各个位置中的特征的垂直误差。特征对应信息可包括关于在特征的位置处的在左源图像和右源图像中分别彼此对应的特征之间的垂直方向上的差的信息。关于垂直方向上的差的信息可被定义为垂直坐标值之间的差。由此，通过回归分析，基于特征对应信息中的坐标值来统计地分析在整个左源图像和右源图像中的坐标值之间的差。回归分析可包括线性回归分析、广义线性回归分析、非线性回归分析、核回归分析、非参数回归分析或稳健回归分析，但不限于此。

偏移单元232可通过使用产生的垂直视差图，对左源图像与右源图像之间的差进行校准。为了消除左源图像与右源图像之间的垂直方向上的差，左源图像可保留在初始状态下，可对右源图像的每个像素执行垂直方向上的偏移。可选地，右源图像可保留在初始状态下，可对左源图像的每个像素执行垂直方向偏移。此外，可通过将偏移量分为左眼图像和右眼图像两部分来执行垂直方向上的偏移以使视点内误差最少化。执行偏移的位置会随左源图像和右源图像的每个像素而变化，可理解，偏移、移动或扭曲具有相同含义。

参照图6A，左源图像中沿水平线600的眼睛的位置与右源图像中沿水平线600的眼睛的位置不匹配。换言之，在这种情况下，在左源图像与右源图像之间存在垂直方向上的差。

在实施例中，通过执行几何校准来对左源图像与右源图像之间的垂直方向上的差进行校准，减小在执行校准之后获得的左源图像和右源图像中的差异。例如，参照图6B，左图中沿水平线610的眼睛的位置与右图中沿水平线610的眼睛的位置匹配。

参照图6A中示出的左源图像和右源图像，基于特征对应信息，通过回归分析来分析整个左源图像与右源图像之间的垂直视差图。随后，对左源图像、右源图像或与垂直方向上的差对应的左源图像和右源图像执行偏移，以例如图6B中所示消除垂直方向上的差。

图7是根据实施例的在图1中被示出为源图像校准单元110的源图像校准单元700的框图。图8是根据实施例的在图7中被示出为光度校准单元730的光度校准单元830的框图。在下文中，描述源图像校对单元700。

参照图7，源图像校准单元700可包括特征提取单元710、特征匹配单元720和光度校准单元730。

参照图2和图3中示出的特征提取单元210和特征匹配单元220来对特征提取单元710和特征匹配单元720进行描述。因此，为了简洁起见，将不重复对特征提取单元710和特征匹配单元720的操作的详细描述。在下文中，描述光度校准单元730。

光度校准单元730可通过使用通过特征提取单元710和特征匹配单元720产生的特征对应信息来对左源图像和右源图像执行光度校准。根据实施例，光度校准可大体上被分类为用于对全局误差进行校准的第一颜色校准和用于对局部误差进行校准的第二颜色校准。参照图8，描述光度校准单元830。

光度校准单元830可包括第一颜色校准单元831和第二颜色校准单元832，其中，第一颜色校准单元831可包括光度统计值计算单元831-1和校准单元831-2。

光度统计值计算单元831-1可计算左源图像和右源图像在包括在特征对应信息中的位置处的统计值。校准单元831-2可基于由光度统计值计算单元831-1计算的统计值，对左源图像和/或右源图像执行第一颜色校准。

第二颜色校准单元832可通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

第一颜色校准单元831可分析关于初始输入图像在提取的特征的位置的颜色统计来分析统计特性。换言之，可通过计算出特征的位置处的颜色特性而非整个图像的颜色特性来解决发生失真的问题，其中，该问题是指当不存在左对应点和右对应点(例如，在左源图像中存在的部分在右源图像中不存在)时发生失真的问题。由此，可基于高度可靠的特征对应信息来采用各种统计值。例如，针对红绿蓝(RGB)颜色空间中的每个通道，可分析左源图像在特征的位置处的彩色图像强度的均值或方差。可选地，可分析右源图像在特征的位置处的彩色图像强度的均值或方差。在均值的情况下，可通过获得针对分别从左源图像和右源图像获得的平均值的算术平均值或几何平均值，并定义颜色分布的新的平均值，来计算统计值。在方差的情况下，可通过使用针对分别从左源图像和右源图像获得的方差的最小值、最大值、算术平均值、几何平均值等来计算统计值。例如，当使用方差的最大值时，降低了图像的对比度，当使用方差的最小值时，提高了图像的对比度。通过对左源图像和右源图像进行校准以遵守基于以下信息定义的统计值，左源图像和右源图像中的颜色特性可相互匹配，其中，该信息通过使用左源图像和右源图像的颜色特性(例如，平均值或方差)识别。已针对RGB颜色空间对颜色校准进行了描述。然而，实施例不限于此，可在可包括例如CIELab或YCbCr的各种颜色空间中执行颜色校准。

参照图9A，左源图像中的建筑物900的颜色和右源图像中建筑物910的颜色相互不同。随后，可理解，根据实施例，作为通过第一颜色校准将建筑物900的颜色特性与建筑物910的颜色特性相互匹配的结果，建筑物900的颜色变得与建筑物910的颜色相同。可选地，将理解，根据可选实施例，作为通过第一颜色校准将建筑物900的颜色特性与建筑物910的颜色特性相互匹配的结果，建筑物910的颜色可变得与建筑物900的颜色相同。

第二颜色校准单元832可对通过执行第一颜色校准获得的左源图像和右源图像执行直方图匹配。通过使用直方图匹配执行的第二颜色校准是为了补偿对即使在基于左源图像和右源图像的特征对应信息根据统计分析执行了第一颜色校准之后可能还会发生的局部颜色误差进行校准的不足。

可通过基于彩色图像强度产生针对左源图像和右源图像的直方图并对颜色进行校准来执行直方图匹配，使得左源图像的每个直方图柱状体(bin)的高度与右源图像的直方图柱状体的高度相同。

图10是根据实施例的在图1中被示出为源图像校准单元110的源图像校准单元1000的框图。根据另一实施例，对源图像校准单元1000进行描述。

参照图10，源图像校准单元1000可包括特征提取单元1010、特征匹配单元1020、几何校准单元1030、光度校准单元1040和修描单元1050。针对输入的立体源图像，源图像校准单元1000可分别从左源图像和右源图像提取特征，并通过将提取的特征相互匹配来产生特征对应信息。产生的特征对应信息可被分别输入到几何校准单元1030和光度校准单元1040。几何校准单元1030可基于包括在特征对应信息中的垂直坐标值之间的差来产生针对左源图像和右源图像的垂直视差图，并通过使用产生的垂直视差图对左源图像和右源图像之间的差进行校准。光度校准单元1040可接收在由几何校准单元1030校准了几何差之后获得的左源图像和右源图像的输入，通过使用由特征匹配单元1020输入的特征对应信息对在几何差被校准之后获得的左源图像和右源图像执行颜色校准，随后输出校准后的立体源图像。

在实施例中，由于在无需执行典型的几何校准所需的旋转操作的情况下执行源图像校准，所以在产生的图像中黑色区域或丢失区域比较小。此外，由于用于几何校准的特征对在执行光度校准时被重新使用，所以在光度校准之前的处理(即，特征提取和特征匹配的处理)可仅执行一次。因此，可减少计算时间。此外，由于使用相同的特征，所以可通过提高特征提取和特征匹配的性能同时提高几何差和颜色差的性能。

为了额外地对黑色区域执行修描处理，修描单元1050可在光度校准被执行之后在校准的左源图像和右源图像的边界区域中对空白区进行填充。

如果将连续的多个源图像输入到图10中示出的源图像校准单元1000，则可针对每个图像帧，独立地执行几何校准和光度校准。此外，可通过使用针对每个场景改变(例如，针对包括相同场景的多个帧)的相同的特征对应信息、垂直视差图和统计值来执行几何校准和光度校准，以选择性地减少闪烁(flicker)。

图11是根据实施例的在如图1中被示出为源图像校准单元110的源图像校准单元1100的框图。

参照图11，源图像校准单元1100可包括特征提取单元1110、特征匹配单元1120、光度校准单元1130、几何校准单元1040和修描单元1150。针对输入的立体源图像，包括在源图像校准单元1100的特征提取单元1110和特征匹配单元1120可分别从左源图像和右源图像提取特征，并通过将提取的特征相互匹配来产生特征对应信息。产生的特征对应信息可被分别输入到光度校准单元1130和几何校准单元1140。光度校准单元1130可接收左源图像和右源图像的输入，并通过使用由特征提取单元1130输入的特征对应信息来对颜色差进行校准。几何校准单元1140可接收已经由光度校准单元1130校准后的左源图像和右源图像的输入，并基于包括在由特征匹配单元1120提供的特征对应信息中的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图。随后，几何校准单元1140可通过使用产生的垂直视差图对左源图像和右源图像之间的几何差进行校准。

修描单元1150可接收在由几何校准单元1140对几何差进行校准之后获得的左源图像和右源图像的输入，并对左源图像和右源图像的每个边界附近的空白区域进行填充。

如图12A中所示，作为针对左源图像和右源图像的典型的几何校准的结果，在校准(诸如，左源图像和右源图像的旋转)之后出现多个黑色区域。然而，与图12A中示出的黑色区域相反，由于通过使用公开的实施例中的几何校准来执行垂直方向上的图像扭曲，所以如图12B中所示，未出现多个黑色区域1200。此外，可通过在几何校准之后执行对空白区进行填充的修描处理来消除在右源图像的边界区域附近出现的黑色区域1200。

图13是根据实施例的源图像校准方法的流程图。

参照图13，在操作1300，输入立体源图像。

在操作1302，可从左源图像和右源图像提取特征。例如，可将与边界区域、边缘区域和对象区域对应的特征点和特征点的位置的信息提取为特征。可通过使用各种特征提取算法(例如，尺度不变特征变换(SIFT)、快速稳健特征(SURF)等)来执行对特征的提取，但不限于此。此外，可从每个图像的各个部分提取足够数量的特征，使得这些特征在随后的统计分析中是显著的，并且这些特征可从每个图像的各个部分被提取。提取的特征可包括关于特征的位置的信息，例如，特征向量。

在操作1304，可通过将提取的特征相互匹配来产生特征对应信息。例如，从左眼图像提取的特征和从右眼图像提取的特征基于各自的特征信息相互匹配，并产生特征对应信息。由此，可通过使用特征对应信息来消除会使统计分析失真的因素，其中，该因素可包括当不存在左对应点和右对应点时的情况(例如，当在左眼图像中存在的点在右眼图像中不存在时)。

在操作1306，可基于包括在特征对应信息中的垂直坐标值之间的差，产生垂直视差图。

在操作1308，可通过使用产生的垂直视差图来对左源图像与右源图像之间的差进行校准。在操作1306和操作1308，基于从左源图像和右源图像产生的特征对应信息，执行对几何差进行校准的处理。通过回归分析基于特征对应信息对整个左源图像和右源图像之间的垂直视差图进行分析来执行几何差校准或几何校准。随后，对与垂直方向上的差对应的左源图像、右源图像、或左源图像和右源图像执行偏移，以消除垂直方向上的差。

在操作1310，可通过使用在操作1304产生的特征对应信息来执行左源图像和右源图像的光度校准。在操作1310，执行对左源和右源执行颜色校准或几何校准的处理，其中，所述左源和所述右源在操作1306和操作1308对几何差进行校准之后被获得。通过使用在操作1304产生的特征对应信息来执行光度校准。针对光度校准，通过执行以下操作来同时执行全局颜色校准和局部颜色校准：计算左源图像和右源图像在包括在特征对应信息中的位置处的统计值，基于计算出的统计值对左源图像和右源图像执行第一颜色校准，并通过对经由执行第一颜色校准获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

在图13中，可顺序地执行在操作1306和操作1308执行的几何校准以及在操作1310执行的光度校准。然而，本领域技术人员将理解，可独立地执行几何校准和光度校准。可在执行光度校准之后执行几何校准，而不是在执行几何校准之后执行光度校准。此外，可在执行几何校准之后额外地执行修描处理。可在执行光度校准之后(例如，在操作1310之后)额外地执行修描处理。此外，虽然没有在图13中示出，但是在左源图像和右源图像已进行几何校准和/或光度校准之后，可使用深度估计单元120通过深度估计算法来恢复左源图像和右源图像的深度信息。基于恢复出的深度信息或深度图，可使用基于深度的渲染单元130执行基于深度的渲染，因此可将多视图图像输出到例如显示器。

在上述实施例中，通过使用用于对立体源图像进行校准的方法和设备，可基于特征对简单且稳健的立体源图像进行校准，因此可在执行深度估计之前对立体源图像进行校准。可同时、顺序地或选择性地采用上述的几何校准和光度校准。可通过使用经过提取相同的特征并对相同的特征进行匹配而产生的特征对应信息来同时采用几何校准和光度校准。例如，可控制图像处理单元的源图像校准单元110对左源图像和右源图像仅执行几何校准、对左源图像和右源图像仅执行光度校准、在对左源图像和右源图像执行光度校准之前对左源图像和右源图像执行几何校准、或者在对左源图像和右源图像执行几何校准之前对左源图像和右源图像执行光度校准。也就是说，可选择性地操作图像处理单元的源图像校准单元110以在执行几何校准和光度校准之间进行改变或切换，和根据需要或期望以任何特定顺序在执行集合校准和光度校准之间进行改变或切换。因此，例如，图像处理单元的源图像校准单元110可被实现为用于一组左源图像和右源图像的源图像校准单元1000，并可接下来被实现为用于另一组左源图像和右源图像的源图像校准单元1100。

通过以下操作来执行光度校准：基于包括在特征对应信息中的垂直坐标之间的差通过回归分析来产生垂直视差图，并通过图像扭曲来对几何差进行校准。由此，无需执行对相机模型最优化的处理，并可减少由于图像旋转会出现的黑色区域的出现。此外，光度校准还通过执行以下操作来对局部误差进行校准：根据特征对应信息获得特定位置处的平均值或方差，针对整个图像执行颜色校准，随后局部地执行直方图匹配。

在公开的实施例中，如果同时执行几何校准和光度校准，则由于在校准的图像中几何颜色误差的量可能非常少，所以可容易执行深度估计。通过几何校准和光度校准合成的多视点图像可按照帧内视点或帧间视点。

如上所述，根据以上公开的实施例中的一个或更多个实施例，可基于特征对立体源图像进行简单且稳健的校准，因此，可在执行深度估计之前对立体源图像进行校准。

在此描述的设备和方法可通过使用一个或更多个处理器、用于存储程序数据和执行程序数据的至少一个存储器、永久性存贮器(诸如硬盘驱动器)、用于操纵与外部装置进行通信的通信端口和用户接口装置(包括显示器、按键等)来实现。当涉及软件模块时，这些软件模块可作为可在处理器上执行的程序指令或计算机可读代码被存储在计算机可读介质(诸如，只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储装置)上。计算机可读记录介质也可分布在联网的计算机系统上，使得可以以分布方式来存储并执行计算机可读代码。所述介质可由计算机来读取，存储在至少一个存储器中，并由处理器执行。

例如，处理器或处理装置可使用一个或更多个通用计算机或专用计算机来实现，并可包括例如以下项中的中的一项或更多项：处理器、控制器和算术逻辑单元、中央处理器(CPU)、图形处理器(GPU)、图像处理器、数字信号处理器(DSP)、微计算器、现场可编程阵列、可编程逻辑单元、专用集成电路(ASIC)、微处理器或能够以定义的方式对指令进行响应并执行指令的任何其它装置。

可在功能块组件和各种处理步骤方面描述实施例。这样的功能块可通过被配置为执行特定功能的任意数量的硬件和/或软件组件来实现。例如，实施例可采用在一个或更多个微处理器或其它控制装置的控制下可执行各种功能的各种集成电路组件(例如，存储器元件、处理元件、逻辑元件、查找表等)。类似地，在本公开的元件使用软件编程或软件元素来实现时，本公开可利用任意编程语言或脚本语言(诸如C、C++、JAVA、汇编程序等)使用各种算法来实现，其中，所述各种算法利用数据结构、对象、处理、例程或其它编程元素的任意组合来实现。功能方面可按照在一个或更多个处理器上执行的算法来实现。此外，实施例可采用用于电子配置、信号处理和/或信号控制、数据处理等的任意数量的传统技术。词语“机制”和“元件”被宽泛地使用而不限于机械或物理的实施例，并且可包括与处理器等结合的软件例程。

在此使用的术语“模块”和“单元”可指示但不限于软件或硬件组件/装置，诸如，执行特定任务的现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块或单元可被配置为驻留在可寻址存储介质上并被配置为在一个或者更多个处理器上执行。因此，作为示例，模块或单元可包括组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、进程、函数、属性、程序、子程序、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。可将在组件和模块/单元中提供的功能组合为更少的组件和模块/单元，或进一步被分成另外的组件和模块。

在此示出并描述的特定实施例是实施例的示意性示例，并不意图以任何方式另外地限制技术的范围。为了简洁起见，可不详细描述传统的电子器件、控制系统、软件开发和系统的其它功能方面(和所述系统的各个操作组件的组件)。此外，在所呈现的各附图中示出的连接线或连接器意图表示各元件之间的示例性功能关系和/或物理或逻辑连接。应注意，在实际装置中可存在许多可选的或另外的功能关系、物理连接或逻辑连接。

在描述实施例的语境(尤其是权利要求的语境)中使用的术语和类似的指代将被理解为涵盖单数和复数两者。此外，除非在此另有指示，否则在此引用的数值范围仅仅意图用作分别指示落入所述范围的每个单独的数值的快捷方法，并且每个单独的数值被合并到说明书中，如同每个单独的数值被分别地引用于此。最终，除非在此另有指示或者与上下文明显矛盾，否则在此描述的所有方法的步骤可按照任何合适的顺序执行。除非另有声明，否则在此提供的任何和全部示例或示例性语言(例如，“诸如”)仅仅意图更好地阐明本公开，并且并不构成对本公开的范围的限制。此外，本领域的普通技术人员将理解，可根据在权利要求或等同物的范围内的设计条件和因素产生各种修改、组合和改变。

此外，本公开的其它实施例也可通过介质(例如，计算机可读介质(例如，非暂时性计算机可读介质))上的计算机可读代码/指令来实现，以控制至少一个处理元件实现任何上述实施例。所述介质可与允许计算机可读代码的存贮和/或传输的任何介质/媒介对应。所述介质也可单独地或与所述程序指令组合地包括数据文件、数据结构等。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光介质(诸如CD ROM盘和DVD)、磁光介质(诸如光盘)和专门被配置用于存储并执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存、USB存储器等)。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器来执行的更高级代码的文件两者。程序指令可由一个或更多个处理器执行。所描述的硬件装置可被配置用于充当一个或更多个软件模块，以执行上述实施例的操作，或者反之亦然。此外，非暂时性计算机可读存储介质可分布在通过网络连接的计算机系统之间，并且可以以分散的方式来存储并执行计算机可读代码或程序指令。此外，非暂时性计算机可读存储介质也可在至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中实现。

可以以不同的方式在介质上记录/传送计算机可读代码，其中，所述介质的示例包括：记录介质(诸如磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD))和传输介质(诸如，互联网传输介质)。因此，所述介质可以是包括或携带信号或信息的这种被限定并可测量的结构，诸如，根据本公开的一个或更多个的承载比特流的装置。所述介质还可以是分布式网络，使得计算机可读代码以分布方式被存储/传输和执行。此外，处理元件可包括处理器或计算机处理器，并且处理元件可分布并/或包括在单个装置中。

流程图说明中的每个块可表示包括用于实现特定逻辑功能的一个或更多个可执行指令的单元、模块、段或部分代码。还应注意，在某些可选实施方案中，块中记录的功能可不按顺序发生。例如，根据涉及的功能，连续示出的两个块可实际上大体同时地(同时)被执行，或有时所述块可以以相反顺序被执行。

应理解，在此描述的示例性实施例应被认为仅是描述意义，而不是为了限制的目的。每个实施例内的特征或方面的描述通常应被认为可用于其它实施例中的其它相似特征或方面。

虽然已经参照附图描述了本公开的一个或更多个实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本公开的精神和范围的情况下，可对所述实施例进行形式和细节上的各种改变。

Claims (20)

1.一种立体源图像校准方法，包括：

接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；

通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；

基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图；

通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准；

通过使用特征对应信息对左源图像和右源图像执行光度校准，

其中，执行光度校准的操作包括：

计算左源图像和右源图像在与特征对应信息对应的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；

通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

2.如权利要求1所述的立体源图像校准方法，其中，垂直视差图基于垂直坐标值之间的差通过回归分析来产生，并统计地表示针对左源图像和右源图像的垂直坐标值之间的差。

3.如权利要求1所述的立体源图像校准方法，其中，对所述差进行校准的步骤包括：对左源图像和右源图像中的至少一个源图像执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。

4.如权利要求1所述的立体源图像校准方法，其中，统计值包括从针对左源图像和右源图像的彩色图像强度的平均值的算术平均值和几何平均值选择的统计值，

第一颜色校准包括：对左源图像和右源图像的平均值进行校准以与统计值对应。

5.如权利要求1所述的立体源图像校准方法，其中，统计值包括从左源图像和右源图像的彩色图像强度的方差值的最小值、最大值、算术平均值和几何平均值选择的统计值，

第一颜色校准包括：对左源图像和右源图像的方差值进行校准以与统计值对应。

6.如权利要求1所述的立体源图像校准方法，其中，光度校准在从RGB、CIELab和YCbCr选择的颜色空间中被执行。

7.如权利要求1所述的立体源图像校准方法，其中，多个立体源图像被顺序地输入。

8.如权利要求7所述的立体源图像校准方法，其中，针对第一立体源图像的差校准和针对第二立体源图像的差校准被独立地执行。

9.如权利要求7所述的立体源图像校准方法，其中，当所述多个立体源图像之中的至少两个立体源图像形成场景时，针对所述至少两个立体源图像的差校准通过使用相同的垂直视差图被执行。

10.如权利要求1所述的立体源图像校准方法，还包括：执行修描处理，其中，所述修描处理用于对在校准后的左源图像和右源图像的每个边界附近产生的孔洞区域进行填充。

11.如权利要求2所述的立体源图像校准方法，其中，回归分析包括从以下项选择的一个回归分析：线性回归分析、广义线性回归分析、非线性回归分析、核回归分析、非参数回归分析和稳健回归分析。

12.一种立体源图像校准设备，包括：

特征提取器，用于接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；

特征匹配器，用于通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；

几何校准器，用于基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图，并通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准；

光度校准器，用于通过使用特征对应信息对左源图像和右源图像执行光度校准，

其中，光度校准器包括：

第一颜色校准器，用于计算左源图像和右源图像在与特征对应信息对应的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准，

第二颜色校准器，用于通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

13.如权利要求12所述的立体源图像校准设备，其中，垂直视差图基于垂直坐标值之间的差通过回归分析来产生，并统计地表示针对左源图像和右源图像的垂直坐标值之间的差。

14.如权利要求12所述的立体源图像校准设备，其中，几何校准器对左源图像和右源图像中的至少一个源图像执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。

15.如权利要求12所述的立体源图像校准设备，其中，统计值包括从针对左源图像和右源图像的彩色图像强度的平均值的算术平均值和几何平均值选择的统计值，

第一颜色校准器对左源图像和右源图像的平均值进行校准以与统计值对应。

16.如权利要求12所述的立体源图像校准设备，其中，统计值包括从针对左源图像和右源图像的彩色图像强度的方差值的最小值、最大值、算术平均值和几何平均值选择的统计值，

第一颜色校准器对左源图像和右源图像的方差值进行校准以与统计值对应。

17.如权利要求12所述的立体源图像校准设备，还包括：修描器，用于对在校准后的左源图像和右源图像的每个边界附近产生的孔洞区域进行填充。

18.如权利要求12所述的立体源图像校准设备，其中，特征提取器顺序接收多个立体源图像的输入，几何校准器独立地执行针对第一立体源图像的差校准和针对第二立体源图像的差校准。

19.一种立体源图像校准设备，包括：

特征提取器，用于接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；

特征匹配器，用于通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；

第一颜色校准器，用于计算左源图像和右源图像在来自特征对应信息的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；

第二颜色校准器，用于通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。

20.一种图像处理设备，包括：

立体源图像校准器，用于接收立体源图像的输入，分别从来自立体源图像的左源图像和右源图像提取特征，通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息，基于特征对应信息对左源图像和右源图像之间的颜色差和几何差中的至少一个进行校准；

深度估计器，用于通过对在校准后的左源图像和右源图像中的深度的估计来恢复深度信息；

基于深度的渲染器，基于恢复的深度信息，产生多视点图像，

其中，立体源图像校准器计算左源图像和右源图像在与特征对应信息对应的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。