CN103313081A - 图像处理设备和方法 - Google Patents

Abstract

提供一种用于使用单个相机产生三维（3D）全景图像的设备和方法。所述图像处理设备可使用多个输入图像帧中的每个输入图像帧的中心区域产生二维（2D）参考全景图像，当基于2D参考全景图像的多个输入图像帧中计算的相似度具有最大值时，提取左眼像条和右眼像条。

Description

图像处理设备和方法

本申请要求于2012年3月15日提交到韩国知识产权局的第10-2012-0026412号韩国专利申请的优先权利益，该申请的公开通过引用包含于此。

技术领域

一个或多个示例实施例涉及一种用于使用单个相机来产生三维（3D）全景图像的设备和方法。

背景技术

一般的全景图像产生方法可基于用户在没有摇晃相机的情况下水平地平移（pan）相机（即，水平地旋转相机以获取全景图像）的假设，连接与左眼和右眼相应的立体图。然而，当拍摄者实际在平移相机的同时拍摄照片时，会由于拍摄者出现瞬间手摇晃或抖动。另外，针对相同点的左眼全景图像和右眼全景图像是具有视差的不同的图像，因此，质量会下降。

发明内容

通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：参考产生器，用于使用多个输入图像帧中的每个输入图像帧的中心区域，来产生二维（2D）参考全景图像；像条提取器，用于当基于2D参考全景图像在多个输入图像中计算的相似度具有最大值时，提取左眼像条和右眼像条。

在实施例中，参考产生器可通过混合所述多个输入图像帧中的每个输入图像帧的预定中心区域，来产生2D参考全景图像。

在实施例中，像条产生器可包括：左眼像条产生器，用于当基于2D参考全景图像从预定左眼像条提取位置沿着垂直方向计算的相似度具有最大值时，提取左眼像条；右眼像条产生器，用于当基于2D参考全景图像从预定右眼像条提取位置沿着垂直方向计算的相似度具有最大值时，提取右眼像条。

在实施例中，左眼像条提取器可通过在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的模板匹配，来提取具有最大相关值的左眼像条。右眼像条提取器可通过在与2D参考全景图像相应的输入图像帧中的预定右眼提取位置的模板匹配，来提取具有最大相关值的右眼像条。

在实施例中，像条提取器可基于在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的颜色值和预定右眼像条提取位置的颜色值之间的相关性，提取左眼像条和右眼像条。

在实施例中，像条提取器可在与2D参考全景图像相应的输入图像帧中提取具有相同宽度的左眼像条和右眼像条。

在实施例中，图像处理设备还可包括：全景图像产生器，用于基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

在实施例中，图像处理设备还可包括三维(3D)全景图像产生器，用于基于左眼全景图像和右眼全景图像之间的视差产生3D全景图像。

在实施例中，图像处理设备还可包括：处理单元，用于执行从拍摄装置输入的图像的球面变换，并通过对球面变换的图像之间的特征点进行匹配来执行图像匹配；计算单元，用于计算球面变换的图像之间的转换量；第一确定单元，用于确定所述转换量是否满足预定目标；第二确定单元，用于当所述转换量满足预定目标时存储球面变换的图像，并确定存储的球面变换的图像的数量是否满足用于产生3D全景图像的值。

通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：全局对齐单元，用于通过对多个输入图像帧之间的特征点进行匹配来执行所述多个输入图像帧的图像匹配；局部对齐单元，用于使用二维2D参考全景图像在所述多个输入图像帧中的每个输入图像帧中沿着垂直方向对右眼像条和左眼像条进行局部对齐。

在实施例中，可基于所述多个输入图像帧中的每个输入图像帧的中心区域来产生2D参考全景图像。

在实施例中，当基于2D参考全景图像在所述多个输入图像帧中计算的相似度具有最大值时，局部对齐单元提取左眼像条和右眼像条。

在实施例中，局部对齐单元可基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

通过提供一种图像处理方法来实现上述和/或其他方面，所述方法包括：使用多个输入图像帧中的每个输入图像帧的中心区域来产生二维2D参考全景图像；当基于2D参考全景图像在所述多个输入图像帧中计算的相似度具有最大值时，提取左眼像条和右眼像条。

在实施例中，所述产生步骤可包括通过混合多个输入图像帧中的每个输入图像帧的预定中心区域来产生2D参考全景图像。

在实施例中，所述提取步骤可包括：当基于2D参考全景图像从预定左眼像条提取位置沿着垂直方向计算的相似度具有最大值时提取左眼像条；当基于2D参考全景图像从预定右眼像条提取位置沿着垂直方向计算的相似度具有最大值时提取右眼像条。

在实施例中，所述提取步骤可包括：通过在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的模板匹配，来提取具有最大相关值的左眼像条，通过在与2D参考全景图像相应的输入图像帧中的预定右眼像条提取位置的模板匹配，提取具有最大相关值的右眼像条。

在实施例中，所述提取步骤可包括：基于在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的颜色值和预定左眼像条提取位置的颜色值之间的相关性，提取左眼像条和右眼像条。

在实施例中，所述图像处理方法还可包括：基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

通过提供一种从多个连续的输入图像帧创建三维(3D)全景图像的方法来实现上述和/或其他方面。所述方法包括：使用连续的输入图像帧中的每个输入图像帧的中心部分来产生二维（2D）参考全景图像；从所述多个连续的输入图像帧中的输入图像帧提取使所述输入图像帧与2D参考全景图像相比的相似度具有最大值的左眼像条和右眼像条；由处理器使用提取的左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

通过提供一种用于从多个连续的输入图像帧创建三维(3D)全景图像的相机来实现上述和/或其他方面。所述相机包括：处理器，用于控制一个或多个处理器可执行的单元；参考产生器，用于使用连续的输入图像帧中的每个输入图像帧中的中心部分来产生二维（2D）参考全景图像；像条提取器，用于从所述多个连续的输入图像帧的输入图像帧提取使所述图像帧与2D参考全景图像相比的相似度具有最大值的左眼像条和右眼像条。

实施例的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者可以通过本公开的实施被理解。

附图说明

通过结合附图，从下面的实施例的描述中，这些和/或其它方面将会变得清楚并且更易于理解，其中：

图1示出使用单个相机拍摄的一系列图像；

图2示出当输入图像中发生旋转时对象的位置的改变；

图3示出根据实施例的图像处理设备；

图4示出根据另一实施例的图像处理设备；

图5示出根据实施例的产生二维（2D）参考全景图像的处理；

图6示出根据实施例的提取左眼像条和右眼像条的处理；

图7A和图7B示出根据实施例的执行局部对齐之前和之后的图像；

图8示出根据实施例的图像处理方法；

图9示出根据实施例的包括图像处理设备的相机的框图。

具体实施方式

现在将对实施例进行详细参考，其示例在附图中示出，其中，相同的标号始终表示相同的元件。下面通过参照附图来描述实施例以解释本发明。

可基于两个图像（例如，具有不同视点的左眼全景图像和右眼全景图像）产生三维（3D）全景图像。然而，当左眼全景图像和右眼全景图像不正确或不一致地产生时，或者当观察相同对象的位置处发生对象的不匹配时，会出现导致观察者方眩晕的质量下降的。

具体地讲，针对相同对象，左眼全景图像的输入像条提取位置可不同于右眼全景图像的输入像条提取位置。由于左眼全景图像和右眼全景图像之间的时间差，极可能发生局部运动。因此，会在3D全景图像的特定部分处发生导致眩晕的质量下降。

因此，针对左眼全景图像和右眼全景图像还可使用精确的局部对齐。这种精确的局部对齐可比使用输入图像之间的转换信息的全局对齐更有效。

图1示出使用单个相机拍摄的一系列图像。

可通过针对多个连续的输入图像执行球面变换和使用特征点匹配的图像匹配来获取全局转换信息。即，可从输入图像获取拍摄对象的转换信息。

这里，为了最大限度地匹配左眼全景图像和右眼全景图像，可能需要将具有相同或相似的转换量的输入帧选择为全景图像的输入。

然而，当用户或拍摄者通过握持并直接平移相机来拍摄全景照片时，

在拍摄输入图像期间可能出现拍摄者的摇晃或抖动。这里，可以以输入图像的旋转转换以及水平和垂直转换的形式表示摇晃。在水平和垂直转换的情况下，可在全局对齐处理（例如，通过连续输入图像的使用特征点匹配的图像匹配和球面变换执行的处理）期间校准摇晃。然而，当由于旋转转换而在输入图像中存在旋转时，会难以将左眼全景图像和右眼全景图像进行对齐。由于难以对齐存在旋转的区域，因此会在图像的观察者方发生眩晕。

图1A示出通过平移相机拍摄的理想的输入图像，其中没有发生相机的旋转，因此没有发生输入图像的垂直转换。参照图1B，当由于相机的摇晃使输入图像110发生旋转时，还可使基于输入图像110产生的左眼全景图像120和右眼全景图像130发生旋转。即使通过拍摄相同对象获取图像，也会由于旋转而在图像之间发生不匹配，因此观察者会体验眩晕从而感觉不便。

图2示出当输入图像中发生旋转时对象的位置的改变。

当在输入图像中发生旋转时，作为左眼全景图像的输入的左眼像条的转换值和作为右眼全景图像的输入的右眼像条的转换值可改变。

图像210示出在拍摄期间没有相机的摇晃的情况。图像220示出在拍摄期间相机向右倾斜的情况。图像230示出通过相机捕获的对象的旋转。可以看出，与图像210相比，右区域235和左区域231与中心区域233相比分别明显地向上和向下旋转。即，与图像的中心区域233相比，图像的右区域235和图像的左区域231发生显著的变化。

输入图像之间的全局转换信息被测量为整个图像的平均值。因此，即使发生旋转，转换值不需要变化很大。例如，可以看出，可例如针对图2的左眼像条231和右眼像条235在相反方向上上发生右眼像条的垂直转换和左眼像条的垂直转换。如图2的图像230中，当在相反方向上发生等同量的左眼像条231和右眼像条235的垂直转换时，由于测量的全局转换信息被测量为平均值，所以所述测量的全局转换信息不会明显改变。通过旋转的平均水平的变化（例如，x轴转换值）可明显小于平均垂直的变化（例如，y轴转换值）。因此，在图2，由旋转引起的水平方向（x轴）上的平均转换不会以显著水平改变。

因此，当针对垂直方向主要执行右眼像条和左眼像条的局部对齐，同时还使用全局对齐信息将左眼全景图像和右眼全景图像进行对齐时，可产生比仅执行全局对齐时对齐得更好的左眼全景图像和右眼全景图像。

图3示出根据实施例的图像处理设备。

参照图3，图像处理设备可包括例如参考产生器310、像条提取器320、控制器330、全景图像产生器340和3D全景图像产生器350。

参考产生器310可使用多个输入图像帧中的每个图像帧的中心区域产生2D参考全景图像。在实施例中，中心区域可与当输入图像帧基于预定标准被划分为三个区域（例如，左区域、中心区域、右区域）时的中心区域对应。所述标准可在图像处理设备中被设置。所述标准可基于用户设置被调节，也可基于旋转的转换量来确定。

多个输入图像帧可指示以预定时间间隔使用拍摄装置或相机拍摄的图像。根据实施例，所述预定时间间隔可以是相同或不同的持续时间。

参考产生器310可通过混合多个输入图像帧中的每个输入图像帧中的预定中心区域来产生2D参考全景图像。与左区域或右区域相比，中心区域的旋转转换量可相对小。通过混合中心区域而产生的2D参考全景图像可被用作针对从输入图像的左区域提取的像条或从输入图像的右区域提取的像条的参考图像，或针对所述两个像条的参考图像。

当基于2D参考全景图像计算的多个输入图像帧的相似度具有最大值时，像条提取器320可提取左眼像条和右眼像条。例如，可通过模板匹配计算相似度。当通过模板匹配计算的相似度具有最大值时，像条提取器320可从输入图像提取左眼像条和右眼像条。作为另一示例，可通过对特征点进行匹配来计算相似度。对特征点进行匹配的方案可根据特征点的类型而改变。作为另一示例，可通过对图案进行匹配来计算相似度。作为另一示例，可通过对直方图进行匹配来计算相似度。

像条提取器320可比较多个输入图像帧中的每个输入图像帧的转换量，可将具有相同转换量的输入图像帧估计为2D参考全景图像，并可确定2D参考全景图像和具有相同转换量的输入图像帧之间的相似度。

像条提取器320可包括左眼像条提取器321和右眼像条提取器323。

当基于2D参考全景图像从预定的左眼像条提取位置沿着垂直方向计算的相似度具有最大值时，左眼像条提取器321可提取左眼像条。

左眼像条可指示使用用户的左眼观看的图像的缝隙。例如，在用于提取左眼像条的位置之中，可通过产生2D参考全景图像的处理的先前处理来确定水平位置。可在执行多个输入图像帧之间的图像匹配的同时确定水平位置。

可选择地，左眼像条的水平提取位置可被设置为拍摄装置的初始值或拍摄者的设置值。

左眼像条提取器321可在针对垂直方向（即，上下方向）将输入图像帧与2D参考全景图像的模板进行匹配的同时计算相似度。左眼像条提取器321可从输入图像帧提取具有最接近于预定相似度的相似度的位置的左眼像条，或可提取具有最大相似度的位置的左眼像条。例如，当预定相似度是90%时，左眼像条提取器321可提取具有最接近于90%的相似度的位置的左眼像条。

当基于2D参考全景图像从预定的右眼像条提取位置沿着垂直方向计算的相似度具有最大值时，右眼像条提取器323可提取右眼像条。

右眼像条可指示使用用户的右眼观看的图像的缝隙。例如，在用于提取右眼像条的位置之中，可通过产生2D参考全景图像的处理的先前处理来确定水平位置。可在执行多个输入图像帧之间的图像匹配的同时确定水平位置。

可选择地，右眼像条的水平提取位置可被设置为拍摄装置的初始值或拍摄者的设置值。

右眼像条提取器323可在针对垂直方向（即，上下方向）将输入图像帧与2D参考全景图像的模板进行匹配的同时计算相似度。右眼像条提取器323可从输入图像帧提取具有最接近于预定相似度的相似度的位置的右眼像条，或可提取具有最大相似度的位置的右眼像条。例如，当预定相似度是90%时，右眼像条提取器323可提取具有最接近于90%的相似度的位置的右眼像条。

左眼像条提取器321可通过在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的模板匹配，来提取具有最大相关值的左眼像条。例如，可通过模板匹配来计算相关值。作为另一示例，可通过对特征点进行匹配来计算相关值。对特征点进行匹配的方案可根据特征点的类型而改变。作为另一示例，可通过对图案进行匹配来计算相关值。作为另一示例，可通过对直方图进行匹配来计算相关值。

右眼像条提取器323可通过在与2D参考全景图像相应的输入图像帧中的预定右眼像条提取位置的模板匹配，来提取具有最大相关值的右眼像条。例如，可通过模板匹配来计算相关值。作为另一示例，可通过对特征点进行匹配来计算相关值。对特征点进行匹配的方案可根据特征点的类型而改变。作为另一示例，可通过对图案进行匹配来计算相关值。作为另一示例，可通过对直方图进行匹配来计算相关值。

像条提取器320可基于在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的颜色值和预定右眼像条提取位置的颜色值之间的相关性，来提取左眼像条和右眼像条。像条提取器320可通过将2D参考全景图像的模板的红色、绿色、蓝色（RGB）值与输入图像帧相比较，来计算相关值。像条提取器320可在所述输入图像帧中提取具有最大相关值的位置的像条。

像条提取器320可在与2D参考全景图像相应的输入图像帧中提取具有相同宽度的左眼像条和右眼像条。像条提取器320可提取具有相同宽度的像条。例如，从所述输入图像帧提取的左眼像条和右眼像条可具有相同宽度。

全景图像产生器340可基于由像条提取器320提取的左眼像条和右眼像条，来产生左眼全景图像和右眼全景图像。全景图像产生器340可通过混合左眼像条来产生左眼全景图像。全景图像产生器340可通过混合右眼像条来产生右眼全景图像。

3D全景图像产生器350可基于左眼全景图像和右眼全景图像之间的视差产生3D全景图像。3D全景图像产生器可采用用于基于在图像处理领域中使用的视差产生3D图像的任何技术。另外，3D全景图像产生器350可采用用于基于2D立体图像产生3D图像的任何技术。

处理单元360可执行从拍摄装置或相机输入的图像的球面变换，并可通过对球面变换的图像之间的特征点进行匹配来执行图像匹配。输入图像从圆形基线拍摄，因此会变形。处理单元360可通过基于拍摄输入图像的位置考虑距离和角度来执行变形的图像的球面变换。图像处理单元360可执行球面变换图像之间的特征点匹配。可基于输入图像中的对象的形状、颜色等来确定特征点。

计算单元370可计算球面变换图像之间的转换量。当在处理单元360完成图像匹配时，计算单元370可基于图像匹配结果计算输入图像之间的转换量。例如，计算单元370可计算在输入图像中的对象已移动的距离。

计算单元370可通过转换量的计算获取输入图像的转换信息。可基于所述转换信息确定左眼像条和右眼像条的水平位置。

第一确定单元380可确定所述转换量是否满足预定目标。当计算的转换两不满足预定目标时，第一确定单元380可不存储球面变换的图像，并可请求重新拍摄图像。

当所述转换量满足预定目标时，第二确定单元390可存储球面变换的图像，并可确定存储的球面变换的图像的数量是否满足用于产生3D全景图像的图像的数量。例如，可基于图像处理设备的处理率、性能以及3D全景图像的分辨率来确定用于产生3D全景图像的图像的数量。

当存储的球面变换的图像的数量满足用于产生3D全景图像的图像的数量时，存储的球面变换的图像可以为用于产生2D参考全景图像的输入图像。

控制器330可执行图像处理设备的整体控制，并可执行参考产生器310、像条提取器320、全景图像产生器340、3D全景图像产生器350、处理单元360、计算单元370、第一确定单元380和第二确定单元390的功能。以上组成元件在图3中被单独地示出，以有区别地描述各个组成元件的功能。因此，当实际配置产品时，以上组成元件可被配置为在控制器330中被处理，或可选择地，只有其部分可被配置为在控制器330中被处理。

图4示出根据另一实施例的图像处理设备。

参照图4，图像处理设备可包括例如全局对齐单元410和局部对齐单元420。

全局对齐单元410可通过对多个输入图像帧之间的特征点进行匹配来执行多个输入图像帧的图像匹配。全局对齐单元410可执行多个输入图像帧中的每个输入图像帧的球形变换。全局对齐单元410可通过图像匹配来获取输入图像帧之间的转换信息。

局部对齐单元420可基于2D参考全景图像在多个输入图像帧中的每个输入图像帧中沿着垂直方向局部地对左眼像条和右眼像条进行对齐。

可基于多个输入图像帧中的每个输入图像帧的中心区域产生2D参考全景图像。局部对齐单元420可通过混合输入图像帧的预定中心区域来产生2D参考全景图像。

例如，局部对齐单元420可基于2D参考全景图像，通过在输入图像帧的右眼像条提取位置和左眼像条提取位置处的垂直模板匹配来计算相关值。例如，右眼像条提取位置和左眼像条提取位置可指示输入图像帧的水平位置。可基于通过全局对齐单元410获取的转换信息来确定水平位置。作为另一示例，可通过对特征点进行匹配来计算相关值。对特征点进行匹配的方案可根据特征点的类型而改变。作为另一示例，可通过对图案进行匹配来计算相关值。作为另一示例，可通过对直方图进行匹配来计算相关值。

局部对齐单元420可通过模板匹配来确定输入图像帧的垂直位置。局部对齐单元420可提取具有最大相关值的位置处的右眼像条和左眼像条。

当基于2D参考全景图像在多个输入图像帧中计算的相似度具有最大值时，局部对齐单元420可提取左眼像条和右眼像条。例如，可基于模板匹配的相关值确定相似度。即，当相关值大时，相似度可被确定为高。作为另一示例，可通过对特征点进行匹配来计算相关值。对特征点进行匹配的方案可根据特征点的类型而改变。作为另一示例，可通过对图案进行匹配来计算相关值。作为另一示例，可通过对直方图进行匹配来计算相关值。

局部对齐单元420可基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。局部对齐单元420可基于2D参考全景图像提取具有高相似度的左眼像条和右眼像条，可通过混合左眼像条来产生左眼全景图像，并可通过混合右眼像条来产生右眼全景图像，从而对左眼像条和右眼像条进行对齐。

局部对齐单元420可使用左眼全景图像和右眼全景图像产生3D全景图像。

图5示出根据实施例的产生2D参考全景图像的处理。

由于旋转，左眼像条和右眼像条可均具有不正确的垂直位置信息。因此，当基于左眼像条和右眼像条中的另一个对左眼像条和右眼像条之一进行对齐时，会出现新的错误。

由旋转而受到的影响最小的输入图像的中心区域可被用作用于对左眼像条和右眼像条两者进行对齐的参考。

参照图5，可使用输入图像的中心区域501、503、505、507、509、511、513和515来产生2D参考全景图像520。

图6示出根据实施例的提取左眼像条和右眼像条的处理。

例如，通过模板匹配被确定为与2D参考全景图像610具有最大相似度的区域被提取。所述区域以左眼像条和右眼像条的形式被提取，并可通过将提取的左眼像条和右眼像条与2D参考全景图像610进行比较，来对应于拍摄装置或相机的摇晃而垂直地对齐左眼像条和右眼像条。

参照图6，可基于2D参考全景图像610分别从输入图像帧620和630提取左眼像条621和631。可分别从输入图像帧640、650和660提取右眼像条641、651和661。

这里，从输入图像帧620提取的左眼像条621和从输入帧图像630提取的左眼像条630可具有相同水平位置，但具有不同的垂直位置。例如，可通过模板匹配来确定左眼像条621和631的垂直位置。作为另一示例，可通过对特征点进行匹配来确定左眼像条621和631的垂直位置。对特征点进行匹配的方案可根据特征点的类型而改变。作为另一示例，可通过对图案进行匹配来确定左眼像条621和631的垂直位置。作为另一示例，可通过对直方图进行匹配来确定左眼像条621和631的垂直位置。相同的方法可应用于右眼像条641、651和661。

从输入图像帧640提取的右眼像条641、从输入图像帧650提取的右眼像条651、从输入图像帧660提取的右眼像条661可具有相同水平位置，但具有不同的垂直位置。可通过模板匹配来确定右眼像条641、651和661的垂直位置。

可按照与2D参考全景图像610相应的输入图像帧的数量来提取左眼像条和右眼像条。

可通过混合左眼像条621和631来产生左眼全景图像。可通过混合右眼像条641、651和661进行来产生右眼全景图像。

图7A和图7B示出根据实施例的已执行局部对齐之前和之后的图像。

图7A示出在垂直地执行局部对齐之前针对相同对象的左眼全景图像和右眼全景图像在垂直方向上出现不匹配的示例。图7B示出在已垂直地执行局部对齐之后对左眼全景图像和右眼全景图像进行对齐的示例。

更具体地讲，在图7A的右图像中，已出现向下旋转。在图7B的右图像中，已在沿着垂直方向执行了局部对齐之后对图7A的向下旋转进行对齐。

图8示出根据实施例的图像处理方法。

在操作800中，在沿着一个方向平移相机时，图像处理设备可连续地拍摄图像。可选择地，当沿着一个方向旋转拍摄装置时，图像处理设备可接收连续拍摄的图像。

在操作805，图像处理器设备可执行拍摄的图像或输入图像的球形变换。图像处理设备可通过球形变换来补偿由于旋转而出现的任何变形。图像处理设备可通过球面变换的图像之间的特征点匹配来执行图像匹配。

在操作810，图像处理设备可计算球面变换图像之间的转换量。当完成图像匹配时，图像处理设备可基于图像匹配结果计算输入图像之间的转换量。

在操作815，图像处理设备可确定转换量是否满足预定目标。当计算的转换量不满足预定目标时，图像处理设备可选择不存储球面变换的图像并可再次请求拍摄图像。

相反地，当计算的转换量满足预定目标时，在操作820，图像处理设备可存储球面变换的图像。

在操作825，图像处理设备可确定存储的球面变换的图像的数量是否满足产生3D全景图像所需的图像的数量。例如，可基于图像处理设备的处理率、性能以及3D全景图像的分辨率中的任何一个或多个来确定产生3D全景图像所需的图像的数量。

在操作830，图像处理设备可产生2D参考全景图像。图像处理设备可通过混合球面变换的图像的中心区域来产生2D参考全景图像。

在操作835，图像处理设备可提取左眼像条。图像处理设备可在相比于2D参考全景图像具有相同或相似的转换量的输入图像帧中提取左眼像条。例如，当通过输入图像帧中的垂直模板匹配计算的相似度具有最大值时，图像处理设备可提取左眼像条。作为另一示例，可通过对特征点进行匹配来计算相似度。对特征点进行匹配的方案可根据特征点的类型而改变。可通过对图案进行匹配来计算相似度。作为另一示例，可通过对直方图进行匹配来计算相似度。

在操作840，图像处理设备可提取右眼像条。图像处理设备可在与2D参考全景图像具有相同的转换量的输入图像帧中提取右眼像条。

在操作845，图像处理设备可产生左眼全景图像。图像处理设备可通过混合左眼像条产生左眼全景图像。

在操作850，图像处理设备可产生右眼全景图像。图像处理设备可通过混合提取的右眼像条产生右眼全景图像。

在操作855，图像处理设备可产生3D全景图像。图像处理设备可基于左眼全景图像和右眼全景图像之间的视差产生3D全景图像。图像处理设备可通过最优化左眼全景图像和右眼全景图像之间的水平视差来产生3D全景图像。

图9示出根据实施例的包括图像处理设备的相机。

参照图9，相机900可包括例如控制器901和图像处理设备902。

虽然相机900可以为数字相机或数字视频相机的形式，但是其他类型的相机同样可行。

控制器901可产生一个或多个控制信号，以控制相机900和图像处理设备902。控制器901可包括一个或多个处理器。

图像处理设备902可被用于产生相机900的3D全景图像，并可包括例如参考产生器、像条提取器、控制器、全景图像产生器和3D全景图像产生器。图9中没有示出前述项，然而，这些单元中的每一个可与这里（例如针对图3）讨论的类似命名的单元相应，因此这里不需要再次讨论。

图像处理设备902可安装在相机900的内部，可附加到相机900，或可与相机900分开实现。不管其物理配置如何，图像处理设备902具有这里讨论的所有性能。图像处理设备902可包括一个或多个内部处理器或可被包括在多图像处理设备902内部的一个或多个处理器（例如，控制器901的一个或多个处理器）控制。

根据一个或多个实施例，图像处理设备可被应用于相机相关的产品，并且图像处理方法可被采用为软件。例如，图像处理设备和图像处理方法可被应用于诸如例如数字相机和相机图像处理处理器的产品。

根据一个或多个实施例，图像处理设备可使用受拍摄装置的摇晃引起的旋转较小影响的输入图像的中心图像，来产生2D参考全景图像，并可基于2D参考全景图像产生左眼全景图像和右眼全景图像。

使用输入图像的中心区域，可减小左眼全景图像和右眼全景图像的失败概率。中心图像可被采用为源，以通过执行局部对齐来产生高质量3D全景图像。

为了防止局部对齐的失败，可克服必须紧绷地拍摄输入图像的限制。例如，可减小用于产生3D全景图像的输入图像帧的数量。因此，即使在低规格相机系统中也可产生3D全景图像。

根据一个或多个实施例，图像处理设备可防止左眼全景图像和右眼全景图像的部分对齐失败，其中，所述部分对齐失败可由于针对相同对象的左眼全景图像和右眼全景图像之间的不同拍摄时间点和拍摄瞬间的时差而出现。

图像处理设备可使用输入图像的中心区域来产生能够使旋转的影响最小化的2D参考全景图像。

通过使用基于2D参考全景图像的局部对齐产生左眼全景图像和右眼全景图像，可产生高质量3D全景图像。

另外，使用局部对齐，可克服输入图像的拍摄限制。因此，即使在低规格相机系统中也可产生3D全景图像。

根据上述实施例的图像处理方法可被记录在包括程序指令的非暂时计算机可读介质中，以实现通过计算机实施的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等，或者包括它们的组合。非暂时计算机可读介质的示例包括磁介质（例如，硬盘、软盘、磁带）；光学介质（例如，CDROM盘、DVD）；磁光介质（例如，可光读的盘）；被专门构造为存储和执行程序指令的硬件装置（例如，只读存储器（ROM）、随机存取存储器（RAM）、闪速存储器等）。

程序指令的示例包括机器代码（例如，由编译器所产生的）和包含可由计算机使用解释器执行的更高级代码的文件两者。为了执行上述实施例的操作，描述的硬件装置可被构造为用作一个或多个软件模块，反之亦然。这里描述的任何一个或多个软件模块可被控制器（诸如所述单元特有的专用处理器）或被一个或多个模块共有的处理器执行。所描述的方法可在通用计算机或处理器上执行，或可在特定机器（例如，这里描述的图像处理设备）上执行。

尽管已示出和描述了实施例，但是本领域的技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行改变，其中，本公开的范围由权利要求及其等同物来限定。

Claims (22)

1.一种图像处理设备，包括：

处理器，用于控制一个或多个处理器能够执行的单元；

参考产生器，用于使用多个输入图像帧中的每个输入图像帧的中心区域来产生二维2D参考全景图像；

像条提取器，用于当所述多个输入图像帧的输入图像帧与2D参考全景图像相比的相似度具有最大值时，从所述输入图像帧提取左眼像条和右眼像条。

2.如权利要求1所述的图像处理设备，其中，参考产生器通过混合所述多个输入图像帧中的每个输入图像帧的预定中心区域，来产生2D参考全景图像。

3.如权利要求1所述的图像处理设备，其中，像条产生器包括：

左眼像条产生器，用于当基于2D参考全景图像从预定左眼像条提取位置沿着垂直方向计算的相似度具有最大值时，从所述输入图像帧提取左眼像条；

右眼像条产生器，用于当基于2D参考全景图像从预定右眼像条提取位置沿着垂直方向计算的相似度具有最大值时，从所述输入帧图像提取右眼像条。

4.如权利要求1所述的图像处理设备，其中，像条提取器包括：

左眼像条提取器，通过在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的模板匹配，来提取具有最大相关值的左眼像条，

右眼像条提取器，通过在与2D参考全景图像相应的输入图像帧中的预定右眼像条提取位置的模板匹配，来提取具有最大相关值的右眼像条。

5.如权利要求1所述的图像处理设备，其中，像条提取器基于在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的颜色值和预定右眼像条提取位置的颜色值之间的相关性，提取左眼像条和右眼像条。

6.如权利要求1所述的图像处理设备，其中，像条提取器在与2D参考全景图像相应的输入图像帧中提取具有相同宽度的左眼像条和右眼像条。

7.如权利要求1所述的图像处理设备，还包括：

全景图像产生器，用于基于左眼像条和右眼像条分别产生左眼全景图像和右眼全景图像。

8.如权利要求7所述的图像处理设备，还包括：

三维3D全景图像产生器，用于基于左眼全景图像和右眼全景图像之间的视差产生3D全景图像。

9.如权利要求1所述的图像处理设备，还包括：

处理单元，用于执行从拍摄装置输入的图像的球面变换，并且通过对球面变换的图像之间的特征点进行匹配来执行图像匹配；

计算单元，用于计算球面变换的图像之间的转换量；

第一确定单元，用于确定所述转换量是否满足预定目标；

第二确定单元，用于当所述转换量满足预定目标时存储球面变换的图像，并确定存储的球面变换的图像的数量是否满足用于产生3D全景图像的值。

10.一种图像处理设备，包括：

处理器，用于控制一个或多个能够执行的处理器单元；

全局对齐单元，用于通过对多个输入图像帧之间的特征点进行匹配来执行所述多个输入图像帧的图像匹配；

局部对齐单元，用于使用二维2D参考全景图像在所述多个输入图像帧中的每个输入图像帧中沿着垂直方向对右眼像条和左眼像条进行局部对齐。

11.如权利要求10所述的图像处理设备，其中，基于所述多个输入图像帧中的每个输入图像帧的中心区域来产生2D参考全景图像。

12.如权利要求10所述的图像处理设备，其中，当基于2D参考全景图像在多个输入图像帧中计算的相似度具有最大值时，局部对齐单元提取左眼像条和右眼像条。

13.如权利要求12所述的图像处理设备，其中，局部对齐单元基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

14.一种图像处理方法，包括：

由处理器使用多个输入图像帧中的每个输入图像帧的中心区域来产生二维2D参考全景图像；

当所述多个输入图像帧的输入图像帧与2D参考全景图像相比计算的相似度具有最大值时，从所述输入图像帧中提取左眼像条和右眼像条。

15.如权利要求14所述的方法，其中，所述产生步骤包括：通过混合多个输入图像帧中的每个输入图像帧的预定中心区域来产生2D参考全景图像。

16.如权利要求14所述的方法，其中，提取步骤包括：

当基于2D参考全景图像从预定左眼像条提取位置沿着垂直方向计算的相似度具有最大值时，从所述输入图像帧提取左眼像条；

当基于2D参考全景图像从预定右眼像条提取位置沿着垂直方向计算的相似度具有最大值时，从所述输入帧图像提取右眼像条。

17.如权利要求14所述的方法，其中，所述提取步骤包括：

通过在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的模板匹配，来提取具有最大相关值的左眼像条，

通过在与2D参考全景图像相应的输入图像帧中的预定右眼像条提取位置的模板匹配，来提取具有最大相关值的右眼像条。

18.如权利要求14所述的方法，其中，所述提取步骤包括：

基于在与2D参考全景图像相应的输入图像帧中的预定左眼像条提取位置的颜色值和预定左眼像条提取位置的颜色值之间的相关性，提取左眼像条和右眼像条。

19.如权利要求14所述的方法，还包括：

基于左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

20.一种从多个连续的输入图像帧创建三维3D全景图像的方法，所述方法包括：

使用连续的输入图像帧中的每个输入图像帧的中心部分来产生二维2D参考全景图像；

从所述多个连续的输入图像帧中的输入图像帧提取使所述输入图像帧与2D参考全景图像相比的相似度具有最大值的左眼像条和右眼像条；

由处理器使用提取的左眼像条和右眼像条产生左眼全景图像和右眼全景图像。

21.一种用于从多个连续的输入图像帧创建三维3D全景图像的相机，所述相机包括：

处理器，用于控制一个或多个处理器能够执行的单元；

参考产生器，用于使用连续的输入图像帧中的每个输入图像帧中的中心部分来产生二维2D参考全景图像；

像条提取器，从所述多个连续的输入图像帧中的输入图像帧提取使所述输入图像帧与2D参考全景图像相比的相似度具有最大值的左眼像条和右眼像条。

22.如权利要求22所述的相机，还包括：

全景图像产生器，用于使用通过像条提取器提取的左眼像条和右眼像条来产生左眼全景图像和右眼全景图像。

Images