CN102819824A - 用于图像处理的设备和方法 - Google Patents

Abstract

提供一种用于图像处理的设备和方法。图像处理设备可基于最佳阈值以及反映左图像和右图像之间的相似性的成本映射图，从左图像和右图像的重叠区域获得虚影信息，可基于使用重叠区域中的虚影信息产生的全局色调校正函数，并基于使用最佳接缝的局部信息产生的局部色调校正级别，产生色调校正映射图，并可使用通过将基于左图像的权重和基于右图像的权重应用于色调校正映射图而产生的最终色调校正映射图，校正左图像和右图像。

Description

用于图像处理的设备和方法

本申请要求于2011年6月10日提交到韩国知识产权局的第10-2011-0055985号韩国专利申请的优先权利益，其公开通过引用包含于此。

技术领域

以下描述的示例性实施例涉及一种用于校正全景图像的色调的设备和方法，更具体地讲，涉及一种在混合多个图像以产生全景图像之前执行色调校正的设备和方法。

背景技术

可通过混合在多个位置或从多个角度拍摄对象而获得的多个图像来产生全景图像。当在多个图像之间的色调校正之前混合所述多个图像时，因为可能在不同的条件(诸如不同的曝光值、不同的灰度和不同的镜头遮光)下获得所述多个图像中的每个图像，所以在连接所述多个图像的接缝处可能出现伪像，这会导致用户感受到差异。因此，在混合多个图像之前，会需要在多个图像之中执行色调校正。

发明内容

示例性实施例可包括一种用于处理图像的设备，所述设备包括：虚影信息获得单元，基于最佳阈值以及成本映射图，从左图像和右图像的重叠区域获得虚影信息；色调校正映射图产生器，基于使用虚影信息产生的全局色调校正函数，并基于使用最佳接缝的局部信息产生的局部色调校正级别，产生色调校正映射图；双向校正器，使用通过将基于左图像的权重和基于右图像的权重应用于色调校正映射图而产生的最终色调校正映射图，校正左图像和右图像。

可通过重叠左图像和右图像的区域来产生成本映射图，从而左图像和右图像之间的相似性被反映在成本映射图上。

左图像和右图像可对应于通过在用于产生全景图像的多个拍摄位置拍摄静止对象或运动对象获得的图像。

左图像和右图像之间的相似性可基于在左图像和右图像的重叠区域中相应的像素之间的色彩相似性和灰度相似性的等级。

虚影信息获得单元可包括：最佳接缝假设单元，假设在成本映射图上具有最大相似性的路径作为左图像和右图像的最佳接缝；二值化单元，通过基于使用最佳阈值估计处理估计的最佳阈值将成本映射图二值化，来产生虚影映射图。

色调校正映射图产生器可包括：全局计算单元，使用虚影信息计算全局色调校正函数，在所述全局色调校正函数中反映与重叠区域中除了虚影像素以外的像素相应的左图像的像素和右图像的像素之间的色调差。

色调校正映射图产生器还可包括：平滑单元，通过平滑滤波器平滑计算的全局色调校正函数的值。

色调校正映射图产生器可包括：局部计算单元，通过计算在最佳接缝的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生最佳接缝的局部信息。

色调校正映射图产生器还可包括：校正级别计算单元，通过比较包括在最佳接缝中的像素的全局色调校正函数的值和局部信息来计算局部色调校正级别。

双向校正器可包括：权重应用单元，将根据左图像与重叠区域之间的距离变化的权重和根据右图像与重叠区域之间的距离变化的权重应用到色调校正映射图。

示例性实施例还可包括一种处理图像的方法，所述方法包括：基于最佳阈值和成本映射图，从左图像和右图像的重叠区域获得虚影信息；基于使用虚影信息产生的全局色调校正函数，并基于使用最佳接缝的局部信息产生的局部色调校正级别，产生色调校正映射图；使用通过将基于左图像的权重和基于右图像的权重应用于色调校正映射图而产生的最终色调校正映射图，校正左图像和右图像。

产生成本映射图的步骤可包括：重叠左图像和右图像的区域，从而左图像和右图像的相似性被反映在成本映射图上。

获得步骤可包括：假设在成本映射图上具有最大相似性的路径作为左图像和右图像的最佳接缝；通过基于使用最佳阈值估计处理估计的最佳阈值将成本映射图二值化，来产生虚影映射图。

产生步骤可包括：使用虚影信息计算全局色调校正函数，在所述全局色调校正函数中反映与重叠区域中除了虚影像素以外的像素相应的左图像的像素和右图像的像素之间的色调差。

产生步骤可包括：通过计算在最佳接缝的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生最佳接缝的局部信息。

产生色调校正映射图的步骤还可包括：通过比较包括在最佳接缝中的像素的全局色调校正函数的值和局部信息来计算局部色调校正级别。

校正步骤可包括：将根据左图像与重叠区域之间的距离变化的权重和根据右图像与重叠区域之间的距离变化的权重应用到色调校正映射图。

根据示例性实施例，可反映关于与多个图像相应的失配的像素的信息，并通过考虑虚影现象来计算相对准确的色调校正值。

根据示例性实施例，可通过校正输入的左图像和右图像二者的色调来保持左图像和右图像之间的中间级别的色调。

根据示例性实施例，可减少因为混合的范围不能被扩展以校正色调而由于混合出现的残像。

根据示例性实施例，通过基于全局色调校正和局部色调校正从成本映射图获得虚影映射图，可在计算相对准确的色调校正值时，以相对高的速度获得计算的值。

将在下面的描述中部分地阐明实施例的另外的方面，并且通过描述部分将是清楚的，或者通过实施本公开可以了解。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面将会变得清楚和更易于理解，其中：

图1A和图1B示出根据现有技术的全景图像；

图2示出根据现有技术的由于运动对象出现的问题；

图3示出根据现有技术的在输入图像的重叠区域中的相同位置上的像素；

图4示出根据示例性实施例的用于处理图像的设备；

图5示出根据示例性实施例的产生虚影映射图的操作；

图6示出根据示例性实施例的产生全局色调校正函数的操作；

图7示出根据示例性实施例的产生最佳接缝的局部信息的操作；

图8示出根据示例性实施例的色调校正映射图；

图9示出根据示例性实施例的输入的左图像和输入的右图像的双向校正；

图10示出根据示例性实施例的图像处理方法；

图11示出根据示例性实施例的具有校正的色调的全景图像。

具体实施方式

现在对实施例进行详细的参考，实施例的示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图对实施例进行描述以解释本公开。

图1A和图1B示出根据现有技术的全景图像的示例。

图1A示出在没有色调校正的情况下通过匹配两个图像获得的全景图像，图1B示出在没有色调校正的情况下通过估计最佳接缝并匹配两个图像获得的全景图像。

即使通过拍摄同一对象获得的两个图像对应于同一对象，所述两个图像的重叠区域也会具有对于每个图像不同的曝光值或不同的灰度级别。因此，当在没有色调校正的情况下混合每个图像时，如图1A和图1B所示，在图像的中间部分会出现不自然的线条。

图2示出根据现有技术的由于运动对象出现的问题。

可通过将目标图像和对象图像混合来产生全景图像。在这种情况下，目标图像中的箱子的内部和对象图像中的箱子的内部对应于重叠部分。根据普通的色调校正处理，可通过参考目标图像中的箱子的内部来校正对象图像中的箱子的内部的色调。

参照图2，在目标图像中的箱子的内部不可见的运动对象可能存在于对象图像中的箱子的内部。因此，即使通过在相同位置拍摄对象获得相应的图像，目标图像中的箱子的内部和对象图像中的箱子的内部也可能包含不同的内容。因此，因为包括在对象图像中的箱子的内部中的运动对象在目标图像中不可见，所以不能执行色调校正。可通过参考排除与运动对象相应的部分的目标图像来执行色调校正。

普通的色调校正处理可包括：通过直方图匹配产生与目标图像相关的对象图像的查找表并基于查找表来校正对象图像的色调。普通的色调校正处理可包括：通过用于执行匹配的直方图校正对象图像的重叠区域中的对象图像的区域，使用校正的对象图像的区域估计色彩转换矩阵，并使用估计的色彩转换矩阵校正对象图像的色调。普通的色调校正处理可包括：通过计算利用接缝部分中的对象图像和目标图像之间的色调差以及与将被校正的像素的距离的权重来校正对象图像的色调。

图3示出根据现有技术的在输入图像的重叠区域中的相同位置上的像素。

与由于出现运动对象而在相同位置存在不同内容的情况相似，由于即使在图3的输入图像310和输入图像320的重叠区域中可成功地执行图像匹配，在对象的边界中也出现一到两个像素的匹配错误，因此可能执行不准确的色调校正。

因为仅对单个目标图像校正对象图像的色调，所以普通的色调校正处理可能具有图像随着可添加全景而变暗或变亮的问题。

图4示出根据示例性实施例的用于处理图像的设备。

参照图4，用于处理图像的设备(这里，可被称为图像处理设备)可包括虚影信息获得单元410、色调校正映射图产生器420和双向校正器430。

虚影信息获得单元410可在左图像和右图像的重叠区域上产生成本映射图。在这种情况下，左图像和右图像可对应于输入图像。左图像和右图像之间的相似性可反映在成本映射图上。为了产生全景图像，在用于自然地接合左图像和右图像的处理中可使用最佳接缝估计处理。最佳接缝估计处理可包括：通过基于在左图像和右图像的重叠区域中与左图像和右图像相应的像素之间的色彩相似性和灰度相似性的等级连接相似像素，来估计最佳接缝。虚影信息获得单元410可基于最佳阈值来获得虚影信息。虚影信息可指示关于具有左图像和右图像之间的相似性的相对较小的值的区域的信息。可基于指示图像的特性的各种元素(诸如，每个图像的色彩、饱和度、亮度和色调)来确定所述相似性。

左图像和右图像可对应于通过在多个拍摄位置拍摄静止对象或运动对象而获得的图像。可通过将左图像和右图像组合在一起来产生全景图像。

虚影信息获得单元410可包括最佳接缝假设单元411和二值化单元413。最佳接缝假设单元411可假设在成本映射图上具有最大相似性的路径作为左图像和右图像的最佳接缝。二值化单元413可基于可使用最佳阈值估计处理估计的最佳阈值将成本映射图二值化。成本映射图的二值化可指示成本映射图到灰度的转换。二值化单元413可通过比较成本映射图上的每个像素的相似性与最佳阈值来将成本映射图二值化，从而产生虚影映射图。例如，当成本映射图上的每个像素的相似性可大于最佳阈值时，二值化单元413可将成本映射图二值化为“1”，当成本映射图上的每个像素的相似性可小于最佳阈值时，二值化单元413可将成本映射图二值化为“0”。在这种情况下，在虚影映射图上二值化为“1”的部分可以以相对亮的色彩来表现，在虚影映射图上二值化为“0”的部分可以以相对暗的色彩来表现。

二值化单元413可通过二值化来产生虚影映射图，因此，可不使用复杂的算数运算以快速地产生虚影映射图。

虚影映射图可包括关于与色调校正相关的像素的信息以及与色调校正无关的虚影信息。例如，二值化为“1”的部分可指示与色调校正相关的像素，二值化为“0”的部分可指示与色调校正无关的虚影部分。

色调校正映射图产生器420可基于左图像和右图像的重叠区域的虚影信息来产生全局色调校正函数。全局色调校正函数可反映重叠区域中除了虚影像素以外的所有像素。例如，当使用沿着水平方向拍摄的多个图像来沿着水平方向产生全景图像时，竖直方向上的色调差可能不是问题，而水平方向上的色调差可能存在问题。竖直方向上的色调差可能是不重要的。因此，当沿着水平方向产生全景图像时，色调校正映射图产生器420可通过计算左图像和右图像的重叠区域中的竖直方向上除了虚影像素以外的部分的色调差的累加平均值，来产生水平方向上的全局色调校正函数。

全局色调校正函数可反映在整个重叠区域中左图像和右图像之间的色调差。

色调校正映射图产生器420可产生最佳接缝的局部信息。可通过计算包括在最佳接缝中的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生局部信息。局部信息可指示关于包括在最佳接缝中的像素之间的色调差的信息。在这种情况下，色调差可表示与包括在最佳接缝中的像素相应的左图像的像素和右图像的像素之间的色调差。

色调校正映射图产生器420基于全局色调校正函数和局部色调校正级别产生色调校正映射图。可通过比较预定像素的全局色调校正函数的色调差和局部信息来确定局部色调校正级别。

色调校正映射图产生器420可包括全局计算单元421、平滑单元423、局部计算单元425和校正级别计算单元427。

全局计算单元421可使用虚影信息计算全局色调校正函数，所述全局色调校正函数反映与重叠区域中除了虚影像素以外的像素相应的左图像的像素和右图像的像素之间的色调差。可通过计算全局色调校正函数来获得关于在重叠区域中除了虚影像素以外的每个像素的色调差的信息。

平滑单元423可通过平滑滤波器来平滑在全局计算单元421中计算的全局色调校正函数的值。噪声可能被包括在算术运算期间计算的全局色调校正函数的值中。平滑单元423可通过平滑滤波器消除噪声。

局部计算单元425可通过计算在最佳接缝的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生最佳接缝的局部信息。例如，局部计算单元425可对包括在最佳接缝中的每个像素使用具有N×N大小的窗口，并计算在具有N×N大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，从而获得每个像素的局部信息。

校正级别计算单元427可通过比较包括在最佳接缝中的像素的全局色调校正函数的值和局部信息来计算局部色调校正级别。全局色调校正函数可反映与左图像和右图像的整个重叠区域的色调差相关的信息。局部信息可反映关于包括在最佳接缝中的像素的色调差的信息，从而包括在最佳接缝中的像素可具有与相邻像素相似的色调差。例如，校正级别计算单元427可通过从局部信息减去全局色调校正函数的值来计算局部色调校正级别。

色调校正映射图产生器420可通过依据局部色调校正级别调整全局色调校正函数来产生色调校正映射图。

双向校正器430可使用最终色调校正映射图来校正左图像和右图像，其中，通过将基于左图像的权重和基于右图像的权重应用到色调校正映射图来产生最终色调校正映射图。可在左图像和右图像中反映色调校正映射图。色调校正映射图可指示左图像和右图像的重叠区域的色调差的信息。在这种情况下，可将根据左图像和重叠图像之间的距离的权重应用到在左图像中反映的色调校正映射图，从而可从左图像自然地形成色调。可将根据右图像和重叠图像之间的距离的权重应用到在右图像中反映的色调校正映射图，从而可从右图像自然地形成色调。

双向校正器430可包括权重应用单元431。权重应用单元431可将根据左图像与重叠区域之间的距离变化的权重应用到色调校正映射图。权重应用单元431可将根据右图像与重叠区域之间的距离变化的权重应用到色调校正映射图。

双向校正器430可基于最终色调校正映射图来校正左图像和右图像的色调。图像处理设备可通过将校正的左图像和右图像混合来产生全景图像。

与根据目标图像的色调校正对象图像的色调的普通处理相比，双向校正器430可通过校正左图像和右图像的每个色调来使整体全景图像保持一致的色调。

图5示出根据示例性实施例的产生虚影映射图的操作。

图像处理设备可接收左图像I₁和右图像I₂的输入，并针对重叠区域产生成本映射图CM₁₂。可通过反映重叠区域中左图像I₁和右图像I₂之间的相似性来产生成本映射图CM₁₂。例如，在成本映射图CM₁₂中，以相对亮的色彩表现的部分可指示具有左图像I₁和右图像I₂之间相对低的相似性的部分，以相对暗的色彩表现的部分可指示具有左图像I₁和右图像I₂之间相对高的相似性的部分。

图像处理设备可通过基于最佳阈值将CM₁₂二值化来产生虚影映射图GM₁₂。即，可通过最佳阈值估计处理确定最佳阈值，最佳阈值估计处理可对应于图像处理领域广泛使用的技术，因此为了简洁将省略进一步的描述。

虚影信息可包括在虚影映射图GM₁₂中。在这种情况下，虚影信息可对应于与图像的色调校正无关的信息。图像处理设备可通过二值化从成本映射图CM₁₂容易地产生虚影映射图GM₁₂。在虚影映射图GM₁₂中，亮区域510可对应于在左图像I₁和右图像I₂的重叠区域中与色调校正相关的区域，暗区域520可对应于在左图像I₁和右图像I₂的重叠区域中与色调校正无关的区域。

图6示出根据示例性实施例的产生全局色调校正函数的操作。

图6示出当使用左图像和右图像沿着水平方向产生全景图像时，在左图像和右图像的重叠区域中产生的虚影映射图。当沿着水平方向产生全景图像时，竖直方向上的色调差在重叠区域中可能变化相对较小。因此，产生关于水平方向上的色调差的全局色调校正函数可能足以表现重叠区域的色调差的变化。

图像处理设备可通过计算由虚影映射图上的箭头的方向指示的除了竖直方向上的虚影像素以外的像素的色调差的累加平均值，来产生水平方向上的全局色调校正函数。在这种情况下，色调差可指示与左图像和右图像相应的像素之间的色调差。

图像处理设备可使用累加平均值的值来产生水平方向上的全局色调校正函数f_g(x)。图像处理设备可通过对f′_g(x)执行平滑滤波来消除包括在f′_g(x)中的噪声。f_g(x)可作为对f′_g(x)执行平滑滤波的结果被产生。f′_g(x)和f_g(x)可通过以下等式来表示：

${f^{\′}}_g\left(x\right)=\frac{1}{H}\underset{y=0}{\overset{h}{\mathrm{\Σ}}}(I_1(x,y)-I_2(x,y))\left({\mathrm{GM}}_{12}(x,y)\right)$

$H=\underset{y=0}{\overset{h}{\mathrm{\Σ}}}\left({\mathrm{GM}}_{12}(x,y)\right)$

$f_g\left(x\right)=\frac{1}{2n+1}\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\left({f^{\′}}_g(x+i)\right)$

在这种情况下，I₁(x，y)表示左图像中的像素的色调，I₂(x，y)表示左图像中的像素的色调，GM₁₂(x，y)表示虚影映射图的像素是否对应于虚影像素。当虚影映射图的像素对应于虚影像素时，GM₁₂(x，y)可以为“0”。H表示当沿着虚影映射图上的竖直方向计算累加平局值时除了虚影像素以外的像素的和。“h”表示虚影映射图上的水平方向上的像素的数量。“n”表示平滑滤波器的大小。

参照图6，曲线图610示出基于关于虚影映射图的信息计算水平方向上的全局色调校正函数的结果，曲线图620表示计算平滑的全局色调校正函数的结果。

图7示出根据示例性实施例的产生最佳接缝的局部信息的操作。

在图7的成本映射图上沿着竖直方向绘出的曲线可指示当接合左图像和右图像时出现的最佳接缝。图像处理设备可通过计算包括在最佳接缝中的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来获得局部信息TD(x，y)。局部信息TD(x，y)可指示用于将包括在最佳接缝中的像素的色调校正成与相邻像素相似的信息。图像处理设备可从虚影映射图获得关于虚影像素的信息。局部信息TD(x，y)可通过以下等式来表示。

$\mathrm{TD}(x,y)=\frac{1}{W}\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}((I_1(x+j,y+i)-I_2(x+j,y+i))\left({\mathrm{GM}}_{12}(x+j,y+i)\right)$

在这种情况下，W表示在预定大小的窗口中除了虚影像素以外的像素的数量，I₁(x+j，y+i)表示在所述窗口中左图像的像素的色调，I₂(x+j，y+i)表示在所述窗口中右图像的像素的色调，GM₁₂(x+j，y+i)表示虚影映射图的像素是否对应于所述窗口中的虚影像素。

图8示出根据示例性实施例的色调校正映射图。

参照图8，图像处理设备可通过将全局色调校正函数f_g(x)补偿局部色调校正级别TC(y)来产生色调校正映射图TM(x，y)。在这种情况下，可通过从局部信息TD(x，y)减去全局色调校正函数f_g(x)开计算局部色调校正级别TC(y)。局部色调校正级别TC(y)可如下所示来表示。

TC(y)＝TD(x，y)-f_g(x)

可通过将局部色调校正级别TC(y)与全局色调校正函数f_g(x)相加来计算色调校正映射图TM(x，y)。色调校正映射图TM(x，y)可如下所示来表示。

TM(x，y)＝f_g(x)+TC(y)

曲线图810示出通过计算全局色调校正函数f_g(x)获得的结果，曲线图820示出通过计算色调校正映射图TM(x，y)获得的结果。

图9示出根据示例性实施例的输入的左图像和右图像的双向校正。

参照图9，当在左图像910和右图像920的重叠区域930上确定色调校正映射图TM(x，y)时，可应用权重以使色调校正可从左图像910到重叠区域930被自然地执行。可应用权重以使色调校正可从右图像920到重叠区域930被自然地执行。最佳接缝940可存在于重叠区域930中。

可基于连接左图像910和重叠区域930的部分931确定权重w₁(x)。可与重叠区域930沿着方向950的宽度(width)成正比地确定权重w₁(x)。权重w₁(x)可如下所示来表示。

$w_1\left(x\right)=\frac{x}{\mathrm{width}}(0\≤x\≤\mathrm{width})$

可基于连接右图像920和重叠区域930的部分933确定权重w₂(x)。可与重叠区域930沿着方向960的宽度成正比地确定权重w₂(x)。权重w₂(x)可如下所示来表示。

$w_2\left(x\right)=\frac{\mathrm{width}-x}{\mathrm{width}}(0\≤x\≤\mathrm{width})$

图像处理设备可通过将权重w₁(x)应用于色调校正映射图TM(x，y)来产生用于左图像910的色调校正的最终色调校正映射图TM₁(x，y)。图像处理设备可通过将权重w₂(x)应用于色调校正映射图TM(x，y)来产生用于右图像920的色调校正的最终色调校正映射图TM₂(x，y)。最终色调校正映射图TM₁(x，y)和最终色调校正映射图TM₂(x，y)可如下所示来表示。

TM₁(x，y)＝TM(x，y)×w₁(x)

TM₂(x，y)＝TM(x，y)×w₂(x)

图像处理设备可获得具有通过从左图像910减去最终色调校正映射图TM₁(x，y)或者将最终色调校正映射图TM₁(x，y)加到左图像910而被最终校正的色调的左图像I′₁(x，y)。图像处理设备可获得具有通过从右图像920减去最终色调校正映射图TM₂(x，y)或者将最终色调校正映射图TM₂(x，y)加到右图像920而被最终校正的色调的右图像I′₂(x，y)。例如，具有被最终校正的色调的左图像I′₁(x，y)和具有被最终校正的色调的右图像I′₂(x，y)可如下所示来表示。

I′₁(x，y)＝I₁(x，y)-TM₁(x，y)

I′₂(x，y)＝I₂(x，y)+TM₂(x，y)

图像处理设备可通过混合具有被最终校正的色调的左图像I′₁(x，y)和具有被最终校正的色调的右图像I′₂(x，y)来产生全景图像。

图10示出根据示例性实施例的图像处理方法。

在操作1010，图像处理设备可使用最佳接缝估计处理来估计左图像和右图像的最佳接缝。在这种情况下，左图像和右图像可对应于输入图像。最佳接缝估计处理可包括：通过基于在左图像和右图像的重叠区域中与左图像和右图像相应的像素之间的色彩相似性和灰度相似性的等级连接相似像素，来估计最佳接缝处理。

在操作1020，图像处理设备可通过将成本映射图二值化来产生虚影映射图。左图像和右图像之间的相似度可反映在成本映射图中。图像处理设备可基于最佳阈值将成本映射图二值化。图像处理设备可通过比较成本映射图上的每个像素的相似度与最佳阈值来将成本映射图二值化，从而产生虚影映射图。

在操作1030，图像处理设备可产生最佳接缝的局部信息。具体地讲，图像处理设备可产生包括在最佳接缝中的像素的局部信息。在这种情况下，图像处理设备可通过计算在最佳接缝的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生局部信息。可从虚影映射图获得关于虚影像素的信息。

在操作1040，图像处理设备可计算全局色调校正函数。图像处理设备可基于来自虚影映射图的信息计算水平方向上的全局色调校正函数。在全局色调校正函数中可基于左图像和右图像的重叠区域中除了虚影像素以外的像素反映色调差。

在操作1050中，图像处理设备可基于局部信息和全局色调校正函数计算局部色调校正级别。局部色调校正级别可用于提高包括在重叠区域上的最佳接缝中的像素的色调校正的准确度。

在操作1060，图像处理设备可通过将全局色调校正函数补偿局部色调校正级别来产生色调校正映射图。

在操作1070，图像处理设备可将基于左图像的权重和基于右图像的权重应用于色调校正映射图。

在操作1080，图像处理设备可基于应用于色调校正映射图的权重产生将被用于左图像的最终色调校正映射图和将被用于右图像的色调校正映射图。

在操作1090，图像处理设备可使用相应的最终色调校正映射图来校正左图像和右图像的色调。

图11示出根据示例性实施例的具有校正的色调的全景图像。

图像1110对应于通过估计左图像和右图像的最佳接缝并混合左图像和右图像而产生的全景图像。图像1120对应于通过根据示例性实施例基于最终色调校正映射图校正左图像和右图像的色调并混合左图像和右图像而产生的全景图像。参照图11，与图像1110相比，图像1120可具有自然的色调。

根据上述实施例的处理图像的方法可被记录在包括程序指令以执行通过计算机实施的各种操作的非瞬时计算机可读介质中。所述介质还可单独包括程序指令、数据文件、数据结构等，或者可包括它们的组合。非瞬时计算机可读介质的示例包括：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CDROM盘和DVD；磁光介质，诸如光盘；专门配置以存储和执行程序指令的硬件装置，诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。磁记录设备的示例包括硬盘装置(HDD)、软磁盘(FD)和磁带(MT)。程序指令的示例包括诸如由编译器产生的机器代码以及包含可由计算机使用解释器执行的高级代码的文件。所述硬件装置可配置为用作一个或多个软件模块以执行上述实施例的操作，反之亦然。

此外，根据实施例的一方面，可提供所述的特征、功能和/或操作的任意组合。

此外，例如如图4所示的图像处理设备可包括用于执行上述单元和方法中的至少一个的至少一个处理器。

虽然已经显示和描述了实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可以在这些实施例中进行修改，本公开的范围由权利要求及其等同物限定。

Claims (17)

1.一种用于处理图像的设备，所述设备包括：

虚影信息获得单元，基于最佳阈值以及反映左图像和右图像之间的相似性的成本映射图，从左图像和右图像的重叠区域获得虚影信息；

色调校正映射图产生器，基于使用虚影信息产生的全局色调校正函数，并基于使用最佳接缝的局部信息产生的局部色调校正级别，产生色调校正映射图；

双向校正器，使用通过将基于左图像的权重和基于右图像的权重应用于色调校正映射图而产生的最终色调校正映射图，校正左图像和右图像。

2.如权利要求1所述的设备，其中，通过重叠左图像和右图像的区域来产生成本映射图，从而左图像和右图像之间的相似性被反映在成本映射图中。

3.如权利要求1所述的设备，其中，左图像和右图像对应于通过在多个拍摄位置拍摄静止对象或运动对象获得的图像。

4.如权利要求2所述的设备，其中，左图像和右图像之间的相似性基于在左图像和右图像的重叠区域中相应的像素之间的色彩相似性和灰度相似性的等级。

5.如权利要求1所述的设备，其中，虚影信息获得单元包括：

最佳接缝假设单元，假设在成本映射图上具有最大相似性的路径作为左图像和右图像的最佳接缝；

二值化单元，通过基于使用最佳阈值估计处理估计的最佳阈值将成本映射图二值化，来产生虚影映射图。

6.如权利要求1所述的设备，其中，色调校正映射图产生器包括：

全局计算单元，使用虚影信息计算全局色调校正函数，

其中，计算全局色调校正函数，从而在所述全局色调校正函数中反映与重叠区域中除了虚影像素以外的像素相应的左图像的像素和右图像的像素之间的色调差。

7.如权利要求6所述的设备，其中，色调校正映射图产生器还包括：

平滑单元，通过平滑滤波器平滑计算的全局色调校正函数的值。

8.如权利要求1所述的设备，其中，色调校正映射图产生器包括：

局部计算单元，通过计算在最佳接缝的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生最佳接缝的局部信息。

9.如权利要求8所述的设备，其中，色调校正映射图产生器还包括：

校正级别计算单元，通过比较包括在最佳接缝中的像素的全局色调校正函数的值和局部信息来计算局部色调校正级别。

10.如权利要求1所述的设备，其中，双向校正器包括：

权重应用单元，将根据左图像与重叠区域之间的距离变化的权重和根据右图像与重叠区域之间的距离变化的权重应用到色调校正映射图。

11.一种处理图像的方法，所述方法包括：

基于最佳阈值以及反映左图像和右图像之间的相似性的成本映射图，从左图像和右图像的重叠区域获得虚影信息；

基于使用虚影信息产生的全局色调校正函数，并基于使用最佳接缝的局部信息产生的局部色调校正级别，产生色调校正映射图；

使用通过将基于左图像的权重和基于右图像的权重应用于色调校正映射图而产生的最终色调校正映射图，校正左图像和右图像。

12.如权利要求11所述的方法，其中，通过重叠左图像和右图像的区域来产生成本映射图，从而左图像和右图像的相似性被反映在成本映射图上。

13.如权利要求11所述的方法，其中，获得步骤包括：

假设在成本映射图上具有最大相似性的路径作为左图像和右图像的最佳接缝；

通过基于使用最佳阈值估计处理估计的最佳阈值将成本映射图二值化，来产生虚影映射图。

14.如权利要求11所述的方法，其中，产生步骤包括：

使用虚影信息计算全局色调校正函数，

其中，计算全局色调校正函数，从而在所述全局色调校正函数中反映与重叠区域中除了虚影像素以外的像素相应的左图像的像素和右图像的像素之间的色调差。

15.如权利要求11所述的方法，其中，产生步骤包括：

通过计算在最佳接缝的像素周围的预定大小的窗口中除了虚影像素以外的像素之间的色调差的平均值，来产生最佳接缝的局部信息。

16.如权利要求15所述的方法，其中，产生色调校正映射图的步骤还包括：

通过比较包括在最佳接缝中的像素的全局色调校正函数的值和局部信息来计算局部色调校正级别。

17.如权利要求11所述的方法，其中，校正步骤包括：

将根据左图像与重叠区域之间的距离变化的权重和根据右图像与重叠区域之间的距离变化的权重应用到色调校正映射图。

Images