CN103871037A - 图像之间颜色转换的方法和装置 - Google Patents

Abstract

建议了一种用于补偿由像素数据表示的作为第一和第二图像的至少两幅图像之间的色差的图像间的颜色转换的方法和装置，其中对于图像的相应特征点，计算颜色映射和几何映射以通过应用所述几何映射和所述颜色映射到第一图像以产生补偿的第一图像来补偿第一图像，所述补偿的第一图像用于通过比较补偿的第一图像和第二图像来检测补偿失败的区域以执行排除补偿失败的图像区域的颜色转换。所述方法可在空闲时执行，并且可应用于均衡在几何和颜色上不同的图像之间的色差，这是例如有助于减少所产生的用于转换数据、数据压缩或在3D应用程序中的精确的视差估计的比特率，以及改善的3D对象的纹理的颜色一致性。

Description

图像之间颜色转换的方法和装置

技术领域

本发明涉及一种在例如提供在几何和颜色方面略有不同的图像的两个相机的图像的图像之间进行颜色转换的方法和装置。

背景技术

在立体或3D再现的视频处理中，一个问题是同一场景的两个或两个以上的视图之间的色差，因为3D视频内容通常是从两个或两个以上的所捕获的2D视频中创建的。例如，这些差异可能是由物理灯光效果，或由相机不是完全相同而导致的，因为，例如，每个相机都有自己的镜头、传感器和更具体的性能。特别是在3D再现的情况下，它会导致两个画面中都有稍微不同的颜色的干扰影响，这可能会导致观众头疼。

此外，还有一些需要立体图像的校准颜色作为颜色差异的补偿的技术方面，例如，减少所需的比特率，使用3D信息用于视图内插或隐藏物体的检测来允许更精确的视差估计创建或加强3D信息或2D图像。已知的用于补偿输入图像之间的色差的方法可以分为两组：颜色映射和颜色转换。通常情况下，处理两幅图像，其目标是描述允许将一个图像的颜色变换到同一场景的其它的图像的颜色的颜色变换。

在颜色映射中，假设输入图像之间的几何对应——所谓的特征对应——是可用的。特征对应的一个众所周知的方法是尺度不变特征变换，所谓的SIFT。它使用描述符基于输入图像中的高斯差异（所谓的DoG）检测相应的特征点。在低纹理的图像或图像部分中，例如天空、人造表面、单一颜色图像中，几何对应往往是不可用的。在颜色转换中，不使用几何对应并且不需要对图像进行纹理处理。有一种精确的几何对应是无意义的情况，因为两个输入图像不显示相同的语义场景，而只是语义接近。根据一个著名的颜色转换算法，将第一和第二阶图像信号静止状态从参考图像转换到对应的目标图像。为了能够分别地处理颜色通道，使用凭经验得到的去相关的颜色空间。

也就是说，当应用已知的颜色映射算法时，如果图像的一部分中的图像内容不对应于SIFT算法的选择标准，则不利用这部分图像的颜色。例如，在图像的低纹理部分是这种情况。

而且，当对显示相同的语义场景的图像应用颜色转换方法时，计算出的颜色转换的精度将受到存在在其他图像中没有对应的图像区域的影响，因为，例如，图像统计将相应地受到这些区域的影响。这是左图像的左边界处的部分可能在右图像中不可见的立体图像的情况或示例，反之亦然。另一示例是来自相机动作是沿固定线路移动（travelling）类型的动作画面场景的图像。这里，在每个图像中，该场景的一小部分不再可见，并且该场景的另外一小部分变为可见的，但是之前未曾可见过。

发明内容

本发明的一个方面是提供一种用于补偿至少两幅图像之间的色差的、虽然存在从一个到另一个图像的裁剪的颜色转换，存在通过视差效应覆盖或显现的图像区域，或者通过移动对象或移动相机覆盖或显现的图像区域。

通过在独立权利要求中所公开的方法和装置解决了这个问题。本发明的有利的附加实施例公开在各个从属权利要求中。

根据本发明，解决了以下矛盾：遭受不能在在其它图像中没有几何对应的图像中利用图像的部分的颜色使得该图像不对应于SIFT算法的选择标准的问题的颜色映射，和遭受如果两个输入图像不显示完全相同的语义场景而只是语义接近并且几何对应不可用时则几何对应没有太大意义的问题的颜色转换。

因此，本发明的一个方面是检测几何补偿失败的第一图像的区域，通过在排除补偿失败的图像区域时，比较所述第一图像和第二几何补偿过的图像并对这两个图像应用颜色转换方法来实现上述检测。这意味着，换句话说，建议检测几何补偿失败的第二图像的区域，在排除几何补偿失败的图像区域的过程中通过比较所述第二图像和第一几何补偿过的图像并对这两个图像应用颜色转换方法来实现上述检测。

根据本发明的一个方法，利用所述至少两个图像的尺度不变特征变换

-提供一组对应的特征点，

-计算能够将所述第一图像中的特征点的颜色映射到所述第二图像中的相应特征点的颜色的颜色映射模型，

-计算能够将所述第一图像中的特征点的图像位置映射到所述第二图像中的相应特征点的图像位置的几何映射模型，

-使用所述几何映射模型和所述颜色映射模型补偿第一图像以生成补偿的第一图像，

-通过比较所述第二图像和所述补偿的第一图像来检测补偿失败的区域，

-对排除补偿失败的图像区域的第一和第二图像应用颜色转换方法。

这意味着，通过在不具有最初校准模式的情况下可在空闲时执行的几何和颜色转换步骤的适合的组合解决了以下矛盾：一方面，颜色映射遭受不能在在其它图像中没有几何对应的图像中利用图像的部分的颜色的问题，另一方面，颜色转换遭受如果两个输入图像不显示相同的语义场景而只是语义接近时则几何对应没有意义的问题。

由相应的装置来实现该方法，其中，将代表第一和第二图像的数据应用到处理器，其用于计算将所述第一图像的颜色映射到第二图像的颜色的颜色映射模型，用于计算将所述第一图像的图像位置映射到所述第二图像的中的相应特征点的图像位置的几何映射模型，

用于使用所述几何映射模型和所述颜色映射模型补偿第一图像以生成补偿的图像，用于通过比较所述第二图像和所述补偿的第一图像来检测补偿失败的区域和用于对排除补偿失败的图像区域的两个图像应用颜色转换算法。

根据本发明的另一实施例，通过比较所述第一图像和补偿的第二图像来检测补偿失败的区域。

本发明的优点是，利用了图像的所有部分，并同时对于裁剪、显现区域、覆盖区域和移动对象具有鲁棒性。

原则上，本发明适合用于均衡色差，这对一系列应用是有帮助的。例如，当立体视频序列被压缩时，对左、右图像间的色差的补偿可以降低产生的比特率。另一个示例是立体序列的3D分析。当补偿了色差后，视差估计可以更精确。另一个示例是在后期制作中视觉效果的3D资产创建。当补偿了多视图序列中的色差后，提取的3D对象的纹理将具有改善了的颜色一致性。

附图说明

参考附图描述本发明的示例性实施例，附图中示出：

图1示出用于补偿至少两个图像之间的色差的颜色转换的方法和第一实施例的框图，以及

图2示出用于补偿至少两个图像之间的色差的颜色转换的方法和第二实施例的框图。

具体实施方式

在整个附图中相似的附图标记和字符指定相似的元素。

首先参考图1，其概括地以框图形式示出类似于示出可能包括可以作为软件或硬件执行的模块、电路或设备的方法的流程图的基本方框作为用于补偿至少两个图像之间的色差的颜色转换的第一实施例。图1在第一步骤中示出为用于在所述至少两个图像之间补偿色差的第一图像Fi和第二图像Si之间的颜色转换从第一图像Fi和第二图像Si计算相应特征点Corrfeapoi。这可以例如通过应用所谓的SIFT算法来进行，因为它是众所周知的，并且，例如，已被Hasan Sheikh Faridul等人在2012年11月12日—11月16日在洛杉矶的颜色和成像会议（Color and ImagingConference）上在《Optimization of Sparse Color Correspondences for ColorMapping》中披露。在第二步骤中，基于增益、偏移和伽马的颜色映射方法以及投影几何映射模型被并行应用到通过所述计算相应特征点Corrfeapoi而提供的特征点对应。

基于增益、偏移和伽马的颜色映射方法是众所周知的，并且对于实验性实施例，如Hasan Sheikh Faridul等人所披露的那样，使用所谓的GOG并从相应特征点估计所述GOG。GOG代表用于计算所述相应特征点Corrfeapoi的颜色映射Cacm的增益、偏移和伽马的缩写词。

为了计算所述相应特征点Corrfeapoi的几何映射Cagm选择众所周知的投影几何映射模型。使用例如Richard J.Radke等人2000年9月在加拿大温哥华的关于图像处理的IEEE国际会议论文集上的《EfficientlyEstimating Projective Transformations》中公布的迭代优化过程来从特征点对应估计六个参数。

根据图1所示的第一实施例，通过如上所述计算颜色映射Cacm将第一图像Fi补偿为补偿的第一图像CompFi，然后，使用投影映射模型几何映射第一图像Fi。对于第二图像的每个像素，使用所述投影映射模型确定所述第一图像中的相应的几何位置。相应的几何位置通常不是第一图像的像素的位置，而是像素的整数位置之间的中间位置。使用三线性插值来与整数像素位置相联系。三线性插值是在规则网格上进行多变量插值的方法。它使用像素的整数网格的颜色坐标来线性地接近三个整数像素位置的局部三角形内的中间位置的颜色坐标。在众所周知的三线性插值中，计算重心坐标，其直接提供中间位置的内插的颜色坐标。在随后的用于检测具有补偿失败的区域Regcompfail的步骤中，对于补偿失败的区域分析补偿的第一图像CompFi。此步骤是通过计算第二图像Si和所述补偿的第一图像CompFi之间的逐像素绝对差值并应用预定阈值到所述绝对差值以便检测具有补偿失败的像素来进行的。此外，分别应用形态吹制（morphological blowing）和收缩算子（shrinking operator）来顺利获得具有补偿失败的成形的图像区域。最后，当从颜色转换的计算中排除补偿失败的图像区域时，使用例如E.Reinhard,M.Ashikhmin,B.Gooch,P.Shirley在IEEE计算机图形学和应用的应用感知特刊（Computer Graphicsand Application,special issue on Applied Perception）2001年9月至10月的第21卷第5号第34-41页上的《Color Transfer between Images》所披露的颜色转换方法。因此，通过应用例如上述颜色转换方法将第一图像Fi的像素数据、第二图像Si的像素数据和所述检测具有补偿失败的区域Regcompfail的结果组合在颜色转换Coltrans方框中以提供颜色转换模型Ctm。所述代表图像的图像的像素数据一般被设置为图像文件，从而使得它们可以被用来计算相应特征点Corrfeapoi和应用颜色转换方法。

本发明的第二实施例在图2中示出，其中，该方法中所固有的原理通过生成用于检测具有补偿失败的区域Regcompfail的补偿的第二图像CompSI来实现。补偿的第二图像CompSI由用于从第一图像Fi和第二图像Si的像素数据计算相应特征点Corrfeapoi的计算部件和用于计算颜色映射Cacm和计算所述相应特征点Corrfeapoi的几何映射Cagm的计算部件生成，所述相应特征点Corrfeapoi在提供补偿的第二图像CompSI的部件中与用于提供补偿的第二图像CompSI的数据的第二图像Si的像素数据相结合。补偿的第二图像CompSI的数据被应用到用于检测具有补偿失败的区域Regcompfail的计算部件，对于所述具有补偿失败的区域Regcompfail因此也应用第一图像Fi的像素数据。最后，颜色转换Coltrans方框与用于检测具有补偿失败的区域Regcompfail的部件的输出端相连接以在例如提供在几何和颜色方面略有不同的图像的两个相机的图像的第一图像Fi的像素数据和第二图像Si的像素数据之间进行颜色转换。然后，在颜色转换Coltrans方框的输出端提供颜色转换模型Ctm以通过考虑具有补偿失败的区域来将颜色转换方法应用到第一图像Fi和第二图像Si。

在需要进行两个以上的图像——即n元组的图像——之间的颜色转换的情况下，通过如上所述计算第n-1个颜色映射将前n-1个图像补偿为n-1个补偿的图像，然后使用n-1个投影映射模型几何映射前n-1个图像。对于每个最后图像的每个像素，使用所描述的投影映射模型和三线性插值来确定前n-1个图像中的相应几何位置。在随后的用于检测具有补偿失败的区域的步骤中，对于诸如所描述的补偿失败的区域分析补偿的前n-1个图像。最后，如上所述，使用n-1个颜色转换方法来分别将颜色从n-1个第一图像中的每一个转换到最后一个图像。

在数个第一图像和数个第二图像的情况下，应以下列方式执行所述方法。首先，将数个第一图像组合——例如通过将其拼凑在一起——为新的、较大的第一图像。其次，将数个第二图像组合——例如通过将其拼凑在一起——为新的、较大的第二图像。然后，所发明的方法被应用到新的第一图像和新的第二图像。

有利地，根据建议的颜色转换，图像的所有部分都被被利用，使得该方法对裁剪、显现区域、覆盖区域和移动对象具有鲁棒性。此外，可以在不具有最初校准模式的情况下进行颜色校准，并且可在空闲时进行颜色校准。

如图1和图2所示，图中的方框可以包括可以作为软件或硬件执行的模块、电路或设备。根据本发明的另一实施例，提供图象处理器以执行上述方法之一。

本发明可应用于均衡在几何和颜色上不同的图像之间的色差，这是例如有助于减少所产生的用于转换数据或数据压缩或在3D应用中的精确的视差估计的比特率，以及改善的3D对象的纹理的颜色一致性。

虽然已相对于其两个特定的实施例示出和描述本发明，但本领域技术人员应理解，在不脱离权利要求书的精神和范围的情况下，可以在其中作出在形式上和细节上的上述和各种其他变化、省略和补充。

Claims (10)

1.一种用于补偿由像素数据表示的至少两幅图像之间的色差的图像间的颜色转换（Coltrans）的方法，其特征在于：

-从所述至少两幅图像中生成相应特征点（Corrfeapoi）；

-计算能够将所述至少两幅图像中的第一图像（Fi）中的特征点的颜色映射到第二图像（Si）中的相应特征点的颜色的颜色映射（Cacm），

-计算能够将所述第一图像（Fi）中的特征点的图像位置映射到所述第二图像（Si）中的相应特征点的图像位置的几何映射（Cagm），

-使用所述几何映射（Cagm）和所述颜色映射（Cacm）补偿第一图像（Fi）以生成补偿的第一图像（CompFi）或者使用所述几何映射（Cagm）和所述颜色映射（Cacm）补偿第二图像（Si）以生成补偿的第二图像（CompSi），

-通过比较所述第二图像（Si）和所述补偿的第一图像（CompFi）来检测补偿失败的区域或者通过比较所述第一图像（Fi）和所述补偿的第二图像来检测补偿失败的区域，以及

-对排除补偿失败的图像区域的第一（Fi）和第二图像（Si）应用颜色转换（Coltrans）方法。

2.根据权利要求1所述的方法，其中，基于至少作为第一图像（Fi）和第二图像（Si）的输入图像中的高斯差异通过尺度不变特征变换生成图像的相应特征点（Corrfeapoi）。

3.根据权利要求1所述的方法，其中，通过基于增益、偏移和伽马将颜色映射方法应用到相应特征点（Corrfeapoi）来计算颜色映射（Cacm）。

4.根据权利要求1所述的方法，其中，通过投影几何映射模型的迭代优化过程来计算几何映射（Cagm）。

5.根据权利要求1所述的方法，其中，通过计算颜色映射（Cacm）来将第一图像（Fi）补偿为补偿的第一图像（CompFi），然后，使用投影映射模型来几何映射第一图像（Fi）。

6.根据权利要求1所述的方法，其中，通过计算颜色映射（Cacm）来将第二图像（Si）补偿为补偿的第二图像（CompSi），然后，使用投影映射模型来几何映射第二图像（Si）。

7.根据权利要求1所述的方法，其中，通过计算第二图像（Si）和所述补偿的第一图像（CompFi）之间的逐像素绝对差值或者通过计算第一图像（Fi）和所述补偿的第二图像（CompSi）之间的逐像素绝对差值并应用预定阈值到所述绝对差值以便检测具有补偿失败的像素来进行对具有补偿失败的区域的检测（Regcompfail）。

8.根据权利要求1所述的方法，其中，将排除补偿失败的图像区域的颜色转换（Coltrans）方法应用到第一（Fi）和第二（Si）图像以提供颜色转换模型（Ctm）。

9.一种用于补偿由像素数据表示的至少两幅图像之间的色差的图像间的颜色转换（Coltrans）的装置，其中，提供图像处理器以执行根据权利要求1至8中任一项所述的方法之一。

10.根据权利要求9所述的装置，包括：计算器，用于从像素数据计算将所述至少两个图像的第一图像（Fi）的颜色映射到第二图像（Si）的颜色的颜色映射（Cacm）以及用于计算将所述第一图像（Fi）的图像位置映射到所述第二图像（Si）中的相应特征点（Corrfeapoi）的图像位置以提供补偿的图像（CompFi或CompSi）的像素数据的几何映射（Cagm），用于计算第二图像（Si）和所述补偿的第一图像（CompFi）之间的或者第一图像（Fi）和所述补偿的第二图像（CompSi）之间的逐像素绝对差值并应用预定阈值到所述绝对差值以便从所述图像间的颜色转换（Coltrans）中排除具有补偿失败的像素区域。

Images