CN108352055B - 用于校正图像的方法和装置 - Google Patents

Abstract

本发明公开了一种包括处理设备的装置以及一种用于在处理设备中对图像进行颜色校正的方法，所述方法包括：获得图像；确定所述图像的拉普拉斯矩阵；获得所述图像的第一区域，所述第一区域指示所述图像的要进行颜色校正的部分；获得所述图像的第二区域；基于所述第二区域获得第一重新着色图像；基于所述拉普拉斯矩阵和所述第一重新着色图像确定第一校正图像的第一校正区域；以及基于所述第一校正图像的所述第一校正区域获得和输出校正图像。

Description

用于校正图像的方法和装置

本公开涉及用于在处理设备中对图像进行校正的方法和装置。

背景技术

摄影棚摄影中非常完善的过程是在背景前拍摄容易与前景分离的对象。这种背景通常是蓝色或绿色，因此它被称为蓝屏摄影或绿屏摄影。这种设置使得能够使用所谓的色度键控自动地随后移除背景，这就是它在很大程度上被认为是行业标准的原因。然而，该过程的副作用是光从背景溢出到对象上，这导致最终图像的错误着色。

已经提出了称为“溢出校正”的各种过程来减轻该问题，参考例如US 6,553,140、US 7,280,117、US 7,692,664、US 8,081,821和CN 101764913。

然而，这些方法不提供校正到满意程度的图像。

发明内容

因此，需要提供用以减少图像的颜色校正中光溢出的改进装置和方法。

本发明公开了用于在处理设备中对图像进行校正(诸如颜色校正)的方法。方法包括获得图像。方法包括确定图像的表示，诸如拉普拉斯矩阵。方法包括获得图像的第一区域。第一区域可指示要被校正的图像的部分。方法包括获得图像的第二区域。方法包括基于第二区域获得第一重新着色图像。方法包括例如基于拉普拉斯矩阵和/或第一重新着色图像确定第一校正图像的第一校正区域。方法包括基于第一校正图像的第一校正区域获得和/或输出校正图像。

还公开了用于图像的颜色校正的装置。该装置包括处理设备。该处理设备被配置用于获得图像。该处理设备被配置用于确定图像的拉普拉斯矩阵。该处理设备被配置用于获得图像的第一区域。该第一区域可指示要被(颜色)校正的图像的一部分。处理设备被配置用于获得图像的第二区域。处理设备被配置用于基于第二区域获得第一重新着色图像。处理设备被配置用于确定第一区域的第一校正图像。第一校正图像可基于拉普拉斯矩阵。第一校正图像可基于第一重新着色图像。处理设备被配置用于基于第一校正图像获取校正图像。处理设备被配置用于输出校正图像。

本公开提供了对光从图像的背景溢出到图像的对象上的问题的解决方案，因为该方法和装置能够去除颜色溢出并以更高的程度恢复真实颜色。本公开提供图像的对象的高效和高质量剪切。

有利的是该方法和装置可用于产生图像的自动剪切的高吞吐量、高质量要求的设置。

有利的是该方法和装置可节省产生图像的剪切的时间。另外，该方法的优点在于其可节省装置的处理功率。

使用图像的表示(诸如拉普拉斯矩阵)具有提供图像的平滑度表示的优点。平滑度表示可用于使像素与其他像素相关，并且因此用于确定和决定图像中的颜色校正。

有利的是使用在拉普拉斯矩阵中概括的非常丰富的表示实现的质量比现有方法在视觉上可更加令人愉悦。另外，该方法可用于图像的无监督或自动的颜色校正，其中其他工具是手动监督或用户驱动的。

附图说明

对于本领域的技术人员而言，通过参照附图对本发明的示例性实施方案的以下详细描述，上述和其他特征和优点将变得显而易见，在附图中：

图1示意性地示出示例性图像，该图像示出通过本发明方法获得的图像中的颜色校正或颜色变化。

图2示意性地示出示例性图像，该图像示出通过本发明方法获得的图像中的颜色校正或颜色变化。

图3示意性地示出示例性流程图，该流程图示出本发明方法的步骤。

图4示意性地示出示例性流程图，该流程图示出本发明方法的步骤。

图5示意性地示出示例性流程图，该流程图示出本发明方法的步骤。

图6示意性地示出示例性流程图，该流程图示出本发明方法的步骤。

图7示意性地示出示例性流程图，该流程图示出本发明方法的步骤。

图8示意性地示出示例性流程图，该流程图示出本发明方法的步骤。

图9示意性地示出用于图像的颜色校正的装置的示例。

具体实施方式

下文参考附图描述各种实施方案。通篇中类似参考标号指示类似元件。因此，相对于每个附图的描述将不再详细描述类似的元件。应当注意，附图仅旨在有助于对实施方案的描述。它们不旨在作为受权利要求保护的本发明的详尽描述或作为对受权利要求保护的本发明的范围的限制。此外，例示的实施方案不需要具有示出的所有方面或优点。结合特定实施方案描述的方面或优点不一定限于该实施方案，并且可在任何其他实施方案中实施，即使没有如此说明，或者即使没有如此明确地描述。

通篇中，相同的参考标号用于相同或对应的部分。

方法包括获得图像。图像可以是整个图像或基本图像的一部分。获得图像可包括切割和/或裁剪基本图像的一部分。获得图像可包括例如从存储单元和/或经由互联网检索图像。获得图像可包括检索基本图像并从基本图像导出图像。获得图像可包括将基本图像的图像格式改变为不同的图像格式并且使用格式化的基本图像作为图像。例如，获得图像可包括改变图像格式，例如，将基本图像的CMYK改变为所需的图像格式，诸如RGB。

图像可以是单帧图像和/或静止图像和/或二维(2D)图像。图像可以是对象(诸如人)的照片，因此图像可以是人像或人像照片。图像可以是三维(3D)图像，诸如3D图像数据流，和/或胶片图像或视频图像或者视频序列或帧。图像可以是卫星图像。图像可包括一个或多个子图像，诸如第一图像、第二图像、第三图像等，其中每个子图像表示图像的颜色通道。图像可以是RGB彩色图像。图像可以是CMYK彩色图像。

图像可包括第一图像。第一图像可对应于图像的颜色通道。第一图像可对应于RGB彩色图像的红色通道。第一图像可对应于CMYK彩色图像的青色通道。第一图像可对应于卫星图像的第一通道。

图像可包括第二图像。第二图像可对应于图像的颜色通道。第二图像可对应于RGB彩色图像的绿色通道。第二图像可对应于CMYK彩色图像的品红色通道。第二图像可对应于卫星图像的第二通道。

图像可包括第三图像。第三图像可对应于图像的颜色通道。第三图像可对应于RGB彩色图像的蓝色通道。第三图像可对应于CMYK彩色图像的黄色通道。第三图像可对应于卫星图像的第三通道。

图像可包括第四图像。第四图像可对应于图像的颜色通道。第四图像可对应于CMYK彩色图像的关键颜色通道(黑色)。第四图像可对应于卫星图像的第四通道。

方法包括确定和/或获得图像的表示，诸如平滑度表示。该表示可指示图像或其至少部分的图像平滑度。该表示可以是图像的拉普拉斯矩阵。拉普拉斯矩阵可以是抠图拉普拉斯矩阵(matting Laplacian matrix)。

例如就像素的相似程度而言，图像的平滑度表示提供了一个像素处的颜色如何与图像中的其他像素相关的模型。拉普拉斯矩阵可以是表示这种信息的优选方式。使拉普拉斯矩阵表示图像有利于颜色从图像的一部分传播到另一部分。

拉普拉斯矩阵是图的矩阵表示。图的边权表示连接节点的连接强度。图像的拉普拉斯矩阵表示是像素到像素相似性的矩阵表示。因此图像的平滑度可用图像的拉普拉斯矩阵来表示。

确定图像的拉普拉斯矩阵可包括确定图像的抠图拉普拉斯矩阵，例如，其中抠图拉普拉斯矩阵由下式给出：

其中下标ij是指矩阵的第ij个元素，(δ_ij是克罗内克符号，k是总数|w_k|、协方差矩阵Σ_k和平均向量μ_k的第k个窗口。此处，I_i是第i个像素的颜色通道值(诸如RGB值)的向量，并且I₃是3×3单位矩阵。此处，I_j是第j个像素的颜色通道值(诸如RGB值)的向量。

方法包括获得图像的第一区域。第一区域可指示待(颜色)校正的图像的一部分。第一区域可包括一个或多个子区域，例如包括第一主要区域和/或第一次要区域。第一区域可具有错误或不期望的颜色，或者第一区域可包括具有错误或不期望的颜色的子区域或像素。第一区域可被称为未知区域，因为第一区域的像素的期望颜色仍然是未知的。第一区域可被表示为图像的未知区域，或者不确定或不正确着色的区域。第一区域可以是应该被校正(诸如颜色校正或用正确的颜色填充等)的区域。第一区域可包括图像中的期望部分/对象与第二区域之间的边界区域或边缘区域。第二区域可以是图像的背景部分。第一区域可以是包括例如由于光从第二区域(例如，背景部分)溢出到对象上而在图像中具有不期望的外观的像素的区或子区域的区域。光从背景溢出到对象上的效果可导致对象的头发被错误着色，诸如对象的头发例如在对象和背景之间的边界或边缘处具有绿色色调。

因此，本公开的优点在于可以显著减少或补偿从背景到对象的光溢出。

获得第一区域可包括接收指示第一区域的用户输入。第一区域可通过用户手动接收用户输入来获得，诸如用户使用计算机软件图形工具在图像上(诸如在计算机屏幕上)绘制或标记第一区域。

第一区域可基于例如色度键控或其他技术自动地或至少半自动地确定。获得第一区域可包括基于图像，例如基于图像的图像的α抠图来确定图像的第一区域。α抠图然后可用于例如通过比较像素的α值与阈值来确定第一区域。α是指示每个像素的不透明度的值，该值可在从0到1的范围内，其中0完全透明，而1完全不透明。例如，具有在一定范围内(诸如从0.10到0.90)的α值的图像的像素可被认为是第一区域的一部分。

因此，要重新着色或校正的第一区域可以各种方式确定，例如，通过自动区域标识符和/或通过用户输入。自动区域识别可包括在给定关键颜色或像素分类的情况下使用色度键控，例如，使用纹理信息和/或使用数学模型。在该上下文中，用户可以是发起、控制或操作图像处理的人，诸如摄影师、摄影师的助理、执行图像处理的公司中的操作者等。

图像的区域(例如，第一区域和/或第二区域)包括多个像素，诸如图像的像素的子集。区域的子区域包括多个像素，诸如区域的像素的子集。

方法包括获得图像的第二区域。第二区域可以是图像中背景的至少一部分，诸如来自摄影工作室的蓝色屏幕或绿色屏幕。

在指定或确定上述第一区域之后，可定义或选择或应用数学模型以例如通过使用来自第二区域的信息来确定第一区域中的颜色。

获得第二区域可包括接收指示第二区域的用户输入。第二区域可通过用户手动接收用户输入来获得，诸如用户使用计算机软件图形工具在图像上(诸如在计算机屏幕上)绘制或标记第二区域。

第二区域可基于例如色度键控或其他技术自动地或至少半自动地确定。获得第二区域可包括基于图像，例如基于图像的图像的α抠图和/或图像的第一区域来确定图像的第二区域。α抠图然后可用于例如通过比较像素的α值与阈值来确定第二区域。具有大于阈值(诸如大于0.9)的α值的图像的像素可被认为是第二区域的一部分。具有小于阈值(诸如小于0.1)的α值的图像的像素可被认为是第二区域的一部分。因此，第二区域可以各种方式确定，例如，通过自动区域标识符和/或通过用户输入。自动区域识别可包括在给定关键颜色或像素分类的情况下使用色度键控，例如，使用纹理信息。在该上下文中，用户可以是发起、控制或操作图像处理的人，诸如摄影师、摄影师的助理、执行图像处理的公司中的操作者等。

方法可包括获得第三区域。可确定图像的第三区域。第三区域可以是图像的前景或前景的子集，诸如对象或对象的一部分。

第一区域可以是或者包括第二区域与第三区域之间的边缘、或边界、或区域、或区。

第一区域和第二区域可以是不相交的区域。第一区域和第二区域可以是相邻区域。第一区域和第二区域可以是重叠区域。第二区域可被第一区域包围。

第一区域和第三区域可以是不相交的区域。第一区域和第三区域可以是相邻区域。第一区域和第三区域可以是重叠区域。第一区域可被第三区域包围。

第二区域和第三区域可以是不相交的区域。第二区域和第三区域可以是相邻区域。第二区域和第三区域可以是重叠区域。第二区域可被第三区域包围。

获得第三区域可包括接收指示第三区域的用户输入。第三区域可通过用户手动接收用户输入来获得，诸如用户使用计算机软件图形工具在图像上(诸如在计算机屏幕上)绘制或标记第三区域。

第三区域可基于例如色度键控或其他技术自动地或至少半自动地确定。获得第三区域可包括基于图像，例如基于图像的图像的α抠图、图像的第一区域和/或图像的第二区域来确定图像的第三区域。α抠图然后可用于例如通过比较像素的α值与阈值来确定第三区域。具有大于阈值(诸如大于0.9)的α值的图像的像素可被认为是第三区域的一部分。具有小于阈值(诸如小于0.1)的α值的图像的像素可被认为是第三区域的一部分。因此，第三区域可以各种方式确定，例如，通过自动区域标识符和/或通过用户输入。自动区域识别可包括在给定关键颜色或像素分类的情况下使用色度键控，例如，使用纹理信息。在该上下文中，用户可以是发起、控制或操作图像处理的人，诸如摄影师、摄影师的助理、执行图像处理的公司中的操作者等。

方法包括基于第二区域获得一个或多个重新着色图像。

方法可包括基于第二区域获得第一重新着色图像。第一重新着色图像可对应于颜色通道。第一重新着色图像可对应于RGB彩色图像的红色通道。第一重新着色图像可对应于CMYK彩色图像的青色通道。

方法包括基于图像的表示(例如，拉普拉斯矩阵)和/或第一重新着色图像确定第一校正图像的第一校正区域。

方法可包括基于第二区域获得第二重新着色图像。第二重新着色图像可对应于颜色通道。第二重新着色图像可对应于RGB彩色图像的绿色通道。第二重新着色图像可对应于CMYK颜色表示中的品红色通道。

方法可包括基于图像的表示(例如，拉普拉斯矩阵)和/或第二重新着色图像确定第二校正图像的第一校正区域。

方法可包括基于第二区域获得第三重新着色图像。第三重新着色图像可对应于颜色通道。第三重新着色图像可对应于RGB彩色图像的蓝色通道。第三重新着色图像可对应于CMYK彩色图像的黄色通道。

方法可包括基于图像的表示(例如，拉普拉斯矩阵)和/或第三重新着色图像确定第三校正图像的第一校正区域。

方法可包括基于第二区域获得第四重新着色图像。第四重新着色图像可对应于颜色通道。第四重新着色图像可对应于CMYK彩色图像的关键颜色通道(黑色)。

方法包括基于第一校正图像获得和输出校正图像。校正图像可基于第二校正图像和/或第三校正图像。校正图像可基于第四校正图像。

第一校正图像可以是或者对应于第一颜色通道，例如RGB彩色图像的颜色通道或CMYK彩色图像的颜色通道。第一校正图像可对应于RGB彩色图像的红色通道。第一校正图像可对应于CMYK彩色图像的青色通道。

第二校正图像可以是或者对应于第二颜色通道，例如RGB彩色图像的颜色通道或CMYK彩色图像的颜色通道。第二校正图像可对应于颜色通道。第二校正图像可对应于RGB彩色图像的绿色通道。第二校正图像可对应于CMYK颜色表示中的品红色通道。

第三校正图像可以是或者对应于第三颜色通道，例如RGB彩色图像的颜色通道或CMYK彩色图像的颜色通道。第三校正图像可对应于RGB彩色图像的蓝色通道。第三校正图像可对应于CMYK彩色图像的黄色通道。

第一校正图像可以是灰度级图像。在该情况下，可省去对应于颜色通道的另外校正图像。

基于图像的第二区域获得重新着色图像包括选择和设置一个或多个重新着色图像的第二重新着色区域的颜色。重新着色图像的第二重新着色区域的像素可对应于图像的第二区域的像素。

例如，获得重新着色图像(诸如第一重新着色图像、第二重新着色图像和/或第三重新着色图像)可包括识别相应重新着色图像的第二重新着色区域。重新着色图像的第二重新着色区域可对应于相应图像的第二区域。例如，第一重新着色图像的第二重新着色区域可对应于第一图像的第二区域。例如，第二重新着色图像的第二重新着色区域可对应于第二图像的第二区域。例如，第三重新着色图像的第二重新着色区域可对应于第三图像的第二区域。随后，确定相应重新着色图像(第一重新着色图像、第二重新着色图像和第三重新着色图像)的第二重新着色区域的颜色设置并将其应用于相应重新着色图像的第二重新着色区域。

第一重新着色图像、第二重新着色图像、第三重新着色图像和/或第四重新着色图像可通过分别指定、调整、确定和/或交换第一图像、第二图像、第三图像和/或第四图像的第二区域中的颜色或颜色设置来获得。如果图像的背景是来自摄影工作室的绿色屏幕，则图像的第二区域(例如，背景)的颜色可例如为绿色。第二区域被指定、调整、确定和/或交换成为的颜色(即，第二重新着色区域的颜色设置)可例如对应于对象的发生光溢出的部分。例如，如果对象的头发在通常发生光溢出的情况下是棕色的，则重新着色图像的第二重新着色区域的颜色可对应于棕色。

因此，第一区域(例如，包括待颜色校正的区或像素的区域)的颜色可通过指定、调整、确定和/或交换图像的不同区域上的颜色(诸如重新着色图像的第二重新着色区域中的颜色)来校正。

图像的表示(诸如拉普拉斯矩阵)可规定和/或确保来自第二区域(例如，图像的背景)的例如关于颜色依赖性和/或像素依赖性的信息被传输到第一区域(例如，图像的待颜色校正的区域)。

校正图像的第一校正区域可基于拉普拉斯矩阵和/或对应的重新着色图像来确定，因为有利的是拉普拉斯矩阵可确保颜色的平滑化并且第一重新着色图像可确保期望的颜色。平滑化可以是视觉上令人愉悦的颜色平滑化。

方法包括获得校正图像。校正图像可基于校正图像的第一校正区域。校正图像可基于第一校正图像的第一校正区域。校正图像可基于第一校正图像。校正图像可以是递送给客户、顾客等的最终图像，或者校正图像可被进一步处理。校正图像可以是中间校正图像，并且通过例如用另一个第一区域和第二区域重复该方法来进一步处理。获得校正图像可包括获得表示图像的α抠图的遮罩，其中校正图像基于遮罩。

方法包括输出校正图像。输出校正图像可包括存储和/或发送和/或传送图像。校正图像可被存储在存储单元上并且/或者发送到和/或传送到显示器，诸如计算机屏幕、图形用户界面等。

图像可被存储在远程存储装置(诸如云存储装置)中。云存储装置可被连接到云服务。图像可经由云服务存储在云存储装置中和/或从云存储装置中检索。

图像可被存储在本地存储装置中，诸如用户的计算机或图像处理设备上的数据库或文件夹中。

图像可被永久地和/或暂时地存储在远程存储装置和/或本地存储装置中。存储的图像可被加密或者不被加密。

方法的步骤顺序可以按照如上所述的顺序或按照任何其他顺序。例如，在获得图像之后，可在确定拉普拉斯矩阵之前获得第一区域。例如，在获得图像之后，可在获得第一区域之前获得第二区域。因此例如第二步骤、第三步骤和第四步骤的顺序可以按照任何顺序。

对问题的约束可以不同方式来指定(例如，基于图像中的颜色，和/或基于图像的一些其他度量)，并且/或者经由用户输入来指定。

它不一定是应该使用的拉普拉斯的全拉普拉斯矩阵或全像素图，诸如全抠图拉普拉斯矩阵。例如，全像素图的一部分、子集等可用于形成拉普拉斯矩阵。例如，它可能是所使用的低秩近似。例如，可根据特征值使用前N个特征向量进行上行排序，其中N可以在从1到图像中像素的数量的范围内。

校正图像或校正图像的颜色通道(例如红色、绿色和蓝色(RGB)通道)可通过求解三个线性方程组来得到，如在以下方程(2)中。另选地和/或除此之外，它们可通过矩阵乘法在反转矩阵上得到。另选地和/或除此之外，它们可通过近似得到。近似可通过优化算法得到。

此处指定的拉普拉斯矩阵(诸如抠图拉普拉斯矩阵)可以是像素相似性的其他表示。然而，此处具体提到的拉普拉斯矩阵特别好。

经由抠图拉普拉斯的重新着色

考虑具有颜色通道向量R、G、

的RGB图像

以及将未知区域和已知区域分别定义为0和1的遮罩M∈{1，0}^m×n。

抠图拉普拉斯从RGB颜色模型导出，并且描述了相邻像素之间的相似性。抠图拉普拉斯可由具有第(i,j)个元素的

定义。

其中下标ij是指矩阵的第ij个元素，(δ_ij是克罗内克符号，k是总数|w_k|像素、协方差矩阵Σ_k和平均向量μ_k的第k个窗口。此处，I_i是第i个像素的RGB值的向量，并且I₃是3×3单位矩阵。

可用抠图拉普拉斯进行重新着色的步骤可能是首先计算整个图像I的抠图拉普拉斯。接下来，可通过求解三个线性方程组来确定重新着色的

和

值：

其中λ是正则化参数，并且T∈in{0，1}^mn×mn＝diag(M)是保持约束的对角矩阵。M是具有与图像相同的空间维度的二元遮罩，其中第二区域和第三区域中的值为1，并且第一区域中的值为0，即，其中要确定颜色。三个向量R_re、G_re、

构成所谓的重新着色图像。重新着色图像可以多种方式指定：一种方式是将背景区域中的所有内容都设置为估计的(或指定的)头发颜色并保持前景颜色固定，该方式对于头发中的溢出校正是有用的。

将最终颜色校正图像

与三个校正向量

和

组合为颜色通道。

对于颜色通道的抽象化

另选地，可以在不参考显式颜色通道R、G和B的情况下编写重新着色步骤。相反，它们可被称为x_i,i∈{1，...，K}，其中K是要被校正的通道的数量。因此，对于第i个通道我们可获得

作为重新着色图像，并且可得到第i个校正图像作为线性方程的解：

这概括了方程2中的方程，但也涵盖了具有多于三个颜色通道，或者甚至仅有单个颜色通道的情况。

在确定K个校正图像之后，可通过将这些校正图像结合到单个图像来获得最终校正图像。

另选的拉普拉斯

上文指定的抠图拉普拉斯是图像的许多可能的拉普拉斯之一。拉普拉斯可通过指定邻接矩阵A的元素来指定，因为L＝D-A，其中D是具有

的对角度矩阵。

此类另选邻接矩阵的两个示例是：

其中方程4被称为具有尺度参数

的高斯核。在方程5中，

是归一化常数以确保A_ij∈[0，1].。

这两个邻接矩阵隐含地指定了两个另选的拉普拉斯矩阵。

在示例性方法中，校正图像中的至少一个基于第一区域。

这可由以下方程(2)中(即，表达L+λT中)的术语T表示。第一区域中正确或期望的颜色可能保持不变。第二区域的颜色(例如，背景颜色)可被设置为例如图像中的对象的头发颜色。

在示例性方法中，基于第二区域获得第一重新着色图像包括基于第二区域调整第一重新着色图像的第二重新着色区域。

第二重新着色区域可以是重新着色图像中的背景。第二重新着色区域可以是第二区域的一部分或子集。

第二区域的颜色(例如，背景颜色)可被设置为图像上的对象的头发颜色。调整第二重新着色区域可包括调整第二重新着色区域的一个或多个像素的颜色。调整第二重新着色区域可包括指定或确认第二重新着色区域。

在示例性方法中，基于第二区域获得第一重新着色图像包括获得第二重新着色区域的一个或多个区域参数。

区域参数可以是区域的颜色或尺寸。区域参数可以是要对哪些像素进行颜色校正。

获得区域参数可包括基于用户输入确定区域参数。获得区域参数可包括执行图像(诸如输入图像、或基本图像、或原始图像)的图像分析。图像分析可包括颜色分析、边缘检测、层分析，例如，确定图像的前景和/或背景等。

在示例性方法中，基于第二区域获得第一重新着色图像包括将第二重新着色区域的颜色设置为与图像的第二区域的颜色不同的颜色。

因此，第二重新着色区域的颜色可被设置为与图像的背景颜色不同的颜色。

在示例性方法中，基于第二区域获得第二重新着色图像包括将第二重新着色区域的颜色设置为与图像的第二区域的颜色不同的颜色。

在示例性方法中，基于第二区域获得第三重新着色图像包括将第二重新着色区域的颜色设置为与图像的第二区域的颜色不同的颜色。

在示例性方法中，确定图像的拉普拉斯矩阵包括确定图像的抠图拉普拉斯矩阵，抠图拉普拉斯矩阵由下式给出：

其中下标ij是指矩阵的第ij个元素，(δ_ij是克罗内克符号，k是总数|w_k|、协方差矩阵Σ_k和平均向量μ_k的第k个窗口。此处，I_i是第i个像素的RGB值的向量，并且I₃是3×3单位矩阵。

对于RGB图像，我们对红色通道获得重新着色图像R^re(第一重新着色图像)，对绿色通道获得重新着色图像G^re(第二重新着色图像)，对蓝色通道获得重新着色图像B^re(第三重新着色图像)。得到相应校正图像

(第一校正图像)、

(第二校正图像)和

(第三校正图像)作为线性方程的解：

其中λ是正则化参数。

对于具有任意数量的K个通道(例如，颜色通道)的图像，我们获得重新着色图像

作为第i个通道的重新着色图像，并且可得到第i个校正图像

作为线性方程的解：

在示例性方法中，方法包括获得图像的第三区域。方法可包括第一重新着色图像基于第三区域。

第三区域可以是图像的前景或前景的子集。第三区域可以是具有正确或期望颜色的区域。第三区域可以是没有改变或不应该改变(诸如颜色校正等)的区域。第三区域(诸如图像的前景)可以是图像中的对象或人的衬衫或衣服。衬衫或衣服的颜色可具有正确或期望的颜色。

在示例性方法中，第一重新着色图像包括图像的第三区域。

因此，第三区域可以是不应改变的前景，因为前景的颜色可以是正确或期望的。

在示例性方法中，方法包括获得表示图像的α抠图的遮罩。校正图像可基于遮罩。

因此可将遮罩施加到图像作为处理图像的步骤，诸如处理图像的最终步骤。校正图像中的第一区域(例如，图像的边界或边缘)和/或第二区域(例如，背景)、和/或第三区域(例如，前景)的确定可基于遮罩。

α抠图可表示图像中的透明度。α合成是将图像与背景相结合以创建部分或完全透明的外观的过程。可能有用的是在每遍中渲染图像元素，然后将所得多个2D图像组合成称为复合图像的单个最终图像。为了正确地组合这些图像元素，可以保存每个元素的相关联抠图。该抠图包含覆盖信息，即正在绘制的几何图形的形状，使得可以区分图像的实际绘制几何图形的部分和图像的空白的其他部分。

图1和图2示出图像或照片，该图像或照片示出通过本发明方法获得的图像或照片中的颜色校正或颜色变化。

图1示意性地示出减少或去除图像的颜色校正中的光溢出的示例。在图1中，通过使用本发明方法从对象的头发中的背景去除绿色溢出。图1a)中的左侧图像是对象的原始图像的一部分。背景是绿色的。在图的彩色版本中可以看到，一些对象的头发看起来是绿色的，特别是从其余头发伸出的单个发束(4)。

图1a)中的右侧图像是以灰度级显示的原始图像，其中指示出三个区域。标记为1的第一区域是图像的其中来自背景的光溢出到对象上，并且其中颜色应被校正的区域。标记为2的第二区域是图像的背景，在该情况下是摄影工作室中的屏幕(诸如绿色屏幕)，其中颜色将被替换为校正图像的那些颜色。标记为3的第三区域是图像的前景的子集，在该情况下是对象的面部，其中颜色被假设为在图像中是正确的。

在图1b)中，左上图像示出红色、绿色和蓝色(RGB)颜色通道中的原始的、未校正的图像。从该图像中，从背景到第一区域中对象头发4中的绿色溢出非常清晰。

在图1b)中，右上图像是其上覆盖有α通道的RGB颜色通道中的颜色校正图像。从该图像中可清楚地看到，第一区域中对象头发中的绿色溢出已被去除。该图像可以是基于校正图像的校正区域的校正图像。校正图像可至少部分地基于一个或多个重新着色图像。第一重新着色图像可对应于RGB彩色图像的红色通道。第二重新着色图像可对应于RGB彩色图像的绿色通道。第三重新着色图像可对应于RGB彩色图像的蓝色通道。

在图1b)中，左下图像示出仅在绿色通道中的原始的、未校正的图像。从该图像可以看到从背景到第一区域中对象头发中的绿色溢出，但它不如RGB通道中左上图像清晰。

在图1b)中，右下图像是仅在绿色通道中的颜色校正图像，即，该图像可基于重新着色图像。由于颜色通道是绿色通道，所以图像可基于与RGB彩色图像的绿色通道对应的第二重新着色图像。从该图像可以看到第一区域中对象头发中的绿色溢出已被去除，但它不如RGB通道中右上图像清晰。

图2示意性地示出图像中的颜色校正的示例。图2示出如何改变图像中物体的颜色，在该情况下，改变图像中对象所穿的T恤衫的颜色。该示例也使用黑白和灰度级图像清楚地示出方法。在图2中，区域可由用户输入来确定，并且可根本不需要使用任何α遮罩。另选地，区域可以通过自动区域标识符和/或通过自动区域标识符和用户输入的组合来确定。

在图2a)中，顶部图像示出RGB颜色通道中的原始的、未校正的图像。对象的T恤衫是棕色的。

在图2a)中，底部图像示出图像被用户划分成的区域。标记为1的第一区域是图像的其中颜色应被校正或改变的区域。标记为2的第二区域是与第一区域分开，但是被第一区域包围的区域。第一区域的颜色要使用本文所述的方法确定。第二区域中的颜色将被替换为校正图像的颜色。由此，图像中的整个T恤衫将获得相同的颜色。标记为3的第三区域是图像的背景，在该情况下是摄影工作室中的屏幕，诸如白色屏幕，其中颜色被假设为在图像中是正确的。该图像中的第一区域和第二区域是区域的示例，其中第二区域被第一区域包围，并且其中第一区域和第二区域是不相交的区域。

在图2b)中，顶部图像是RGB颜色通道中的颜色校正或颜色改变的图像，其中T恤衫的颜色已从原始的棕色变为蓝色，如在图2a)中的顶部图像中所见。因此，该颜色校正或颜色改变的图像可至少部分地基于一个或多个重新着色图像。第一重新着色图像可对应于RGB彩色图像的红色通道。第二重新着色图像可对应于RGB彩色图像的绿色通道。第三重新着色图像可对应于RGB彩色图像的蓝色通道。

在图2b)中，底部图像是仅在红色通道中的原始图像。

在图2c)中，图像是仅在红色通道中的颜色校正图像。因此，校正图像可至少部分地基于重新着色图像，在该情况下是与RGB彩色图像的红色通道对应的第一重新着色图像。

图3至图8示出示意性流程图，该流程图示出本发明方法的步骤。

图3示意性地示出本发明的示例性实施方案，其中获得基本图像(101)，并且确定图像的拉普拉斯矩阵(102)。接下来，获得第一区域(103)，获得第二区域(104)，并且获得第一重新着色图像(105)。最终，获得(106)并输出(107)第一校正图像。

图4示意性地示出本发明的实施方案，其中图像具有两个颜色通道。步骤201-204类似于图3中的步骤101-104。接下来，获得第一重新着色图像(205)，并且获得第二重新着色图像(206)。基于第一重新着色图像，确定第一校正图像(207)。基于第二重新着色图像，确定第二校正图像(208)。基于第一校正图像和第二校正图像来输出最终校正图像(209)。

图5示意性地示出本发明的实施方案，其中基本图像具有任意数量的颜色通道K。步骤301-304类似于图3中的步骤101-104。首先，整数k被设置为等于1(305)。获得第k个重新着色图像(306)，并且基于此确定第k个校正图像(307)。接下来，k递增一(308)。如果存在多个颜色通道，即，条件k>K(309)未满足，则重复步骤306-309。如果条件k>K被满足(309)，则基于全部K个校正图像输出最终校正图像。

图6示意性地示出从图像自动获得区域的示例。首先，获得基本图像(401)。接下来，获得图像的α遮罩(402)，然后基于α遮罩通过数值计算来确定区域R(403)。最终，获得区域作为R(404)。

图7示意性地示出基于用户输入从图像获得区域的示例。首先，获得基本图像(501)，并将其显示给用户(502)。接下来，用户使用例如图形用户界面来指定区域R(503)。最终，获得区域作为R(504)。

图8示意性地示出获得具有N个像素的图像的拉普拉斯矩阵的示例。首先，获得具有N个像素的基本图像(601)。接下来，指定两个像素x_i和x_j之间的距离或相似性函数d(x_i,x_j)(602)。第一计数器i被设置为等于1(603)，并且第二计数器j被设置为等于1(604)。计算函数值d(x_i,x_j)(605)，并且将邻接矩阵A的第(i,j)个元素设置为等于该值(606)。然后j递增一(607)，并且如果条件j>N(608)未满足，则下一个步骤是605。如果条件被满足，则下一个步骤是使i递增一(610)。如果条件i>N(610)未满足，则下一个步骤是604。如果条件被满足，则从A获得拉普拉斯矩阵(611)。

图9示意性地示出用于图像的颜色校正的装置的示例。装置712包括处理设备714。处理设备被配置用于获得图像。处理设备被配置用于确定图像的拉普拉斯矩阵。处理设备被配置用于获得图像的第一区域，其中第一区域指示图像的待颜色校正的一部分。处理设备被配置用于获得图像的第二区域。处理设备被配置用于基于第二区域获得第一重新着色图像。处理设备被配置用于基于拉普拉斯矩阵和第一重新着色图像确定第一校正图像的第一校正区域。处理设备被配置用于基于第一校正图像的第一校正区域获得和/或输出校正图像。

装置712包括界面716，该界面被配置用于接收和/或传送数据，诸如图像和/或校正图像。界面716连接到处理设备714。界面716被配置用于接收和/或获得待由处理设备714处理的图像或基本图像。界面716被配置用于传送和/或输出已由处理设备714处理的校正图像。

装置712包括存储单元718。存储单元连接到处理设备714。存储单元718被配置用于存储由处理设备714处理的经处理的数据，诸如经处理的图像，诸如校正图像。

尽管已经示出和描述了特定的特征，但是应当理解，它们并非旨在限制受权利要求保护的发明，并且对于本领域的技术人员显而易见的是，可在不脱离受权利要求保护的发明的精神和范围的情况下进行各种改变和修改。因此，说明书和附图应被视为是例示性的而非限制性的。受权利要求保护的发明旨在涵盖所有替代形式、修改形式和等同形式。

附图标记列表

1 第一区域

2 第二区域

3 第三区域

4 错误着色的(例如，绿色)头发

101,201,301,401,501 获得基本图像

102,202,302 确定图像的拉普拉斯矩阵

103,203,303 获得第一区域

104,204,304 获得第二区域

105,205 获得第一重新着色图像

106 获得第一校正图像

107 输出第一校正图像

206 获得第二重新着色图像

207 基于第一重新着色图像确定第一校正图像

208 基于第二重新着色图像确定第二校正图像

209 基于第一校正图像和第二校正图像输出最终校正图像

305 将第一计数器k设置为等于1

306 获得第k个重新着色图像

307 确定第k个校正图像

308 使k递增一

309 检查条件k>K是满足还是未满足，即，是否存在多个颜色通道

402 获得图像的α遮罩

403 基于α遮罩通过数值计算确定区域R

404 获得区域作为R

502 向用户显示基本图像

503 通过用户指定区域R

504 获得区域作为R

601 获得具有N个像素的基本图像

602 指定两个像素x_i和x_j之间的距离或相似性函数d(x_i,x_j)

603 将第一计数器i设置为等于1

604 将第二计数器i设置为等于1

605 计算d(x_i,x_j)的函数值

606 将邻接矩阵A的第(i,j)个元素设置为等于该值

607 使j递增一

608 检查条件j>N是满足还是未满足

609 满足条件608

610 如果条件608被满足，则使i递增一

611 从A获得拉普拉斯矩阵

712 装置

714 处理设备

716 界面

718 存储单元

Claims (14)

1.一种图像校正方法，所述方法包括：

-获得图像；

-确定所述图像的拉普拉斯矩阵；

-获得所述图像的第一区域，所述第一区域指示所述图像的要进行颜色校正的部分；

-获得所述图像的第二区域，所述第二区域对应于所述图像的背景；

-基于所述第二区域通过调整所述图像的所述背景的至少一部分的颜色值获得第一重新着色图像；

-基于所述拉普拉斯矩阵和所述第一重新着色图像确定第一校正图像，所述第一校正图像包括对应于所述第一区域的第一校正区域；以及

-基于所述第一校正图像的所述第一校正区域获得和输出经校正图像。

2.根据权利要求1所述的方法，所述方法包括

-基于所述第二区域获得第二重新着色图像；以及

-基于所述拉普拉斯矩阵和所述第二重新着色图像确定第二校正图像。

3.根据权利要求1所述的方法，所述方法包括

-基于所述第二区域获得第三重新着色图像；以及

-基于所述拉普拉斯矩阵和所述第三重新着色图像确定第三校正图像。

4.根据权利要求1所述的方法，其中该经校正图像基于所述第一区域。

5.根据权利要求1所述的方法，其中基于所述第二区域获得第一重新着色图像包括基于所述第二区域调整所述第一重新着色图像的与所述第二区域对应的第二重新着色区域。

6.根据权利要求5所述的方法，其中基于所述第二区域获得第一重新着色图像包括获得所述第二重新着色区域的一个或多个区域参数。

7.根据权利要求1所述的方法，其中基于所述第二区域获得第一重新着色图像包括将第二重新着色区域的颜色设置成与所述图像的所述第二区域的颜色不同的颜色。

8.根据权利要求1所述的方法，其中确定所述图像的拉普拉斯矩阵包括确定所述图像的抠图拉普拉斯矩阵，所述抠图拉普拉斯矩阵由下式给出：

其中下标ij是指矩阵的第ij个元素，δ_ij是克罗内克符号，k是总数|w_k|、协方差矩阵Σ_k和平均向量μ_k的第k个窗口，I_i是第i个像素的颜色通道值的向量，I₃是3×3单位矩阵，I_j是第j个像素的颜色通道值的向量。

9.根据权利要求1所述的方法，进一步包括获得所述图像的第三区域，并且其中所述第一重新着色图像基于所述第三区域。

10.根据权利要求9所述的方法，其中所述第一重新着色图像包括所述图像的第三区域。

11.根据权利要求1所述的方法，所述方法包括获得表示所述图像的α抠图的遮罩，其中该经校正图像基于所述遮罩。

12.一种图像校正装置，所述装置包括：

处理设备，以及

非暂态计算机可读介质，在所述非暂态计算机可读介质上编码有指令，所述指令在由所述处理设备执行时使得实行根据权利要求1-11中任一项所述的方法。

13.一种非暂态计算机可读介质，在所述非暂态计算机可读介质上编码有指令，所述指令在由包括处理设备的装置执行时使得实行根据权利要求1-11中任一项所述的方法。

14.一种包括用于实行根据权利要求1-11中任一项所述的方法的部件的装置。

Images