CN103339921B - 恢复图像的颜色和非颜色相关的完整性的系统和方法 - Google Patents

Abstract

本发明描述了用于恢复图像中的图像完整性的方法和系统。在确定图像是否已经经历颜色改变、非颜色改变、或者颜色改变和非颜色改变的组合中的至少一个改变之后，所述方法和系统尤其被应用于所述图像。

Description

恢复图像的颜色和非颜色相关的完整性的系统和方法

相关申请的交叉引用

本申请要求2011年1月31日提交的第61/438,219号美国临时专利申请的优先权，其全部内容通过引用结合到本文。

技术领域

本教导涉及图像处理。尤其，本教导涉及用于恢复可能已经经历颜色变化和/或非颜色相关的变化的图像中的完整性的系统和方法。

背景技术

图像的特性可能由于各种操作而发生变化。这些操作中的一些操作可能是被故意引发的，例如，在图像上执行修改操作，以便给图像某些理想的颜色特性，然而，其他操作可能是非颜色相关的操作，可能无意间给图像引入不希望的失真和颜色变化。

故意针对图像颜色特性修改的一些操作的例子，包括：根据个人喜好，改变数码照片的RGB比例，例如改变投影彩色图像的颜色强度（colorintensity）水平，以便柔化颜色，或者将多色图像改变成棕褐色图像。可以理解的是，许多这些修改操作通常基于个人喜好和感觉，因此，带有主观性质。

可能对图像的颜色特性进行不必要修改的非颜色相关的操作的一些例子，包括：在具有有限带宽容量的视频播放器中播放高清电影，通过有限带宽的传输介质传播视频信号，使用具有较差编码/解码特性的编解码器，或者进行非法的图像变换操作（例如，制作电影的盗版）。

然而，就它们对图像的影响而言，上述非颜色相关的操作是相对容易理解的，还有一些其他的非颜色相关的操作，它们对图像特性引起细微的经常被忽视的影响。一些这样的操作的例子，包括：图像的裁剪，图像纵横比的改变，以及添加对象到图像（例如，标题）。

这些类型的非颜色相关的修改操作不一定直接改变修改之前的图像中存在的对象的颜色特性。然而，所述修改操作可以导致图像相关的统计的整体变化。当随后进行图像处理来校正图像的颜色相关的失真时，这种图像相关的统计的变化可能引起问题。

因此，为了进行图像处理而以整体的方式考虑颜色相关的操作以及非颜色相关的操作是有益的。

附图说明

图1示出了用于恢复经历改变的图像的颜色和/或非颜色的完整性的图像处理系统。

图2示出了图1中所示的图像处理系统的一些部件。

图3示出了根据本公开的教导的图像处理系统的第一实施方式。

图4示出了根据本公开的教导的图像处理系统的第二实施方式。

图5示出了根据本公开的教导的图像处理系统的第三实施方式。

图6示出了在根据本公开的教导的图像处理系统中使用的颜色失真模型的一些细节。

具体实施方式

根据本公开的第一方面，本文公开了一种用于恢复图像中的图像完整性的方法。所述方法包括：通过使用提供第二图像的不变特征描述符的元数据来确定第一图像是否是经历改变的图像的步骤。如果确定所述第一图像是经历改变的图像，则根据被估计为对经历改变的图像和第二图像之间的不匹配有贡献的至少一个参数，产生变换函数；以及对经历改变的图像应用所述变换函数来恢复图像完整性。

根据本公开的第二方面，本文公开了一种用于恢复图像完整性的系统。所述系统包括：提取第一图像的特征描述符的第一特征提取器；如下各项中的至少一个：a）对第二图像进行操作的用于提取提供第二图像的特征描述符的元数据的第二特征提取器，或者b）包含第二图像的特征描述符的数据库；特征匹配子系统，其用于比较第一图像的特征描述符和第二图像的特征描述符，从而确定第一图像是否是经历改变的图像；以及鲁棒参数估计器，其用于从所述特征匹配子系统接收比较的结果，如果确定所述第一图像是经历改变的图像，则产生估计的变换函数用于恢复经历改变的图像中的图像完整性。

根据本公开的第三方面，本文公开了一种用于恢复一组图像中的至少一个图像中的图像完整性的方法。所述方法包括以下步骤：通过使用提供原始图像的不变特征描述符的元数据来确定第一图像是否是原始图像的经历改变的版本；根据被估计为对原始图像和原始图像的经历改变的版本之间的不匹配有贡献的至少一个参数，产生变换函数；以及在至少如下一个上应用所述变换函数：a）所述原始图像的经历改变的版本，或者b）该组图像中的第二图像。

根据本公开的第四方面，本文公开了编解码器系统。所述编解码器系统包括：编码器和解码器，其中，所述编码器包括用于提取第一图像的特征描述符的第一特征提取器；以下各项中的至少一个：a）对原始图像进行操作的用于提取提供原始图像的特征描述符的元数据的第二特征提取器，或者b）包含原始图像的特征描述符的数据库；特征匹配子系统，用于比较第一图像的特征描述符和原始图像的特征描述符，从而确定所述第一图像是否是原始图像的经历改变的版本；以及鲁棒参数估计器，其用于从特征匹配子系统接收比较的结果，并由此产生估计的变换函数，用于恢复所述第一图像中的图像完整性。

现有技术的图像处理的解决方案通常试图将图像的颜色修改方面和非颜色相关的修改方面作为两个独立的问题来处理。未能认识到图像修改的两种形式之间某些相互依赖的关系，从而导致次优的图像处理结果。

例如，一种现有技术的图像处理的解决方案，基于图像统计，例如原始图像的颜色空间中的三个单独的颜色通道的平均值和标准差，使用全局颜色迁移方法。虽然这种策略确实提供某些好处，但是为了获得增强的图像处理结果，至少有三方面可能需要额外注意，。

第一方面涉及在确定接收的图像是否确实正确地对应于相应的传送的图像时的潜在不明确性。当一系列的图像通过媒介传送时（例如，通过卫星发送视频流），这个问题就变得尤为中肯，它导致一种可能，对应于一个图像的图像统计可能不适合应用于错误的图像。

第二方面承担着更多的关注，源于这样一个事实，当在损坏的图像上进行颜色修改时（例如，在从卫星传送之后），“好”的图像往往不可用于参考目的。结果，在损坏图像上进行的任何改变可能基于对各种解释开放的平均值/标准差值，因为已经得出的平均值/标准差值的绝对值不可用作参考。因此，例如，原始图像可能有稍红的色调，而颜色校正后的图像可能有粉红色的色调，这仍然认为是可接受的，因为这种颜色变化在提供的平均值/标准差值的范围之内。

当颜色损坏的图像也经历了非颜色相关的失真时，第三方面起作用。如上所述，非颜色相关的失真可以导致图像统计的改变，从而致使接收的统计对校正图像的颜色损坏而言是无效的，或者是误导的。

虽然有些次最优化，在现有技术的图像处理的不同的解决方案中处理上述的至少一个方面。在这种特定方法中，将参考图像用于颜色校正的目的。具体而言，在本领域中被称为“全景拼接”中，可以包括成像对象的基本相似的部分（虽然有不同的颜色特性，例如来自不同的相机设置，拍摄角度，或者照明条件）的多个图像被处理用于校正颜色相关的问题。所述多个图像中的一个图像被认为参考图像，而这个参考图像的颜色特性被用于修改其他图像的颜色特性。可以理解，参考图像的选择，以及剩余其他图像的修改，有些主观性质。此外，所述方法必须至少有一个可用的“好”的参考图像，用于进行其他图像的处理。当所述多个图像（包括参考图像）被从一个位置传送到另一个位置从而不仅损坏其他图像而且还损坏参考图像时，这会引起问题。

现在进行根据本公开的各种实施方式的详细描述，在整个本说明书中指出，描述实施方式和变型来示出本发明构思的使用和实现，是恰当的。说明性的描述应当理解为本发明构思提出的例子，而不应理解为限制本文公开的构思的范围。例如，本文使用的术语，比如“变化”、“经历改变的”、“改变”、“校正”、“修改”、“提取”、“估计”和“实体”，应当理解成为了描述方便，而不应理解成狭义上的字面解释。例如，术语“经历改变的”可以包括各种操作，例如改变图像的大小，改变图像的形状，通过删除某些对象改变图像，通过引入新的对象改变图像，改变图像的颜色组成，或者改变图像的统计。在本技术领域的普通技术人员会明白，术语，例如经历改变的或改变可以在本技术领域中被互换使用，并且必须根据本文描述的上下文来解释。此外，应当理解，本文使用的术语“图像”包括各种各样的成分，例如数码图像、视频图像序列、摄影图像、图形图像等。

具体而言，本公开针对用于恢复可能已经经历或还没有经历颜色和/或非颜色经历改变的图像中的完整性的数码图像处理的系统和方法。本技术领域的普通技术人员可以理解，描述的数码图像处理系统和方法可以被并入各种各样的装置中。这样的装置的不全面的和非限制性的列表包括：通信系统（例如包含解码器/编码器），显示装置（显示彩色图像的显示器、个人数字助理（PDA）、智能手机等），打印装置，扫描装置以及图像捕捉装置（相机等）。

现在关注图1，图1示出了图像处理系统110，其用于恢复可能已经经历或还没有经历颜色和/或非颜色经历改变的图像中的图像完整性。本文所用的短语“原始图像”，包括几种不同类型的图像，包括彩色图像和/或黑白图像。此外，本文所用的短语“原始图像”，包括各种格式的图像，包括压缩格式和非压缩格式。在某些实施方式中，图像处理系统110将保持原始格式，并且仅仅校正原始图像经历的作为经历改变的实体105结果的颜色相关的改变和/或非颜色相关的改变。因此，压缩格式的原始图像可以被图像处理系统110处理，由图像处理系统110得到的恢复的图像与原始图像有相同的压缩格式。在其他实施方式中，具有第一压缩格式的原始图像可以被图像处理系统110处理，从而以不同压缩格式或者非压缩格式的输出恢复的图像。

经历改变的实体105中的改变可以采取非颜色改变106的形式，颜色改变107的形式，或者两种改变组合的形式。经历改变的实体105代表引入图像改变的任何装置、元件或过程。经历改变的实体的非详尽列表包括：装置（扫描仪、打印机、相机、通信设备等）；传输介质（电缆、无线等）；以及过程（底片处理、图像增强等）。

一般而言，非颜色改变106体现了操作，例如裁剪、改变纵横比、添加对象（例如标题，或背景项目）、旋转、平移、缩放、改变帧的重复率、消除伪像（去除运动模糊、像差等）以及改变亮度参数；而颜色改变107体现了操作，例如改变红绿蓝（RGB）配置文件，改变图像分辨率，以及改变色度参数（例如，用一种颜色代替另一种颜色）。

此外，虽然非颜色改变106和颜色改变107在图1中作为顺序操作块示出，但是应当理解，在一些情况下，只有两种操作的其中一种操作被施加在原始图像上；在一些其他情况下，两种操作可以被施加在原始图像上；以及在另外的其他情况下，两种操作都不被施加在原始图像上。因此，图像处理系统110通常在以下假设下工作：假设通过线108（为方便起见，标有“经历改变的图像”）接收的图像是如下一种：a）只经历了非颜色改变的原始图像，b）只经历了颜色改变的原始图像，c）既经历了非颜色改变又经历了颜色改变的原始图像，或者d）没有经历任何形式改变的原始图像。图像处理系统110还在以下假设下工作：假设通过线108接收的图像的身份是未知的情况下。换句话说，图像处理系统110不会假定通过线108自动接收的图像与为了恢复经历改变的图像中的图像完整性在图像处理系统110中获得的任何图像相关的信息（元数据）具有一一对应。下面将使用图2进一步详细描述后一方面。

本技术领域的技术人员将认识到，与上面描述的相反，现有技术的图像处理系统在处理图像时通常不会做出这样的有多项选择的假定。

图2示出了涉及图像处理系统110的更多细节。特征提取器205被用于从一个或多个图像中提取某些特征，并将提取的这些特征转换成提供给图像处理系统110（以至少两种可供选择的方式）的元数据。在第一实施方式中，（所示的通过线206从特征提取器205出来的）元数据与原始图像（线104）相组合，经历改变的图像和元数据的组合被提供给图像处理系统110，其中，所述元数据被元数据提取器215提取并且被用于处理经历改变的图像。

在第二实施方式中，（所示的通过线207从特征提取器205出来的）元数据被提供给作为图像处理系统110的一部分的数据库210。数据库210可被图像处理系统110的处理器（未示出）访问，适当的元数据被取回用于处理通过线108接收的经历改变的图像。可以实时地将元数据从特征提取器205转移到数据库210（基本上与线108上检索经历改变的图像同时发生），或者可以在提供经历改变的图像到图像处理系统110之前完成。此外，数据库210被配置成包含如下任一种：1）只有与线104上的原始图像相对应的元数据，或者2）不仅对应于线104上的原始图像而且还对应于线104上可能提供的或可能不提供的其他图像的元数据。

可以理解特征提取器205被显示在图像处理系统110外部只是为了便于描述。然而，在一种实现中，特征提取器205可以被包括作为图像处理系统110的一个部件。在替代的实现中，可以去除特征提取器205（或被其他元件代替），可以用其他方式产生存储在数据库210中的元数据。例如，在一种替代的实现中，可以基于理论参数、经验参数和/或预测参数产生元数据。

元数据类型的一些例子可以被用于图像处理系统110，包括：原始图像的图像统计（平均值、中位数、标准差、高斯参数等），颜色数据（像素值、色度信息、频谱含量、色度参数等），形状数据，原始图像的某些分段的区别特征，原始图像中一个或多个对象的定义，添加的对象（例如，标记，比如提供尺寸、对准和方位信息的基准、边界、箭头等），图像之间的空间重叠信息等。

现在关注图3，图3示出了根据上面提到的第一实施方式的图像处理系统110的更多细节。通过组合器208，原始图像与线206上运送的元数据组合。所述组合的信号随后被传向图像处理系统110。如上面所解释的，经历改变的实体105可以将非颜色改变和/或颜色改变引入到组合信号的原始图像部分中。

元数据通常不受经历改变的实体105影响。例如，非颜色改变，比如原始图像的裁剪，可以在被裁剪的图像的图像本身和图像统计这两方面改变图像数据，然而，与图像一起运送的元数据保持不受影响，就是这个不受影响，原始的元数据被用于图像处理系统110，而不是一些新的可以对应于裁剪的（经历改变的）图像的图像信息。（相反，可以注意到，一些现有技术的解决方案主要使用经历改变的图像的信息用于颜色校正，而不是使用涉及原始的（未经历改变的）图像的信息，在接收端这些信息是不可用的）。典型地，在第一实施方式中使用的元数据的大小等于特征点数量（n）、描述符大小（k）和颜色通道数量（当使用红绿蓝（RGB）时，通道数量是3）的乘积。

图像处理系统110包括元数据提取器215，其对与经历改变的图像一起接收到的元数据进行操作，并且产生原始图像的一个或多个特征描述符。特征提取器305对接收到的经历改变的图像进行操作，并且产生经历改变的图像的一个或多个特征描述符。原始图像的特征描述符和经历改变的图像的特征描述有时候在本技术领域被称为“鲁棒特征”。所述鲁棒特征被选择对应于原始图像中的不变特征。在某些情况下，与原始图像中相邻像素的像素值组合，基于像素值来确定鲁棒特征。

特征匹配子系统315接收原始图像的特征描述符和经历改变的图像的特征描述符，并且进行匹配操作来确定经历改变的图像的至少一些特征是否与原始图像的特征相匹配。这个匹配过程确保对正确的图像（即通过检验所述经历改变的图像正确地对应于原始图像和相关的元数据）进行图像处理操作，因此，解决和克服了某些现有技术的问题，在现有技术的问题中，来自一个图像的数据可能被错误地用来处理不同的图像。

特征匹配子系统315可以被配置成以几种不同的方式工作。在第一种方法中，特征匹配子系统315对特征子集进行一对一的匹配操作。在另一种方法中，特征匹配子系统315对一个或多个图像分段进行匹配操作。此外，特征匹配子系统315可以根据表征图像中的局部区域的各种描述符来进行特征匹配，例如，还可以使用如尺度不变特征变换（SIFT）、梯度位置和方向直方图（GLOH）、加速鲁棒性特征（SURF）和有序的空间灰度分布（OSID）一样的程序。

在图像处理系统110的这种第一实施方式中，不管使用的匹配程序的类型如何，特征匹配子系统315的输出均提供指出了经历改变的图像是否对应于原始图像的信息。如果所述经历改变的图像对应于原始图像，则指出两个图像之间的匹配程度。在一种实现中，这种指出采用由匹配错误产生的离群点的数量的形式。因此，特征匹配子系统315的输出包括匹配结果，所述匹配结果可以包括正匹配、负匹配和/或离群点（可以表示不匹配或不可以表示不匹配）。

鲁棒参数估计器320包含一个或多个参数模型用于图像失真（颜色相关和/或非颜色相关失真）的建模，并且根据由特征匹配子系统315提供给鲁棒参数估计器320的匹配结果来估计模型参数。由于离群点可能出现在匹配结果中，所以鲁棒参数估计器320使用的估计过程可以包括鲁棒回归算法，下面使用图6将更加详细地描述该算法。鲁棒参数估计器320的输出是通过线322送入图像变换子系统325的估计的变换函数（估计的颜色变换函数、非颜色变换函数或者两种变换函数的组合）。图像变换子系统325将所述估计的变换函数应用于（线108上运送的）经历改变的图像，并且产生恢复的图像。通过将所述估计的变换函数直接应用于经历改变的图像的每一个像素，可以进行图像变换，以便产生恢复的图像。

在第一实施方式中，图像变换涉及通过使用基于位的方法来恢复经历改变的图像的颜色深度。在这种方法中，特征提取器205基于第一位深度提取不变特征，例如描述符和颜色。通过使用不同的位深度，特征提取器305从经历改变的图像提取不变特征。然而，在某些情况下，通过使用与特征提取器205使用的相同的第一位深度，特征提取器305可以从经历改变的图像提取不变特征。根据提取的描述符，在特征匹配子系统315中进行特征匹配之后，鲁棒参数估计器320输出包含一个或多个参数的估计的颜色变换函数。这些参数可以基于下面将进一步详细描述的颜色失真模型600。根据具有最大数量的支持特征的各种子集的颜色，鲁棒参数估计器320重复地估计一个或多个参数来得到估计的颜色变换函数。所述估计的颜色变换函数通过线322被提供给图像变换子系统325。

在第二实施方式中，图像变换涉及恢复彩色和/或黑白的经历改变的图像的图像几何形状。在这种方法中，特征提取器205提取不变特征，例如描述符，还提取与图像相关联的一个或多个坐标。特征提取器305从经历改变的图像提取不变特征和一个或多个坐标。根据提取的描述符，在特征匹配子系统315中进行特征匹配之后，鲁棒参数估计器320输出包括几何值的估计的变换函数。这个估计的变换函数可以包含数学格式的一个或多个参数。这样的格式的一个例子如下：

x2=a1*x1+b1*x1*x1+c1*y1+d1*y1*y1+e1*x1*y1+f1;

y2=a2*x1+b2*x1*x1+c2*y1+d2*y1*y1+e2*x1*y1+f2;

根据具有最大数量的支持特征的各种子集的坐标，鲁棒参数估计器320重复地估计一个或多个参数来得到估计的变换函数。所述估计的变换函数通过线322被提供给图像变换子系统325。

现在关注图4，图4示出了根据本公开的教导的图像处理系统110的第二实施方式。与图3中所示的实施方式对比，这种第二实施方式不包含和原始图像一起的元数据的转移。相反，数据库210被用于存储原始图像（如果需要的话，任何附加的图像）的特征描述符。这些存储的特征描述符被特征匹配子系统315用于与从经历改变的图像提取的特征描述符相匹配（如上面参考图3所述的，通过特征提取器305）。用虚线所示的特征提取器205表示，在一种实施方式中，这块可以被包括在图像处理110内部，在不同的实施方式中，这块可以被排除（例如，当从方程、经验数据或图像模型得到数据库210的特征描述符时）。

在某些情况下，数据库210可以被配置成包含各种视频图像的特征描述符和颜色相关的信息。例如，使用名称索引，可以访问特征描述符。在某些实现中，在线108上进入的经历改变的图像是彩色视频图像的序列，并且理想的是，序列中所有的图像经历相同的颜色变换，数据库210可以被配置成只包含序列中的第一图像的特征描述符。这些特征描述符可以被用于对序列中一个或多个图像进行颜色变换。特征描述符还可以被用于序列中几个或所有图像的非颜色相关的变换。在某些其他的实现中，线108上进入的经历改变的图像是黑白视频图像的序列，并且理想的是，序列中所有的图像经历相同的变换，数据库210可以被配置成只包含序列中第一图像的特征描述符。这些特征描述符可以被用于变换序列中一个或多个图像。

图5示出了根据本公开的教导的图像处理系统110的第三实施方式。在这种实施方式中，图像处理系统110具有位于两个不同装置的分布式架构。在如图5所示的示例性配置中，第一装置是包含图像处理系统110的第一部分的编码器（标记为图像处理系统110a），而第二装置是包含第二部分的解码器（标记为图像处理系统110b）。

当在分布式架构形式中实现时，可以以各种方式运输图像信息，并且可以使用各种系统元件。在所示的示例性配置中，图像处理系统110a的一些部件与使用图4描述的那些部件相似。然而，在这种特定实施方式中，用不同的方式实现鲁棒参数估计器320。具体而言，例如，鲁棒参数估计器320使用视频索引方法来产生变换函数和附加的图像参数。变换函数（和/或附加的图像参数）被视为与组合器321中经历改变的图像组合的元数据。元数据与经历改变的图像一起随后被传播到解码器，在那里，图像处理系统110b被用于恢复经历改变的图像中的图像完整性。在这种实现中，元数据的大小直接与图像参数的大小成比例。在一个示例性实施方式中，使用下面将更加详细描述的颜色变换模型，元数据的大小等于3组7个参数。

图像处理系统110b包括元数据提取器515，其从（从组合器321接收的）经历改变的图像和元数据的组合中提取变换函数。图像变换子系统520将提取的变换函数应用到经历改变的图像，并产生恢复的图像。如上面所指出的，经历改变的图像可以是彩色图像或黑白图像，变换函数可以是颜色变换函数、非颜色变换函数或者两种变换函数的组合中一种。

图6示出了在根据本公开的教导的图像处理系统中使用的颜色失真模型600的一些细节。颜色失真模型600包括两个变换阶段。第一阶段具有3个通道内的非线性变换605、610和615，每一个对应于3种颜色（红、绿和蓝）之一，而第二阶段具有通道间的线性变换620。使用如下的二次多项式形式来近似通道内的非线性变换：

R_m=a_rR_in ²+b_rR_in+c_r

G_m=a_gG_in ²+b_gG_in+c_g

B_m=a_bB_in ²+b_bB_in+c_b

假设通道间的变换是颜色空间内的线性变换，因此具有形式：

$\left[\begin{array}{c}{R}_{\mathrm{out}}\\ G_{\mathrm{out}}\\ B_{\mathrm{out}}\end{array}\right]=M\·\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right]\·\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]$

通道内的和通道间的变换被如下地组合：

$\left[\begin{array}{c}{R}_{\mathrm{out}}\\ G_{\mathrm{out}}\\ B_{\mathrm{out}}\end{array}\right]=M\·\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right]\·\left[\begin{array}{c}{R}_m\\ G_m\\ B_m\end{array}\right]$

在鲁棒参数估计器320中，使用各种回归方法，根据（从特征匹配子系统315的输出的）匹配的特征点的颜色来估计参数r_i、g_i和b_i（i=1，2，…7）的估计。例如，在一种实现中，使用了随机抽样一致性（RANSAC）算法的鲁棒回归方法可以被采用。在其他实现中，可以使用RANSAC算法的变型，例如最大似然估计采样一致性（MLESAC）算法。

综上所述，根据一些实施方式，本公开考虑了用于恢复图像中的图像完整性的系统和方法。这些系统和方法可以被并入各种应用，例如独立设备（例如，蓝光视频播放器）、机顶盒、软件编码器和视频游戏机；以及网络设备（包括连接到带宽受限的通信链路的设备）。另外的应用包括BD视频编码器、播放器和以适当的格式创建视盘，或者针对应用的内容和系统，例如广播、卫星和IPTV系统。

可以在硬件、软件、固件或它们的组合中实现本公开中描述的方法和系统。被描述为块、模块或部件的部件可以被一起实现（例如，在逻辑装置中，比如集成的逻辑装置）或单独实现（例如，作为独立连接的逻辑装置）。本公开的方法的软件部分可以包括计算机可读介质，其包括指令，当执行指令时，指令至少部分地执行所述方法。例如，所述计算机可读介质可以包括随机存取存储器（RAM）和/或只读存储器（ROM）。所述指令可以被处理器执行（例如，微处理器、微控制器、数码信号处理器（DSP）、专用集成电路（ASIC）、标准逻辑集成电路或现场可编程逻辑阵列（PLD、FPGA等））。

本说明书中提到的所有专利和出版物表示本公开涉及的技术领域中那些技术人员的技术水平。本公开中引用的所有文献通过引用的方式并入本文，其引用程度就如同已经通过引用并入的文献个别地以全文引入。

应当理解的是，本公开并不限于特定的方法或系统，其当然可以变化。还应当理解，本文使用的术语只为了描述特定的实施方式，并不用于限制。正如这个说明书和所附权利要求中使用的，单数形式“一个”（“a”，“an”）和“所述”（“the”）包括复数事物，除非内容另外明确指出。术语“多个”包括两个或更多事物，除非内容另外明确指出。除非另有定义，本文使用的所有技术和科学术语的含义与本公开涉及的技术领域中的普通技术人员一般理解的含义相同。

上述例子给本技术领域的那些普通技术人员提供了如何制作和使用本公开的采样和复用图像与视频数据的增强方法的实施方法的完整的公开和描述，并不用于限制发明者所认为的公开的范围。用于执行本公开的上述方式的修改可能被视频领域的技术人员使用，这些修改在下面的权利要求的范围之内。

已经描述了本公开的一些实施方式。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以作出各种修改。因此，其他实施方式在所附权利要求的范围之内。

Claims (6)

1.一种用于恢复图像完整性的方法，所述方法包括：

从原始图像中提取不变特征描述符；

将所述不变特征描述符作为元数据与所述原始图像组合；

通过改变实体向图像处理系统发送与所述原始图像一起的作为元数据的不变特征描述符；

所述不变特征描述符受到所述改变实体的影响；

所述原始图像被所述改变实体改变成经历改变的图像；

所述原始图像被改变成所述经历改变的图像是所述改变实体所引起的非颜色改变和颜色改变的组合的结果；

在所述图像处理系统处接收与所述经历改变的图像一起的作为元数据的不变特征描述符；

从所述组合中提取所述元数据以生成所述原始图像的不变特征描述符；

生成所述经历改变的图像的特征描述符；

所述经历改变的图像的特征描述符是与所述原始图像的不变特征描述符对应的鲁棒特征；

通过利用所述原始图像的不变特征描述符与所述经历改变的图像的特征描述符来确定所述原始图像是否已被所述改变实体改变成所述经历改变的图像；

如果确定所述原始图像已被所述改变实体改变成所述经历改变的图像，则通过估计对所述原始图像改变成所述经历改变的图像有贡献的至少一个参数以及通过利用回归算法来生成变换函数；以及

通过校正作为所述改变实体的结果的、所述原始图像所经历的改变，来对所述经历改变的图像应用所述变换函数以用于恢复图像完整性；

所述变换函数包括颜色变换函数，所述颜色变换函数包括通道内非线性颜色映射变换和通道间线性变换。

2.如权利要求1所述的方法，其中所述原始图像是彩色图像或黑白图像中的至少一个，并且其中所述经历改变的图像中的至少一部分图像内容与所述原始图像中的相同。

3.如权利要求1或2所述的方法，其中所述原始图像是彩色图像，并且恢复图像完整性包括恢复所述彩色图像中的颜色完整性。

4.如权利要求1所述的方法，其中所述非颜色改变包括如下中的至少一个：所述原始图像的缩放，所述原始图像的纵横比变化，在所述原始图像中包含的对象的修改，或者向所述原始图像中添加对象。

5.如权利要求1或2所述的方法，其中，在没有对所述原始图像改变成所述经历改变的图像有贡献的至少一个参数的先验知识的情况下进行确定所述原始图像是否已被所述改变实体改变成所述经历改变的图像的步骤。

6.如权利要求1或2所述的方法，其中所述不变特征描述符包括所述经历改变的图像的频谱数据和形状数据。