CN100428269C - 处理图像数据的方法 - Google Patents

Abstract

在一个实施例中，提供一种处理图像数据以用于压缩的方法，其中所述图像数据表示图像且包括多个图像数据值，每个图像数据值都表示所述图像中一个像素的外观特性。在一个实施例中，所述方法包括确定n个图像数据值之间的差异，比较所述差异与差异阈值来确定所述差异是否相对于所述差异阈值满足预先选择的条件，且如果所述差异满足预先选择的条件，则改变所述n个图像数据值中的至少一个来减少所述差异。

Description

处理图像数据的方法

相关申请的交叉参考

本申请要求2003年12月16日提交、序列号为60/530,452的美国临时专利申请的优先权，将其完整结合在此作为参考用于所有目的。

技术领域

本发明总体上涉及处理图像数据的装置、系统和方法。

附图简要说明

本发明是通过附图中的示例而非通过附图中的限制来进行说明的，其中相同的标号表示相同的元素，且其中：

图1是根据一个实施例的图像数据处理系统的示意图。

图2是根据另一个实施例的处理计算机图形图像数据和非计算机图形图像数据的方法的流程图。

图3是根据又一个实施例的处理计算机图形图像数据和非计算机图形图像数据的方法的流程图。

图4是一组计算机图形图像数据中的多个图像数据值、一组非计算机图形图像数据中的多个图像数据值，及一组修正的非计算机图形图像数据中的多个图像数据值的表示。

图5是图1实施例的一部分的框图，示出非计算机图形图像数据转换器、压缩器和解压缩器。

具体实施的详细说明

图像处理、传输和显示设备可用于处理、传输和显示多种不同类型的图像数据。例如，用于这些设备的两种类型的图像数据是计算机图形图像数据和非计算机图形图像数据。计算机图形图像数据通常由计算设备上的软件生成，且包括诸如那些由个人计算机生产力软件应用程序所显示的图像。相反，非计算机图形图像数据是经由模拟或数字静态照相机、视频摄像机、扫描仪等等捕捉真实世界物体的图像而生成的图像数据。

计算机图形图像数据趋向于在不同颜色、亮度水平或其他外观特性的区域之间具有锐利的边界。相反，非计算机图形图像数据会在颜色等等之间具有较不确切的边界，且因此可能在这些边界区域中包括相比相邻像素具有相对低的颜色和/或亮度差异的像素。

至少部分由于不同颜色等区域之间的边界的锐度差别，计算机图形图像数据和非计算机图形图像数据可能不能由选择的压缩算法等效地压缩。鉴于此，某些图像压缩设备配置为用不同的压缩器压缩计算机图形图像数据和非计算机图形图像数据。为了这样做，这些设备可能尝试检测一组图像数据中的数据是计算机图形图像数据还是非计算机图形图像数据。然而，这些系统可能误识别数据，从而使用错误的压缩器来压缩数据。这样的识别错误会导致压缩效率降低，从而干扰图像数据的实时压缩和传输。

图1总地在10处示出根据第一实施例的图像处理系统的示意图。图像处理系统10包括配置为在观看面14上显示图像的图像显示设备12。图像显示设备12可以是任何适合类型的图像显示设备。其示例包括但不限于，液晶显示器(LCD)和数字光处理(DLP)投影机。此外，应理解，可以用其他类型的显示设备替换图像显示设备12。其示例包括但不限于，电视机系统、计算机监视器等等。

图像处理系统10还包括与图像显示设备12关联的图像提供设备16，及一个或多个与图像提供设备16进行电通信的图像源18。图像提供设备16配置为接收由图像源18传输的图像数据，并提供所接收的图像数据用以由图像显示设备12显示。图像提供设备16可以集成到图像显示设备12中，或可以作为可连接到图像显示设备的单独组件提供。适合的图像提供设备的一个示例在2003年6月2日提交的、序列号为10/453,905的美国专利申请中公开，将该申请结合在此作为参考。

图像源18可以包括能够向图像提供设备16提供图像数据的任何适合的设备。其示例包括但不限于，桌面型计算机和/或服务器18a、膝上型计算机18b、个人数字助理(PDA)18c、移动电话18d等等。此外，图像源18可以按任何适合的方式与图像提供设备16进行电通信。在所述实施例中，每个图像源18都通过无线网络20与图像提供设备16进行电通信。然而，图像源18也可以通过有线网络、通过无线或有线直接连接等等与图像提供设备16进行通信。通常，每个图像源18都包括存储器22用于存储可由每个图像源上的处理器24执行并用于执行图像产生、显示、压缩、传输，及其他此类任务的代码。虽然为清楚起见，存储器22和处理器24仅在桌面型计算机18a上示出，但应意识到，所有其它所示图像源18通常也都包括存储器和处理器。

如上所述，每个图像源18可配置为显示多种不同类型和格式的图像数据。因此，为了允许显示图像源18支持的所有类型和格式的图像数据，图像提供设备16可配置为解压缩以及处理多种不同格式的图像数据。然而，这要求在图像提供设备16上安装用于处理每种所需格式的图像数据的软件。

为了简化图像提供设备16的操作及其软件需求，每个图像源18都可以包括配置为生成显示在每个图像源上的图像位图的软件。该软件也可以配置为压缩位图的至少某些部分，并将压缩后的位图传输到图像提供设备16用以由图像显示设备12显示。这样的图像捕捉、压缩和传输方案提供了这样的优点，即图像提供设备16可以包括只用于接收和解码单种格式的图像数据的软件。

然而，如果在图像源18上只使用单种类型的压缩器来压缩计算机图形和非计算机图形图像数据两者，则该软件可能由于这些类型的图像数据的不同特性而对这两种类型的图像都不能实现理想的压缩。此外，在使用单独的压缩器来压缩计算机图形图像和非计算机图形图像时，必须使用软件来确定所选择的图像是哪种类型的图像。图像类型识别的错误会导致使用错误的压缩器压缩图像，导致压缩无效及可能的性能问题。这在从图像源18实时传输视频数据时特别成问题，这可能要求以约25帧/秒或更高的速率压缩和传输数据。

为了避免这样的压缩问题，图像源18可以配置为将非计算机图形图像数据改变为更加类似计算机图形图像数据的形式，然后使用计算机图形图像数据压缩器来压缩两种类型的图像数据。图2总地在100处示出处理图形图像数据以将非计算机图形图像数据改变为更加类似计算机图形图像数据形式的方法的示例实施例。方法100通常由存储在存储器22中并由每个图像设备上的处理器24执行的代码来实现。

方法100包括在102处确定表示图像的一组图像数据值中的n个图像数据值之间的差异。该组图像数据值中的n个图像数据值表示图像中各像素处的颜色、亮度或其他图像外观特性。差异可以简单地通过确定相邻的图像数据值之间的差别，或以任何其他适合的方式来确定。

接下来，方法100在104处包括比较该差异与差异阈值来确定该差异是否相对于差异阈值满足预先选择的条件。差异阈值通常对应于颜色、亮度等等之间在人眼的察觉范围之外的差异。预先选择的条件可以定义为该差异低于这样的差异阈值、等于或低于这样的差异阈值，或其他。

如果该差异满足预先选择的条件，则方法100包括，例如，改变n个图像数据值中的至少一个来减少n个图像数据值之间的差异。可以按任何适合的方式将该差异减少到任何适合的程度。例如，在该差异满足预先选择的条件时，可以通过改变n个图像数据值中的一个或多个，使其等于其它图像数据值中的一个或多个，来将该差异减少到零。另一方面，如果该差异不满足预先选择的条件(或该差异为零)，则不改变n个图像数据值中的任何一个。

这种改变的效果是将图像中不同颜色和/或颜色亮度的区域之间更渐进的过渡取代为更急剧的过渡。因为只有外观差别低于察觉阈值的相邻像素发生改变，改变对图像外观的影响才可以忽略。可以对邻近图像颜色、亮度和/或其他外观特性之间边界的非计算机图形图像数据区域做出最大数量的改变。减少图像的这些部分中的像素之间的差异使得图像更加类似计算机图形图像，这样的图像通常在不同颜色、颜色亮度等等的图像之间具有更锐利、更确切的边界。这可以允许最佳地适用于压缩计算机图形图像数据的压缩器，以用令人满意的压缩效率压缩修正的非计算机图形图像数据。

方法100可以按任何适合的方式实现。图3总地在200处示出方法100的一个示例实现的流程图。方法200通常对一组图像数据中的大部分或所有值(其中该组图像数据值中的每个图像数据值表示单个像素处的外观特性)重复地执行。因此，方法200可以包括在202处初始化计数器n＝1。执行方法200，直到计数器n＝k，其中k与图像数据值v_n的一维集合[v₁-v_k]中的图像数据值的数量相关。该组图像数据[v₁-v_k]可以通过对二维图像位图的垂直、水平，或对角的光栅扫描来创建。

接下来，方法200包括在204处计算图像数据值v_n和v_n-1之间的差值的绝对值来确定第一差异d₁，然后在206处计算图像数据值v_n和v_n+1之间的差值的绝对值来确定第二差异d₂。换句话说，比较选择的图像数据值与每一侧的图像数据值来确定选择的图像数据值和每一侧的那些值之间的差异。在图像数据集合(通常包含单个图像帧的图像数据)中的第一和最后一个图像数据值处，只确定单个差异，因为图像数据集合中的第一和最后一个图像数据值的每个都只有一个相邻的图像数据值。

当在204处计算第一差异d₁并在206处计算第二差异d₂之后，接下来确定v_n与v_n-1或v_n+1之间是否具有足够小的差值而有必要修正。该确定可以包括若干离散的步骤。例如，方法200可以包括在208处确定d₁和d₂中的任一个是否具有非零值。如果d₁和d₂两者的值都为零，则这表明v_n、v_n-1和v_n+1都不必要修正。然后，方法200进入到226处，在该处确定是否n＝k，如果否，则进入到228处，在该处n递增1。方法200然后对新的v_n、v_n-1或v_n+1值重新开始。

另一方面，如果在208处确定d₁和d₂中的任一个具有非零值，则方法200接下来可以包括确定是否减少v_n和v_n-1之间，或v_n和v_n+1之间的差异。该确定可以按任何适合的方式执行，且可以包括不止一个离散的处理。例如，可以修正对应于两个差异中较低一个的值以将两个差异中较低的一个减至零。

在所述实施例中，首先确定d₁还是d₂是较低的非零差异，然后确定较低的非零差异是否足够低以有必要进行图像数据值的修正。首先，在210处，确定d₁是否等于零，这表明只有d₂具有非零值，且因此d₂是要检查有可能减少的差异。如果d₁具有非零值，则接下来确定d₁还是d₂是较低的非零差异。首先，在211处确定是否d₂＝0。如果是，则这表明只有d₁具有非零值，且因此dx是要调整的差异。然后在214处确定d₁是否小于预先选择的差异阈值。

另一方面，如果在211处确定d₂不等于零，则接下来在212处确定d₁是否具有比d₂更小的值。如果是，则在214处确定d₁是否小于预先选择的差异阈值。如果在214处的询问是肯定的，则方法200接下来包括在216处将图像数据值v_n改变为等于图像数据值v_n-1。或者，将图像数据值v_n-1改变为等于图像数据值v_n在任一种情况，结果都是将差异d₁减至零。在此图像数据值修正之后，方法200进入到步骤226和228以在步骤204对新的v_n、v_n-1和v_n+1值再次开始。

另一方面，如果在212处确定d₁小于d₂，且在214处确定d₁大于预先选择的差异阈值，则这表明d₁和d₂两者都高于预先选择的差异阈值。在此情况，不修正v_n、v_n-1或v_n+1中的任何一个，且方法200进入到226和228处。

此外，如果在210处确定d₁等于零，或在212处确定d₁具有大于d₂的值，则接下来确定是否应减少差异d₂。该确定可以按任何适合的方式执行。在所述实施例中，该确定包括首先在218处确定d₂是否低于预先选择的差异阈值。如果它低于预先选择的差异阈值，则接下来在219处确定是否d₁＝0。如果d₁＝0，则方法200进入到222处，在该处将v_n改变为等于v_n+1。如果d₁不等于零，则在220处确定d₂是否小于d₁。如果d₂小于d₁，则将图像数据值v_n改变为等于v_n+1。或者，可以将图像数据值v_n+1改变为等于图像数据值v_n。在任一种情况，结果都是将差异d₂减至零。在此图像数据值修正之后，方法200进入到步骤226和228以在步骤204对新的v_n、v_n-1和v_n+1值再次开始。

另一方面，如果在218处确定d₂不小于差异阈值，则方法200进入到226和228处以在步骤204对新的v_n、v_n-1和v_n+1值再次开始。此外，如果在220处确定d₂不小于d₁，则可从这系列随后的步骤212、218、219、220和224可知，这说明d₂＝d₁。因为，当步骤212(d₁＜d₂？)的答案是“否”时，则d₁必定大于或等于d₂(d₁≥d₂)；接下来，当步骤219(d₁＝0？)的答案是“否”时，则可确定d₁≠0；进一步，当步骤220(d₂＜d₁？)的答案是“否”时，则可确定d₂≥d₁；因此，能够符合上述情形(d₁≥d₂，d₂≥d₁，以及d₁≠0)的唯一的值是d₂＝d₁。可以将v_n改变为等于v_n-1或者v_n+1(如224处所示)。或者，可以将v_n-1和v_n+1的任一个改变为等于v_n。在这些处理的任一个之后，方法200进入步骤226和228以在步骤204对新的v_n、v_n-1和v_n+1值再次开始。以此方式，方法200的进行通过了整组图像数据，将非计算机图形图像数据中察觉不到的差异的至少部分改变为零，从而使该组非计算机图形图像数据更加类似计算机图形图像数据。

图4在行300处示出示例的一组计算机图形图像数据的一部分，在行302处示出示例的一组非计算机图形图像数据的一部分，并在行304处示出示例的一组修正的非计算机图形图像数据的一部分。每个数据组中的示例数据值如所示为以整数形式示出的八位数据值，但应意识到，图像数据可以具有任何其他适合的格式。首先参考计算机图形图像数据组300，该计算机图形图像数据包括第一颜色(或亮度，或其他外观特性)的一部分306，其中所有图像数据都具有值255，及第二颜色和/或亮度的一部分308，其中所有图像数据都具有值0。部分306和部分308之间的边界310是锐利的，不具有0至255之间的值。

相反，非计算机图形图像数据行302包括在边界310处具有与相邻值的相对小的差异的图像数据值。假设行302中所示的所有这些小的差异都低于前面在图3的上下文中论述的预先选择的差异阈值，则对行302中的数据执行方法100或方法200改变了某些图像数据值以将所有小的差异设为零。参考修正的非计算机图形图像数据行304，在做出这些改变之后，该组图像数据具有比非计算机图形图像数据行302更加类似计算机图形图像数据行300的值。

图5总地在400处示出用于压缩、传输和解压缩包含计算机图形图像数据和非计算机图形图像数据两者的图像数据的系统的示例体系结构框图。系统400包括配置为将非计算机图形图像数据转换为更加类似计算机图形图像数据的形式的数据转换器402，数据压缩器404，通信信道406，及数据解压缩器408。可以将数据转换器402配置为按任何适合的方式转换非计算机图形图像数据，这些方式包括但不限于前面在方法100和200的上下文中描述的那些。应意识到，计算机图形和非计算机图形数据都可被输入到数据转换器402中。然而，数据转换器402仅操作非计算机图形数据。因此，计算机图形数据通过数据转换器402后不被修正。

压缩器404利用适于有效压缩计算机图形图像数据的压缩算法。可以使用任何适合的压缩算法。其示例包括但不限于，LZO及其他LZ族的压缩算法。解压缩器408与压缩器404互补，且可以配置为执行由压缩器404执行的那些操作的一个或多个逆操作。然而，解压缩器408通常不执行任何由数据转换器402执行的那些操作的逆操作。因此，数据转换器402为减少图像数据的低差异区域中的差异所做出的改变可能造成某些图像细节的损失。然而，如果正确地选择限定哪些数据值被改变的差异阈值，则数据转换器402造成的损失将足够小，以至于无法察觉到，或最低限度地可察觉。

虽然本文中所述的实施例涉及将非计算机图形图像数据转换为更加类似计算机图形图像数据的形式，但应意识到，可以改进本文中公开的系统和方法来将计算机图形图像数据转换为更加接近非计算机图形图像数据的形式。在此情况下，两种类型的数据都可以用更适于压缩非计算机图形图像数据的压缩器有效地压缩。此外，虽然方法200如本文中所述涉及计算第一差异d₁及第二差异d₂，然后比较这两个差异来确定改变哪些图像数据值，但应意识到，根据本发明的方法可以涉及计算n个图像数据值之间的其他差异。

虽然本发明包括具体实施例，但具体实施例不应被视为具有限制意义，因为可能存在大量的变体。本发明的主题包括在此公开的各种元素、特征、功能，和/或属性的所有新颖和非显而易见的组合及子组合。下面的权利要求特别指出视为新颖和非显而易见的特定组合及子组合。这些权利要求可能引用“一个”元素或“第一”元素或其等价。这样的权利要求应被理解为包括对一个或一个以上这样的元素的结合，而不是要求或排除两个或两个以上这样的元素。各特征、功能、元素和/或属性的其他组合及子组合可以通过本发明权利要求的修改或通过在本申请或相关申请中提供新的权利要求来请求保护。这样的权利要求，无论是在范围上比原始权利要求更宽、更窄、等价或不同，都应被视为包括在本发明的主题之内。

Claims (18)

1.一种处理图像数据以用于压缩的方法，其中所述图像数据表示图像并包括多个图像数据值，每个图像数据值都表示所述图像中一个像素的外观特性，所述方法包括：

确定所述多个图像数据值中的n个图像数据值之间的差异；

比较所述差异与差异阈值来确定所述差异是否相对于所述差异阈值满足预先选择的条件；及

如果所述差异满足所述预先选择的条件，则改变所述n个图像数据值中的至少一个来减少所述差异；如果所述差异不满足所述预先选择的条件，则不改变所述n个图像数据值中的任何一个以免减少所述差异；

选择剩余的图像数据值，重复上述步骤。

2.如权利要求1所述的方法，其特征在于，其中改变n个图像数据值中的至少一个包括将所述n个图像数据值中的至少一个设置为等于所述n个图像数据值中的另一个。

3.如权利要求1所述的方法，其特征在于，所述差异阈值对应于人眼察觉颜色之间的差别的极限能力。

4.如权利要求1所述的方法，其特征在于，所述差异阈值对应于人眼察觉亮度之间的差别的极限能力。

5.如权利要求1所述的方法，其特征在于，其中确定所述差异是否相对于差异阈值满足预先选择的条件包括确定所述差异是否低于所述差异阈值。

6.如权利要求1所述的方法，其特征在于，所述图像数据值表示所述图像的每个像素处的颜色分量的亮度值。

7.如权利要求1所述的方法，其特征在于，还包括在改变所述n个图像数据值中的至少一个之后压缩所述图像数据。

8.如权利要求1所述的方法，其特征在于，所述n个图像数据值包括第一图像数据值、与所述第一图像数据值相邻的第二图像数据值，及与所述第二图像数据值相邻的第三图像数据值，且其中确定n个图像数据值之间的差异包括确定所述第一图像数据值和所述第二图像数据值之间的第一差异，确定所述第二图像数据值和所述第三图像数据值之间的第二差异，及比较所述第一差异与所述第二差异来确定较低的非零差异。

9.如权利要求8所述的方法，其特征在于，还包括如果所述第一差异是较低的非零差异且如果所述第一差异低于所述差异阈值，则将所述第一图像数据值改变为等于所述第二图像数据值。

10.如权利要求8所述的方法，其特征在于，还包括如果所述第一差异是较低的非零差异且如果所述第一差异低于所述差异阈值，则将所述第二图像数据值改变为等于所述第一图像数据值。

11.如权利要求8所述的方法，其特征在于，还包括如果所述第二差异是较低的非零差异且如果所述第二差异低于所述差异阈值，则将所述第二图像数据值改变为等于所述第三图像数据值。

12.如权利要求8所述的方法，其特征在于，还包括如果所述第二差异是较低的非零差异且如果所述第二差异低于所述差异阈值，则将所述第三图像数据值改变为等于所述第二图像数据值。

13.如权利要求8所述的方法，其特征在于，还包括如果所述差异是零或高于所述差异阈值，则不改变所述第一和第二图像数据值中的任何一个。

14.一种处理图像数据以用于压缩的方法，其中所述图像数据表示图像并包括多个图像数据值，每个图像数据值都表示所述图像的一个像素的外观特性，且其中所述图像数据包括计算机图形图像数据和非计算机图形图像数据，所述方法包括：

比较第一图像数据值与相邻的第二图像数据值来确定第一差异；

比较所述第二图像数据值与相邻的第三图像数据值来确定第二差异；

比较所述第一差异与所述第二差异来确定较低的非零差异；

比较所述较低的非零差异与差异阈值；

如果所述较低的非零差异低于预先选择的差异阈值，则改变所述第一、第二和第三图像数据值中的至少一个来减少所述较低的非零差异，

如果所述较低的非零差异高于预先选择的差异阈值，则不必改变图像数据值来减少所述较低的非零差异；以及

选择剩余的图像数据值重复上述步骤。

15.如权利要求14所述的方法，其特征在于，其中改变所述第一、第二和第三图像数据值中的至少一个包括如果所述第一差异是较低的非零差异且低于所述差异阈值，则使所述第一图像数据值和第二图像数据值相等。

16.如权利要求14所述的方法，其特征在于，其中改变所述第一、第二和第三图像数据值中的至少一个包括如果所述第二差异是较低的非零差异且低于所述差异阈值，则使所述第二图像数据值和第三图像数据值相等。

17.如权利要求14所述的方法，其特征在于，还包括在比较所述较低的非零差异与所述差异阈值，且如果所述较低的非零差异低于所述预先选择的阈值，则改变所述第一、第二和第三图像数据值中的至少一个之后压缩所述图像数据。

18.如权利要求14所述的方法，其特征在于，压缩所述图像数据包括通过LZO压缩来压缩所述图像数据。