CN104639946A - 图像处理设备和方法 - Google Patents

Abstract

提供了图像处理设备以及对多行形成的图像帧中的每行进行压缩的方法。根据本申请的方法可包括：预测形成单个图像帧的每行的图像质量，为每行独立确定能够为每行获得所预测图像质量的压缩率，以及使用为单个图像帧的预定行独立确定的压缩率来对该预定行的图像数据进行压缩。

Description

图像处理设备和方法

技术领域

本发明大体上涉及用于对图像数据进行压缩和解压缩的图像处理设备和方法。

背景技术

除高速处理大量信息的个人终端之外，用于快速传输信息的宽带通信服务发展迅速。一种更有吸引力的技术是对包括语音和图像的媒体信息进行处理的压缩技术。压缩技术为用于减小信息量的编码技术。编码技术的典型示例是用于压缩运动图片数据的运动图片压缩编码技术。

例如，运动图片压缩编码技术(如H.264/AVC)是由国际电信联盟-电信标准化部(ITU-T)制定用于运动图片压缩编码的标准。

通常，处理信息的大多数电子设备使用用于压缩和释放压缩(在下文中称为“解压缩”)的各种技术，以减小信息量。为了减小信息量，一方面是基于有效使用重编码媒介的能力以重编码信息，另一方面是基于提供可靠的传输。

通常，以最高级别(即，以高压缩率)对数据进行压缩的方案需要复杂的压缩程序，并且速度慢。相反地，以低级别对数据进行压缩的方案具有简单的压缩程序，并且速度快。

例如，可变长度编码方案对应于这样的方案，在该方案中，根据待编码二进制字符串中具有预定值的符号的出现频率，分配不同的码长度，来对二进制字符串进行压缩。也就是说，为二进制字符串中的高频符号图案分配短码。为较低频的符号图案分配长码。可变长度编码方案的示例包括熵编码方案。

通常，当基于可变长度编码方案对二进制字符串进行压缩时，需要较长的处理时间，并且输出字符串的长度变得更长。因此，考虑到硬件复杂度或处理时间，通常选择用于获得期望等级质量的数据压缩方案。进一步，需要能够降低硬件复杂度和处理时间并获得高质量压缩编码方案及对应的解码方案。

发明内容

本发明旨在至少解决上述问题和/或缺点，并且至少提供如下文所述的优点。因此，本发明的一方面将提供一种图像处理设备和方法，其使得通过对压缩的图像进行解压缩而获得的解压缩的图像能够在预定等级内维持压缩之前的原始图像的图像质量。

本发明的另一方面将提供一种图像处理设备和方法，其最小化在图像的压缩和解压缩过程中的图像质量的损害，并减小带宽。

本发明的另一方面将提供一种图像处理设备和方法，其对图像进行压缩和解压缩以具有最大的PSNR，从而满足固定的压缩率。

本发明的另一方面将提供一种图像处理设备和方法，其基于为形成图像帧的每行预测的图像质量动态地分配对应行的压缩率。

本发明的另一方面将提供一种图像压缩/解压缩设备和方法，其在图像处理设备中对由多个行形成的图像帧的每行进行压缩并对该图像帧进行解压缩。

本发明的另一方面将提供一种图像处理设备和方法，其预测形成单个图像帧的每行的图像质量、为每行独立确定能够为每行获得所预测图像质量的压缩率，以及使用为预定行独立确定的压缩率对与单个图像帧的预定行对应的图像数据进行压缩。

本发明的另一方面将提供一种图像处理设备和方法，其基于对各种类型的图像帧的不同标准，对形成图像帧的每行动态地分配压缩比特数目。

本发明的另一方面将提供一种图像处理设备和方法，其分析形成图像帧的每行的压缩性能，并基于所分析的压缩性能为每行动态地设定压缩率。

本发明的另一方面将提供一种图像处理设备和方法，对于静止图像的情况，该图像处理设备和方法为图像帧的每行分析压缩性能，并基于为每行分析的压缩性能为随后的图像帧的每行分配压缩比特数目，从而为每行可变地应用压缩率。

本发明的另一方面将提供一种图像处理设备和方法，对于运动图像的情况，该图像处理设备和方法基于先前行的压缩信息和在单个图像帧中对当前行进行压缩时预测的压缩性能，为当前行分配压缩比特数目，从而为每行可变地应用压缩率。

本发明的另一方面将提供一种图像处理设备和方法，其使用小波变换来预测形成图像帧的每行的图像质量。

本发明的另一方面将提供一种图像处理设备和方法，其基于先前图像帧的图像质量分析结果确定是否对当前帧进行压缩。

根据本发明的另一方面，提供了一种对多行形成的图像帧中的每行进行压缩的方法，其包括：预测形成单个图像帧的每行的图像质量，为每行独立确定能够为每行获得所预测图像质量的压缩率，以及使用为预定行独立确定的压缩率对单个图像帧的预定行的图像数据进行压缩。

根据本发明的另一方面，提供了一种对多行形成的图像帧中的每行进行压缩的图像处理设备，其包括帧缓冲器和编码器，其中帧缓冲器接收和存储要压缩的图像帧，编码器预测形成帧缓冲器输出的单个个图像帧的每行的图像质量、为每行独立确定能够为每行获得所预测图像质量的压缩率、以及使用为预定行独立确定的压缩率对单个图像帧的预定行的图像数据进行压缩。

附图说明

通过结合附图阅读以下详细描述，本发明的上述及其他方面、特征以及优点将变得更明显，在附图中：

图1示出了根据本发明实施方式的对图像进行压缩和解压缩的图像处理设备的示例；

图2示出了根据本发明实施方式的、对位于其内部的图像进行压缩和解压缩的图像处理设备的示例；

图3示出了根据本发明实施方式的、对位于其内部的图像进行压缩和解压缩的图像处理设备的另一示例；

图4示出了根据本发明实施方式的用于压缩图像数据的图像处理设备的配置；

图5中的框图示出了根据本发明实施方式的用于压缩静止图像的编码器的示例性配置；

图6中的框图示出了根据本发明实施方式的用于压缩运动图像的编码器的示例性配置；

图7示出了根据本发明实施方式的基于小波变换对数据进行压缩的示例；

图8示出了根据本发明实施方式的图像信息率与图像质量之间的映射的示例；

图9示出了根据本发明实施方式的编码器调度压缩比特数目的示例；

图10是根据本发明实施方式的用于控制在编码器中对图像数据进行的压缩的流程图；

图11是根据本发明实施方式的用于控制编码器执行的压缩的流程图；

图12是根据本发明实施方式的用于控制静止图像的图像帧的编码的静止图像压缩子程序的流程图；

图13是根据本发明实施方式的、用于控制运动图像的图像帧编码的运动图像压缩子程序的流程图；

图14中的框图示出了根据本发明另一实施方式的图像处理设备的配置；

图15是根据本发明另一实施方式的、用于对基于预测的图像质量确定处理图像帧的方案进行控制的流程图；

图16中的流程图示出了使用单个图像帧实现图15中的图像质量预测方案的控制处理；以及

图17中的流程图示出了使用两个图像帧实现图15中的图像质量预测方案的控制处理。

具体实施方式

在下文中，将参照附图更具体地描述本发明的各个实施方式。应注意，在全部附图中，通过相同的附图标记来表示图中相同的部件。在本发明的以下描述中，当在本文中引入已知功能和配置的详细描述会使本申请主题不清楚时，将省略这些详细描述。

通常，图像处理设备对单个图像帧指定单一的压缩率，因此其使用相同的压缩率(即，输入比特数目与输出比特数目的比值)对形成图像帧的各行中具有高图像质量(和/或高压缩性能)的行和具有相对较低图像质量(和/或相对较低压缩性能)的行进行压缩。也就是说，在假设单个图像帧中具有高图像质量的行和具有相对较低图像质量的行由相同数目的比特形成时，对具有高图像质量的行进行压缩所获得的压缩比特数目与对具有相对较低图像质量的行进行压缩所获得的压缩比特数目相等。

然而实际上，当逐行对图像帧进行压缩时，对具有高图像质量的行进行压缩所获得的压缩比特数目小于对具有相对较低图像质量的行进行压缩所获得的压缩比特数目。也就是说，对具有高图像质量的行进行压缩的压缩率(或压缩性能)高于对具有低图像质量的行进行压缩的压缩率(或压缩性能)。

出于上述原因，当为单个图像帧中所有行分配相同的压缩率(也就是说，相同的压缩比特数目)时，为具有良好图像质量的行分配了过多的压缩比特，而为具有欠佳图像质量的行则分配了不足数目的压缩比特。这里，每行的图像质量可与压缩性能密切相关。

例如，图像质量是表示与基于压缩前的图像数据的图像和基于压缩后再解压缩出的图像数据的图像之间的质量差别相对应的等级的指标。因此，当图像质量为良好时，该图像质量好于标准图像质量，其中标准图像质量是指在图像帧的所有行中均应用相同的指定压缩率而获得的图像质量。

因此，具有良好图像质量的行可以是具有优异压缩性能的行，具有欠佳图像质量的行可以是具有欠佳压缩性能的行。也就是说，当假设通过解压缩获得了相似图像质量时，优异的压缩性能表示需要以高压缩率进行压缩。欠佳压缩性能表示需要以低压缩率进行压缩。

如上所述，具有良好图像质量的行的压缩率高于具有欠佳图像质量的行，从而当对应的图像帧被解压缩时，每行获得了相似的图像质量。

为了为图像帧的每行确定或分配优化的压缩比特数目(或压缩率)，需要基于每行的图像质量(和/或压缩性能)为每行动态分配压缩比特数目的调度方案。也就是说，当假设可分配给单个图像帧的总压缩比特数目固定(即，用于图像帧的压缩率是固定的)时，可以不必通过将该固定的总压缩比特数目除以单个图像帧的行数来进行分配。而是，可基于每行的图像质量(和/或压缩性能)为每行独立地分配压缩比特数目，以防止压缩比特的过剩或欠缺。可以认为，分配压缩比特数目和确定压缩率具有相同意义。

例如，当假设基于指定用于单个图像帧的压缩率为每行分配相同的压缩比特数目时，优选地，收回过量分配给预期具有高压缩率的行的压缩比特数目(下文中称为“剩余压缩比特数目”)，并将收回的压缩比特分发，以作为预期具有低压缩率的行所缺少的压缩比特数目(下文中称为“缺少的压缩比特数目”)的压缩比特(下文中称为“额外压缩比特”)。

在下文中将对根据本发明实施方式的压缩图像帧的方案进行描述，其中该方案预测每行的图像质量(等级信息)，并基于预测的图像质量分配对应行的优化压缩率(即，优化的压缩比特数目)。

例如，将描述这样一种详细操作，其基于根据输入目标图像帧的类型为对应行预测的图像质量(等级信息)，并通过改变条件来为每行分配压缩比特数目。

当输入图像帧为静止图像时，可通过在预先生成的参考表中登记的信息，预测图像帧中每行的图像质量(等级信息)。参考表为登记有等级信息的表，该等级信息用于对通过分析先前图像帧的每行而获得的图像质量进行分级。例如，参考表使用多个等级对为每行分析的图像质量进行分级，并且通过对图像质量进行分级的多个等级来管理每行的图像质量。因此，可基于参考表中与为先前图像帧的相同行分析的图像质量相关的等级信息来预测图像帧中的每行的图像质量。例如，可将图像质量分级的多个级别根据优良程度对应于1至n个等级。在该示例中，可基于通过压缩单个图像帧的行而输出的最小压缩比特数目和最大压缩比特数目来确定n。例如，当对具有最好图像质量的行进行压缩所获得的压缩比特数目为5以及对具有最差图像质量的行进行压缩所获得的压缩比特数目为14时，对图像质量进行分级的等级数目n可以是9(14-5)。

当输入图像帧为运动图像时，可基于与相同图像帧中在先行的相关性(或相似性)以及在先行的图像质量等级来预测图像帧的每行的图像质量。这里，可基于与在先行的相关性(或相似性)或各等级来对图像质量进行分级。基于待压缩的目标行与在先行之间的相似性，可将相关性分级为例如“好”、“中等”以及“差”。然而，为了进行精细比较，相关性可分级成m个等级。在该示例中，也可基于通过压缩单个图像帧的行而输出的最小压缩比特数目和最大压缩比特数目来确定m。例如，当对具有最好图像质量的行进行压缩所获得的压缩比特数目为7以及对具有最差图像质量的行进行压缩所获得的压缩比特数目为15时，对相关性进行分级的等级数目m可以是8(15-7)。

如上所述，在准备为每行确定压缩率时将参考的参考表时，需要用于分析单个图像帧每行的图像质量的技术。例如，通过小波变换获得的标准信息(低等级频带信息)可用于分析图像帧的每行的图像质量，以进行压缩。也就是说，可使用“‘0’的数目/LL频带的平均值”(下文中称为“图像信息率”)来预测每行的图像质量。这里，“‘0’的数目”表示与对应行相关的图像信息中“0”的累计数目，而“LL频带的平均值”表示通过小波变换可获得的标准信息的平均值。

通过小波变换获得的每行的图像信息率可与对于对应行实际测量的峰值信号噪音比(PSNR)进行映射，以形成图像质量确定表。也就是说，为了形成图像质量确定表，实际上需要测量PSNR值，其中PSNR值可用作每行的图像质量的指标。然而，不必为每次压缩执行每行PSNR的实际测量，相反，为了形成用于确定与待压缩的图像帧的行相关的图像质量等级的表，可执行每行PSNR的实际测量。

在下文中，将参照附图描述本发明的各种实施方式。

图1示出了根据本发明实施方式的对图像进行压缩和解压缩的图像处理设备的示例。

参照图1，图像处理设备用于显示经图像处理的图像，其可以是智能电话、平板式PC等。图像处理设备可对与静止图像或运动图像对应的图像帧进行压缩，或可对压缩的图像帧进行解压缩。图像处理设备可将压缩的图像帧记录在指定记录媒介中，或可通过与预定通信网络耦合而将压缩的图像帧传输至外部设备。在另一方面，图像处理设备可对记录在记录媒介中的压缩图像帧进行解压缩，或可通过与通信网络耦合而对从外部设备传输的压缩图像帧进行解压缩。

图1示出了图像处理设备的示例，该设备对位于其内部的图像帧进行压缩和解压缩。图1的图像处理设备配置成执行显示图像处理，并包括两个图像处理块110和120、以及连接两个图像处理块110和120的接口130。这里，第一图像处理块110与第二图像处理块120通过预定接口130耦合以交换图像帧。

在第一图像处理块110与第二图像处理块120之间交换的图像帧可能被压缩也可能未被压缩。

首先，当假设第一图像处理块110对图像数据进行压缩并将图像数据提供给第二图像处理块120时，由包括在第一图像处理块110中的编码器压缩的图像数据通过接口130传送至第二图像处理块120。以这种方式，当第一图像处理块110对图像数据进行压缩并将图像数据传送至第二图像处理块120时，减小了接口130用来传送图像数据的带宽。

可将压缩的图像数据存储在帧缓冲器中，其中帧缓冲器为在第二图像处理块120中包括的存储区域。

当压缩的图像数据为运动图像时，第一图像处理块110依次对基于图像数据生成的图像帧进行压缩和传输。因此，第二图像处理块120的帧缓冲器通过第一图像处理块120依次传输的压缩图像帧连续地更新。

第二图像处理块120中的解码器对记录在帧缓冲器中的压缩图像帧顺序地解压缩，并且输出压缩前的图像数据。第二图像处理块120顺序地显示解压缩的图像数据。

当压缩的图像数据为静止图像时，第一图像处理块110对基于图像数据生成的图像帧进行压缩和传输。在不存在来自第二图像处理块120的请求的情况下，第一图像处理块110中断图像帧的传输。因此，可减小第一图像处理块110中消耗的能量和接口130中消耗的能量等。

由第一图像处理块110传输的压缩图像帧可对记录在第二图像处理块120的帧缓冲器中的压缩图像帧进行更新。

第二图像处理块120的解码器对记录在帧缓冲器中的压缩图像帧进行解压缩，并且输出压缩前的图像数据。第二图像处理块120显示解压缩的图像数据。

如上所述，虽然第二图像处理块120包括编码器，但是当第一图像处理块110对图像数据进行压缩并传送图像数据时，第二图像处理块120可不包括编码器。

接着，当第一图像处理块110对图像数据不进行压缩并将图像数据提供至第二图像处理块120时，第一图像处理块110将未压缩的图像数据通过接口130传送至第二图像处理块120。

当未压缩的图像数据为静止图像时，第一图像处理块110向第二图像处理块120提供表示图像数据为静止图像的信息。在不存在来自第二图像处理块120的请求的情况下，第一图像处理块110中断图像数据的传输，因此可减小第一图像处理块110中消耗的能量以及接口130中消耗的能量等。

未压缩的图像数据可提供至包括在第二图像处理块120中的编码器。包括在第二图像处理块120中的编码器对图像数据进行压缩、将压缩的图像数据记录在其内包含的帧缓冲器中、或更新记录在帧缓冲器中的压缩的图像数据。

包括在第二图像处理块120中的解码器对记录在帧缓冲器中的压缩的图像数据进行解压缩。第二图像处理块120显示由解码器解压缩的图像数据。

如上所述，通过包括在第一图像处理块110或第二图像处理块120中的编码器对图像帧进行压缩。基于给定的用于图像帧的压缩率，编码器对形成图像帧的每行进行压缩。因此，当形成图像帧的行具有不同的压缩性能时，基于给定压缩率，对每行进行压缩所获得的压缩比特数目可彼此不同。即使形成每行的图像数据的比特数目相同，但当由于压缩性能的差别，为每行所获得的压缩比特数目彼此不同时，表示实际的压缩率(也就是，压缩性能)彼此不同。例如，对具有高压缩性能的行进行压缩所获得的压缩比特数目小于对具有相对较低压缩性能的行进行压缩所获得的压缩比特数目。

通过考虑以上内容，当编码器预测每行的压缩性能、压缩率、以及压缩比特的数目中至少之一时，可调度用于每行的压缩比特数目的分配。优选的是，当执行压缩和解压缩时，通过假定基于固定的压缩率(下文中称为“帧压缩率”)对单个图像帧进行压缩，执行调度以使得图像质量最大化。当基于固定的帧压缩率对单个图像帧进行压缩时，表示无论调度如何，对该单个图像帧进行压缩所获得的总压缩比特数目没有改变。也就是说，虽然压缩比特数目通过调度动态地分配给每行，但是对于所有行而言分配的总压缩比特数目没有改变。优选的是，即使分配给每行的压缩比特数目存在变化，基于调度的总压缩比特数目也不超过基于帧压缩率的总压缩比特数目。

例如，存在这样的调度方案，该调度方案为单个图像帧应用固定的帧压缩率，并为形成单个图像帧的每行动态地分配压缩率。也就是说，执行调度，以从具有高压缩性能的行收回压缩比特，并在收回的压缩比特数目内，将额外的压缩比特数目分配给具有相对较低压缩性能的行。这样防止了不必要地分配压缩比特，并提高了具有相对较低压缩性能的行的图像质量。

此外，基于在压缩前为图像帧预测的图像质量是否满足预定的标准图像质量，编码器确定是否对图像帧进行压缩、选择性地应用压缩算法、或改变固定的帧压缩率。这对应于通过选择性的压缩防止显示图像质量劣化的方案。

下面将详细地描述调度方案和选择性的压缩方案。

图2是示出了根据本发明实施方式的对位于其内部的图像进行压缩和解压缩的图像处理设备的示例的图。也就是说，图2的图像处理设备的配置可以是图1的图像处理设备的实际实施示例。

作为代表性示例，具有图2所示结构的图像处理设备包括智能电话。智能电话具有这样的结构：应用处理器(AP)210与显示驱动器IC(DDI)220通过接口230共享图像帧，其中AP 210与图1的第一图像处理块110对应，DDI 220与图1的第二图像处理块120对应。AP 210和DDI 220为移动设备(如智能电话)中负责处理显示图像的部件。

使用易于传送图像数据的高速串行接口作为接口230，其中接口230连接AP 210和DDI 220。高速串行接口的代表性示例包括移动行业处理器接口(MIPI)、嵌入式显示端口(eDP)接口等。

图3示出了根据本发明实施方式的对位于其内部的图像进行压缩和解压缩的图像处理设备的示例。也就是说，图3的图像处理设备的配置可以是图1的图像处理设备的实际实施示例。

具有图3结构的图像处理设备的代表性示例为平板式PC。平板式PC具有这样的结构：AP 310和时序控制器(T-CON)320通过接口330共享图像帧，其中AP 310与图1的第一图像处理块110对应，T-CON 320与图1的第二图像处理块120对应。AP 310和T-CON 320为移动设备(如平板式PC)中负责处理显示图像的部件。

使用易于传送图像数据的高速串行接口作为接口330，其中接口330连接AP 310和T-CON 320。高速串行接口的代表性示例包括MIPI、eDP等。

图4示出了根据本发明实施方式的用于压缩图像数据的图像处理设备的配置。在图4中，已省略了与本发明不相关的、对应于图像处理设备的配置，而仅示出了压缩图像数据所需的配置。

参照图4，用于压缩图像数据的图像处理设备包括帧缓冲器410和编码器420。显而易见的是，基于实施图像处理设备的目的和方案，可改变图像处理设备的配置。例如，帧缓冲器410不是作为单独的部件被包括在图像处理设备中，以及用于暂时存储待压缩图像帧的记录区域可包括在编码器中。

帧缓冲器410记录输入用于压缩的图像帧(或图像数据)。记录在帧缓冲器410中的图像帧的数目可基于缓冲器的大小而改变。

当帧缓冲器410具有足以记录单个图像帧的大小时，帧缓冲器410基于由静止图像或运动图像生成的单个图像帧单元执行更新。

考虑到固定的帧压缩率，编码器420输出通过对帧缓冲器410提供的输入图像帧的每行进行编码来压缩的图像帧。可通过调度来为每行确定用于编码的压缩率。然而，由于固定的帧压缩率，总压缩比特数目(即，通过编码器420进行压缩的图像帧的每行的压缩比特数目的总和)是固定的。

具体地，编码器420基于独立分配的压缩率对形成输入图像帧的每行进行编码，并执行输出。编码器420基于形成输入图像帧的图像数据的类型，来准备为每行指定压缩率的单独调度方案。也就是说，编码器420可根据不同的情况应用不同的调度方案，即在图像数据的类型为静止图像时对于输入图像帧的每行动态地指定压缩率的调度方案，以及当图像数据的类型为运动图像时对于输入图像帧的每行动态地指定压缩率的调度方案。

通过调度来指定对于每行的压缩率，与确定对每行进行压缩而生成的压缩比特数目具有相同的意义。如上文重复描述的那样，这是因为压缩率由输入用于压缩的比特与通过压缩输出的比特的比值限定。也就是说，当输入用于压缩的比特数目恒定时，压缩率可被定义为与通过压缩输出的比特的数目(也就是说，压缩比特数目)成比例。

用于静止图像的调度方案基于通过分析形成前一图像帧(第N-1图像帧)的每行所获得的结果来为当前图像帧(第N图像帧)的每行调节压缩比特数目。调节每行的压缩比特数目与为每行设置压缩率具有相同的意义。分析结果可以是基于压缩性能、图像质量等进行分级的等级信息。可预先限定用于对压缩性能、图像质量等进行分级的多个等级。

编码器420基于为前一图像帧(第N-1图像帧)的每行获得的分析结果来为当前图像帧(第N图像帧)的每行预测图像质量或压缩性能。编码器420基于为每行预测的图像质量或压缩性能来确定是否对每行收回压缩比特数目或增加压缩比特数目。

例如，编码器420确定从具有良好图像质量或良好压缩性能的行(指定为高等级的行)收回与剩余压缩比特数目对应的压缩比特，并为具有相对欠佳图像质量或相对欠佳压缩性能的行(指定为低等级的行)，分配与缺少的压缩比特数目对应的额外压缩比特。

编码器420累计确定要收回的剩余压缩比特的数目并管理该数目，并且在所累计和管理的剩余压缩比特数目的可用范围内，将压缩比特额外分配给需要额外分配的行。

通过由编码器420进行的调度，在对一个图像帧进行压缩所需的总压缩比特数目没有变化的情况下，可优化用于每行的压缩率。这样提高了图像帧的图像质量。

用于运动图像的调度方案基于同一图像帧(第N图像帧)中的前一行(第k-1行)的压缩信息以及对当前行(第k行)进行压缩时所期望的压缩信息，来调节当前行(第k行)的压缩比特数目。为每行调节压缩比特数目与为每行设置压缩率具有相同的意义。

当前一行(第k-1行)与当前行(第k行)之间的相似性至少为预定等级并且第N图像帧的预测的图像质量至少为标准时，编码器420基于前一行(第k-1行)的压缩性能(或图像质量)，预测当前行(第k行)的压缩性能(或图像质量)。

应注意到，N是由用于辨别图像帧的正整数所限定的索引，以及k是由用于表示形成单个图像帧的多行(1<k<K)之一的正整数所限定的索引。

例如，编码器420在预测前一行(第k-1行)的压缩性能之后对前一行(第k-1行)执行编码，并对当前行(第k行)预测性能。编码器420确定前一行(第k-1行)与当前行(第k行)之间的相似性是否在设定的范围内。当该相似性在设定的范围内时，编码器420基于为前一行(第k-1行)预测的压缩性能和为当前行(第k行)预测的压缩性能，调节关于当前行(第k行)的压缩比特数目。

例如，当为当前行(第k行)预测的压缩性能对应于“好”或“中等”时，可收回用于当前行(第k行)的压缩比特数目。当预测的压缩性能对应于“差”时，对其额外地分配。

然而，当前一行与随后行之间的相似性不在设定范围内时，编码器420基于先前设定的固定值来确定该随后行的压缩比特数目。

前一行(第k-1行)与当前行(第k行)之间的相似性分为多个等级，并且可基于相似性等级分配不同数目的压缩比特。最简单的方案为将前一行(第k-1行)与当前行(第k行)之间的相似性分级为“好”、“中等”和“差”。然而，为了精细地确定相似性，可基于根据压缩性能输出的压缩比特数目的范围来限定相似性等级。在该示例中，可基于最小压缩比特数目和最大压缩比特数目限定压缩比特数目的范围。

编码器420基于为每行预测的图像质量或压缩性能，确定是否对每行收回压缩比特数目或额外增加压缩比特数目。

例如，编码器420确定从具有良好图像质量(或良好压缩性能)的行收回与剩余压缩比特数目对应的压缩比特，以及为具有相对欠佳的图像质量(或相对欠佳的压缩性能)的行，分配与缺少的压缩比特数目对应的额外压缩比特。

通过由编码器420对压缩比特数目(或压缩率)的调度，在通过对单个图像帧进行压缩所获得的总压缩比特数目没有变化的情况下，可优化用于每行的压缩率。这在对图像帧进行压缩和解压缩时提高了图像质量。

编码器420还可基于多个帧单元执行压缩比特数目(或压缩率)的调度。也就是说，编码器420使用为每行分析的压缩性能来为形成单个目标图像帧的每行确定压缩比特数目，并且还可将为每行分析的压缩性能等同地应用至随后存在的预定数目的帧。在需要时可限定或更新通过一次分析所获得的结果通常被应用至的图像帧的数目。

图5示出了根据本发明实施方式的用于对静止图像进行压缩的编码器的结构示例。图5中示出的每个框由硬件、软件或硬件与软件的组合来配置，并且基于前一图像帧每行的分析结果，为当前图像帧的每行独立地分配压缩比特数目。通过前一图像帧每行的分析结果，可预测当前图像帧每行的压缩性能、图像质量等。

压缩性能是表示图像数据基于相同压缩方案进行压缩时所获得的压缩比特数目的大小程度的指标的示例。为了测量压缩性能，需要这样的前提：图像帧的每行同等地获得与压缩和解压缩相关的图像质量。

为了获得相同的图像质量，通常认为当通过压缩生成的压缩比特数目变小时压缩性能更高，以及当通过压缩生成的压缩比特数目变大时压缩性能更低。出于上述原因，高压缩率可分配给具有良好压缩性能的行。而可为具有相对欠佳压缩性能的行分配低压缩率。

例如，可基于预先限定的多个等级来对压缩性能进行分级。例如，可基于根据压缩性能可获得的最小压缩比特数目和最大压缩比特数目之间的差别，预先设定对压缩性能进行分级的多个等级。在该示例中，限定每个压缩性能的等级可限定输出的压缩比特的数目。

参照图5，图像质量预测单元510为图像帧的每行预测图像质量。图像质量的示例包括PSNR。然而，可能不需要为每行执行图像质量的预测来对所有的图像帧进行压缩。优选地，当对与优选通过为每行预测一次图像质量来维持图像质量的多个图像帧中的若干图像帧执行压缩时，不需要为每行预测图像质量。例如，图像质量预测单元510通过小波变换获得图像信息率，该图像信息率将作为用于确定图像质量的标准。例如，可基于“与对应行相关的图像信息中‘0’的累计数目与通过小波变换可获得的标准信息的平均值的比值(‘0’的数目/LL频带的平均值)”获得图像信息率。

下面参照图7，在该图中示出了根据本发明实施方式的基于小波变换对数据进行压缩的示例。

将参照图7描述小波变换。图像质量预测单元510在阶段1将输入用于压缩的图像数据分成低频数据(下文中称为“第一低频分离数据”)和高频数据(下文中称为“第一高频分离数据”)。例如，由2000个像素形成的图像数据分成具有1000个像素的第一低频分离数据和具有1000个像素的第一高频分离数据。

图像质量预测单元510在阶段2将第一低频分离数据分成低频数据(下文中称为“第二低频分离数据”)和高频数据(下文中称为“第二高频分离数据”)。例如，由1000个像素形成的第一低频分离数据分成具有500个像素的第二低频分离数据和具有500个像素的第二高频分离数据。

图像质量预测单元510在阶段3将第二低频分离数据分成低频数据(下文中称为“第三低频分离数据”)和高频数据(下文中称为“第三高频分离数据”)。例如，由500个像素形成的第二低频分离数据分成具有250个像素的第三低频分离数据和具有250个像素的第三高频分离数据。

如上所述，通过重复执行通过小波变换分离低频数据与高频数据的步骤而形成等级，该等级被称为金字塔等级。

与最后阶段通过小波变换分离的低频数据对应的低等级频带信息具有最大量的图像信息。因此，低等级频带信息可以是主要用于预测待进行压缩/解压缩的图像的图像质量的标准信息。

图像质量预测单元510使用图像信息率来为每行预测图像质量，其中该图像信息率限定为通过执行小波变换所获得的低等级频带信息的数据平均值与“0”的累计数目的比值。

现在参照图8。图8示出了根据本发明实施方式的图像信息率与图像质量之间映射的示例，也就是说，图8的示例是将图像信息率设置在x轴并将每行实际测量的图像质量值(PSNR)设置在y轴的曲线图。

基于等式(1)可测量每行的PSNR。

${\log }_{10}\left(\frac{{\mathrm{MAX}}_I^2}{\mathrm{MSE}}\right)=20\&CenterDot;{\log }_{10}\left(\frac{{\mathrm{MAX}}_I}{\sqrt{\mathrm{MSE}}}\right)$

其中，均方差(MSE)为对位于相同位置处、两个相同量的数据计算的方差，并可限定为在等式(1)中限定MSE的两个参数i和j基于图像处理限定水平线和竖直线。

参照图8的曲线图中指示行的图像质量的PSNR的分布，当x轴中的图像信息率较高时，相对更高的PSNR是主要的，当x轴中的图像信息率较低时，相对更低的PSNR是主要的。通常，当PSNR超过30dB时，个体不能在视觉上辨别两个图像之间的差别。

因此，基于PSNR的分布，设置在x轴中的图像信息率可分级为多个等级。例如，小于或等于约250的图像信息率分级为第一等级，处于约250～700范围内的图像信息率分级为第二等级，以及大于或等于约700的图像信息率分级为第三等级。

返回参照图5，当基于图8的图像信息率使用实际测量的PSNR来生成表时，图像质量预测单元510可基于通过小波变换为每行获得的图像信息率容易地预测图像质量(即，PSNR)。图像质量预测单元510向确定单元540提供预测的图像质量(即，PSNR)。

图像处理单元520通过预定压缩算法对输入用于压缩的每行的图像数据进行编码，并输出压缩比特流作为编码结果。在该示例中，用于形成输出的压缩比特流的比特的数目确定对应行的压缩率。

压缩结果分析单元530基于输入用于压缩的行的图像数据的比特数目和从图像处理单元520输出的压缩比特流的比特数目，计算压缩率(即，压缩性能)。压缩结果分析单元530向确定单元540提供计算的压缩性能。

确定单元540基于由图像质量预测单元510提供的每行的图像质量和由压缩结果分析单元530提供的压缩性能，为每行确定压缩比特数目(即，压缩率)。确定单元540基于初始分配的方案和参考分配的方案之一，为每行确定压缩比特数目。

初始分配的方案是在没有准备用于每行的等级信息的状态下为每行调度压缩比特数目的方案，参考分配的方案是在准备了用于每行的等级信息的状态下为每行调度压缩比特数目的方案。

例如，在假设输入了第N-1图像帧和第N图像帧时，对第N-1图像帧执行基于初始分配的方案的调度，以及对第N图像帧或第N至第N+α图像帧执行基于参考分配的方案的调度。α是限定一个时段的参数，即，图像帧的数目，一次分析压缩性能的结果共同地应用至该时段。

首先，描述初始分配的方案。确定单元540为当前图像帧的每行预测图像质量，并基于为每行预测的图像质量和压缩性能为对应行的压缩比特数目执行调度。

确定单元540基于为当前图像帧的每行预测的图像质量以及测量的压缩性能(是否出现剩余压缩比特或缺少的压缩比特)，对形成图像帧的行进行分级。也就是说，确定单元540可基于预定标准将每行的图像质量和压缩性能分级成多个等级。

例如，当通过对预定行进行压缩所获得的压缩比特数目或预测的压缩比特数目小于设定标准(标准压缩比特数目)时，确定单元540确定可获得期望的图像质量并且压缩性能是优异的，因此将预定行分级为“第一等级(良好质量)”。否则，当通过对预定行进行压缩所获得的压缩比特数目或预测的压缩比特数目大于或等于设定标准(标准压缩比特数目)时，确定单元540分析预定行的图像质量，并基于通过分析预测的图像质量而将预定行分级为“第二等级(中等质量)”或“第三等级(欠佳质量)”。虽然该示例假设了三个等级，但是可基于三个或更多等级对图像质量进行细分。

确定单元540通过对每行进行分级来确定与对应行相关的等级信息，并基于为每行确定的等级信息来生成管理表。管理表可用于根据参考分配的方案为每行确定压缩比特数目。

确定单元540累计通过对预定行进行压缩所获得的剩余压缩比特的数目，并确定待通过调度对于每行收回的剩余压缩比特的数目或待为其执行额外分配的缺少的压缩比特的数目，以通过利用累计的剩余压缩比特数目防止另一预定行中压缩比特的缺少。

例如，确定单元540通过对分级为第一等级和第二等级的行进行的实际压缩来收回预定的剩余压缩比特数目，并且通过对分级为第三等级的行进行的实际压缩来额外分配与缺少的压缩比特数目对应的压缩比特。

现在描述参考分配的方案。确定单元540基于通过对先前图像帧进行压缩而准备的、用于每行的等级信息，获得用于当前图像帧的每行的等级信息，并基于获得的等级信息对相应行的压缩比特数目执行调度。

例如，对于通过初始分配的方案生成的管理表，当确定当前图像帧的预定行的等级信息为第一等级时，确定单元540累计实际压缩比特的数目与分配的压缩比特的数目之间的差别，并累计从第一等级和第二等级留出的压缩比特的数目，从而为分级为第三等级的行的压缩分配压缩比特数目。

现在参照图6。在图6中示出了根据本发明实施方式的用于对运动图像进行压缩的编码器的结构的示例。每个框由硬件、软件或硬件与软件的组合来配置，并且基于对单个图像帧中每行的分析结果，独立地分配当前行的压缩比特数目。通过用于先前行的分析结果，可预测当前行的压缩性能、图像质量等。

如上文参照图5所描述的那样，压缩性能是表示在基于相同压缩方案压缩图像数据时压缩比特数目的大小程度指标的示例。为了测量压缩性能，需要的前提为：图像帧的每行同等地获得与压缩和解压缩相关的图像质量。

为了获得相同的图像质量，通常认为当通过压缩生成的压缩比特的数目变小时压缩性能更高，以及当通过压缩生成的压缩比特的数目变大时压缩性能更低。出于上述原因，高压缩率可分配给具有良好压缩性能的行。而可为具有相对欠佳压缩性能的行分配低压缩率。

回到图6，图像质量预测单元610为图像帧的每行预测图像质量。图像质量的示例包括PSNR。图像质量预测单元610可通过与图5的图像质量预测单元510相同的操作预测PSNR。因此，将省略图像质量预测单元610的用于预测PSNR的操作。

相似性分析单元620分析与同一图像帧中的两行对应的图像数据之间的相似性，并将结果输出至确定单元630。例如，相似性分析单元620将形成第N图像帧的第k-1行(L_N,k-1)的每个像素与形成第N图像帧的第k行(L_N,k)的像素中位于相同位置处的像素进行比较，以基于相似度分析相似性。可基于表示图像的各种值分析相似性。例如，可基于R、G以及B的值、亮度值、照度值、色度值等分析像素的相似性。

可基于分级为“良好”、“中等”和“欠佳”的等级信息、百分比、度等限定从相似性分析单元620输出的相似性。然而，可通过更多具体的级将由相似性分析单元620分析的相似度细分。例如，可限定这样的等级，其基于可根据图像质量分配的最大压缩比特数目与最小压缩比特数目所限定的范围，来区分相似性。由于已充分描述了该示例，因此将省略其描述。

确定单元630基于由图像质量预测单元610提供的每行的图像质量和与相似性分析单元620提供的相似性相关的信息，为每行执行用于确定压缩比特数目(即，压缩率)的调度。与相似性相关的信息可以是指示是否存在相似性的信息或限定相似度的等级信息。

例如，当相似性分析单元620提供的相似性在预定范围内，并且由图像质量预测单元610提供的当前行的图像质量满足预先设定的标准图像质量时，确定单元630确定与先前行的图像质量成比例的用于当前行的压缩比特数目。当上述两个条件都满足时，则确定为当前行额外地分配压缩比特数目。

基于所确定的当前行的图像质量，确定单元630累计分配的压缩比特的数目与实际压缩比特的数目之间的差值，并且根据通过将累计的剩余压缩比特数目除以剩余的行所获得的商，额外地分配这样的压缩比特数目，即该压缩比特数目满足具有低图像质量的行中缺少的压缩比特的数目。

然而，当由相似性分析单元620提供的相似性在预定范围外时，确定将基于预先设定的固定值分配用于当前行的压缩比特数目。

例如，当相似性在预定范围内，并且预测的图像质量满足存在剩余比特的等级时，可从与可基于帧压缩率分配的压缩比特数目对应的标准压缩比特数目，收回预先设定的基于图像质量收回压缩比特的固定比特数目，并且可额外收回预先设定的与相似性相关的预定压缩比特数目。然而，当相似性在预定范围外，并且预测的图像质量满足存在剩余比特的等级时，仅从与可基于帧压缩率分配的压缩比特数目对应的标准压缩比特数目，收回预先设定基于图像质量收回压缩比特的固定比特数目。

为了得到除上文描述情况之外的结果，可额外地分配收回的剩余压缩比特数目。

图9示出了根据本发明实施方式的编码器调度压缩比特数目的示例。图9假设单个图像帧由N行形成。

参照图9，假设第一行、第二行和第五行具有相对良好的压缩性能，第三行和第N行具有相对欠佳的压缩性能，第四行具有与对应图像帧的固定帧压缩率一致的压缩性能。

因此，执行调度以收回通过对第一行、第二行和第五行进行压缩生成的剩余压缩比特数目，以及分配与对第三行和第N行进行压缩所需的缺少的压缩比特数目对应的压缩比特数目。在该示例中，可基于指定用于对应图像帧的固定帧压缩率(或标准压缩率)，确定作为收回剩余压缩比特数目和分配缺少的压缩比特数目的标准的压缩性能(压缩率或压缩比特的数目)。也就是说，当压缩性能(即，该标准)假设为压缩比特数目时，可基于在根据标准压缩率压缩图像帧时生成的总压缩比特数目除以行的数目(N)所获得的商，来确定用作该标准的压缩比特数目。可基于与对目标行预测的图像质量对应的等级，或基于与对目标行预测的图像质量对应的等级以及限定相似性的等级，来确定剩余压缩比特数目。确定剩余压缩比特数目的示例已经在上面进行了描述，因此在这里省略了其详细描述。

图10是根据本发明实施方式的控制用于在编码器中对图像数据进行的压缩的流程图。应注意，图10仅假定输入未压缩图像帧的情况。

参照图10，在步骤1010中，编码器接收用于压缩的目标图像帧的输入。可基于目标图像帧的类型确定用于压缩的目标图像帧的输入方案。例如，在待压缩的目标图像帧的类型为静止图像的情况下，仅在编码器请求时输入图像帧，因此可在编码器提供请求前降低与输入图像帧的接口相关的功率消耗。当目标图像帧的输入方案为运动图像时，接连输入图像帧。

在步骤1020中，编码器通过预定压缩算法对输入图像帧进行编码，以压缩对应的图像帧。用于对图像帧进行编码的帧压缩率通常可以是固定的。然而，对于预定情况，可以可变地应用帧压缩率，以提高与压缩和解压缩相关的图像质量。例如，当预测经过压缩和解压缩的图像帧的图像质量不满足设定标准时，编码器可不改变图像帧的帧压缩率或可不执行压缩。另外，编码器可改变用于编码对应图像帧的压缩算法。

为了对图像帧进行压缩，编码器为形成对应图像帧的每行执行编码。为此，编码器执行为每行独立分配压缩率(或压缩比特数目)的调度。

例如，编码器执行这样的调度，其分配在预定行中生成的剩余压缩比特数目作为用于预期缺少压缩比特的行的额外压缩比特数目。以这种方式，编码器执行调度，以使得当图像帧的每行进行压缩和解压缩时满足固定的帧压缩率并且满足预定的图像质量。

在步骤1030中，编码器输出压缩的图像帧。由编码器输出的压缩图像帧可通过内部接口传送至另一内部设备或可通过通信网络传送至另一设备。通过内部接口向内部设备提供压缩图像帧的示例性架构在图1至图3中已经进行了描述。

图11是根据本发明实施方式的与编码器执行的压缩相关的控制的流程图。也就是说，图11的控制流程限定了图10中对输入图像帧进行压缩的步骤1020的子程序。

参照图11，当输入待压缩的目标图像帧时，在步骤1110中，编码器确定输入图像帧的类型。确定图像帧的类型基于为对应图像帧提供的控制信息来执行、通过对形成对应图像帧的图像数据进行分析来执行、或通过图像帧的输入方案来执行。在这种情况下，所描述的方案中提供图像帧的架构提供了指示对应图像帧是否是静止图像的信息。

当确定输入图像帧的类型为静止图像时，在步骤1112中，编码器通过预先限定的用于对静止图像帧进行压缩的模式(静止图像帧压缩模式)来对输入图像帧执行编码。否则，当输入图像帧的类型为运动图像时，在步骤1114中，编码器通过预先限定的用于对运动图像帧进行压缩的模式(运动图像帧压缩模式)来对输入图像帧执行编码。

对静止图像的图像帧进行压缩的编码操作和对运动图像的图像帧进行压缩的编码操作可与参照图4至图6提供的描述相同。

图12是根据本发明实施方式的与对静止图像帧的图像帧执行编码的静止图像压缩子程序相关的控制的流程图。图12的控制流程同时考虑了将为每行分配压缩率(或压缩比特数目)的参考分配方案和初始分配方案。

参照图12，在步骤1210中，为了对图像帧进行编码，编码器确定是否存在限定与图像帧的每行对应的等级信息的参考表。当存在该参考表时，表示由初始分配方案已通过对前一图像帧进行编码分析了用于每行的图像质量、压缩性能等，以及已基于该分析对每行的等级进行分级。当不存在该参考表时，表示没有基于通过图像帧的编码而进行用于每行的图像质量、压缩性能等的分析来对每行的等级进行分级。

因此，根据是否存在参考表，编码器执行通过初始分配方案为每行确定压缩率(或压缩比特数目)的操作，或通过参考分配方案为每行确定压缩率(或压缩比特数目)的操作。

例如，当不存在参考表时，编码器通过对应于步骤1212至步骤1218以及步骤1222的操作为每行执行压缩率的调度。然而，当存在参考表时，编码器通过对应于步骤1220和步骤1222的操作为每行执行压缩率的调度。

如上文参照图5所描述的那样，初始分配方案是在没有准备用于每行的等级信息的状态下为每行调度压缩比特数目的方案，以及参考分配方案是在准备了用于每行的等级信息的状态下为每行调度压缩比特数目的方案。等级信息指示与用于对压缩性能进行分级而限定的多个等级中的、用于为对应行预测压缩性能而限定的等级相关的信息。

例如，当假设输入了第N-1图像帧和第N图像帧时，对于第N-1图像帧执行基于初始分配方案的调度，以及对于第N图像帧执行基于参考分配方案的调度。然而，基于参考分配方案的调度可基于预定时段共同地应用至多个图像帧，基于参考分配方案的调度使用限定了通过初始分配方案准备的每行的等级信息的表。

首先，描述与初始分配方案相关的操作。当在步骤1210中确定不存在参考表时，在步骤1212中，编码器为输入用于压缩的图像帧的每行预测图像质量。例如，编码器基于每行的分析结果预测对应行的图像质量。也就是说，基于通过为每行执行小波变换以及分析小波变换的结果而获得的对应行的图像信息率，预测对应行的图像质量。

可基于“与对应行相对应的图像信息中的‘0’的累计数目(‘0’的数目)”与“标准信息的平均值(LL频带的平均值)”的比值(“0”的数目/LL频带的平均值)，限定图像信息率。可通过为形成图像帧的每行执行小波变换，获得“与对应行相对应的图像信息中的‘0’的累计数目(‘0’的数目)”和“标准信息的平均值(LL频带的平均值)”。

为了基于图像信息率预测对应行的图像质量，可预先准备限定图像信息率与PSNR之间映射关系的表。例如，可通过分析与图像信息率对应的PSNR的分布、通过将经过分析的PSNR分布考虑在内并基于多个等级对图像信息率进行分级、以及通过基于每个被分级的图像信息率等级的PSNR来限定图像质量，来准备表。通过等式(1)等可实际测量与形成图像帧的每行相对应的PSNR。

在步骤1214中，编码器为输入图像帧的每行分析压缩性能。可基于压缩程度限定压缩性能，其中压缩程度可基于输入用于压缩的比特数目和通过编码被压缩的比特数目来进行分析。例如，编码器将通过实际压缩输出的比特数目小于预定标准比特数目的行分级为第一组，将通过实际压缩输出的比特数目大于预定标准比特数目的行分级为第二组。基于分析，编码器确定分级为第一组的行具有良好的压缩性能，而确定分级为第二组的行具有相对欠佳的压缩性能。虽然上文描述的示例假定基于两个组对行的压缩性能进行分级，但是通过两个或更多组进行分级也是可能的。

在步骤1216中，编码器基于为每行预测的图像质量和经过分析的压缩性能来确定每行的等级信息。例如，编码器基于为图像帧的每行预测的图像质量以及基于实际测量的压缩性能(是否出现剩余压缩比特或缺少的压缩比特)，对图像帧的行的等级进行分级。编码器可基于根据每行的图像质量准备的预定标准以及压缩性能，对待压缩的图像帧的行进行分级。

例如，当对预定行进行压缩所获得的压缩比特数目或预测的压缩比特数目小于设定标准(标准压缩比特数目)时，编码器确定可获得期望的图像质量并且压缩性能是优异的，因此可将预定行分级为“第一等级(良好质量)”。否则，当对预定行进行压缩所获得的压缩比特数目或预测的压缩比特数目大于或等于设定标准(标准压缩比特数目)时，编码器基于为预定行预测的图像质量而将预定行分级为“第二等级(中等质量)”或“第三等级(欠佳质量)”。

如上文描述那样进行分级的“第一等级(良好质量)”、“第二等级(中等质量)”以及“第三等级(欠佳质量)”可限定为指定用于每行的等级信息。

在步骤1218中，编码器基于为每行确定的等级信息生成参考表。也就是说，当输入用于压缩的至少一个图像帧为静止图像时，编码器可利用为每行进行分级的等级信息，基于图像帧的每行的压缩性能和图像质量执行压缩率的动态分配。因此优选的是，编码器基于为每行进行分级的等级信息形成参考表。随后，当确定用于压缩图像帧的每行的压缩率时，编码器可参考该参考表。这里，等级信息是表示预先限定用以对图像质量或压缩性能进行分级的若干等级之一的信息。

然而，本发明并不总是生成参考表。也就是说，当存在用于在不准备参考表的情况下管理每行的等级信息的方案时，本发明可基于该方案来实施。

在步骤1222中，编码器执行调度，来为每行确定压缩率(或压缩比特数目)。例如，编码器通过为了分析压缩性能而执行的编码来累计在至少一行中生成的剩余比特的数目并管理累计的剩余比特数目，以及通过利用已管理的累计剩余比特数目来执行调度，以调节出现在至少一行中的缺少的压缩比特的数目。然而，仅在使用初始分配方案时，编码器可不执行为每行调节压缩率的调度。这是因为在为每行确定等级信息之前，初始分配方案执行用于分析压缩性能的编码操作。也就是说，当通过实际编码操作分析压缩性能时，编码器不需要执行用于为每行确定压缩率的调度。

另外，在这种情况下，编码器已对每行的图像数据执行了编码，因此可省略步骤1224的编码操作。

现在，将描述与参考分配方案相关的操作。当在步骤1210中确定存在参考表时，则在步骤1220中，编码器从通过初始分配方案生成的参考表确定与待压缩的目标行对应的等级信息。例如，与待压缩的目标行对应的等级信息可限定为第一等级、第二等级以及第三等级之一。在该示例中，第一等级具有比第二等级更好的压缩性能或更好的图像质量，而第二等级具有比第三等级更好的压缩性能或更好的图像质量。然而，如上文所限定的限定压缩性能的等级可不通过第一等级至第三等级来限定。也就是说，如上所述，对于实施方式可细分限定压缩性能的等级。

当编码器为每行限定等级信息时，在步骤1222中，通过将确定的等级信息考虑在内，编码器对每行执行确定压缩率的调度。例如，编码器执行从预定行收回剩余压缩比特数目的调度，并利用收回的剩余压缩比特数目来防止另一行中缺少压缩比特。

例如，在假设压缩性能分级为“第一等级(良好质量)”、“第二等级(中等质量)”以及“第三等级(欠佳质量)”的情况下，当预测预定行的图像质量为第一等级(良好质量)时，优选用于对第一等级的图像数据进行压缩的压缩率(或压缩比特数目)被分配给该预定行。该优选的压缩率高于用于对图像帧进行压缩的固定压缩率，因此当该预定行基于所分配的压缩率被压缩时，可能出现剩余压缩比特。编码器累计由于上述原因生成的剩余压缩比特的数目，并管理累计的剩余压缩比特数目。

然而，当预测预定行的图像质量为第三等级(欠佳质量)时，用于对第三等级的图像数据进行压缩的优选压缩率(或优选的压缩比特数目)可分配给该预定行。该优选的压缩率低于用于对图像帧进行压缩的固定压缩率，因此当该预定行由所分配的压缩率被压缩时，可能出现缺少压缩比特。编码器利用已管理的累计剩余压缩比特数目，以解决由于上述原因而出现的缺少压缩比特。也就是说，通过利用已管理的剩余压缩比特数目，编码器对缺少压缩比特的行额外地分配压缩比特数目。

另外，根据不同实施方式，当预测预定行的图像质量为第二等级(中等质量)时，可设定压缩率以出现剩余压缩比特，或可设定压缩率以出现缺少压缩比特。优选地，当预测图像质量为第二等级(中等质量)时，设定压缩率以出现剩余压缩比特。

也就是说，编码器执行这样的调度：累计通过对预测为第一等级(良好质量)或第二等级(中等质量)的行进行压缩所确定的剩余压缩比特的数目，并解决通过对预测为第三等级(欠佳质量)的行进行压缩所确定的缺少压缩比特。

在步骤1224中，编码器对每行的图像数据使用预定压缩算法执行编码，以基于确定的压缩率输出具有若干压缩比特的压缩图像数据。然而，当预先执行每行的图像数据的编码时，可省略步骤1224的编码操作。

图13是根据本发明实施方式的、与对运动图像的图像帧执行编码的运动图像压缩子程序相关的控制的流程图。

如图13所示，在步骤1310中，编码器通过为输入用于压缩的图像帧的每行预测图像质量来为每行分析压缩性能。例如，编码器可基于每行的分析结果预测对应行的图像质量。也就是说，基于通过为每行执行小波变换以及分析小波变换的结果所获得的对应行的图像信息率，预测对应行的图像质量。

可基于“‘0’的数目/LL频带的平均值”限定图像信息率。这里，可通过为形成图像帧的每行执行小波变换获得“与对应行相关的图像信息中的‘0’的累计数目(‘0’的数目)”和“标准信息的平均值(LL频带的平均值)”。

当预先准备了限定图像信息率与PSNR之间的映射关系的表时，编码器可从该表获得与通过小波变换获得的图像信息率对应的PSNR。已描述了使用图像信息率获得PSNR，因此将省略其描述。

在步骤1312中，编码器检查单个图像帧中前一行(第k-1行)与当前行(第k行)之间的相似性。例如，优选的是，在编码之前检查两行之间的相似性，但也可在编码之后检查。为了在编码之前检查行之间的相似性，编码器可省略图13中步骤1316的编码。

在步骤1314中，基于每行的压缩性能和多行之间的相似性，编码器为每行执行关于压缩率(或压缩比特数目)的调度。例如，当与前一行的相似性在预定范围内并且预测的当前行的压缩性能为预定等级(即，预期出现剩余压缩比特的等级)时，编码器确定从预期通过帧压缩率获得的压缩比特数目收回的剩余压缩比特数目。

然而，当与前一行的相似性在预定范围外并且为当前行预测的压缩性能为预期出现剩余压缩比特的等级时，编码器确定基于预先设定的固定值来执行分配。

例如，如果相似性在预定范围内，并且预测的压缩性能满足出现剩余比特的等级，则从标准压缩比特数目收回预先设定的、基于图像质量收回比特的固定比特数目，并且额外收回预先设定的与相似性相关的预定比特数目，其中该标准压缩比特数目与可基于帧压缩率进行分配的压缩比特数目对应。然而，当相似性在预定范围外，并且预测的图像质量满足出现剩余比特的等级时，仅从标准压缩比特数目收回预先设定的、基于图像质量收回压缩比特的固定比特数目，其中该标准压缩比特数目与可基于帧压缩率进行分配的压缩比特数目对应。

为了得到除上文描述情况之外的结果，可额外分配收回的剩余压缩比特数目。

编码器执行收回剩余压缩比特数目或额外分配缺少的压缩比特数目的调度，其中剩余压缩比特数目或缺少的压缩比特数目通过基于确定的等级对当前行进行编码而生成。

具体地，编码器确定已检查的前一行与当前行之间的相似性是否在预定范围内。仅在前一行的图像数据与当前行的图像数据比预定等级更相似时，该确定才在对当前行的等级进行分级时确保能够反映出前一行的图像质量。

当前一行与当前行之间的相似性处于预定范围内时，编码器基于为当前行预测的图像质量是否满足所需标准的确定结果，来确定当前行的图像质量。也就是说，在假设每行的图像质量分级为第一等级(良好质量)、第二等级(中等质量)和第三等级(欠佳质量)，并且前一行的图像质量为第一等级(良好质量)时，将当前行的图像质量确定为第一等级(良好质量)。

在当前行的图像质量被确定为第一等级(良好质量)时，编码器将通过对当前行进行编码而生成的剩余压缩比特数目累计至已管理的剩余压缩比特数目，并管理累计的压缩比特数目。对于当前行的图像质量为第二等级(中等质量)的情况，在对当前行进行编码时，编码器确定出现剩余压缩比特。

在该示例中，可基于预先设定的根据相似性收回的比特数目和对应于压缩性能为每个等级所设的收回比特数目，确定要收回的剩余压缩比特数目。

相反地，在当前行的图像质量确定为第三等级(欠佳质量)时，编码器使用已管理的累计剩余压缩比特数目，以调节通过对当前行进行编码生成的缺少的压缩比特数目。例如，可基于“总累计压缩比特数目/当前帧中未压缩剩余行的数目”，确定对于出现缺少压缩比特的行要额外分配的比特数目。

在步骤1316中，编码器使用预定压缩算法执行对每行的图像数据的编码，以及基于确定的压缩率输出具有压缩比特数目的压缩图像数据。然而，当预先执行每行的图像数据的编码时，可省略步骤1316的编码操作。

作为本发明的另一实施方式，当预期在对输入图像帧进行压缩和解压缩之后的图像质量低于标准时，可不对输入图像帧进行压缩，并且可改变用于压缩输入图像帧的压缩算法，或可调节压缩率以防止图像质量劣化。

图14是示出了根据本发明另一实施方式的图像处理设备的配置的框图。

参照图14，编码器1410输出通过预定压缩算法对输入图像帧进行编码而压缩的图像帧。

输出选择单元1420对输入图像帧预测图像质量，并基于预测的图像质量等级生成输出选择信号。输出选择单元1420使用小波变换对输入图像帧预测图像质量，或使用两个连续先前图像帧来预测图像质量，稍后将对其进行描述。

仅当预测的图像质量处于预定的允许范围内时，输出选择单元1420才生成输出选择信号，该输出选择信号选择被编码器1410编码的压缩的图像帧。当预测的图像质量处于预定的允许范围之外时，输出选择单元1420生成输出选择信号，该输出选择信号选择编码前的图像帧，即输入图像帧。

多路复用器(MUX)1430使用被编码器1410编码的压缩的图像帧和编码前的图像帧作为输入，并基于由输出选择单元1420生成的输出选择信号来选择这两个输入之一并且输出所选择的输入。

根据如上所述的图像处理设备，如果为输入图像帧预测的图像质量不满足设定标准时，则输入图像帧不被编码并且被忽略。也就是说，仅在为输入图像帧预测的图像质量满足设定标准时，才对输入图像帧编码，并且输出压缩的图像帧。

因此，图14的图像处理设备优选从压缩的时间点分析先前帧的图像，基于分析结果预测压缩和解压缩时所期望的当前帧图像的图像质量，以及在预测的图像质量低于标准图像质量时对于当前帧图像执行分离处理。

例如，为了预测第N帧的图像质量，对于第N-1帧执行小波变换，使用基于变换结果确定的“0”的数目和低频带数据的平均值，为每行进行图像质量等级分级。因此，基于指定用于每个等级的权重，预测第N帧的图像质量。

在另一示例中，为了预测第N帧的图像质量，对第N-2帧(两个先前的帧之一)的图像进行压缩和解压缩，并将第N-2帧的经压缩和解压缩的图像与第N-1帧的图像进行比较。因此，基于比较的结果预测第N帧的图像质量。

图15是根据本发明另一实施方式的基于预测的图像质量确定处理图像帧的方案的控制的流程图。

如图15所示，在步骤1510中，图像处理单元预测先前图像帧的图像质量。例如，对图像帧预测图像质量的方案包括使用单个先前图像帧的方案和使用两个先前图像帧的方案。

在步骤1520中，图像处理单元确定预测的图像质量是否存在于允许范围内。该允许范围设定了期望从通过压缩和解压缩得到的图像帧获得的图像质量的范围。

当预测的图像质量处于允许范围内时，图像处理单元确定可通过压缩和解压缩获得具有期望等级质量的图像帧，因此在步骤1530中对当前图像帧执行编码。然而，当预测的图像质量处于允许范围之外时，图像处理单元确定可能不能通过压缩和解压缩获得具有期望等级质量的图像帧，因此在步骤1540中基于设定的方案对当前图像帧执行额外的处理。额外处理的设定方案可以是以下方案之一：不进行编码而忽略输入图像帧的方案、改变压缩算法的方案、以及调节压缩率的方案。

图16是与使用单个图像帧进行图15的图像质量预测的方案相关的控制的流程图。

如图16所示，在步骤1610中，图像处理单元从第N-1帧选择单行，并输入所选行的像素值。在步骤1612中，图像处理单元对于所选行的输入像素值执行小波变换。

在步骤1614中，图像处理单元从通过小波变换获得的结果值确定与所选行对应的“0”的数目，并将所确定的“0”的数目额外累计至预先累计的“0”的数目。此外，在步骤1616中，图像处理单元将与通过小波变换获得的结果值对应的低等级频带数据反映至预先计算出的低等级频带数据的平均值中，以更新低等级频带数据的平均值。

在步骤1618中，图像处理单元基于“0”的累计数目和低等级频带数据的平均值，预测所选行的图像质量，并将预测的图像质量分级为多个等级之一。例如，对图像质量进行分级的该多个等级可限定为第一等级至第三等级。

在步骤1620中，图像处理单元确定先前选择的行是否与输入图像帧的最后一行对应。当确定先前选择的行不是最后一行时，图像处理单元返回步骤1610，选择第N-1帧的下一行并重复所描述的操作。

然而，当确定先前选择的行是最后一行时，在步骤1622中，图像处理单元对于第N-1帧计算预测的图像质量。例如，图像处理单元反映分级至每个等级的行的数目以及指定用于每个等级的权重，以对第N-1帧计算预测的图像质量。

如上所述，基于为第N-1帧预测的图像质量，可确定在对第N帧进行压缩时可获得的图像质量是否超过标准图像质量。

图17是与使用两个图像帧进行图15的图像质量预测的方案相关的控制的流程图。

参照图17，在步骤1710和步骤1712中，图像处理单元分别接收第N-1帧和第N-2帧的输入。在步骤1714中，图像处理单元对第N-2帧执行编码，在步骤1716中，图像处理单元将通过编码所获得的压缩的图像帧存储在帧缓冲器中。在步骤1718中，图像处理单元对于存储在帧缓冲器中的压缩的图像帧执行解码，并输出解压缩的图像帧。图像处理单元不对作为随后图像帧的第N-1帧进行压缩和解压缩，并照原样输出第N-1帧。

在步骤S1720中，图像处理单元基于通过压缩和解压获得的第N-2帧和未经压缩和解压缩的第N-1帧对于当前帧计算图像质量。

例如，因为解压缩的第N-2帧的处理延迟与忽略的第N-1帧的处理延迟彼此不同，因此图像处理单元使这两个帧的处理延迟匹配。接着，图像处理单元为匹配了处理延迟的解压缩的第N-2帧和忽略的第N-1帧计算图像质量，并基于计算的图像质量确定处理当前帧(即，第N帧)的方案。

优选的是，用于确定处理第N帧方案的第N-1帧和第N-2帧不作为用于显示等的图像数据使用。

如上所述，根据基于图15至图17的控制流程的操作，仅对于其图像质量(PSNR)满足标准的图像帧正常地执行压缩和解压缩。在图像帧的图像质量(PSNR)低于标准的情况下，可不进行压缩的情况下忽略该图像帧，通过应用专用压缩算法(如分组编码等)来执行压缩和解压缩，以及通过降低压缩率来执行压缩和解压缩。

虽然已参照本发明的某些实施方式示出和描述了本发明的详细说明，但是本领域技术人员应理解，在不背离本发明范围的情况下，可对其进行各种改变。因此，不能仅基于所描述的实施方式来确定本发明的范围。相反，应基于所附权利要求书及其等同方案来确定本发明的范围。另外，不应脱离本发明的技术思想或技术构思来理解对本发明实施方式所做的修改。

Claims (24)

1.一种对多行形成的图像帧中的每行进行压缩的方法，包括：

预测形成单个图像帧的每行的图像质量；

为所述每行独立确定能够为所述每行获得所预测图像质量的压缩率；以及

使用为所述单个图像帧的预定行独立确定的压缩率，对所述预定行的图像数据进行压缩。

2.如权利要求1所述的方法，其中，为每行独立确定压缩率的步骤包括：分配通过压缩所述单个图像帧的对应行而生成的压缩比特数目。

3.如权利要求2所述的方法，其中，所述每行的压缩率被确定为，使得基于为所述单个图像帧的每行确定的压缩率对所述单个图像帧的所有行进行压缩时预期生成的总压缩比特数目小于或等于基于单个标准压缩率对所述单个图像帧的所有行进行压缩时预期生成的总压缩比特数目。

4.如权利要求3所述的方法，还包括：

当分配的压缩比特数目小于标准压缩比特数目时，累计实际压缩比特数目与所述标准压缩比特数目之间的差值所对应的比特数目，并将所累计的比特数目作为剩余比特数目，其中，所述分配的压缩比特数目与为所述预定行独立确定的压缩率对应，所述标准压缩比特数目与基于所述标准压缩率对所述预定行的图像数据进行压缩时生成的压缩比特数目对应。

5.如权利要求4所述的方法，其中，所述分配的压缩比特数目对应于使用为所述预定行独立确定的压缩率对所述预定行的图像数据进行压缩生成的压缩比特数目。

6.如权利要求4所述的方法，其中，所述分配的压缩比特数目对应于先前设定的、分配用于为所述预定行独立确定的压缩率的压缩比特数目。

7.如权利要求4所述的方法，其中，为所述预定行独立确定压缩率包括：

当为所述预定行确定的压缩率低于所述标准压缩率时，对所述预定行分配的压缩比特数目为所述标准压缩比特数目加上在所述剩余比特数目范围内额外分配的压缩比特数目，

其中，所述额外分配的压缩比特数目基于这样的比特数目分配：该比特数目对应于所述标准压缩比特数目与基于为所述预定行确定的压缩率压缩所述预定行的图像数据而生成的压缩比特数目之间的差值。

8.如权利要求7所述的方法，其中，基于所述剩余比特数目除以所述单个图像帧的所述多行中未压缩行的数目所得到的商，分配所述额外分配的压缩比特数目。

9.如权利要求1所述的方法，其中，当所述单个图像帧为第N图像帧，且为静止图像帧时，基于通过分析第N-1图像帧的多行中第k行而获得的图像质量，预测所述第N图像帧的多行中第k行的图像质量，

其中，N是用于识别图像帧的正整数所限定的索引，k是用于表示单个图像帧的多行之一的正整数所限定的索引，K是第N图像帧的行数，1<k≤K。

10.如权利要求9所述的方法，其中，分析所述第N-1图像帧的第k行的步骤包括：

使用对所述第N-1图像帧的第k行进行小波变换所获得的低等级频带的数据平均值与所述第N-1图像帧的第k行的图像信息中“0”的累计数目的比值，预测所述第N-1图像帧的第k行的图像质量。

11.如权利要求1所述的方法，其中，当所述单个图像帧为第N图像帧，且为运动图像帧时，基于对所述第N图像帧的多行中第k行的图像数据进行压缩时预测的压缩性能和所述第N图像帧的第k-1行的压缩信息，独立确定所述第N图像帧的第k行的压缩率。

12.如权利要求1所述的方法，其中，当所述单个图像帧为第N图像帧，且为运动图像帧时，基于以下信息预测所述第N图像帧的多行中第k行的图像质量：

所述第N图像帧中第k行与所述第N图像帧中第k-1行之间的相似性；

对所述第N图像帧中第k行进行小波变换所获得的低等级频带的数据平均值与所述第N图像帧中第k行的图像信息中“0”的累计数目的比值；以及

所述第N图像帧中第k-1行的图像质量，

其中，N是用于识别图像帧的正整所限定的索引，k是用于表示单个图像帧的多行之一的正整数所限定的索引，K是第N图像帧的行数，1<k≤K。

13.一种对多行形成的图像帧中的每行进行压缩的图像处理设备，包括：

帧缓冲器，接收和存储要压缩的图像帧；以及

编码器，配置成预测形成所述帧缓冲器输出的单个图像帧的每行的图像质量、为所述每行独立确定能够为所述每行获得所预测图像质量的压缩率、以及使用为所述单个图像帧的预定行独立确定的压缩率对所述预定行的图像数据进行压缩。

14.如权利要求13所述的图像处理设备，其中，所述编码器通过分配对所述单个图像帧的对应行进行压缩而生成的压缩比特数目来为所述每行独立确定压缩率。

15.如权利要求14所述的图像处理设备，其中，所述编码器为所述每行确定压缩率，以使得基于为所述单个图像帧的每行确定的压缩率对所述单个图像帧的所有行进行压缩时预期生成的总压缩比特数目小于或等于基于单个标准压缩率对所述单个图像帧的所有行进行压缩时预期生成的总压缩比特数目。

16.如权利要求15所述的图像处理设备，其中，当分配的压缩比特数目小于标准压缩比特数目时，编码器累计实际压缩比特数目与所述标准压缩比特数目之间的差值所对应的比特数目，并将所累计的比特数目作为剩余比特数目，其中，所述分配的压缩比特数目与为所述预定行独立确定的压缩率对应，所述标准压缩比特数目与基于所述标准压缩率对所述预定行的图像数据进行压缩时生成的压缩比特数目对应。

17.如权利要求16所述的图像处理设备，其中，所述分配的压缩比特数目对应于使用为所述预定行独立确定的压缩率对所述预定行的图像数据进行压缩生成的压缩比特数目。

18.如权利要求16所述的图像处理设备，其中，所述分配的压缩比特数目对应于先前设定的、分配用于为所述预定行独立确定的压缩率的压缩比特数目。

19.如权利要求16所述的图像处理设备，其中所述编码器执行：

当为所述预定行确定的压缩率低于所述标准压缩率时，对所述预定行分配的压缩比特数目为所述标准压缩比特数目加上在所述剩余比特数目范围内额外分配的压缩比特数目，其中，所述额外分配的压缩比特数目基于这样的比特数目分配：该比特数目对应于所述标准压缩比特数目与基于为所述预定行确定的压缩率压缩所述预定行的图像数据而生成的压缩比特数目之间的差值。

20.如权利要求19所述的图像处理设备，其中所述编码器基于所述剩余比特数目除以所述单个图像帧的所述多行中未压缩行的数目所得到的商，分配所述额外分配的压缩比特数目。

21.如权利要求13所述的图像处理设备，其中，当所述单个图像帧为第N图像帧，且为静止图像帧时，所述编码器基于通过分析第N-1图像帧的多行中第k行而获得的图像质量，预测所述第N图像帧的多行中第k行的图像质量，以及

其中，N是用于识别图像帧的正整数所限定的索引，k是用于表示单个图像帧的多行之一的正整数所限定的索引，K是第N图像帧的行数，1<k≤K。

22.如权利要求21所述的图像处理设备，其中所述编码器执行：

使用对所述第N-1图像帧的第k行进行小波变换所获得的低等级频带的数据平均值与所述第N-1图像帧的第k行的图像信息中“0”的累计数目的比值，预测所述第N-1图像帧的第k行的图像质量。

23.如权利要求13所述的图像处理设备，其中，当所述单个图像帧为第N图像帧，且为运动图像帧时，所述编码器基于对所述第N图像帧的多行中第k行的图像数据进行压缩时预测的压缩性能和所述第N图像帧的第k-1行的压缩信息，独立确定所述第N图像帧的第k行的压缩率。

24.如权利要求13所述的图像处理设备，其中，当所述单个图像帧为第N图像帧，且为运动图像帧时，所述编码器基于以下信息预测所述第N图像帧的多行中第k行的图像质量：

所述第N图像帧中的第k行与所述第N图像帧中第k-1行之间的相似性；

对所述第N图像帧中第k行进行小波变换所获得的低等级频带的数据平均值与所述第N图像帧中第k行的图像信息中“0”的累计数目的比值；以及

所述第N图像帧中第k-1行的图像质量，

其中，N是用于识别图像帧的正整数限定的索引，k是用于表示单个图像帧的多行之一的正整数所限定的索引，K是第N图像帧的行数，1<k≤K。