CN1843039B

CN1843039B - 用于使用描述性模型参数来编码并解码增强层数据的系统和方法

Info

Publication number: CN1843039B
Application number: CN2004800248162A
Authority: CN
Inventors: D·布拉泽罗维克; W·布鲁尔斯; S·维勒
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-08-29
Filing date: 2004-08-25
Publication date: 2011-02-23
Anticipated expiration: 2024-08-25
Also published as: KR20060132797A; JP2007504696A; CN1843039A; WO2005022918A1; EP1661405A1; US20060262846A1; DE602004021818D1; EP1661405B1; US7953156B2; JP4949836B2; ATE435567T1; KR101073535B1

Abstract

提供了一种包括编码器(300)的图像编码系统(300，400)，所述编码器(300)用于接收输入图像数据并且产生相应的编码图像输出数据。所述编码器包括图像处理功能部件(310，320，330，360)，用于处理所述输入图像数据以便为其中的每个输入图像产生多个相应的图像层，所述图像层包括至少一个基础层BLOP和至少一个增强层ELOP。此外，编码器(300)还包括编码功能部件(350)，用于接收所述图像层并且据此产生编码图像输出数据。所述编码功能部件还包括块选择功能部件(340)，用于选择所述至少一个增强层的一个或多个子区域，并且建模所述一个或多个子区域以便在图像输出数据中借助描述性模型参数来表示所述一个或多个子区域。

Description

用于使用描述性模型参数来编码并解码增强层数据的系统和方法

技术领域

本发明总体上涉及信号处理。特别地，本发明涉及图像编码系统，例如包括视频编码系统的这样的系统，还涉及相应的图像解码系统，其中在编码期间把图像信息转换为相应的空间分层格式，针对这种格式，把参数建模应用于所述格式中的至少一部分图像信息。此外，本发明还涉及在这些系统内所利用的图像编码方法。此外，本发明还涉及在上述系统内所利用的图像解码方法。另外，本发明涉及用于识别其中应用参数建模的最优解的方法；这种识别方法在要求选择模型阶的各种信号处理中也适用于图像编码系统的技术领域之外。

背景技术

用于编码及相应解码图像信息的方法已经为人们所知多年了。这种方法在DVD、移动电话数字图像传输、数字有线电视和数字卫星电视中具有显著意义。因此，存在大量编码及相应的解码技术，其中一些变为国际上认可的标准，诸如MPEG-2。

自从1997年以来，国际电信联盟(InternationalTelecommunicatiohs Union ITU)的视频编码专家组(Video CodingExperts Group VCEG)一直致力于具有国际命名H.26L的新的视频编码标准。后来在2001年，国际标准化组织/国际电工技术委员会(International Standardization Organization/International Electro-technical Commission ISO/IEC)与VCEG合作决定合为接合视频团队(Joint Video Team JVT)，以便创建单个技术设计；所述设计预计被ITU-T在2003年正式批准为“Recommendation H.264”并且被ISO/IEC批准为“国际标准14496-10”(MPEG-4部分10)高级视频编码(Advanced Video Coding AVC)。

H.264/AVC标准化的主要目的在于显著地改进视频压缩效率以及提供用于解决会话式和非会话式应用的“网络友好的”视频表示；会话式应用涉及电话而非会话式应用涉及存储、广播及流送通信数据。目前，标准H.264/AVC由于能够实现这些目的所以被广泛认可；此外，还考虑到标准H264/AVC也被用于处理视频应用的几个其它技术和标准体(例如DVB论坛和DVD论坛)采用。

H.264/AVC编码器和解码器的软件和硬件实现正在日益变得可用。

还已知其它形式的视频编码和解码。例如，在美国专利号US5,917,609中，描述了基于混合波形和模型的图像信号编码器及相应的解码器。在编码器和相应的解码器中，原始图像信号被波形编码并解码，以便在压缩之后尽可能接近地近似原始信号的波形。为了补偿其损失，信号的噪声分量——即被波形编码所丢失的信号分量——被基于模型地编码并且被独立发送或存储。在解码器中，噪声被重新产生并且添加到波形解码的图像信号。在此专利号US 5,917,609中所阐明的编码器和解码器尤其与压缩医学X光血管造影图像有关，其中噪声的丢失使心脏病专家或放射科医师断定相应的图像被扭曲了。然而，所描述的编码器和相应的解码器被认为是为专门医师来实现的，其未必符合任何建立或出现的图像编码及相应的解码标准。

再次参照所出现的上述H.264标准，此标准利用从诸如MPEG-2之类的现有标准是已知的空间可缩放性的类似原理。

原理的应用意味着可以把视频序列编码到依照从最高层到最低层序列所排列的两个或更多层中，每个层使用等于或小于其下一最高层空间分辨率的空间分辨率。所述层依照下列方式互相相关，通常被称为“增强层”的较高层表示在视频序列中的原始图像和较低编码层之间的差异，在所述较低编码层之后，所述较高层已经被局部解码并按比例放大到对应于所述原始图像的空间分辨率。在图1中，示出了用于产生对应于这种增强层的数据的模式。

在图1中，示出了总体上由10所表明的已知复合编码器。编码器10包括按比例缩小功能20、第一H.264编码器30、局部H.264解码器40、按比例放大功能50、差分功能60和第二H.264编码器70。提供视频信号输入IP以便输入像素图像数据。把输入IP耦合到差分功能60的非反相输入(+)并耦合到按比例缩小功能20的输入。把按比例缩小功能20的按比例缩小输出耦合到第一编码器30的输入。第一编码器30的第一主要编码输出被配置成提供基础层输出BLOP。此外，把第一编码器30的第二局部编码输出耦合到局部H.264解码器的输入，把所述局部H.264解码器的相应解码输出耦合到按比例放大功能50的输入。此外，把按比例放大功能50的按比例放大输出耦合到差分功能60的反相输入(-)。把差分功能60的差分输出耦合到第二编码器70的输入。来自第二编码器70的编码输出被配置成提供增强层输出ELOP。由于存在于输入IP的输入图像数据被在多个编码输出(例如在BLOP和ELOP输出)中表示，所以复合编码器10被定义为多层编码器，每个输出对应于“层”。

复合编码器10易于用软件、硬件或软件和硬件的混合来实现。此外优选地，按比例缩小功能20和按比例放大功能50被配置成具有匹配且互逆的图像缩放特性。此外优选地，第一编码器30和局部解码器40被配置成提供匹配但是相反的特性。另外优选地，第一和第二编码器30、70具有互相类似的编码特性。

现在将参考图1来描述复合编码器10的操作。

在编码器10的输入IP提供对应于图像序列的像素数据的输入流。逐帧地把所述流传递到差分功能60的非反相输入(+)并传递到按比例缩小功能20。向第一编码器30给出从按比例缩小功能20所提供的输入IP的比例缩小版本，所述第一编码器30编码所述按比例缩小版本以便提供基础层BLOP输出。此外，第一编码器30还向局部解码器40提供类似的编码输出，所述局部解码器40重新构造向第一编码器20提供的输入的按比例缩小版本的版本。然后，经由按比例放大功能50把重新构造的版本传递到差分功能60的反相输入(-)。差分功能60由此在其向第二编码器70的输入所提供的输出提供误差信号，所述误差信号对应于通过组合第一编码器30及其相关联解码器40所引入的误差，忽略由缩放功能20、50所引入的偏差。编码此误差信号，以便产生增强层ELOP输出。

如果经由传输介质把BLOP和ELOP输出传送到接收器，所述接收器可操作来使用在操作特性方面与局部解码器40类似的一个或多个解码器来解码BLOP和ELOP输出继而组合所产生的解码的ELOP和BLOP信号，那么由于编码和解码误差易于在接收器通过ELOP信号的影响来补偿，所以可以在接收器以增强的准确性来重新构造输入IP。

然而，发明人认识到：典型情况下ELOP输出具有相对较高的空间频率类(似)噪声的特性，其对应于诸如H.26L编码器之类的视频编码器有过高要求的材料；在下面，术语“类(似)噪声(noise-like)”将被解释为涉及在较高空间频率上所分布的信号能量的有效部分同时存在的空间相关性的相对缺乏。因此，在实践中不难见到用于编码增强层给定部分的数据量超过用于编码原始图像相应部分所需要的数据量。用于编码增强层信号ELOP的这种高数据量需求潜在地说明了本发明所设法解决的问题。

发明内容

本发明的第一目的在于提供一种利用多层图像编码和解码的图像编码系统以及相应的互补解码系统，所述多层图像编码和解码易于提供较大的图像数据压缩。

本发明的第二目的在于提供一种当传达在图像序列内存在的基本上完整信息时编码图像的更高效的方法，

依照本发明的第一方面，提供了包括编码器的图像编码系统，所述编码器用于接收输入图像数据并且产生相应的编码图像输出数据，所述编码器包括图像处理装置，所述图像处理装置用于处理所述输入图像数据，以便为其中的每个输入图像产生多个相应的图像层，所述图像层包括至少一个基础层和至少一个增强层，并且所述编码器还包括编码装置，用于接收所述图像层并且据此产生编码图像输出数据，所述编码装置还包括块选择装置，用于选择所述至少一个增强层的一个或多个子区域并且建模所述一个或多个子区域，以便在图像输出数据中借助描述性模型参数来表示所述一个或多个子区域。

本发明的优点在于：它能够提供增强的图像编码和解码，所述图像编码和解码易于较大的数据压缩。

优选地，在所述系统中，处理装置可操作来在每个输入图像的相应至少一个基础层中表示每个输入图像的一个或多个主要特征，并且在至少一个增强层中表示残差(residual)图像信息，所述残差图像信息对应于在所述输入图像及其相应至少一个基础层中的信息之间的差异。把输入图像再分为几个层是有益的，这是因为这能够使图像细微之处与其主要特征相隔离，由此能够更有效地编码所述主要特征，还兼顾了编码残差细节的渐进度(progressive degree)，这取决于所要求的最终解码的图像质量。

优选地，在所述系统中，所述一个或多个子区域当被选择装置确定为不适于建模时在来自所述编码装置的编码输出数据中被表示为相应的数据，当被所述选择装置确定为适于建模时由等效的模型参数表示。把建模应用于最适于建模的特征是有益的，这是因为由此易于实现在图像数据压缩和解码质量之间的最优折衷。

优选地，在所述系统中，例如为了维持与现有流行编码标准的向后兼容，所述编码装置被配置成依照通过包括所述模型参数而增强的基本上为ITU-T H.264和ISO/IEC MPEG-4 AVC标准中的至少一个来编码输入图像数据。更优选地，由于这种流行标准兼顾了可动态地分配私有(专用)数据域(字段)，所以把所述模型参数包括在所述编码图像输出数据的一个或多个私有数据区域中。

优选地，在所述系统中，所述编码装置可操作来应用空间变换，以便把所述至少一个所选子区域转换为其相应的模型参数从而包括在所述编码图像输出数据中。更优选地，所述变换包括离散余弦变换(DCT)。选择性地，这种DCT变换可以用其它类型的数学转换来替换。

优选地，在所述系统中，所述变换可操作来为每个相应的子区域产生相应的2维数据集，并且编码装置被配置成连接所述2维数据集来产生相应的1维数据集，以便包括在编码图像输出数据的所述模型参数中。发明人认为：使用DCT尤其适用于在每个子区域中所遇到的特征类型，而当例如进行2-D到1-D连接时只产生可接受的少量数据。然而，本发明易于在不需要进行2-D到1-D连接的情况下实现。例如，如果要求的话，可以利用来自所选择的宏块的2-D变换数据的直接参数建模。

优选地，在所述系统中，编码装置被配置成通过在模型参数数据量和准确性之间的优化来选择用于依照相应模型参数编码一个或多个子区域的模型阶(model order)，针对所述模型阶，所述模型参数表示它们的一个或多个相应子区域。使用优化能够使系统提供较好优化的数据压缩，同时基本上保持图像质量。

优选地，在所述系统中，所述编码装置被配置成应用统计测试来计算在对应于所述一个或多个子区域的图像数据及其它们相应的模型参数之间的统计误差，并且应用选择性参数估算来确定模型阶以便使用该模型阶来产生所述编码输出数据的建模参数。使用内插易于降低编码一个或多个子区域所要求的计算工作量，并因此使系统实现起来更简单、能够更迅速的编码图像和实现起来成本较低中的至少一个。

优选地，在所述系统中，所述一个或多个子区域基本上对应于存在于所述至少一个输入图像中的空间类噪声的特征。发明人发现，如果空间噪声不用模型参数来表示，那么空间噪声易于产生相当多的数据量。而对于关于解码的准确图像的重新创建，包括空间类噪声特征是重要的，发明人认识到空间噪声的确切性质对图像可辨度(可理解性)和质量来说并不那么重要。换句话说，发明人认识到，对于可辨度和质量来说，空间类噪声特征的统计属性比确切的图像像素值更为重要。

优选地，所述系统还包括解码器，用于从所述编码器接收所述编码输出数据并且用于解码所述输出数据，以便重新创建所述输入图像，所述解码器包括解码装置，用于使所述模型参数与编码输出数据中的直接编码图像数据相隔离，所述解码器还包括子区域合成装置，用于接收所述解码模型参数并且根据所述参数来产生对应于所述一个或多个子区域的数据，所述解码器还包括数据合并装置，用于把所述合成的子区域数据与解码的直接图像数据相组合，以便产生对应于向所述编码器所提供的图像输入的解码输出图像数据。

优选地，在所述系统中，经由传输介质把来自编码器的所述编码输出图像数据传送到所述解码器，所述介质包括下列至少一个：因特网、光学数据盘片、磁数据盘片、DVD、CD、固态存储器件、无线通信网络。

依照本发明的第二方面，提供了一种编码器，所述编码器用于接收输入图像数据并且产生相应的编码图像输出数据，所述编码器包括图像处理装置，所述图像处理装置用于处理所述输入图像数据以便为其中的每个输入图像产生多个相应的图像层，所述图像层包括至少一个基础层和至少一个增强层，并且所述编码器还包括编码装置，用于接收所述图像层并且据此产生编码图像输出数据，所述编码装置还包括块选择装置，用于选择所述至少一个增强层的一个或多个子区域并且建模所述一个或多个子区域以便在图像输出数据中借助描述性模型参数来表示所述一个或多个子区域。

本发明是有利的，这是因为编码器易于解决本发明的至少一个上述目的。

优选地，在所述编码器中，处理装置可操作来在每个输入图像的相应至少一个基础层中表示每个输入图像的一个或多个主要特征，并且在至少一个增强层中表示残差图像信息，所述残差图像信息对应于在所述输入图像及其相应至少一个基础层中的信息之间的差异。

优选地，在所述编码器中，所述一个或多个子区域当被选择装置确定为不适于建模时在来自所述编码装置的编码输出数据中被表示为相应的数据，当被所述选择装置确定为适于建模时由等效的模型参数表示。

优选地，在所述编码器中，编码装置被配置成依照通过包括所述模型参数而增强的基本上为ITU-T H.264和ISO/IEC MPEG-4 AVC标准中的至少一个来编码输入图像数据。更为优选地，把模型参数包括在编码图像输出数据的一个或多个私有数据区域中。私有数据区域的这种使用易于使编码器能够向后兼容。

优选地，在所述编码器中，编码装置可操作来应用空间变换以便把至少一个所选子区域转换为其相应的模型参数从而包括在所述编码图像输出数据中。更优选地，所述变换包括离散余弦变换(DCT)。然而，还易于使用候选变换。

优选地，在所述编码器中，所述变换可操作来为每个相应的子区域产生相应的2维数据集，并且编码装置被配置成连接所述2维数据集来产生相应的1维数据集，以便包括在编码图像输出数据的模型参数中。

优选地，在所述编码器中，编码装置被配置成通过在模型参数数据量和准确性之间的优化来选择用于依照相应模型参数编码所述一个或多个子区域的模型阶，针对所述模型阶，所述模型参数表示它们的一个或多个相应子区域。

优选地，在所述编码器中，所述编码装置被配置成应用统计测试来计算在对应于所述一个或多个子区域的图像数据及其它们相应的模型参数之间的统计误差，并且应用选择性参数估算来确定模型阶以便使用该模型阶来产生所述编码输出数据的建模参数。

优选地，在所述编码器中，所述一个或多个子区域基本上对应于存在于所述输入图像中的空间类噪声的特征。

依照本发明的第三方面，提供了用于依照本发明第二方面的编码器的解码器，所述解码器可操作来从所述编码器接收编码输出数据并且用于解码所述输出数据以便重新创建相应的输入图像，所述解码器包括解码装置，用于使模型参数与编码输出数据中的直接编码图像数据相隔离，所述解码器还包括子区域合成装置，用于接收所述解码模型参数并且根据所述参数来产生对应于一个或多个子区域的数据，所述解码器还包括数据合并装置，用于把所述合成的子区域数据与解码的直接图像数据相组合以便产生对应于向所述编码器所提供的图像输入的解码输出图像数据。

依照本发明的第四方面，提供了一种用于在其上传达来自本发明第一方面的编码器的编码输出图像数据的传输介质，所述介质包括下列至少一个：光学数据盘片、磁数据盘片、DVD、CD、固态存储器件。应当理解，其它类型的数据载体也是可能的。

依照本发明的第五方面，提供了一种用于在编码器中编码图像数据的方法，所述方法包括以下步骤：

(a)配置所述编码器以便包括处理装置和块选择装置；

(b)应用所述处理装置来处理所述输入图像数据，以便为其中的每个输入图像产生多个相应的图像层，所述图像层包括至少一个基础层和至少一个增强层；

(c)应用所述选择装置来选择所述至少一个增强层的一个或多个子区域，并且建模所述一个或多个子区域，以便在图像输出数据中借助描述性模型参数来表示所述一个或多个子区域；并且

(d)把所述模型参数与至少部分对应于多个图像层的编码数据相组合，以便据此产生对应于所述输入图像数据的编码图像输出数据。

优选地，在所述方法中，处理装置可操作来在每个输入图像的相应至少一个基础层中表示每个输入图像的一个或多个主要特征，并且在至少一个增强层中表示残差图像信息，所述残差图像信息对应于在所述输入图像及其相应至少一个基础层中的信息之间的差异。因而，换言之，至少一个基础层包括当被再次解码时用于使图像可被识别所必须的大部分主要细节，而至少一个增强层包括用于补充并细化在至少一个基础层中所传达的图像的细微细节。

优选地，在所述方法中，所述一个或多个子区域当被选择装置确定为不适于建模时在来自所述编码装置的编码输出数据中被表示为相应的数据，当被所述选择装置确定为适于建模时由等效的模型参数表示。

优选地，在所述方法中，编码装置被配置成依照通过包括所述模型参数而增强的基本上为ITU-T H.264和ISO/IEC MPEG-4 AVC标准中的至少一个来编码输入图像数据。更为优选地，把模型参数包括在编码图像输出数据的一个或多个私有数据区域中。

优选地，在所述方法中，编码装置可操作来应用空间变换，以便把至少一个所选子区域转换为其相应的模型参数从而包括在编码图像输出数据中。更优选地，所述变换包括离散余弦变换(DCT)。然而，作为选择或另外，也易于使用其它类型的变换。

优选地，在所述方法中，所述变换可操作来为每个相应的子区域产生相应的2维数据集，并且编码装置被配置成连接所述2维数据集来产生相应的1维数据集，以便包括在编码图像输出数据的模型参数中。

优选地，在所述方法中，编码装置被配置成通过在模型参数数据量和准确性之间的优化来选择用于依照相应模型参数来编码一个或多个子区域的模型阶，针对模型阶，所述模型参数表示它们一个或多个相应的子区域。更为优选地，编码装置被配置成应用统计测试来计算在对应于所述一个或多个子区域的图像数据及其它们相应的模型参数之间的统计误差，并且应用选择性参数估算来确定模型阶以便使用该模型阶来产生所述编码输出数据的建模参数。

优选地，在所述方法中，所述一个或多个子区域基本上对应于存在于所述至少一个输入图像中的空间类噪声的特征。由于更多的子区域易于由模型参数来表示，所以这种空间类噪声的特征能够使所述方法更有效地操作。

优选地，在所述方法中，还包括步骤：包括解码器，用于从编码器接收编码输出数据并且用于解码所述输出数据以便重新创建所述输入图像，所述解码器包括解码装置，用于使所述模型参数与编码输出数据中的直接编码图像数据相隔离，所述解码器还包括子区域合成装置，用于接收所述解码模型参数并且根据所述参数来产生对应于一个或多个子区域的数据，所述解码器还包括数据合并装置，用于把合成的子区域数据与解码的直接图像数据相组合以便产生对应于向所述编码器所提供的图像输入的解码输出图像数据。

优选地，在所述方法中，经由传输介质把来自所述编码器的编码输出图像数据传达给所述解码器，所述介质包括下列至少一个：因特网、光学数据盘片、磁数据盘片、DVD、CD、固态存储器件、无线通信网络。

优选地，本发明能够用硬件、软件以及软件和硬件的组合中的一个或多个来实现。

应当理解的是，在不脱离本发明范围的情况下，易于依照任何组合来组合本发明的特征。

附图说明

现在将仅以举例形式，参考下列图来描述本发明的实施例，其中：

图1是利用多层图像编码的复合编码器的示意图；

图2是一组图像在图1的编码器中被编码的图；

图3是利用多层图像编码的复合编码器的示意图，其中误差差分信号被详细分析，以便产生增强层ELOP数据流；

图4是依照本发明的复合编码器的示意图，所述编码器利用模型参数数据来表示在由编码器所产生的增强层ELOP数据中的一个或多个选择的宏块；

图5是用于补充图4的编码器的本发明的相应解码器；

图6是其上标记有所选择的宏块B1到B4的示例性增强层ELOP图像；

图7到10是图6的宏块B1到B4的离散余弦变换(Discrete CosineTransforms DCT)；

图11是关于图6的宏块B1到B4的2-D到1-D数据连接的一组图：

图12是用于本发明的噪声合成器的示意图；

图13和14是合成用于所选择宏块B2的类噪声信号的图解；

图15是与选择性的宏块B1、B3和B4有关的功率谱密度(PowerSpectral Density PSD)比较；和

图16是用于图示内插ELOP宏块模型参数优化的图。

具体实施方式

参照上文描述的图1，通过经由几个处理步骤(即按比例缩小、编码、解码和按比例放大)传递输入IP来获得来自按比例放大功能50的信号，所述信号被经由第二编码器70从所述输入IP中减去以便产生增强层ELOP信号。这些步骤中的每个可操作来引入失真；例如，由于依照与奈奎斯特准则(Nyquist criterion)相关联的方式使用了有缺陷的过滤，所以重新采样易于使在输入IP的图像中所存在的更高的空间频率信息失真，而编码引入了主要由于量化较高变换系数所导致的假象。所有这些失真基本上是非线性的，因此不能简单地把存在于差分功能60的反相输入(-)的总失真量化为它们的和，例如误差的平方和。尽管如此，发明人认识到提供到差分功能60的反向输入(-)的信号中的总失真仍然突出地影响较高的空间频率特征，例如存在于输入IP的图像的边缘和纹理细节。尽管较高空间频率的失真占主导地位并且可以被预计，然而发明人认识到该失真还以更随机的方式出现在空间频率谱的较低部分。这种较低的频率空间失真在提供到差分功能60的反相输入(-)的那些对应于原始图像信号IP的不那么详细的部分的信号部分中是明显的。此外，发明人还认识到提供到此反相输入(-)的噪声易于来源于已经存在于输入信号IP的噪声。这种图像编码误差使图1的编码器10变得不是最佳的。

在图2中，示出了来自在输入信号IP中所提供的图像序列的示例性图像，由此图2表示“快照”情况。在输入IP所给出的原始图像由100表示。由110所表示的图像对应于在按比例缩小功能20中被按照系数x2按比例缩小的图像100，继而在第一编码器30中被JPEG编码，然后是相应的解码。此外，由120所表示的图像在按比例放大功能50中已经被按比例放大之后对应于图像110。此外，由130所表示的图像对应于图像100、120的空间差异，即等效于从差分功能60向第二编码器70所提供的差分图像信息；所述图像130适于用于产生增强层ELOP信号。对于图2的图像，为了图像过滤目的，利用7个分接头的FIR滤波器，并且对于JPEG编码，每个像素1.5位(bpp)。

发明人特别认识到：关于改进利用ELOP信号数据解码并重新构造时的基层(即在BLOP信号数据中)的明显空间分辨率而言，并非存在于增强层(即ELOP信号数据)中的所有数据都按照类似的方式来起作用。先前在如图3所述配置的复合编码器200中使用了这种假定。

在图3中，复合编码器200包括编码器10的构成部分，即按比例缩小功能20、第一H.264编码器、局部H.264解码器40、按比例放大功能50、差分功能60和第二H.264编码器70。复合编码器200还包括α(□)调节器210、细节分析器220和乘法功能230。

现在描述编码器200的连接拓扑。把视频信号输入IP耦合到差分功能的非反相输入(+)、细节分析器220的第一输入和按比例缩小功能20。把按比例缩小功能20的输出连接到第一H.264编码器30的输入，所述第一H.264编码器30的输出对应于基层BLOP输出。经由局部H.264解码器40耦合编码器30的辅助编码输出，所述局部H.264解码器40的输出经由按比例放大功能50连接到细节分析器220的第二输入以及差分功能60的反相输入(-)；优选地，所述按比例放大功能50和按比例缩小功能20被配置成提供彼此相反的效果。把分析器220的输出SG耦合到调节器210的输入。此外，把来自调节器210的输出(1-α)耦合到乘法功能230的第一乘法输入。此外，把差分功能60的求和输出连接到乘法功能230的第二乘法输入。最后，把功能230的乘法输出MRS耦合到第二H.264编码器70的输入，所述第二H.264编码器70的输出被配置成提供增强层ELOP信号。

应当理解，复合编码器200易于用最少一个专用硬件、在计算机硬件上执行的软件和软件和专用硬件的混合来实现。

在图3中所描述的复合编码器200被配置成在较大程度上采用与图1中的编码器10类似的方式起作用，即：

(a)经由按比例缩小功能20把输入信号IP传播到第一编码器30以便产生所编码的基层BLOP。第一编码器30还可操作来提供等效于BLOP的信号，其在局部解码器40中被解码并且在按比例放大功能50中被按比例放大从而产生信号DS；并且

(b)经由差分功能60传播输入信号IP，在所述差分功能60中所述输入信号IP的重新构造版本被编码并解码，即从原始信号IP中减去信号DS以便产生相应的残差差分信号RS。残差信号RS被送到乘法功能230，在所述乘法功能230中，所述残差信号RS乘以信号(1-α)以便产生调制的差分信号MRS，随后在第二编码器70编码所述调制的差分信号MRS以便产生增强层ELOP。

细节分析器220可操作来接收输入信号IP和残差信号DS，并且从其导出在输入信号IP中所传达图像的空间区域的量度，其中：

(a)在增强层ELOP中包括相关联的信号信息有益于视觉感受从在输出BLOP和ELOP的信号所重新创建的图像；以及

(b)输入IP中的图像区域，其中存在于输出ELOP中的信息对感受从BLOP和ELOP所重新产生的图像来说相对不那么重要。

其中残差信号RS包括相对较高视觉重要性的图像信息，乘法器230可操作来降低施加到信号RS的衰减，以便编码器70在ELOP输出相应地产生足够的数据使得能够随后解码并重新构造视觉重要性的特征。反之，在残差信号RS包括低重要性的图像信息的情况下，乘法器230可操作来增加施加到信号RS的衰减，以便编码器70产生较少数据。通过空间有选择地使用第二编码器70，与在图1中所描述的编码器10相比，可以降低在ELOP输出所提供的数据量。

因而，细节分析器220为存在于输入数据IP的输入图像的每个像素或像素组，产生具有与其相关联的像素参数(x，y，fr#)的数值α(□)；“x”和“y”是图像像素空间坐标，而fr#是颜色和/或亮度数据指示符。在输入IP的图像中存在大量细节的情况下，值α(□)的值为低，其中α(□)在0到1的范围内。反之，在输入IP的图像中存在相对较少细节的情况下，值α(□)的值为高。因而乘法功能230具有放大系数(1-α)(1-□)，其处于0到1的范围内。

由复合编码器200所提供的效果在于过滤输入IP中包括相对小的细节的图像区域。在这种相对小的细节的区域中，可能已经在编码器10中产生了用于ELOP输出的量相当多的数据，在实践中，所述区域对应于基本上无关的小细节和噪声。

因而，从图像数据压缩的观点来看，复合编码器200是对编码器10的改进。

发明人认识到能够进一步改进在图3中所描述的复合编码器200。在设计这种改进中，发明人认识到：ELOP输出中相当明显的低细节、类噪声的区域当结合相应的BLOP信号重新构造时也能够改进空间分辨率，换言之，ELOP图像中相当明显的低细节、类噪声的区域也可以改进BLOP输出中相应图像的空间分辨率。此外，发明人认识到确切的像素值常常不是在空间类噪声区域中的主要关注对象，但是当根据ELOP和BLOP输出重构图像时，这些区域的总体贡献在感觉上是重要的。从而，和其中类噪声分量被不可逆地滤出并且不会出现在ELOP输出的编码器200对比，发明人建议建模这种类噪声区域并且把相应的模型参数发送到使能解码器；然后所述使能解码器能够把所述模型参数应用到合成器以便合成原始类噪声数据的近似。假设依照由发明人所设计的这种方法编码较少的模型参数比编码由模型参数所描述的相应原始图像数据更高效的话，那么由发明人所设计的这种方法与从编码器10、200所导出的解码图像相比，不仅能够保存更多的解码图像空间分辨率，而且能够降低在所相应产生的BLOP和ELOP输出中的比特率。在所述方法中，发明人认识到在实践中，从完全编码中排除信号IP的数据部分并且传达对应于所排除部分的模型数据可以通过利用常规的宏块跳跃过程来实现。

在图4中，提供了依照本发明的复合编码器的示意图；所述编码器总体上由300表明。编码器300包括按比例缩小功能20、第一H.264编码器30、局部H.264解码器40、按比例放大功能50、差分功能60和第二编码器70，如在上述复合编码器10、200中所使用的。复合编码器300不同于上述的复合编码器10、200，这是因为编码器300包括细节分析器310、缓冲器320、分析器330、块选择功能340、模型提取功能350、编码器360以及最后是多路复用器370。在图4中，可以选择性地省略在虚线轮廓中所示出的项，即细节分析器310。把由复合编码器300所产生的BLOP和ELOP图像数据耦合到传输/存储介质380。优选地，介质380是诸如因特网之类的通信网络、CD、DVD、光纤网络和诸如用于移动电话的无线传输网络中的至少一个。

现在将参考图4来概述复合编码器300的操作。

把对应于数字像素图像序列的输入信号IP传达到按比例缩小功能20，所述按比例缩小功能20例如依照如图2中所图示的方式来缩放所述图像，继而把它们馈送到第一H.264编码器30，所述第一H.264编码器30处理所述图像，以便以BLOP输出的形式产生相应的编码数据。此外，经由按比例放大功能50传递来自编码器30的辅助编码输出LE以便向差分功能60的反相输入提供重新构造的信号RD，作为输入。信号RD除了包括在第一编码器30内所出现的编码误差和在局部解码器40中所出现的相应误差之外，所述信号RD对应于信号IP。优选地，当编码器30及其局部解码器40被配置成提供基本上互相互补特性时，按比例缩小功能20和按比例放大功能50被配置成提供互相相等但是互相相反的特性。信号RD和输入信号IP在差分功能60被相减，以便产生残差信号RS，所述残差信号RS被传达到第二H.264编码器70的输入，以便在其中编码。此外，第二编码器70可操作来产生相应的编码数据，所述编码数据依照在稍后所进一步详细阐明的方式被有选择地传送通过多路复用器370，以便产生增强层ELOP输出。BLOP和ELOP输出被传达到传输/存储介质380。

例如可以依照对应于FIFO的方式来操作的缓冲器320被配置成接收存在于输入IP中的图像序列并且存储它们，以便馈送到分析器330中。随后，分析器330可操作来从缓冲器320接收图像数据并且分析所述数据，以便确定这样的区域，其中这些区域易于使其ELOP残差数据借助于参数模型来实现；以下这些区域将被称作“图像块”。当分析器330确定使用参数模型是不适当的时，块选择功能340向第二编码器70通知：所述第二编码器70应当依照如在复合编码器200中所发生的正常方式来编码信号RS。反之，当分析器330确定信号RS包括一个或多个图像块时，其中所述图像块易于由参数模型来表示，所述块选择功能340利用使能块EB信号来禁止第二编码器70，并且使模型提取功能350来处理一个或多个所选择的块和计算相应的模型参数MP。此外，块选择功能340还把相应的块索引BI传递到编码器360，以便所述编码器360不仅从提取功能350接收模型参数MP，而且从选择功能340接收相应块的指示。取代第二编码器70，编码器360把对应于所选择块的模型参数输出到ELOP输出。因而，复合编码器300采用与复合编码器10类似的方式起作用，除了当一个或多个图像块在输入信号IP中被识别时，其中所述图像块易于使它们的残差图像利用模型参数来表示，在这种情况下，代替来自第二编码器70的等效编码数据，把模型参数插入到ELOP输出中。选择性地把细节分析器310并入编码器300中，以用于预先选择适当的图像块，其中所述图像块适于在ELOP输出中利用模型参数来表示；如同所示，向细节分析器310提供来自差分功能60和输入信号IP中的至少一个的输入数据。分析器310可操作来提供用于表示增强层图像密度的输出α(□)。

优选地，复合编码器300用硬件、在计算硬件上执行的软件以及软件和硬件的混合中的至少一个来实现。

现在将更详细地阐明复合编码器300。

缓冲器320能够提供下列益处，存在于信号IP中的图像易于在空间和时间上被分析，即跨过序列中的几个图像。此外有利地是，模型提取功能350是基于统计和频谱分析的，这在稍后将进一步阐明。块选择功能340向第二编码器70提供控制信号EB，清空其中对应于为参数模型所选择的图像块的存储单元；这种清空通过所谓的跳跃宏块代码来实现。块坐标和模型参数由编码器360编码，优选地，所述编码器360使用固定长度编码(fixed length coding FLC)，例如脉冲编码调制(Pulse Code Modulation PCM)和自然二进编码(Natural BinaryCoding)中的至少一个，作为选择或另外，易于使用可变长度编码(Variable Length Coding VLC)，例如霍夫曼编码(Huffman Coding)和/或算术编码(Arithmetic Coding)。优选地，编码模型参数可以利用在高传送级从第二编码器70或在第二编码器70本身内部所提供的标准位流方案来多路复用为私有数据，例如通过利用流行的“保留SEI消息”；在这SEI是如在H.264/AVC标准中所容纳的“补充增强信息(Supplemental Enhancement Information)”的缩写，这是因为SEI消息是H.264/AVC语义中已经规定好的部分。

在图4中所图示的编码器300与如图5中所图示的相应解码器互补。

在图5中，解码器总体上由400表明。解码器400包括用于从传输/存储介质380接收BLOP图像层数据的主信号处理路径，所述主路径顺次包括被配置成与复合编码器300的第一编码器30互补的H.264解码器430、被配置成所述复合编码器300的按比例缩小功能20互补的按比例放大功能410，以及求和功能420，所述求和功能420的输出OP提供来自解码器400的最终解码输出。

与主路径并行，在解码器400中提供了用于ELOP图像层数据的次级路径。次级路径包括多路分解器440，所述多路分解器440提供用于接收ELOP数据的输入、耦合到H.264解码器450的第一输出和耦合到解码器460的第二输出PRD，所述第二输出PRD表示“私有数据”，所述解码器460可操作来解码上述的参数模型数据。把输出EP+SB——即“增强画面和跳跃宏块”——从H.264解码器450耦合到块重写功能480，如图所示把所述块重写功能480的输出耦合到求和功能420。解码器460包括耦合到块选择功能470的第一输出，如图所示，所述块选择功能470的输出随后被耦合到块重写功能480。块重写功能480包括连接到求和功能420的求和输入的输出。此外，解码器460包括连接到宏块合成器490的第二输出MP，即“模型参数”，所述宏块合成器490被配置成从随机噪声发生器510接收噪声输入数据。把来自合成器490的模拟噪声输出经由后置处理功能500耦合到块重写功能480的输入。后置处理功能500包括诸如宏块剪辑之类的特征，但是也易于包括其它类型的图像编辑功能。

现在将参考图5来概述解码器400的操作。

如图所示，把来自图4的复合编码器300的层图像数据——即BLOP和相应的ELOP数据——经由介质380耦合到解码器430和多路分解器440。BLOP层图像数据在解码器430中被解码并且传递到按比例放大功能410，所述按比例放大功能410按比例放大所解码的BLOP数据来向求和功能420提供BLOP层输出数据，以便随后在OP输出。ELOP数据在多路分解器440被接收并且有选择地指向解码器450，在这种情况下在编码器300并不实现宏块参数建模。反之，在编码器300已经能够实现所选择宏块的参数建模的情况下，相应的参数被编码到经由传输/存储介质380所传达的ELOP数据的私有数据区域中。多路分解器440从ELOP数据提取私有数据(即“PRD”)并且把此PRD传递到解码器460，所述解码器460可操作来根据所述PRD产生相应的模型参数MP。模型参数MP被传递到与噪声发生器510合作起作用的合成器490，如上面所述，它们可操作来重新创建在编码器300中被识别并被编码的宏块的类噪声结构。对应于所选择的编码宏块的合成输出经由后置处理功能500传递到块重写功能480，所述块重写功能480可操作来利用从所述后置处理功能500接收的合成输出，对于编码器300所选择的宏块而言，首选是利用来自解码器450的输出。求和功能420组合对应于BLOP和ELOP数据的解码输出，以便产生适用于最终观看的重新构造的图像输出OP。

现在将更详细地描述编码器300和解码器400的操作。

图4的复合编码器300的分析器330可操作来在已经减去BLOP类型的图像信息之后区分在增强层信息中的类噪声和类纹理的结构，或者当选择性地包括细节分析功能310时如果已经由所述细节分析功能310执行的话，那么可操作来重定义这种区别。操作中，分析器330对所识别的宏块执行离散余弦变换，即“DCT”，以便变换为相应的模型参数。DCT产生关于在输入IP中每个所选图像块内的光谱能量分布的信息用于参数建模，这种光谱能量分布适于用于分类存在于所述图像中的各种类型的纹理和类噪声的结构。在图6到10中图示了DCT分析的例子，其中用于由分析器330所选择的宏块B1、B2、B3、B4的DCT分析一般分别利用560、565、570、575来表示。在图6中，示出了在图2中所示出的肖像图像的增强层图像。在图6的增强层图像中，示出了宏块B1到B4的空间位置；每个块包括16×16个像素的域。宏块B2被区分为低细节类噪声块，而宏块B1、B3、B4包括更多类纹理的细节；宏块B1到B4都易于被建模并且由此由相应的模型参数来表示。例如，宏块B1包括清晰的垂直边缘，而块B3并且尤其是B4比块B1在空间上更加均匀。基于更精细的分析，块B3包括空间逐渐改变的对角线纹理，而宏块B4包括非常详细的空间上不规则的纹理。因而，宏块B4导致更多有峰值的DCT特性，而块B3具有相对均匀的DCT特性。此外，宏块B1、B3的DCT包括在图7和9中所示出的位于具体方向上的几个占主导的系数，即对于宏块B1来说基本上水平并且对于宏块B3来说是对角的。

应当理解，尽管DCT易于用来在ELOP图像层中建模所选择的宏块，然而，另外或作为替代，可以利用其它方法。优选地，这种其它方法不仅被配置为处理在每个所选宏块内的数据，而且也处理在包围这种宏块的区域中的像素，例如通过利用2维(2-D)交互相关来进行。此外，每个所选宏块的各个属性易于在提供给分析器330的图像序列中从图像到图像地做时间分析。例如，分析确定DCT特性的时间一致性潜在地易于用于把空间图象细节与时间噪声区分开来。作为更进一步的例子，优选地，分析器330的操作还涉及可从复合编码器300内的H264编码获得的编码参数和内容分析判定。

应当理解从图7到10中，把由分析器330所选择的ELOP图像数据中的宏块转换为相应的DCT潜在地导致可比较的数据量被生成；换句话说，把DCT应用到所选择的宏块并不会潜在地使自身进行数据压缩。发明人认识到，例如图7到10中所图示，有利地把参数建模施加到DCT参数，以便在从复合编码器300所提供的ELOP数据中提供数据压缩。

存在几种已知的2-D频谱建模方法，例如自回归(auto-regressiveAR)建模。此外，在Prentice Hall于1990出版的Jae S.Lim的出版物“Two-Dimensional Signal Processing”中描述了最大似然和最大熵法。为了提供所选择宏块的参数建模，发明人择优地使用了自回归(Auto-Regression AR)。特别地是，发明人优选利用2-D值块的1维(1-D)表示，这在实践中发现能够较好地起作用并且由此更详细地进行阐明；因而，图7到10的2-D DCT图易于在1-D中表示。

例如如图7到10中所图示，在产生2-D数据块的1-D表示中的第一步骤是通过依照固定或随机次序来连接块列或行。在图11中图示了相对于图7到10的这种2-D到1-D转换的结果，其中把宏块B1和B3的确定性的性质与宏块B2和B4的相对更随机性质进行对比。在图11中，通过连接对应于宏块B3的列来产生系数b3，而通过分别连接宏块B1、B2和B4的行来产生系数b1、b2和b4。

把1-D AR模型应用到上述选择的宏块假定已经由一个系统产生了要由相应模型参数所表示的数据，所述系统的属性由公式1来描述：

x [n] = - Σ_{k = 1}^{p} a_{k} x [n - k] + e [n]

公式1

其中

x[n]＝系统的观察输出；

e[n]＝系统的未观察输入；和

a_k＝描述所述系统的系数。

关于分析器330中的输入e[n]，为了应用公式1，x[n]的功率谱密度(PSD)函数Pxx(f)易于按照公式2的确定来计算，其中参数f用来表示频率。可以通过估算AR系数ak和由σ²所表示的相关联噪声方差来确定PSD函数。几种方法能够用于估算AR系数ak，例如VijayMadisetti、Douglas Williams的“Digital Signal Processing Handbook”中所描述的Yule-Walker方法、协方差法和Burg方法中的至少一个，CRC出版社出版，佛罗里达，1998。

P_{XX} (f) = \frac{σ^{2}}{{| 1 + Σ_{k = 1}^{P} n_{k} e^{- f 2 nfk} |}^{2}}

公式2

在产生图13、14中所给出的结果的过程中，发明人使用在图12中总体上由600所表明的合成器。例如，对于图8中给出的b2[n]的256个采样数据集，发明人选择参数P＝12并且使用协方差法来进行估算。合成器600可操作来产生b2[n]的合成。在合成器600中使用估算的AR系数作为过滤器的系数，所述过滤器可操作来定形零平均值正常分布的噪声过程的256个采样，即一个具有统计特性的过程使得□＝1。合成器600产生例如b2[n]的合成s[n]，以致s[n]的平均值和偏差基本上与由公式3所描述的b2[n]的平均值和偏差确切匹配，在公式3中参数G对应于增益：

G = \frac{σ_{b 2}}{σ_{s}} = \sqrt{\frac{var (b_{2})}{var (s)}}

公式3

合成器600易于用来实现在图5中所图示的解码器400中的合成器490及其相关联的噪声发生器。

在图12中，合成器600包括参数解码器630、噪声发生器640、参变驱动的定形过滤器650、耦合的方差计算功能660和相关联的增益计算功能670、平均值计算功能680并且最后是乘法功能690及其相关联的差分功能700。应当理解，合成器600能够用硬件、可在计算机设备上执行的软件和/或软件和硬件的混合来实现。

噪声发生器640包括耦合到定形过滤器650的输入的输出e[n]；过滤器650还连接到解码器630以便从其接收AR系数。此外，定形过滤器650包括耦合到乘法功能690的第一输入以及平均值计算功能680和方差计算功能660的各输入的输出s[n]。由“G”所表示的乘法功能690的第二输入连接到增益计算功能670的输出。如图所示，此功能670被配置成接收来自方差计算功能660和参数解码解码器630的输入。把来自功能690的乘法输出耦合到差分功能700的第一输入。差分功能700包括减法输入，在所述减法输入，平均值计算功能680可操作来提供方差平均值“平均值s”，功能700还包括加法输入，用于接收来自解码器630的输出，其对应于参数b2的平均值，即“平均值b2”。

现在概述合成器600的操作。噪声发生器640产生被传递到过滤器650的类噪声数据集e[n]。过滤器650接收来自解码器630的AR系数并且过滤数据集e[n]的相应分量以便产生输出s[n]。输出s[n]传递到平均值计算功能680，所述平均值计算功能680产生其相应的平均值

“平均值s”，所述平均值s被传递到差分功能700，所述差分功能700可操作来减去此平均值并且由此确保输出b^2[n]具有基本上为零的平均值。方差计算功能660可操作来确定s[n]的方差并且把此方差传递到增益计算功能670。增益计算功能670从解码器630接收所想要的方差σb2，并且相应地调整增益G，以便使从乘法功能690所提供的输出{G.s[n]}具有按照解码器630所规定的想要的方差。最后，解码器630提供其输出“平均值b2”以便调整来自差分功能700的输出b^2[n]的平均值。

如图13和14中所展示的，合成器600能够模拟参数b[n]。由746所表明的第一图包括分别对应于关于上述参数b2的DCT采样像素索引和像素值的横轴和纵轴。为了比较目的，由748所表明的图是对应于图746的、功率谱密度对归一化的空间频率。

在由750所表明的图中，图746的内容能够由合成器600合成以便产生等效数据；相应的功率谱密度图总体上由752表明。因而，将分别把原始图746、748与所合成的图750、752相比较。尽管不完全相同，然而应当理解，合成器600能够根据馈送到它的简要的模型参数数据来产生类似的。作为更进一步的例子，在图15中，提供了总体上由754所表明的图，包括用于归一化空间频率的横轴756和功率谱密度(PSD)的纵轴758。图754图示了对参数b1、b3、b4的PSD估算，图754示出在提供给图4的编码器300的图像的、不同选择的ELOP层的宏块之间的变化。

如上文所阐明，与已知的编码器10相比，编码器300和相应的解码器400易于基本上维持图像质量和细节，同时在来自编码器300的数据输出中提供增强的数据压缩；如上文所阐明，通过由模型参数表示在ELOP增强层中的一个或多个选择的宏块来进行这种数据压缩，这种参数通过DCT和所产生DCT系数的随后2-D到1-D连接所导出，这种连接导致上述AR系数易于与在其私有数据域中的ELOP层数据通信。

为了估算可使用编码器300实现的数据压缩度，有必要考虑与所使用的模型参数相关联的统计量。

应当理解，在不脱离本发明范围的情况下，易于修改在上文中所描述的本发明的实施例；相应地来解释下列权利要求。

发明人认识到：选择要用的合适数目的模型参数，例如和在编码器300的模型提取功能350中的一样，对可从编码器300获得的数据压缩度具有很深的影响；所使用的模型参数的数目以下也被称作“模型阶”。在编码器300中，可以使所述模型阶是动态可变的。作为选择，可以把模型阶设置为优选的折衷值。在模型提取功能350中可以使用的准确过程用于依照渐增阶估算参数值并且确定最优折衷，以致模型阶的增加不会导致来自解码器400的感觉图像质量上也有相应的增加。然而，用于确定最优模型阶的这种方法在计算上的要求是很高的。

因而，发明人认识到：对不同的模型阶计算数目有限的模型参数集的拟合继而使用拟合准则的属性来确定最优的模型阶在计算上是更有益的。这种优选的方法不必费力产生模型参数集的整个序列和对每个集检查编码质量。更优选地，统计分析被应用于模型提取功能350中并且用于确定要使用的拟合质量，例如为了图像重构目的而这样做。在本申请中，例如，由于噪声分量能够产生用于内插目的的相当多的信息，所以用原始版本图像和给定模型阶的重新构造的图像的噪声分量之差有益地得出插值。

为了进一步阐明这种基于噪声统计量来选择模型阶，现在描述在图16中总体上由800所表明的图。图800包括用于表示模型阶P的横轴810和用于表示拟合函数F(P)的纵轴820，所述拟合函数F(P)使模型阶P为其变元之一并且表示在模型和数据之间的差异。拟合函数F(P)被实现为模型提取功能350的一部分并且表示ELOP增强层中的相应选择宏块的模型参数的统计拟合质量。图800图示了基于广义信息准则(Generalized Information Criterion GIC)迭代选择最优模型阶P，如P.M.T.Broersen的“Automatic Spectral Analysis with TimeSeries Models”中所描述的，IEEE Transactions on Instrumentation andMeasurement，51(2)：第211-216页，2002年4月；典型的拟合由短划线830表示并且GIC的阈值由840表示。在公式4中提供了GIC的典型形式：

GIC(P)＝F(P)+3P 公式4

其中3P代表惩罚Q(P)。在该文献中描述了对惩罚的不同选择。这里使用惩罚3P，这是因为它产生了欠拟合和过拟合的最优平衡。一般地说惩罚可以被描述为P的函数。Q(P)是已知函数，该函数不依赖于M(P)或数据，但是其随着P而增加并且易于计算出。在该例子中，表示3P的特定惩罚函数包含惩罚因子，该惩罚因子在惩罚是p的线性函数(α＊p)时出现。这里α＝3。

惩罚函数的选择可以取决于各种准则：

1)基于所使用的参数估算方法的统计属性。

2)考虑所使用的参数估算方法的统计属性，基于欠拟合和过拟合的平衡。

3)考虑所使用的参数估算方法的统计属性，并且考虑有限采样的影响，基于欠拟合和过拟合的平衡。

4)p的线性函数：Q(P)＝α＊p，其中α＝2或3等。

5)p的线性函数：Q(P)＝α＊p，其中α取决于观察次数N。

6)p的线性函数：Q(P)＝α＊p，其中α取决于观察次数N，α＝log(N)。

在大部分情况中所使用的准则是Akaike信息准测(AkaikeInformation Criterion AIC)，其中Q(P)＝2＊P。优选地，与拟合降低相比，惩罚应当增加得更快。在模型提取功能350中，GIC为最小之时的模型阶由公式5给出：

P_{sel} = \arg \min_{P} GIC (P), P = 0, . . ., P_{\max}

公式5

其中

Pmax＝所适应的最高阶模型；

Psel＝所选择的模型阶，用在把ELOP层选择宏块表示为模型参数的过程中。

在被用作说明性例子的模型提取功能350中，当使用标准的无内插方法时执行下列步骤(例如对于要表示为等效参数的每个ELOP层选定的宏块)：

(a)对于所选择的宏块计算序列M(1)、M(2)、…、M(Pmax)中的所有模型M(P)的参数；

(b)为所述序列中的每个模型确定相应的统计拟合F(P)；和

(c)搜索所产生的统计拟合F(P)系列以便识别其中的最佳拟合，即对于GIC是最小值。

在上述的内插方法中，假定所估算的模型M(P)随着模型阶P的值增加而单调降低。当符合这种情况时，可以按照如下使用优选的内插方法：

(0)估算低数目参数P0的模型M(P0)(这不需要大量的计算)；

(A)计算最复杂模型M(Pm)并且计算其拟合F(Pm)和相应的GIC；

(B)假定低阶模型的拟合-即M(Pm-1)、M(Pm-2)、…-比M(Pm)更糟(更大)，那么可以直接推断这些低阶模型比模型M(Pm)具有更大的F(P)；因而，选择用于功能350的新的最高候选物是阶Pm的模型，其相应的GIC潜在地小于GIC(P0)，即F(Pm)+3Pm＜GIC(P0)；并且

(C)如果要求的话，重复步骤(B)直到拟合F(P)比GIC(P0)更低。

在多次重复此过程(F(P^＊)+3P^＊＜GIC(P0))之后，可以通过估算另外低阶模型(M(P0+1)、M(P0+2)…)的参数来增加P0的值。这可以参考图16来说明，其中P0应当对应于接近于零的低阶模型。

这种内插方法能够在功能350内以极大降低的计算成本来找到GIC的最小值。

如果拟合F(P)单调下降，这一点和许多参数估算方法是一样的，那么这里所描述的用于统计阶选择的选择性估算过程产生确切的最小值。所以，在这种情况下，所产生的阶恰好等于利用标准“完全搜索”方法所找到的阶，如上面点(a)到(c)所述。

如果拟合更大规模地单调下降，但是这种行为的某些偏差能够出现在局部，那么利用此过程所选择的阶仍然准确，不过不再保证能找到绝对最小值。在实践中所使用的大部分估算器为两种类别中的任一个，即确切地单调降低或近似地单调降低。即便认为应用与图像或视频编码不相关，此方面仍然保持有效。

现在将提供内插方法(A)到(C)的具体例子。

参照图16，其中最大模型阶Pmax＝100，利用1+2+…5+7+14+20+40+100＝196个参数给出需要估算的参数数目。

为了比较起见，标准方法(a)到(c)需要估算的参数数目如下：

1+2+3+…+99+100＝5050个参数。

应当理解，内插方法易于增加功能350进行模型参数确定的执行速度。这种优点易于使功能350能够用不怎么贵且紧凑的硬件和/或软件来实现，例如在廉价的消费产品中来实现。

参考图16及上面与其相关联的描述，应当理解，这种模型阶选择易于应用在上述视频编码及相应解码之外的技术领域中，例如在要求曲线拟合并且分析静态随机信号的其它情况中，静态随机信号也被称为“有色噪声”。相对于图16及其相关联的例子而阐明的模型阶选择方法有效地是“ARMAsel”算法并且表示用于分析静态随机信号的通用工具。此外，所述方法不仅可用于AR模型，而且可选择地还可以用于其中涉及运动平均(moving averages MA)的情况，以及用于组合的ARMA模型。同样，模型阶选择方法能够确保可以为各种类型互相不同的信号获得更准确的模型。

例如，在用于消费者电子设备的视频编码中，例如MPEG和H.264之类的流行视频编解码并不非常适于处理易于被表征为有色噪声的图像分量。省略这种分量使解码图像看上去具有假象。使用本发明的模型阶选择方法，可以导出这种有色噪声分量的简洁且准确的数据描述符，因而维持解码的图像的细节从而使得所述图像看上去更自然。

在用于医学应用的图像编码中，医学图像的噪声建模能够提供感觉上类似于相应原始图像的解码图像，甚至其中使用高压缩比来产生相关联的图像数据也是如此。在图16中所使用的方法易于被用来确定更准确的模型以用于产生这种压缩数据。

上述的模型阶选择方法还适用于通用的医学数据分析，例如监视心跳信号、为了诊断目而分析肺部噪声以及EEG电信号分析。

应当理解，在图16中所使用的模型阶选择方法并不被限制为1维模型阶选择。特别地是，还使用所述方法来实现用于2维AR、MA或ARMA模型的模型阶选择。

所述方法还适应对更高维数(例如3维及以上)的数据选择最合适的模型。

模型阶选择的上述方法还易于用在声音处理中，尤其用于处理在例如演说和/或音乐中的音频信号中的时间类噪声分量。还通过由相应的噪声描述模型参数来表示时间类噪声分量，来增强声音信号压缩；选择合适的模型阶来用于这种音频应用能够由上述方法解决。

如上所述模型阶选择的方法能够用于各种应用，例如和电信系统中一样的通常的数字信号处理。例如，所述方法适用于在雷达系统中用于处理对应于来自海浪的雷达反射的信号，例如使用上述的ARMAsel算法来建模；这种雷达反射易于产生相应的信号，所述信号非常复杂并且对应于所想要的信号和类噪声分量的叠加。类似地，模型阶选择的方法还易于用于建模湍流系统，例如在涡流建模中。

另外，模型选择的上述方法还潜在地适用于机械结构的振动分析中，例如真空振动分析，以及监视化学工艺中，尤其是易于出现湍流液体与气体的交互作用的情况下。在振动分析中，机械结构易于呈现复杂的简谐振动模谱，此外，振动频谱测量常常在周围是时间和/或谐波噪声的背景下执行；这种特性易于由上述方法来确定。

在上文中，诸如“包括”、“包含”、“并入”、“含有”、“拥有”、“是”、“具有”等应当被理解为非排它性的，即还可以存在没有明确声明的另外组件或部分。解释这些术语的方式在解释所附权利要求范围时尤为合适。

对单数的引用也应当解释为与多数有关，并且反之亦然。

Claims

1.一种用于接收输入图像数据(IP)并且产生相应的编码图像输出数据(ELOP，BLOP)的复合编码器(300)，所述复合编码器包括：

图像处理装置，用于处理所述输入图像数据，以便为其中的每个输入图像产生多个相应的图像层，所述图像层包括至少一个基础层和至少一个增强层；和

编码装置，包括第一编码器(30)和第二编码器(70)，其中第一编码器用于接收所述基础层并且据此产生基础层编码图像输出数据(BLOP)，第二编码器用于接收所述增强层并且据此产生增强层编码图像输出数据(ELOP)，

其特征在于，所述复合编码器还包括：

分析器(330)，可操作来确定易于使其增强层编码图像输出数据(ELOP)借助于描述性模型参数(MP)来实施的一个或多个子区域，和

块选择装置(340)，用于在所述分析器确定所述一个或多个子区域易于借助于描述性模型参数来表示时禁用所述第二编码器(70)，和用于建模所述一个或多个子区域，以便在图像输出数据中借助于描述性模型参数(MP)来表示所述一个或多个子区域，所述一个或多个子区域对应于存在于所述输入图像数据中的空间类噪声特征。

2.一种数据编码系统，包括如权利要求1所述的复合编码器。

3.如权利要求2所述的数据编码系统，其中所述数据表示图像数据。

4.如权利要求3所述的数据编码系统，其中所述图像处理装置可操作来在每个输入图像的相应的至少一个基础层中表示每个输入图像的一个或多个主要特征，并且在所述至少一个增强层中表示残差图像信息，所述残差图像信息对应于所述输入图像的信息与对应于所述输入图像的至少一个基础层的信息之间的差异。

5.如权利要求3或4所述的数据编码系统，其中所述复合编码器被配置成根据ITU-T H.264和ISO/IEC MPEG-4AVC标准中的至少一个标准来编码利用所述描述性模型参数增强的输入图像数据。

6.如权利要求2所述的数据编码系统，其中所述模型参数被包括在所述增强层编码图像输出数据的一个或多个私有数据区域中。

7.如权利要求2所述的数据编码系统，其中所述编码装置可操作来应用空间变换，以便把所述一个或多个子区域转换为其相应的模型参数，用于包括在所述增强层编码图像输出数据中。

8.如权利要求7所述的数据编码系统，其中所述变换包括离散余弦变换(DCT)。

9.如权利要求7或8所述的数据编码系统，其中所述变换可操作来为每个相应的子区域产生相应的2维数据集，并且所述编码装置被配置成连接所述2维数据集，以产生相应的1维数据集，用于在增强层编码图像输出数据中包括在所述模型参数中。

10.如权利要求2所述的数据编码系统，所述数据编码系统还包括解码器，用于从所述复合编码器接收编码输出数据并且用于解码所述输出数据，以重新创建所述输入图像数据，所述解码器包括解码装置，用于使所述模型参数与编码输出数据中的编码图像数据相隔离，所述解码器还包括子区域合成装置，用于接收所述隔离的模型参数并且根据所述隔离的模型参数来产生对应于所述一个或多个子区域的数据，所述解码器还包括数据合并装置，用于把对应于所述一个或多个子区域的所述数据与解码的图像数据相组合，以产生对应于被提供给所述复合编码器的所述输入图像数据的解码输出图像数据。

11.如权利要求10所述的数据编码系统，其中经由传输介质把来自所述复合编码器的所述编码输出图像数据传送到所述解码器，所述传输介质包括下列至少一个：因特网、磁数据盘片、DVD、CD、固态存储器件、无线通信网络。

12.一种用于如权利要求1所述的复合编码器的解码器(400)，所述解码器可操作来从所述复合编码器接收编码的输出数据并且用于解码所述输出数据，以重新创建相应的输入图像，所述解码器包括解码装置，用于使模型参数与编码的输出数据中的编码图像数据相隔离，所述解码器还包括子区域合成装置(490)，用于接收所述隔离的模型参数并且根据所述隔离的模型参数来产生对应于一个或多个子区域的数据，所述解码器还包括数据合并装置(420)，用于把所述合成的子区域数据与解码的图像数据相组合，以产生对应于被提供给所述复合编码器的所述输入图像数据的解码输出图像数据。

13.一种用于在编码器中编码输入图像数据的方法，所述方法包括以下步骤：

(a)配置所述编码器，以包括处理装置和块选择装置；

(c)应用所述块选择装置来选择所述至少一个增强层的一个或多个子区域，每个子区域对应于存在于所述图像数据中的空间类噪声特征，并且建模所述一个或多个子区域，以便在图像输出数据中借助于描述性模型参数来表示所述一个或多个子区域；和

(d)把所述模型参数与至少部分地对应于多个图像层的编码数据相组合，以便据此产生对应于所述输入图像数据的编码图像输出数据。