CN102088600B

CN102088600B - 图像处理装置与图像处理方法

Info

Publication number: CN102088600B
Application number: CN2010106065980A
Authority: CN
Inventors: 村山淳
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-10-18
Filing date: 2005-09-14
Publication date: 2013-08-21
Anticipated expiration: 2025-09-14
Also published as: EP1814333A1; CN101080929A; KR101193267B1; US8681878B2; MX2007004577A; JP4543873B2; RU2345417C1; CN102088600A; BRPI0516944A; WO2006043392A1; US20120086861A1; CN101080929B; CA2584065A1; CN102088601B; AU2005297645A1; US8139648B2; JP2006115380A; KR20070072523A; AU2005297645B2; CN102088601A

Abstract

基本模式生成设备(81)生成具有与影片颗粒基本模式信息(53)几乎相同的随机噪音直方图的影片颗粒基本模式(86)。影片颗粒基本模式(86)具有[64×64]个像素，从中裁剪[16×16]个像素的区域，并且将其提交于乘法器(84)。根据在编码方所创建的影片颗粒强度信息(54)，以及译码图像信息(42)的[16×16]个像素的区域的像素值的平均值(87)，生成强度信息(88)。根据这一强度信息(88)，调整基本模式(86)的强度。加法器(85)以像素为单位，把已经经历了强度调整的影片颗粒图像(89)添加于译码图像信息(42)的(16×16)个像素的区域。

Description

图像处理装置与图像处理方法

本申请是申请日为2005年9月14日、申请号为200580043417.5、发明名称为“图像处理装置与图像处理方法”的发明专利申请的分案申请。

技术领域

本发明涉及一种图像处理装置与图像处理方法，其例如适用于使用MPEG-4AVC(或H.264)编码对影片图像进行编码的情况。

背景技术

将参照图1，描述一种传统的图像传输/接收装置或者图像记录/再现装置(以下将把这两种装置仅称为图像传输装置)。首先，输入图像11由图像编码单元12编码，并且把编码后的信息发送或记录到或者在对应于传输系统的无线/有线传输通路13或积累媒体14上。由图像译码单元15对在接收/再现侧所获得的数据进行译码，以获得译码后的图像16。

在图像编码单元12把输入图像数据的数量减小到七分之一至几十分之一之后，发送或者记录数据。例如，可以通过MPEG-4AVC(或H.264)编码，把图像数据降低至1.5Mbps的传输率。由于这样的编码，人们会将译码后的图像16和输入图像11之间的差别视为劣化。

传统的图像传输装置减小了在传输或记录时输入图像数据的数量。通常，诸如MPEG-4AVC(或H.264)编码的图像编码标准已经规定了一种有效减小数据量而就人类视觉而言无明显劣化的方法。然而，在有限传输带宽或存储容量下，图像的细节信息被极大地损坏。特别是，当传输或记录诸如电影的影片图像时，丢失了表示电影的大量质地的影片颗粒(film grain)信息，因此明显劣化了译码后图像的质量。

图2A描述了用作输入图像11的影片图像的一个实例，图2B描述了译码后图像16的一个实例。如图2A和2B中所示，尽管作为影片质量加以检测的影片颗粒可以在输入图像21中得以察觉，但译码后图像22提交了单调的图象，因为大部分影片颗粒信息丢失了。由于丢失了影片颗粒，所以存在着不能感知影片质地的问题。

传统上，日本专利申请公开物(JP-A)JP11-250246声称：通过抑制扫描器所获取的图像的噪音，可以加强清晰度。

JP-A-11-250246中所公开的装置旨在抑制专门针对影片图像的颗粒噪音，而不旨在在译码方改善通过高效编码系统的编码所丢失的影片图像质地。

因此，本发明的目的是提供一种图像处理装置与处理方法，其中，在译码方几乎感觉不到影片颗粒信息的丢失，从而维持了输入图像的影片质地，因此必然极大地改善图像质量。

发明内容

为了解决上述问题，本发明的第一方面提供了一种用于输入图像信号的编码的图像处理装置，该图像处理装置包括：

图像编码装置，用于对输入图像进行编码；

区域检测装置，用于检测输入图像中的不包含剧烈变化的区域；

第一抽取装置，用于从输入图像中抽取基本模式信息，该基本模式信息指示由区域检测装置所检测的区域中的像素值的等级分布；

第二抽取装置，用于从输入图像中获取强度信息，该强度信息指示将加以添加的影片颗粒的强度；以及

用于传输或记录编码后的数据、基本模式信息以及强度信息的装置。本发明还在编码方提供了一种图像处理方法，以实现在上述编码方的装置的处理。

本发明的第二方面提供了一种图像处理装置，用于接收或再现编码的编码后的数据、指示输入图像中不包含剧烈变化的区域中的像素值的等级分布的基本模式信息、以及指示要添加的影片颗粒的强度的强度信息，该图像处理装置包括：

译码装置，用于对编码后的数据进行译码；

基本模式生成装置，用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布，重新构造影片颗粒图像；

强度调整装置，用于根据强度信息调整影片颗粒图像的强度；以及

添加装置，用于把对其强度进行了调整的影片颗粒图像添加于由译码装置所获得的译码后的图像信息。本发明还在译码方提供了一种图像处理方法，以实现在上述译码方的装置的处理。

本发明提供了一种图像处理装置，用于对输入图像信号进行编码，传输或记录编码后的数据，以及对所接收或所再现的编码后的数据进行译码，其中，其编码方包括：

图像编码装置，用于对输入图像进行编码；

第二抽取装置，用于从输入图像中获取强度信息，该强度信息指示将添加的影片颗粒的强度；以及

用于传输或记录编码后的数据、基本模式信息以及强度信息的装置，以及

其译码方包括：

用于接收或再现编码后的数据、基本模式信息以及强度信息的装置；

译码装置，用于对编码后的数据进行译码；

添加装置，用于把对其强度进行了调整的影片颗粒图像添加于译码装置所获得的译码后的图像信息。本发明还在编码方提供了一种图像处理方法，以实现以上所描述的在编码方和译码方的装置的处理。

附图说明

图1是方框图，描述了本发明能够被应用的传统图像传输装置的一个实例；

图2A和2B为示意图，描述了传统图像传输装置中的输入图像和译码后图像的一个实例；

图3是方框图，示意性地描述了本发明的图像传输装置的一个实施例；

图4是根据本发明的实施例的影片颗粒信息抽取单元的一个实例的方框图；

图5是影片颗粒抽取单元中的影片颗粒基本模式信息抽取单元的一个实例的方框图；

图6是影片颗粒抽取单元中的影片颗粒强度信息抽取单元的一个实例的方框图；

图7A、7B以及7C为示意图，用于示意性地解释影片颗粒基本模式信息的抽取处理；

图8为根据本发明的实施例的影片颗粒添加单元的一个实例的方框图；

图9为影片颗粒添加单元中的基本模式生成单元的一个实例的方框图；

图10为示意图，用于示意性地解释影片颗粒添加处理；

图11为时序图，用于解释影片颗粒信息抽取和影片颗粒添加处理的第一方法；

图12为时序图，用于解释影片颗粒信息抽取和影片颗粒添加处理的第二方法；

图13为时序图，用于解释影片颗粒信息抽取和影片颗粒添加处理的第三方法；

图14为时序图，用于解释影片颗粒信息抽取和影片颗粒添加处理的第四方法；

图15为时序图，用于解释影片颗粒信息抽取和影片颗粒添加处理的第五方法；以及

图16为时序图，用于解释影片颗粒信息抽取和影片颗粒添加处理的第六方法。

参照数字描述：

31 输入图像

32 图像编码单元

33 影片颗粒信息抽取单元

34 编码后的信息

35 影片颗粒信息

40 图像编码单元

41 影片颗粒添加单元

42 译码后的图像信息

43 译码后的图像

51 基本模式抽取单元

52 强度抽取单元

53 影片颗粒基本模式信息

54 影片颗粒强度信息

61 均匀区域抽取单元

62a、62b 滤波器组

63～67 直方图计算单元

71 均匀区域抽取单元

72 强度计算单元

81 基本模式生成单元

82 模式强度计算单元

83 区域平均值计算单元

91 噪音生成单元

92～96 直方图匹配单元

101 综合滤波器组

具体实施方式

以下，将参照图附图，描述本发明的一个实施例。图3描述了本发明的图像传输装置。首先，将描述编码方。通过图像编码单元32对输入图像31高效地进行编码，以通过压缩数据量，生成编码后的信息34。把编码后的信息34发送到对应于传输系统的无线/有线传输通路36，或者将其记录于诸如数字通用盘(DVD)的积累媒体37中。

参照数字33表示影片颗粒信息抽取单元。影片颗粒信息抽取单元33从输入图像31抽取影片颗粒信息，并且把所抽取的影片颗粒信息35像编码后的信息34一样发送到对应于传输系统的无线/有线传输通路36，或者将其记录于积累媒体37中。

接下来，将描述译码方。把所接收的编码后的信息38提交于译码方的图像译码单元40，然后图像译码单元40从所接收的编码后的信息38中生成译码后的图像信息42。参照数字41表示影片颗粒添加单元。在影片颗粒添加单元41从所接收的影片颗粒信息39中再现了影片颗粒信息之后，其添加对应于译码后的图像信息42的特征被重新构造的影片颗粒信息，并且将其作为译码后的图像43加以输出。

例如，图像编码单元32和图像译码单元40根据MPEG-4AVC(或H.264)编码标准执行处理。在这种情况下，编码信息34具有流数据结构，该流数据结构包括预定长度的单元。使用用于传输补充增强信息(SEI)的单元传输或记录影片颗粒信息35，就对动画图像进行译码而言，SEI是不可缺少的。即，由于SEI包含了用户独立定义的信息，所以使用用户数据传输或记录影片颗粒信息35。

图4描述了影片颗粒信息抽取单元33的一个实例。影片颗粒信息抽取单元33由基本模式抽取单元51和强度抽取单元52构成。基本模式抽取单元51从输入图像31抽取表示影片颗粒的信息，并且将其作为影片颗粒基本模式信息53加以输出。在诸如0～20、21～40、...的像素值的每个范围内，强度抽取单元52计算在具有用于每一个桢的平均值的区域上应该添加多大强度的影片颗粒的信息，并且将其信息作为影片颗粒强度信息54加以输出。影片颗粒信息35包括影片颗粒基本模式信息53和影片颗粒强度信息54两者。

图5描述了基本模式抽取单元51的一个实例。基本模式抽取单元51由均匀区域抽取单元61、滤波器组(bank)62以及直方图计算单元63、64、65、66以及67组成。

均匀区域抽取单元61从输入图像中抽取其中均匀地分布了影片颗粒并且图像不包含剧烈变化的预定大小的区域(将其称为均匀区域)，以及输出均匀区域数据68。均匀区域的例子是作为背景的类似天空图像的单调图象。均匀区域数据68由存在于均匀区域中的多个像素数据项构成。同时，为获得均匀区域数据68，可准许直接指定一个或者从所述单元输出的候选中指定一个。

滤波器组62a、62b把以这样的方式所获得的均匀区域数据68划分成多个子频带，该滤波器组62a、62b由多个高通滤波器(由H加以表示)和低通滤波器(由L加以表示)构成。构成滤波器组62a、62b的滤波器为二维地指定其滤波系数的数字滤波器。

在图5所示的结构实例中，每一个滤波器组62a、62b均由高通带和低通带构成。另外，还可以提供多个带通滤波器，就阶段的数目而言，可以提供其多个阶段，而不是图5中所示的两个阶段。

把基带和每个子频带的输出提交给对应于每一频带的直方图计算单元63～67。直方图计算单元63～67抽取每一频带的像素值的频率分布信息(以下，将其称为直方图)，并且把所抽取的直方图信息作为影片颗粒基本模式信息53加以输出。

直方图信息为频率信息，其指示包含在预先确定的像素值范围(以下将其称为划分段)中像素的数量。例如，假设存在4个预先确定的划分段，即-19～-10、-9～0、1～+10、+11～+20，而且此时输入于直方图计算单元的数据的每一像素的值为[-11，-5，-1，+3，+8，+14]。在这一情况下，所输出的直方图信息为包含在每一范围内的像素数据的频率，即[1，2，2，1]。针对每一频带输出直方图信息。

图6描述了强度抽取单元52的示范性配置。强度抽取单元52包括均匀区域抽取单元71和强度计算单元72。像均匀区域抽取单元61那样，均匀区域抽取单元71从输入图像31抽取均匀区域，并且输出均匀区域信息73。在这一情况下，关于图像的陡峭区域，作为非均匀区域，输出与其它均匀区域不同的信息。如图6中所示，输入图像中的a、b、c、d、e以及f为均匀区域，而所填充的区域为非均匀区域。

把均匀区域信息73提交于强度计算单元72。强度计算单元72针对每一均匀区域，计算所述区域的平均像素值和影片颗粒的分布值。为了计算影片颗粒的分布值，例如，可以使用一种使用了均匀区域中的像素值的分布值的方法。然后，使用平均像素值和影片颗粒的分布值，计算影片颗粒强度信息54。影片颗粒强度信息54为预先确定的区域平均值的范围内的影片颗粒的分布的平均值。

例如，假设预先确定的区域例如(16×16)个像素的区域中的像素值的平均值的范围为0～15、16～31、...、240～255，以及假设输入图像的均匀区域中的区域平均值和分布值的一对为(区域平均值＝28，分布值＝500)，(30，1000)，(44，400)，(250，20)，输出影片颗粒强度信息为[0，750(＝(500+1000)/2，400，...，20)。如果图像由分量R、G、B或者Y、Cb和Cr构成，则针对每一分量输出它们。影片颗粒强度信息经历规范化处理，例如变换为1/1000，以致可将其转换为适合于与译码方所生成的影片颗粒基本模式相乘的值。

如果输入图像由分量视频信号构成，例如由Y、Cb以及Cr分量构成，则下列两种方法可供采用，一种方法是仅仅用亮度信号Y来检测影片颗粒信息，并且把所生成的影片颗粒信息添加于对应于检测结果的分量Y、Cb以及Cr中的每一分量中；另一种方法是，针对每一分量检测影片颗粒信息，并且把所生成的影片颗粒信息添加于对应于检测结果的分量Y、Cb以及Cr中的每一分量中。

将参照图7A～7C示意性地描述以上所描述的编码方处理中的基本模式抽取处理。如图7A中所示，从桢的输入图像I中检测均匀区域R。假设均匀区域R的大小为预先确定的大小，例如为(64×64)个像素。滤波器组62a把均匀区域R的像素划分成基带、低带以及高带。尽管在图5的结构中，滤波器组62b根据频率划分低带，但为了描述的简单，图7A～7C描述了仅使用滤波器组62a的例子。

图7B描述了频率划分的例子。在图7B中，其横坐标轴表示空间水平频率，其纵坐标轴表示空间垂直频率。矩形区域为基带B1，其中水平和垂直频率均升高的区域为高带B2，以及其中水平和垂直频率均降低的区域为低带B3。虚线表示高带的边界的位置，实线表示低带的边界的位置。在这一例子中，在中间带的附近，低带和高带的频率区域互相重叠。

把每一子频带的输出数据提交于直方图计算单元63、64以及65。直方图计算单元63计算与图7C中的F1中所示的基带相关的直方图，直方图计算单元63计算与图7C中的F1中所示的基带相关的直方图，以及直方图计算单元63计算与图7C中的F1中所示的基带相关的直方图。

在图7C中，纵坐标轴表示频率，横坐标轴表示像素值的划分段。每一个划分段具有针对每一频带的像素值的预先确定的范围。直方图F1、F2以及F3表示影片颗粒基本模式信息。

在图7A～7C中，将不描述影片颗粒强度信息。如以上所描述的，影片颗粒强度信息为在预先确定的区域中的像素值平均值的范围内的影片颗粒散布的平均值，并且根据需要，经历规范化处理。

接下来，将描述译码方的结构与处理。图8描述了译码方的影片颗粒添加单元41的一个例子。影片颗粒添加单元41由影片颗粒基本模式生成单元81、模式强度计算单元82、区域平均值计算单元83、乘法器84以及加法器85组成。基本模式生成单元81根据影片颗粒基本模式信息53生成将添加于译码后的图像信息42的影片颗粒的模式，并且输出影片颗粒基本模式86。假设影片颗粒的模式为与用于抽取编码方的基本模式将设置的区域相同大小的区域，例如为(64×64)个像素的区域。

区域平均值计算单元83获得译码后图像信息42的诸如(16×16)个像素的区域的预先确定区域中像素值的平均值，并且输出区域平均值87。把区域平均值87提交于模式强度计算单元82。模式强度计算单元82判断区域平均值87属于影片颗粒强度信息54的哪一平均段，并且作为影片颗粒强度信息88输出对应于所述段的影片颗粒强度。

例如，假设预先确定区域的平均值的范围为0～15、16～31、...、240～255，以及此时影片颗粒强度信息54为[0，750，400，...，20]，如果所输入的区域平均值为23，则此时所输出的影片颗粒强度为750。然而，如以上所描述的，如果在编码方影片颗粒强度信息预先经历了规范化处理，则将其转换为可用于强度调整的乘法运算的一个值。可以在译码方执行这一规范化。

乘法器84把影片颗粒基本模式86乘以影片颗粒强度信息88。从乘法器84获得重新构造的影片颗粒图像89。加法器89把影片颗粒图像89添加于译码后的图像信息42。从加法器85输出译码后的图像43。在加法器85中，以(16×16)个像素为单位，把其中影片颗粒图像89对应于译码后的图像信息42的(16×16)个像素的位置处的像素相加。从基本模式生成单元81所生成的(64×64)个像素的基本模式中裁剪影片颗粒图像89。

与此同时，为了在图像屏幕上获得均匀性，可以通过针对将被提供有影片颗粒模式的每个区域单元例如每个16×16个(像素)的区域单元进行位移来添加影片颗粒基本模式86。例如，假设区域大小为H×V，模式的像素值为G(h，v)(0≤h＜H)(0≤v＜V)，可以通过生成随机数randh，randv(0≤randh＜H，0≤randv＜V)来获得由随机数所位移的模式，然后如下计算将被实际添加的模式A。可以假设这一模式为影片颗粒基本模式86。

A(h，v)＝G(mod(h+randh，H)，mod(v++randv，V))

图9说明了影片颗粒基本模式生成单元81的示范性配置。基本模式81包括：噪音生成单元91；直方图匹配单元92、93、94、95以及96；高通滤波器97和99；低通滤波器98和100；以及综合滤波器组101。

噪音生成单元91生成与影片颗粒基本模式相同大小(H×V)的噪音(高斯噪音、均匀随机数的随机噪音)，例如所述大小为(64×64)个像素。把所生成的噪音提交于直方图匹配单元92。直方图匹配单元92对噪音进行转换，以具有与影片颗粒基本模式信息53基本相同的直方图。以下，将描述在通过软件处理实现直方图匹配单元92的情况下的转换算法的例子。

[直方图匹配单元中的直方图匹配算法]

1.假设将为影片颗粒基本模式信息53中匹配对象的直方图的最小值和最大值为CMIN、CMAX，而且CMIN和CMAN之间的直方图的划分段的数量为围框的数目。围框指示直方图的划分段。另外，还假设编码方所创建、接收或者再现的直方图的累积分布函数为CDF ref(围框)(0≤围框＜围框的数目-1)。

2.假设输入信号(噪音生成单元91的输出)为val org(h，v)，而且该输入信号的累积分布函数为CDF org(围框)(0≤围框＜围框的数目-1)。

3.对于输入信号val org(h，v)的每一因子，根据下列伪代码获得val repl，并且用该值取代val org(h，v)。

val＝CDF org(((val org(h，v)-CMIN)/(CMAX-CMIN)*(围框的数目-1)))；

对于(i＝0；i＜围框的数目；1++)

如果(CDF ref(i)＞＝val)

中断；

如果(i＝＝围框的数目)i--；

val repl＝i/(围框的数目-1)*(CMAX-CMIN)+CMIN；

其它直方图匹配单元93、94、95以及96也具有上述算法的直方图匹配函数。把直方图匹配单元92的输出信号提交于分析高通滤波器97和分析低通滤波器98，并且把分析高通滤波器97的输出提交于直方图匹配单元93，以及把分析低通滤波器98的输出提交于直方图匹配单元94。

另外，还把直方图匹配单元94的输出信号提交于分析高通滤波器99和分析低通滤波器100，把分析高通滤波器99的输出提交于直方图匹配单元95，把分析低通滤波器100的输出提交于直方图匹配单元96。

影片颗粒基本模式信息53向直方图匹配单元92～96中的每一个提供不同的直方图信息。把图7C中的直方图信息F1提交于直方图匹配单元92，因为其涉及基带。把直方图信息F2提交于直方图匹配单元93，因为其涉及高带。把直方图信息F3提交于直方图匹配单元94，因为其涉及低带。

通过该分析高通滤波器97和99以及该分析低通滤波器98和100执行子频带的划分，把每一子频带的分量提交于综合滤波器组101。综合滤波器组101包括：综合高通滤波器102，其上被提供了直方图匹配单元93的输出信号；综合高通滤波器103，其上被提供了直方图匹配单元95的输出信号；以及综合低通滤波器104，其上被提供了直方图匹配单元96的输出信号。

加法器105把综合高通滤波器103的输出信号和综合低通滤波器104的输出信号相加，同时，加法器106把综合高通滤波器102的输出信号和加法器105的输出信号相加。把影片颗粒基本模式信息86取出至加法器106的输出端。同时，综合滤波器组的结构对应于编码方的子频带的划分的结构。

通过以上所描述的乘法器84，把影片颗粒基本模式信息86与影片颗粒强度信息88相乘，来对强度进行校正或调整。在调整了其强度之后，把影片颗粒图像89添加于译码后的图像信息42，使得可获得具有由高效编码和译码而丢失的影片颗粒信息的高质量的译码后图像43。

图10示意性地解释了译码方影片颗粒图像的重新构造的处理。基本模式生成单元81生成其噪音直方图与影片颗粒基本模式信息53基本相同的影片颗粒基本模式86。影片颗粒基本模式86为(64×64)个像素，裁剪(16×16)个像素的区域，并且将其提交于乘法器84。

在编码方创建影片颗粒强度信息54，并且将其加以存储，对应于译码后图像信息42的(16×16)个像素区域中的像素值的平均值87，输出强度信息88。根据这一强度信息88，调整基本模式86的强度。加法器85以像素为单位，把调整了其强度的影片颗粒图像89添加于译码后图像信息42的(16×16)个像素的区域。

接下来，将在把分量视频信号作为例子的情况下，描述影片颗粒信息的抽取和影片颗粒图像的重新构造的某些处理方法。图11描述了第一处理方法。根据第一处理方法，针对分量Y、Cr以及Cb的每一个，抽取影片颗粒基本模式信息和影片颗粒强度信息，以便从每一帧中抽取这些信息块。该图描述了其中存在场景A和场景B的图像信号。在译码方，针对分量Y、Cr以及Cb的每一个，使用每帧的影片颗粒基本模式信息和影片颗粒强度信息来重新构造影片颗粒。

图12描述了第二处理方法。根据第二处理方法，针对分量Y、Cr以及Cb的每一分量，抽取影片颗粒基本模式信息和影片颗粒强度信息。仅在每一场景的首部的帧处，抽取影片颗粒基本模式信息。在译码方，通常把所抽取的基本模式信息用于同一场景中的所有帧。像第一处理方法一样，在每帧中，针对每一分量抽取影片颗粒强度信息。

图13描述了第三处理方法。根据第三处理方法，仅从分量中的亮度信号Y抽取影片颗粒基本模式信息。仅在每一场景的首部的帧中抽取影片颗粒基本模式信息。在译码方，把所抽取的基本模式信息共用于同一场景的所有帧和所有分量。像第一处理方法一样，在每帧中，针对每一分量抽取影片颗粒强度信息。

图14描述了第四处理方法。根据第四处理方法，针对分量Y、Cr以及Cb中的每一分量，抽取影片颗粒基本模式信息和影片颗粒强度信息。仅在每一场景的首部的帧中，抽取影片颗粒基本模式信息和影片颗粒强度信息两者。在译码方，把所抽取的基本模式信息和强度信息共用于同一场景中的所有帧。

图15描述了第五处理方法。根据第五处理方法，从分量中的亮度信号Y抽取影片颗粒基本模式信息。仅在每一场景的首部的帧中抽取影片颗粒基本模式信息。在译码方，把所抽取的基本模式信息共用于同一场景中的所有帧和所有分量。针对分量Y、Cr以及Cb中的每一分量，抽取影片颗粒强度信息。仅在每一场景的首部的帧中，抽取影片颗粒强度信息。在译码方，把所抽取的影片颗粒强度信息共用于同一场景的所有帧中的每一分量。

图16描述了第六处理方法。根据第六处理方法，仅从分量中的亮度信号Y抽取影片颗粒基本模式信息和影片颗粒强度信息两者。在译码方，把所抽取的基本模式信息和强度信息两者共用于同一场景中的所有桢和所有分量。

在以上所描述的第一～第六处理方法中，考虑在通过添加影片颗粒引起的图像质量改进效果和将加以传输的影片颗粒信息的数据数量之间的关系来使用适当的方法。另外，可以这样地构造第一～第六处理方法，使得可以根据用户的操作，选择两种或两种以上的处理方法，并且可以对它们加以转换。

以上，具体地描述了本发明的实施例。本发明并不局限于以上所描述的实施例，而可以根据本发明的技术构思，按不同的方式对本发明进行修改。例如，对于子频带的划分方法，可以将子频带划分成水平频率方向和垂直频率方向的两个段，以产生4个子频带。另外，作为一种根据影片颗粒基本模式信息处理噪音分量的方法，也可以采用除以上提到的算法之外的算法。而且，本发明还允许把除MPEG-4AVC(或H.264)外的、诸如MPEG2的其它编码方法用作针对动画的一种高效编码方法。

根据本发明，在编码方，有效地抽取了在译码方所丢失的影片颗粒信息，并且将其传输于译码方，或者将其记录在记录媒体中。在译码方，根据所获得的信息，重新构造将添加于图像的影片颗粒信息，并且将其添加于译码后的图像。因此，向译码后的图像提供了影片质地，从而可以明显地改进图像质量。

Claims

1.一种图像处理装置，是对编码图像数据进行译码的译码设备，包括：

接收装置，接收上述编码图像数据、指示在图像信号的图像中不包含剧烈变化的区域中的像素值的等级分布的基本模式信息、指示影片颗粒的强度的强度信息；

译码装置，对通过上述接收装置接收的编码图像数据进行译码而生成译码图像数据；

构造装置，通过把随机噪音的等级分布转换为与由通过上述接收装置接收的基本模式信息中所指示的等级分布相同的等级分布，重新构造影片颗粒图像；

调整装置，根据通过上述接收装置接收的强度信息，对通过上述构造装置构造的影片颗粒图像的强度进行调整；以及

添加装置，通过上述译码装置，将通过上述调整装置调整的影片颗粒图像添加到生成的译码图像数据中，

其中

上述基本模式信息和强度信息构成为上述编码图像数据的添加信息，

上述接收装置从上述添加信息中获取上述基本模式信息和强度信息。

2.如权利要求1所述的图像处理装置，

上述译码装置通过AVC标准进行译码。

3.一种图像处理方法，是对编码图像数据进行译码的译码方法，包括：

接收步骤，接收上述编码图像数据、指示在图像信号的图像中不包含剧烈变化的区域中的像素值的等级分布的基本模式信息、指示影片颗粒的强度的强度信息；

译码步骤，对通过上述接收步骤接收的编码图像数据进行译码而生成译码图像数据；

构造步骤，通过把随机噪音的等级分布转换为与由通过上述接收步骤接收的基本模式信息中所指示的等级分布相同的等级分布，重新构造影片颗粒图像；

调整步骤，根据通过上述接收步骤接收的强度信息，对通过上述构造步骤构造的影片颗粒图像的强度进行调整；以及

添加步骤，通过上述译码步骤，将通过上述调整步骤调整的影片颗粒图像添加到生成的译码图像数据中，

其中

上述接收步骤从上述添加信息中获取上述基本模式信息和强度信息。