CN101080929B - 图像处理装置与图像处理方法 - Google Patents

图像处理装置与图像处理方法 Download PDF

Info

Publication number
CN101080929B
CN101080929B CN2005800434175A CN200580043417A CN101080929B CN 101080929 B CN101080929 B CN 101080929B CN 2005800434175 A CN2005800434175 A CN 2005800434175A CN 200580043417 A CN200580043417 A CN 200580043417A CN 101080929 B CN101080929 B CN 101080929B
Authority
CN
China
Prior art keywords
information
fundamental mode
image
film particle
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800434175A
Other languages
English (en)
Other versions
CN101080929A (zh
Inventor
村山淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101080929A publication Critical patent/CN101080929A/zh
Application granted granted Critical
Publication of CN101080929B publication Critical patent/CN101080929B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/253Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

基本模式生成设备(81)生成具有与影片颗粒基本模式信息(53)几乎相同的随机噪音直方图的影片颗粒基本模式(86)。影片颗粒基本模式(86)具有[64×64]个像素,从中裁剪[16×16]个像素的区域,并且将其提交于乘法器(84)。根据在编码方所创建的影片颗粒强度信息(54),以及译码图像信息(42)的[16×16]个像素的区域的像素值的平均值(87),生成强度信息(88)。根据这一强度信息(88),调整基本模式(86)的强度。加法器(85)以像素为单位,把已经经历了强度调整的影片颗粒图像(89)添加于译码图像信息(42)的(16×16)个像素的区域。

Description

图像处理装置与图像处理方法 
技术领域
本发明涉及一种图像处理装置与图像处理方法,其例如适用于使用MPEG-4 AVC(或H.264)编码对影片图像进行编码的情况。 
背景技术
将参照图1,描述一种传统的图像传输/接收装置或者图像记录/再现装置(以下将把这两种装置仅称为图像传输装置)。首先,输入图像11由图像编码单元12编码,并且把编码后的信息发送或记录到或者在对应于传输系统的无线/有线传输通路13或积累媒体14上。由图像译码单元15对在接收/再现侧所获得的数据进行译码,以获得译码后的图像16。 
在图像编码单元12把输入图像数据的数量减小到七分之一至几十分之一之后,发送或者记录数据。例如,可以通过MPEG-4 AVC(或H.264)编码,把图像数据降低至1.5Mbps的传输率。由于这样的编码,人们会将译码后的图像16和输入图像11之间的差别视为劣化。 
传统的图像传输装置减小了在传输或记录时输入图像数据的数量。通常,诸如MPEG-4 AVC(或H.264)编码的图像编码标准已经规定了一种有效减小数据量而就人类视觉而言无明显劣化的方法。然而,在有限传输带宽或存储容量下,图像的细节信息被极大地损坏。特别是,当传输或记录诸如电影的影片图像时,丢失了表示电影的大量质地的影片颗粒(film grain)信息,因此明显劣化了译码后图像的质量。 
图2A描述了用作输入图像11的影片图像的一个实例,图2B描述了译码后图像16的一个实例。如图2A和2B中所示,尽管作为影片质量加以检测的影片颗粒可以在输入图像21中得以察觉,但译码后图像22提交了单调的图象,因为大部分影片颗粒信息丢失了。由于丢失了影片颗粒,所以存在着不能感知影片质地的问题。 
传统上,日本专利申请公开物(JP-A)JP11-250246声称:通过抑制扫描器所获取的图像的噪音,可以加强清晰度。 
JP-A-11-250246中所公开的装置旨在抑制专门针对影片图像的颗粒噪音,而不旨在在译码方改善通过高效编码系统的编码所丢失的影片图像质地。 
因此,本发明的目的是提供一种图像处理装置与处理方法,其中,在译码方几乎感觉不到影片颗粒信息的丢失,从而维持了输入图像的影片质地,因此必然极大地改善图像质量。 
发明内容
为了解决上述问题,本发明的第一方面提供了一种用于输入图像信号的编码的图像处理装置,该图像处理装置包括: 
图像编码装置,用于对输入图像进行编码; 
区域检测装置,用于检测输入图像中的不包含剧烈变化的区域; 
第一抽取装置,用于从输入图像中抽取基本模式信息,该基本模式信息指示由区域检测装置所检测的区域中的像素值的等级分布; 
第二抽取装置,用于从输入图像中获取强度信息,该强度信息指示将加以添加的影片颗粒的强度;以及 
用于传输或记录编码后的数据、基本模式信息以及强度信息的装置。本发明还在编码方提供了一种图像处理方法,以实现在上述编码方的装置的处理。 
本发明的第二方面提供了一种图像处理装置,用于接收或再现编码的编码后的数据、指示输入图像中不包含剧烈变化的区域中的像素值的等级分布的基本模式信息、以及指示要添加的影片颗粒的强度的强度信息,该图像处理装置包括: 
译码装置,用于对编码后的数据进行译码; 
基本模式生成装置,用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布,重新构造影片颗粒图像; 
强度调整装置,用于根据强度信息调整影片颗粒图像的强度;以及 
添加装置,用于把对其强度进行了调整的影片颗粒图像添加于由译码装置所获得的译码后的图像信息。本发明还在译码方提供了一种图像处理方法,以实现在上述译码方的装置的处理。 
本发明提供了一种图像处理装置,用于对输入图像信号进行编码,传输或记录编码后的数据,以及对所接收或所再现的编码后的数据进行译码,其 中,其编码方包括: 
图像编码装置,用于对输入图像进行编码; 
区域检测装置,用于检测输入图像中的不包含剧烈变化的区域; 
第一抽取装置,用于从输入图像中抽取基本模式信息,该基本模式信息指示由区域检测装置所检测的区域中的像素值的等级分布; 
第二抽取装置,用于从输入图像中获取强度信息,该强度信息指示将添加的影片颗粒的强度;以及 
用于传输或记录编码后的数据、基本模式信息以及强度信息的装置,以及 
其译码方包括: 
用于接收或再现编码后的数据、基本模式信息以及强度信息的装置; 
译码装置,用于对编码后的数据进行译码; 
基本模式生成装置,用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布,重新构造影片颗粒图像; 
强度调整装置,用于根据强度信息调整影片颗粒图像的强度;以及 
添加装置,用于把对其强度进行了调整的影片颗粒图像添加于译码装置所获得的译码后的图像信息。本发明还在编码方提供了一种图像处理方法,以实现以上所描述的在编码方和译码方的装置的处理。 
附图说明
图1是方框图,描述了本发明能够被应用的传统图像传输装置的一个实例; 
图2A和2B为示意图,描述了传统图像传输装置中的输入图像和译码后图像的一个实例; 
图3是方框图,示意性地描述了本发明的图像传输装置的一个实施例; 
图4是根据本发明的实施例的影片颗粒信息抽取单元的一个实例的方框图; 
图5是影片颗粒抽取单元中的影片颗粒基本模式信息抽取单元的一个实例的方框图; 
图6是影片颗粒抽取单元中的影片颗粒强度信息抽取单元的一个实例的方框图; 
图7A、7B以及7C为示意图,用于示意性地解释影片颗粒基本模式信息的抽取处理; 
图8为根据本发明的实施例的影片颗粒添加单元的一个实例的方框图; 
图9为影片颗粒添加单元中的基本模式生成单元的一个实例的方框图; 
图10为示意图,用于示意性地解释影片颗粒添加处理; 
图11为时序图,用于解释影片颗粒信息抽取和影片颗粒添加处理的第一方法; 
图12为时序图,用于解释影片颗粒信息抽取和影片颗粒添加处理的第二方法; 
图13为时序图,用于解释影片颗粒信息抽取和影片颗粒添加处理的第三方法; 
图14为时序图,用于解释影片颗粒信息抽取和影片颗粒添加处理的第四方法; 
图15为时序图,用于解释影片颗粒信息抽取和影片颗粒添加处理的第五方法;以及 
图16为时序图,用于解释影片颗粒信息抽取和影片颗粒添加处理的第六方法。 
具体实施方式
以下,将参照图附图,描述本发明的一个实施例。图3描述了本发明的图像传输装置。首先,将描述编码方。通过图像编码单元32对输入图像31高效地进行编码,以通过压缩数据量,生成编码后的信息34。把编码后的信息34发送到对应于传输系统的无线/有线传输通路36,或者将其记录于诸如数字通用盘(DVD)的积累媒体37中。 
参照数字33表示影片颗粒信息抽取单元。影片颗粒信息抽取单元33从输入图像31抽取影片颗粒信息,并且把所抽取的影片颗粒信息35像编码后的信息34一样发送到对应于传输系统的无线/有线传输通路36,或者将其记录于积累媒体37中。 
接下来,将描述译码方。把所接收的编码后的信息38提交于译码方的图像译码单元40,然后图像译码单元40从所接收的编码后的信息38中生成译码后的图像信息42。参照数字41表示影片颗粒添加单元。在影片颗粒添加单元41从所接收的影片颗粒信息39中再现了影片颗粒信息之后,其添加对应于译码后的图像信息42的特征被重新构造的影片颗粒信息,并且将其作为译码后的图像43加以输出。 
例如,图像编码单元32和图像译码单元40根据MPEG-4 AVC(或H.264)编码标准执行处理。在这种情况下,编码信息34具有流数据结构,该流数据结构包括预定长度的单元。使用用于传输补充增强信息(SEI)的单元传输或记录影片颗粒信息35,就对动画图像进行译码而言,SEI是不可缺少的。即,由于SEI包含了用户独立定义的信息,所以使用用户数据传输或记录影片颗粒信息35。 
图4描述了影片颗粒信息抽取单元33的一个实例。影片颗粒信息抽取单元33由基本模式抽取单元51和强度抽取单元52构成。基本模式抽取单元51从输入图像31抽取表示影片颗粒的信息,并且将其作为影片颗粒基本模式信息53加以输出。在诸如0~20、21~40、...的像素值的每个范围内,强度抽取单元52计算在具有用于每一个桢的平均值的区域上应该添加多大强度的影片颗粒的信息,并且将其信息作为影片颗粒强度信息54加以输出。影片颗粒信息35包括影片颗粒基本模式信息53和影片颗粒强度信息54两者。 
图5描述了基本模式抽取单元51的一个实例。基本模式抽取单元51由均匀区域抽取单元61、滤波器组(bank)62以及直方图计算单元63、64、65、66以及67组成。 
均匀区域抽取单元61从输入图像中抽取其中均匀地分布了影片颗粒并且图像不包含剧烈变化的预定大小的区域(将其称为均匀区域),以及输出均匀区域数据68。均匀区域的例子是作为背景的类似天空图像的单调图象。均匀区域数据68由存在于均匀区域中的多个像素数据项构成。同时,为获得均匀区域数据68,可准许直接指定一个或者从所述单元输出的候选中指定一个。 
滤波器组62a、62b把以这样的方式所获得的均匀区域数据68划分成多个子频带,该滤波器组62a、62b由多个高通滤波器(由H加以表示)和低通滤波器(由L加以表示)构成。构成滤波器组62a、62b的滤波器为二维地指定其滤波系数的数字滤波器。 
在图5所示的结构实例中,每一个滤波器组62a、62b均由高通带和低通带构成。另外,还可以提供多个带通滤波器,就阶段的数目而言,可以提供其多个阶段,而不是图5中所示的两个阶段。 
把基带和每个子频带的输出提交给对应于每一频带的直方图计算单元63~67。直方图计算单元63~67抽取每一频带的像素值的频率分布信息(以下,将其称为直方图),并且把所抽取的直方图信息作为影片颗粒基本模式信 息53加以输出。 
直方图信息为频率信息,其指示包含在预先确定的像素值范围(以下将其称为划分段)中像素的数量。例如,假设存在4个预先确定的划分段,即-19~-10、-9~0、1~+10、+11~+20,而且此时输入于直方图计算单元的数据的每一像素的值为[-11,-5,-1,+3,+8,+14]。在这一情况下,所输出的直方图信息为包含在每一范围内的像素数据的频率,即[1,2,2,1]。针对每一频带输出直方图信息。 
图6描述了强度抽取单元52的示范性配置。强度抽取单元52包括均匀区域抽取单元71和强度计算单元72。像均匀区域抽取单元61那样,均匀区域抽取单元71从输入图像31抽取均匀区域,并且输出均匀区域信息73。在这一情况下,关于图像的陡峭区域,作为非均匀区域,输出与其它均匀区域不同的信息。如图6中所示,输入图像中的a、b、c、d、e以及f为均匀区域,而所填充的区域为非均匀区域。 
把均匀区域信息73提交于强度计算单元72。强度计算单元72针对每一均匀区域,计算所述区域的平均像素值和影片颗粒的分布值。为了计算影片颗粒的分布值,例如,可以使用一种使用了均匀区域中的像素值的分布值的方法。然后,使用平均像素值和影片颗粒的分布值,计算影片颗粒强度信息54。影片颗粒强度信息54为预先确定的区域平均值的范围内的影片颗粒的分布的平均值。 
例如,假设预先确定的区域例如(16×16)个像素的区域中的像素值的平均值的范围为0~15、16~31、...、240~255,以及假设输入图像的均匀区域中的区域平均值和分布值的一对为(区域平均值=28,分布值=500),(30,1000),(44,400),(250,20),输出影片颗粒强度信息为[0,750(=(500+1000)/2,400,...,20)。如果图像由分量R、G、B或者Y、Cb和Cr构成,则针对每一分量输出它们。影片颗粒强度信息经历规范化处理,例如变换为1/1000,以致可将其转换为适合于与译码方所生成的影片颗粒基本模式相乘的值。 
如果输入图像由分量视频信号构成,例如由Y、Cb以及Cr分量构成,则下列两种方法可供采用,一种方法是仅仅用亮度信号Y来检测影片颗粒信息,并且把所生成的影片颗粒信息添加于对应于检测结果的分量Y、Cb以及Cr中的每一分量中;另一种方法是,针对每一分量检测影片颗粒信息,并且 把所生成的影片颗粒信息添加于对应于检测结果的分量Y、Cb以及Cr中的每一分量中。 
将参照图7A~7C示意性地描述以上所描述的编码方处理中的基本模式抽取处理。如图7A中所示,从桢的输入图像I中检测均匀区域R。假设均匀区域R的大小为预先确定的大小,例如为(64×64)个像素。滤波器组62a把均匀区域R的像素划分成基带、低带以及高带。尽管在图5的结构中,滤波器组62b根据频率划分低带,但为了描述的简单,图7A~7C描述了仅使用滤波器组62a的例子。 
图7B描述了频率划分的例子。在图7B中,其横坐标轴表示空间水平频率,其纵坐标轴表示空间垂直频率。矩形区域为基带B1,其中水平和垂直频率均升高的区域为高带B2,以及其中水平和垂直频率均降低的区域为低带B3。虚线表示高带的边界的位置,实线表示低带的边界的位置。在这一例子中,在中间带的附近,低带和高带的频率区域互相重叠。 
把每一子频带的输出数据提交于直方图计算单元63、64以及65。直方图计算单元63计算与图7C中的F1中所示的基带相关的直方图,直方图计算单元63计算与图7C中的F1中所示的基带相关的直方图,以及直方图计算单元63计算与图7C中的F1中所示的基带相关的直方图。 
在图7C中,纵坐标轴表示频率,横坐标轴表示像素值的划分段。每一个划分段具有针对每一频带的像素值的预先确定的范围。直方图F1、F2以及F3表示影片颗粒基本模式信息。 
在图7A~7C中,将不描述影片颗粒强度信息。如以上所描述的,影片颗粒强度信息为在预先确定的区域中的像素值平均值的范围内的影片颗粒散布的平均值,并且根据需要,经历规范化处理。 
接下来,将描述译码方的结构与处理。图8描述了译码方的影片颗粒添加单元41的一个例子。影片颗粒添加单元41由影片颗粒基本模式生成单元81、模式强度计算单元82、区域平均值计算单元83、乘法器84以及加法器85组成。基本模式生成单元81根据影片颗粒基本模式信息53生成将添加于译码后的图像信息42的影片颗粒的模式,并且输出影片颗粒基本模式86。假设影片颗粒的模式为与用于抽取编码方的基本模式将设置的区域相同大小的区域,例如为(64×64)个像素的区域。 
区域平均值计算单元83获得译码后图像信息42的诸如(16×16)个像素 的区域的预先确定区域中像素值的平均值,并且输出区域平均值87。把区域平均值87提交于模式强度计算单元82。模式强度计算单元82判断区域平均值87属于影片颗粒强度信息54的哪一平均段,并且作为影片颗粒强度信息88输出对应于所述段的影片颗粒强度。 
例如,假设预先确定区域的平均值的范围为0~15、16~31、...、240~255,以及此时影片颗粒强度信息54为[0,750,400,...,20],如果所输入的区域平均值为23,则此时所输出的影片颗粒强度为750。然而,如以上所描述的,如果在编码方影片颗粒强度信息预先经历了规范化处理,则将其转换为可用于强度调整的乘法运算的一个值。可以在译码方执行这一规范化。 
乘法器84把影片颗粒基本模式86乘以影片颗粒强度信息88。从乘法器84获得重新构造的影片颗粒图像89。加法器89把影片颗粒图像89添加于译码后的图像信息42。从加法器85输出译码后的图像43。在加法器85中,以(16×16)个像素为单位,把其中影片颗粒图像89对应于译码后的图像信息42的(16×16)个像素的位置处的像素相加。从基本模式生成单元81所生成的(64×64)个像素的基本模式中裁剪影片颗粒图像89。 
与此同时,为了在图像屏幕上获得均匀性,可以通过针对将被提供有影片颗粒模式的每个区域单元例如每个16×16个(像素)的区域单元进行位移来添加影片颗粒基本模式86。例如,假设区域大小为H×V,模式的像素值为G(h,v)(0≤h<H)(0≤v<V),可以通过生成随机数randh,randv(0≤randh<H,0≤randv<V)来获得由随机数所位移的模式,然后如下计算将被实际添加的模式A。可以假设这一模式为影片颗粒基本模式86。 
A(h,v)=G(mod(h+randh,H),mod(v++randv,V)) 
图9说明了影片颗粒基本模式生成单元81的示范性配置。基本模式81包括:噪音生成单元91;直方图匹配单元92、93、94、95以及96;高通滤波器97和99;低通滤波器98和100;以及综合滤波器组101。 
噪音生成单元91生成与影片颗粒基本模式相同大小(H×V)的噪音(高斯噪音、均匀随机数的随机噪音),例如所述大小为(64×64)个像素。把所生成的噪音提交于直方图匹配单元92。直方图匹配单元92对噪音进行转换,以具有与影片颗粒基本模式信息53基本相同的直方图。以下,将描述在通过软件处理实现直方图匹配单元92的情况下的转换算法的例子。 
[直方图匹配单元中的直方图匹配算法] 
1.假设将为影片颗粒基本模式信息53中匹配对象的直方图的最小值和最大值为CMIN、CMAX,而且CMIN和CMAN之间的直方图的划分段的数量为围框的数目。围框指示直方图的划分段。另外,还假设编码方所创建、接收或者再现的直方图的累积分布函数为CDF ref(围框)(0≤围框<围框的数目-1)。 
2.假设输入信号(噪音生成单元91的输出)为val org(h,v),而且该输入信号的累积分布函数为CDF org(围框)(0≤围框<围框的数目-1)。 
3.对于输入信号val org(h,v)的每一因子,根据下列伪代码获得val repl,并且用该值取代val org(h,v)。 
val=CDF org(((val org(h,v)-CMIN)/(CMAX-CMIN)*(围框的数目-1))); 
对于(i=0;i<围框的数目;1++) 
如果(CDF ref(i)>=val) 
中断; 
如果(i==围框的数目)i--; 
val repl=i/(围框的数目-1)*(CMAX-CMIN)+CMIN; 
其它直方图匹配单元93、94、95以及96也具有上述算法的直方图匹配函数。把直方图匹配单元92的输出信号提交于分析高通滤波器97和分析低通滤波器98,并且把分析高通滤波器97的输出提交于直方图匹配单元93,以及把分析低通滤波器98的输出提交于直方图匹配单元94。 
另外,还把直方图匹配单元94的输出信号提交于分析高通滤波器99和分析低通滤波器100,把分析高通滤波器99的输出提交于直方图匹配单元95,把分析低通滤波器100的输出提交于直方图匹配单元96。 
影片颗粒基本模式信息53向直方图匹配单元92~96中的每一个提供不同的直方图信息。把图7C中的直方图信息F1提交于直方图匹配单元92,因为其涉及基带。把直方图信息F2提交于直方图匹配单元93,因为其涉及高带。把直方图信息F3提交于直方图匹配单元94,因为其涉及低带。 
通过该分析高通滤波器97和99以及该分析低通滤波器98和100执行子频带的划分,把每一子频带的分量提交于综合滤波器组101。综合滤波器组 101包括:综合高通滤波器102,其上被提供了直方图匹配单元93的输出信号;综合高通滤波器103,其上被提供了直方图匹配单元95的输出信号;以及综合低通滤波器104,其上被提供了直方图匹配单元96的输出信号。 
加法器105把综合高通滤波器103的输出信号和综合低通滤波器104的输出信号相加,同时,加法器106把综合高通滤波器102的输出信号和加法器105的输出信号相加。把影片颗粒基本模式信息86取出至加法器106的输出端。同时,综合滤波器组的结构对应于编码方的子频带的划分的结构。 
通过以上所描述的乘法器84,把影片颗粒基本模式信息86与影片颗粒强度信息88相乘,来对强度进行校正或调整。在调整了其强度之后,把影片颗粒图像89添加于译码后的图像信息42,使得可获得具有由高效编码和译码而丢失的影片颗粒信息的高质量的译码后图像43。 
图10示意性地解释了译码方影片颗粒图像的重新构造的处理。基本模式生成单元81生成其噪音直方图与影片颗粒基本模式信息53基本相同的影片颗粒基本模式86。影片颗粒基本模式86为(64×64)个像素,裁剪(16×16)个像素的区域,并且将其提交于乘法器84。 
在编码方创建影片颗粒强度信息54,并且将其加以存储,对应于译码后图像信息42的(16×16)个像素区域中的像素值的平均值87,输出强度信息88。根据这一强度信息88,调整基本模式86的强度。加法器85以像素为单位,把调整了其强度的影片颗粒图像89添加于译码后图像信息42的(16×16)个像素的区域。 
接下来,将在把分量视频信号作为例子的情况下,描述影片颗粒信息的抽取和影片颗粒图像的重新构造的某些处理方法。图11描述了第一处理方法。根据第一处理方法,针对分量Y、Cr以及Cb的每一个,抽取影片颗粒基本模式信息和影片颗粒强度信息,以便从每一帧中抽取这些信息块。该图描述了其中存在场景A和场景B的图像信号。在译码方,针对分量Y、Cr以及Cb的每一个,使用每帧的影片颗粒基本模式信息和影片颗粒强度信息来重新构造影片颗粒。 
图12描述了第二处理方法。根据第二处理方法,针对分量Y、Cr以及Cb的每一分量,抽取影片颗粒基本模式信息和影片颗粒强度信息。仅在每一场景的首部的帧处,抽取影片颗粒基本模式信息。在译码方,通常把所抽取的基本模式信息用于同一场景中的所有帧。像第一处理方法一样,在每帧中, 针对每一分量抽取影片颗粒强度信息。 
图13描述了第三处理方法。根据第三处理方法,仅从分量中的亮度信号Y抽取影片颗粒基本模式信息。仅在每一场景的首部的帧中抽取影片颗粒基本模式信息。在译码方,把所抽取的基本模式信息共用于同一场景的所有帧和所有分量。像第一处理方法一样,在每帧中,针对每一分量抽取影片颗粒强度信息。 
图14描述了第四处理方法。根据第四处理方法,针对分量Y、Cr以及Cb中的每一分量,抽取影片颗粒基本模式信息和影片颗粒强度信息。仅在每一场景的首部的帧中,抽取影片颗粒基本模式信息和影片颗粒强度信息两者。在译码方,把所抽取的基本模式信息和强度信息共用于同一场景中的所有帧。 
图15描述了第五处理方法。根据第五处理方法,从分量中的亮度信号Y抽取影片颗粒基本模式信息。仅在每一场景的首部的帧中抽取影片颗粒基本模式信息。在译码方,把所抽取的基本模式信息共用于同一场景中的所有帧和所有分量。针对分量Y、Cr以及Cb中的每一分量,抽取影片颗粒强度信息。仅在每一场景的首部的帧中,抽取影片颗粒强度信息。在译码方,把所抽取的影片颗粒强度信息共用于同一场景的所有帧中的每一分量。 
图16描述了第六处理方法。根据第六处理方法,仅从分量中的亮度信号Y抽取影片颗粒基本模式信息和影片颗粒强度信息两者。在译码方,把所抽取的基本模式信息和强度信息两者共用于同一场景中的所有桢和所有分量。 
在以上所描述的第一~第六处理方法中,考虑在通过添加影片颗粒引起的图像质量改进效果和将加以传输的影片颗粒信息的数据数量之间的关系来使用适当的方法。另外,可以这样地构造第一~第六处理方法,使得可以根据用户的操作,选择两种或两种以上的处理方法,并且可以对它们加以转换。 
以上,具体地描述了本发明的实施例。本发明并不局限于以上所描述的实施例,而可以根据本发明的技术构思,按不同的方式对本发明进行修改。例如,对于子频带的划分方法,可以将子频带划分成水平频率方向和垂直频率方向的两个段,以产生4个子频带。另外,作为一种根据影片颗粒基本模式信息处理噪音分量的方法,也可以采用除以上提到的算法之外的算法。而且,本发明还允许把除MPEG-4 AVC(或H.264)外的、诸如MPEG2的其它编码方法用作针对动画的一种高效编码方法。 
根据本发明,在编码方,有效地抽取了在译码方所丢失的影片颗粒信息, 并且将其传输于译码方,或者将其记录在记录媒体中。在译码方,根据所获得的信息,重新构造将添加于图像的影片颗粒信息,并且将其添加于译码后的图像。因此,向译码后的图像提供了影片质地,从而可以明显地改进图像质量。 

Claims (14)

1.一种用于输入图像信号之编码的图像处理装置,包括:
图像编码装置,用于对输入图像进行编码;
区域检测装置,用于检测输入图像中不包含剧烈变化的区域;
第一抽取装置,用于从输入图像中抽取基本模式信息,该基本模式信息指示由区域检测装置检测的区域中的像素值的等级分布;
第二抽取装置,用于从输入图像中获取强度信息,该强度信息指示将加以添加的影片颗粒的强度;以及
用于传输或记录编码后数据、基本模式信息以及强度信息的装置。
2.根据权利要求1所述的图像处理装置,其中,第一抽取装置为一种把所述区域中的像素值的频率分布用作基本模式信息的图像处理装置。
3.根据权利要求1所述的图像处理装置,其中,第一抽取装置为一种用于把所述区域中的像素划分成多个频带,并且针对每一频带抽取基本模式的图像处理装置。
4.根据权利要求1所述的图像处理装置,其中,第二抽取装置为一种用于生成对应于每一区域中的像素的平均值的强度信息的图像处理装置。
5.根据权利要求1所述的图像处理装置,其中,第一和第二抽取装置检测输入图像中的每帧的基本模式信息和强度信息。
6.根据权利要求1所述的图像处理装置,其中,第一和第二抽取装置检测输入图像中的每一个场景的基本模式信息和强度信息。
7.一种图像处理装置,用于接收或者再现编码的编码后数据、指示输入图像中不包含剧烈变化的区域中的像素值的等级分布的基本模式信息、以及指示要添加的影片颗粒的强度的强度信息,包括:
译码装置,用于对编码后数据进行译码;
基本模式生成装置,用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布,重新构造影片颗粒图像;
强度调整装置,用于根据强度信息调整影片颗粒图像的强度;以及
添加装置,用于把对其强度进行了调整的影片颗粒图像添加于译码装置所获得的译码后的图像信息。
8.根据权利要求7所述的图像处理装置,其中,裁剪由基本模式生成装置所生成的影片颗粒图像中的区域,并且将其添加于译码后的图像信息。
9.根据权利要求8所述的图像处理装置,其中,随机地改变所裁剪区域的位置。
10.根据权利要求7所述的图像处理装置,其中,强度调整装置调整所述图像中的每一所指定区域中的强度。
11.一种图像处理装置,用于编码输入图像信号、传输或记录编码后的数据、以及译码所接收或所再现的编码后的数据,其中,
其编码方包括:
图像编码装置,用于对输入图像进行编码;
区域检测装置,用于检测输入图像中的不包含剧烈变化的区域;
第一抽取装置,用于从输入图像中抽取基本模式信息,该基本模式信息指示由区域检测装置所检测的区域中的像素值的等级分布;
第二抽取装置,用于从输入图像中获取强度信息,该强度信息指示将加以添加的影片颗粒的强度;以及
用于传输或记录编码后的数据、基本模式信息以及强度信息的装置,以及
其译码方包括:
用于接收或再现编码后的数据、基本模式信息以及强度信息的装置;
译码装置,用于对编码后的数据进行译码;
基本模式生成装置,用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布,重新构造影片颗粒图像;
强度调整装置,用于根据强度信息调整影片颗粒图像的强度;以及
添加装置,用于把对其强度进行了调整的影片颗粒图像添加于由译码装置所获得的译码后的图像信息。
12.一种用于编码输入图像信号的图像处理方法,包括:
图像编码步骤,用于对输入图像进行编码;
区域检测步骤,用于检测输入图像中的不包含剧烈变化的区域;
第一抽取步骤,用于从输入图像中抽取基本模式信息,该基本模式信息指示由区域检测步骤所检测的区域中的像素值的等级分布;
第二抽取步骤,用于从输入图像中获取强度信息,该强度信息指示将加以添加的影片颗粒的强度;以及
用于传输或记录编码后的数据、基本模式信息以及强度信息的步骤。
13.一种图像处理方法,用于接收或者再现编码的编码后的数据、指示输入图像中不包含剧烈变化的区域中的像素值的等级分布的基本模式信息、以及指示要添加的影片颗粒的强度的强度信息,该图像处理方法包括:
译码步骤,用于对编码后的数据进行译码;
基本模式生成步骤,用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布,重新构造影片颗粒图像;
强度调整步骤,用于根据强度信息调整影片颗粒图像的强度;以及
添加步骤,用于把对其强度进行了调整的影片颗粒图像添加于译码步骤所获得的译码后的图像信息。
14.一种图像处理方法,用于编码输入图像信号、传输或记录编码后的数据、以及对所接收或所再现的编码后的数据进行译码,其中,
在其编码方的处理包括:
图像编码步骤,用于对输入图像进行编码;
区域检测步骤,用于检测输入图像中的不包含剧烈变化的区域;
第一抽取步骤,用于从输入图像中抽取基本模式信息,该基本模式信息指示由区域检测步骤所检测的区域中的像素值的等级分布;
第二抽取步骤,用于从输入图像中获取强度信息,该强度信息指示将加以添加的影片颗粒的强度;以及
用于传输或记录编码后的数据、基本模式信息以及强度信息的步骤,以及
在其译码方的处理包括:
用于接收或再现编码后的数据、基本模式信息以及强度信息的步骤;
译码步骤,用于对编码后的数据进行译码以获得译码后的图像信息;
基本模式生成步骤,用于通过把随机噪音的等级分布转换为与基本模式信息中所指示的等级分布相同的等级分布,重新构造影片颗粒图像;
强度调整步骤,用于根据强度信息调整影片颗粒图像的强度;以及
添加步骤,用于把对其强度进行了调整的影片颗粒图像添加于译码步骤所获得的译码后的图像信息。
CN2005800434175A 2004-10-18 2005-09-14 图像处理装置与图像处理方法 Expired - Fee Related CN101080929B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP302676/2004 2004-10-18
JP2004302676A JP4543873B2 (ja) 2004-10-18 2004-10-18 画像処理装置および処理方法
PCT/JP2005/017327 WO2006043392A1 (ja) 2004-10-18 2005-09-14 画像処理装置および処理方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN2010106070457A Division CN102088601B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法
CN2010106065980A Division CN102088600B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法

Publications (2)

Publication Number Publication Date
CN101080929A CN101080929A (zh) 2007-11-28
CN101080929B true CN101080929B (zh) 2011-03-02

Family

ID=36202814

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2005800434175A Expired - Fee Related CN101080929B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法
CN2010106070457A Expired - Fee Related CN102088601B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法
CN2010106065980A Expired - Fee Related CN102088600B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN2010106070457A Expired - Fee Related CN102088601B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法
CN2010106065980A Expired - Fee Related CN102088600B (zh) 2004-10-18 2005-09-14 图像处理装置与图像处理方法

Country Status (11)

Country Link
US (2) US8139648B2 (zh)
EP (1) EP1814333A1 (zh)
JP (1) JP4543873B2 (zh)
KR (1) KR101193267B1 (zh)
CN (3) CN101080929B (zh)
AU (1) AU2005297645B2 (zh)
BR (1) BRPI0516944A (zh)
CA (1) CA2584065A1 (zh)
MX (1) MX2007004577A (zh)
RU (1) RU2345417C1 (zh)
WO (1) WO2006043392A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
JP5093364B2 (ja) * 2008-12-26 2012-12-12 富士通株式会社 画像処理システム、画像処理装置及び画像処理方法
CN102714723B (zh) * 2010-01-15 2016-02-03 马维尔国际贸易有限公司 使用胶片颗粒遮蔽压缩伪影
US20110249743A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
JP5693089B2 (ja) * 2010-08-20 2015-04-01 キヤノン株式会社 画像処理装置、及び画像処理装置の制御方法
RU2452025C1 (ru) * 2011-03-02 2012-05-27 Открытое акционерное общество "Государственный Рязанский приборный завод" Способ улучшения цифровых изображений
EP2735144B1 (en) * 2011-07-21 2020-01-08 BlackBerry Limited Adaptive filtering based on pattern information
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
CN104303504B (zh) 2012-01-18 2019-04-16 卢卡·罗萨托 稳定信息和瞬时/随机信息的不同编码和解码
US9438821B1 (en) * 2014-04-11 2016-09-06 Suny Behar Parker Method for applying multi-layered film grain and texture mapping to a digital video image
WO2023211861A1 (en) * 2022-04-25 2023-11-02 Invizipro Llc Simulation of analog film characteristics

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1355995A (zh) * 1999-11-23 2002-06-26 皇家菲利浦电子有限公司 混合式时间-信杂比精细颗粒可分级视频编码
JP2003218409A (ja) * 2002-01-21 2003-07-31 Ube Ind Ltd 熱電変換材料及びその製造方法
CN1457605A (zh) * 2001-02-26 2003-11-19 皇家菲利浦电子有限公司 精细颗粒可伸缩性视频编码技术中增强层的改进预测结构
CN1550098A (zh) * 2001-06-27 2004-11-24 用于图像形成设备的带控制装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2586666B2 (ja) * 1990-01-16 1997-03-05 日本電気株式会社 予測復号化回路
JPH0497681A (ja) * 1990-08-16 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 映像符号化復号化装置
US7720249B2 (en) * 1993-11-18 2010-05-18 Digimarc Corporation Watermark embedder and reader
US8505108B2 (en) * 1993-11-18 2013-08-06 Digimarc Corporation Authentication using a digital watermark
JPH08149466A (ja) * 1994-09-30 1996-06-07 Sanyo Electric Co Ltd 動画像処理方法及び処理装置
JPH08163594A (ja) * 1994-12-12 1996-06-21 Sony Corp 動画像復号化方法及び動画像復号化装置
JP3353604B2 (ja) * 1995-08-09 2002-12-03 ソニー株式会社 動画像符号化方法及び装置、並びに信号記録媒体
US6381365B2 (en) * 1997-08-22 2002-04-30 Minolta Co., Ltd. Image data processing apparatus and image data processing method
JPH11250246A (ja) 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
JP3913985B2 (ja) * 1999-04-14 2007-05-09 富士通株式会社 文書画像中の基本成分に基づく文字列抽出装置および方法
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
JP3730538B2 (ja) * 2001-05-31 2006-01-05 松下電器産業株式会社 ディザ処理装置
US7546464B2 (en) * 2001-06-26 2009-06-09 Canon Kabushiki Kaisha Network access terminal, network system, method of network system, storage medium, and program code
US7218785B2 (en) * 2002-10-09 2007-05-15 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
JP2004236251A (ja) * 2003-02-03 2004-08-19 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
US7899113B2 (en) * 2003-04-10 2011-03-01 Thomson Licensing Technique for simulating film grain on encoded video
WO2005027045A1 (en) * 2003-08-29 2005-03-24 Thomson Licensing S.A. Method and apparatus for modeling film grain patterns in the frequency domain
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
BRPI0414647A (pt) * 2003-09-23 2006-11-14 Thomson Licensing técnica para simular grão de filme usando filtração de freqüência
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1355995A (zh) * 1999-11-23 2002-06-26 皇家菲利浦电子有限公司 混合式时间-信杂比精细颗粒可分级视频编码
CN1457605A (zh) * 2001-02-26 2003-11-19 皇家菲利浦电子有限公司 精细颗粒可伸缩性视频编码技术中增强层的改进预测结构
CN1550098A (zh) * 2001-06-27 2004-11-24 用于图像形成设备的带控制装置
JP2003218409A (ja) * 2002-01-21 2003-07-31 Ube Ind Ltd 熱電変換材料及びその製造方法

Also Published As

Publication number Publication date
EP1814333A1 (en) 2007-08-01
CN101080929A (zh) 2007-11-28
KR101193267B1 (ko) 2012-10-19
US8681878B2 (en) 2014-03-25
MX2007004577A (es) 2007-09-11
JP4543873B2 (ja) 2010-09-15
CN102088600B (zh) 2013-08-21
RU2345417C1 (ru) 2009-01-27
CN102088600A (zh) 2011-06-08
BRPI0516944A (pt) 2008-09-23
WO2006043392A1 (ja) 2006-04-27
US20120086861A1 (en) 2012-04-12
CA2584065A1 (en) 2006-04-27
CN102088601B (zh) 2013-07-24
AU2005297645A1 (en) 2006-04-27
US8139648B2 (en) 2012-03-20
JP2006115380A (ja) 2006-04-27
KR20070072523A (ko) 2007-07-04
AU2005297645B2 (en) 2009-12-24
CN102088601A (zh) 2011-06-08
US20080137727A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
CN101080929B (zh) 图像处理装置与图像处理方法
CN112913237B (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
US10931961B2 (en) High dynamic range codecs
Mantiuk et al. Backward compatible high dynamic range MPEG video compression
JP3943333B2 (ja) 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置
US4987480A (en) Multiscale coding of images
US7548660B2 (en) System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
US8145006B2 (en) Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening
US5754699A (en) Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same
JPH1051770A (ja) 画像符号化システム及び方法、及び画像分割システム
US6755531B2 (en) Motion picture code evaluator and billing system
JP2723867B2 (ja) 画像信号復号化装置
Zhang et al. Visual distortion sensitivity modeling for spatially adaptive quantization in remote sensing image compression
Ning et al. Video Reversible Data Hiding Based on Motion Vector
US20170064337A1 (en) Image processing device, recording medium, and image processing method
JP4078652B2 (ja) 画像信号復号装置及び画像信号復号方法
KR100944540B1 (ko) 프레임 스키핑을 이용한 부호화 방법 및 장치
JPH08205158A (ja) 適応コアリング方法及び適応コアリング装置
Efremov et al. Design and evaluation of backward compatible high dynamic range video compression
Gupta et al. Blue Channel Replacement Technique for DCT-Compressed Image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110302

Termination date: 20210914

CF01 Termination of patent right due to non-payment of annual fee