CN102057679B - 压缩图像噪声去除装置和再现装置 - Google Patents
压缩图像噪声去除装置和再现装置 Download PDFInfo
- Publication number
- CN102057679B CN102057679B CN2009801208521A CN200980120852A CN102057679B CN 102057679 B CN102057679 B CN 102057679B CN 2009801208521 A CN2009801208521 A CN 2009801208521A CN 200980120852 A CN200980120852 A CN 200980120852A CN 102057679 B CN102057679 B CN 102057679B
- Authority
- CN
- China
- Prior art keywords
- image
- noise remove
- section
- information
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013139 quantization Methods 0.000 claims abstract description 86
- 238000013519 translation Methods 0.000 claims description 25
- 238000007906 compression Methods 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 description 19
- 239000000203 mixture Substances 0.000 description 16
- 238000011002 quantification Methods 0.000 description 15
- 230000009467 reduction Effects 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008030 elimination Effects 0.000 description 8
- 238000003379 elimination reaction Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 4
- 241000255925 Diptera Species 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002715 modification method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000007799 cork Substances 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000518 rheometry Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种压缩图像噪声去除装置和再现装置，其具有：对数字图像压缩后的流进行解码的解码器单元；保存多个块的由VLD部解码而得的子信息的信息保存部；对由解码器单元生成的显示图像和信息保存部进行噪声去除判定的噪声判断部；对由噪声判断部判定为进行噪声去除的块，使用从反量化部输出的图像数据、从运动补偿部输出的运动补偿数据、保存在信息保存部中的子信息，进行噪声去除的噪声去除部；和在由噪声判断部判定为进行噪声去除时，将噪声去除部的输出图像保存为显示图像，在判定为不进行噪声去除时，将解码单元的输出保存为显示图像的显示图像保存部。
Description
本申请主张2008年7月30日提出的日本专利申请第2008-195634号的优选权，通过参照将其内容引入本申请中。
技术领域
本专利以进行数字压缩图像的再现的数字影像机器为对象。
背景技术
作为本技术领域的背景技术，例如有日本特开平6-70173(专利文献1)。该公报中记载了“[目的]防止再现图像中振荡的发生。[结构]根据合成每个块的编码图像而得到的图像的状态，用边缘判定部22判定是否存在边缘。对于有边缘的块，用平面近似部32对边缘的两侧的区域进行平面近似，生成近似图像。然后对该近似图像进行DCT，变换到频域。之后，将其供给到运算部38，将频域的解码图像以规定的内分比相加。即，在运算部中，附加因量化处理丢失的高频区域。因为该高频区域的缺失是产生振荡的原因，所以通过运算器中的处理，能够防止再现图像中的振荡。”
专利文献1：日本特开平6-70173
发明内容
近年来，数字广播逐渐普及，在家里也可以轻松地享受高清的图像。因为这种数字图像具有较多的信息量，通常用动态图像压缩的国际标准方式MPEG2、H.264等进行压缩。该压缩中，通过对图像信息进行频率变换，并利用量化来截除高频成分，来进行数据量的削减。由于该通过量化进行的数据量的削减，在压缩图像中，会因高频成分缺失而产生图像的模糊和蚊式噪声。
针对这些噪声的去除，提出了对被削减的频率成分进行预测的方法(日本特开平6-70173)。但是，该专利中，仅使用对象块的图像信息来生成近似图像，附加其高频成分，由此进行噪声削减。可以想象，根据该近似图像的精度的不同，可能会成为与进行图像压缩的原始的图像(原图像)不同的图像，造成修正图像与周边图像不同，再现图像的品质降低。
特别是，通常的动态图像压缩中的量化幅度(quantization width)的控制中，基于人类的视觉特性，对于边缘部分将量化幅度设定得较宽，所以该近似图像的精度更加降低，可想象得到最终的修正图像的品质也会降低。
在对数字压缩图像进行再现时，希望能高精度地预测因量化而失去的成分，获得高品质的再现图像。本发明的目的在于高品质地再现压缩图像。
为了达成上述目的，采用权利要求中记载的结构。
根据本发明，能够高品质地再现压缩图像。
上述以外的课题、结构和效果，通过以下实施方式的说明能够明确。
附图说明
图1是表示第一实施例中的本发明的基本概念的一个方面的图。
图2是表示第二实施例的结构的图。
图3是表示第三实施例的结构的图。
图4是表示第二实施例中的周边块数据的使用的图。
图5是表示第二实施例中的对假设为图像信号的信号进行频率变换时的各信号成分的图。
图6是表示第二实施例中对图5所示的信号成分进行量化的情形的图。
图7是表示第二实施例中的使用周边块数据的情况的结构的图。
图8是表示第三实施例中的使用原图像评价运算的噪声去除的结构的图。
图9是表示第三实施例中的系数的表格化和系数修正的具体例子的图。
图10是表示第四实施例的图。
图11是表示第五实施例的图。
具体实施方式
以下用附图说明本发明的实施方式。
实施例1
使用附图说明第一实施例。本实施例用于说明本发明的基本概念的一个方面。图1是表示本发明的基本概念的一个方面的图。图1的(1)表示原系数101，表示具有某个成分(值)的系数。图1的(2)表示对原系数用某个量化幅度102进行量化的例子。所谓量化，指的是将模拟数据等连续量近似为数字数据等离散的值。在对原系数用某个量化幅度进行量化后，原系数的成分被通过量化幅度近似，成为量化后系数107。
在数字数据压缩时，也不直接使用原系数，而是通过使用该量化幅度和量化后系数，实现大数据量的压缩处理。
接着，对使用该量化压缩后的数字数据的还原方法进行说明。在还原时，使用量化幅度和量化后系数来对还原系数105进行还原。该处理有时也称为反量化。该处理是在量化幅度的区域中将值还原为中值的例子。将值还原为该量化幅度的哪一个位置，预先在量化侧和反量化侧两者中定义。
该还原了的成分即还原系数与还原前的原系数的值的差值称为量化误差104。这是因数字数据压缩而产生的噪声。关于该量化幅度与压缩比的关系，一般而言，增大量化幅度时数据的压缩比变高但量化误差变大，减小量化幅度时量化误差变小但数据压缩也比变小。
说明以上处理的具体例子。例如，考虑当原成分具有55这一值时以量化幅度20进行量化的情况。该情况下，压缩中使用的是量化后系数2、量化幅度20这样的信息。当基于该信息进行反量化时，在将值还原为量化幅度的中间值的情况下，还原系数为50，产生了(原系数)55-(还原系数)50＝5的量化误差。
关于该量化误差的去除，针对还原系数利用周边信息及其成分的性质来进行噪声的去除，但在为了去除噪声而修正还原系数的成分的情况下，如106所示，需要在反量化所使用的量化幅度区域内对成分进行修正。这是因为，如果因用于去除量化误差的处理而使还原系数的成分超过106中所示的反量化所使用的量化幅度区域，则意味着其成为了与原系数(原图像)不同的系数(图像)。由此，为了进行噪声去除来忠实地进行原系数还原，进行该原理的噪声去除、即不超过量化幅度区域的范围内的噪声去除是重要的。
实施例2
本实施例，是使用MPEG2(ISO/IEC 13813-2)方式作为图像压缩方式的例子。但是本发明并不限于MPEG2方式，也能够用其他压缩方式(例如H.264、MPEG1、MPEG4、JPEG、VC1)等实现。
首先说明本实施例的概要。在图像压缩时(编码器侧)，图像信息被分解为频率成分，并进行量化。此时的量化幅度，作为量化值、量化矩阵和帧内DC的量化幅度保存在流中。在解码器侧，因为能够取得量化后的系数和量化幅度的信息，所以能够推测编码时该系数在量化时位于哪个值的范围内。在解码侧进行噪声去除时，对于反量化后的系数，以落在该量化幅度的范围内的方式对值进行修正。
图5表示对假设为图像信号的信号进行频率变换时的各信号成分(503～510)。本图5中，为了简化而表示变换为8维的成分的例子。MPEG2中，使用按每8x8进行变换的称为DCT(Discrete CosineTransform：离散余弦转换)的频率变换作为该变换，变换到64维。图5的横轴501表示频率，向右方向表示高频成分。图5的纵轴502表示各频率成分的值，绝对值越大表示该频率成分存在得越多。接着，在图像压缩中对该频率成分进行量化处理。
图6是表示对图5所示的信号成分量化的情形。量化是对各信号分别计算量化幅度601，按每个成分进行量化。量化幅度601由按每个进行编码的处理单位即宏块(macroblock)赋予的量化值，和按每幅图像赋予的量化矩阵来决定。一般而言，图像压缩中优选越是高频成分量化幅度就越大。以该量化幅度对每个成分分别进行量化，将量化后系数和量化幅度形成为流，由此实现图像压缩。
关于该流的解码(还原、解压)，用量化系数和量化幅度来还原频率成分，并对该频率成分进行反频率变换，由此还原为图像信息。其中，量化所必需的信息，在MPEG2标准中，由量化值(quantizer_scale)、量化矩阵(non_intra/intra_quantizer_matrix)、帧内DC量化幅度(intra_dc_precision)和Intra/Inter切换信息(macroblock_intra)标明。在其他标准中，用于进行量化所必需的信息为对象。
该图像压缩前图像和图像还原后图像中，会因如实施例1中说明的量化误差而产生噪声。该噪声一般称为蚊式噪声和块噪声。关于这些噪声的去除，能够通过对还原图像施加各种滤波来实现。但是，在进行噪声去除的还原图像的修正中，如果不在压缩所使用的量化幅度的范围内进行修正就会成为与压缩前的图像不同的图像。为了进行噪声的去除并忠实地还原压缩前的图像，需要按照该原理进行噪声去除。
在图2中表示本实施例的结构。图2的左部分表示MPEG2的解码器单元201。MPEG2的Video(视频)流输入到VLD(Variable LengthDecoding：可变长解码)模块202，利用可变长反编码将流变换成用于计算量化后系数208和量化幅度209的量化信息205，和运动矢量等运动信息206。量化后系数被反量化部203反量化，并在反频率变换部中进行反频率变换。作为量化幅度的量化信息205，从VLD部输出到反量化部和信息保存部。运动信息206被输出到运动补偿部207。在运动补偿部中，根据运动信息从以前的解码图像生成预测图像，与反频率变换部的信息相加，由此生成用于进行显示的解码图像210。对于该解码图像，为了作为下一个图像的参照图像使用，在运动补偿部中进行保存。以上是解码器单元的说明。这是与通常的MPEG2的解码器相同的动作。该基于MPEG2解码的图像，包含作为量化噪声的蚊式噪声和块噪声，所以要用右侧的模块进行去除。该噪声去除，按每作为MPEG解码处理的DCT的单位的8x8的块进行。
对噪声判断部250进行说明。由解码器生成的解码图像，输入到噪声判断部。此处，对于进行解码的块单位(MPEG2为8x8像素单位)，根据解码图像的信息、量化信息、图像信息、周边图像信息，进行是否要实施噪声去除的判断。压缩图像的噪声，在包含边缘图像的情况下产生得较多。这是因为在边缘上含有较多的高频成分，而该高频成分会因量化而缺失，所以产生噪声。由此，本模块中，对由解码器单元生成的解码图像进行分析，判断是否存在边缘信息。作为分析方法，例如取得像素间的差值，在差值大于某个阈值的情况下判断为检测到边缘。另外也可以使用边缘检测用的滤波。此外，也可以考虑通过分析对象块的量化值来进行噪声的判定的方法。这是因为，在动态图像的编码中，存在因为人类的视觉特性而造成高频的噪声不显眼的特性，含有陡峭边缘的块具有量化值增大的倾向。由此，在本块的量化值较大的情况下，也可以判断该部分中包含边缘信息。进而，也能够通过使用两者(图像的信息和量化的信息)来综合地进行判断，实现更高精度的边缘检测。
此外，动态图像中存在图像运动剧烈的部分中的噪声不显眼这一特征。因此，在运动剧烈的部分中，也可以判断为不进行噪声去除。
此外，也有根据用户的喜好而存在不进行噪声去除的模式的情况。也可以根据这种用户指定而判断为不进行噪声去除。
对噪声去除部251进行说明。本模块仅对由噪声判断部判断为要进行噪声消除的块进行噪声去除。作为噪声去除的方法，通过预测因图像压缩时频域上的量化而缺失的数据来进行噪声去除。本方法的基本思想如下所示。对于解码图像，通过根据周边图像进行图案的推测，和对边缘与噪声进行划分，从而进行使边缘更像边缘、且去除噪声的处理。通过该操作生成进行了噪声去除的预测图像。关于周边图像的信息的利用将在后文中叙述。
对于频率变换部252进行说明。本模块中，对于进行了噪声去除的图像进行频率变换。作为频率变换的方式，采用与反频率变换对应的方式。MPEG的情况下使用DCT。
对于量化幅度检查部253进行说明。本模块中，根据量化后系数和量化幅度进行检查，判断噪声去除后的图像是否存在于量化幅度内的区域中。
通过该量化幅度检查，在所有的系数都落在量化幅度内的情况下，则判定修正是合适的，将该图像作为显示图像传送到显示图像保存部254。当量化幅度检查中检查到在量化幅度外的情况下，可以与该信息一起再次传送到噪声去除部进行噪声去除，也可以将噪声去除前的图像作为显示图像传送到显示图像保存部。
接着，用图4A、4B说明周边块数据的使用。图4A、4B表示已解码完成的解码图像401。解码以矩形的宏块402为单位进行。量化值也能够按该宏块单位设定值。图4A是拍摄了背景404和某物体403的场景，量化噪声405在同时包含物体和背景的宏块中较多产生。此时的量化值407的步幅(刻み)406的例子在图4B中表示。这是在编码时设定的量化值，一般来说，根据人类的视觉特性，在较平坦的部分较细地量化，在边缘的部分较粗地量化。这样的情况下，用于进行某块的噪声去除的周边块的信息利用中，利用来自量化值较小的块的信息，能够取得有效信息的可能性更高。可认为这是因为该量化值较小的块中，高频数据的缺失较少，再现图像的品质也较好。此外，图4A中，对于包含物体和背景的块，以背景使用背景信息408、物体使用物体信息409的方式进行噪声去除，能够更高效地进行噪声去除。具体而言，将该周边信息作为生成噪声去除部的预测图像时的信息加以使用。此外，除了该使用周边信息的方法外，使用过去和未来的帧的信息、使用亮度和色差的信息等也是有效的。
图7中，表示用于使用该周边块的结构。在图2的结构上新增加存储器部701，由此保存量化值和解码图像，在噪声去除部中使用。
也可以在该存储器部中保存噪声去除后的帧并使用于下一帧之后的噪声去除。该情况下，对于噪声去除后的图像使用运动信息进行运动补偿，然后作为预测图像进行噪声去除。
此外，也可以在存储器部中保存量化值，将该量化值使用于噪声去除。这是因为I-图像和P/B-图像中量化的大小不同，所以通过使用I-图像中的量化值连续进行噪声去除，能够均匀地处理每个图像的噪声去除，能够实现动态图像下的高品质的噪声去除。
实施例3
第二实施例的噪声去除，采用对解码图像实施噪声去除并检查该噪声去除后的图像是否落在量化幅度内的结构，但第三实施例中，对于解码过程中在频率成分上进行修正的实施例进行说明。
图3中表示本实施例的结构。图中的解码器单元201与第二实施例相同。
对于频率变换部301进行说明。频率变换部对从运动补偿部输出的预测图像进行频率变换。关于频率变换的方法，采用与反频率变换部204对应的方法。MPEG的情况下为DCT。
然后，进行频率变换部和反量化部203的输出的相加302。由此，生成与对解码图像进行DCT后相同的信息。301和302的操作，是用于取得解码图像的频率变换信息的操作，也可采用对由解码器单元生成的解码图像实施DCT的方式。
对修正幅度计算部303进行说明。利用解码器单元取得量化后系数和量化幅度的信息，针对解码图像的频率成分计算不超过量化幅度的区域的频率成分的修正幅度。
对反频率变换部305进行说明。本模块是对进行了噪声去除的频率成分实施反频率变换来生成显示图像的模块。
显示图像保存部254，是保存显示图像的模块。
对噪声判断部306进行说明。将由加法器302生成的对解码图像实施了DCT的信息作为输入，判断对对象块是否进行噪声去除。基本而言，具有与附图中的噪声去除部250同样的功能。但是，因为输入的是频率成分，所以是频率成分下的判断。
本模块中，也可以进行反频率变换，在图像区域进行噪声判断。此外，也可以用周边块、过去、未来的块进行判断。但是，该情况下，需要用存储器保存要进行判断的信息。
进行噪声去除部304的说明。噪声去除部对由302的加法部输出的解码图像的频率成分的信息进行噪声去除。该频率成分下的噪声去除的值的修正幅度，在由修正幅度计算部计算出的幅度内进行修正。此时，修正方法可以考虑以下方法。
·使自然图像等原图像的成分模式化，采用与编码图像的频率成分相近的模式。
·图8所示的方法(后文中叙述)
对于前者的方法，详细进行说明。这是在频率成分上进行噪声去除的方法。自然图像或人工图像一般是噪声较少的清晰的图像。若对这些图像用DCT等频率变换进行频率变换，会带来有特征的变换结果。预先将对自然图像、人工图像等各种模式进行频率变换后所得的系数表格化。然后，对于量化后的系数从表格中搜索最接近的模式，修正量化后的系数。
图9中，表示系数的表格化和系数修正的具体例子。901表示频率变换系数，本例中设想使用8x8的DCT的情况，所以存在64个系数。以左上的系数为直流成分904(DC成分)，右方向表示横方向成分从低频成分到高频成分，下方向表示纵方向成分从低频成分到高频成分。在表格化时，对自然图像和人工图像实施DCT，通过存在于低频的集团即低频成分组902(图中的斜线块)的组合，将高频成分组903(图中的无图案块)的成分表格化。这是因为，对于量化系数来说，大多情况下量化会导致高频成分被较多削减，而低频成分中信息较多地保留，所以优选这样的结构。此外，该低频成分组和高频成分组的划分，能够由可确保的表格的存储量决定。能够确保较多的表格的情况下，需要扩大低频区域组，反之需要使其缩小。使低频区域组范围更大能够更加正确地进行系数的修正。
接着，对使用该表格的量化后系数的修正方法进行说明。通过解码时的反量化后的系数的低频成分组系数参照上述表格，提取出高频成分组，对反量化后的系数的高频成分组的值进行修正。特别是，在反量化后的系数的高频成分组为0的情况下，通过参照表格的值来对值进行替换是有效的。此时，优选对各高频成分组也进行实施例1中说明的量化幅度的确认。
此外，也可以从如图4所示的周边块和过去、未来的图像的频率成分中参照类似的块的信息，由此进行反量化后的系数的修正。
接着进行后者的说明。图8中，表示使用原图像评价运算的噪声去除的结构。在图3的结构上新加上原图像评价运算802模块。
原图像评价运算部，对由反频率变换部输入的显示图像，根据评价函数算出评价值。该评价函数，优选为给出比自然图像和人工图像等更具有特征性的数值的评价函数。此外，在计算评价函数时，也可以不仅使用处理对象块内部的信息，还使用周边块和过去、未来的帧内的信息进行计算。该情况下，使用另外的存储器保存用于进行评价值计算的数据。
噪声去除部801，在由修正幅度计算部计算出的噪声去除部中变更频率成分的修正幅度内，对由加法部302生成的解码图像的频率成分信息进行修正。然后，进行反频率变换，利用原图像评价值算出部计算评价值。将该值再次反馈到噪声去除部。在每次修正解码图像的频率成分时进行该操作。然后，采用评价值表现为最接近原图像的频率成分作为修正后的成分。
接着，对生成预测图像时的周边块信息的使用进行说明。动态图像编码中，以图像内部的块单位切换量化值。例如MPEG2中，通过以16x16像素的块单位切换，能够与帧内的图像的倾向一致地进行图像压缩。可以认为该量化值较小的块中，高频数据的缺失较少，再现图像的品质也较好。由此，调查处理对象块的邻接块，在存在量化值较小的块的情况下，积极地使用该块的信息。具体而言，在预测图像生成中，将量化值较小的邻接块的邻接像素，作为本块的预测图像的值。通过这样，也能够期待降低块间产生的块变形的效果。该周边块的量化信息，通过信息保存部实现。在图3中表示其例子。对于解码图像，在考虑量化值的步幅的情况下，利用周边块的图像数据。
实施例4
本实施例中，表示H.264(ITU-T H.264)/MPEG4AVC(ISO/IEC14496-10)和VC1(Microsoft开发的动态图像压缩方式，由Windows(注册商标)Media Video 9标准化而得)的情况下的结构。在这些动态图像编码的标准中，也进行基于实施例1的原理的噪声去除。此外，本实施例中，采用与实施例2的方式大致相同的观点，但是因为涉及的编码标准不同，所以编码工具不同，不能够直接应用实施例2的方式。由此，特别详细说明与实施例2不同的部分。
这些标准中，对解码图像实施称为环内滤波(去块滤波)的滤波处理。
图10中表示本实施例的结构图。对于Video的流，在VLD部1002中进行可变长编码的解码，分成图像数据、用于计算量化值和矩阵的信息等量化幅度的量化信息1005、运动信息1006和块模式信息等子信息。对于图像数据，在反量化部1003中进行反量化处理，在反频率变换部1004中进行反频率变换。此时，对反量化模块供给量化信息。其中，H.264和VC1中，块的分割尺寸是4x4～8x8的可变尺寸。这些信息也从VLD模块对各模块供给。
另一方面，运动信息1006供给到运动补偿部1007进行运动补偿。通过将该运动补偿后的数据与反频率变换部相加，生成解码图像1010。
此外，本实施例的标准中，有称为Intra预测的仅使用解码帧内的信息进行预测编码的模式，但是本实施例中Intra预测的处理同样由该运动补偿部进行。然后，该解码图像，在进行去块滤波的DF部1011中，进行块噪声去除。这些处理构成H.264/VC1的通常的解码器的形象，作为解码器单元1001。
解码图像1010被输入到噪声判断部1050，进行是否实施噪声去除的判定。然后，在噪声去除部1051中进行噪声去除。之后，使用频率变换部1052进行频率变换，在量化幅度检查部1053中进行量化幅度的检查。然后，在DF2部1055中实施去块滤波，保存在显示图像保存部1054中并加以显示。
对于噪声判断部、噪声去除部、量化幅度检查部进行说明。本模块基本上具有与图2的噪声判断部、噪声去除部、量化幅度检查部同样的功能。但是，本实施例的标准中，频率变换尺寸是4x4～8x8的可变尺寸，所以与该频率变换尺寸相应地进行处理。关于块分割尺寸，能够通过从VLD模块中的子信息取得DCT的尺寸而得知。
对于DF2部进行说明。本模块中，对于由噪声去除部进行了噪声去除的图像或噪声判断部中判断为不需要噪声判断的块，实施去块滤波。不过，对于已由噪声去除部进行了噪声去除的图像，因为已经进行了噪声去除，所以也可以不用本模块实施去块滤波。
此外，在已经进行了噪声去除的情况下，也可以根据其结果来切换进行或不进行去块滤波。
此外，DF2部除了在已用噪声去除部进行了噪声去除的情况下进行是否实施去块滤波的判定以外，是具有与DF部相同的功能的模块，可以使用相同的电路。
实施例5
实施例4是对于解码图像进行噪声去除的例子，在频域中进行噪声去除的例子在本实施例中记载。基本的观点与实施例3相同，但因为涉及的标准不同，所以编码工具不同，不能够直接应用。本实施例中，对H.264、VC1时的不同详细说明。
图11表示H.264、VC1等标准时在频域上进行噪声去除的结构。解码器单元1101，是与图10的解码器单元1001同样的结构。
频率变换部1151，是对在解码器装置内生成的运动补偿后的数据进行频率变换的模块。频率变换时，需要与DCT的块尺寸一致地进行频率变换。这些DCT块的信息，能够从VLD模块取得。
关于加法器1152、频率变换部1151、噪声判断部1160、噪声去除部1155、修正幅度计算部1153、反频率变换部1154、显示图像保存部1157，均具有与图3的结构大致同样的功能。但是，本实施例的标准中，DCT的块尺寸为4x4～8x8的可变块分割，量化也以该块尺寸执行，所以要在意识到该块尺寸的前提下进行处理。
对DF2部1156进行说明。本模块具有与图10的DF2大致同样的功能。
以上参照附图对本发明的适当的实施方式进行了说明，但是本发明当然并不限定于这些例子。例如，上述实施例是为了易于理解地说明本发明而进行的详细说明，并不一定限定于包括所说明的所有结构。本行业从业者在权利要求中记载的技术思想的范畴内，能够想到各种变更例或修正例，这些当然也属于本发明的技术范围。
Claims (6)
1.一种压缩图像噪声去除装置，其特征在于，包括：
解码器单元，其包括：
将数字图像压缩后的流解码为图像数据和子信息的VLD部；
对由VLD部解码而得的图像数据进行反量化的反量化部；
对反量化后的数据进行反频率变换的反频率变换部；和
基于由VLD部解码而得的子信息进行运动补偿的运动补偿部，信息保存部，其保存多个块的由VLD部解码而得的子信息；
噪声判断部，其对由解码器单元生成的显示图像和信息保存部进行噪声去除判定；
噪声去除部，其对由噪声判断部判定为进行噪声去除的块，使用从反量化部输出的图像数据、从运动补偿部输出的运动补偿数据、保存在信息保存部中的子信息，进行噪声去除；和
显示图像保存部，其在由噪声判断部判定为进行噪声去除时，将噪声去除部的输出图像保存为显示图像，在判定为不进行噪声去除时，将解码单元的输出保存为显示图像，
所述噪声去除是通过对反量化部输出系数进行系数修正而进行的，
该修正后的系数值，在以根据从VLD部输出的子信息算得的量化幅度再次量化时，进行反量化部输出的系数值的范围内的修正。
2.如权利要求1所述的压缩图像噪声去除装置，其特征在于：
噪声去除部中使用的子信息，是量化中使用的量化值(quanter_scale)、量化矩阵(quantiser_matrix)、帧内DC的量化幅度(intra_dc_precision)的信息。
3.如权利要求1所述的压缩图像噪声去除装置，其特征在于：
是否进行噪声去除的判断由该块的边缘信息或量化值决定。
4.如权利要求1所述的压缩图像噪声去除装置，其特征在于：
进行噪声去除时的反量化系数的修正值，使用本块的邻接块中量化值较小的块的图像数据进行计算。
5.如权利要求1所述的压缩图像噪声去除装置，其特征在于：
解码单元是作为图像压缩的国际标准方式的MPEG2。
6.如权利要求1所述的压缩图像噪声去除装置，其特征在于：
解码单元是作为图像压缩的国际标准方式的H.264。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008-195634 | 2008-07-30 | ||
| JP2008195634 | 2008-07-30 | ||
| PCT/JP2009/060422 WO2010013543A1 (ja) | 2008-07-30 | 2009-06-08 | 圧縮画像ノイズ除去装置と再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102057679A CN102057679A (zh) | 2011-05-11 |
| CN102057679B true CN102057679B (zh) | 2013-10-23 |
Family
ID=41610249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801208521A Active CN102057679B (zh) | 2008-07-30 | 2009-06-08 | 压缩图像噪声去除装置和再现装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8929439B2 (zh) |
| EP (1) | EP2320662A4 (zh) |
| JP (1) | JP5362723B2 (zh) |
| KR (1) | KR101223780B1 (zh) |
| CN (1) | CN102057679B (zh) |
| BR (1) | BRPI0913589B1 (zh) |
| MY (1) | MY154427A (zh) |
| WO (1) | WO2010013543A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015122619A (ja) * | 2013-12-24 | 2015-07-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US9552628B2 (en) * | 2014-03-12 | 2017-01-24 | Megachips Corporation | Image processor |
| RU2646358C2 (ru) * | 2016-04-07 | 2018-03-02 | Николай Дмитриевич Егоров | Способ устранения избыточности при сжатии последовательности изображений |
| DE102018112215B3 (de) * | 2018-04-30 | 2019-07-25 | Basler Ag | Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1334682A (zh) * | 1996-05-28 | 2002-02-06 | 松下电器产业株式会社 | 图像预测编码/解码装置和方法以及记录媒体 |
| CN1835548A (zh) * | 2005-03-18 | 2006-09-20 | 富士施乐株式会社 | 解码装置、解码方法及其程序产品 |
| US20070160129A1 (en) * | 2006-01-10 | 2007-07-12 | Tatsuro Fujisawa | Video decoding apparatus and video decoding method |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0670173A (ja) | 1992-08-17 | 1994-03-11 | Kyocera Corp | 画像復号化装置および画像符号化・復号化システム |
| JP3536355B2 (ja) | 1994-06-09 | 2004-06-07 | ソニー株式会社 | 符号化装置 |
| TW293227B (zh) | 1994-11-24 | 1996-12-11 | Victor Company Of Japan | |
| JP2940422B2 (ja) * | 1994-11-24 | 1999-08-25 | 日本ビクター株式会社 | 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置 |
| US5852475A (en) * | 1995-06-06 | 1998-12-22 | Compression Labs, Inc. | Transform artifact reduction process |
| JP2005117680A (ja) | 1995-12-28 | 2005-04-28 | Sony Corp | 画像信号符号化方法及び装置、画像信号伝送方法、並びに画像信号復号方法及び装置 |
| US6256349B1 (en) * | 1995-12-28 | 2001-07-03 | Sony Corporation | Picture signal encoding method and apparatus, picture signal transmitting method, picture signal decoding method and apparatus and recording medium |
| KR100229796B1 (ko) * | 1996-08-30 | 1999-11-15 | 전주범 | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 |
| KR100269125B1 (ko) * | 1997-10-25 | 2000-10-16 | 윤덕용 | 양자화효과감소를위한영상데이터후처리방법및장치 |
| WO2004054270A1 (en) * | 2002-12-10 | 2004-06-24 | Koninklijke Philips Electronics N.V. | A unified metric for digital video processing (umdvp) |
| US20050243914A1 (en) * | 2004-04-29 | 2005-11-03 | Do-Kyoung Kwon | Adaptive de-blocking filtering apparatus and method for mpeg video decoder |
| JP5089188B2 (ja) | 2007-02-09 | 2012-12-05 | キヤノン株式会社 | アミン化合物、電子写真感光体、プロセスカートリッジ及び電子写真装置 |
-
2009
- 2009-06-08 US US12/993,920 patent/US8929439B2/en active Active
- 2009-06-08 EP EP09802788A patent/EP2320662A4/en not_active Withdrawn
- 2009-06-08 WO PCT/JP2009/060422 patent/WO2010013543A1/ja active Application Filing
- 2009-06-08 CN CN2009801208521A patent/CN102057679B/zh active Active
- 2009-06-08 BR BRPI0913589-8A patent/BRPI0913589B1/pt active IP Right Grant
- 2009-06-08 JP JP2010522654A patent/JP5362723B2/ja active Active
- 2009-06-08 KR KR1020107027122A patent/KR101223780B1/ko active IP Right Grant
- 2009-06-08 MY MYPI2010005634A patent/MY154427A/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1334682A (zh) * | 1996-05-28 | 2002-02-06 | 松下电器产业株式会社 | 图像预测编码/解码装置和方法以及记录媒体 |
| CN1835548A (zh) * | 2005-03-18 | 2006-09-20 | 富士施乐株式会社 | 解码装置、解码方法及其程序产品 |
| US20070160129A1 (en) * | 2006-01-10 | 2007-07-12 | Tatsuro Fujisawa | Video decoding apparatus and video decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2010013543A1 (ja) | 2012-01-12 |
| US8929439B2 (en) | 2015-01-06 |
| BRPI0913589A2 (pt) | 2015-10-20 |
| CN102057679A (zh) | 2011-05-11 |
| EP2320662A1 (en) | 2011-05-11 |
| EP2320662A4 (en) | 2011-11-02 |
| BRPI0913589B1 (pt) | 2020-11-24 |
| WO2010013543A1 (ja) | 2010-02-04 |
| JP5362723B2 (ja) | 2013-12-11 |
| KR20100137022A (ko) | 2010-12-29 |
| MY154427A (en) | 2015-06-15 |
| KR101223780B1 (ko) | 2013-01-17 |
| US20110064135A1 (en) | 2011-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1513349B1 (en) | Bitstream-controlled post-processing video filtering | |
| CN105430398B (zh) | 用于环内去伪影滤波的方法和设备 | |
| JP5805097B2 (ja) | 映像符号化及び復号化のためのｄｃイントラ予測モードのための方法及び装置 | |
| EP2323407A1 (en) | Video image encoding method, video image decoding method, video image encoding apparatus, video image decoding apparatus, program and integrated circuit | |
| CN102439975B (zh) | 用于在基于稀疏性的去伪影滤波中响应于可变变换的滤波器参数的确定和选择的方法和设备 | |
| US20080192824A1 (en) | Video coding method and video coding apparatus | |
| EP2168382B1 (en) | Method for processing images and the corresponding electronic device | |
| KR20010043395A (ko) | 압축된 비디오 정보에서 브리딩 인공물을 감소시키기 위한방법 및 장치 | |
| CN1215962A (zh) | 图像信号处理方法及装置 | |
| JP2007306619A (ja) | ビデオ画像を処理するコンピュータ実行方法及び記録媒体 | |
| JP2004032718A (ja) | フェーディング推定／補償によりビデオフレームを処理するシステムおよび方法 | |
| JPWO2007043609A1 (ja) | 画像符号化方法及び、これを用いた装置とコンピュータプログラム | |
| CN114009015A (zh) | 转换省略块的传讯编码技术 | |
| JP5746193B2 (ja) | 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置 | |
| CN102057679B (zh) | 压缩图像噪声去除装置和再现装置 | |
| US20070147515A1 (en) | Information processing apparatus | |
| EP2014099A2 (en) | Method and apparatus for encoding/transcoding and decoding | |
| JP2006067302A (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
| KR20130049736A (ko) | 인터 예측 방법 및 장치 | |
| US7161984B2 (en) | Video reproduction apparatus with fast post-processing and method thereof | |
| WO2005038719A2 (en) | Method and apparatus for calculating an inverse dct | |
| KR20180107067A (ko) | 영상 부호화/복호화 장치 및 방법 | |
| JP2004140863A (ja) | 動画像復号装置 | |
| US20200413105A1 (en) | Metric driven adaptive processing for video encoders | |
| Gowripushpa et al. | Implementation of ROI based baseline sequential adaptive quantization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: HITACHI MAXELL LTD. Free format text: FORMER OWNER: HITACHI LTD. Effective date: 20150302 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20150302 Address after: Osaka Japan Patentee after: Hitachi Maxell, Ltd. Address before: Tokyo, Japan Patentee before: Hitachi Consumer Electronics Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180301 Address after: Kyoto Japan Patentee after: MAXELL, Ltd. Address before: Osaka Japan Patentee before: Hitachi Maxell, Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Kyoto Japan Patentee after: MAXELL, Ltd. Address before: Kyoto Japan Patentee before: MAXELL HOLDINGS, Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220601 Address after: Kyoto Japan Patentee after: MAXELL HOLDINGS, Ltd. Address before: Kyoto Japan Patentee before: MAXELL, Ltd. |