CN1260978C - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN1260978C
CN1260978C CNB028096169A CN02809616A CN1260978C CN 1260978 C CN1260978 C CN 1260978C CN B028096169 A CNB028096169 A CN B028096169A CN 02809616 A CN02809616 A CN 02809616A CN 1260978 C CN1260978 C CN 1260978C
Authority
CN
China
Prior art keywords
mentioned
pixel
value
piece
deformed region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028096169A
Other languages
English (en)
Other versions
CN1507749A (zh
Inventor
物部祐亮
黑泽俊晴
小岛章夫
桑原康浩
渡边辰巳
奥博隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1507749A publication Critical patent/CN1507749A/zh
Application granted granted Critical
Publication of CN1260978C publication Critical patent/CN1260978C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的目的在于提供一种消除块变形的图像处理装置。为了达到该目的，本发明的图像处理装置具有区域确定部分(103)和块变形区域噪声消除部分(104)；该区域确定部分(103)在通过对压缩数据进行解码处理获得的还原图像中确定进行块变形的消除处理的块变形区域；该块变形区域噪声消除部分(104)相对块变形区域进行噪声消除处理。

Description

图像处理装置
技术领域
本发明涉及一种处理对压缩数据进行解码处理而获得的还原图像的图像处理装置，该压缩数据通过对形成原图像的数据进行压缩而获得。
背景技术
近年来，图像数据的压缩编码技术取得了显著的进步。该压缩编码技术不仅对高效率地使用存储媒体有效，而且对通过网络收发图像数据的时间的缩短也有用。通常，在要求以高压缩率进行编码的场合，使用原图像与还原图像完全不一致的非可逆图像压缩方式。非可逆图像压缩方式大多按M×N图像素单位将图像数据分成多个块，对各块进行正交变换，将获得的正交变换系数量化，然后进行编码。在该非可逆图像压缩方式的代表例中，具有作为彩色静止图像压缩方式广泛普及的JPEG。
下面根据图1说明关于JPEG压缩的编码及解码处理的主要内容。在进行JPEG压缩的场合，色变换部分10先将由红(R)、绿(G)、蓝(B)的多值数据(浓度数据)构成的各像素数据变换成辉度成分(Y)和色差成分(Cr、Cb)的数据。RGB空间的定义虽然存在多个，但在以作为其中的一个的sRGB空间为例时，从RGB数据向YCrCb数据的变换根据下式(数1)进行。
(数1)
Y＝0.29900×R+0.58700×G+0.11400×B
Cr＝0.50000×R-0.41869×G-0.08131×B+128
Cb＝-0.16874×R-0.33126×G+0.50000×B+128
然后，DCT变换部分11按8×8像素的块单位对YCrCb数据进行离散余弦变换(DCT变换)。如设变换后的DCT系数为DCT[v][u]、变换前的YCrCb数据为[y][x]，则DCT变换根据下式(数2)进行。上述x表示各块的DCT变换前的原图像的横向位置，上述y示出各块的DCT变换前的原图像的纵向的位置。另外，上述u表示各块的DCT变换后的DCT系数的横向位置，上述v表示各块的DCT变换后的DCT数据的纵向的位置。
(数2)
DCT[v][u]＝1/4×Cu·Cv·∑∑F[y][x]·cos((2x+1)uπ/16)·cos((2y+1)vπ/16)
Cu，Cv＝1/√2(u，v＝0)，1(otherwise)
而且，由于人眼与辉度成分相比相对色差成分的敏感度为低敏感度，所以，相对色差进行次级采样，提高压缩效率。一般情况下，相对2×2像素的辉度成分由色差成分的1像素对应地进行次级采样。因此，对于色差成分，从16×16像素单位的块抽取8×8像素量的数据，进行DCT变换。
然后，由量化部分12进行DCT系数的量化。当设量化后的DCT系数为QDCT[v][u]、设量化DCT系数的各成分的值为Qtable[v][u]时，量化根据下式(数3)进行。
(数3)
QDCT[v][u]＝INT{DCT[v][u]/Qtable[v][u]+0.5}
其中，INT{a}意味着不超过值a的最大的整数值。
作为对与各频率对应的DCT系数量化时使用的量化步距值，使用量化表13的各值，这可由使用者任意地设定。一般来说，与低频率成分相比人眼相对高频成分的敏感度为低敏感度，另外，与辉度成分相比，对色差成分的敏感度为低敏感度，所以，对于高频成分的量化步距值比对于低频成分的量化步距值使用相对较大的值。另外，相对色差成分的量化步距值比相对辉度成分的量化步距值使用相对较大的值。作为参考，图2和图3示出JPEG的标准方式推荐的量化步距。图2为相对辉度成分(Y)的量化表，图3为相对色差成分(Cr、Cb)的量化表。在解码时需要量化使用的量化表的各量化步距的各量化步距值，所以，存储到编码后的JPEG压缩数据中。
量化DCT系数由熵编码部分14编码。在JPEG的标准方式中，熵编码使用霍夫曼编码。
以上处理为从图像数据向JPEG压缩数据的编码处理的概要。而在将JPEG压缩数据解码成图像数据的场合，基本上按相反顺序进行以上的解码处理。以下说明解码处理的顺序。
首先，熵解码部分15相对JPEG压缩数据进行熵解码。
然后，反量化部分16进行反量化。此时，反量化部分16从JPEG压缩数据读取编码时使用的量化表13，将该量化表13的各量化步距值作为对编码后的各成分进行反量化的值使用。即，反量化部分16使用将与编码时使用的量化表13的各量化步距值相同的值作为反量化步距值保持的反量化表17，使用该反量化表17的各反量化步距值，对编码的各成分进行反量化。在这里，当将反量化后的DCT系数设为RDCT[v][u]时，反量化的运算根据下式(数据4)进行。
(数4)
RDCT[v][u]＝QDCT[v][u]×Qtable[v][u]
根据上述(数4)进行反量化的DCT系数为根据在编码时由量化舍入后获得的系数计算出的值，所以，未正确地再现从原图像获得的DCT系数。但是，从原图像获得的正确的DCT系数保证在下述(数5)所示下限值dDCT[v][u]以上，不到由下述(数6)所示上限值pDCT[v][u]。
(数5)
dDCT[v][u]＝(QDCT[v][u]-0.5)×Qtable[v][u]
(数6)
pDCT[v][u]＝(QDCT[v][u]+0.5)×Qtable[v][u]
这样，当进行反量化时，接下来，由逆DCT变换部分18进行逆DCT变换。由该逆DCT变换进行从DCT系数向YCrCb数据的变换。如设逆DCT变换后的YCrCb数据为G[y][x]，则逆DCT变换根据下式(数7)进行。
(数7)
G[y][x]＝1/4·∑∑Cu·Cv·RDCT[v][u]·cos((2x+1)uπ/16)·cos((2y+1)vπ/16)
Cu，Cv＝1/√2(u，v＝0)，1(otherwise)
最后，色变换部分19进行从YCrCb数据向RGB数据的色变换处理，获得还原图像。下式(数8)为将TCrCb数据变换成sRGB数据时使用的变换式。
(数8)
R＝Y+1.40200×(Cr-128)
G＝Y-0.71414×(Cr-128)-0.34414×(Cb-128)
B＝Y+1.77200×(Cb-128)
以上为关于JPEG压缩的编码和解码处理的概要，但由于在编码处理中进行量化，产生数据的退化。该数据的退化在还原图像中以噪声出现，与原图像相比，还原图像的画质下降。图4示出原图像的一例，图5示出将该原图像进行JPEG压缩、对该压缩数据进行解码后获得的还原图像的一例。
在出现于还原图像的噪声中的对视觉产生不良影响的噪声中存在图5所示的被称为蚊式噪声的噪声。蚊式噪声指在还原图像中的边缘的周边如蚊飞那样出现的灰度波动。当对数据进行编码时，DCT系数的量化使高频成分缺失许多，由此导致存在于原图像的强边缘不能正确地还原。
另外，作为别的噪声，具有图5所示的被称为块变形的噪声。块变形指为了按8×8像素的块单位进行编码处理而使得在还原图像的块边界部分灰度不连续的现象。该噪声在原图像中的灰度平缓变化的区域表现显著。
作为消除这些噪声的已有技术，具有对还原图像进行滤波处理(平滑化处理)从而消除存在于还原图像中的刺眼的蚊式噪声和块变形的技术。利用该技术使还原图像均匀地平滑化，可使噪声降低，但相反会使存在于原图像的原来的边缘变得不清晰，图像产生模糊。
为了不在图像产生不必要的模糊，在日本专利第2962815号公报中公开了当对原图像编码时将确定存在于原图像的原来的边缘位于块边界的块的信息附加到压缩数据这样的方法。当解码时，根据上述信息，将还原图像区别成存在于原图像的原来的边缘位于块边界的块和此外的块，相对此外的块进行用于消除块变形的处理，相对存在于原图像的原来的边缘位于块边界的块进行用于保留边缘的处理。
然而，在上述公开于日本专利第2962815号公报的方法中，进行编码时，需要将确定存在于原图像的原来的边缘位于块边界的块的信息附加到压缩数据。为此，编码装置必须具有确定存在于原图像的原来的边缘位于块边界的块的功能和将用于识别该已确定的块的信息附加到压缩数据的功能。
对此，还提出有这样的方案，即，不在编码装置附加上述那样的特殊功能，仅由解码装置的功能抑制存在于原图像的原来的边缘的不清晰化，即抑制在图像产生模糊，减少块变形和蚊式噪声。在这样的方法中，作为特别有效的方法，具有凸映射法。凸映射法指反复交替进行平滑化处理和基于制约条件的映射处理的方法。以下参照图6说明凸映射的处理程序。
先由DCT变换部分20对从JPEG压缩数据解码后的还原图像进行DCT变换后，由制约条件计算部分21计算出映射处理用的制约条件。在这里，上述制约条件指用于将形成最终输出的图像的各块具有的各DCT系数限制于原图像具有的存在可能性的DCT系数的范围内的条件。
虽然在JPEG编码和解码的过程中进行DCT系数的量化，但如JPEG解码处理的说明中记述的那样，量化前的DCT系数保证在下限值dDCT[v][u]以上而且不到上限值pDCT[v][u]。为此，制约条件计算部分21作为映射处理的制约条件，计算出示出DCT系数的可变范围的下限值dDCT[v][u]和上限值pDCT[v][u](参照上述(数5)和上述(数6))。
下面，说明通过交替地反复进行使用由制约条件计算部分21计算出的制约条件(下限值dDCT[v][u]和上限值pDCT[v][u])的映射处理和平滑化处理从而相对还原图像进行噪声消除的处理。
首先，平滑化处理部分22对还原图像进行滤波处理，均匀地平滑化。平滑化后的图像数据在由色变换部分23色变换成YCrCb数据后，由DCT变换部分24进行DCT变换。
相对在这里获得的DCT系数，映射处理部分25根据由制约条件计算部分21计算出的DCT系数的下限值dDCT[v][u]和上限值pDCT[v][u]进行映射处理。即，由DCT变换部分24计算出的DCT系数不到下限值dDCT[v][u]或在上限值pDCT[v][u]以上的场合，将DCT系数舍入成可变范围极限的值。即，由DCT变换部分24计算出的DCT系数不到下限值dDCT[v][u]的场合，映射处理部分25将DCT系数置换成下限值dDCT[v][u]，在为上限值pDCT[v][u]以的场合，映射处理部分25将DCT系数置换成上限值pDCT[v][u]。
在由逆DCT变换部分26对该舍入后的DCT系数进行逆DCT变换后，色变换部分27将YCrCb数据色变换成RGB数据。
然后，由结束判定部分28判定是结束还是继续噪声消除处理。在判定继续处理的场合，从平滑化处理部分22到色变换部分27的各构成部分再次反复相同的处理。
可是，当反复进行许多这样的平滑化处理和基于制约条件的映射处理时，块变形和蚊噪声不能充分消除，存在于原图像的原来的边缘变不清晰，在图像产生的模糊增大。
因此，将可抑制存在于原图像的原来的边缘的不清晰化而且消除块变形和蚊式噪声的处理次数预先设定到结束判定部分28。这样，结束判定部分28按预先设定的次数反复进行平滑化处理和映射处理的判定。结果，由上述凸映射法可抑制存在于原图像的原来的边缘的不清晰化，消除存在于还原图像的块变形和蚊式噪声。图7示出由已有凸映射法处理图5的还原图像后获得的图像。由图7可知，通过反复进行平滑化处理和基于制约条件的映射处理，可降低存在于还原图像的噪声而不产生大的模糊。
结束判定部分28也可不按预先设定的次数反复进行平滑化处理和映射处理，而是根据从图像获得的评价指标判定平滑化处理和映射处理的反复的结束。作为一例，结束判定部分28也可在各反复处理中进行平滑处理和映射处理后的图像变化量变小的时刻结束平滑化处理和映射处理。具体地说，当将第k次的处理后的图像设为fk(x，y)、将第k+1次的处理后的图像表示为fk+1(x，y)时，第k+1次的处理的图像的变化量E由下式(数9)计算出。
(数9)
E = Σ x , y { f K + 1 ( x , y ) - f k ( x , y ) } 2
在该变化量达到预定的值以下时，结束判定部分28结束平滑化处理和映射处理地判定。
然而，在由该凸映射法进行的噪声消除处理中，由于相对图像整体进行单一的滤波的平滑化处理，所以，在图像产生某一程度的模糊。即，如图7所示那样，存在于原图像的原来的边缘变得不清晰。
为了进一步改善该问题，还存在这样的改进的方法，即，考虑边缘，将还原图像分成区域，使用相对各区域不同的滤波进行平滑化处理。
在日本特开平7-170518中公开了这样技术，该技术通过关于邻接的像素依次连接像素值的变化比预定值小的像素，将图像分割成多个小区域(该小区域与块不同，各小区域不限于具有相同大小)，在各区域内进行平滑化处理。当使用该手法时，由于在边缘部分划分区域，所以，不横过边缘进行平滑化处理，具有可将在边缘部分的模糊抑制得较小的效果。
然而，在该手法中，存在作为块变形由产生于块边界部分的灰度的不连续性也分割区域的可能性，在该场合，不能减少块变形，余留下块变形。
因此，本发明的目的在于提供一种考虑到上述已有的问题、抑制在该边缘部分的模糊并可消除块变形的图像处理装置。
下面，根据图8说明公开于上述日本专利第2962815号公报的用于消除块变形的处理。
在公开于上述专利第2962815号公报的用于消除块变形的处理中，首先，根据外加于压缩数据的、用于确定存在于原图像的原来的边缘位于块边界的块的信息，确定还原图像中的、应进行块变形消除处理的块。在下面，图8所示受注目块x确定为应进行块变形消除处理的块。
然后，如图8所示，对受注目块x的角部a，将受注目块x内的角部a的像素a1的值和与受注目块x邻接的3个块L、LU、U的各角部a的像素a2、a3、a4的值平均化，将该平均化的值推断为上述受注目块x内的角部a的像素a1的值。然后，从推定的像素a1的值减去已还原时的图像的像素a1的值，将该值看成关于像素a1的修正量。
同样，对受注目块x的余下的3个角部b、c、d分别计算出对位于受注目块x内的角部b、c、d的像素b1、c1、d1修正量。
此后，对受注目块x内的各像素相应于距像素a1、b1、c1、d1的距离对像素a1、b1、c1、d1的修正量进行加权平均，从而计算出受注目块x内的各像素的修正量。然后，将计算出的各像素的修正量加到还原图像对应的像素的值，获得已减少块变形的图像。
如使用这样的方法，可获得减小了块变形的图像。然而，在受注目块x的各角部，受注目块x内的角部的像素的值与邻接的3个块的角部的各像素的值全部成为相同的值。下面以角部a为例具体进行说明，受注目块x内的角部a的像素a1的值与邻接于受注目块x的3个块L、LU、U的各角部a的像素a2、a3、a4的各值成为相同的值。这样，块变形减小，各块的各角部成为相同的像素值，在各块的角部不能再现平滑的灰度变化。
另外，在日本特开平8-214309号公报中公开了相应于压缩数据相对原图像的压缩率切换平滑化滤波对还原图像进行滤波处理的技术。蚊式噪声和块变形这样的噪声对视觉产生的不良影响的大小当然依存于压缩数据相对原图像的压缩强度，但也较大地依存于还原图像的输出尺寸。即，在打印机输出和图像显示中，当对还原图像进行放大处理地输出时，上述噪声非常刺眼，视觉上产生大的不良影响，而在对还原图像进行缩小处理后输出的场合，噪声变得不明显，视觉的不良影响减小。
当不考虑该效果进行噪声消除处理时，存在不能充分消除噪声或不必要地产生大模糊的问题。
发明内容
因此，本发明的目的在于提供一种考虑到上述已有的问题、在构成还原图像的各块的各角部也能再现平滑的灰度变化地消除块变形的图像处理装置。
本发明的目的在于提供一种考虑到上述已有的问题、根据输出还原图像时的放大率进行适合于还原图像的输出的有效的噪声消除处理的图像处理装置。
本发明提供一种图像处理装置，用于处理对压缩数据进行解码处理而获得的还原图像，该压缩数据是通过对形成原图像的数据进行压缩而获得的，其特征在于：具有区域确定部分和块变形区域噪声消除部分，该区域确定部分确定在上述还原图像中适用块变形的消除处理的块变形区域；该块变形区域噪声消除部分，对于由上述区域确定部分所确定的块变形区域进行噪声消除处理，即对于作为上述块变形区域和与之邻接的块之间的边界的块边界，对位于与该块边界相距在预定的范围内的像素的值进行加权平均来计算出上述块边界的修正量，并且对于上述块变形区域内的各像素，对应于与上述块边界之间的距离对上述块边界的修正量进行加权来计算出上述块变形区域内的各像素的修正量，然后将所计算出的各像素的修正量加到上述块变形区域内的对应的各像素的值上。
本发明提供一种图像处理装置，用于处理对压缩数据进行解码处理而获得的还原图像，该压缩数据是通过对形成原图像的数据进行压缩而获得的，其特征在于：具有区域确定部分和边缘区域噪声消除部分，上述区域确定部分确定在上述还原图像中的上述原图像中有存在边缘的可能性的边缘区域；上述边缘区域噪声消除部分相对由上述区域确定部分确定的边缘区域保留边缘地进行噪声消除处理；上述区域确定部分具有边缘候补像素检测部分、块变形边缘确定部分、蚊式噪声边缘确定部分、微小灰度变化边缘确定部分、边缘像素确定部分、及边缘区域确定部分，该边缘候补像素检测部分检测边缘候补像素；该块变形边缘确定部分在由上述边缘候补像素检测部分所检测出的上述边缘候补像素中确定由于块变形而具有被检测出的可能性的像素；该蚊式噪声边缘确定部分在由上述边缘候补像素检测部分所检测出的上述边缘候补像素中确定由于蚊式噪声而具有被检测出的可能性的像素；该微小灰度变化边缘确定部分在由上述边缘候补像素检测部分所检测出的上述边缘候补像素中确定边缘强度为预定的值以下的像素；该边缘像素确定部分从由上述边缘候补像素检测部分所检测出的上述边缘候补像素确定除由上述块变形边缘确定部分、上述蚊式噪声边缘确定部分及上述微小灰度变化边缘确定部分确定的像素外的边缘像素；该边缘区域确定部分根据由上述边缘像素确定部分确定的边缘像素确定上述边缘区域。
附图说明
图1为示出JPEG编码和解码处理程序的图。
图2为示出相对辉度成分的JPEG的标准方式推荐的量化表的图。
图3为示出相对色差成分的JPEG的标准方式推荐的量化表的图。
图4为示出原图像的一例的图。
图5为示出通过对图4的原图像的JPEG压缩数据进行解码而获得的还原图像的图。
图6为示出凸映射法处理程序的图。
图7为示出通过对图5所示还原图像进行过去的凸映射法处理获得的图像的图。
图8为用于说明过去的块变形消除处理的图。
图9为示出本实施形式1的图像处理装置的构成和处理程序的图。
图10为用于说明块变形区域的确定方法的图。
图11为用于说明块变形区域的确定方法的图。
图12为用于说明边缘区域的确定方法的图。
图13为用于说明块交点的图。
图14为示出块变形区域噪声消除部分104的内部构成的图。
图15为用于说明块交点像素的浓度的图。
图16为用于说明作为被处理对象的块变形区域X内的像素值的图。
图17为示出由实施形式1的图像处理装置消除块变形后的图像的图。
图18为示出本实施形式1的另一图像处理装置的构成和处理程序的图。
图19为示出本实施形式2的图像处理装置的构成和处理程序的图。
图20为示出滤波决定表的一例的图。
图21为示出滤波决定表的一例的图。
图22为示出滤波决定表的一例的图。
图23为示出噪声消除部分305的构成的内部构成的图。
图24为示出块变形区域噪声消除部分401的构成和处理程序的图。
图25为用于说明块变形消除处理的图。
图26为消除块变形区域的左右的块边界的块变形的处理的说明图。
图27为用于说明块变形消除处理的图。
图28为消除块变形区域的上下的块边界的块变形的处理的说明图。
具体实施方式
下面参照附图说明本发明的实施形式。
(实施形式1)
首先，说明本发明的实施形式1的图像处理装置。
图9示出本发明实施形式1的图像处理装置的构成和处理程序。首先，与过去的凸映射法同样，DCT变换部分101对从JPEG压缩数据解码后的解码图像进行DCT变换，制约条件计算部分102计算出在映射处理中使用的制约条件。这里计算出的制约条件与在通常的凸映射法中使用的制约条件相同。在本实施形式1和后述的实施形式2中，说明作为正交变换的一例使用DCT变换的场合的处理。因此，在本实施形式1和后述的实施形式2中，DCT系数成为正交变换系数的一例。
另一方面，区域确定部分103确定从上述JPEG压缩数据解码的解码图像中的“块变形区域”、“边缘区域”、及“均质区域”。换言之，区域确定部分103将还原图像分成“块变形区域”、“边缘区域”、及“均质区域”这样3个区域。具体地说，区域确定部分103先确定还原图像中的“块变形区域”，从消除还原图像中的“块变形区域”的区域中确定“边缘区域”，将既不属于块变形区域也不属于边缘区域的区域确定为“均质区域”。
下面，说明确定该3个区域的方法。在JPEG编码中，除了相对色差成分进行采样外，由于与辉度成分相比将色差成分的场合的量化表的值设定得较大，为此，还原图像的色差成分的信息量与辉度成分相比大幅度退化。因此，在本实施形式1中，将还原图像的RGB数据色变换成YCrCb数据，仅使用其中的辉度成分(Y)确定上述的“块变形区域”、“边缘区域”、及“均质区域”。
首先，说明还原图像中的“块变形区域”的确定方法。如在JPEG解码处理的说明中所述的那样，块变形变得刺眼、判断需要修正的区域为在原图像中灰度值平缓变化的区域即不包含很多高频成分的区域。因此，区域确定部分103将对构成还原图像的所有的块进行DCT变换、预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块确定为块变形区域。例如，区域确定部分103如图10所示那样将3次以上的DCT系数的值全为零的块确定为块变形区域。
当在与由该方法确定为块变形区域的块邻接的块包含高频成分时，在由后述的方法对确定为块变形区域的块进行噪声消除处理的场合，根据在与确定为块变形区域的块邻接的块产生的蚊式噪声的不同，存在确定为块变形区域的块内的各像素值的修正量成为不适当的值的场合。
因此，为了避免这样的问题，区域确定部分103最好在预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块中将仅由预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块围住的块确定为块变形区域。例如，区域确定部分103在DCT系数满足图10所示条件的块中仅将仅由DCT系数满足图10所示条件的块围住的块确定为块变形区域。
下面根据图11补充该确定方法的说明。在图11中，某一受注目块X为预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块。例如，受注目块X的DCT系数为图10所示那样的、仅直流成分、1次交流成分、及2次交流成分具有任意的值、3次以上的交流成分全部为零的块。在该场合，包围上述受注目块X的8个块LU、U、RU、L、R、LD、D、RD全部与上述受注目块X同样，在预定频率(次数，在图10的块的场合为3次)以上的DCT系数的值全部在预先决定的预定值以下的场合，区域确定部分103将上述受注目块X确定为块变形区域。
这样确定块变形区域时，区域确定部分103接下来确定还原图像上的边缘区域。以下，根据图12说明由区域确定部分103确定边缘区域的方法。图12为示出区域确定部分103内的、边缘区域的构成部的图。
首先，平滑化处理部分201相对从JPEG压缩数据解码后的还原图像进行使用高斯滤波等的平滑化处理。进行该平滑化处理，是由于在还原图像中包含许多噪声，需要降低该噪声。
然后，2次微分滤波处理部分202相对由平滑化处理部分201进行了平滑处理的图像进行2次微分滤波处理(例如拉普拉斯滤波处理)，此后，边缘候补像素检测部分203使用零交叉法检测边缘候补像素。使用该零交叉法的检测方法的特征在于可高精度检测边缘的中心。
可是，在该边缘候补像素中包含许多具有由块变形和蚊式噪声引起的边缘成分的像素。这是因为，边缘候补像素检测部分203使用零交叉法，在2次微分滤波处理结果(例如拉普拉斯滤波处理结果)中，检测出值从正变到负或从负变到正的所有像素。即，对于边缘候补像素检测部分203，即使为非常小的灰度变化，在2次微分滤波处理结果(例如拉普拉斯滤波处理结果)中，如为值从正变到负或从负变到正的像素，则将该像素全部检测为边缘候补像素。
为此，需要通过从由边缘候补像素检测部分203检测出的边缘候补像素消除由块变形导致的边缘候补像素、由蚊式噪声导致的边缘候补像素、及灰度变化非常小的边缘候补像素，从而仅确定存在于原图像的原来的边缘像素。
因此，首先，块变形边缘确定部分204在由边缘候补像素检测部分203检测出的边缘候补像素中确定由块变形导致的边缘候补像素。例如，块变形边缘确定部分204将位于块边界的、不与位于该块的内部的边缘候补像素邻接的边缘候补像素确定为由块变形导致的边缘候补像素。
然后，蚊式噪声边缘确定部分205在由边缘候补像素检测部分203检测出的边缘候补像素中确定由蚊式噪声导致的边缘候补像素。当在原图像中的块内存在强边缘时，在还原图像的原来的边缘的周边产生弱灰度波动，即蚊式噪声。因此，在同一块内存在边缘强度相对较强的边缘候补像素和边缘强度相对较弱的边缘候补像素的场合，边缘强度相对较弱的像素为蚊式噪声导致的候补像素的可能性高。
因此，蚊式噪声边缘确定部分205对于在各块内检测出的边缘候补像素检查4近旁的连接性。具体地说，蚊式噪声边缘确定部分205检查位于检测出的边缘候补像素的上、下、左、右的像素，当在其中存在边缘候补像素时，判定这些边缘候补像素连接。这样，对块内的所有的边缘候补像素检查4近旁连接性后得知，将被判定为在各块连接的边缘候补像素的单元分别称为连接边缘候补。当在同一块内存在多个连接边缘候补时，蚊式噪声边缘确定部分205使用索贝尔滤波(Sobel Filter)计算出各边缘候补像素的边缘强度后，对各连接边缘候补计算出其平均值。蚊式噪声边缘确定部分205关于该平均值在同一块内将构成边缘强度被判断比预先决定的预定比例相对较弱的连接边缘候补的全部像素，确定为由蚊式噪声导致的边缘候补像素。例如，在某一连接边缘候补的边缘强度的平均值为不到同一块内具有最强的平均边缘强度的连接边缘候补的80％的边缘强度的场合，蚊式噪声边缘确定部分205确定构成该连接边缘候补的全部像素为由蚊式噪声导致的边缘候补像素。
然后，微小灰度变化边缘确定部分206在由边缘候补像素检测部分203检测出的边缘候补像素中将绝对边缘强度比预定的值小的边缘候补像素确定为微小灰度变化像素。例如，微小灰度变化边缘确定部分206由索贝尔滤波的处理计算出各边缘候补像素的边缘的强度，将该强度在预定的值以下的像素确定为微小灰度变化像素。
边缘像素确定部分207将从由边缘候补像素检测部分203检测出的边缘候补像素中消除由块变形边缘确定部分204确定的块变形导致的边缘候补像素、由蚊式噪声边缘确定部分205确定的蚊式噪声导致的边缘候补像素、及由微小灰度变化边缘确定部分206确定的微小灰度变化像素后的像素确定为边缘像素。
然后，边缘区域确定部分208根据由边缘像素确定部分207确定的边缘像素确定还原图像的边缘区域。由边缘像素确定部分207确定的边缘像素为位于边缘中央的像素，对于与该像素邻接的周边的像素，在原图像产生较急剧的灰度变化的可能性也高。因此，边缘区域确定部分208从由边缘像素确定部分207确定的边缘像素将由预定的距离范围内的多个像素构成的区域确定为边缘区域。
过去，在进行边缘检测的场合，多使用根据由索贝尔滤波等进行滤波处理后的值检测灰度值急剧变化的区域这样的方法。当将该方法适用于JPEG还原图像时，不仅是存在于原图像的原来的边缘，而且连由块变形或蚊式噪声产生的灰度的高低差或波动也作为边缘检测。然而，按照上述本实施形式的边缘区域的确定方法，可仅确定包含于原图像的边缘。
在上述内容中，块变形边缘确定部分204确定由块变形导致的边缘候补像素，然后，蚊式噪声边缘确定部分205确定由蚊式噪声导致的边缘候补像素，此后，微小灰度变化边缘确定部分206确定微小灰度变化像素。然而，确定块变形导致的边缘候补像素、蚊式噪声导致的边缘候补像素、及微小灰度变化像素的顺序不受限定。
如上述那样，当区域确定部分103确定块变形区域和边缘区域时，区域确定部分103将上述还原图像中既不属于上述块变形区域也不属于边缘区域的区域确定为均质区域。该均质区域在还原图像中为由产生蚊式噪声的区域和灰度值较平滑地变化的区域构成的区域。
这样，当由区域确定部分103确定上述还原图像中的块变形区域、边缘区域、及均质区域时，块变形区域噪声消除部分104、边缘区域噪声消除部分105、及均质区域噪声消除部分106分别进行与块变形区域、边缘区域、或均质区域对应的图像处理。
下面，说明由块变形区域噪声消除部分104、边缘区域噪声消除部分105、及均质区域噪声消除部分106进行的处理。
首先，说明由块变形区域噪声消除部分104进行的处理。块变形刺眼的块变形区域如上述那样主要为原图像中灰度平缓变化的区域。这是由于按块单元独立地进行编码、量化使得在邻接块的边界部不保持灰度连续性而产生的区域。为了消除该块变形，仅由简单的滤波处理进行平滑化难以消除灰度的不连续性。为此，需要用于有效地消除块变强的特别的处理。
因此，下面说明应用了像素插补的用于有效地消除块变形的块变形消除方法。下面，参照图13～图16说明本实施形式1中的块变形消除方法的处理程序。
在本实施形式1的块变形消除方法中，当将还原图像分割成8×8像素单位的块时，将4个块相交的点称为块交点。该点对应于图13的块交点180(180A～180D)。另外，将各块交点180的假想的像素浓度(像素值)称为块交点像素的浓度。
图14示出块变形区域噪声消除部分104的内部构成。块交点像素浓度赋予部分160计算出块交点像素的浓度。块交点像素的浓度分别从邻接的4个块赋予由区域确定部分103确定的各块变形区域的各块交点180。即，将4个块交点像素的浓度赋予各块交点180。
下面根据图15具体说明块交点像素的浓度。图15示出作为被处理对象的块变形区域(8×8像素的块)X由8个块变形区域(8×8像素的块)LU、U、RU、L、R、LD、D、RD围住的状态。在作为被处理对象的块变形区域X的各角部如图15所示那样存在块交点180(180A～180D)。
以块交点180A为例时，对该块交点180A赋予根据属于作为被处理对象的块变形区域X的像素计算出的块交点像素的浓度A[4]。另外，对块交点180A也赋予根据属于块变形区域X左上方的块变形区域LU的像素计算出的块交点像素的浓度A[1]、根据属于块变形区域X上方的块变形区域U的像素计算出的块交点像素的浓度A[2]、根据属于块变形区域X左方的块变形区域L的像素计算出的块交点像素的浓度A[3]。
这样，对作为被处理对象的块变形区域X的各角部的各块交点180(180A～180D)赋予根据分别属于围住该块交点180的4个块的像素计算出的4个块交点像素的浓度。
下面说明赋予各块交点180的块交点像素的浓度的计算方法。块交点像素浓度赋予部分160对作为被处理对象的块变形区域X的各角部的块交点180将距该块交点180的距离在一定值以内的像素作为对象，相应于与块交点180的距离的倒数对该像素的像素值进行加权平均，计算出块交点像素的浓度。
例如，设相邻2个像素的中心相互的距离为1。当以围住块交点180A的4个像素a1、a2、a3、a4为例时，像素a1的中心与像素a2的中心距离为1，像素a2的中心与像素a4的中心的距离为1，像素a4的中心与像素a3的中心的距离为1。在该场合，块交点像素浓度赋予部分160对于与块交点180的欧几里得距离在2以内的像素计算出欧几里得距离的倒数的加权平均值，将该值作为块交点像素的浓度赋予块交点180。作为例子，说明使用作为被处理对象的块变形区域X内的像素值计算出块交点像素的浓度A[4]的方法，块交点像素的浓度A[4]根据下式(数10)计算出。
(数10)
A[4]＝√2×f(0，0)+√2/√5×(f(1，0)+f(0，1))/(√2+√2/√5+√2/√5)
其中，f(0，0)、f(1，0)、f(0，1)为与图16所示作为被处理对象的块变形区域X内的块交点180A的欧几里得距离在2以内的各像素的像素值。
这样，由块交点像素浓度赋予部分160对围住作为被处理对象的块变形区域X的4个块交点180A～180D分别赋予4个块交点像素的浓度。
然后，角部修正量计算部分161使用赋予各块交点180的块交点浓度计算出各块交点180的修正量。以下，将各块交点180的修正量称为块交点像素的浓度修正量。角部修正量计算部分161对各块交点180从4个块交点像素的浓度(例如对块交点180A为A[1]～A[4])的平均值减去根据作为被处理对象的块变形区域X内的像素计算出的块交点像素的浓度(例如对块交点180A为A[4])，计算出块交点像素的浓度修正量。
下面以计算块交点180A的块交点像素的浓度修正量的场合为例说明块交点像素的浓度修正量的方法。在这里，当设块交点180A的块交点像素的浓度修正量为dA时，该块交点像素的浓度修正量dA根据下式(数11)计算出。
(数11)
dA＝[(A[1]+A[2]+A[3]+A[4])/4]-A[4]
然后，修正量计算部分162根据围住作为被处理对象的块变形区域X的4个块交点180的各块交点像素的浓度修正量计算出作为被处理对象的块变形区域X内的各像素的修正量(像素值修正量)。具体地说，将块交点180A～180D的块交点像素的浓度修正量分别设为dA、dB、dC、dD。修正量计算部分162在计算作为被处理对象的块变形区域X内的某一像素的修正量(像素修正量)的场合，按块交点180A～180D分别与该像素的中心的欧几里得距离的倒数对上述dA、dB、dC、dD进行加权平均，将该加权平均值作为该像素的修正量(像素值修正量)。
当设图16所示f(x，y)的位置的像素的修正量(像素值修正量)为g(x，y)时，g(x，y)根据下式(12)计算出。
(数12)
g(x，y)＝(wA×dA+wB×dB+wC×dC+wD×dD)/(wA+wB+wC+wD)
wA = 1 / ( ( x + 0.5 ) × ( x + 0.5 ) + ( y + 0.5 ) + ( y + 0.5 ) )
wB = 1 / ( ( 7.5 - x ) × ( 7.5 - x ) + ( y + 0.5 ) + ( y + 0.5 ) )
wC = 1 / ( ( x + 0.5 ) × ( x + 0.5 ) + ( 7.5 - y ) + ( 7.5 - y ) )
wD = 1 / ( ( 7.5 - x ) × ( 7.5 - x ) + ( 7.5 - y ) + ( 7.5 - y ) )
然后，像素值修正部分163将根据上式(数12)计算出的像素修正量g(x，y)加到作为被处理对象的块变形区域X内的对应的各像素值而获得新的像素值。这样，进行块变形区域的噪声消除处理。
上述块变形消除处理作为消除在灰度平缓地变化的区域产生的块变形的方法非常有效。
另外，当使用上述块变形消除处理时，在作为被处理对象的场合块变形区域X的各角部，使围住该角部的4个像素的值不相同。结果，在各块的各角部也可再现平滑的灰度变化。
如说明由区域确定部分103确定块变形区域的方法时所记述的那样，块变形区域最好为在预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块中的、仅由预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块围住的块。
在与这样确定的块变形区域邻接的场合中，包含边缘的可能性低。如上述那样，虽然在边缘的周边存在蚊式噪声的场合较多，但如不包含边缘，则蚊式噪声存在的可能性低。因此，与如上述那样确定的块变形区域邻接的块的块交点附近的像素值根据蚊式噪声的影响而局部成为不适当的值的场合较少。为此，可避免块交点像素的浓度修正量成为不适当的值。
另外，以上的块变形消除处理通过相对还原图像的RGB的各成分分别进行，从而可修正所有色成分。
下面，说明边缘区域噪声消除部分105进行的处理。边缘区域噪声消除部分105相对由区域确定部分103确定的边缘区域即存在于原图像的原来的边缘像素和由其周围的像素形成的区域的各像素的RGB的各色成分，分别进行由中值滤波处理等边缘保存型平滑化处理，保留边缘，降低噪声。
当相对边缘区域的像素单纯地进行使例如3×3像素的平均值为新的像素值的强平滑化处理时，存在于原图像的原来的边缘模糊，失去图像整体的鲜锐性。为此，如上述那样，边缘区域噪声消除部分105相对边缘区域进行中值滤波处理等边缘保存型平滑化处理，在保持边缘的状态下消除噪声。
下面，说明由均质区域噪声消除部分106进行的处理。由区域确定部分103确定的均质区域如上述那样由在还原图像中产生蚊式噪声的区域和灰度值相对平滑变化的区域构成。灰度变化平滑的场合具有邻接的像素近的像素值，所以，即使进行强平滑化处理像素值的变化量也小，对画质的影响也小。因此，均质区域噪声消除部分106相对形成均质区域的各像素的RGB的各色成分分别进行使用FIR(有限脉冲响应)的平滑化处理和使3×3近旁像素的单纯平均为新的像素值那样的强平滑化处理，降低蚊式噪声。
如上述那样，解析还原图像，将还原图像分成“块变形区域”、“边缘区域”、及“均质区域”这样3个区域，进行适于各区域的噪声消除处理，从而可有效地消除噪声。特别是相对将由高压缩编码后的压缩数据解码后获得的还原图像，可在保持存在于原图像的原来的边缘的状态下，有效地消除较强地产生的块变形。
然后，对于各区域进行了噪声消除处理的图像，进行基于由制约条件计算部分102计算出的制约条件的映射处理。在这里，如图9所示那样，与通常的凸映射法同样，首先，色变换部分107将由RGB构成的图像数据色变换成YCrCb数据。DCT变换部分108相对该YCrCb数据进行DCT变换，然后，映射处理部分109根据由制约条件计算部分102计算出的制约条件进行映射处理。通过由逆DCT变换部分110对在这里舍入的DCT系数进行DCT变换，还原成由YCrCb构成的图像数据，由色变换部分111将YCrCb数据色变换成RGB数据，获得还原图像。最后，结束判定部分112判定结束还是继续噪声消除处理。如由结束判定部分112判定处理结束，则结束处理，输出消除了噪声的图像。另一方面，在判定处理未结束的场合，区域确定部分103返回到确定块变形区域、边缘区域、及均质区域的工序，反复进行此后的处理。作为进行这里的结束判定的条件，可使用与在过去的凸映射法的说明说明的场合同样的判定条件。
在JPEG编码中，相对辉度成分(Y)抽取(采样)色差成分(Cr、Cb)的信息进行编码的场合较多。在该场合，即使为凸映射法，最好相对采样获得的DCT系数进行映射处理。即，对由色变换部分107计算出的辉度成分和色差成分的数据中的色差成分进行与JPEG编码时相同的采样，进行数据的抽取。作为一例，对2×2像素的辉度成分分配色差成分1像素。
DCT变换部分108相对该采样获得的数据进行DCT变换，计算出DCT系数，此后，映射处理部分109对辉度成分、色差成分的DCT系数分别进行映射处理。此时，映射处理部分109使用与采样获得的数据对应的制约条件的值进行相对色差成分的映射。
然后，逆DCT变换部分110对映射的DCT系数进行逆DCT变换后，进行子采样的逆变换，将抽取的色差成分的数据插补直到达到与辉度成分相同的像素数。由以上的处理在JPEG编码时进行采样的场合，也可实现同样的噪声消除处理。
图17示出由本实施形式1的图像处理装置处理图5所示还原图像后的图像。从图17可知，由本实施形式1的图像处理装置的图像处理可充分消除刺眼的块变形。另外，从图17可知，本实施形式1的图像处理装置通过进行上述本实施形式1的图像处理，从而不使存在于原图像的原来的边缘不清晰化地充分消除存在于图5所示还原图像中的刺眼的块变形。此外，由图17可知，本实施形式1的图像处理装置也可消除蚊式噪声。
以上的说明全部以彩色图像为例，但对于单色的半色调图像也可进行同样的处理。在该场合，省略色变换部分107和色变换部分111的处理，区域确定部分103使用单色图像的灰度值确定块变形区域、边缘区域、及均质区域，块变形区域噪声消除部分104、边缘区域噪声消除部分105、及均质区域噪声消除部分106分别进行与上述处理同样的处理。
另外，在上述实施形式1中，说明了将还原图像分割成块变形区域、边缘区域、及均质区域这样3个区域的形式。然而，也可如图18所示那样，区域确定部分103仅确定还原图像中的块变形区域，块变形区域噪声消除部分104相对块变形区域进行在上述本实施形式1中由块变形区域噪声消除部分104进行的噪声消除处理。也可相对块变形区域以外的区域由均质区域噪声消除部分106进行在上述本实施形式1中由均质区域噪声消除部分106进行的噪声消除处理。在该场合，可有效地消除存在于还原图像的刺眼的块变形。但在该场合，均质区域噪声消除部分106相对块变形区域以外的区域进行强的平滑化处理，所以，存在于原图像的原来的边缘变得不清晰。
另外，在上述实施形式1中，区域确定部分103将预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块确定为块变形区域。另外，在预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块中，最好将仅由预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块围住的块确定为块变形区域。
然而，区域确定部分103也可后述那样确定块变形区域。例如，区域确定部分103先在构成还原图像的多个块中如上述那样确定边缘像素，将在原图像中具有存在边缘的可能性的块确定为边缘块。然后，区域确定部分103也可在预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块中将不与边缘块相邻的块确定为块变形区域。
这样，如在预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块中将不与边缘块相邻的块确定为块变形区域，则在与块变形区域邻接的块不存在由边缘导致的蚊式噪声。这样，与块变形区域邻接的块的块交点附近的像素值由蚊式噪声的影响而成为局部不适当的值的场合较少，可避免块交点像素的浓度修正量成为不适当的值。结果，可消除块变形，同时适当地修正块变形区域内的各像素的像素值。
区域确定部分103先在构成还原图像的多个块中如上述那样确定边缘像素，将在原图像中具有存在边缘的可能性的块确定为边缘块。然后，区域确定部分103也可将还原图像中的边缘块以外的块的不与边缘块相邻的块确定为块变形区域。在该场合，与块变形区域邻接的块不存在由边缘导致的蚊式噪声，与块变形区域邻接的块的块交点附近的像素值根据蚊式噪声的影响而局部成为不适当的值的场合较少。为此，可避免块交点像素的浓度修正量成为不适当的值。可消除块变形，同时，可适当地修正块变形区域内的各像素的像素值。在该场合，还原图像中的边缘块以外的块的与边缘块相邻的块被看成均质区域，相对该均质区域由均质区域噪声消除部分106进行强平滑化处理。
另外，在上述实施形式1中，区域确定部分103首先对构成还原图像的所有块进行DCT变换，将预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块确定为块变形区域。然而，区域确定部分103也可不对构成还原图像的各块进行DCT变换，而是将对各块进行JPEG压缩数据的解码和反量化后获得的预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块确定为块变形区域。
另外，在这样确定的块变形区域中，区域确定部分103也可将仅由预定频率(次数)以上的DCT系数的值全部在预先决定的预定值以下的块围住的块或不与边缘块相邻的块确定为块变形区域。
即使这样确定块变形区域，也可与上述同样，消除刺眼的块变形。另外，可适当地修正块变形区域内的各像素的值。
可是，虽然非常少见，但存在这样的场合，即，在由区域确定部分103确定的块变形区域中存在原图像的本来的边缘位于块边界的块。当对于这样的在原图像存在边缘的块使用根据横过边缘的块的像素值计算出的块交点像素的浓度修正作为被处理对象的块变形区域X内的各像素值时，存在于块边界的边缘完全失去。
为了解决该问题，当计算各块交点的块交点像素的浓度修正量时，根据作为被处理对象的块变形区域X内的像素计算出的块交点像素的浓度与根据邻接于作为被处理对象的块变形区域X的3个块内的像素计算出的块交点像素的浓度的差超过预先确定的预定值时，不使用该块交点像素的浓度地计算块交点像素的浓度修正量。
即，当计算出与根据作为被处理对象的块变形区域X内的像素计算出的块交点像素的浓度差别较大的那样的块交点像素的浓度时，判断在该块边界部分在原图像也存在边缘，从余下3个以下的块交点像素的浓度的平均值减去根据作为被处理对象的块变形区域X内的像素计算出的块交点像素的浓度，计算出块交点像素的浓度修正量。
当使用这样的方法时，不使在原图像中存在的边缘不清晰化，可有效地消除块变形。
(实施形式2)
下面，说明本发明的实施形式2的图像处理装置。
图19示出本实施形式2的另一图像处理装置的构成和处理程序。
下面简单地说明本实施形式2的图像处理装置的动作。
首先，解码部分301对JPEG压缩数据进行解码处理，获得还原图像。然后，压缩率检测部分302检测对还原图像进行JPEG压缩时的压缩率。另外，放大率检测部分303检测输出还原图像时的放大率。
然后，处理内容决定部分304根据由压缩率检测部分302检测出的压缩率和由放大率检测部分303检测出的放大率决定噪声消除处理的内容。噪声消除部分305根据由处理内容决定部分304决定的内容进行在还原图像产生的噪声的消除处理。最后，图像放大部分306根据由放大率检测部分303检测出的放大率进行图像的放大处理。
下面，详细说明本实施形式2的图像处理装置的各构成部进行的处理的内容。
首先，解码部分301进行从JPEG压缩数据向图像数据的解码处理。该解码处理由从上述图1的熵解码部分15到色变换部分19的处理实现。解码部分301进行上述解码处理时，将解码前的JPEG压缩数据的数据量和解码化后的图像数据的数据量转送到压缩率检测部分302。
然后，压缩率检测部分302根据从解码部分301转送的信息检测还原图像被进行JPEG压缩时的压缩率。例如，压缩率检测部分302根据解码后的数据量相对解码前的数据量的比检测还原图像被进行JPEG压缩时的压缩率。
然后，放大率检测部分303检测输出还原图像时的放大率。例如，放大率检测部分303根据还原图像的像素数和输出装置的析像度和输出图像尺寸的关系检测输出图像相对还原图像的放大率。具体地说，在将VGA(视频图像阵列，640×480pixels)尺寸的还原图像按A4尺寸输出到析像度600dpi的打印机的场合，放大率在纵横方向上分别为约8倍。
然后，处理内容决定部分304根据由压缩率检测部分302检测出的压缩率和由放大率检测部分303检测出的放大率，决定噪声消除部分305进行的噪声消除处理的内容。以下具体说明由处理内容决定部分304进行的噪声消除处理内容的决定方法。
处理内容决定部分304具有图20所示那样的、示出压缩率和放大率与滤波尺寸的预先决定的关系的滤波决定表。该滤波决定表示出压缩率和放大率的级别分别为3级的场合的、压缩率和放大率与滤波尺寸的预先决定的关系。
处理内容决定部分304根据上述图20的滤波决定表选择按由压缩率检测部分302检测出的压缩率和由放大率检测部分303检测出的放大率唯一地决定的滤波。
例如，由压缩率检测部分302检测的压缩率为压缩率级别1，由放大率检测部分303检测的放大率为放大率级别2，则处理内容决定部分304作为噪声消除部分305应使用的滤波选择“B-1”的滤波。
在图20的滤波决定表中，压缩率级别1比压缩率级别2的压缩率高，压缩率级别2比压缩率级别3的压缩率高。另外，放大率级别1比放大率级别2的放大率高，放大率级别2比放大率级别3的放大率高。另外，例如放大率级别1为纵横8倍地输出还原图像的那样的场合的级别，放大率级别2为纵横都按4倍输出还原图像那样的场合的级别，放大率级别3为按原有大小输出还原图像的场合的级别。
另外，处理内容决定部分304也可不具有图20所示的滤波决定表，而是具有图21或图22所示滤波决定表。在该场合，处理内容决定部分304根据图21或图22的滤波决定表按由压缩率检测部分302检测出的压缩率和由放大率检测部分303检测出的放大率唯一地决定滤波。
在这里，说明图20、图21、及图22的各滤波决定表的不同。图20的滤波决定表示出滤波系数全部相等、尺寸相应于压缩率和放大率不同的场合的、压缩率和放大率与滤波尺寸的关系。另外，图21的滤波决定表示出滤波的尺寸全部相等、系数相应于压缩率和放大率不同的场合的、压缩率和放大率与滤波系数的关系。另外，图22的滤波决定表示出滤波的尺寸和系数双方相应于压缩率和放大率不同的场合的压缩率和放大率与滤波的关系。
例如在使用图20的滤波决定表的场合，压缩率为级别3、放大率为3时的“C-3”的滤波为在处理前后都不产生任何变化的滤波。这样的滤波根据处理内容决定部分304选择时，噪声消除部分305也可不进行噪声消除处理。
另外，处理内容决定部分304也可具有图20、图21、及图22所示3种滤波决定表，处理内容决定部分304在决定处理内容之前将使用者应使用哪一个滤波决定表指示给处理内容决定部分304。例如，图22的滤波决定表与图20的滤波决定表相比，滤波中央附近的系数成为大值。为此，由图22的滤波决定表进行比图20的滤波决定表更弱的平滑化。因此，在使用者与蚊式噪声的降低相比想优先考虑边缘的模糊的抑制的场合，指示使用图22的滤波决定表。相反，在与边缘模糊的抑制相比想优先考虑蚊式噪声的降低的场合，指示使用图20的滤波决定表。处理内容决定部分304使用由使用者指示的滤波决定表，处理内容决定部分304选择应使用的滤波。
另外，噪声消除部分305根据由处理内容决定部分304决定的内容进行产生于还原图像的噪声的消除处理。下面，详细说明产生于还原图像的噪声中的、特别是可有效地消除块变形的噪声消除处理。
图23示出噪声消除部分305的构成。如图23所示，噪声消除部分305由区域确定部分103、块变形区域噪声消除部分401、及残余区域噪声消除部分402构成。
区域确定部分103确定还原图像中的、被判断较强地产生块变形的“块变形区域”和此外的区域。作为区域确定部分103进行的“块变形区域”的确定方法，使用在上述实施形式1中进行区域确定部分103的方法。
下面，说明产生于由区域确定部分103确定的块变形区域的块变形的方法。一般情况下，仅均匀地进行滤波处理难以充分消除由高压缩较强地产生的块变形。为此，在本实施形式2中，采用通过将块边界的灰度的不连续部分均匀地分散到块内的像素而有效地消除块变形的手法。
下面，参照图24～图28详细说明本实施形式2的块变形消除方法。在这里，图24示出进行本方法的处理的块变形区域噪声消除部分401的构成和处理程序。图25～图28为本方法的算法的说明图。图25的Pij、Aij、Bij、Cij、Dij(其中i为在块内横方向上的像素位置，j为纵方向上的像素位置)分别表示像素，粗线表示块边界。另外，由Pij表示的像素构成的块为作为被处理对象的块变形区域，在以下说明中称为受注目块。
首先，图24的左侧修正量计算部分501、右侧修正量计算部分502、水平方向修正量计算部分503、及水平方向像素值修正部分504消除受注目块的左右的块边界的灰度不连续。以下，说明该受注目块的左右的块边界的灰度的不连续的方法。
首先，左侧修正量计算部分501作为消除受注目块的左侧的场合变形的前处理对受注目块内的各行计算左侧修正量(HLj)。具体地说，左侧修正量计算部分501根据下述(数13)对图25所示受注目块内的各行将左侧修正量(HLj)赋予左端的像素(P0j)与其左邻的像素(B7j)的中间位置即块边界线上的位置(参照图26)。即，左侧修正量计算部分501对各行从受注目块内的左端的像素(P0j)的值和其左邻的像素(B7j)的值的平均值减去像素(P0j)，计算出各行的左侧修正量(HLj)。
(数13)
HLj＝(P0j+B7j)/2-P0j＝(B7j-P0j)/2
同样，右侧修正量计算部分502作为用于消除受注目块的右侧的块变形的前处理，对受注目块内的各行计算出右侧修正量(HRj)。具体地说，右侧修正量计算部分502根据下述(数14)对图25所示受注目块内的各行将右侧修正量(HRj)赋予右端的像素(P7j)与其右邻的像素(C0j)的中间位置即块边界线上的位置(参照图26)。即，右侧修正量计算部分502对各行从受注目块内的右端的像素(P7j)的值和其右邻的像素(C0j)的值的平均值减去像素(P7j)的值，计算出各行的右侧修正量(HRj)。
(数14)
HRj＝(P7j+C0j)/2-P7j＝(C0j-P7j)/2
然后，水平方向修正量计算部分503在受注目块内的各行，对各像素根据下述(数15)相应于各像素与受注目块的左右的块边界线的距离将左侧修正量(HLj)和右侧修正量(HRj)加权平均，计算出受注目块内的各行的各像素的修正量Yij。
(数15)
Yij＝(HLj×(7.5-i)+HRj×(i+0.5))/8
水平方向像素值修正部分504如下述(数16)所示那样，将由水平方向修正量计算部分503计算出的各行的各像素的修正量Yij加到对应的像素(Pij)的值，计算出各行的修正后的各像素(Qij)的值。
(数16)
Qij＝Pij+Yij
由以上的处理，将受注目块的左右块边界的灰度的不连续量均匀地分散到块内的像素，从而有效地消除受注目块的左右的块边界的块变形。
然后，在上下方向上也进行同样的处理。即，相对消除了受注目块的左右的块边界的块变形后的图像，由图24的上侧修正量计算部分505、下侧修正量计算部分506、垂直方向修正量计算部分507、及垂直方向像素值修正部分508消除受注目块的上下的块边界的灰度的不连续。以下，说明消除该受注目块的上下的块边界的灰度的不连续的方法。
首先，上侧修正量计算部分505作为用于消除受注目块的上侧的块变形的前处理，对受注目块内的各列计算出上侧修正量(VTi)。具体地说，上侧修正量计算部分505根据下述(数17)对图27所示受注目块内的各列将上侧修正量(VTi)赋予上端的像素(Qi0)与其上邻的像素(Ai7)的中间位置即块边界线上的位置。即，上侧修正量计算部分505对各列从受注目块内的上端的像素(Qi0)的值和其上邻的像素(Ai7)的值的平均值减去像素(Qi0)，计算出各列的上侧修正量(VTi)。上述图27为示出构成受注目块的左右的块边界的块变形消除后的图像的Qij的图。
(数17)
VTi＝(Qi0+Ai7)/2-Qi0＝(Ai7-Qi0)/2
同样，下侧修正量计算部分506作为用于消除受注目块的下侧的块变形的前处理，对受注目块内的各列计算出下侧修正量(VBi)。具体地说，下侧修正量计算部分506根据下述(数18)对图27所示受注目块内的各列将下侧修正量(VBi)赋予下端的像素(Qi7)与其下邻的像素(Di0)的中间位置即块边界线上的位置(参照图28)。即，下侧修正量计算部分506对各列从受注目块内的下端的像素(Qi7)的值和其下邻的像素(Di0)的值的平均值减去像素(Qi7)的值，计算出各列的下侧修正量(VBj)。
(数18)
VBi＝(Qi7+Di0)/2-Qi7＝(Di0-Qi7)/2
然后，垂直方向修正量计算部分507对受注目块内的各列，如下述(数19)所示那样，相应于各像素与受注目块的上下的块边界线的距离将上侧修正量(VTi)和下侧修正量(VBi)加权平均，计算出对受注目块内的各列的各像素的修正量Zij。
(数19)
Zij＝(VTi×(7.5-j)+VBi×(j+0.5))/8
垂直方向像素值修正部分508根据下述(数)20，将由垂直方向修正量计算部分507计算出的各列的各像素的修正量Zij，加到对应的像素(Qij)的值，计算出修正后的各像素(Rij)的值。
(数20)
Rij＝Qij+Zij
由以上的处理，将受注目块的上下块边界的灰度的不连续量均匀地分散到块内的像素，从而有效地消除受注目块的上下的块边界的块变形。
以上为判定为块变形区域的区域中的噪声消除处理。
另外，相对块变形区域以外的区域，残余区域噪声消除部分402为了消除蚊式噪声等噪声进行滤波处理。如上述那样，例如当增大滤波尺寸时，平滑化效果变大，噪声较强地被消除，相反，图像的模糊增大。相反，当滤波尺寸减小时，平滑化效果减小，图像的模糊减小，相反，噪声消除的效果也减小。
因此，为了进行充分消除噪声而且将图像的模糊抑制到最小极限的噪声消除处理，处理内容决定部分304在由残余区域噪声消除部分402进行滤波处理之前，如上述那样，决定残余区域噪声消除部分402进行的噪声消除处理的内容。
然后，残余区域噪声消除部分402对块变形区域以外的区域根据由处理内容决定部分304决定的处理的内容进行滤波处理。
由以上的残余区域噪声消除部分402的动作，可在考虑到压缩还原图像时的压缩率及输出时的放大率对视觉的影响的状态下采取适当的噪声消除对策。
最后，图像放大部分306根据由放大率检测部分303检测出的放大率对由噪声消除部分305进行图像处理后的图像数据进行放大处理，从而可获得消除了噪声的输出图像。
在本实施形式2中，“输出”包含显示和打印。
另外，在本实施形式2中，压缩率检测部分302根据解码后的数据量相对解码前的数据量的比检测压缩率。然而，压缩率检测部分302也可根据压缩数据编码时使用的量化数据的信息检测压缩率。
例如，压缩率检测部分302着眼于量化表的DC成分的值使预定的值S1比预定的值S2大的场合，上述DC成分的值如在上述预定的值S1以上，则可检测压缩率为压缩级别1，如上述DC成分的值在上述预定的值S2以上，而且不到上述预定的值S1，则可检测压缩率为压缩级别2，如上述DC成分的值不到上述预定的值S2，则可检测压缩率为压缩级别3。
另外，例如压缩率检测部分302着眼于量化表的多个值，比较该各着眼的值与对上述多个值设定的预定的值S1[i]和预定的值S2[i](值S1[i]设得比值S2[i]大，另外[i]是数2中所述的[u][v])。另外，压缩率检测部分302也可在压缩率的检测中使用这样的方法，即，如在值S1[i]以上的系数的个数在预定的比例以上，则设为压缩级别1，如在值S1[i]以上的系数的个数虽不到预定的比例但值S2[i]以上的系数的个数在预定的比例以上，则设为压缩级别2，此外的场合设为压缩级别3。
另外，在上述的实施形式2中，放大率检测部分303例如根据还原图像的像素数和输出装置的析像度和输出图像尺寸的关系检测相对还原图像的输出图像的放大率。然而，放大率检测部分303也可通过检测预先由使用者使用图中未示出的输入装置输入的放大率的信息，从而检测输出图像相对还原图像的放大率。
另外，上述处理内容决定部分304也可根据压缩还原图像时的压缩率和输出还原图像时的放大率中的任一方，决定处理内容。
另外，在上述实施形式2中，如根据图24～图28说明的那样，当进行块变形区域的噪声消除时，首先，消除块变形区域的左右的块边界的块变形后，消除上下块边界的块变形。然而，也可在改换上述顺序、消除上下的块边界的块变形后，通过消除左右的块边界的块变形而进行块变形区域的噪声消除。这样，也可充分地消除块变形。
另外，在上述实施形式2中，残余区域噪声消除部分402相对块变形区域以外的区域进行基于由处理内容决定部分304决定的处理的内容的滤波处理。然而，块变形区域噪声消除部分401也可不相对块变形区域进行噪声消除处理，残余区域噪声消除部分402相对还原图像的整体进行基于由处理内容决定部分304决定的处理的内容的滤波处理。
另外，也可将上述实施形式2的块变形区域的噪声消除方法用作实施形式1的块变形区域的噪声消除方法。另外，也可将实施形式1的块变形区域的噪声消除方法用作实施形式2的块变形区域的噪声消除方法。
另外，在上述实施形式1和2中，作为正交变换的一例，使用DCT变换，但在实施形式1和2中说明的块变形消除处理法对于消除从进行离散正弦变换(DST；Discrete Sine Transform)和离散付立叶变换(DFT；Discrete Fourier Transform)这样的正交变换的压缩数据获得的还原图像中的块变形的场合也有效。这样，在上述实施形式1和2中，作为正交变换的一例使用DCT变换，所以，作为正交变换系数的一例使用DCT系数。然而，在作为正交变换使用上述离散正弦变换和离散付立叶变换的场合，作为正交变换系数使用DST系数和DFT系数。
另外，在上述实施形式1和2中，作为编码的一例使用JPEG，但对由实施形式1和2说明的块变形消除处理法消除从进行MPEG或H.261等编码的压缩数据获得的还原图像的块变形的场合也有效。
另外，上述实施形式1和2的图像处理装置的各构成要素可由硬件构成，也可由软件构成。
另外，作为上述实施形式1和2中的图像处理装置的全部或一部分的构成要素，也可将用于使计算机起作用的程序适用于预定的计算机，由该计算机实现上述实施形式1和2的图像处理装置的全部或一部分的构成要素的功能。作为上述程序的实施形式的具体例，包含在CD-ROM等记录媒体上记录上述程序的场合，转让记录了该程序的记录媒体的场合，及由互联网等通信手段进行上述程序的通信的场合等。另外，也包含在计算机安装上述程序的场合。
从上述说明可知，本发明可提供一种图像处理装置，该图像处理装置根据解析还原图像，确定还原图像中的块变形区域，消除块变形。
另外，本发明可提供一种图像处理装置，该图像处理装置在构成还原图像的各块的各角部也再现平滑的灰度变化地消除块变形。
另外，本发明可提供可进行适合于还原图像的输出的有效的噪声消除处理的图像处理装置。
按照上述本发明的图像处理装置，可有效地消除通过压缩JPEG压缩等原图像数据而产生的噪声，特别是在高压缩的场合产生的强块变形。另外，可相应于噪声对视觉产生的不良影响的大小进行适当的噪声消除处理。

Claims (7)

1.一种图像处理装置，用于处理对压缩数据进行解码处理而获得的还原图像，该压缩数据是通过对形成原图像的数据进行压缩而获得的，其特征在于：具有区域确定部分和块变形区域噪声消除部分，
该区域确定部分确定在上述还原图像中适用块变形的消除处理的块变形区域；
该块变形区域噪声消除部分，对于由上述区域确定部分所确定的块变形区域进行噪声消除处理，即对于作为上述块变形区域和与之邻接的块之间的边界的块边界，对位于与该块边界相距在预定的范围内的像素的值进行加权平均来计算出上述块边界的修正量，并且对于上述块变形区域内的各像素，对应于与上述块边界之间的距离对上述块边界的修正量进行加权来计算出上述块变形区域内的各像素的修正量，然后将所计算出的各像素的修正量加到上述块变形区域内的对应的各像素的值上。
2.根据权利要求1所述的图像处理装置，其特征在于：上述块变形区域噪声消除部分具有块交点像素值赋予部分、角部修正量计算部分、修正量计算部分及像素值修正部分；
该块交点像素值赋予部分，对于上述块变形区域的各角部，将第1值作为上述块变形区域的块交点像素值而赋予位于上述块变形区域和与上述块变形区域相接的3个块的交点上的块交点，并将第2值、第3值、及第4值作为块交点像素值而赋予给与上述块变形区域相接的3个块中的各块，其中该第1值是对应于距上述块交点的距离而对位于距上述块交点在预定距离范围内的上述块变形区域的像素的值进行加权平均后获得，该第2值、第3值、及第4值是对应于距上述块交点的距离而对位于距上述块交点在预定距离范围内的像素的值进行加权平均后获得；
上述角部修正量计算部分对上述块变形区域的4个角部中的各角部，从上述第2值、上述第3值及上述第4值中的、与上述第1值的差为预定值以下的所有值和上述第1值的平均值中减去上述第1值，计算出各上述角部的修正量；
该修正量计算部分对上述块变形区域内的各像素，相应于该像素与分别对应于上述块变形区域的4个角部的4个上述块交点的距离而对相应的上述4个角部的修正量进行加权平均，计算出该像素的修正量；
该像素值修正部分将由上述修正量计算部分计算出的各像素的修正量加到上述块变形区域的对应的各像素的值上。
3.根据权利要求1所述的图像处理装置，其特征在于：上述块变形区域噪声消除部分具有左侧修正量计算部分、右侧修正量计算部分、水平方向修正量计算部分、水平方向像素值修正部分、上侧修正量计算部分、下侧修正量计算部分、垂直方向修正量计算部分、垂直方向像素值修正部分；
该左侧修正量计算部分，按上述还原图像的上述块变形区域的各行，从上述块变形区域的左端像素的值和上述左端像素的左邻像素的值的平均值中减去上述左端像素的值，计算出按上述块变形区域的各行的左侧修正量；
该右侧修正量计算部分，按上述还原图像的上述块变形区域的各行，从上述块变形区域的右端像素的值和上述右端像素的右邻像素的值的平均值中减去上述右端像素的值，计算出按上述块变形区域的各行的右侧修正量；
该水平方向修正量计算部分，对上述块变形区域的各行的各像素，相应于距该像素的上述左端和右端的距离而将上述左侧修正量和上述右侧修正量加权平均，计算出对上述块变形区域的行的像素的修正量；
该水平方向像素值修正部分将由上述水平方向修正量计算部分计算出的关于行的各像素的修正量加到对应的像素的值上；
该上侧修正量计算部分，按由上述水平方向像素值修正部分修正后的各像素形成的图像的上述块变形区域的各列，从上述块变形区域的上端像素的值和上述上端像素的上邻像素的值中的平均值减去上述上端像素的值，计算出对上述块变形区域的各列的上侧修正量；
该下侧修正量计算部分，按由上述水平方向像素值修正部分修正后的各像素形成的图像的上述块变形区域的各列，从上述块变形区域的下端像素的值和上述下端像素的下邻像素的值的平均值中减去上述下端像素的值，计算出按上述块变形区域的各列的下侧修正量；
该垂直方向修正量计算部分，对上述块变形区域的各列的各像素，相应于距该像素的上述上端和下端的距离将上述上侧修正量和上述下侧修正量加权平均，计算出对上述块变形区域的列的像素的修正量；
该垂直方向像素值修正部分将由上述垂直方向修正量计算部分计算出的关于列的各像素的修正量加到由上述水平方向像素值修正部分修正后的对应的像素的值上。
4.根据权利要求1所述的图像处理装置，其特征在于：上述块变形区域噪声消除部分具有上侧修正量计算部分、下侧修正量计算部分、垂直方向修正量计算部分、垂直方向像素值修正部分、左侧修正量计算部分、右侧修正量计算部分、水平方向修正量计算部分、水平方向像素值修正部分；
该上侧修正量计算部分，按上述还原图像的上述块变形区域的各列，从上述块变形区域的上端像素的值和上述上端像素的上邻像素的值的平均值中减去上述上端像素的值，计算出按上述块变形区域的各列的上侧修正量；
该下侧修正量计算部分，按上述还原图像的上述块变形区域的各列，从上述块变形区域的下端像素的值和上述下端像素的下邻像素的值的平均值中减去上述下端像素的值，计算出按上述块变形区域的各列的下侧修正量；
该垂直方向修正量计算部分，对上述块变形区域的各列的各像素，相应于距该像素的上述上端和下端的距离将上述上侧修正量和上述下侧修正量加权平均，计算出对上述块变形区域的列的像素的修正量；
该垂直方向像素值修正部分将由上述垂直方向修正量计算部分计算出的关于列的各像素的修正量加到对应的像素的值上；
该左侧修正量计算部分，按由上述垂直方向像素值修正部分修正后的各像素形成的图像的上述块变形区域的各行，从上述块变形区域的左端像素的值和上述左端像素的左邻像素的值的平均值中减去上述左端像素的值，计算出按上述块变形区域的各行的左侧修正量；
该右侧修正量计算部分，按由上述垂直方向像素值修正部分修正后的各像素形成的图像的上述块变形区域的各行，从上述块变形区域的右端像素的值和上述右端像素的右邻像素的值的平均值中减去上述右端像素的值，计算出按上述块变形区域的各行的右侧修正量；
该水平方向修正量计算部分，对上述块变形区域的各行的各像素，相应于距该像素的上述左端和右端的距离将上述左侧修正量和上述右侧修正量加权平均，计算出对上述块变形区域的行的该像素的修正量；
该水平方向像素值修正部分将由上述水平方向修正量计算部分计算出的关于行的各像素的修正量加到由上述垂直方向像素值修正部分修正后的对应的像素的值上。
5.一种图像处理装置，用于处理对压缩数据进行解码处理而获得的还原图像，该压缩数据是通过对形成原图像的数据进行压缩而获得的，其特征在于：具有区域确定部分和边缘区域噪声消除部分，
上述区域确定部分确定在上述还原图像中的上述原图像中有存在边缘的可能性的边缘区域；
上述边缘区域噪声消除部分相对由上述区域确定部分确定的边缘区域保留边缘地进行噪声消除处理；
上述区域确定部分具有边缘候补像素检测部分、块变形边缘确定部分、蚊式噪声边缘确定部分、微小灰度变化边缘确定部分、边缘像素确定部分、及边缘区域确定部分，
该边缘候补像素检测部分检测边缘候补像素；
该块变形边缘确定部分在由上述边缘候补像素检测部分所检测出的上述边缘候补像素中确定由于块变形而具有被检测出的可能性的像素；
该蚊式噪声边缘确定部分在由上述边缘候补像素检测部分所检测出的上述边缘候补像素中确定由于蚊式噪声而具有被检测出的可能性的像素；
该微小灰度变化边缘确定部分在由上述边缘候补像素检测部分所检测出的上述边缘候补像素中确定边缘强度为预定的值以下的像素；
该边缘像素确定部分从由上述边缘候补像素检测部分所检测出的上述边缘候补像素确定除由上述块变形边缘确定部分、上述蚊式噪声边缘确定部分及上述微小灰度变化边缘确定部分确定的像素外的边缘像素；
该边缘区域确定部分根据由上述边缘像素确定部分确定的边缘像素确定上述边缘区域。
6.根据权利要求5所述的图像处理装置，其特征在于：上述区域确定部分还具有平滑化处理部分和2次微分滤波处理部分；
该平滑化处理部分对上述还原图像进行平滑化处理；
该2次微分滤波处理部分对由上述平滑化处理部分进行平滑化处理后的图像进行使用2次微分滤波的滤波处理；
该边缘候补像素检测部分对由上述2次微分滤波处理部分进行滤波处理后的图像进行零交叉法，检测边缘候补像素。
7.根据权利要求6所述的图像处理装置，其特征在于：上述边缘区域确定部分将与由上述边缘像素确定部分所确定的边缘像素之间的距离在预定距离范围内的多个像素构成的区域确定为上述边缘区域。
CNB028096169A 2001-05-10 2002-05-10 图像处理装置 Expired - Fee Related CN1260978C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001139764 2001-05-10
JP2001139764 2001-05-10
JP2001357139 2001-11-22
JP2001357139 2001-11-22

Publications (2)

Publication Number Publication Date
CN1507749A CN1507749A (zh) 2004-06-23
CN1260978C true CN1260978C (zh) 2006-06-21

Family

ID=26614873

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028096169A Expired - Fee Related CN1260978C (zh) 2001-05-10 2002-05-10 图像处理装置

Country Status (5)

Country Link
US (1) US7561752B2 (zh)
EP (1) EP1401210A4 (zh)
JP (1) JP4145665B2 (zh)
CN (1) CN1260978C (zh)
WO (1) WO2002093935A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377374A (zh) * 2016-10-11 2018-08-07 万维数码有限公司 用于产生与图像相关的深度信息的方法和系统

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040091173A1 (en) * 2002-07-17 2004-05-13 Hiroshi Akimoto Method, apparatus and system for the spatial interpolation of color images and video sequences in real time
KR100472464B1 (ko) * 2002-07-20 2005-03-10 삼성전자주식회사 직렬로 스케일링하는 장치 및 방법
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion
JP2004221633A (ja) 2003-01-09 2004-08-05 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体
US7388999B2 (en) * 2003-10-29 2008-06-17 Hewlett-Packard Development Company, L.P. Transformations for denoising images
JP2005217532A (ja) 2004-01-27 2005-08-11 Canon Inc 解像度変換方法及び解像度変換装置
US7379587B2 (en) * 2004-02-12 2008-05-27 Xerox Corporation Systems and methods for identifying regions within an image having similar continuity values
WO2005086357A1 (ja) * 2004-03-08 2005-09-15 Mitsubishi Denki Kabushiki Kaisha 符号化データの復号プログラム及び方法並びに装置
JP2005304818A (ja) * 2004-04-22 2005-11-04 Shimadzu Corp 放射線撮像装置および放射線検出信号処理方法
GB2415565B (en) * 2004-06-24 2007-10-31 Hewlett Packard Development Co Image processing
JP4483501B2 (ja) * 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4790247B2 (ja) * 2004-10-29 2011-10-12 京セラ株式会社 画像処理装置およびその方法
US20060092440A1 (en) * 2004-11-01 2006-05-04 Bagai Farhan A Human visual system based design of color signal transformation in a color imaging system
US8194757B2 (en) * 2005-01-28 2012-06-05 Broadcom Corporation Method and system for combining results of mosquito noise reduction and block noise reduction
JP4520880B2 (ja) * 2005-02-17 2010-08-11 富士フイルム株式会社 しみ検査方法及びしみ検査装置
WO2006137309A1 (ja) * 2005-06-21 2006-12-28 Nittoh Kogaku K.K 画像処理装置
JP3895357B2 (ja) * 2005-06-21 2007-03-22 日東光学株式会社 信号処理装置
TWI332351B (en) * 2006-10-05 2010-10-21 Realtek Semiconductor Corp Image processing method and device thereof for reduction mosquito noise
KR100857463B1 (ko) * 2006-11-17 2008-09-08 주식회사신도리코 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법
US8269886B2 (en) 2007-01-05 2012-09-18 Marvell World Trade Ltd. Methods and systems for improving low-resolution video
CN101669361B (zh) 2007-02-16 2013-09-25 马维尔国际贸易有限公司 用于改善低分辨率和低帧速率视频的方法和系统
US7813588B2 (en) * 2007-04-27 2010-10-12 Hewlett-Packard Development Company, L.P. Adjusting source image data prior to compressing the source image data
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
JP5125294B2 (ja) * 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
TWI343207B (en) * 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
JP5011223B2 (ja) * 2008-07-08 2012-08-29 シャープ株式会社 画像処理装置、ならびにそれを備える画像形成装置、画像処理プログラムおよび記録媒体
CN102187664B (zh) * 2008-09-04 2014-08-20 独立行政法人科学技术振兴机构 影像信号变换系统
JP5552290B2 (ja) * 2008-11-04 2014-07-16 キヤノン株式会社 画像処理装置、画像処理方法、フィルタ装置、その制御方法及びプログラム
KR20100050655A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 블록 노이즈 감소 시스템 및 방법
JP4788792B2 (ja) * 2009-03-11 2011-10-05 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
CN101909145B (zh) * 2009-06-05 2012-03-28 鸿富锦精密工业（深圳）有限公司 影像杂讯过滤系统及方法
JP5747378B2 (ja) * 2011-03-18 2015-07-15 株式会社日立国際電気 画像転送システム、画像転送方法、画像受信装置、画像送信装置、及び、画像撮像装置
AU2012387578A1 (en) 2012-08-09 2015-01-22 Thomson Licensing Method and apparatus to detect artificial edges in images
JP5564553B2 (ja) 2012-10-22 2014-07-30 Ｅｉｚｏ株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2015122618A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US9552628B2 (en) * 2014-03-12 2017-01-24 Megachips Corporation Image processor
US10003758B2 (en) 2016-05-02 2018-06-19 Microsoft Technology Licensing, Llc Defective pixel value correction for digital raw image frames
CN106846262B (zh) * 2016-12-23 2020-02-28 中国科学院自动化研究所 去除蚊式噪声的方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2592824B2 (ja) 1987-02-25 1997-03-19 キヤノン株式会社 画信号処理装置
JP3034887B2 (ja) 1989-11-27 2000-04-17 株式会社リコー 画像処理方法及び装置
JP2962815B2 (ja) 1990-09-07 1999-10-12 株式会社リコー 画像処理方法
US5625714A (en) * 1991-01-10 1997-04-29 Olympus Optical Co., Ltd. Image signal decoding device capable of removing block distortion with simple structure
US5479211A (en) * 1992-04-30 1995-12-26 Olympus Optical Co., Ltd. Image-signal decoding apparatus
JP3365784B2 (ja) * 1992-04-30 2003-01-14 オリンパス光学工業株式会社 画像信号復号化装置
JP3466705B2 (ja) 1993-05-28 2003-11-17 ゼロックス・コーポレーション 圧縮画像の圧縮解除方法
JP3011828B2 (ja) 1993-06-18 2000-02-21 シャープ株式会社 ノイズ除去装置
JPH07170512A (ja) 1993-11-24 1995-07-04 Matsushita Electric Ind Co Ltd 画像信号復号化装置におけるポストフィルタ処理方法およびポストフィルタ処理装置
JPH08186714A (ja) * 1994-12-27 1996-07-16 Texas Instr Inc <Ti> 画像データのノイズ除去方法及びその装置
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
JPH08214309A (ja) 1995-02-07 1996-08-20 Canon Inc 画像信号復号装置
KR0160690B1 (ko) * 1995-04-29 1999-01-15 김광호 영상신호 부호화/복호화장치에 있어서 블럭킹 효과 제거회로
US6463182B1 (en) * 1995-12-28 2002-10-08 Canon Kabushiki Kaisha Image processing apparatus and method for removing noise near an edge of an image
JP3800704B2 (ja) * 1997-02-13 2006-07-26 ソニー株式会社 映像信号処理装置及び方法
EP2190205A3 (en) * 1997-05-28 2010-10-06 Sony Corporation Method and apparatus for reducing block distortion and method and apparatus for encoding data
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
JP2001078187A (ja) * 1999-09-01 2001-03-23 Matsushita Electric Ind Co Ltd 画像復号化装置
JP2001086367A (ja) 1999-09-10 2001-03-30 Matsushita Electric Ind Co Ltd 映像表示装置及びその制御方法
US6823089B1 (en) * 2000-09-28 2004-11-23 Eastman Kodak Company Method of determining the extent of blocking and contouring artifacts in a digital image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377374A (zh) * 2016-10-11 2018-08-07 万维数码有限公司 用于产生与图像相关的深度信息的方法和系统
CN108377374B (zh) * 2016-10-11 2021-11-09 万维数码有限公司 用于产生与图像相关的深度信息的方法和系统

Also Published As

Publication number Publication date
EP1401210A4 (en) 2011-12-21
US20040165785A1 (en) 2004-08-26
WO2002093935A1 (en) 2002-11-21
CN1507749A (zh) 2004-06-23
JPWO2002093935A1 (ja) 2004-09-02
EP1401210A1 (en) 2004-03-24
US7561752B2 (en) 2009-07-14
JP4145665B2 (ja) 2008-09-03

Similar Documents

Publication Publication Date Title
CN1260978C (zh) 图像处理装置
CN1917578A (zh) 数据处理设备、数据处理方法及程序
CN1265627C (zh) 图像数据处理方法和图像数据处理电路
CN1297941C (zh) 自适应增强彩色图像中色彩的方法和设备
CN1299560A (zh) 图像编码方法、图像编码译码方法、图像编码装置或图像记录再生装置
CN1122420C (zh) 图象译码装置
CN1180627C (zh) 图像编码/解码方法,图像编码装置和图像解码装置
CN1311394C (zh) 用于二进制化图像的设备和方法
CN1703096A (zh) 预测编码/解码器、预测编码/解码方法和记录介质
CN1612614A (zh) 帧内预测编码方法
CN1694537A (zh) 活动图像专家组视讯译码器可适性去区块滤波装置及方法
CN1212561A (zh) 图象处理方法、图象处理装置、和数据存储媒体
CN1535027A (zh) 一种用于视频编码的帧内预测方法
CN1917643A (zh) 图象解码方法
CN1076933C (zh) 图像编码装置及方法
CN1543223A (zh) 图像编码装置及图像译码装置
CN1993976A (zh) 利用熵编码的彩色图像数据的无损压缩
CN1835548A (zh) 解码装置、解码方法及其程序产品
CN1838724A (zh) 解码设备、逆量化方法、分布确定方法及其程序
CN1525403A (zh) 图像处理装置
CN1678021A (zh) 图像处理设备和方法、记录媒体和程序
CN1227612C (zh) 颜色量化方法和使用该方法的多媒体搜索方法
CN1893607A (zh) 编码、解码设备和方法,图像处理系统和方法及记录介质
CN1281311A (zh) 数据处理装置和方法,学习装置和方法,以及介质
CN1957616A (zh) 动图像编码方法和动图像解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060621

Termination date: 20130510