JP2004159311A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2004159311A
JP2004159311A JP2003350076A JP2003350076A JP2004159311A JP 2004159311 A JP2004159311 A JP 2004159311A JP 2003350076 A JP2003350076 A JP 2003350076A JP 2003350076 A JP2003350076 A JP 2003350076A JP 2004159311 A JP2004159311 A JP 2004159311A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
pixel
block
calculating
image
distribution coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003350076A
Other languages
Japanese (ja)
Other versions
JP4097587B2 (en )
Inventor
康浩 ▲桑▼原
Akio Kojima
Toshiharu Kurosawa
Yasuhiro Kuwabara
Yuusuke Monobe
Tatsumi Watanabe
章夫 小嶋
辰巳 渡辺
祐亮 物部
俊晴 黒沢
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus in which a picture quality is prevented from being extremely changed by presence/non-presence of edge by suppressing blurring of both an edge and a texture without damaging a mosquito noise elimination effect.
SOLUTION: An image processing apparatus 1 is equipped with: a differential value calculating part 11 for calculating a differential value between a pixel value of a concerned pixel in a filter processing region set for each of pixels comprising a decoded image and pixel values of peripheral pixels; a distribution coefficient calculating part 12 for calculating distribution coefficients of pixel values in the pixels; a filter coefficient calculating part 13 for calculating a filter coefficient with respect to the peripheral pixels based upon the calculated differential value and distribution coefficient; and a filter processing part 14 for applying filter processing to the pixel value of the concerned pixel in the decoded image while using the filter coefficient calculated by the filter coefficient calculating part 13, to calculate the pixel value of the concerned pixel in the decoded image.
COPYRIGHT: (C)2004,JPO

Description

本発明は、復号画像に対してフィルタ処理を施すことによって、画像中のエッジおよびテクスチャをぼかすことなく、ブロック符号化によって生じたモスキートノイズを有効に除去した復元画像を生成するための画像処理装置および画像処理方法に関する。 The present invention, by performing filter processing on the decoded image, without blurring the edges and texture in an image, the image processing apparatus for generating a restoration image effectively remove mosquito noise caused by the block coding and an image processing method.

近年、デジタルスチルカメラ(Digital Still Camera)が普及し、デジタルスチルカメラによって風景や人物などの画像(静止画)を撮影するのが一般化しつつある。 Recently, digital still cameras (Digital Still Camera) has become popular, is becoming generalized is to shoot images (still images), such as landscapes and people by a digital still camera. ところが、デジタル化された画像のデータ量は非常に大きい。 However, the data amount of the digitized image is very large. このようにデータ量が大きい画像をそのままICメモリなどの記憶媒体に保存したり、インターネットやLANなどの伝送媒体で伝送したりすると、記憶媒体にわずかな枚数しか保存できなくなったり、伝送媒体における伝送時間が長くなることになる。 Thus you can save image data quantity is large as it is in a storage medium such as an IC memory, when or transmitted by a transmission medium such as the Internet and a LAN, or no longer only a small number can be stored in a storage medium, transmission in the transmission medium time will be longer. このため、画像を扱う上では、圧縮技術が必須となる。 Therefore, in handling image compression technique is essential.

画像データを高圧縮する必要がある場合、一般的に、原画像と復号画像が完全には一致しない非可逆画像圧縮方式が用いられる。 If you need to highly compressed image data, in general, completely decoded image and the original image lossy image compression method that does not match is used. 非可逆画像圧縮方式の多くは、画像データをM×N画素単位のブロックに分割し、各ブロックにおいて直交変換を行った後、直交変換係数を量子化して符号化する方式を採用している。 Many lossy image compression method, image data is divided into blocks of M × N pixel units, after performing the orthogonal transform in each block, the orthogonal transform coefficients is adopted a method of coding quantized. この代表的な方式の一つに、カラー静止画像圧縮方式として広く普及しているJPEGがある。 One of the typical methods, there is a JPEG which is widely used as a color still image compression scheme.

図15は、JPEGの符号化装置および復号化装置の機能構成を示すブロック図である。 Figure 15 is a block diagram showing the functional structure of the JPEG encoding apparatus and decoding apparatus.
符号化装置60は、原画像をJPEG圧縮データに圧縮するものであって、図15に示されるように、前処理部61と、DCT変換部62と、量子化部63と、量子化テーブル64と、エントロピー符号化部65とを備える。 Encoder 60 is for compressing an original image to the JPEG compressed data, as shown in FIG. 15, a preprocessing unit 61, a DCT unit 62, a quantization unit 63, a quantization table 64 When, and a entropy encoder 65. 復号化装置70は、JPEG圧縮データを復号画像に伸張するものであって、図15に示されるように、エントロピー復号化部71と、逆量子化部72と、逆量子化テーブル73と、逆DCT変換部74と、後処理部75とを備える。 Decoding device 70 is for decompressing a JPEG compressed data in the decoded image, as shown in FIG. 15, the entropy decoding unit 71, an inverse quantization unit 72, an inverse quantization table 73, an inverse It includes a DCT unit 74, and a post-processing unit 75.

符号化装置60においてJPEGの符号化処理を行う場合、まず、前処理部61は、Red(R)、Green(G)、Blue(B)の多値データで構成される原画像の各画素のデータを、輝度成分(Y)と、色差成分(Cr,Cb)とのデータに変換する。 If the encoding device 60 performs JPEG encoding process, firstly, the pre-processing unit 61, Red (R), Green (G), Blue of each pixel of the original image composed of multi-valued data (B) data, a luminance component (Y), is converted into data of color difference components (Cr, Cb).
次に、DCT変換部62は、YCbCrデータを8×8画素単位のブロック毎に離散コサイン変換(DCT)を行い、DCT係数を算出する。 Next, DCT transform unit 62, a discrete cosine transform YCbCr data for each of the 8 × 8 pixel unit block performs (DCT), to calculate the DCT coefficients.

次に、量子化部63は、DCT係数の量子化を行う。 Then, the quantization unit 63 performs quantization of DCT coefficients. このとき、DCT係数の各成分は、量子化テーブル64にしたがって、それぞれ異なるステップ幅で量子化される。 In this case, each component of the DCT coefficients in accordance with a quantization table 64, are quantized in different step width, respectively.
最後に、エントロピー符号化部65は、量子化されたDCT係数の符号化を行い、JPEG圧縮データを生成する。 Finally, entropy coding unit 65 performs encoding of the quantized DCT coefficients, to generate the JPEG compressed data. JPEGの標準方式では、エントロピー符号化としてハフマン符号を用いている。 The JPEG standard method is used Huffman code as the entropy coding.

以上の処理が、画像データからJPEG圧縮データへの符号化処理の概要である。 The aforementioned processing is an outline of the coding processing from the image data to the JPEG compressed data. このようにして生成されたJPEG圧縮データは、記憶媒体(例えば、SDカード)や伝送媒体を介して復号化装置70に渡される。 Thus JPEG compressed data generated by the storage medium (e.g., SD card) are passed to the decoder 70 via the or a transmission medium.
次に、JPEG圧縮データから復号画像への復号化処理の手順について説明する。 Next, the procedure of the decoding processing to the decoded image from the JPEG compressed data.
復号化装置70においてJPEGの復号化処理を行う場合、まず、エントロピー復号化部71は、JPEG圧縮データに対してエントロピー復号化を行う。 If the decoding device 70 performs JPEG decoding process, first, the entropy decoding unit 71 performs entropy decoding on JPEG compressed data.

次に、逆量子化部72は、逆量子化を行う。 Next, inverse quantization unit 72 performs inverse quantization. このとき、符号化時に使用した量子化テーブル64の情報をJPEG圧縮データから読み取り、逆量子化テーブル73として使用する。 At this time, reads the information of the quantization table 64 used in the encoding of JPEG compressed data is used as the inverse quantization table 73.
次に、逆DCT変換部74は、逆離散コサイン変換(IDCT)を行い、DCT係数をYCbCrデータの復号画像に変換する。 Then, the inverse DCT transform unit 74 performs inverse discrete cosine transform (IDCT), to convert the DCT coefficients in the decoded image of YCbCr data.
最後に、後処理部75は、YCbCrデータからRGBデータへの変換処理を行うことによって、復号画像を得る。 Finally, the post-processing unit 75, by performing the conversion processing from the YCbCr data to RGB data to obtain a decoded image.

以上が、JPEGに関する符号化処理および復号化処理の概要である。 The above is the outline of the encoding and decoding processes related JPEG.
上記のように、JPEGの符号化処理の過程にはDCT係数の量子化が含まれている。 As described above, it is included quantization of DCT coefficients in the process of the JPEG coding processing. このため、量子化誤差によってデータの劣化が発生する。 Therefore, the deterioration of the data generated by the quantization error. この結果、プリンタなどで復号画像をそのまま用紙上に再現すると、この劣化が復号画像のノイズとして現れる。 As a result, when it is reproduced on the paper a decoded image like a printer, appears as the deterioration of the decoded image noise. ブロック符号化を行う動画圧縮の場合にもこれらのノイズは目障りになるが、静止画の場合は特にじっくり見ることが可能なので細部のノイズも目立つ。 In the case of moving image compression that performs block encoding These noises become unsightly, since the case of the still image that can be particularly seen carefully stand out details of the noise.

復号画像に生じるノイズのうち、視覚的な悪影響を及ぼすものに、モスキートノイズと呼ばれるノイズがある。 Of the noise generated in the decoded image, in which exert a visible artifacts, there is a noise referred to as mosquito noise. モスキートノイズとは、復号画像のエッジ周辺に発生する弱い階調の揺らぎのことをいう。 Mosquito noise and refers to the weak tone fluctuations that occur around the edge decoded image. これは、DCT係数の量子化によって高周波成分の多くが欠落したことにより、原画像に存在していた強いエッジが正確に再現されないことに起因している。 This is because many of the high frequency component is lost by quantization of DCT coefficients, a strong edge that existed in the original image are due to the fact that not reproduced accurately.

このようなノイズを除去するため、図16に示されるように、復号画像に対してフィルタ処理を行い、モスキートノイズを除去した復元画像を生成する画像処理装置100が、従来から考えられている。 To remove such noise, as shown in FIG. 16, performs filter processing on the decoded image, the image processing apparatus 100 for generating a restoration image obtained by removing the mosquito noise has been considered conventionally. なお、フィルタ処理の手法として数多くのフィルタ処理が提案されているが、その1つとして、エッジのぼけを抑えてノイズを除去することが可能な新しいフィルタ処理として、式(1)で示されるSUSANフィルタがある(例えば、非特許文献1参照。)。 Although many filtering as a method of filtering has been proposed, as one of them, as a new filter that can remove the noise by suppressing the blur of the edge, represented by the formula (1) SUSAN there is a filter (e.g., see non-Patent Document 1.). なお、この技術を、以下「第1の従来技術」とも記す。 Note that this technique, hereinafter also referred to as "first prior art".

但し、 However,

である。 It is.

ここで、式(1)〜式(4)において、(x,y)は注目画素の位置を表しており、(i,j)は注目画素に対する各周辺画素の相対位置を表しており、f(x,y)は復号画像における注目画素の画素値を表しており、f(x+i,y+j)は復号画像における各周辺画素の画素値を表しており、g(x,y)はフィルタ処理後の注目画素の画素値を表している。 Here, in the formulas (1) to (4), (x, y) represents the position of the pixel of interest, (i, j) represents the relative position of each peripheral pixel for the target pixel, f (x, y) represents the pixel value of the pixel of interest in the decoded image, f (x + i, y + j) represents a pixel value of each peripheral pixel in the decoded image, g (x, y) after filtering it represents the pixel value of the pixel of interest. また、α x,y (i,j)は、注目画素(x,y)に対する各周辺画素(i,j)のフィルタ係数を表しており、第1フィルタ係数α1 x,y (i,j)と、第2フィルタ係数α2 x,y (i,j)との積によって算出される。 Further, α x, y (i, j) is the pixel of interest (x, y) represents a filter coefficient of each peripheral pixel (i, j) for the first filter coefficient α1 x, y (i, j ) When the second filter coefficient [alpha] 2 x, is calculated by the product of the y (i, j). ここで、第1フィルタ係数α1 x,y (i,j)は、注目画素との距離が近い周辺画素ほどフィルタ係数が大きくなるように設計されており、第2フィルタ係数α2 x,y (i,j)は、注目画素の画素値に近い画素値を有する周辺画素ほどフィルタ係数が大きくなるように設計されている。 Here, the first filter coefficient α1 x, y (i, j ) is the distance between the pixel of interest are designed such that the filter coefficient increases as the peripheral pixels close, the second filter coefficient α2 x, y (i , j) is the filter coefficient as the surrounding pixel having a pixel value close to the pixel value of the pixel of interest is designed to be larger.

なお、σは注目画素から各周辺画素までの距離が第1フィルタ係数α1 x,y (i,j)に与える影響を調節するパラメータであり、tは注目画素と周辺画素との画素値の差分値が第2フィルタ係数α2 x,y (i,j)に与える影響を調節するパラメータである。 Incidentally, sigma is a parameter for adjusting the effect of distance to each peripheral pixel is given to the first filter coefficient α1 x, y (i, j ) from the pixel of interest, t is the difference of pixel values between the target pixel and peripheral pixels value is a parameter for adjusting the effect on the second filter coefficient α2 x, y (i, j ).
このフィルタの最大の特徴は、第2フィルタ係数α2 x,y (i,j)の算出方法にある。 The biggest feature of this filter is the second filter coefficient [alpha] 2 x, in the method of calculating the y (i, j).

ここで、注目画素の画素値と各周辺画素の画素値との差分値と、この差分値から算出される第2フィルタ係数α2 x,y (i,j)の値との関係を図17に示す。 Here, the pixel value of the pixel of interest and the difference value between the pixel value of each peripheral pixel, the second filter coefficient [alpha] 2 x calculated from this differential value, y (i, j) the relationship between the value of 17 show.
この図17からわかるように、周辺画素の画素値が注目画素の画素値に近い場合には、第2フィルタ係数α2 x,y (i,j)に大きな値が設定され、逆に、周辺画素の画素値が注目画素の画素値と大きく異なる場合には、第2フィルタ係数α2 x,y (i,j)に小さな値が設定される。 As can be seen from FIG. 17, when the pixel values of the peripheral pixels close to the pixel value of the pixel of interest, the second filter coefficient [alpha] 2 x, is large value y (i, j) is set, on the contrary, the peripheral pixels of If the pixel value is significantly different from the pixel value of the pixel of interest, the second filter coefficient α2 x, y (i, j ) small value is set.

ここで、パラメータtに大きな値を設定すると、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対しても大きいフィルタ係数が設定されるため、強く平滑化処理することに対応している。 Here, the high value of the parameter t, for large filter coefficient with respect to peripheral pixels having relatively significantly different pixel value from the pixel value of the pixel of interest is set, in response to processing strongly smoothing ing. 逆に、パラメータtに小さな値を設定すると、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されることから、弱く平滑化処理することに対応している。 Conversely, setting a small value for the parameter t, in addition to the peripheral pixel having a very close pixel value to the pixel value of the pixel of interest is the fact that small filter coefficients are set, in response to processing weakly smoothed there. このため、SUSANフィルタを適用する場合には、予め処理の目的に応じてパラメータtを最適な一定の値に設定しておく必要がある。 Therefore, when applying the SUSAN filter, it is necessary to set the optimum constant value of the parameter t in accordance with the pre-processing purposes.

このSUSANフィルタを用いて、モスキートノイズを除去する場合について考える。 Using this SUSAN filter, consider the case of removing the mosquito noise.
前述したように、モスキートノイズは強いエッジの周辺に弱い階調の揺らぎとして発生する。 As described above, mosquito noise is generated as a fluctuation of a weak tone around the strong edges.
図18は、エッジとモスキートノイズの関係を模式的に表した図である。 Figure 18 is a diagram schematically showing the relationship between the edge and mosquito noise. なお、SUSANフィルタのパラメータtの値は、エッジの階調変化に比べて十分小さく、なおかつ、モスキートノイズの階調変化に比べて十分大きく設定されているものとする。 Note that the value of the parameter t of SUSAN filter is sufficiently smaller than the gradation change of edge, yet, is assumed to be set sufficiently larger than the gradation change of mosquito noise. ここで、モスキートノイズ部分の画素に対してSUSANフィルタを適用すると、第2フィルタ係数α2 x,y (i,j)の効果によって、注目画素の画素値と大きく異なる画素値を持つエッジ部分の画素には非常に小さなフィルタ係数が設定されるため、実質的にフィルタ処理にはほとんど影響を与えることがなく、注目画素の画素値に近い画素値を持つ注目画素近傍のモスキートノイズ部分の画素に対してのみ大きなフィルタ係数が設定されてフィルタ処理が行われる。 Here, applying SUSAN filter to pixels of the mosquito noise portion, the second filter coefficient α2 x, y (i, j ) by the effect of the pixel of the edge portion having a pixel value largely different from the pixel value of the pixel of interest since very small filter coefficient is set to, without giving little effect substantially filtering to pixels of the mosquito noise portion near the target pixel having a pixel value close to the pixel value of the pixel of interest Tenomi is set large filter coefficient filter process is performed. このため、エッジをぼかすことなく、なおかつ、モスキートノイズを有効に除去することができる。 Therefore, without blurring the edges, yet, it is possible to effectively remove mosquito noise.

以上の考察から、エッジの鮮鋭度を保持してモスキートノイズを除去するには、注目画素の画素値と周辺画素の画素値との差分値に基づいてフィルタ係数を決定するフィルタ処理が非常に有効であると考えられる。 From the above consideration, in order to remove the mosquito noise retain the sharpness of the edges, the filter determines a filter coefficient based on the difference value between pixel values ​​of the peripheral pixels of the target pixel processing is very effective it is considered to be.

また、複数のブロックに分割された画像データから、各ブロック毎にノイズを除去する画像処理装置であって、ブロック毎の画像データをもとに、ブロック毎に隣接画素間の差分値の頻度分布を求め、頻度分布に基づいてブロック毎にエッジが含まれるか否かを判別する判別部と、判別部により判別された結果をもとに、ノイズを除去するブロックを選択する選択部とを備える画像処理装置が、従来から考えられている(特許文献1参照。)。 Further, from the image data divided into a plurality of blocks, an image processing apparatus for removing noise for each block, based on the image data for each block, the frequency distribution of the differential values ​​between neighboring pixels for each block look, comprising a determination unit for determining whether or not include an edge for each block based on the frequency distribution, based on the result of the determination by the determination unit, and a selection unit for selecting a block to remove noise the image processing apparatus has been considered conventionally (see Patent Document 1.). なお、この技術を、以下「第2の従来技術」とも記す。 Note that this technique, hereinafter also referred to as "second prior art".

このような第2の従来技術によれば、図19に示されるようにエッジを含むブロックにおいてはフィルタ(εフィルタ)処理が施され、エッジを含まないブロックではフィルタ処理を施さないため、簡便な処理で、不要なモスキートを除去するとともに、テクスチャのぼけを防止することができる。 According to the second prior art, since the block including the edge, as shown in FIG. 19 is a filter (epsilon filter) processing is applied, at block containing no edge is not subjected to the filtering process, a simple in the process, to remove the unwanted mosquito, it is possible to prevent the blurring of the texture.
特許3011828号公報(第1頁、第1図) Patent 3011828 JP (page 1, FIG. 1)

しかしながら、第1の従来技術によれば、モスキートノイズを除去するためにSUSANフィルタを使用すると、図20に示されるように、看板の領域に生じたモスキートノイズを除去してもエッジがぼけないという顕著な効果があるものの、木々の葉のようなテクスチャ領域において非常に大きなぼけが発生するという課題がある。 However, according to the first prior art, that by using the SUSAN filter to remove mosquito noise, as shown in FIG. 20, be removed mosquito noise generated in the signboard area not blurred edge although there is a significant effect, there is a problem that a very large blur is generated in the texture region, such as the leaves of trees. これは、モスキートノイズを有効に除去するには、パラメータtの値を、モスキートノイズの階調変化の大きさに比べて十分大きな値に設定する必要があるが、このようなパラメータtを用いてテクスチャの領域をフィルタ処理すると、原画像から存在していたテクスチャの階調変化まで除去されてしまうことに起因していた。 This is to effectively remove mosquito noise, the value of the parameter t, it is necessary to set a sufficiently large value in comparison with the magnitude of the gray level changes in the mosquito noise, by using such parameters t When filtering regions of texture, was attributed to the cause is removed to gradation change of the texture was present from the original image.

一方、第2の従来技術によれば、モスキートノイズの除去効果を損なうことなく、テクスチャのぼけを抑制できるものの、弱いエッジにおいてはフィルタ処理が施されないため、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりする新たな問題点が発生することになる。 On the other hand, according to the second prior art, without impairing the effect of removing mosquito noise, although the blurring of the texture can be suppressed, since the filter processing is not performed in the weak edges, or leftover mosquito noise, the edge new problems without the image quality that there is or accidentally change the extreme will occur.
そこで、本発明では、モスキートノイズの除去効果を損なうことなく、エッジとテクスチャの両方のぼけを抑え、しかも、弱いエッジにおいても、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりすることを防止した画像処理装置および画像処理方法を提供することを目的とする。 Therefore, in the present invention, without impairing the effect of removing mosquito noise, suppresses blurring of both edges and texture, moreover, even in weak edges, or leftover mosquito noise, image quality is extremely without having the edge and to provide an image processing apparatus and method to prevent or accidentally changed.

上記問題点を解決するために、本発明に係る画像処理装置においては、多値画像をM×N画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成する画像処理装置であって、前記復号画像を構成する各画素に対してそれぞれ設定されたフィルタ処理領域内における注目画素の画素値と、周辺画素の画素値との差分値を算出する差分値算出手段と、各前記画素における画素値の分布係数を算出する分布係数算出手段と、前記差分値算出手段によって算出された前記差分値と、前記分布係数算出手段によって算出された前記分布係数とに基づいて、前記周辺画素に対するフィルタ係数を算出するフィルタ係数算出手段と、前記フィルタ係数算出手段 In order to solve the above problems, an image processing apparatus according to the present invention, the multi-value image to M × N decoded image obtained by decoding the compressed data obtained by encoding each block of pixels an image processing apparatus for generating a restored image by performing a filter process for removing noise, a pixel value of the pixel of interest in the filter processing area set respectively for each pixel constituting the decoded image and a difference value calculating means for calculating a difference value between pixel values ​​of the peripheral pixels, the distribution coefficient calculation means for calculating a distribution coefficient of pixel values ​​in each of the pixels, and the difference value calculated by said difference value calculation means , on the basis of said distribution coefficient calculated by the distribution coefficient calculating means, a filter coefficient calculating means for calculating the filter coefficients for the peripheral pixels, the filter coefficient calculation means よって算出された前記フィルタ係数を用いて、前記復号画像における注目画素の画素値に対してフィルタ処理を行い、復元画像における注目画素の画素値を算出するフィルタ処理手段とを備えることを特徴とする。 Thus by using the calculated the filter coefficients, performs filter processing on the pixel value of the pixel of interest in the decoded image, characterized by comprising a filtering means for calculating a pixel value of the pixel of interest in the restored image .

ここでは、前記分布係数が大きいほどエッジに影響を及ぼさない範囲でフィルタ係数が大きくなるようにする。 Here, as the filter coefficient increases in a range which does not affect the edge as the distribution coefficient is large. このようにすることにより、エッジを含むフィルタ処理領域では、分布係数の値が大きいため、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対しても大きいフィルタ係数が設定されて強い平滑化が行われ、エッジをぼかすことなく、なおかつ、モスキートノイズを有効に除去することができる。 In this way, in the filtering process area including the edges, due to the large value of the distribution coefficient, it is set larger the filter coefficient with respect to peripheral pixels having relatively significantly different pixel value from the pixel value of the pixel of interest strong smoothing is performed without blurring the edges, yet, it is possible to effectively remove mosquito noise. 一方、前記分布係数が小さいほどフィルタ係数が小さくなるようにする。 On the other hand, so that the filter coefficient as the distribution coefficient is small becomes small. このようにすることにより、エッジを含まないテクスチャなどのフィルタ処理領域では、分布係数の値が小さいため、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されて弱い平滑化が行われ、ぼけの発生を抑制することができる。 In this way, in the filtering process areas such as texture without the edge, because the value of the distribution coefficient is small, setting a small filter coefficients in addition to the peripheral pixel having a very close pixel value to the pixel value of the pixel of interest is a weak smoothing is performed, it is possible to suppress the occurrence of blurring. しかも、従来のようにフィルタ処理を行うブロックと行わないブロックとに分けるような処理でなく、全ての画素に対して適切なフィルタ処理が行われるので、モスキートノイズが残ってしまったり、エッジを含むブロックと含まないブロックとで画質が極端に変化してしまったりする事態を確実に防止することができる。 Moreover, instead of processing as divided into a block traditional not performed as a block that performs filtering so that, since the appropriate filter processing for all the pixels is performed, or leftover mosquito noise, including edge a situation in which the or image quality in a block that does not contain a block've changed extreme can be reliably prevented.

具体的には、本発明に係る画像処理装置においては、前記分布係数算出手段は、各前記画素における画素値の分布係数を前記ブロック毎に算出することを特徴とする構成としてもよい。 Specifically, in the image processing apparatus according to the present invention, the distribution coefficient calculation means may be configured and calculates a distribution coefficient of pixel values ​​in each of the pixels for each said block.
これにより、前記ブロック毎に画素値の分布係数を簡単に算出することができ、全ての画素に対して適切なフィルタ処理を行うことができる。 Thus, the distribution coefficient of pixel values ​​for each block can be easily calculated, it is possible to perform proper filtering processing on all the pixels.

また、本発明に係る画像処理装置においては、前記分布係数算出手段は、前記ブロック毎に画素値の分布係数を算出し、算出されたブロックにおける画素値の分布係数と、当該ブロックに隣接する周囲のブロックにおける画素値の分布係数とを補間して各画素における画素値の補間分布係数を算出し、算出した補間分布係数を各前記画素における画素値の分布係数として用いることを特徴とする構成とすることもできる。 Further, around the image processing apparatus according to the present invention, the distribution coefficient calculation means calculates a distribution coefficient of pixel value for each said block, the distribution coefficient of pixel values ​​in the calculated block adjacent to the block configuration and that calculates an interpolation distribution coefficients of pixel values ​​in each pixel by interpolation and distribution coefficient of the pixel values ​​in the block, which comprises using the calculated interpolation distribution coefficients as a distribution coefficient of pixel values ​​in each of the pixel it is also possible to.
これによって、ブロック境界においても分布係数が連続的に変化するので、平滑化の強さが連続的に変化するフィルタ処理を実現することができる。 Thus, since the distribution coefficient changes continuously in block boundaries, it is possible to realize a filtering strength of smoothing is continuously changed.

さらに、本発明に係る画像処理装置においては、前記分布係数算出手段は、所定のエッジ影響度算出領域における前記周辺画素のエッジ強度を算出するエッジ強度算出手段と、前記エッジ強度算出手段が算出した前記周辺画素のエッジ強度と、前記注目画素と前記周辺画素との距離とに基づいて注目画素に対するエッジ影響度を算出し、算出したエッジ影響度の最大値を各前記画素の画素値の分布係数として算出する最大エッジ影響度算出手段とを備えることを特徴とする構成とすることもできる。 Further, in the image processing apparatus according to the present invention, the distribution coefficient calculation means, an edge intensity calculating means for calculating an edge strength of the peripheral pixels in the predetermined edge influence calculation region, the edge strength calculating unit has calculated an edge intensity of the peripheral pixels, the distribution coefficient of the based on the target pixel and the distance between the peripheral pixels is calculated edge influence on the pixel of interest, the maximum value of the calculated edge influence pixel value of each said pixel comprise a maximum edge influence calculation means for calculating as may be configured, wherein.

これによって、ブロック境界がわからない場合であっても、周辺画素のエッジ強度と、注目画素と周辺画素との距離とに基づいて分布係数が連続的に変化するので、平滑化の強さが連続的に変化するフィルタ処理を実現することができる。 Thus, even if you do not know the block boundary, and the edge strength of the surrounding pixels, since the distribution coefficient based on the distance between the target pixel and the surrounding pixels is changed continuously, continuously the strength of smoothing it is possible to realize a filter that changes.
ここで、前記分布係数算出手段は、前記ブロック内における画素値の最大値から最小値を減算した差分値を、当該ブロックの画素値の分布係数として算出することを特徴としてもよい。 Here, the distribution coefficient calculation means, a difference value obtained by subtracting the minimum value from the maximum value of pixel values ​​in the block may be characterized by calculating the distribution coefficient of the pixel values ​​of the block.

これによって、分布係数を簡単に求めることができる。 This makes it possible to determine the distribution coefficient easily.
また、前記分布係数算出手段は、前記ブロック内における平均画素値からの分散値を、当該ブロックの画素値の分布係数として算出することを特徴とすることもできる。 Also, the distribution coefficient calculation means, the variance from the average pixel value in the block, it is also possible, and calculates a distribution coefficient of the pixel values ​​of the block.
これによっても、分布係数を簡単に求めることができる。 This also can be obtained distribution coefficients easily.

また、前記分布係数算出手段は、前記ブロック内における最大エッジ強度を、当該ブロックの画素値の分布係数として算出することを特徴とすることもできる。 Also, the distribution coefficient calculation means, the maximum edge intensity in the block, it is also possible, and calculates a distribution coefficient of the pixel values ​​of the block.
これによっても、分布係数を簡単に求めることができる。 This also can be obtained distribution coefficients easily.

なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な手段をステップとする画像処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。 The present invention not only can be realized as such an image processing apparatus, or the characteristic units such an image processing apparatus comprises an image processing method having, as steps, the computer those steps It may be a program causing executed. そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。 Then, it goes without saying that such a program can be distributed via a transmission medium such as a recording medium or the Internet, such as a CD-ROM.

以上の説明から明らかなように、本発明に係る画像処理装置によれば、エッジを含むフィルタ処理領域では、分布係数の値が大きいため、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対しても大きいフィルタ係数が設定されて強い平滑化が行われ、モスキートノイズを有効に除去することができる。 As apparent from the above description, according to the image processing apparatus according to the present invention, in the filtering process area including the edges, due to the large value of the distribution coefficient, with relatively largely different pixel values ​​from the pixel value of the pixel of interest strong smoothing is performed greater filter coefficients even for the peripheral pixels is set, it is possible to effectively remove mosquito noise. 一方、エッジを含まないテクスチャなどのフィルタ処理領域では、分布係数の値が小さいため、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されて弱い平滑化が行われ、ぼけの発生を抑制することができる。 On the other hand, in the filtering process areas such as texture without the edge, because the value of the distribution coefficient is small, weak smoothing other than the peripheral pixel having a very close pixel value to the pixel value of the pixel of interest is set to a small filter coefficients been conducted, it is possible to suppress the occurrence of blurring. しかも、従来のようにフィルタ処理を行うブロックと行わないブロックとに分けるような処理でなく、全ての画素に対して適切なフィルタ処理が行われるので、モスキートノイズが残ってしまったり、エッジを含むブロックと含まないブロックとで画質が極端に変化してしまったりする事態を確実に防止することができる。 Moreover, instead of processing as divided into a block traditional not performed as a block that performs filtering so that, since the appropriate filter processing for all the pixels is performed, or leftover mosquito noise, including edge a situation in which the or image quality in a block that does not contain a block've changed extreme can be reliably prevented.

よって、本発明により、高画質の復元画像を再現することが可能となり、デジタルカメラ等の他、高精細なプリンタやプロジェクタ等が普及してきた今日における本願発明の実用的価値は極めて高い。 Accordingly, the present invention makes it possible to reproduce the restored image of high quality, other digital cameras, etc., the practical value of the present invention in today high definition printers and projectors etc. have become popular is extremely high.

以下、図面を参照しながら本発明の実施例について説明する。 Hereinafter, a description will be given of an embodiment of the present invention with reference to the drawings.
(実施の形態1) (Embodiment 1)
図1は、デジタルカメラおよびプリンタの外観構成を示す図である。 Figure 1 is a diagram showing an external configuration of a digital camera and printer.
デジタルカメラex100は、CCDやCMOSなどのカラーイメージセンサと、上記した画像符号化装置60(図15参照)などとから構成され、カラーイメージセンサによって取得された原画像を、符号化装置60によってブロック毎に符号化することにより、JPEG圧縮データを生成し、生成したJPEG圧縮データをSDカードex200に記録する。 Digital camera ex100 is constituted by a color image sensor such as a CCD and a CMOS, an image encoding device 60 described above (see FIG. 15) and the like, the original image acquired by the color image sensor, blocked by the encoding device 60 by encoding each, generates JPEG compressed data, and records the generated JPEG compressed data on the SD card ex200.

プリンタex400は、いわゆるダイレクトプリント機能を有し、SDカードex200を装着するためのカードリーダex301や、上記した画像復号化装置70の他、画像処理装置と、前処理部と、プリンタエンジン等とから構成される。 Printer ex400 has a so-called direct print function, and a card reader ex301 for attaching the SD card ex200, another image decoding apparatus 70 described above, the image processing apparatus, and a pre-processing unit, and a printer engine or the like constructed.
プリンタex400は、ユーザから指示されたJPEG圧縮データをSDカードex200から読み出して復号化装置70のエントロピー復号化部71、逆量子化部72、逆量子化テーブル73および逆DCT変換部74によって復号化し、YCbCrデータの復号画像を生成する。 Printer ex400 decodes the entropy decoding unit 71, inverse quantization unit 72, inverse quantization table 73 and the inverse DCT transform unit 74 of the decoding device 70 reads the JPEG compressed data indicated by a user from the SD card ex200 to generate a decoded image of YCbCr data. なお、この復号画像には、エッジ近傍に発生したモスキートノイズが含まれている。 Note that this decoded image includes mosquito noise generated near an edge.

画像処理装置は、逆DCT変換部74から出力されたYCbCrデータの復号画像の内のY成分に対してフィルタ処理を施すことにより、モスキートノイズを除去し、エッジおよびテクスチャのぼけを抑え、しかも、弱いエッジにおいても、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりすることを防止した復元画像を生成する。 The image processing apparatus, by applying a filtering process to the Y component of the decoded image of YCbCr data outputted from the inverse DCT unit 74, to remove the mosquito noise, suppresses blurring of edges and texture, moreover, also in weak edges, or generate any leftover mosquito noise, the restored image without quality of edge is prevented from or accidentally changed extremely.

復号化装置70の後処理部75は、画像処理装置によってフィルタ処理が施されたY成分と元のCbCrデータとに基づいて、復元画像のRGBデータに変換する。 Post-processing unit 75 of the decoding device 70, the image processing apparatus based on the Y component filtering process has been performed and the original CbCr data is converted into RGB data of the restored image.
前処理部は、RGBカラーの復元画像をYMCKのカラー復元画像に変換する。 Preprocessing unit converts the restored image of the RGB color color reconstructed image of YMCK.
プリンタエンジンは、用紙上にYMCKのカラーの復元画像を再生する。 The printer engine reproduces the color of the reconstructed image of YMCK on the sheet. ここで、画像処理装置によって生成される復元画像においては、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつ、モスキートノイズを除去している。 Here, in the restoration image generated by the image processing apparatus, to suppress the blurring of edges and texture, while preventing the without quality of edges or accidentally changed extremely, to remove mosquito noise there. したがって、用紙上に再現される復元画像においても、図1に示されるように、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつ、エッジ強度の高い低いの如何に拘わらずモスキートノイズを除去することができる。 Accordingly, even in a restored image to be reproduced on the sheet, as shown in FIG. 1, to suppress the blurring of edges and texture, while preventing the without quality of edges or accidentally changed extremely, mosquito noise regardless of high edge intensity lower can be removed.

図2は、図1に示されるプリンタex400に実装された画像処理装置の機能構成を示すブロック図である。 Figure 2 is a block diagram showing a functional configuration of an image processing apparatus mounted on the printer ex400 shown in Fig.
画像処理装置1は、復号画像のY成分に対してブロック毎にフィルタ処理を施すことにより、復元画像を生成するものであって、図2に示されるように、差分値算出部11と、分布係数算出部12と、フィルタ係数算出部13と、フィルタ処理部14とを備える。 The image processing apparatus 1, by performing filter processing for each block with respect to the Y component of the decoded image, there is to generate a restored image, as shown in FIG. 2, the difference value calculation unit 11, the distribution It includes a coefficient calculation unit 12, a filter coefficient calculation unit 13, and a filter processing section 14.

差分値算出部11は、注目画素の画素値と各周辺画素の画素値との差分値を算出する。 Difference value calculation unit 11 calculates the pixel value of the pixel of interest and a difference value between pixel values ​​of the surrounding pixels.
分布係数算出部12は、各ブロックにおける画素値の分布係数を算出する。 Distribution coefficient calculation unit 12 calculates the distribution coefficients of pixel values ​​in each block.
フィルタ係数算出部13は、差分値算出部11において算出された差分値と、分布係数算出部12において算出された分布係数とに基づいて、各周辺画素に対するフィルタ係数をそれぞれ算出する。 Filter coefficient calculator 13, the difference value calculated in the difference value calculating section 11, based on the distribution coefficient calculated in the distribution coefficient calculation unit 12 calculates respective filter coefficients for each peripheral pixel.

フィルタ処理部14は、フィルタ係数算出部13において算出された各周辺画素に対するフィルタ係数を用いてフィルタ処理を行い、ノイズが除去された復元画像を生成する。 Filter processing unit 14 performs filtering processing using the filter coefficient for each peripheral pixel calculated in the filter coefficient calculation unit 13, and generates a restored image with noise removed.
なお、上記画像処理装置1を構成する差分値算出部11、分布係数算出部12、フィルタ係数算出部13およびフィルタ処理部14は、CPUや、画像処理プログラムを予め格納したROM、画像処理プログラムを実行するためのワークエリア等を提供するRAM等によって構成される。 Incidentally, the difference value calculation unit 11 constituting the image processing apparatus 1, the distribution coefficient calculation unit 12, the filter coefficient calculation unit 13 and the filter processing unit 14, and CPU, ROM that stores an image processing program in advance, the image processing program It composed of RAM which provides a work area or the like for executing.

本画像処理装置1のフィルタ処理部14は、以下の式(5)によって表すことができる。 Filter processing unit 14 of the image processing apparatus 1 can be expressed by the following equation (5).

但し、 However,

である。 It is.

ここで、上式(5)〜(8)において、(x,y)は、注目画素の位置を表している。 Here, in the above equation (5) ~ (8), (x, y) represents the position of the pixel of interest. (i,j)は、注目画素に対する各周辺画素の相対位置を表している。 (I, j) is represents the relative position of each peripheral pixel for the pixel of interest. f(x,y)は、復号画像における注目画素の画素値を表している。 f (x, y) is represents the pixel value of the pixel of interest in the decoded image. f(x+i,y+j)は、復号画像における各周辺画素の画素値を表している。 f (x + i, y + j) represents a pixel value of each peripheral pixel in the decoded image. g(x,y)は、フィルタ処理後の復元画像における注目画素の画素値を表している。 g (x, y) is, represents the pixel value of the pixel of interest in the restored image after the filtering process. また、(X,Y)は、注目画素(x,y)が含まれるブロックの位置を表している。 Further, (X, Y) denotes, represents the position of the block including the pixel of interest (x, y). β x,y (i,j)は、注目画素(x,y)に対する各周辺画素(i,j)のフィルタ係数を表している。 β x, y (i, j ) represents a filter coefficient of each peripheral pixel (i, j) for the target pixel (x, y). ν x,y (i,j)は、注目画素の画素値f(x,y)と各周辺画素の画素値f(x+i,y+j)との差分値を表している。 ν x, y (i, j ) represents the difference value between the pixel value f (x, y) of the pixel of interest and the pixel value f of each peripheral pixel (x + i, y + j ). U(X,Y)は、ブロック(X,Y)における画素値の最大値から最小値を減算した値(分布係数)を表している。 U (X, Y) represents a block (X, Y) value obtained by subtracting the minimum value from the maximum value of pixel values ​​in (distribution coefficient). また、Kは、予め設定された定数値を表している。 Also, K is represents a preset constant value.

次いで、上記のように構成された画像処理装置1で復号画像から復元画像を生成するときの動作について説明する。 Next, the operation when generating a restored image from the decoded image in the image processing apparatus 1 configured as described above.
図3は、画像処理装置1における復号画像から復元画像を生成するときの動作を示すフローチャートである。 Figure 3 is a flowchart showing an operation for generating a restoration image from the decoded image in the image processing apparatus 1. なお、画像処理装置1は、復元画像を生成するに際して、JPEG圧縮データを復号する過程で、復号画像のどこにブロック境界線が存在するかの情報を予め取得している。 The image processing apparatus 1, when generating a restored image, in the process of decoding the JPEG compressed data is obtained in advance where to whether the block boundary is present information of the decoded image.

画像処理装置1は、各ブロックについて、以下の処理を繰り返し実行する(S11)。 The image processing apparatus 1, for each block, repeatedly executes the following processing (S11). まず、分布係数算出部12は、M×N画素単位の各ブロック(図4に示されるブロック境界線で区切られた領域)毎に、画素値の最大値と最小値とを順次取得し(S12,S13)、そのブロックにおける最大画素値max{f(x,y)}から最小画素値min{f(x,y)}を減算し、減算した値を、そのブロックに適用する分布係数U(X,Y)として算出する(S14)。 First, the distribution coefficient calculation unit 12, the (delimited area block boundary line shown in FIG. 4) for each block of M × N pixels, sequentially acquires the maximum and minimum values ​​of the pixel values ​​(S12 , S13), the maximum pixel value max {f (x, y)} in the block by subtracting the minimum pixel value min {f (x, y)} from the subtracted value, to apply to the block distribution coefficient U ( X, Y) is calculated as (S14).

各ブロックに適用する分布係数の算出が終わると(S15)、差分値算出部11は、復号画像の各画素について、以下の処理を繰り返し実行する(S16)。 When the calculation of the distribution coefficient to be applied to each block ends (S15), the difference value calculation unit 11, for each pixel of the decoded image, repeatedly executes the following processing (S16). 差分値算出部11は、ある注目画素の画素値f(x,y)とフィルタ処理領域内の各周辺画素(図4に示されるフィルタ処理領域に含まれる全ての周辺画素)の画素値f(x+i,y+j)との差分値ν x,y (i,j)をそれぞれ算出する(S17)。 Difference value calculation unit 11, a pixel value f (x, y) of the pixel of interest and the pixel value f for each peripheral pixel of the filter processing region (all peripheral pixels included in the filtering region shown in FIG. 4) ( x + i, y + j) and the difference value ν x, y (i, j ) and calculates respective (S17).

ここで、図4は、注目画素、フィルタ処理に使用する周辺画素の領域(フィルタ処理領域)と、ブロック境界線によってM×N画素単位に分割されたブロックとの位置関係を示している。 Here, FIG. 4, the pixel of interest, the region of the peripheral pixels to be used for filtering (filtering area) shows the positional relationship between the blocks divided into M × N pixel units by block boundaries. なお、この図4では、フィルタのサイズとして5×5、ブロックのサイズとして8×8の場合を示しているが、本発明はこのサイズに限定されるものではない。 In FIG. 4, 5 × 5 as the size of the filter, the case of 8 × 8 as the size of the block, the present invention is not limited to this size. また、フィルタ処理領域としては、矩形に限定されるものではない。 As the filtering region, but is not limited to a rectangle.

全ての差分値ν x,y (i,j)の算出が終わると(S18)、フィルタ係数算出部13は、フィルタ処理領域内の各周辺画素について、以下の処理を繰り返し実行する(S19)。 All the difference values ν x, y (i, j ) the calculation of the ends (S18), the filter coefficient calculation unit 13, for each peripheral pixel of the filter processing region, repeatedly executes the following processing (S19). フィルタ係数算出部13は、差分値算出部11において算出された差分値ν x,y (i,j)と、分布係数算出部12において算出された分布係数U(X,Y)とから、各周辺画素に対するフィルタ係数β x,y (i,j)を算出する(S20)。 Filter coefficient calculation unit 13, the difference value calculated in the difference value calculating unit 11 [nu x, and y (i, j), the distribution coefficients calculated in the distribution coefficient calculation unit 12 U (X, Y) from the respective filter coefficient beta x for the peripheral pixels, calculates the y (i, j) (S20 ). 具体的には、式(6)に示される算出式によってフィルタ係数β x,y (i,j)を求めることができる。 Specifically, it can be determined by calculating formula shown in Equation (6) filter coefficients beta x, y and (i, j). ここで、分布係数U(X,Y)の値については、注目画素が含まれるブロックで算出された値を使用し、差分値ν x,y (i,j)については、各周辺画素に対してそれぞれ算出された値を使用する。 Here, the value of the distribution coefficient U (X, Y), using the values calculated in the block including the target pixel, the difference value [nu x, for y (i, j), for each peripheral pixel using the calculated values, respectively Te.

なお、式(6)における定数Kは、分布係数U(X,Y)がフィルタ係数β x,y (i,j)の算出に与える影響を調節するためのパラメータであり、予め適当な値を設定することができる。 Incidentally, the constant K in the equation (6), the distribution coefficient U (X, Y) is a parameter for adjusting the effect on the calculation of the filter coefficients beta x, y (i, j), the advance appropriate value it can be set.
全てのフィルタ係数β x,y (i,j)の算出が終わると(S21)、フィルタ処理部14は、各注目画素について、以下の処理を繰り返し実行する(S22)。 All filter coefficients β x, y (i, j ) the calculation of the ends (S21), the filter processing unit 14, for each pixel of interest, repeatedly executes the following processing (S22). フィルタ処理部14は、フィルタ係数算出部13において算出された各周辺画素に対するフィルタ係数β x,y (i,j)を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する(S23)。 Filter processing unit 14, the filter coefficient beta x for each peripheral pixel calculated in the filter coefficient calculation unit 13, y (i, j) using, performs filter processing of a pixel of interest, pixels of the pixel of interest after filtering calculating a value (S23). このような処理(S23)を繰り返し実行し、全てのブロック内の各画素についてフィルタ処理後の画素値を算出し終わると(S24)、復元画像が生成され、復元画像生成処理を終了する。 Such processing (S23) repeatedly executed, when for each pixel in all blocks finishes calculating the pixel values ​​of the filtered (S24), the restored image is generated, and ends the restored image generation processing.

本実施の形態1の画像処理装置1を用いた場合、エッジを含むブロックでは、分布係数U(X,Y)の値が大きいため、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対してもエッジに影響を及ぼさない範囲で大きいフィルタ係数が設定されて強い平滑化が行われ、モスキートノイズを有効に除去することができる。 When using the image processing apparatus 1 of the first embodiment, in the block containing the edge, due to the large value of the distribution coefficient U (X, Y), the peripheral having relatively significantly different pixel value from the pixel value of the pixel of interest also a strong smoothing is performed is set larger filter coefficient within a range that does not affect the edge with respect to the pixels, it is possible to effectively remove mosquito noise. 一方、エッジを含まないテクスチャなどのブロックでは、分布係数U(X,Y)の値が小さいため、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されて弱い平滑化が行われ、ぼけの発生を抑制することができる。 On the other hand, a block of such a texture that does not contain edges, the distribution coefficient U (X, Y) because the value is small, is set small filter coefficients in addition to the peripheral pixel having a very close pixel value to the pixel value of the pixel of interest weak smoothing is performed, it is possible to suppress the occurrence of blurring Te. しかも、従来のようにフィルタ処理を行うブロックと行わないブロックとに分けるような処理でなく、全てのブロックに対して適切なフィルタ処理が行われるので、モスキートノイズが残ってしまったり、エッジを含むブロックと含まないブロックとで画質が極端に変化してしまったりする事態を確実に防止することができる。 Moreover, instead of processing as divided into a block traditional not performed as a block that performs filtering so that, since the appropriate filter processing for all the blocks is performed, or leftover mosquito noise, including edge a situation in which the or image quality in a block that does not contain a block've changed extreme can be reliably prevented.

(実施の形態2) (Embodiment 2)
図5は、プリンタex400に実装された画像処理装置の他の機能構成を示すブロック図である。 Figure 5 is a block diagram showing another functional configuration of the implemented image processing apparatus to the printer ex400.
画像処理装置2は、復号画像のY成分に対してブロック毎にフィルタ処理を施すことにより、復元画像を生成するものであって、図5に示されるように、差分値算出部11と、分布係数算出部12と、分布係数補間部22と、フィルタ係数算出部23と、フィルタ処理部24とから構成される。 The image processing apparatus 2, by applying a filtering process for each block with respect to the Y component of the decoded image, there is to generate a restored image, as shown in FIG. 5, the difference value calculation unit 11, the distribution a coefficient calculation unit 12, a distribution coefficient interpolation section 22, a filter coefficient calculating unit 23, and a filter processing unit 24. なお、画像処理装置1の構成と対応する部分に同じ番号を付し、その説明を省略する。 Incidentally, given the same number in the configuration corresponding to those of the image processing apparatus 1, the description thereof is omitted.

ここで、実施の形態1の画像処理装置1では、各ブロック内では同一の分布係数U(X,Y)(画一的な値)を用いてフィルタ係数を算出した。 Here, the image processing apparatus 1 of the first embodiment, to calculate the filter coefficient using the same distribution coefficient U (X, Y) (uniform value) within each block. 一般に、ブロック符号化ではブロック単位で独立に符号化処理が行われるため、モスキートノイズなどのノイズに関してもブロック単位で発生する。 In general, since the encoding process independently in blocks is performed by block coding, also occurs in blocks with respect to noise, such as mosquito noise. このため、上記の処理のようにブロック単位で平滑化の強さを調整することにより、テクスチャのぼけは抑制し、なおかつ、モスキートノイズは有効に除去することが可能となるが、画像によっては、ブロック境界部で平滑化の強さが不連続にならないようにフィルタ処理を行う方が好ましい場合も考えられる。 Therefore, by adjusting the intensity of the smoothing in block units as in the above processing, blur of the texture is suppressed, and yet, mosquito noise is made possible to effectively remove, by the image, If Write strength of smoothed block boundary portion performs filtering so as not to discontinuity is preferably also conceivable.

そこで、この画像処理装置2においては、処理対象のブロックの分布係数と周辺ブロックの分布係数との複数個の分布係数を用い、当該ブロックの分布係数と周辺ブロックの分布係数とを2次元方向に線形補間することにより、画素毎に連続的に変化する補間分布係数u(x,y)を算出するための分布係数補間部22をさらに備え、この値を用いてフィルタ係数を算出することにより、ブロック境界部においても平滑化の強さが連続的に変化するフィルタ処理を実現するように構成されている。 Therefore, in the image processing apparatus 2, using a plurality of distribution coefficient between distribution coefficients of the distribution coefficient and the surrounding blocks of the block to be processed, the distribution coefficient of the distribution coefficient and the surrounding blocks of the block in two dimensions by linear interpolation, the interpolation distribution coefficients u (x, y) which varies continuously in each pixel further comprising a distribution coefficient interpolation section 22 for calculating, by calculating the filter coefficient using this value, is configured to implement the filtering strength of smoothing is continuously changed even at the block boundary portion.

次いで、上記のように構成された画像処理装置2で復号画像から復元画像を生成するときの動作について説明する。 Next, the operation when generating a restored image from the decoded image by the image processing apparatus 2 configured as above.
図6は、画像処理装置2における復号画像から復元画像を生成するときの動作を示すフローチャートである。 Figure 6 is a flowchart showing an operation for generating a restoration image from the decoded image in the image processing apparatus 2. なお、画像処理装置2は、画像処理装置1と同様に、復元画像を生成するに際して、JPEG圧縮データを復号する過程で、復号画像のどこにブロック境界線が存在するかの情報を予め取得している。 The image processing apparatus 2, as in the image processing apparatus 1, when generating a restored image, in the process of decoding the JPEG compressed data, acquired in advance to a where whether the block boundary is present information of the decoded image there.

画像処理装置2は、各ブロックについて、以下の処理を繰り返し実行する(S11)。 The image processing apparatus 2, for each block, repeatedly executes the following processing (S11). まず、分布係数算出部12は、M×N画素単位の各ブロック(図4に示されるブロック境界線で区切られた領域)毎に、画素値の最大値と最小値とを順次取得し(S12,S13)、そのブロックにおける最大画素値max{f(x,y)}から最小画素値min{f(x,y)}を減算し、減算した値を、そのブロックに適用する分布係数U(X,Y)として算出する(S14)。 First, the distribution coefficient calculation unit 12, the (delimited area block boundary line shown in FIG. 4) for each block of M × N pixels, sequentially acquires the maximum and minimum values ​​of the pixel values ​​(S12 , S13), the maximum pixel value max {f (x, y)} in the block by subtracting the minimum pixel value min {f (x, y)} from the subtracted value, to apply to the block distribution coefficient U ( X, Y) is calculated as (S14).

各ブロックに適用する分布係数の算出が終わると(S15)、差分値算出部11は、復号画像の各画素について、以下の処理を繰り返し実行する(S16)。 When the calculation of the distribution coefficient to be applied to each block ends (S15), the difference value calculation unit 11, for each pixel of the decoded image, repeatedly executes the following processing (S16). 差分値算出部11は、ある注目画素の画素値f(x,y)とフィルタ処理領域内の各周辺画素(図4に示されるフィルタ処理領域に含まれる全ての周辺画素)の画素値f(x+i,y+j)との差分値ν x,y (i,j)をそれぞれ算出する(S17)。 Difference value calculation unit 11, a pixel value f (x, y) of the pixel of interest and the pixel value f for each peripheral pixel of the filter processing region (all peripheral pixels included in the filtering region shown in FIG. 4) ( x + i, y + j) and the difference value ν x, y (i, j ) and calculates respective (S17).

全ての差分値ν x,y (i,j)の算出が終わると(S18)、分布係数補間部22は、各画素について、以下の処理を繰り返し実行する(S31)。 All the difference values ν x, y (i, j ) the calculation of the ends (S18), the distribution coefficient interpolation section 22, for each pixel, repeatedly executes the following processing (S31). 分布係数補間部22は、図7に示される注目画素のブロックの分布係数U(X,Y)および周辺ブロックの分布係数U(X−1,Y−1),U(X,Y−1),U(X−1,Y)を用いて、各画素における画素値の補間分布係数u(x,y)を算出する(S32)。 Distribution coefficient interpolation unit 22, the distribution coefficient of the block of the pixel of interest shown in FIG. 7 U (X, Y) and the distribution coefficients of neighboring blocks U (X-1, Y-1), U (X, Y-1) , U (X-1, Y) is used to calculate an interpolation distribution coefficients u (x, y) of pixel values ​​in each pixel (S32).

この補間方法を、図7を参照しながら説明する。 This interpolation method is described with reference to FIG.
まず、分布係数算出部12において算出された分布係数U(X,Y)を各ブロックの中心点における分布係数と仮定する。 First, it is assumed distribution coefficients calculated in the distribution coefficient calculation unit 12 U (X, Y) to the distribution coefficient at the center point of each block.

次に、各ブロックの中心点とそれぞれ隣接する4つのブロックの中心点とを直線で結ぶと、復号画像の各画素は、4つのブロックの中心点で囲まれる矩形領域のいずれかに含まれる。 Then, when connecting the center points of the four blocks adjacent each the center point of each block by a straight line, each pixel of the decoded image is included in one of the rectangular region surrounded by the center points of four blocks. ここで、ある注目画素(x,y)を取り囲む4つのブロックの中心点の分布係数が、それぞれU(X,Y),U(X−1,Y),U(X,Y−1),U(X−1,Y−1)であるとすると、注目画素(x,y)に対する補間分布係数u(x,y)は、これら4つの分布係数を、各中心点から注目画素(x,y)までの距離に応じて線形補間することにより算出することができる。 Here, the distribution coefficient of the center points of the four blocks surrounding a certain pixel of interest (x, y), respectively U (X, Y), U (X-1, Y), U (X, Y-1), When a U (X-1, Y-1), the interpolation distribution coefficients u (x, y) for the target pixel (x, y) is the four distribution coefficients, the pixel of interest from the center point (x, it can be calculated by linear interpolation according to the distance to y).

全ての補間分布係数u(x,y)の算出が終わると(S33)、フィルタ係数算出部23は、各周辺画素について、以下の処理を繰り返し実行する(S19)。 All interpolation distribution coefficients u (x, y) when calculating the ends (S33), the filter coefficient calculating unit 23, for each peripheral pixel, repeatedly executes the following processing (S19). フィルタ係数算出部23は、差分値算出部11において算出された差分値ν x,y (i,j)と、分布係数補間部22において算出された補間分布係数u(x,y)とから、周辺画素に対するフィルタ係数β x,y (i,j)を算出する(S20)。 Filter coefficient calculation unit 23, the difference value [nu x calculated in the difference value calculating section 11, and y (i, j), interpolation distribution coefficients u (x, y) calculated in the distribution coefficient interpolation unit 22 from the, filter coefficient beta x for the peripheral pixels, calculates the y (i, j) (S20 ). 具体的には、式(8)における分布係数U(X,Y)を、各注目画素の位置に対して算出された補間分布係数u(x,y)に置き換えた式を用いて、フィルタ係数β x,y (i,j)を算出する。 Specifically, by using the distribution coefficient U (X, Y) in the formula (8) was replaced by the calculated interpolation distribution coefficients u (x, y) relative to the position of each pixel of interest, wherein the filter coefficients to calculate β x, y the (i, j).

全てのフィルタ係数β x,y (i,j)の算出が終わると(S21)、フィルタ処理部24は、各注目画素について以下の処理を繰り返し実行する(S22)。 All filter coefficients β x, y (i, j ) the calculation of the ends (S21), the filter processing unit 24 repeatedly executes the following process for each pixel of interest (S22). フィルタ処理部24は、フィルタ係数算出部23において算出された各周辺画素に対するフィルタ係数β x,y (i,j)を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する(S23)。 Filter processing unit 24, the filter coefficient beta x for each peripheral pixel calculated in the filter coefficient calculating unit 23, using y (i, j), performs filter processing of a pixel of interest, pixels of the pixel of interest after filtering calculating a value (S23). このような処理(S23)を繰り返し実行し、全てのブロック内の各注目画素についてフィルタ処理後の画素値を算出し終わると(S24)、復元画像が生成され、復元画像生成処理を終了する。 Such processing is repeatedly executed the (S23), if for each pixel of interest in all of the block finishes calculating the pixel values ​​of the filtered (S24), the restored image is generated, and ends the restored image generation processing.

本実施の形態2の画像処理装置2を用いた場合、画像処理装置1と同様の効果を得ることができるだけでなく、分布係数U(X,Y)を補間して算出した画素毎に連続的な補間分布係数u(x,y)を用いてフィルタ係数を算出するため、ブロック境界部においても平滑化の強さが不連続になることはなく、平滑化の強さが連続的に変化するフィルタ処理が実現できる。 When using the image processing apparatus 2 of the second embodiment, the image processing apparatus 1 it is possible to obtain not only the same effect as a continuous for each pixel is calculated by interpolating the distribution coefficient U (X, Y) to calculate the filter coefficient using Do interpolation distribution coefficients u (x, y), and never strength of smoothing is discontinuous even in the block boundary portion, the strength of the smoothing changes continuously filter processing can be realized.

(実施の形態3) (Embodiment 3)
図8は、デジタルカメラ、パーソナルコンピュータ(以下、「PC」とも記す。)、倍率変換器およびプロジェクタの外観構成を示す図である。 8, a digital camera, a personal computer (hereinafter, also referred to as "PC".) Is a diagram showing an external configuration of the magnification converter and projector. なお、デジタルカメラex100、SDカードex200については、図1の場合と同様であるので、その説明を省略する。 Note that the digital camera ex100, SD Card ex200, is the same as that of FIG. 1, the description thereof is omitted.

PCex300は、SDカードex200を装着するためのカードリーダex301や、上記した画像復号化装置70、表示器ex302などから構成され、ユーザから指示されたJPEG圧縮データをSDカードex200から読み出して復号化装置70によって復号化し、RGBカラーの復号画像を生成する。 PCex300 is or card reader ex301 for attaching the SD card ex200, an image decoding apparatus 70 described above, is composed of a display unit ex 302, reads decoding apparatus JPEG compressed data indicated by a user from the SD card ex200 decoded by 70, to generate a decoded image of the RGB color. そして、PCex300は、生成した復号画像を表示器ex302に表示したり、倍率変換器ex500に出力したりする。 Then, PCex300 is, view the generated decoded image to the display unit ex 302, and outputs the magnification converter EX500. なお、表示器ex302に表示される復号画像には、エッジ近傍に発生したモスキートノイズが含まれている。 Note that the decoded image which is displayed on the display unit ex 302, contains the mosquito noise generated in the vicinity of an edge.

倍率変換器ex500は、PCex300から出力されたRGBカラーの復号画像に対してサイズ調整を行い、サイズ調整済みのRGBカラーの復号画像を出力する。 Magnification converter ex500 performs resize the RGB color of the decoded images output from PCex300, and outputs the decoded image of the sized of the RGB color. なお、サイズを縮小したり、拡大したりする場合には、間引き処理や、補間処理が適宜行われる。 Incidentally, or reduced in size, when or expanding, thinning processing and interpolation processing is performed as appropriate.
プロジェクタex600は、前処理部と、画像処理装置と、後処理部と、表示エンジン等とから構成される。 Projector ex600 is composed of a preprocessing unit, and an image processing apparatus, and a post-processing unit, a display engine and the like.

前処理部は、倍率変換器ex400から出力されたサイズ調整済みのRGBカラーの復号画像をYCbCrデータの復号画像に変換する。 Preprocessing unit converts the decoded image of the RGB color of the sized output from the magnification converter ex400 in the decoded image of YCbCr data.
画像処理装置は、前処理部から出力されたYCbCrデータの復号画像の内のY成分に対してフィルタ処理を施すことにより、モスキートノイズを除去し、エッジおよびテクスチャのぼけを抑え、しかも、弱いエッジにおいても、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりすることを防止した復元画像を生成する。 The image processing apparatus, by applying a filtering process to the Y component of the decoded image of YCbCr data outputted from the pre-processing unit, to remove mosquito noise, suppresses blurring of edges and texture, moreover, weak edges in also generates or leftover mosquito noise, the restored image without quality of edge is prevented from or accidentally changed extremely.

後処理部は、画像処理装置によってフィルタ処理が施されたY成分と元のCbCrデータとに基づいて、復元画像のRGBデータに変換する。 Post-processing unit, the image processing apparatus based on the Y component filtering process has been performed and the original CbCr data is converted into RGB data of the restored image.
表示エンジンは、RGBカラーの復元画像をスクリーンex700上にピントを合わせてRGBカラーの復元画像を再現する。 Display engine reproduces the restored image of the RGB color to focus the reconstructed image of the RGB color on the screen EX700. ここで、画像処理装置によって生成される復元画像においては、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつモスキートノイズを除去している。 Here, in the restoration image generated by the image processing apparatus, to suppress the blurring of edges and texture, without the quality of the edge is removed mosquito noise while preventing the or accidentally changed extremely . したがって、スクリーンex700上に再現される復元画像においても、図8に示されるように、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつ、エッジ強度の高い低いの如何に拘わらずモスキートノイズを除去することができる。 Accordingly, even in the restored image reproduced on the screen EX700, as shown in FIG. 8, to suppress the blurring of edges and texture, while preventing the without quality of edges or accidentally changed extremely it can remove mosquito noise regardless of high edge intensity lower.

次いで、プロジェクタex600に実装された画像処理装置について説明する。 Next, a description is given of an image processing apparatus mounted on the projector EX600.
図9は、図8に示されるプロジェクタex600に実装された画像処理装置の機能構成を示すブロック図である。 Figure 9 is a block diagram showing a functional configuration of an image processing apparatus which is mounted in the projector ex600 shown in Fig.
画像処理装置3は、復号画像を構成する各画素のY成分に対して所定のフィルタ処理領域毎にフィルタ処理を施すことにより、復元画像を生成するものであって、図9に示されるように、差分値算出部11と、エッジ強度算出部31と、最大エッジ影響度算出部32と、フィルタ係数算出部33と、フィルタ処理部34とを備える。 The image processing apparatus 3, by performing filter processing for each predetermined filtering area with respect to Y components of the pixels of the decoded image, there is to generate a restored image, as shown in FIG. 9 includes a difference value calculation unit 11, the edge strength calculating unit 31, a maximum edge influence calculation unit 32, a filter coefficient calculation unit 33, and a filter processing section 34. なお、画像処理装置1,2の構成要素と対応する部分に同じ番号を付し、その説明を省略する。 Incidentally, designated by the same reference numerals to portions corresponding to the components of the image processing apparatus 1, the description thereof is omitted.

ところで、画像処理装置1では、各ブロック内では同一の分布係数U(X,Y)を用いてフィルタ係数を算出した。 Incidentally, the image processing apparatus 1, and calculates the filter coefficient using the same distribution coefficient U (X, Y) within each block. また、画像処理装置2では、ブロック毎に算出された分布係数U(X,Y)を補間して画素毎に連続的に変化する補間分布係数u(x,y)を算出し、この値を用いてフィルタ係数を算出することにより、ブロック境界部においても平滑化の強さが連続的に変化するフィルタ処理を実現している。 In the image processing apparatus 2, the distribution coefficients calculated for each block U (X, Y) interpolation distribution coefficients u (x, y) which interpolates the continuously varying for each pixel is calculated, the value by calculating the filter coefficients using realizes a filtering strength of smoothing is continuously changed even at the block boundary portion. しかしながら、上記したように復号画像が拡大されたり縮小されたりしている場合に、ブロック境界がどこに存在したのかわからないため、適切なフィルタ処理を行うことができない。 However, if the decoded image as described above is or are reduced or enlarged, since it is not know existed where the block boundary, it is impossible to perform appropriate filtering. そこで、この画像処理装置3は、ブロック境界がわからなくても、ブロック境界線に依存しない適切なフィルタ処理を行えるように構成されている。 Therefore, the image processing device 3, without knowing the block boundary, is configured to perform the proper filtering which does not depend on the block boundary.

画像処理装置3のエッジ強度算出部31は、例えばソーベルフィルタ(高木幹雄、下田陽久監修「画像解析ハンドブック」、550〜564頁、東京大学出版会、1991年)で構成され、注目画素を中心とするエッジ影響度算出領域(例えば、11×11画素)の各周辺画素についてエッジ強度を算出し、これによって各周辺画素のエッジ強度がどうなっているかを検出する。 Edge strength calculating unit 31 of the image processing apparatus 3, for example, Sobel filter (Mikio Takagi, Haruhisa Shimoda supervised "Handbook of Image Analysis", pp. 550-564, University of Tokyo Press, 1991) consists of, centered on the pixel of interest and edge influence calculation area (e.g., 11 × 11 pixels) is calculated edge intensity for each peripheral pixel of, thereby detecting what becomes of the edge strength of each peripheral pixel.

最大エッジ影響度算出部32は、エッジ影響度算出領域における周辺画素のエッジ強度と、注目画素とその周辺画素との間の距離とに基づいて、各周辺画素についてのエッジ影響度を算出する。 Maximum edge influence calculation unit 32, based on the distance between the edge strength of the surrounding pixels in the edge influence calculation area, the pixel of interest and its surrounding pixels, and calculates an edge degree of influence of each peripheral pixel. そして、最大エッジ影響度算出部32は、全ての周辺画素についてのエッジ影響度の中の最大値を、フィルタ処理領域で用いる分布係数として決定する。 Then, the maximum edge influence calculation unit 32 determines the maximum value of the edge influence of all of the peripheral pixels, as a distribution coefficient used in the filtering process area.
フィルタ係数算出部33は、差分値算出部11で算出されたフィルタ処理領域内における周辺画素の画素値と注目画素の画素値との差分値と、最大エッジ影響度算出部32によって算出されたフィルタ処理領域で用いる分布係数とに基づいて、フィルタ処理領域内における周辺画素のフィルタ係数をそれぞれ算出する。 Filter coefficient calculator 33, a difference value between the pixel value of the pixel of interest and pixel values ​​of the peripheral pixels in the filter processing region calculated by the difference value calculation unit 11, a filter that is calculated by the maximum edge influence calculation unit 32 based on the distribution coefficient used in the processing region, and calculates the filter coefficients of the peripheral pixels in the filter processing region, respectively.

フィルタ処理部34は、フィルタ係数算出部33において算出された各周辺画素に対するフィルタ係数β x,y (i,j)を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する。 Filter processing unit 34, the filter coefficient beta x for each peripheral pixel calculated in the filter coefficient calculation unit 33, using y (i, j), performs filter processing of a pixel of interest, pixels of the pixel of interest after filtering to calculate the value. これにより、フィルタ処理部34は、強いエッジに近いほどエッジに影響を及ぼさない範囲で強く平滑化し、エッジから遠いほど弱く平滑化する。 Thereby, filter processing section 34 strongly blunted with a range that does not affect the extent edge near strong edges, weakly smoothed farther from the edge. すなわち、フィルタ処理部34は、周辺画素のエッジ強度と、距離とに依存してフィルタ係数を動的に変化させる。 That is, the filter processing unit 34, the edge strength of the surrounding pixels, depending on the distance dynamically changing the filter coefficients.

なお、上記画像処理装置3を構成する差分値算出部11、エッジ強度算出部31、最大エッジ影響度算出部32、フィルタ係数算出部33、フィルタ処理部34は、画像処理装置1,2の場合と同様に、CPUや、画像処理プログラムを予め格納したROM、画像処理プログラムを実行するためのワークエリア等を提供するRAM等によって構成される。 Incidentally, the difference value calculation unit 11 constituting the image processing apparatus 3, the edge strength calculating unit 31, the maximum edge influence calculation unit 32, filter coefficient calculation unit 33, the filter processing unit 34, when the image processing apparatus 1 and 2 and likewise constituted by a RAM or the like to provide a CPU or, ROM that stores an image processing program in advance, such as a work area for executing the image processing program.
次いで、上記のように構成された画像処理装置3で復号画像から復元画像を生成するときの動作について説明する。 Next, the operation when generating a restored image from the decoded image by the image processing apparatus 3 configured as described above.

図10は、画像処理装置3における復号画像から復元画像を生成するときの動作を示すフローチャートである。 Figure 10 is a flowchart showing an operation for generating a restoration image from the decoded image in the image processing apparatus 3.
画像処理装置3は、図11に示される各エッジ影響度算出領域について、以下の処理を繰り返し実行する(S41)。 The image processing apparatus 3, for each edge influence calculation region shown in FIG. 11 repeatedly executes the following processing (S41).

図11は、ある画素(注目画素)に対して設定されるエッジ影響度算出領域の構成を示す図である。 Figure 11 is a diagram showing a configuration of an edge influence calculation area set for a pixel (pixel of interest).
ここで、この実施の形態3においては11×11画素で構成されているが、復号画像のサイズ変換倍率に応じて21×21画素など、種々のサイズのフィルタ処理領域を設定してもよい。 Here, is composed of 11 × 11 pixels in the third embodiment, like 21 × 21 pixels according to the size conversion ratio of the decoded image, it may set the filtering area of ​​various sizes.
まず、エッジ強度算出部31は、ソーベルフィルタ等を用いて、各周辺画素のエッジ強度をそれぞれ算出する(S42)。 First, the edge strength calculating unit 31, using the Sobel filter or the like, calculates an edge strength of each peripheral pixel, respectively (S42).

図12はソーベルフィルタの構成を示す図であり、特に、図12(a)は水平方向に適用されるソーベルフィルタの構成を示す図であり、図12(b)は垂直方向に適用されるソーベルフィルタの構成を示す図である。 Figure 12 is a diagram showing a configuration of a Sobel filter, in particular, FIG. 12 (a) is a diagram showing a configuration of a Sobel filter applied horizontally, FIG. 12 (b) is applied in the vertical direction that is a diagram showing a configuration of a Sobel filter.
ソーベルフィルタは、ある注目画素(ここでは、周辺画素)を中心とした上下左右の9つの画素値に対して、図12に示されるソーベルフィルタの係数をそれぞれ乗算し、乗算結果を合計する。 Sobel filter (here, the peripheral pixels) is the pixel of interest with respect to the nine pixel values ​​of the vertical and horizontal centering on, then multiply the coefficients of the Sobel filter shown in FIG. 12, sums the multiplied results . 水平方向の合計値をgHS、垂直方向の合計値をgVSとしたとき、注目画素のエッジ強度gは以下の式で求められる。 gHS horizontal sum, when the gVS the sum of the vertical direction, the edge strength g of the pixel of interest is calculated by the following equation.
g=(gHS +gVS 1/2 g = (gHS 2 + gVS 2 ) 1/2
このような処理を各周辺画素に対して行うことにより、各周辺画素のエッジ強度がどうなっているかを検出することができる。 By performing such processing for each peripheral pixel, it is possible to detect the edge strength of each peripheral pixel is going on.

なお、この実施の形態3においては、エッジ強度算出部31としてソーベルフィルタを用いたが、Prewittフィルタ等の1次微分フィルタや、2次微分フィルタ等を用いてエッジ強度を求めるようにしてもよい。 In the third embodiment has used the Sobel filter as the edge strength calculating unit 31, and first-order derivative filter like Prewitt filter, be calculated edge strength by using a secondary differential filter or the like good.

周辺画素のエッジ強度の算出が終わると、最大エッジ影響度算出部32は、フィルタ処理領域に適用する分布係数を求めるための最大エッジ影響度算出処理を実行する(S43)。 When the calculation of the edge strength of the surrounding pixels is completed, the maximum edge influence calculation unit 32 executes the maximum edge influence calculation processing for calculating the distribution coefficient to be applied to the filter area (S43).
図13は、最大エッジ影響度算出処理のサブルーチンを示すフローチャートである。 Figure 13 is a flowchart showing a subroutine of maximum edge influence calculation process.
最大エッジ影響度算出部32は、エッジ影響度算出領域内の各周辺画素について、以下の処理を繰り返し実行する(S431)。 Maximum edge influence calculation unit 32, for each peripheral pixel of an edge influence calculation area, repeatedly executes the following processing (S431).

まず、最大エッジ影響度算出部32は、エッジ影響度算出領域内の各周辺画素について注目画素からの距離を算出する(S432)。 First, the maximum edge influence calculation unit 32 calculates the distance from the pixel of interest for each peripheral pixel of an edge influence calculation area (S432). このようにして求められた距離が図11中の数字で示されている。 Thus distances determined by is indicated by numbers in FIG. なお、この実施の形態3では、周辺画素と注目画素との斜め方向の距離として、水平方向の距離と垂直方向の距離との加算値で簡略的に求めているが、水平方向距離の2乗と垂直方向距離の2乗との加算値の平方根で実際に求めるようにしてもよい。 In the third embodiment, as the diagonal direction distance between the target pixel and peripheral pixels, although simplified manner determined by the sum of the distances horizontal distance and the vertical direction, the square of the horizontal distance it may be actually determined by the square root of the sum of the two squares of the vertical distances.

距離が求まると、最大エッジ影響度算出部32は、ステップS432で求めた注目画素からの距離と、エッジ強度算出部31が算出したその周辺画素のエッジ強度とに基づいて、エッジ影響度を算出する(S433)。 Calculating the distance is determined, the maximum edge influence calculation unit 32, the distance from the pixel of interest obtained in step S432, on the basis of the edge intensity of the surrounding pixels in which the edge strength calculating unit 31 is calculated, an edge influence to (S433). ここで、エッジ影響度は、図14に示されるように、注目画素からの距離とエッジ強度に基づく関数F(距離,エッジ強度)で表され、注目画素に近く、エッジ強度が大きいほど、大きくなり、注目画素から遠く、エッジ強度が小さいほど、小さくなる。 Here, the edge influence, as shown in FIG. 14, the function F (distance, edge strength) based on the distance and the edge intensity from the pixel of interest is represented by, close to the pixel of interest, as the edge strength is large, large now, far away from the pixel of interest, the higher the edge strength is small, small.

このような処理を繰り返し実行することによりフィルタ処理領域内の各周辺画素についてのエッジ影響度が求まると(S434)、最大エッジ影響度算出部32は、フィルタ処理領域に適用する分布係数として、算出したエッジ影響度の最大値を採用し(S435)、図10に示されるメインルーチンにリターンする。 When such an edge influence of each peripheral pixel of the filter processing region by repetitively executing that process is determined (S434), the maximum edge influence calculation unit 32, a distribution coefficient to be applied to the filter area, calculated It adopted the maximum value of the edge influence (S435), and returns to the main routine shown in FIG. 10.
各フィルタ処理領域に適用する分布係数の算出が終わると(S44)、差分値算出部11は、復号画像の各画素について、以下の処理を繰り返し実行する(S16)。 When the calculation of the distribution coefficient to be applied to each filter region is completed (S44), the difference value calculation unit 11, for each pixel of the decoded image, repeatedly executes the following processing (S16). 差分値算出部11は、ある注目画素の画素値f(x,y)とフィルタ処理領域内の各周辺画素(図4に示されるフィルタ処理領域に含まれる全ての周辺画素)の画素値f(x+i,y+j)との差分値ν x,y (i,j)をそれぞれ算出する(S17)。 Difference value calculation unit 11, a pixel value f (x, y) of the pixel of interest and the pixel value f for each peripheral pixel of the filter processing region (all peripheral pixels included in the filtering region shown in FIG. 4) ( x + i, y + j) and the difference value ν x, y (i, j ) and calculates respective (S17).

全ての差分値ν x,y (i,j)の算出が終わると(S18)、フィルタ係数算出部33は、フィルタ処理領域内の各周辺画素について、以下の処理を繰り返し実行する(S19)。 All the difference values ν x, y (i, j ) the calculation of the ends (S18), the filter coefficient calculation unit 33, for each peripheral pixel of the filter processing region, repeatedly executes the following processing (S19). フィルタ係数算出部33は、差分値算出部11において算出された差分値ν x,y (i,j)と、最大エッジ影響度算出部32において算出された分布係数U(X,Y)とから、各周辺画素に対するフィルタ係数β x,y (i,j)を算出する(S20)。 Filter coefficient calculator 33, the difference value [nu x calculated in the difference value calculating section 11, and y (i, j), the distribution coefficients calculated in maximum edge influence calculation unit 32 U (X, Y) from the , filter coefficient beta x for each peripheral pixel, calculates the y (i, j) (S20 ). 具体的には、式(8)における分布係数U(X,Y)を最大エッジ影響度算出部32において算出された分布係数U(X,Y)に置き換えた式を用いてフィルタ係数β x,y (i,j)を算出する。 Specifically, the formula distribution coefficient U in (8) (X, Y) the maximum edge influence calculation unit 32 distribution coefficient U (X, Y) calculated at the filter coefficients using equation obtained by replacing the beta x, y (i, j) is calculated.

全てのフィルタ係数β x,y (i,j)の算出が終わると(S21)、フィルタ処理部34は、各注目画素について、以下の処理を繰り返し実行する(S22)。 All filter coefficients β x, y (i, j ) the calculation of the ends (S21), the filter processing unit 34, for each pixel of interest, repeatedly executes the following processing (S22). フィルタ処理部34は、フィルタ係数算出部33において算出された各周辺画素に対するフィルタ係数β x,y (i,j)を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する(S23)。 Filter processing unit 34, the filter coefficient beta x for each peripheral pixel calculated in the filter coefficient calculation unit 33, using y (i, j), performs filter processing of a pixel of interest, pixels of the pixel of interest after filtering calculating a value (S23). このような処理(S23)を繰り返し実行し、全てのブロック内の各画素についてフィルタ処理後の画素値を算出し終わると(S24)、復元画像が生成され、復元画像生成処理を終了する。 Such processing (S23) repeatedly executed, when for each pixel in all blocks finishes calculating the pixel values ​​of the filtered (S24), the restored image is generated, and ends the restored image generation processing.

以上のように、本実施の形態3に係る画像処理装置3によれば、エッジ強度算出部31においてエッジ影響度算出領域内の周辺画素のエッジ強度を算出し、最大エッジ影響度算出部32においてエッジ画素からの距離とそのエッジ強度の大きさとに応じて、フィルタ処理領域に適用する分布係数(エッジ影響度の域最大値)を決定し、フィルタ係数算出部33において分布係数に応じたフィルタ係数を算出し、フィルタ処理部34において画素に対する平滑化の強さを変えるようにしている。 As described above, according to the image processing apparatus 3 according to the third embodiment, calculates the edge strength of the peripheral pixel of an edge influence calculation area in the edge strength calculating unit 31, the maximum edge influence calculation unit 32 in accordance with the distance from the edge pixel and the magnitude of the edge strength, to determine the distribution coefficient to be applied (frequency maximum value of the edge influence) to filter area, the filter coefficient corresponding to the distribution coefficient at the filter coefficient calculation unit 33 It is calculated, so that changing the strength of smoothing for the pixel in the filter processing unit 34.

したがって、ブロック境界位置が不明な場合も、効果的に処理できる。 Therefore, even when the block boundary position is unknown, it can be effectively treated. しかも、自然画像と人工画像とが混在しているような場合であっても、従来のようなテクスチャのぼけが防止され、エッジ強度の高い低いの如何に拘わらず、エッジのぼけを抑制し、モスキートノイズを確実に除去することができる。 Moreover, even when the a natural image and an artificial image are mixed, it is prevented blurring of conventional such texture, regardless of the high edge strength low, to suppress blurring of the edges, it is possible to reliably remove the mosquito noise. また、ブロック境界に依存せずフィルタ処理が行われるので、従来のようにフィルタ処理されるブロックと、処理されないブロックとが極端に分かれ、画質が急激に変化するような事態を確実に防止することができる。 Further, since the filter does not depend on the block boundary is performed, and a block to be filtered in a conventional manner, and is not processed block is extremely divided, the image quality is possible to reliably prevent such a situation that changes rapidly can.

なお、上記実施の形態1,2の画像処理装置1,2では、ブロックに適用する分布係数U(X,Y)として、ブロック内の最大画素値max{f(x,y)}から最小画素値min{f(x,y)}を減算した値としたが、これに限定されるものではなく、ブロック内における画素値の分布の大きさを示す値であればよい。 In the image processing apparatus 1 in the first and second embodiments, the distribution coefficient is applied to the block U (X, Y) as the minimum pixel from the maximum pixel value in the block max {f (x, y)} value min {f (x, y)} was a value obtained by subtracting the, present invention is not limited thereto and may be a value showing the size distribution of the pixel values ​​in the block. つまり、例えば、ブロック内における平均画素値からの分散値を、分布係数U(X,Y)として用いることもできる。 That is, for example, the variance from the average pixel value in the block, can also be used as a distribution coefficient U (X, Y). また、ソーベルフィルタを用いて画素毎にエッジ強度を算出し、各ブロック内において最大のエッジ強度を分布係数U(X,Y)として用いてもよい。 Moreover, to calculate the edge strength for each pixel by using the Sobel filter may be used up to the edge intensity as a distribution coefficient U (X, Y) in each block.

また、差分値ν x,y (i,j)と分布係数U(X,Y)(または補間分布係数u(x,y))に基づくフィルタ係数β x,y (i,j)の算出方法としては、式(6)のように連続的な関数に基づいて算出するのではなく、差分値ν x,y (i,j)および分布係数U(X,Y)(または補間分布係数u(x,y))の値に関して予め複数のレベルを設定しておき、各レベルに応じて段階的に設定されるようにしてもよい。 Also, the difference value ν x, y (i, j ) and the method of calculating the distribution coefficient U (X, Y) (or interpolation distribution coefficients u (x, y)) filter coefficients based on β x, y (i, j ) the not calculate based on the continuous function as in equation (6), the difference value ν x, y (i, j ) and the distribution coefficient U (X, Y) (or interpolation distribution coefficients u ( x, y)) value set in advance a plurality of levels for the, may be be set stepwise in accordance with each level.

また、カラー画像を処理する場合には、輝度成分(Y)からフィルタ係数β x,y (i,j)を算出し、このフィルタ係数β x,y (i,j)を用いて、R、G、B成分毎にそれぞれフィルタ処理を行うようにしてもよい。 Also, when processing a color image, and calculates the filter coefficient beta x, y and (i, j) from the luminance component (Y), the filter coefficient beta x, using y (i, j), R , G, may be respectively perform filter processing for each B component.
また、本発明におけるフィルタ処理は、式(5)で表される処理に限定されるものではなく、同様の手段を備えていれば別の式で実現してもよい。 Also, filtering in the present invention is not limited to the processing of Formula (5) may be implemented in another expression if provided with the same means.

さらに、本発明はJPEGによって生じたノイズの除去処理に限定されるものではなく、他のブロック符号化方式によって生じたノイズの除去処理に用いることもできる。 Furthermore, the present invention is not limited to the process of removing the noise caused by JPEG, it can also be used to remove process noise generated by other block coding scheme.
また、静止画に限定されるわけではなく、MPEG圧縮データに対する処理のように動画に対しても適用でき、動画においても静止画の場合と同様の効果が得られる。 Further, the present invention is not limited to a still image, also it can be applied to video as processing for MPEG compressed data, same effect as in the case of a still image can be obtained in the moving image.
また、必ずしもプリンタやプロジェクタ内部で処理しなければならないわけではなく、PC上で処理してもよい。 Also, does not mean not necessarily have to be treated with a printer and a projector inside, it may be processed on the PC.

また、上記実施の形態1,2では、プリンタでダイレクトプリントしたが、PCからプリントする場合でも、PC内部でRGBデータに復号してからプリンタに送るのではなく、JPEG圧縮データのままの状態でPCからプリンタに転送し、プリンタ内部で復号化処理以降の全ての処理を実行する方式、いわゆるプルプリントが最近になって検討されており、このような方式の場合においても適用できる。 Further, in Embodiments 1 and 2 above, was direct printing by a printer, even when printing from PC, rather than sending from the decoded RGB data internally PC to the printer, in a state of JPEG compressed data transfer from the PC to the printer, method of executing all processes of the subsequent decoding processing in the printer, has been studied by so-called pull-print recently, it can be applied in the case of such a scheme. この場合においても、プリンタで、JPEG圧縮データの状態で受け取って、復号化処理から全ての処理を内部で行うため、自ずとブロック境界位置が分かる。 In this case, a printer, received in the form of JPEG compressed data, since to do inside all the processes from the decoding process, it is found naturally block border position.

画像処理装置は、プリンタや、プロジェクタなど、多値画像をM×N画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成するコンピュータ装置に適用できる。 The image processing apparatus, and a printer, a projector, etc., to the decoded image of the multivalued image obtained by decoding the compressed data obtained by encoding each block of M × N pixel units, filters for removing noise process can be applied to a computer system for generating a restored image by performing.

デジタルカメラおよびプリンタの外観構成を示す図である。 Is a diagram showing an external configuration of a digital camera and printer. 図1に示されるプリンタex400に実装された画像処理装置の機能構成を示すブロック図である。 Is a block diagram showing a functional configuration of an image processing apparatus mounted on the printer ex400 shown in Fig. 画像処理装置1において、復号画像から復元画像を生成するときの動作を示すフローチャートである。 In the image processing apparatus 1 is a flowchart illustrating the operation for generating a restoration image from the decoded image. 注目画素、フィルタ処理領域、ブロックの位置関係を示す図である。 Target pixel, filtering area is a diagram showing the positional relationship of the block. 図1に示されるプリンタex400に実装された他の画像処理装置の機能構成を示すブロック図である。 Is a block diagram showing a functional configuration of another image processing apparatus mounted on the printer ex400 shown in Fig. 画像処理装置2において、復号画像から復元画像を生成するときの動作を示すフローチャートである。 In the image processing apparatus 2 is a flowchart showing an operation for generating a restoration image from the decoded image. 分布係数の補間処理を説明するための図である。 It is a diagram for explaining the interpolation process of distribution coefficients. デジタルカメラ、パーソナルコンピュータ、倍率変換器およびプロジェクタの外観構成を示す図である。 Digital cameras, personal computers, is a diagram showing an external configuration of a magnification converter and projector. 図8に示されるプロジェクタex600に実装された画像処理装置の機能構成を示すブロック図である。 It is a block diagram showing a functional configuration of an image processing apparatus which is mounted in the projector ex600 shown in Fig. 画像処理装置3における復号画像から復元画像を生成するときの動作を示すフローチャートである。 Is a flowchart showing an operation for generating a restoration image from the decoded image in the image processing apparatus 3. ある画素(注目画素)に対して設定されるフィルタ処理領域およびエッジ影響度算出領域の構成を示す図である。 It is a diagram showing a configuration of a filtering area and the edge influence calculation area is set for a certain pixel (target pixel). ソーベルフィルタの構成を示す図であり、特に、図12(a)は水平方向に適用されるソーベルフィルタの構成を示す図であり、図12(b)は垂直方向に適用されるソーベルフィルタの構成を示す図である。 Is a diagram showing the configuration of a Sobel filter, Sobel particular, FIG. 12 (a) is a diagram showing a configuration of a Sobel filter applied horizontally, FIG. 12 (b) is applied in the vertical direction it is a diagram showing a configuration of a filter. 最大エッジ影響度算出処理のサブルーチンを示すフローチャートである。 It is a flowchart showing a subroutine of maximum edge influence calculation process. 注目画素からの距離と、エッジ強度と、エッジ影響度との関係を示す図である。 The distance from the pixel of interest, and the edge strength, is a diagram showing a relationship between an edge influence. JPEGの符号化装置および復号化装置の機能構成を示すブロック図である。 Is a block diagram showing the functional structure of the JPEG encoding apparatus and decoding apparatus. 従来の画像処理装置(SUSANフィルタ)100を示す図である。 Conventional image processing apparatus is a diagram showing a (SUSAN filter) 100. 注目画素の画素値と各周辺画素の画素値との差分値と、この差分値から算出される第2フィルタ係数α2 x,y (i,j)の値との関係を示す図である。 Pixel value of the target pixel and a difference value between the pixel value of each peripheral pixel is a diagram showing the relationship between the value of the second filter coefficient [alpha] 2 x calculated from this differential value, y (i, j). エッジとモスキートノイズの階調変化を模式的に表した図 Figure gradation change of edge and mosquito noise schematically showing 従来のフィルタ処理を模式的に示す図である。 The conventional filtering process is a diagram schematically illustrating. SUSANフィルタによるフィルタ処理を行う前の復号画像とフィルタ処理後の復元画像を模式的に示す図である。 The decoded image and the restored image after the filtering before performing the filtering process by the SUSAN filter is a diagram schematically illustrating.

符号の説明 DESCRIPTION OF SYMBOLS

1,2,3 画像処理装置 11 差分値算出部 12 分布係数算出部 13,23,33 フィルタ係数算出部 14,24,34 フィルタ処理部 22 分布係数補間部 31 エッジ強度算出部 32 最大エッジ影響度算出部 1,2,3 image processing apparatus 11 the difference value calculation unit 12 distribution coefficient calculation unit 13, 23 and 33 filter coefficient calculating unit 14, 24 and 34 filter processing unit 22 distribution coefficient interpolation section 31 edge strength calculating unit 32 up to the edge impact calculation unit

Claims (13)

  1. 多値画像をM×N画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成する画像処理装置であって、 Image processing for generating a multilevel image on M × N decoded image obtained by decoding the compressed data obtained by encoding each block of pixels, a restored image by performing a filter process for removing noise an apparatus,
    前記復号画像を構成する各画素に対してそれぞれ設定されたフィルタ処理領域内における注目画素の画素値と、周辺画素の画素値との差分値を算出する差分値算出手段と、 And the pixel value of the pixel of interest in the set filtering area respectively to each pixel constituting the decoded image, a difference value calculating means for calculating a difference value between pixel values ​​of the peripheral pixels,
    各前記画素における画素値の分布係数を算出する分布係数算出手段と、 The distribution coefficient calculation means for calculating a distribution coefficient of pixel values ​​in each of said pixels,
    前記差分値算出手段によって算出された前記差分値と、前記分布係数算出手段によって算出された前記分布係数とに基づいて、前記周辺画素に対するフィルタ係数を算出するフィルタ係数算出手段と、 And the difference value calculated by said difference value calculation means, on the basis of the said distribution coefficient calculated by the distribution coefficient calculating means, a filter coefficient calculating means for calculating the filter coefficients for the peripheral pixels,
    前記フィルタ係数算出手段によって算出された前記フィルタ係数を用いて、前記復号画像における注目画素の画素値に対してフィルタ処理を行い、復元画像における注目画素の画素値を算出するフィルタ処理手段と を備えることを特徴とする画像処理装置。 Using the filter coefficient calculated by the filter coefficient calculation unit performs a filtering process to a pixel value of the pixel of interest in the decoded image, and a filter processing means for calculating a pixel value of the pixel of interest in the restored image the image processing apparatus characterized by.
  2. 前記分布係数算出手段は、各前記画素における画素値の分布係数を前記ブロック毎に算出する ことを特徴とする請求項1記載の画像処理装置。 The distribution coefficient calculation unit, the image processing apparatus according to claim 1, wherein the calculating the distribution coefficient of pixel values ​​in each of the pixels for each said block.
  3. 前記分布係数算出手段は、前記ブロック内における画素値の最大値から最小値を減算した差分値を、当該ブロックの画素値の分布係数として算出する ことを特徴とする請求項2記載の画像処理装置。 The distribution coefficient calculation means, a difference value obtained by subtracting the minimum value from the maximum value of pixel values ​​in the block, the image processing apparatus according to claim 2, wherein the calculating the distribution coefficient of the pixel values ​​of the block .
  4. 前記分布係数算出手段は、前記ブロック内における平均画素値からの分散値を、当該ブロックの画素値の分布係数として算出する ことを特徴とする請求項2記載の画像処理装置。 The distribution coefficient calculation means, the variance from the average pixel value in the block, the image processing apparatus according to claim 2, wherein the calculating the distribution coefficient of the pixel values ​​of the block.
  5. 前記分布係数算出手段は、前記ブロック内における最大エッジ強度を、当該ブロックの画素値の分布係数として算出する ことを特徴とする請求項2記載の画像処理装置。 The distribution coefficient calculation means, the maximum edge intensity in the block, the image processing apparatus according to claim 2, wherein the calculating the distribution coefficient of the pixel values ​​of the block.
  6. 前記分布係数算出手段は、前記ブロック毎に画素値の分布係数を算出し、算出されたブロックにおける画素値の分布係数と、当該ブロックに隣接する周囲のブロックにおける画素値の分布係数とを補間して各画素における画素値の補間分布係数を算出し、算出した補間分布係数を各前記画素における画素値の分布係数として用いる ことを特徴とする請求項1記載の画像処理装置。 The distribution coefficient calculation means calculates a distribution coefficient of pixel value for each said block, the distribution coefficient of pixel values ​​in the calculated block to interpolate the distribution coefficient of the pixel values ​​around the block adjacent to the block the image processing apparatus calculates the interpolation distribution coefficients of pixel values ​​in each pixel, the calculated interpolation distribution coefficients claim 1, which comprises using as the distribution coefficient of pixel values ​​in each of the pixel Te.
  7. 前記分布係数算出手段は、前記ブロック内における画素値の最大値から最小値を減算した差分値を当該ブロックの画素値の分布係数として算出する ことを特徴とする請求項6記載の画像処理装置。 The distribution coefficient calculation unit, the image processing apparatus according to claim 6, wherein the difference value obtained by subtracting the minimum value that is calculated as a distribution coefficient of the pixel values ​​of the block from the maximum value of pixel values ​​in the block.
  8. 前記分布係数算出手段は、前記ブロック内における平均画素値からの分散値を当該ブロックの画素値の分布係数として算出する ことを特徴とする請求項6記載の画像処理装置。 The distribution coefficient calculation unit, the image processing apparatus according to claim 6, wherein calculating the variance value from the average pixel value in the block as a distribution coefficient of the pixel values ​​of the block.
  9. 前記分布係数算出手段は、前記ブロック内における最大エッジ強度を当該ブロックの画素値の分布係数として算出する ことを特徴とする請求項6記載の画像処理装置。 The distribution coefficient calculation unit, the image processing apparatus according to claim 6, wherein the calculating the maximum edge intensity in the block as a distribution coefficient of the pixel values ​​of the block.
  10. 前記分布係数算出手段は、 The distribution coefficient calculation means,
    所定のエッジ影響度算出領域における前記周辺画素のエッジ強度を算出するエッジ強度算出手段と、 An edge intensity calculating means for calculating an edge strength of the peripheral pixels in the predetermined edge influence calculation region,
    前記エッジ強度算出手段が算出した前記周辺画素のエッジ強度と、前記注目画素と前記周辺画素との距離とに基づいて注目画素に対するエッジ影響度を算出し、算出したエッジ影響度の最大値を各前記画素の画素値の分布係数として算出する最大エッジ影響度算出手段と を備えることを特徴とする請求項1記載の画像処理装置。 An edge intensity of the peripheral pixels the edge strength calculating unit has calculated, to calculate an edge influence on the pixel of interest based on the distance between the peripheral pixel and the target pixel, the maximum value of the calculated edge influence each the image processing apparatus according to claim 1, characterized in that it comprises a maximum edge influence calculation means for calculating a distribution coefficient of the pixel value of the pixel.
  11. 多値画像をM×N画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成する画像処理装置に用いられる画像処理方法であって、 Image processing for generating a multilevel image on M × N decoded image obtained by decoding the compressed data obtained by encoding each block of pixels, a restored image by performing a filter process for removing noise an image processing method for use in the apparatus,
    前記復号画像を構成する各画素に対してそれぞれ設定されたフィルタ処理領域内における注目画素の画素値と周辺画素の画素値との差分値を算出する差分値算出ステップと、 A difference value calculation step of calculating a difference value between pixel values ​​of the peripheral pixels of the target pixel in the set filtering area respectively to each pixel constituting the decoded image,
    各前記画素における画素値の分布係数を算出する分布係数算出ステップと、 The distribution coefficient calculation step of calculating a distribution coefficient of pixel values ​​in each of said pixels,
    前記差分値算出ステップによって算出された前記差分値と、前記分布係数算出ステップによって算出された前記分布係数とに基づいて、前記周辺画素に対するフィルタ係数を算出するフィルタ係数算出ステップと、 And the difference value calculated by said difference value calculation step, the based on the distribution coefficient the distribution coefficients calculated by the calculation step, a filter coefficient calculating step of calculating a filter coefficient for the peripheral pixels,
    前記フィルタ係数算出ステップによって算出された前記フィルタ係数を用いて、前記復号画像における注目画素の画素値に対してフィルタ処理を行い、復元画像における注目画素の画素値を算出するフィルタ処理ステップと を含むことを特徴とする画像処理方法。 Using the filter coefficient calculated by the filter coefficient calculating step, it performs filter processing on the pixel value of the pixel of interest in the decoded image, and a filter processing step of calculating a pixel value of the pixel of interest in the restored image image processing method, characterized in that.
  12. 請求項11に記載の画像処理方法が備える全てのステップをコンピュータに実行させるためのプログラム。 Program for executing all the steps included in the image processing method according to claim 11 in a computer.
  13. 請求項11に記載の画像処理方法が備える全てのステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium storing a program for executing all the steps included in the image processing method according to claim 11.
JP2003350076A 2002-10-16 2003-10-08 Image processing apparatus and image processing method Expired - Fee Related JP4097587B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002301602 2002-10-16
JP2003350076A JP4097587B2 (en) 2002-10-16 2003-10-08 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003350076A JP4097587B2 (en) 2002-10-16 2003-10-08 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2004159311A true true JP2004159311A (en) 2004-06-03
JP4097587B2 JP4097587B2 (en) 2008-06-11

Family

ID=32827922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003350076A Expired - Fee Related JP4097587B2 (en) 2002-10-16 2003-10-08 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP4097587B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140999A (en) * 2004-10-14 2006-06-01 Mitsubishi Electric Research Laboratories Inc Method for filtering pixel in image
JP2006270220A (en) * 2005-03-22 2006-10-05 Victor Co Of Japan Ltd Video signal processing apparatus
KR100711725B1 (en) 2005-11-16 2007-04-19 엘지전자 주식회사 Method for filtering of deblocking in video telephony mobile phone
WO2007108164A1 (en) * 2006-03-23 2007-09-27 Niigata Seimitsu Co., Ltd. Image processing device
JP2007300454A (en) * 2006-05-01 2007-11-15 Fuji Xerox Co Ltd Decoding device, inverse quantization method, and program
JP2009049709A (en) * 2007-08-20 2009-03-05 Seiko Epson Corp Device, method and program for image processing
JP2009544223A (en) * 2006-07-19 2009-12-10 トライデント マイクロシステムズ インコーポレイテッド Method and system for reducing mosquito noise in a digital image
JP2010154264A (en) * 2008-12-25 2010-07-08 Sharp Corp Image decoding apparatus and image encoding apparatus
JP2010178302A (en) * 2009-02-02 2010-08-12 Olympus Corp Image processing apparatus and image processing method
JP2010211552A (en) * 2009-03-11 2010-09-24 Rohm Co Ltd Image processing method and computer program
US7995839B2 (en) 2006-04-14 2011-08-09 Fujifilm Corporation Image processing device and method with distance calculating on color space
KR101119268B1 (en) * 2010-03-10 2012-03-20 삼성전자주식회사 Method and device for reduction image color noise
JP2012068763A (en) * 2010-09-21 2012-04-05 Toshiba Corp Image processing device
JP2013038479A (en) * 2011-08-04 2013-02-21 Kyocera Document Solutions Inc Image processing apparatus, image formation apparatus with the same, and image processing method

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140999A (en) * 2004-10-14 2006-06-01 Mitsubishi Electric Research Laboratories Inc Method for filtering pixel in image
JP2006270220A (en) * 2005-03-22 2006-10-05 Victor Co Of Japan Ltd Video signal processing apparatus
KR100711725B1 (en) 2005-11-16 2007-04-19 엘지전자 주식회사 Method for filtering of deblocking in video telephony mobile phone
JP4641957B2 (en) * 2006-03-23 2011-03-02 彰 吉田 An image processing apparatus and an image processing program
WO2007108164A1 (en) * 2006-03-23 2007-09-27 Niigata Seimitsu Co., Ltd. Image processing device
JP2007257237A (en) * 2006-03-23 2007-10-04 Micro Research Laboratory Inc Image processor
US7995839B2 (en) 2006-04-14 2011-08-09 Fujifilm Corporation Image processing device and method with distance calculating on color space
US7957607B2 (en) 2006-05-01 2011-06-07 Fuji Xerox Co., Ltd. Decoding apparatus, dequantization method, and computer readable medium storing program thereof
JP2007300454A (en) * 2006-05-01 2007-11-15 Fuji Xerox Co Ltd Decoding device, inverse quantization method, and program
JP2009544223A (en) * 2006-07-19 2009-12-10 トライデント マイクロシステムズ インコーポレイテッド Method and system for reducing mosquito noise in a digital image
US8175383B2 (en) 2007-08-20 2012-05-08 Seiko Epson Corporation Apparatus, method, and program product for image processing
JP2009049709A (en) * 2007-08-20 2009-03-05 Seiko Epson Corp Device, method and program for image processing
JP2010154264A (en) * 2008-12-25 2010-07-08 Sharp Corp Image decoding apparatus and image encoding apparatus
US8792738B2 (en) 2008-12-25 2014-07-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
JP2010178302A (en) * 2009-02-02 2010-08-12 Olympus Corp Image processing apparatus and image processing method
JP2010211552A (en) * 2009-03-11 2010-09-24 Rohm Co Ltd Image processing method and computer program
KR101119268B1 (en) * 2010-03-10 2012-03-20 삼성전자주식회사 Method and device for reduction image color noise
US8711251B2 (en) 2010-03-10 2014-04-29 Samsung Electronics Co., Ltd. Method and device for reducing image color noise
JP2012068763A (en) * 2010-09-21 2012-04-05 Toshiba Corp Image processing device
JP2013038479A (en) * 2011-08-04 2013-02-21 Kyocera Document Solutions Inc Image processing apparatus, image formation apparatus with the same, and image processing method

Also Published As

Publication number Publication date Type
JP4097587B2 (en) 2008-06-11 grant

Similar Documents

Publication Publication Date Title
Konstantinides et al. Noise estimation and filtering using block-based singular value decomposition
US6421468B1 (en) Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation
US6731821B1 (en) Method for enhancing compressibility and visual quality of scanned document images
US5883983A (en) Adaptive postprocessing system for reducing blocking effects and ringing noise in decompressed image signals
US5539842A (en) Method and apparatus for compressing and decompressing images of documents
US20080152296A1 (en) Methods and Systems for Processing Film Grain Noise
US5880767A (en) Perceptual image resolution enhancement system
US20050152614A1 (en) Enhancing the quality of decoded quantized images
US20050100235A1 (en) System and method for classifying and filtering pixels
Foi et al. Pointwise shape-adaptive DCT for high-quality denoising and deblocking of grayscale and color images
US20040096103A1 (en) Method of spatially filtering a digital image using chrominance information
US6574374B1 (en) Enhancing image compression performance by morphological processing
US6697534B1 (en) Method and apparatus for adaptively sharpening local image content of an image
US7257271B2 (en) Noise reduction in color digital images using pyramid decomposition
US20050147317A1 (en) Enhancing the quality of decoded quantized images
US20040057623A1 (en) Method for automated processing of digital image data
US20060104538A1 (en) Method for reducing noise in images
US7003174B2 (en) Removal of block encoding artifacts
US20040165785A1 (en) Image processing apparatus
US6640017B1 (en) Method and apparatus for adaptively sharpening an image
US7181082B2 (en) Blur detection system
US6823089B1 (en) Method of determining the extent of blocking and contouring artifacts in a digital image
US20040091168A1 (en) Method and system for removing artifacts in compressed images
US20070280551A1 (en) Removing ringing and blocking artifacts from JPEG compressed document images
US20040264799A1 (en) Method of processing an image to form an image pyramid

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080311

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees