JP2006024222A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2006024222A JP2006024222A JP2005201400A JP2005201400A JP2006024222A JP 2006024222 A JP2006024222 A JP 2006024222A JP 2005201400 A JP2005201400 A JP 2005201400A JP 2005201400 A JP2005201400 A JP 2005201400A JP 2006024222 A JP2006024222 A JP 2006024222A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image processing
- frequency
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、ディジタル画像処理に係り、特に高速／低コストで画像処理を行なうことが可能な画像処理装置及び画像処理方法に関するものである。 The present invention relates to digital image processing, and more particularly to an image processing apparatus and an image processing method capable of performing image processing at high speed / low cost.
フルカラー画像などの画像データは、一般にデータ量が非常に多いため、データを圧縮して蓄積あるいは伝送することが多い。これら多値画像データを圧縮する方法の１つとしては直交変換符号化方法が知られている。この方法は、画像全体を例えば８×８画素単位のブロックに分割して、分割されたブロックごとに直交変換を行なって符号化するものである。特徴としては、画像データに含まれる成分を低周波数成分および高周波数成分に変換し、視覚特性上影響力の大きい低周波数成分に多くのビットを割り当て、高周波数成分は少ないビット数で量子化することにより、画像データを効率的に圧縮する。直交変換としては、離散コサイン変換などが使われている。 Since image data such as a full-color image generally has a very large amount of data, the data is often compressed and stored or transmitted. As one of methods for compressing these multi-value image data, an orthogonal transform coding method is known. In this method, the entire image is divided into blocks of 8 × 8 pixels, for example, and orthogonal division is performed for each divided block to be encoded. The feature is that the components contained in the image data are converted into low frequency components and high frequency components, many bits are allocated to the low frequency components that have great influence on visual characteristics, and the high frequency components are quantized with a small number of bits. Thus, the image data is efficiently compressed. As the orthogonal transform, a discrete cosine transform or the like is used.
このように直交変換符号化されて伝送あるいは蓄積された画像に対して画像処理を施す場合、まず符号化データを復号化し、その復号化データを逆量子化し、逆量子化データを直交逆変換して原画像データに戻した後、目的とする画像処理を行ない、再度、直交変換、量子化、符号化を行ない、伝送あるいは蓄積する。しかし、一般に直交変換は、演算量が多い処理であるため、通常の画像データを処理する場合と比べて処理時間が長くなるという欠点がある。 When image processing is performed on an image that has been orthogonally encoded and transmitted or stored in this way, the encoded data is first decoded, the decoded data is inversely quantized, and the inversely quantized data is orthogonally inversely converted. After returning to the original image data, the target image processing is performed, and orthogonal transformation, quantization, and encoding are performed again, and transmitted or stored. However, since orthogonal transformation is generally a process with a large amount of calculation, there is a disadvantage that the processing time is longer than that in the case of processing normal image data.
そこで従来より、原画像データを直交変換して得られた周波数データに対して、逆変換を行なわずに処理を行なう手法が提案されている。例えば、特許文献１に記載されているように、ブロック内のデータに解像度変換用マトリクスを乗じることにより、周波数データを逆変換することなしに、高解像度から低解像度への解像度変換を行なう手法が提案されている。また、特許文献２に記載されているように、ハイパス・ローパス等の線形フィルタリングや、拡大・縮小・回転等の編集を実現するマトリクスと直交変換マトリクスとの積を新たな変換用マトリクスとして用いることで、逆変換と同時に上記の処理を行なう手法が提案されている。
Therefore, conventionally, a method has been proposed in which frequency data obtained by orthogonal transformation of original image data is processed without performing inverse transformation. For example, as described in
さらに、処理速度を向上させる手法として、特許文献３や特許文献４のように、周波数データのＤＣ成分のみを用いてカラー画像の色補正や、画像表示装置のガンマ特性に合わせた濃度補正を行なう手法も提案されている。
Further, as a technique for improving the processing speed, as in
こうした手法では、直交変換符号化によるデータ量の減少と、直交変換および直交逆変換を行なわないことによる処理コストの減少を利用した高速化が図られ、同時にデータ格納に必要な装置コストを減らすことができる。 In such a method, a reduction in data amount due to orthogonal transform coding and a reduction in processing cost due to not performing orthogonal transform and orthogonal inverse transform are achieved, and at the same time, the device cost required for data storage is reduced. Can do.
一般に、自然画像などを直交変換すると、低周波成分に大きな値が現れ、高周波成分は小さな値か０となる場合が多い。しかしながら、分割されたブロック内の周波数データを用いて解像度変換やフィルタリングなどの処理を行なう手法では、こうした非常に小さな値や０による演算が多く含まれ、処理として効率が悪いという問題がある。 In general, when a natural image or the like is orthogonally transformed, a large value appears in the low frequency component, and the high frequency component often has a small value or zero. However, the technique of performing resolution conversion, filtering, and the like using the frequency data in the divided blocks has a problem in that many such small values and operations with 0 are included, resulting in poor processing efficiency.
また、周波数データのＤＣ成分のみを用いる手法では、高周波成分が多い画像ブロックの場合、原画像データへ逆変換するとブロックの境界が目立ち、画質が極端に劣化するという問題がある。 In addition, in the method using only the DC component of the frequency data, there is a problem that in the case of an image block having many high-frequency components, the block boundary is conspicuous and the image quality is extremely deteriorated when inversely converted to the original image data.
本発明は、上述した事情に鑑みてなされたもので、原画像データを直交変換して得られた周波数データに対して処理を行なう際に、直交変換および逆変換する無駄を減らし、さらに、画質の劣化を抑えると同時に、高速、低コストな画像処理装置及び画像処理方法を提供することを目的とするものである。 The present invention has been made in view of the above-described circumstances. When processing is performed on frequency data obtained by orthogonal transform of original image data, waste of orthogonal transform and inverse transform is reduced, and image quality is further improved. An object of the present invention is to provide a high-speed and low-cost image processing apparatus and image processing method while suppressing deterioration of the image.
請求項１に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
The invention according to
請求項２に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
The invention according to
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記周波数データが、原画像データをブロックごとに直交変換したデータであることを特徴とするものである。 According to a third aspect of the present invention, in the image processing device according to the first or second aspect, the frequency data is data obtained by orthogonally transforming original image data for each block. .
請求項４に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記周波数データが、原画像データをブロックごとに離散コサイン変換したデータであることを特徴とするものである。 According to a fourth aspect of the present invention, in the image processing apparatus according to the first or second aspect, the frequency data is data obtained by discrete cosine transform of the original image data for each block. is there.
請求項５に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
The invention according to
請求項６に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
The invention according to
本発明によれば、原画像データをブロックごとに直交変換した周波数データに対して、絶対値の非常に小さい値や０を値として取る無効係数データや、原画像データにほとんど影響のない、ブロック内のある特定領域のデータの演算を省くことで、高速で効率の良い処理が可能な画像処理装置及び画像処理方法を実現することができるという効果がある。 According to the present invention, with respect to frequency data obtained by orthogonally transforming original image data for each block, invalid coefficient data that takes a very small absolute value or 0 as a value, or a block that hardly affects the original image data. By eliminating the calculation of data in a specific area, an image processing apparatus and an image processing method capable of high-speed and efficient processing can be realized.
図１は、本発明による画像処理装置の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は復号・逆量子化部、３は画像記憶部、４は画像処理部、５は符号・量子化部、６は画像出力部、７は制御部、１１はデータ選択部、１２はデータ演算部である。ここでは一例として、８×８画素のブロックごとに離散コサイン変換（ＤＣＴ）符号化、量子化、ハフマン符号化されて伝送あるいは蓄積された原画像圧縮データに対して画像処理を施す場合について説明する。 FIG. 1 is a block diagram showing a first embodiment of an image processing apparatus according to the present invention. In the figure, 1 is an image input unit, 2 is a decoding / inverse quantization unit, 3 is an image storage unit, 4 is an image processing unit, 5 is a code / quantization unit, 6 is an image output unit, 7 is a control unit, 11 Is a data selection unit, and 12 is a data calculation unit. Here, as an example, a case will be described in which image processing is performed on original image compressed data transmitted or accumulated by discrete cosine transform (DCT) coding, quantization, and Huffman coding for each 8 × 8 pixel block. .
画像入力部１は、原画像圧縮データを入力する。復号・逆量子化部２は、画像入力部１から入力された原画像圧縮データをハフマン復号化、逆量子化処理を行なって８×８のＤＣＴ係数データ（以後、ＤＣＴデータと呼ぶ）に戻す。画像記憶部３は、復号・逆量子化部２で得られた８×８のＤＣＴデータを記憶する。画像処理部４は、ＤＣＴデータに対して画像処理を行なう。符号・量子化部５は、画像処理部４で処理された８×８のＤＣＴデータを量子化処理、ハフマン符号化を行なって圧縮する。画像出力部６は、符号・量子化部５で圧縮された画像データを出力する。制御部７は、各部を制御する。
The
画像処理部４は、データ選択部１１とデータ演算部１２を有し、入力されたＤＣＴデータに対して画像処理を行なう。データ選択部１１は、ブロック内において処理すべきデータを選択する。データ演算部１２は、ブロック内でデータ選択部１１により選択されたデータにのみ画像処理を施す。
The
図１において、画像入力部１から入力された原画像圧縮データは、復号・逆量子化部２でＤＣＴデータに変換され、画像記憶部３に格納される。画像記憶部３に格納されたＤＣＴデータは、画像処理部４へ読み出されてデータ処理され、符号・量子化部５で圧縮され、画像出力部６へ送られて出力される。
In FIG. 1, the original compressed image data input from the
図２は、本発明の画像処理装置の第１の実施の形態におけるデータ選択部１１の一例を示す構成図である。図中、２１は係数参照部、２２は閾値処理部である。データ選択部１１は、例えば図２に示すように、係数参照部２１および閾値処理部２２を有する構成とすることができる。係数参照部２１は、画像記憶部３から読み込まれた８×８ブロックのＤＣＴデータ中の係数を順次参照する。閾値処理部２２は、係数参照部２１で参照された係数と、予め定められた閾値Ｔｈとを比較し、有効係数と無効係数にわける。例えば、係数の絶対値が閾値Ｔｈ以上のとき、その係数を有効係数としてデータ演算部１２に転送する。このようにしてＤＣＴデータ中の有効係数のみを選択し、データ演算部１２において画像処理を行なう。
FIG. 2 is a block diagram showing an example of the
図３は、ＤＣＴデータの一例の説明図である。図３では、８×８個のＤＣＴデータの係数を１つのブロックとして示している。ブロックの左上の角に当たる箇所が８×８ブロック中の平均的な画素値を表わしており、周波数成分でいえば直流成分を表わしている。その意味でＤＣ成分と呼ばれる。他の６３個の要素は交流成分を表わし、ＡＣ成分と呼ばれる。また図２に示すように、ブロックの右下の方向に進むにつれて、順次周波数が高くなり、より高周波の成分を表わすデータとなる。 FIG. 3 is an explanatory diagram of an example of DCT data. In FIG. 3, the coefficients of 8 × 8 DCT data are shown as one block. A portion corresponding to the upper left corner of the block represents an average pixel value in the 8 × 8 block, and a DC component in terms of frequency components. In that sense, it is called a DC component. The other 63 elements represent AC components and are called AC components. Further, as shown in FIG. 2, as the block proceeds in the lower right direction, the frequency sequentially increases and becomes data representing a higher frequency component.
図４は、本発明の画像処理装置の第１の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。Ｓ３１において、ブロック内での処理開始位置Ｐを１とし、ブロック左上のＤＣ係数の位置に設定して処理を開始する。
FIG. 4 is a flowchart showing an example of the processing flow of the
Ｓ３２において、画像記憶部３からデータ選択部１１に８×８ブロックのＤＣＴデータを読み込む。このブロック内の位置Ｐのデータの絶対値を係数ｖと称する。
In S <b> 32, 8 × 8 blocks of DCT data are read from the
Ｓ３３において、Ｓ３２で参照した係数ｖを予め定められた閾値Ｔｈと閾値処理部２２で比較する。その結果、Ｔｈ≦ｖの場合にはＳ３４に、Ｔｈ＞ｖの場合にはＳ３５に移る。Ｔｈ≦ｖの場合、空間周波数表現された８×８ブロックのＤＣＴデータにおいて、ブロック内の位置Ｐに相当する周波数成分が、大きいエネルギーを持つことを示す。すなわち、原画像データに対しては、その周波数域に重要な情報が存在することを示す。そこで、Ｓ３４において、位置Ｐのデータをデータ演算部１２に転送し、データ演算部１２でデータの処理を行なう。データ演算部１２内の処理については後述する。
In S33, the threshold v is compared with the predetermined threshold Th by referring to the coefficient v referred to in S32. As a result, when Th ≦ v, the process proceeds to S34, and when Th> v, the process proceeds to S35. In the case of Th ≦ v, in the DCT data of the 8 × 8 block expressed in the spatial frequency, the frequency component corresponding to the position P in the block has a large energy. That is, it indicates that important information exists in the frequency range for the original image data. Therefore, in S34, the data at the position P is transferred to the
Ｔｈ＞ｖの場合、空間周波数表現された８×８ブロックのＤＣＴデータにおいて、ブロック内の位置Ｐに相当する周波数成分は小さいエネルギーしか持たないことを示す。すなわち原画像データに対しては、その周波数域の情報は無視できることを示す。従って、位置Ｐのデータはデータ演算部１２に転送しない。
In the case of Th> v, in the DCT data of the 8 × 8 block expressed in the spatial frequency, the frequency component corresponding to the position P in the block has only a small energy. That is, for the original image data, the information in the frequency range can be ignored. Therefore, the data at the position P is not transferred to the
Ｓ３５において、１ブロックについての処理が終了したか否かを判定し、当該ブロックの処理中である場合にはＳ３６に移り、Ｓ３６において、ブロック内の位置Ｐを１つ進めてＳ３２に戻る。もし当該ブロックの処理が終了した場合、Ｓ３７に移る。そして、Ｓ３７において、演算後の８×８ブロックのＤＣＴデータを画像出力部６に送り、順次出力する。
In S35, it is determined whether or not the processing for one block has been completed. If the processing for the block is in progress, the process proceeds to S36. In S36, the position P in the block is advanced by one and the process returns to S32. If the processing of the block is completed, the process proceeds to S37. In step S37, the computed 8 × 8 block DCT data is sent to the
Ｓ３８において、全ブロックについて処理を行なったか否かを判定する。全ブロックの処理が終了していない場合、Ｓ３１に戻る。全ブロックの処理が終了した場合には、画像処理部４の処理を終了する。
In S38, it is determined whether or not all blocks have been processed. If processing of all blocks has not been completed, the process returns to S31. When all the blocks have been processed, the processing of the
図５は、本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の具体例の説明図である。ここでは、周波数特性変換を行なう場合について説明する。図５（Ａ）においてハッチングを施した部分は、８×８ブロックのＤＣＴデータ中で、データ選択部１１により選択された有効係数を示している。また、図５（Ａ）でハッチングを施していない部分、つまりデータ選択部１１により無効係数とされた各要素は、非常に小さい値かあるいは０の値を取るので、データ演算部１２で処理を行なわず、そのまま出力される。
FIG. 5 is an explanatory diagram of a specific example of the operation of the
原画像データの周波数特性変換は、図５（Ａ）に示すように空間周波数表現されたＤＣＴデータの各係数に、図５（Ｂ）に示す周波数特性変換マトリクスのそれぞれ対応する位置の要素を乗じることにより実行される。例えば、ＤＣＴデータの係数をａi とし、周波数特性変換マトリクスの要素をｆi とするとき、演算後の係数ｂi は、
ｂi ＝ａi ×ｆi （ｉ＝０〜６３）
として求めればよい。
The frequency characteristic conversion of the original image data is performed by multiplying each coefficient of DCT data expressed in spatial frequency as shown in FIG. 5A by an element at a corresponding position in the frequency characteristic conversion matrix shown in FIG. Is executed. For example, when the coefficient of DCT data is a i and the element of the frequency characteristic conversion matrix is f i , the calculated coefficient b i is
b i = a i × f i (i = 0 to 63)
As long as you ask.
ここで、実際にマトリクス演算を施すのは有効係数だけであり、無効係数については演算を行なわない。図５に示す具体例では、無効係数を除く２３個の有効係数のみ、演算を行なうことになる。すなわち、従来のようにＤＣＴデータの選択を行なわない場合、各ブロックにつき６４回の乗算が必要であるのに対し、この具体例においては、２３回の乗算しか必要とせず、演算コストの削減が可能となる。 Here, only the effective coefficient is actually subjected to the matrix calculation, and the calculation is not performed for the invalid coefficient. In the specific example shown in FIG. 5, only 23 effective coefficients excluding invalid coefficients are calculated. That is, when DCT data is not selected as in the prior art, 64 multiplications are required for each block, whereas in this specific example, only 23 multiplications are required, reducing the calculation cost. It becomes possible.
図６は、周波数特性変換マトリクスの一例の説明図である。図６に示すような周波数特性変換マトリクスを図５（Ｂ）に示す周波数特性変換マトリクスとして用い、ＤＣＴデータに乗じることにより、原画像データを平滑化する画像処理を行なうことが可能である。 FIG. 6 is an explanatory diagram of an example of a frequency characteristic conversion matrix. By using the frequency characteristic conversion matrix shown in FIG. 6 as the frequency characteristic conversion matrix shown in FIG. 5B and multiplying the DCT data, it is possible to perform image processing for smoothing the original image data.
図７は、周波数特性変換マトリクスの別の例の説明図である。図７に示すような周波数特性変換マトリクスを図５（Ｂ）に示す周波数特性変換マトリクスとして用い、ＤＣＴデータに乗じることにより、原画像データにおけるエッジ部分を強調する画像処理を行なうことが可能である。 FIG. 7 is an explanatory diagram of another example of the frequency characteristic conversion matrix. By using the frequency characteristic conversion matrix shown in FIG. 7 as the frequency characteristic conversion matrix shown in FIG. 5B and multiplying the DCT data, it is possible to perform image processing that emphasizes the edge portion in the original image data. .
図８は、本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の別の具体例の説明図である。ここでは、ＲＧＢ空間から輝度・色差（ＹＣｒＣｂ）空間への色空間変換を例に説明を行なう。図８（Ａ），（Ｂ），（Ｃ）は、Ｒ，Ｇ，Ｂ各色信号ごとのＤＣＴデータを示し、ハッチングを施した部分がＤＣＴデータ中でデータ選択部１１により選択された有効係数の一例である。
FIG. 8 is an explanatory diagram of another specific example of the operation of the
図８に示すように、ＲＧＢ空間からＹＣｒＣｂ空間への色空間変換は、図８（Ａ），（Ｂ），（Ｃ）に示すＤＣＴデータの各係数ごとに、例えば図８（Ｄ）に示すような係数マトリクスを用いたマトリクス演算を施して行なわれる。３×３マトリクス処理の場合は、９回の乗算と６回の加減算が必要である。従って、従来のようにＤＣＴデータの選択を行なわない場合、ブロック内の各係数につき９回の乗算と６回の加減算が必要であり、８×８ブロック全体では５７６回の乗算と３８４回の加減算が必要となる。これに対して、この具体例においては、図８（Ｅ），（Ｆ），（Ｇ）にハッチングを施して示した部分の演算しか必要としない。具体的には１３５回の乗算と７２回の加減算のみで実行でき、演算コストの削減が可能となる。 As shown in FIG. 8, the color space conversion from the RGB space to the YCrCb space is performed for each coefficient of the DCT data shown in FIGS. 8A, 8B, and 8C, for example, as shown in FIG. This is performed by performing matrix calculation using such a coefficient matrix. In the case of 3 × 3 matrix processing, 9 multiplications and 6 additions / subtractions are required. Therefore, when DCT data is not selected as in the prior art, 9 multiplications and 6 additions / subtractions are required for each coefficient in the block, and 576 multiplications and 384 additions / subtractions are required for the entire 8 × 8 block. Is required. On the other hand, in this specific example, only the operation of the portion shown by hatching in FIGS. 8E, 8F, and 8G is required. Specifically, it can be executed by only 135 multiplications and 72 additions / subtractions, and the calculation cost can be reduced.
以上説明したように、この第１の実施の形態によれば、ＤＣＴデータを原画像データに逆変換することなく画像処理を行なうとともに、演算を施しても処理結果にほとんど影響のでない無効係数データの演算を簡単な閾値処理によって省くことで、画質の劣化を抑えた、高速かつ効率的な画像処理が可能になる。 As described above, according to the first embodiment, image processing is performed without inversely transforming DCT data into original image data, and invalid coefficient data that has little influence on the processing result even if computation is performed. By omitting this calculation by simple threshold processing, it is possible to perform high-speed and efficient image processing while suppressing deterioration in image quality.
なお、上述の説明では、閾値処理部２２の閾値Ｔｈは固定としたが、これに限定されるわけではなく、さまざまな閾値を用いることが可能である。例えば、図３に示すようなＤＣＴデータの特性を利用して、ブロック内の位置により適応的に閾値を変える可変閾値を用いる方法が可能である。その一例として、低周波領域にはより小さい閾値、高周波領域にはより大きい閾値を用いることで、高域成分が目につきにくいという人間の視覚特性を利用した閾値処理が可能となる。
In the above description, the threshold value Th of the threshold
次に、第２の実施の形態について説明する。上述の第１の実施の形態では、８×８ブロックのＤＣＴデータの各係数について閾値処理を施し、有効係数のみを選択していた。しかし、図３でも示されるように、ブロック分割されたＤＣＴデータは、ブロック内の左上から右下に向かって、周波数の低い順に配置されている。また一般に、自然画像は低い周波数成分を多く含む。従って、ブロック内において、低周波領域と高周波領域とを分け、処理する領域を選択することで、高速な処理が可能となる。 Next, a second embodiment will be described. In the above-described first embodiment, threshold processing is performed on each coefficient of DCT data of 8 × 8 blocks, and only effective coefficients are selected. However, as shown in FIG. 3, the DCT data divided into blocks is arranged in order of increasing frequency from the upper left to the lower right in the block. In general, a natural image contains many low frequency components. Therefore, by dividing the low frequency region and the high frequency region in the block and selecting the region to be processed, high-speed processing is possible.
図９は、本発明の画像処理装置の第２の実施の形態におけるデータ選択部１１の一例を示す構成図である。図中、２３は係数値積算部である。係数値積算部２３は、画像記憶部３から読み込まれた８×８ブロックのＤＣＴデータに対して、ある特定領域のＤＣＴデータの係数絶対値を積算する。
FIG. 9 is a block diagram showing an example of the
図１０は、本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の一例の説明図である。計数値積算部２３で係数の積算を行なう特定領域としては、例えば、ＤＣ成分のみの領域と、図１０（Ａ）にハッチングを施して示す低周波領域と、図１０（Ｂ）にハッチングを施して示す高周波領域の３つの領域を用いるように構成することができる。計数値積算部２３では、各特定領域ごとにその特定領域内の計数を積算する。
FIG. 10 is an explanatory diagram showing an example of a specific area in which the coefficient is integrated by the count
閾値処理部２２は、係数値積算部２３で計算された積算値に対して、予め定められた閾値Ｔｈにより閾値処理を行ない、演算領域を選択する。データ演算部１２は、選択された領域内のデータに対してのみ処理を施す。
The
図１１は、本発明の画像処理装置の第２の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。Ｓ４１において、画像記憶部３から係数値積算部２３に、８×８ブロックのＤＣＴデータを読み込み、図１０（Ａ）にハッチングを施して示した低周波領域内のＤＣＴデータの係数の絶対値を積算し、積算値Ｓｕｍ１を求める。
FIG. 11 is a flowchart showing an example of the processing flow of the
Ｓ４２において、Ｓ４１で求めた積算値Ｓｕｍ１を閾値処理部２２に転送し、予め定められた閾値Ｔｈ１と比較する。その結果、Ｔｈ１＞Ｓｕｍ１の場合にはＳ４３に、Ｔｈ１≦Ｓｕｍ１の場合にはＳ４４に移る。Ｔｈ１＞Ｓｕｍ１の場合、図１０（Ａ）に示されるような低周波領域に大きなエネルギーを持たないことを示す。すなわち、原画像データにおいて、非常に平坦で画素値の変化がほとんどない領域であることを示す。そこで、Ｓ４３において、８×８ブロックのＤＣＴデータのうち、ＤＣ成分のみをデータ演算部１２に転送し、データ演算部１２で処理を行なう。
In S42, the integrated value Sum1 obtained in S41 is transferred to the
Ｔｈ１≦Ｓｕｍ１の場合、低周波領域に大きなエネルギーを持ち、原画像データにおいても画素値の変化があることを示す。そこで、次にＳ４４において、係数値積算部２３で、今度は図１０（Ｂ）にハッチングを施して示す特定領域、つまり高周波領域内のＤＣＴデータの係数の絶対値を積算し、積算値Ｓｕｍ２を求める。
In the case of Th1 ≦ Sum1, it has a large energy in the low frequency region and indicates that there is a change in the pixel value even in the original image data. Therefore, in S44, the coefficient
Ｓ４５において、Ｓ４４で求めた積算値Ｓｕｍ２を閾値処理部２２に転送し、予め定められた閾値Ｔｈ２と比較する。その結果、Ｔｈ２≦Ｓｕｍ２の場合にはＳ４６に、Ｔｈ２＞Ｓｕｍ２の場合にはＳ４７に移る。Ｔｈ２＞Ｓｕｍ２の場合、図１０（Ｂ）で示されるような、周波領域に大きなエネルギーを持たないことを示す。すなわち、原画像データにおいては、エッジ等によって、画素値が急激に変化することがない領域であることを示す。そこで、Ｓ４７において、８×８ブロックのＤＣＴデータのうち、ＤＣ成分とＳ４１で用いた図１０（Ａ）に示す低周波領域内のデータを選択してデータ演算部１２に転送し、データ演算部１２で処理を行なう。
In S45, the integrated value Sum2 obtained in S44 is transferred to the
Ｔｈ２≦Ｓｕｍ２の場合、高周波領域にも大きなエネルギーを持ち、原画像データにおいて、エッジ等の画素値変化が激しい領域であることを示す。そこで、Ｓ４６において、８×８ブロック内の全てのＤＣＴデータを選択してデータ演算部１２に転送し、データ演算部１２で処理を行なう。
In the case of Th2 ≦ Sum2, the high-frequency region has a large energy, which indicates that the pixel value change such as an edge is severe in the original image data. Therefore, in S46, all the DCT data in the 8 × 8 block are selected and transferred to the
Ｓ４８において、Ｓ４３，Ｓ４６，Ｓ４７のいずれかのステップで処理された処理後の８×８ブロックのＤＣＴデータを画像出力部６に送り、順次出力する。
In S48, the processed 8 × 8 block DCT data processed in any one of steps S43, S46, and S47 is sent to the
Ｓ４９において、全ブロックについて処理を行なったか否かを判定する。全ブロックの処理が終了していない場合、未処理のブロックについて処理を行なうべくＳ４１に戻る。全ブロックの処理が終了した場合には、画像処理部４の処理を終了する。
In S49, it is determined whether or not all blocks have been processed. If all blocks have not been processed, the process returns to S41 to process the unprocessed blocks. When all the blocks have been processed, the processing of the
以上説明したように、この第２の実施の形態によれば、ＤＣＴデータを原画像データに逆変換することなく、８×８ブロックのＤＣＴデータをＤＣ成分と低周波領域および高周波領域とに分け、それぞれの領域内の係数絶対値による簡単な閾値処理により、原画像データにほとんど影響のでない演算を領域単位で省くので、画質の劣化を抑えた、高速な画像処理が可能になる。 As described above, according to the second embodiment, the DCT data of 8 × 8 blocks is divided into the DC component, the low frequency region, and the high frequency region without inversely converting the DCT data into the original image data. The simple threshold processing based on the absolute value of the coefficient in each area eliminates the calculation that hardly affects the original image data in units of areas, so that high-speed image processing with reduced image quality can be achieved.
なお、本実施の形態において、８×８ブロックのＤＣＴデータの分割方法は、ＤＣ成分と低周波領域および高周波領域の３領域に限定されるわけではなく、さらに多くの領域に分割する方法もある。図１２は、本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の別の例の説明図である。例えば、図１２（Ａ）に示すように、ブロック内を低周波側からＤＣ成分も含めて５つの領域に分割し、各領域ごとに予め定められた閾値により、処理領域を選択することも可能である。もちろん、４つの領域に分割したり、６以上の領域に分割してもよい。
In this embodiment, the method of dividing the DCT data of 8 × 8 blocks is not limited to the three regions of the DC component, the low frequency region, and the high frequency region, and there is also a method of dividing into more regions. . FIG. 12 is an explanatory diagram of another example of a specific area in which the coefficient is integrated by the count
また図１２（Ｂ）に示すように、斜めに配置された係数ごとにグループ化し、このグループごとに選択する手法も可能である。例えば、８×８ブロック内のＤＣ成分から周波数が高くなる方向へ、ＤＣＴ係数の絶対値和Ｓｕｍ１，Ｓｕｍ２，Ｓｕｍ３，・・・を順次計算し、計算された絶対値和の積算値Ｓを算出する。各々の絶対値和に対応するように閾値Ｔｈ１，Ｔｈ２，Ｔｈ３，・・・を予め定めておき、絶対値和が算出されるごとに、対応する閾値とそれまでの絶対値和の積算値Ｓを比較する。閾値Ｔｈｉより積算値Ｓが小さくなる領域までを処理領域とするように、低周波側から順に領域を選択すればよい。 Also, as shown in FIG. 12B, a method of grouping for each coefficient arranged obliquely and selecting for each group is also possible. For example, the absolute value sums Sum1, Sum2, Sum3,... Of the DCT coefficients are sequentially calculated in the direction in which the frequency increases from the DC component in the 8 × 8 block, and the integrated value S of the calculated absolute value sums is calculated. To do. Threshold values Th1, Th2, Th3,... Are determined in advance so as to correspond to the respective absolute value sums, and each time the absolute value sum is calculated, the corresponding threshold value and the integrated value S of the absolute value sums so far are calculated. Compare The regions may be selected in order from the low frequency side so that the processing region is the region where the integrated value S is smaller than the threshold value Thi.
図１２（Ｂ）に示した例では、順次Ｓｕｍ１，Ｓｕｍ２，・・・と計算していき、Ｓｕｍ５までの積算値Ｓが
Ｓ＝Ｓｕｍ１＋Ｓｕｍ２＋Ｓｕｍ３＋Ｓｕｍ４＋Ｓｕｍ５＜Ｔｈ５
となった場合を示しており、図１２（Ｂ）にハッチングを施して示した部分を処理領域として選択することになる。
In the example shown in FIG. 12B, Sum1, Sum2,... Are calculated sequentially, and the integrated value S up to Sum5 is S = Sum1 + Sum2 + Sum3 + Sum4 + Sum5 <Th5.
The portion shown by hatching in FIG. 12B is selected as the processing region.
上述の各例において、ＤＣＴデータの係数マトリクスの大きさを８×８としているが、本発明はこの大きさに限らず、小さくても大きくてもよい。ＪＰＥＧやＭＰＥＧ等の種々の規格化された符号化データでは、８×８の大きさのＤＣＴデータを用いており、上述の各例では、これらの規格に容易に対応させることが可能である。 In each of the above examples, the size of the coefficient matrix of DCT data is 8 × 8, but the present invention is not limited to this size, and may be small or large. Various standardized encoded data such as JPEG and MPEG use DCT data having a size of 8 × 8, and each of the above-described examples can easily correspond to these standards.
また、上述の各例では、一例として８×８画素のブロックごとに離散コサイン変換（ＤＣＴ）符号化、量子化、ハフマン符号化されて伝送あるいは蓄積された原画像圧縮データに対して画像処理を施す場合について説明したが、これに限るものではない。例えば、原画像のブロックの大きさは８×８画素に限定されるものではなく、もっと大きくても小さくてもよい。また、離散コサイン変換符号化のほか、離散フーリエ変換符号化やＫ−Ｌ変換符号化など、他の種々の直交変換符号化手法を用いてもよい。さらに、このような直交変換符号化による符号データがそのまま入力されてもよいし、上述の例において量子化やハフマン符号化が行なわれていたように、他の種々の処理が施された符号データが入力されてもよい。なお、これらの変形を行なう際には、復号・逆量子化部２、符号・量子化部５を対応させておけばよい。
In each of the above examples, as an example, image processing is performed on the compressed original image data transmitted or accumulated by discrete cosine transform (DCT) coding, quantization, and Huffman coding for each 8 × 8 pixel block. Although the case where it applies is demonstrated, it is not restricted to this. For example, the size of the block of the original image is not limited to 8 × 8 pixels, and may be larger or smaller. In addition to discrete cosine transform coding, various other orthogonal transform coding methods such as discrete Fourier transform coding and KL transform coding may be used. Furthermore, code data obtained by such orthogonal transform coding may be input as it is, or code data that has been subjected to various other processes, such as quantization or Huffman coding in the above example. May be input. When these modifications are performed, the decoding /
１…画像入力部、２…復号・逆量子化部、３…画像記憶部、４…画像処理部、５…符号・量子化部、６…画像出力部、７…制御部、１１…データ選択部、１２…データ演算部、２１…係数参照部、２２…閾値処理部、２３…係数値積算部。
DESCRIPTION OF
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005201400A JP2006024222A (en) | 2005-07-11 | 2005-07-11 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005201400A JP2006024222A (en) | 2005-07-11 | 2005-07-11 | Image processing apparatus and image processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17231896A Division JP3722169B2 (en) | 1996-07-02 | 1996-07-02 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006024222A true JP2006024222A (en) | 2006-01-26 |
Family
ID=35797399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005201400A Pending JP2006024222A (en) | 2005-07-11 | 2005-07-11 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006024222A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102609764B1 (en) * | 2022-08-18 | 2023-12-05 | 주식회사 디코드 | Image processing apparatus and processing method therefor |
-
2005
- 2005-07-11 JP JP2005201400A patent/JP2006024222A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102609764B1 (en) * | 2022-08-18 | 2023-12-05 | 주식회사 디코드 | Image processing apparatus and processing method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4870743B2 (en) | Selective chrominance decimation for digital images | |
| KR100234316B1 (en) | Signal adaptive filter for reducing ringing noise and signal adaptive filering method thereof | |
| JP5215951B2 (en) | Encoding apparatus, control method therefor, and computer program | |
| CA2674310A1 (en) | System and method for reducing artifacts in images | |
| KR100944928B1 (en) | Apparatus and method for encoding and computing a discrete cosine transform using a butterfly processor | |
| JPH07107300A (en) | Picture encoding device | |
| JP2008527809A (en) | Process for image compression and decompression acceleration | |
| US7551788B2 (en) | Digital image coding device and method for noise removal using wavelet transforms | |
| JP3469438B2 (en) | Image signal processing method and apparatus, recording medium | |
| JP3722169B2 (en) | Image processing apparatus and image processing method | |
| JP3700976B2 (en) | Image processing apparatus and image processing method | |
| JP4315980B2 (en) | Image compression apparatus, image compression method, and image compression program product | |
| JP2006024222A (en) | Image processing apparatus and image processing method | |
| JPH05344346A (en) | Image compressor | |
| JP4328727B2 (en) | Image compression / decompression method, image compression apparatus, and image expansion apparatus | |
| JP6992825B2 (en) | Video coding device, video coding method, video decoding device, video decoding method, and video coding system | |
| KR20150096353A (en) | Image encoding system, image decoding system and providing method thereof | |
| CN100396101C (en) | Image compression apparatus generating and using assistant images and a method thereof | |
| KR101583870B1 (en) | Image encoding system, image decoding system and providing method thereof | |
| JP2006509401A (en) | How to measure blocking artifacts | |
| JP3979020B2 (en) | Image processing apparatus for sampling compressed image | |
| JP3954032B2 (en) | Image coding apparatus, image coding method, image coding program, and computer-readable recording medium on which image coding program is recorded | |
| JP4763413B2 (en) | Image improvement device | |
| JP3027605B2 (en) | Image processing device | |
| JP2008109195A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080611 |