JP2015176161A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2015176161A JP2015176161A JP2014049505A JP2014049505A JP2015176161A JP 2015176161 A JP2015176161 A JP 2015176161A JP 2014049505 A JP2014049505 A JP 2014049505A JP 2014049505 A JP2014049505 A JP 2014049505A JP 2015176161 A JP2015176161 A JP 2015176161A
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- noise
- quantization
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 253
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000013139 quantization Methods 0.000 claims abstract description 151
- 230000000694 effects Effects 0.000 claims abstract description 136
- 238000012937 correction Methods 0.000 claims description 143
- 238000000034 method Methods 0.000 claims description 114
- 238000011156 evaluation Methods 0.000 claims description 106
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000000873 masking effect Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 50
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 230000006866 deterioration Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理方法に関し、特に、入力画像に対してノイズ除去処理を実行することにより出力画像を生成するノイズ除去装置及びノイズ除去方法に関する。 The present invention relates to an image processing apparatus and an image processing method, and more particularly, to a noise removal apparatus and a noise removal method for generating an output image by performing noise removal processing on an input image.
一般的なノイズ除去装置は、空間領域の入力画像の画像データに対して、高周波成分を除去するローパスフィルタ等の空間フィルタを画像全体に関して一様に適用することにより、画像に含まれているノイズを除去する。 A general noise removal device applies a spatial filter such as a low-pass filter that removes high-frequency components uniformly to the image data of an input image in the spatial domain, so that the noise contained in the image Remove.
なお、下記特許文献1には、入力画像の輪郭部分に関してはメディアンフィルタを適用し、輪郭以外の部分に関しては平均化フィルタを適用するノイズ除去装置が開示されている。
上述した一般的なノイズ除去装置によると、入力画像に対して空間フィルタを一回適用しただけでは、ノイズ除去効果が低い。空間フィルタを複数回適用することによってノイズ除去効果を上げることはできるが、この場合には解像度が低下して輪郭部分が不鮮明となり、画像全体としては却って画質が劣化しているように見えることがある。また、空間フィルタを複数回適用する必要上、処理時間が増大するとともに、中間値を格納するテンポラルメモリが必要となって回路規模が増大する。 According to the general noise removal apparatus described above, the noise removal effect is low only by applying the spatial filter once to the input image. Although the noise removal effect can be improved by applying the spatial filter multiple times, in this case, the resolution is lowered and the contour portion becomes unclear, and the image quality seems to be deteriorated on the whole image. is there. Further, since the spatial filter needs to be applied a plurality of times, the processing time increases, and a temporal memory for storing intermediate values is required, which increases the circuit scale.
本発明はかかる事情に鑑みて成されたものであり、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置及び画像処理方法を得ることを目的とする。 The present invention has been made in view of such circumstances, and can achieve a high noise removal effect while avoiding deterioration of image quality, and can reduce processing time and circuit scale. An object is to obtain a possible image processing apparatus and image processing method.
本発明の第1の態様に係る画像処理装置は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、入力画像から所定のブロック単位で抽出した空間領域の第1画像データを、複数の周波数成分を含む周波数領域の第2画像データに変換する変換部と、第2画像データに対して量子化処理を実行することにより、第3画像データを生成する量子化部と、第1画像データに基づいて、ブロック毎のノイズ値を算出する第1の演算部と、入力画像全体のノイズ値に基づいて、量子化処理に用いる入力画像毎の第1の量子化値を設定する第1の量子化値設定部と、を備えることを特徴とするものである。 An image processing apparatus according to a first aspect of the present invention is an image processing apparatus that generates an output image by performing noise removal processing on an input image, and is extracted from the input image in predetermined block units. By converting the first image data in the spatial domain to the second image data in the frequency domain including a plurality of frequency components, and performing the quantization process on the second image data, A quantization unit to be generated, a first calculation unit that calculates a noise value for each block based on the first image data, and a first calculation unit for each input image used for quantization processing based on the noise value of the entire input image. And a first quantized value setting unit that sets one quantized value.
第1の態様に係る画像処理装置によれば、第1の量子化値設定部は、入力画像全体のノイズ値に基づいて入力画像毎の第1の量子化値を設定し、量子化部は、第2画像データに対して量子化処理を実行することにより第3画像データを生成する。このように、入力画像全体のノイズ値に基づいて設定した第1の量子化値を用いて量子化処理を実行することにより、入力画像全体のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。 According to the image processing apparatus according to the first aspect, the first quantization value setting unit sets the first quantization value for each input image based on the noise value of the entire input image, and the quantization unit The third image data is generated by performing the quantization process on the second image data. In this way, by performing the quantization process using the first quantization value set based on the noise value of the entire input image, an appropriate noise removal process is performed according to the noise level of the entire input image. be able to. As a result, it is possible to achieve a high noise removal effect while avoiding deterioration in image quality. In addition, the processing time can be shortened and the circuit scale can be reduced because a temporal memory for storing intermediate values is not required, compared to the case where the spatial filter is applied multiple times to improve the noise removal effect. It becomes.
本発明の第2の態様に係る画像処理装置は、第1の態様に係る画像処理装置において特に、第3画像データに対して周波数成分毎に補正処理を実行することにより、第4画像データを生成する補正部と、入力画像全体の第2画像データに基づいて、補正処理に用いる入力画像毎の第1の補正値を設定する第1の補正値設定部と、をさらに備えることを特徴とするものである。 The image processing apparatus according to the second aspect of the present invention, in the image processing apparatus according to the first aspect, performs the correction process for each frequency component on the third image data, thereby obtaining the fourth image data. A correction unit to be generated; and a first correction value setting unit that sets a first correction value for each input image used for correction processing based on second image data of the entire input image. To do.
第2の態様に係る画像処理装置によれば、第1の補正値設定部は、入力画像全体の第2画像データに基づいて入力画像毎の第1の補正値を設定し、補正部は、第3画像データに対して周波数成分毎に補正処理を実行することにより第4画像データを生成する。このように、入力画像全体の第2画像データに基づいて設定した第1の補正値を用いて周波数成分毎に補正処理を実行することにより、周波数成分毎のノイズレベルに応じて適切なノイズ除去処理を実行することが可能となる。 According to the image processing apparatus according to the second aspect, the first correction value setting unit sets the first correction value for each input image based on the second image data of the entire input image. Fourth image data is generated by executing correction processing for each frequency component on the third image data. In this way, by performing correction processing for each frequency component using the first correction value set based on the second image data of the entire input image, appropriate noise removal is performed according to the noise level for each frequency component. Processing can be executed.
本発明の第3の態様に係る画像処理装置は、第1又は第2の態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記第1の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出することを特徴とするものである。 In the image processing device according to the third aspect of the present invention, particularly in the image processing device according to the first or second aspect, the pixel value of each pixel and the pixel values of a plurality of peripheral pixels adjacent to the pixel are included. A smoothing processing unit that calculates a smoothing value of each pixel based on the first arithmetic unit, and calculates a sum of absolute differences between the pixel value of each pixel and the smoothing value of each pixel; A noise value for each block is calculated as an average value within the block of the sum of absolute differences.
第3の態様に係る画像処理装置によれば、第1の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出する。これにより、ブロック毎のノイズ値を第1の演算部によって適切に求めることが可能となる。 According to the image processing apparatus according to the third aspect, the first calculation unit calculates the sum of absolute differences between the pixel value of each pixel and the smooth value of each pixel, As an average value, a noise value for each block is calculated. Thereby, the noise value for each block can be appropriately obtained by the first calculation unit.
本発明の第4の態様に係る画像処理装置は、第1〜第3のいずれか一つの態様に係る画像処理装置において特に、前記第1の量子化値設定部は、ノイズ値が高いほど高い第1の量子化値を設定することを特徴とするものである。 In the image processing device according to the fourth aspect of the present invention, in particular, in the image processing device according to any one of the first to third aspects, the first quantization value setting unit is higher as the noise value is higher. The first quantized value is set.
第4の態様に係る画像処理装置によれば、第1の量子化値設定部は、ノイズ値が高いほど高い第1の量子化値を設定する。このように、入力画像全体のノイズ値が高い場合には第1の量子化値を高く設定することにより、量子化処理による高いノイズ除去効果を得ることができる。また、入力画像全体のノイズ値が低い場合には第1の量子化値を低く設定することにより、量子化処理に伴う画質の劣化を回避することができる。 According to the image processing device according to the fourth aspect, the first quantized value setting unit sets a higher first quantized value as the noise value is higher. As described above, when the noise value of the entire input image is high, by setting the first quantization value high, a high noise removal effect by the quantization process can be obtained. In addition, when the noise value of the entire input image is low, the first quantization value is set low, so that deterioration in image quality due to the quantization process can be avoided.
本発明の第5の態様に係る画像処理装置は、第1〜第4のいずれか一つの態様に係る画像処理装置において特に、第1画像データに基づいて、ブロック毎の活発性評価値を算出する第2の演算部と、第1の量子化値と、ブロック毎の活発性評価値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する第2の量子化値設定部と、をさらに備えることを特徴とするものである。 The image processing apparatus according to the fifth aspect of the present invention calculates an activity evaluation value for each block based on the first image data, particularly in the image processing apparatus according to any one of the first to fourth aspects. 2nd quantization which sets the 2nd quantization value for every block used for quantization processing based on the 2nd calculating part to perform, the 1st quantization value, and the activity evaluation value for every block And a value setting unit.
第5の態様に係る画像処理装置によれば、第2の量子化値設定部は、第1の量子化値とブロック毎の活発性評価値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する。このように、入力画像全体のノイズ値に基づいて設定される第1の量子化値と、ブロック毎の活発性評価値とに基づいて、ブロック毎の第2の量子化値を設定することにより、入力画像全体のノイズレベルとブロックの属性とに応じて、ブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。 According to the image processing device according to the fifth aspect, the second quantized value setting unit determines whether the second quantized value setting unit for each block used for the quantizing process is based on the first quantized value and the activity evaluation value for each block. A second quantization value is set. In this way, by setting the second quantization value for each block based on the first quantization value set based on the noise value of the entire input image and the activity evaluation value for each block. An appropriate noise removal process can be executed for each block in accordance with the noise level of the entire input image and the attribute of the block. As a result, it is possible to effectively avoid a decrease in resolution, and it is possible to improve the image quality of the entire image.
本発明の第6の態様に係る画像処理装置は、第5の態様に係る画像処理装置において特に、各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、前記第2の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出することを特徴とするものである。 The image processing device according to the sixth aspect of the present invention is based on the pixel value of each pixel and the pixel values of a plurality of peripheral pixels adjacent to the pixel, particularly in the image processing device according to the fifth aspect. The image processing apparatus further includes a smoothing processing unit that calculates a smooth value of each pixel, and the second calculation unit calculates a sum of absolute differences between the smooth value of each pixel and the average value of the smooth value in the block, and the difference The activity evaluation value for each block is calculated as the average value within the block of the sum of absolute values.
第6の態様に係る画像処理装置によれば、第2の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する。これにより、ブロック毎の活発性評価値を第2の演算部によって適切に求めることが可能となる。 According to the image processing device of the sixth aspect, the second calculation unit calculates the sum of absolute differences between the smooth value of each pixel and the average value of the smooth values in the block, The activity evaluation value for each block is calculated as the average value within the block. Thereby, the activity evaluation value for each block can be appropriately obtained by the second calculation unit.
本発明の第7の態様に係る画像処理装置は、第5又は第6の態様に係る画像処理装置において特に、前記第2の量子化値設定部は、活発性評価値が低レベルのブロックに関しては、第1の量子化値より高い量子化値を、第2の量子化値として設定し、活発性評価値が高レベルのブロックに関しては、第1の量子化値より低い量子化値を、第2の量子化値として設定することを特徴とするものである。 In the image processing device according to the seventh aspect of the present invention, particularly in the image processing device according to the fifth or sixth aspect, the second quantized value setting unit relates to a block having a low activity evaluation value. Sets a quantized value higher than the first quantized value as the second quantized value, and for blocks with a high activity evaluation value, sets a quantized value lower than the first quantized value, It is characterized in that it is set as the second quantized value.
第7の態様に係る画像処理装置によれば、第2の量子化値設定部は、活発性評価値が低レベルのブロックに関しては、第1の量子化値より高い量子化値を、第2の量子化値として設定する。活発性評価値が低くノイズが目立ちやすい平坦部に関しては、第2の量子化値を高く設定することにより、量子化処理による高いノイズ除去効果を得ることが可能となる。また、第2の量子化値設定部は、活発性評価値が高レベルのブロックに関しては、第1の量子化値より低い量子化値を、第2の量子化値として設定する。活発性評価値が高いエッジ部やテクスチャ部に関しては、第2の量子化値を低く設定することにより、量子化に伴ってエッジ部やテクスチャ部が不鮮明になることを回避でき、画質を向上することが可能となる。 According to the image processing device of the seventh aspect, the second quantized value setting unit sets a second quantized value higher than the first quantized value for the block whose activity evaluation value is low. Set as the quantization value of. For a flat portion having a low activity evaluation value and noise conspicuous, a high noise removal effect by the quantization processing can be obtained by setting the second quantization value high. The second quantized value setting unit sets a quantized value lower than the first quantized value as the second quantized value for a block having a high activity evaluation value. For edges and textures with high activity evaluation values, by setting the second quantization value low, it is possible to avoid blurring of edges and textures due to quantization, thereby improving image quality. It becomes possible.
本発明の第8の態様に係る画像処理装置は、第1〜第4のいずれか一つの態様に係る画像処理装置において特に、第1の量子化値と、ブロック毎のノイズ値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する第2の量子化値設定部をさらに備えることを特徴とするものである。 The image processing device according to the eighth aspect of the present invention is based on the first quantized value and the noise value for each block, particularly in the image processing device according to any one of the first to fourth aspects. The method further includes a second quantized value setting unit that sets a second quantized value for each block used in the quantization process.
第8の態様に係る画像処理装置によれば、第2の量子化値設定部は、第1の量子化値と、ブロック毎のノイズ値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する。このように、入力画像全体のノイズ値に基づいて設定される第1の量子化値と、ブロック毎のノイズ値とに基づいて、ブロック毎の第2の量子化値を設定することにより、入力画像全体のノイズレベルとブロック毎のノイズレベルとに応じて、ブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。 According to the image processing device according to the eighth aspect, the second quantized value setting unit performs the first quantization value setting for each block used for the quantization processing based on the first quantized value and the noise value for each block. A quantization value of 2 is set. Thus, by setting the second quantized value for each block based on the first quantized value set based on the noise value of the entire input image and the noise value for each block, the input An appropriate noise removal process can be executed for each block according to the noise level of the entire image and the noise level of each block. As a result, it is possible to effectively avoid a decrease in resolution, and it is possible to improve the image quality of the entire image.
本発明の第9の態様に係る画像処理装置は、第8の態様に係る画像処理装置において特に、前記第2の量子化値設定部は、第1の量子化値を上限値として、ノイズ値が高いほど高い第2の量子化値を設定することを特徴とするものである。 In the image processing device according to the ninth aspect of the present invention, in particular, in the image processing device according to the eighth aspect, the second quantized value setting unit uses the first quantized value as an upper limit value and a noise value. The higher the value is, the higher the second quantization value is set.
第9の態様に係る画像処理装置によれば、第2の量子化値設定部は、第1の量子化値を上限値として、ノイズ値が高いほど高い第2の量子化値を設定する。このように、ノイズ値が高いブロックに関しては第2の量子化値を高く設定することにより、量子化処理による高いノイズ除去効果を得ることができる。また、ノイズ値が低いブロックに関しては第2の量子化値を低く設定することにより、量子化処理に伴う画質の劣化を回避することができる。また、第1の量子化値を上限値とすることにより、第2の量子化値の最大値と最小値との差が一定範囲内に制限されるため、いわゆるバタツキが抑制され、画像全体として画質を向上することが可能となる。 According to the image processing device of the ninth aspect, the second quantized value setting unit sets the second quantized value that is higher as the noise value is higher, with the first quantized value as the upper limit value. As described above, for a block having a high noise value, a high noise removal effect by the quantization process can be obtained by setting the second quantization value high. In addition, by setting the second quantization value to be low for a block with a low noise value, it is possible to avoid deterioration in image quality due to quantization processing. Further, by setting the first quantized value as the upper limit value, the difference between the maximum value and the minimum value of the second quantized value is limited within a certain range, so that so-called fluttering is suppressed and the entire image is reduced. Image quality can be improved.
本発明の第10の態様に係る画像処理装置は、第2〜第9のいずれか一つの態様に係る画像処理装置において特に、前記第1の補正値設定部は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第1の補正値として設定することを特徴とするものである。 The image processing apparatus according to the tenth aspect of the present invention is the image processing apparatus according to any one of the second to ninth aspects, and in particular, the first correction value setting unit The conversion value for converting each frequency component value in the input image is set as the first correction value such that the ratio of the frequency component value in the input image is equal to the ratio between the frequency component values in the ideal image that does not include noise. It is what.
第10の態様に係る画像処理装置によれば、第1の補正値設定部は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第1の補正値として設定する。第1の補正値をこのように設定することにより、出力画像を理想画像に近付ける補正処理を実現できるため、画質を向上することが可能となる。 According to the image processing apparatus of the tenth aspect, the first correction value setting unit causes the ratio between the frequency component values in the input image to be equal to the ratio between the frequency component values in the ideal image that does not include noise. In addition, a conversion value for converting each frequency component value in the input image is set as the first correction value. By setting the first correction value in this way, it is possible to realize a correction process that brings the output image closer to the ideal image, and thus it is possible to improve the image quality.
本発明の第11の態様に係る画像処理装置は、第1〜第10のいずれか一つの態様に係る画像処理装置において特に、第1画像データに基づいて、ブロック毎の活発性評価値を算出する第2の演算部と、第1の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第2の補正値を設定する第2の補正値設定部と、をさらに備えることを特徴とするものである。 The image processing apparatus according to the eleventh aspect of the present invention calculates an activity evaluation value for each block based on the first image data, particularly in the image processing apparatus according to any one of the first to tenth aspects. A second correction value setting unit that sets a second correction value for each block used for the correction processing based on the second calculation unit, the first correction value, and the activity evaluation value for each block; Are further provided.
第11の態様に係る画像処理装置によれば、第2の補正値設定部は、第1の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第2の補正値を設定する。このように、入力画像全体の第2画像データに基づいて設定される第1の補正値と、ブロック毎の活発性評価値とに基づいて、ブロック毎の第2の補正値を設定することにより、入力画像全体の周波数成分値とブロックの属性とに応じて、ブロック毎に適切な補正処理を実行することができる。その結果、ブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。 According to the image processing apparatus according to the eleventh aspect, the second correction value setting unit performs the second correction for each block used for the correction processing based on the first correction value and the activity evaluation value for each block. Set the correction value. As described above, by setting the second correction value for each block based on the first correction value set based on the second image data of the entire input image and the activity evaluation value for each block. An appropriate correction process can be executed for each block according to the frequency component value of the entire input image and the attribute of the block. As a result, the noise removal effect for each block can be improved, so that the image quality of the entire image can be improved.
本発明の第12の態様に係る画像処理装置は、第11の態様に係る画像処理装置において特に、前記第2の補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、前記第2の演算部によって算出された活発性評価値に対応するマスクを用いて第1の補正値のマスキングを行うことによって、第2の補正値を設定することを特徴とするものである。 In the image processing device according to the twelfth aspect of the present invention, in particular, in the image processing device according to the eleventh aspect, the second correction value setting unit actively uses a mask in which an arbitrary multiplier is set for each frequency component. A plurality of types are held in accordance with the sex evaluation value, and the second correction is performed by masking the first correction value using a mask corresponding to the activity evaluation value calculated by the second arithmetic unit. A value is set.
第12の態様に係る画像処理装置によれば、第2の補正値設定部は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、第2の演算部によって算出された活発性評価値に対応するマスクを用いて第1の補正値のマスキングを行うことによって、第2の補正値を設定する。その結果、ブロック毎の活発性評価値に応じた第2の補正値を、第1の補正値から簡易かつ適切に設定することが可能となる。 According to the image processing apparatus of the twelfth aspect, the second correction value setting unit holds a plurality of types of masks each having an arbitrary multiplier set for each frequency component according to the activity evaluation value. The second correction value is set by performing masking of the first correction value using a mask corresponding to the activity evaluation value calculated by the second arithmetic unit. As a result, the second correction value corresponding to the activity evaluation value for each block can be set easily and appropriately from the first correction value.
本発明の第13の態様に係る画像処理装置は、第12の態様に係る画像処理装置において特に、前記第2の補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては第1の補正値を第2の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第2の補正値として設定し、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第1の補正値を第2の補正値として設定し、高周波成分においては略ゼロ値を第2の補正値として設定し、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第1の補正値を第2の補正値として設定することを特徴とするものである。 An image processing apparatus according to a thirteenth aspect of the present invention is the image processing apparatus according to the twelfth aspect, in which the second correction value setting unit is a low frequency for a block having a low activity evaluation value. In the component, the first correction value is set as the second correction value, and in the medium frequency component and the high frequency component, a substantially zero value is set as the second correction value. The first correction value is set as the second correction value for the low-frequency component and the medium-frequency component, and the substantially zero value is set as the second correction value for the high-frequency component. The block is characterized in that the first correction value is set as the second correction value for the low-frequency component, the medium-frequency component, and the high-frequency component.
第13の態様に係る画像処理装置によれば、第2の補正値設定部は、活発性評価値が低レベルのブロックに関しては、低周波成分においては第1の補正値を第2の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第2の補正値として設定する。活発性評価値が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、第2の補正値設定部は、活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第1の補正値を第2の補正値として設定する。活発性評価値が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、第2の補正値設定部は、活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第1の補正値を第2の補正値として設定し、高周波成分においては略ゼロ値を第2の補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。 According to the image processing apparatus of the thirteenth aspect, the second correction value setting unit, for a block having a low activity evaluation value, uses the first correction value as the second correction value in the low frequency component. In the middle frequency component and the high frequency component, a substantially zero value is set as the second correction value. With respect to a flat portion having a low activity evaluation value and noise that is conspicuous, it is possible to obtain a high noise removal effect by correction processing by performing masking that cuts off the medium frequency component and the high frequency component. The second correction value setting unit sets the first correction value as the second correction value for the low-frequency component, the medium-frequency component, and the high-frequency component for the block having the high activity evaluation value. For edges and textures with high activity evaluation values, by performing masking that does not cut all frequency components, correction processing that sharpens edges and textures can be realized, and image quality can be improved. . The second correction value setting unit sets the first correction value as the second correction value for the low-frequency component and the medium-frequency component for the block having the medium activity evaluation value, and sets the high-frequency component for the high-frequency component. Sets a substantially zero value as the second correction value. For image portions other than the flat portion, the edge portion, and the texture portion, it is possible to obtain a moderate noise removal effect by the correction processing by performing masking that cuts only high-frequency components.
本発明の第14の態様に係る画像処理装置は、第1〜第13のいずれか一つの態様に係る画像処理装置において特に、入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する判定部をさらに備えることを特徴とするものである。 In the image processing device according to the fourteenth aspect of the present invention, in the image processing device according to any one of the first to thirteenth aspects, the noise value of the entire input image, the activity evaluation value of the entire input image, And a determination unit that determines whether or not the noise removal process needs to be executed.
第14の態様に係る画像処理装置によれば、判定部は、入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する。これにより、ノイズ除去処理が真に必要な入力画像を対象としてノイズ除去処理を実行でき、不要な入力画像に対するノイズ除去処理の実行を回避できるため、消費電力を削減することが可能となる。 According to the image processing device in the fourteenth aspect, the determination unit determines whether or not the noise removal process is necessary based on the noise value of the entire input image and the activity evaluation value of the entire input image. As a result, noise removal processing can be executed for an input image that truly requires noise removal processing, and execution of noise removal processing on an unnecessary input image can be avoided, so that power consumption can be reduced.
本発明の第15の態様に係る画像処理装置は、第14の態様に係る画像処理装置において特に、前記判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによってノイズ強度を算出し、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定することを特徴とするものである。 In the image processing device according to the fifteenth aspect of the present invention, in particular, in the image processing device according to the fourteenth aspect, the determination unit divides the noise value of the entire input image by the activity evaluation value of the entire input image. The noise intensity is calculated, and if the noise intensity is less than the predetermined threshold, it is determined that the noise removal process is not necessary. If the noise intensity is greater than or equal to the threshold, noise removal is performed. It is characterized by determining that the execution of the process is necessary.
第15の態様に係る画像処理装置によれば、判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによって、ノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。判定部がこのような判定処理を行うことにより、ノイズ除去処理が真に必要な入力画像を高精度に特定することが可能となる。 According to the image processing device in the fifteenth aspect, the determination unit calculates the noise intensity by dividing the noise value of the entire input image by the activity evaluation value of the entire input image. If the noise intensity is less than a predetermined threshold value, it is determined that the noise removal process is not necessary. If the noise intensity is equal to or greater than the threshold value, the noise removal process needs to be performed. judge. When the determination unit performs such determination processing, it is possible to specify with high accuracy an input image that truly requires noise removal processing.
本発明の第16の態様に係る画像処理装置は、第1〜第15のいずれか一つの態様に係る画像処理装置において特に、前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力されることを特徴とするものである。 The image processing device according to a sixteenth aspect of the present invention is the image processing device according to any one of the first to fifteenth aspects, and in particular, the conversion unit and the quantization unit partially overlap from an input image. For the image portion where the plurality of blocks overlap in the output image, the optimum value obtained from the plurality of overlapping blocks is output as the image data of the image portion. It is characterized by that.
第16の態様に係る画像処理装置によれば、変換部及び量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行う。このように、ブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される。このように、重複部分については複数のブロックから求めた最適値(例えば平均値)を出力することにより、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。 According to the image processing device according to the sixteenth aspect, the transform unit and the quantization unit sequentially process a plurality of blocks extracted so as to partially overlap from the input image. In this way, it is possible to suppress the occurrence of block noise by overlapping parts of the blocks with each other. For an image portion where a plurality of blocks overlap in the output image, the optimum value obtained from the plurality of overlapping blocks is output as image data of the image portion. As described above, by outputting an optimum value (for example, an average value) obtained from a plurality of blocks for overlapping portions, it is possible to realize a high noise removal effect while avoiding deterioration in image quality.
本発明の第17の態様に係る画像処理装置は、第1〜第15のいずれか一つの態様に係る画像処理装置において特に、前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用されることを特徴とするものである。 The image processing device according to a seventeenth aspect of the present invention is the image processing device according to any one of the first to fifteenth aspects, and in particular, the conversion unit and the quantization unit partially overlap the input image. As for the image portion in which the plurality of blocks in the output image are overlapped, the output data of the image portion in the processing related to the current block is related to the next macro block. It is used as input data for the image portion in the processing.
第17の態様に係る画像処理装置によれば、変換部及び量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行う。このように、ブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される。従って、複数のブロックを順次に処理する一連の流れの中で同一画像部分について実質的に複数回のノイズ除去処理が行われるため、重複する複数のブロックの出力値から最適値を求める場合と比較して、処理時間を短縮することが可能となる。 According to the image processing device in the seventeenth aspect, the transform unit and the quantization unit sequentially process a plurality of blocks extracted so as to partially overlap from the input image. In this way, it is possible to suppress the occurrence of block noise by overlapping parts of the blocks with each other. For an image portion where a plurality of blocks overlap in the output image, the output data of the image portion in the process related to the current block is used as input data of the image portion in the process related to the next macroblock. Therefore, since the noise removal process is performed substantially multiple times for the same image portion in a series of processes in which a plurality of blocks are sequentially processed, it is compared with the case where the optimum value is obtained from the output values of a plurality of overlapping blocks. Thus, the processing time can be shortened.
本発明の第18の態様に係る画像処理装置は、第1〜第17のいずれか一つの態様に係る画像処理装置において特に、入力画像は複数の色成分を有し、前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行することを特徴とするものである。 An image processing device according to an eighteenth aspect of the present invention is the image processing device according to any one of the first to seventeenth aspects, in particular, the input image has a plurality of color components, and the image processing device includes: The present invention is characterized in that noise removal processing is executed independently for each color component.
第18の態様に係る画像処理装置によれば、各色成分に対して独立にノイズ除去処理が実行される。このように、入力画像の各色成分に対して独立にノイズ除去処理を実行することにより、色成分毎に最適なノイズ除去効果を得ることができる。 With the image processing device according to the eighteenth aspect, noise removal processing is performed independently for each color component. As described above, by performing the noise removal process independently on each color component of the input image, an optimum noise removal effect can be obtained for each color component.
本発明の第19の態様に係る画像処理装置は、第1〜第17のいずれか一つの態様に係る画像処理装置において特に、入力画像は複数の色成分を有し、前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行することを特徴とするものである。 An image processing apparatus according to a nineteenth aspect of the present invention is the image processing apparatus according to any one of the first to seventeenth aspects, in particular, the input image has a plurality of color components, and the image processing apparatus includes: The present invention is characterized in that noise removal processing is executed on a plurality of color components in an integrated manner.
第19の態様に係る画像処理装置によれば、複数の色成分に対して統合的にノイズ除去処理が実行される。このように、複数の色成分に対して統合的なノイズ除去処理を行うことにより、ノイズ検出精度を向上することができる。また、色成分間のノイズ除去効果のばらつきが抑制されるため、画質を向上することができる。 According to the image processing device of the nineteenth aspect, the noise removal processing is executed on a plurality of color components in an integrated manner. Thus, noise detection accuracy can be improved by performing integrated noise removal processing on a plurality of color components. In addition, since the variation in the noise removal effect between the color components is suppressed, the image quality can be improved.
本発明の第20の態様に係る画像処理方法は、入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、入力画像から所定のブロック単位で抽出した空間領域の第1画像データを、複数の周波数成分を含む周波数領域の第2画像データに変換するステップと、第2画像データに対して量子化処理を実行することにより、第3画像データを生成するステップと、第1画像データに基づいて、ブロック毎のノイズ値を算出するステップと、入力画像全体のノイズ値に基づいて、量子化処理に用いる入力画像毎の第1の量子化値を設定するステップと、を備えることを特徴とするものである。 An image processing method according to a twentieth aspect of the present invention is an image processing method for generating an output image by executing a noise removal process on an input image, wherein the image is extracted in units of predetermined blocks from the input image. The first image data in the spatial domain is converted into the second image data in the frequency domain including a plurality of frequency components, and the third image data is generated by performing a quantization process on the second image data. A step of calculating a noise value for each block based on the first image data, and setting a first quantization value for each input image used for the quantization process based on the noise value of the entire input image And a step of performing.
第20の態様に係る画像処理方法によれば、入力画像全体のノイズ値に基づいて入力画像毎の第1の量子化値が設定され、第2画像データに対して量子化処理を実行することにより第3画像データが生成される。このように、入力画像全体のノイズ値に基づいて設定した第1の量子化値を用いて量子化処理を実行することにより、入力画像全体のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。 According to the image processing method of the twentieth aspect, the first quantization value for each input image is set based on the noise value of the entire input image, and the quantization processing is performed on the second image data. Thus, the third image data is generated. In this way, by performing the quantization process using the first quantization value set based on the noise value of the entire input image, an appropriate noise removal process is performed according to the noise level of the entire input image. be able to. As a result, it is possible to achieve a high noise removal effect while avoiding deterioration in image quality. In addition, the processing time can be shortened and the circuit scale can be reduced because a temporal memory for storing intermediate values is not required, compared to the case where the spatial filter is applied multiple times to improve the noise removal effect. It becomes.
本発明によれば、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能であり、しかも、処理時間の短縮及び回路規模の削減を図ることが可能な画像処理装置及び画像処理方法を得ることができる。 According to the present invention, an image processing apparatus and an image processing method capable of realizing a high noise removal effect while avoiding deterioration in image quality, and capable of reducing processing time and circuit scale. Can be obtained.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the element which attached | subjected the same code | symbol in different drawing shall show the same or corresponding element.
図1は、本発明の実施の形態に係る画像処理装置1の構成を示す図である。画像処理装置1には、R,Gr,Gb,Bの色成分を有するベイヤー配列の入力画像が、色成分毎に分類されて入力される。画像処理装置1は、各色成分の入力画像に対して独立にノイズ除去処理を実行することにより、出力画像を生成して出力する。なお、入力画像の色成分はR,Gr,Gb,Bに限らず、R,G,B又はY,U,V等であっても良い。
FIG. 1 is a diagram showing a configuration of an
図1の接続関係で示すように、画像処理装置1は、変換部11、量子化部12、補正部13、逆量子化部14、逆変換部15、セレクタ16、設定部17、フィルタ18、演算部19,20、及び設定部21〜24を備えて構成されている。
As shown in the connection relationship of FIG. 1, the
変換部11は、入力画像から所定のブロック単位(本実施の形態の例では8行×8列のマクロブロック単位とする)で抽出した空間領域の画像データD1を、DCT変換によって複数の周波数成分を含む周波数領域の画像データD2に変換する。なお、ブロックサイズは8行×8列に限らず、16行×16列等であっても良い。ブロックサイズが大きくなるほど、回路規模は増大するが、周波数成分を細かく制御できるため画質は向上する。
The
量子化部12は、画像データD2に対して量子化処理を実行することにより、画像データD3を生成する。
The
補正部13は、画像データD3に対して周波数成分毎に補正処理を実行することにより、画像データD4を生成する。
The
逆量子化部14は、画像データD4に対して逆量子化処理を実行することにより、画像データD5を生成する。
The
逆変換部15は、周波数領域の画像データD5を、逆DCT変換によって空間領域の画像データD6に変換する。
The
セレクタ16は、画像データD1又は画像データD6を選択して出力する。
The
CPU2は、入力画像全体のノイズ値NOISE(PIC)と、入力画像全体の活発性評価値ACT(PIC)とに基づいて、ノイズ除去処理の実行の要否を判定する。そして、その判定結果を設定部17に設定する。設定部17は、実行が必要である場合はセレクタ16に画像データD6を選択させ、実行が不要である場合はセレクタ16に画像データD1を選択させる。
The
フィルタ18は、任意の平滑化フィルタ(本実施の形態の例では3行×3列のガウシアンフィルタ)であり、各画素の画素値と、当該画素に隣接する複数個(3行×3列の場合は8個)の周辺画素の画素値とに基づいて、各画素の重み付き平均値GAUS(i,j)を算出する。
The
演算部19は、画像データD1と、フィルタ18による重み付き平均化後の画像データD1とに基づいて、マクロブロック毎のノイズ値NOISE(MB)を算出する。また、演算部19は、入力画像内の全てのマクロブロックに関するノイズ値NOISE(MB)の平均値として、ノイズ値NOISE(PIC)を算出する。なお、入力画像内の全てのマクロブロックに関するノイズ値NOISE(MB)の合計値を演算部19からCPU2に入力し、CPU2が当該合計値をマクロブロック数で除算することによってノイズ値NOISE(PIC)を算出しても良い。
The
演算部20は、フィルタ18による重み付き平均化後の画像データD1に基づいて、マクロブロック毎の活発性評価値ACT(MB)を算出する。また、演算部20は、入力画像内の全てのマクロブロックに関する活発性評価値ACT(MB)の平均値として、活発性評価値ACT(PIC)を算出する。なお、入力画像内の全てのマクロブロックに関する活発性評価値ACT(MB)の合計値を演算部20からCPU2に入力し、CPU2が当該合計値をマクロブロック数で除算することによって活発性評価値ACT(PIC)を算出しても良い。
The
設定部21は、ノイズ値NOISE(PIC)に基づいて、量子化部12による量子化処理に用いる入力画像毎の量子化値QP(PIC)を設定する。
The setting
設定部22は、画像処理装置1の内部パラメータ(例えば、量子化値QP(PIC)、活発性評価値ACT(MB)、及びノイズ値NOISE(MB)等)に基づいて、量子化部12による量子化処理に用いるマクロブロック毎の量子化値QP(MB)を設定する。
The setting
設定部23は、入力画像全体の画像データD2に基づいて、補正部13による補正処理に用いる入力画像毎の補正値を記述したスケーリングマトリクスSM(PIC)を設定する。
The setting
設定部24は、画像処理装置1の内部パラメータ(例えば、スケーリングマトリクスSM(PIC)、活発性評価値ACT(MB)、ノイズ値NOISE(PIC)、及び活発性評価値ACT(PIC)等)に基づいて、補正部13による補正処理に用いるマクロブロック毎の補正値を記述したスケーリングマトリクスSM(MB)を設定する。
The setting
図2は、画像処理装置1が実行するノイズ除去処理の流れを示すフローチャートである。まずステップP101において設定部17は、CPU2によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ16を設定する。実行が不要である場合は処理を終了する。
FIG. 2 is a flowchart showing the flow of noise removal processing executed by the
実行が必要である場合は、次にステップP102において設定部21は、量子化値QP(PIC)を設定する。
If execution is necessary, in step P102, the setting
次にステップP103において設定部23は、スケーリングマトリクスSM(PIC)を設定する。
Next, in step P103, the setting
次にステップP104〜P110において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。 Next, in steps P104 to P110, the noise removal processing for each macroblock is repeatedly executed for all the macroblocks included in the input image.
ステップP104において演算部20は、活発性評価値ACT(MB)を算出する。
In step P104, the
次にステップP105において設定部22は、量子化値QP(MB)を設定する。また、設定部24は、スケーリングマトリクスSM(MB)を設定する。
Next, in step P105, the setting
次にステップP106において変換部11は、画像データD1を画像データD2に変換する。
Next, in step P106, the
次にステップP107において量子化部12は、量子化値QP(MB)を用いた量子化処理によって画像データD2から画像データD3を生成する。
Next, in step P107, the
次にステップP108において補正部13は、スケーリングマトリクスSM(MB)を用いた補正処理によって画像データD3から画像データD4を生成する。
Next, in step P108, the
次にステップP109において逆量子化部14は、逆量子化処理によって画像データD4から画像データD5を生成する。
Next, in step P109, the
次にステップP110において逆変換部15は、逆DCT変換によって画像データD5を画像データD6に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。
Next, in step P110, the
以下、図1に示した各処理部が実行する処理内容の詳細について、順に説明する。 Hereinafter, details of the processing contents executed by each processing unit shown in FIG. 1 will be described in order.
<GAUS(i,j)の算出処理>
フィルタ18は、マクロブロック内の各画素の画素値をCURR(i,j)として、下記式(1)で示される演算を行うことにより、各画素の重み付き平均値GAUS(i,j)を算出する。
<Calculation processing of GAUS (i, j)>
The
<NOISE(MB)の算出処理>
演算部19は、下記式(2)で示される演算を行うことにより、各画素の画素値CURR(i,j)と、各画素の重み付き平均値GAUS(i,j)との差分絶対値和を算出する。そして、下記式(3)で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎のノイズ値NOISE(MB)を算出する。
<NOISE (MB) calculation process>
The
<QP(PIC)の設定処理>
図3は、設定部21による量子化値QP(PIC)の設定処理を説明するための図である。演算部19は、入力画像内の全てのマクロブロックに関するノイズ値NOISE(MB)の平均値として、ノイズ値NOISE(PIC)を算出する。設定部21は、ノイズ値NOISE(PIC)毎の最適な量子化値QP(PIC)を記述したルックアップテーブルを保持している。設定部21は、重み付き平均値GAUS(i,j)と画素数とのヒストグラム内における、重み付き平均値GAUS(i,j)の分布範囲で、当該ルックアップテーブルを正規化する。そして、正規化後のルックアップテーブルを用いることにより、ノイズ値NOISE(PIC)に対応する量子化値を、入力画像に関する量子化値QP(PIC)として設定する。図3に示すように、設定部21は、ノイズ値NOISE(PIC)が高いほど高い量子化値QP(PIC)を設定する。
<Setting process of QP (PIC)>
FIG. 3 is a diagram for explaining the setting process of the quantization value QP (PIC) by the setting
<SM(PIC)の設定処理>
図4〜8は、設定部23によるスケーリングマトリクスSM(PIC)の設定処理を説明するための図である。まず設定部23は、設定部21と同様の手法によって量子化値QP(PIC)を求める。
<SM (PIC) setting process>
4 to 8 are diagrams for explaining the setting process of the scaling matrix SM (PIC) by the setting
次に設定部23は、入力画像内の全てのマクロブロックに関して、DCT変換処理と、量子化値QP(PIC)を用いた量子化処理とが完了した後の画像データD3を取得する。そして、画像データD3内の周波数成分毎に、周波数成分値の絶対値を全てのマクロブロックに関して累積することにより、入力画像に関する各周波数成分値の絶対値和K1を求める。絶対値和K1の一例を図4に示す。左上角がDC成分に相当する周波数成分値であり、右下角が最高周波成分に相当する周波数成分値である。
Next, the setting
また設定部23は、予め準備した理想画像内の全てのマクロブロックに関して、DCT変換処理が完了した後の画像データD2を取得する。理想画像は、入力画像と同じ構図で同じ被写体を撮影した、ノイズを含まない画像である。例えば画像処理装置1が監視カメラの用途に利用される場合には、夜間等の低照度環境で撮影された、ノイズを多く含む画像が入力画像となり、昼間等の高照度環境で撮影された、ノイズをほとんど含まない画像が理想画像となる。設定部23は、画像データD2内の周波数成分毎に、周波数成分値の絶対値を全てのマクロブロックに関して累積することにより、理想画像に関する各周波数成分値の絶対値和K2を求める。絶対値和K2の一例を図5に示す。
The setting
次に設定部23は、絶対値和K2におけるDC成分の周波数成分値が、絶対値和K1におけるDC成分の周波数成分値に等しくなるように、絶対値和K2における各周波数成分値を正規化することにより、正規化後の絶対値和K3を作成する。絶対値和K3の一例を図6に示す。
Next, the setting
次に設定部23は、絶対値和K1における各周波数成分値が、絶対値和K3における各周波数成分値に等しくなるように(近付く場合も含む)、絶対値和K1の各周波数成分値を変換するための変換値(乗数)を算出する。つまり設定部23は、入力画像におけるDC成分に対する各周波数成分値の比率が、理想画像における当該比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、補正値として設定する。
Next, the setting
次に設定部23は、各周波数成分の乗数を、各乗数を代用する所定の係数を用いて記述することにより、スケーリングマトリクスSM(PIC)を作成する。スケーリングマトリクスSM(PIC)の一例を図7に示す。また、係数と乗数との対応関係の一例を図8に示す。スケーリングマトリクスSM(PIC)においては、係数「16」が乗数「1」(即ちスルー)に対応し、係数「255」が略ゼロ値の最小乗数(即ちカット)に対応する。
Next, the setting
なお、理想画像が準備できない場合には、全ての周波数成分に関して係数「16」を記述することにより、補正部13を実質的にスルーフィルタとして機能させるスケーリングマトリクスSM(PIC)を作成する。あるいは、汎用的に使用可能なスケーリングマトリクスSM(PIC)を予め準備しておき、理想画像が準備できない場合には当該スケーリングマトリクスSM(PIC)を設定してもよい。
If an ideal image cannot be prepared, a scaling matrix SM (PIC) that causes the
<オーバーラップ処理>
画像処理装置1においては、8行×8列のマクロブロックに対して、4画素ずらした位置から次のマクロブロックを抽出して画像データD1とすることにより、マクロブロックのオーバーラップ処理が行われる。なお、画素のずらし幅は4画素に限らず、任意のずらし幅を設定することができる。ずらし幅が小さくなるほど、処理時間は長くなるが、画質は向上する。
<Overlap processing>
In the
図9は、オーバーラップ処理を示す図である。図9では、説明の簡単化のため、16行×16列の入力画像を想定している。まず、入力画像の左上角を起点として、マクロブロックMB1が抽出される。次に、マクロブロックMB1に対して行方向に4画素ずらした位置からマクロブロックMB2が抽出される。次に、マクロブロックMB2に対して行方向に4画素ずらした位置からマクロブロックMB3が抽出される。次に、マクロブロックMB1に対して列方向に4画素ずらした位置からマクロブロックMB4が抽出される。以降は同様に、マクロブロックMB5〜MB9が順に抽出される。これにより、変換部11、量子化部12、補正部13、逆量子化部14、及び逆変換部15は、入力画像から部分的に重複するように抽出された複数のマクロブロックMB1〜MB9に関して、順次に処理を行う。
FIG. 9 is a diagram illustrating the overlap processing. In FIG. 9, an input image of 16 rows × 16 columns is assumed to simplify the description. First, the macro block MB1 is extracted starting from the upper left corner of the input image. Next, the macro block MB2 is extracted from a position shifted by 4 pixels in the row direction with respect to the macro block MB1. Next, the macro block MB3 is extracted from a position shifted by 4 pixels in the row direction with respect to the macro block MB2. Next, the macro block MB4 is extracted from a position shifted by 4 pixels in the column direction with respect to the macro block MB1. Thereafter, similarly, macroblocks MB5 to MB9 are sequentially extracted. Thereby, the
また、出力画像のうち複数のマクロブロックが重複する画像部分については、重複する複数のマクロブロックから求めた最適値(この例では平均値とする)が、当該画像部分の画像データとして出力される。例えば、図9中で砂地ハッチングを付した4行×4列の画像部分については、4個のマクロブロックMB1,MB2,MB4,MB5が重複しており、これら4個のマクロブロックの各々について画像データD6が得られる。そこで、これら4個のマクロブロック内の該当部分の画像データD6を加算し、その加算値を重複数の「4」で除算することにより、重複する複数のマクロブロックに関する画像データD6の平均値が算出される。そして、その平均値が、当該画像部分の画像データD6として画像処理装置1から出力される。
For an image portion where a plurality of macroblocks overlap in the output image, an optimum value (in this example, an average value) obtained from the plurality of overlapping macroblocks is output as image data of the image portion. . For example, in the image portion of 4 rows × 4 columns with sandy hatching in FIG. 9, four macroblocks MB1, MB2, MB4, and MB5 are overlapped, and an image of each of these four macroblocks is displayed. Data D6 is obtained. Therefore, by adding the image data D6 of the corresponding part in these four macroblocks and dividing the added value by a plurality of “4” s, the average value of the image data D6 relating to a plurality of overlapping macroblocks is obtained. Calculated. Then, the average value is output from the
オーバーラップ処理の第1の変形例として、上記の平均値に代えて、重複する複数のマクロブロックのうちノイズ値NOISE(MB)が最小であるマクロブロックに関する出力値(画像データD6)を、上記の最適値として用いても良い。 As a first modified example of the overlap processing, instead of the above average value, an output value (image data D6) related to a macroblock having a minimum noise value NOISE (MB) among a plurality of overlapping macroblocks is used. It may be used as the optimum value of.
オーバーラップ処理の第2の変形例として、複数のマクロブロックが重複する画像部分については、今回のマクロブロックに関する処理での当該画像部分の出力値を、次回のマクロブロックに関する処理での当該画像部分の入力値として使用しても良い。例えば、図9中で砂地ハッチングを付した4行×4列の画像部分について、マクロブロックMB1に関する処理での出力値(画像データD6)を、マクロブロックMB2に関する処理での入力値(画像データD1)として使用し、マクロブロックMB2に関する処理での出力値を、マクロブロックMB4に関する処理での入力値として使用し、マクロブロックMB4に関する処理での出力値を、マクロブロックMB5に関する処理での入力値として使用する。この手法によると、複数のマクロブロックを順次に処理する一連の流れの中で同一画像部分について実質的に複数回のノイズ除去処理が行われるため、複数の出力値の平均値を求める場合と比較して、処理時間を短縮することが可能となる。 As a second modification of the overlap processing, for an image portion in which a plurality of macroblocks overlap, the output value of the image portion in the processing related to the current macroblock is used as the image portion in the processing related to the next macroblock. May be used as an input value. For example, the output value (image data D6) in the process related to the macroblock MB1 is changed to the input value (image data D1 in the process related to the macroblock MB2) for the image portion of 4 rows × 4 columns with sandy hatching in FIG. ), The output value in the process related to the macroblock MB2 is used as the input value in the process related to the macroblock MB4, and the output value in the process related to the macroblock MB4 is used as the input value in the process related to the macroblock MB5. use. According to this method, noise removal processing is performed substantially multiple times for the same image portion in a series of processes that sequentially process a plurality of macroblocks. Compared with the case where an average value of a plurality of output values is obtained. Thus, the processing time can be shortened.
<ACT(MB)の算出処理>
演算部20は、下記式(4)で示される演算を行うことにより、重み付き平均値のマクロブロック内平均値AVE_BLKを算出する。次に、下記式(5)で示される演算を行うことにより、各画素の重み付き平均値GAUS(i,j)と、ブロック内平均値AVE_BLKとの差分絶対値和を算出する。そして、下記式(6)で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ACT(MB)を算出する。
<ACT (MB) calculation process>
The
<QP(MB)の第1の設定処理>
図10は、設定部22による量子化値QP(MB)の第1の設定処理を説明するための図である。設定部22は、量子化値QP(PIC)と活発性評価値ACT(MB)とに基づいて、量子化値QP(MB)を設定する。設定部22は、活発性評価値ACT(MB)毎の最適な量子化値QP(MB)を記述したルックアップテーブルを保持している。図10の(A)及び(B)に示すように、設定部22は、活発性評価値ACT(MB)とマクロブロック数とのヒストグラム内における、活発性評価値ACT(MB)の分布範囲で、当該ルックアップテーブルを正規化する。図10の(B)に示すように、当該ルックアップテーブルによると、活発性評価値ACT(MB)が高いほど低い量子化値QP(MB)が設定される。また、図10の(C)に示すように、設定部22は、量子化値QP(PIC)を中心として、量子化値QP(PIC)よりも値ΔHだけ大きい上限量子化値QPHと、量子化値QP(PIC)よりも値ΔLだけ小さい下限量子化値QPLとを設定する。そして、設定部22は、図10の(B)の量子化値QP(MB)が上限量子化値QPHを超えるマクロブロック、つまり活発性評価値ACT(MB)が低レベル(値A1未満)のマクロブロックに関しては、上限量子化値QPHを量子化値QP(MB)として設定する。また、図10の(B)の量子化値QP(MB)が上限量子化値QPH以下かつ下限量子化値QPL以上のマクロブロック、つまり活発性評価値ACT(MB)が中レベル(値A1以上かつ値A2以下)のマクロブロックに関しては、図10の(B)の量子化値QP(MB)をそのまま量子化値QP(MB)として設定する。また、図10の(B)の量子化値QP(MB)が下限量子化値QPL未満のマクロブロック、つまり活発性評価値ACT(MB)が高レベル(値A2超)のマクロブロックに関しては、下限量子化値QPLを量子化値QP(MB)として設定する。
<First setting process of QP (MB)>
FIG. 10 is a diagram for explaining a first setting process of the quantization value QP (MB) by the setting
<QP(MB)の第2の設定処理>
図11は、設定部22による量子化値QP(MB)の第2の設定処理を説明するための図である。設定部22は、量子化値QP(PIC)とノイズ値NOISE(MB)とに基づいて、量子化値QP(MB)を設定する。設定部22は、下記式(7)で示される演算を行うことにより、ノイズ値NOISE(MB)に基づいて量子化値QP(MB)を算出する。図11に示すように、設定部22は、ノイズ値NOISE(MB)が高いほど高い量子化値QP(MB)を設定する。
<Second setting process of QP (MB)>
FIG. 11 is a diagram for explaining the second setting process of the quantized value QP (MB) by the setting
また、設定部22は、量子化値QP(PIC)を量子化値QP(MB)の上限値として用いることにより、式(7)の演算によって算出した量子化値QP(MB)が量子化値QP(PIC)を超える場合には、量子化値QP(PIC)を量子化値QP(MB)として設定する。
Further, the setting
図12は、量子化値QP(MB)の第2の設定処理を実現するための画像処理装置1の構成を示す図である。演算部19から設定部22にノイズ値NOISE(MB)が入力される。
FIG. 12 is a diagram illustrating a configuration of the
なお、式(7)において、ノイズ値NOISE(MB)の代わりにノイズ値NOISE(PIC)を代入することによって、量子化値QP(PIC)を算出することができる。従って、設定部21は、図3に示したルックアップテーブルに代えて、式(7)を用いた演算によって量子化値QP(PIC)を設定しても良い。
In Expression (7), the quantized value QP (PIC) can be calculated by substituting the noise value NOISE (PIC) for the noise value NOISE (MB). Therefore, the setting
<SM(MB)の設定処理>
図13〜15は、設定部24によるスケーリングマトリクスSM(MB)の設定処理を説明するための図である。設定部24は、スケーリングマトリクスSM(PIC)と活発性評価値ACT(MB)とに基づいて、スケーリングマトリクスSM(MB)を設定する。
<SM (MB) setting process>
13 to 15 are diagrams for explaining the setting process of the scaling matrix SM (MB) by the setting
図13を参照して、設定部24は、活発性評価値ACT(MB)が低レベル(値A1未満)のマクロブロックに関しては、低レベル用のマスクMLを用いてスケーリングマトリクスSM(PIC)をマスキングする。マスクMLにおいては、「1」の乗数によって低周波成分をスルーし、略ゼロ値の乗数によって中周波成分及び高周波成分をカットするマスク値が設定されている。これにより、低周波成分においてはスケーリングマトリクスSM(PIC)の補正値がスケーリングマトリクスSM(MB)の補正値として設定され、中周波成分及び高周波成分においては略ゼロ値がスケーリングマトリクスSM(MB)の補正値として設定される。
Referring to FIG. 13, setting
図14を参照して、設定部24は、活発性評価値ACT(MB)が中レベル(値A1以上かつ値A2以下)のマクロブロックに関しては、中レベル用のマスクMMを用いてスケーリングマトリクスSM(PIC)をマスキングする。マスクMMにおいては、「1」の乗数によって低周波成分及び中周波成分をスルーし、略ゼロ値の乗数によって高周波成分をカットするマスク値が設定されている。これにより、低周波成分及び中周波成分においてはスケーリングマトリクスSM(PIC)の補正値がスケーリングマトリクスSM(MB)の補正値として設定され、高周波成分においては略ゼロ値がスケーリングマトリクスSM(MB)の補正値として設定される。
Referring to FIG. 14, setting
図15を参照して、設定部24は、活発性評価値ACT(MB)が高レベル(値A2超)のマクロブロックに関しては、高レベル用のマスクMHを用いてスケーリングマトリクスSM(PIC)をマスキングする。マスクMHにおいては、「1」の乗数によって低周波成分、中周波成分、及び高周波成分をスルーするマスク値が設定されている。これにより、低周波成分、中周波成分、及び高周波成分の全てにおいて、スケーリングマトリクスSM(PIC)の補正値がスケーリングマトリクスSM(MB)の補正値として設定される。
Referring to FIG. 15, setting
なお、上記では3種類のマスクML,MM,MHを用いて3段階のマスキング処理を行う例について説明したが、活発性評価値ACT(MB)等の変数に応じて4種類以上のマスクを用意することにより、4段階以上(例えば8段階)のマスキング処理を行ってもよい。また、図13〜15に示した各マスクML,MM,MHの乗数は一例であり、この例には限定されない。各マスクML,MM,MHに設定する乗数は、ノイズ量等に応じて任意に決定することができる。 In addition, although the example which performs the masking process of 3 steps | paragraphs using three types of masks ML, MM, and MH was demonstrated above, four or more types of masks are prepared according to variables, such as activity evaluation value ACT (MB). By doing so, you may perform the masking process of four steps or more (for example, eight steps). Further, the multipliers of the masks ML, MM, and MH shown in FIGS. 13 to 15 are examples, and are not limited to these examples. The multiplier set for each mask ML, MM, MH can be arbitrarily determined according to the amount of noise or the like.
<ノイズ除去処理の実行要否の判定処理>
演算部19は、入力画像内の全てのマクロブロックに関するノイズ値NOISE(MB)の平均値として、ノイズ値NOISE(PIC)を算出し、当該ノイズ値NOISE(PIC)をCPU2に入力する。また、演算部20は、入力画像内の全てのマクロブロックに関する活発性評価値ACT(MB)の平均値として、活発性評価値ACT(PIC)を算出し、当該活発性評価値ACT(PIC)をCPU2に入力する。
<Necessity determination processing for noise removal processing>
The
CPU2は、入力画像全体のノイズ値NOISE(PIC)と、入力画像全体の活発性評価値ACT(PIC)とに基づいて、入力画像毎にノイズ除去処理の実行の要否を判定する。
Based on the noise value NOISE (PIC) of the entire input image and the activity evaluation value ACT (PIC) of the entire input image, the
CPU2は、ノイズ値NOISE(PIC)を活発性評価値ACT(PIC)で除算する演算(NOISE(PIC)/ACT(PIC))を行うことによってノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値(例えば「1」)未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。このように、ノイズ除去処理の実行のON/OFFをピクチャ単位で制御することにより、消費電力を削減することができる。
The
なお、処理の遅延時間が問題とならない場合、例えば入力画像が静止画である場合には、CPU2は、入力画像自身のノイズ値NOISE(PIC)及び活発性評価値ACT(PIC)を算出し、それらに基づいてノイズ除去処理の実行の要否を判定すればよい。
When the processing delay time is not a problem, for example, when the input image is a still image, the
一方、処理の遅延時間が問題となる場合、例えば入力画像が動画である場合には、CPU2は、直前(1フレーム前)の入力画像のノイズ値NOISE(PIC)及び活発性評価値ACT(PIC)に基づいて、現入力画像に関するノイズ除去処理の実行の要否を判定すればよい。
On the other hand, when the processing delay time becomes a problem, for example, when the input image is a moving image, the
<第1の変形例>
上記実施の形態では、量子化値QP(PIC)及び量子化値QP(MB)の双方に基づいて量子化値を設定し、スケーリングマトリクスSM(PIC)及びスケーリングマトリクスSM(MB)の双方に基づいて補正値を設定したが、量子化値QP(PIC)のみに基づいて量子化値を設定し、スケーリングマトリクスSM(PIC)のみに基づいて補正値を設定することもできる。
<First Modification>
In the above embodiment, the quantized value is set based on both the quantized value QP (PIC) and the quantized value QP (MB), and based on both the scaling matrix SM (PIC) and the scaling matrix SM (MB). However, it is also possible to set the quantization value based only on the quantization value QP (PIC) and set the correction value based only on the scaling matrix SM (PIC).
図16は、本変形例に係る画像処理装置1の構成を示す図である。図1に示した構成から設定部22,24が省略されている。
FIG. 16 is a diagram illustrating a configuration of the
図17は、本変形例に係る画像処理装置1が実行するノイズ除去処理の流れを示すフローチャートである。まずステップP201において設定部17は、CPU2によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ16を設定する。実行が不要である場合は処理を終了する。
FIG. 17 is a flowchart showing the flow of noise removal processing executed by the
実行が必要である場合は、次にステップP202において設定部21は、量子化値QP(PIC)を設定する。
If execution is necessary, in step P202, the setting
次にステップP203において設定部23は、スケーリングマトリクスSM(PIC)を設定する。
Next, in step P203, the setting
次にステップP204〜P208において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。 Next, in steps P204 to P208, the noise removal processing for each macroblock is repeatedly executed for all the macroblocks included in the input image.
ステップP204において変換部11は、画像データD1を画像データD2に変換する。
In step P204, the
次にステップP205において量子化部12は、量子化値QP(PIC)を用いた量子化処理によって画像データD2から画像データD3を生成する。
Next, in step P205, the
次にステップP206において補正部13は、スケーリングマトリクスSM(PIC)を用いた補正処理によって画像データD3から画像データD4を生成する。
Next, in Step P206, the
次にステップP207において逆量子化部14は、逆量子化処理によって画像データD4から画像データD5を生成する。
Next, in step P207, the
次にステップP208において逆変換部15は、逆DCT変換によって画像データD5を画像データD6に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。
In step P208, the
<第2の変形例>
上記実施の形態では、量子化値QP(PIC)及び量子化値QP(MB)の双方に基づいて量子化値を設定し、スケーリングマトリクスSM(PIC)及びスケーリングマトリクスSM(MB)の双方に基づいて補正値を設定したが、量子化値QP(MB)のみに基づいて量子化値を設定し、スケーリングマトリクスSM(MB)のみに基づいて補正値を設定することもできる。
<Second Modification>
In the above embodiment, the quantized value is set based on both the quantized value QP (PIC) and the quantized value QP (MB), and based on both the scaling matrix SM (PIC) and the scaling matrix SM (MB). However, it is also possible to set the quantization value based only on the quantization value QP (MB) and set the correction value based only on the scaling matrix SM (MB).
図18は、本変形例に係る画像処理装置1の構成を示す図である。図1に示した構成から設定部21,23が省略されている。
FIG. 18 is a diagram illustrating a configuration of the
図19は、本変形例に係る画像処理装置1が実行するノイズ除去処理の流れを示すフローチャートである。まずステップP301において設定部17は、CPU2によるノイズ除去処理の実行要否の判定結果に基づいて、セレクタ16を設定する。実行が不要である場合は処理を終了する。
FIG. 19 is a flowchart showing the flow of noise removal processing executed by the
次にステップP302〜P308において、マクロブロック毎のノイズ除去処理が、入力画像内に含まれる全てのマクロブロックに関して繰り返し実行される。 Next, in steps P302 to P308, noise removal processing for each macroblock is repeatedly executed for all macroblocks included in the input image.
ステップP302において演算部20は、活発性評価値ACT(MB)を算出する。
In step P302, the
次にステップP303において設定部22は、量子化値QP(MB)を設定する。また、設定部24は、スケーリングマトリクスSM(MB)を設定する。本変形例では、設定部24は、活発性評価値ACT(MB)が低レベル(値A1未満)のマクロブロックに関しては、低レベル用のマスクML(図13)をスケーリングマトリクスSM(MB)として用いる。また、設定部24は、活発性評価値ACT(MB)が中レベル(値A1以上かつ値A2以下)のマクロブロックに関しては、中レベル用のマスクMM(図14)をスケーリングマトリクスSM(MB)として用いる。また、設定部24は、活発性評価値ACT(MB)が高レベル(値A2超)のマクロブロックに関しては、高レベル用のマスクMH(図15)をスケーリングマトリクスSM(MB)として用いる。
Next, in step P303, the setting
次にステップP304において変換部11は、画像データD1を画像データD2に変換する。
Next, in step P304, the
次にステップP305において量子化部12は、量子化値QP(MB)を用いた量子化処理によって画像データD2から画像データD3を生成する。
Next, in step P305, the
次にステップP306において補正部13は、スケーリングマトリクスSM(MB)を用いた補正処理によって画像データD3から画像データD4を生成する。
Next, in Step P306, the
次にステップP307において逆量子化部14は、逆量子化処理によって画像データD4から画像データD5を生成する。
Next, in step P307, the
次にステップP308において逆変換部15は、逆DCT変換によって画像データD5を画像データD6に変換する。入力画像内に含まれる全てのマクロブロックに関してマクロブロック毎のノイズ除去処理が完了することにより、処理が終了する。
Next, in step P308, the
<第3の変形例>
上記実施の形態では、入力画像の各色成分に対して独立にノイズ除去処理を実行したが、全て(又は一部の複数)の色成分に対して統合的なノイズ除去処理を行うこともできる。
<Third Modification>
In the above embodiment, noise removal processing is performed independently for each color component of the input image, but integrated noise removal processing can also be performed for all (or some of a plurality of) color components.
演算部19は、各色成分のノイズ値NOISE(PIC)を平均化することによって、全ての色成分に関する平均ノイズ値NOISE(PIC)を算出する。演算部20は、各色成分の活発性評価値ACT(PIC)を平均化することによって、全ての色成分に関する平均活発性評価値ACT(PIC)を算出する。
The
演算部19は、各色成分のノイズ値NOISE(MB)を平均化することによって、全ての色成分に関する平均ノイズ値NOISE(MB)を算出する。演算部20は、各色成分の活発性評価値ACT(MB)を平均化することによって、全ての色成分に関する平均活発性評価値ACT(MB)を算出する。
The
そして、これらの平均ノイズ値NOISE(PIC),NOISE(MB)及び平均活発性評価値ACT(PIC),ACT(MB)を用いて設定された、全ての色成分に共通する共通量子化値QP(PIC),QP(MB)及び共通スケーリングマトリクスSM(PIC),SM(MB)を用いて、統合的なノイズ除去処理が実行される。 The common quantization value QP common to all color components set by using these average noise values NOISE (PIC), NOISE (MB) and average activity evaluation values ACT (PIC), ACT (MB). An integrated noise removal process is executed using (PIC), QP (MB) and common scaling matrices SM (PIC), SM (MB).
このように、全て(又は一部の複数)の色成分に対して統合的なノイズ除去処理を行うことにより、ノイズ検出精度を向上することができる。また、色成分間のノイズ除去効果のばらつきが抑制されるため、画質を向上することができる。 Thus, noise detection accuracy can be improved by performing an integrated noise removal process on all (or some of a plurality of) color components. In addition, since the variation in the noise removal effect between the color components is suppressed, the image quality can be improved.
一方、上記実施の形態のように入力画像の各色成分に対して独立にノイズ除去処理を実行することにより、色成分毎に最適なノイズ除去効果を得ることができる。一部の色成分のみのノイズ量が突出している場合等、色成分間でノイズ量が大きく異なる場合には、上記実施の形態の手法が有効である。 On the other hand, by performing noise removal processing independently on each color component of the input image as in the above embodiment, an optimum noise removal effect can be obtained for each color component. The method of the above embodiment is effective when the amount of noise differs greatly between color components, such as when the amount of noise of only some color components is prominent.
<第4の変形例>
上記実施の形態では、専用LSI等のハードウェアによって画像処理装置1を構成する例について説明したが、ROM等の記録媒体に記録されたプログラムをCPU2が読み出して実行することにより、画像処理装置1と同様の機能をCPU2がソフトウェア処理によって実現する構成としても良い。
<Fourth Modification>
In the above embodiment, an example in which the
<まとめ>
上記実施の形態に係る画像処理装置1及び上記第1の変形例に係る画像処理装置1によれば、設定部21(第1の量子化値設定部)は、入力画像全体のノイズ値NOISE(PIC)に基づいて入力画像毎の量子化値QP(PIC)(第1の量子化値)を設定し、量子化部12は、画像データD2(第2画像データ)に対して量子化処理を実行することにより画像データD3(第3画像データ)を生成する。このように、入力画像全体のノイズ値NOISE(PIC)に基づいて設定した量子化値QP(PIC)を用いて量子化処理を実行することにより、入力画像全体のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
<Summary>
According to the
また、上記実施の形態に係る画像処理装置1及び上記第1の変形例に係る画像処理装置1によれば、設定部23(第1の補正値設定部)は、入力画像全体の画像データD2に基づいて入力画像毎のスケーリングマトリクスSM(PIC)(第1の補正値)を設定し、補正部13は、画像データD3に対して周波数成分毎に補正処理を実行することにより画像データD4(第4画像データ)を生成する。このように、入力画像全体の画像データD2に基づいて設定したスケーリングマトリクスSM(PIC)を用いて周波数成分毎に補正処理を実行することにより、周波数成分毎のノイズレベルに応じて適切なノイズ除去処理を実行することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、演算部19(第1の演算部)は、各画素の画素値と、各画素の平滑値(上記の例では重み付き平均値)との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎のノイズ値NOISE(MB)を算出する。これにより、マクロブロック毎のノイズ値NOISE(MB)を演算部19によって適切に求めることが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部21は、ノイズ値が高いほど高い量子化値QP(PIC)を設定する。このように、入力画像全体のノイズ値NOISE(PIC)が高い場合には量子化値QP(PIC)を高く設定することにより、量子化処理による高いノイズ除去効果を得ることができる。また、入力画像全体のノイズ値NOISE(PIC)が低い場合には量子化値QP(PIC)を低く設定することにより、量子化処理に伴う画質の劣化を回避することができる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部22(第2の量子化値設定部)は、量子化値QP(PIC)とマクロブロック毎の活発性評価値ACT(MB)とに基づいて、量子化処理に用いるマクロブロック毎の量子化値QP(MB)(第2の量子化値)を設定する。このように、入力画像全体のノイズ値NOISE(PIC)に基づいて設定される量子化値QP(PIC)と、マクロブロック毎の活発性評価値ACT(MB)とに基づいて、マクロブロック毎の量子化値QP(MB)を設定することにより、入力画像全体のノイズレベルとマクロブロックの属性とに応じて、マクロブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、演算部20(第2の演算部)は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ACT(MB)を算出する。これにより、マクロブロック毎の活発性評価値ACT(MB)を演算部20によって適切に求めることが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部22は、活発性評価値ACT(MB)が低レベルのマクロブロックに関しては、量子化値QP(PIC)より高い量子化値を、量子化値QP(MB)として設定する。活発性評価値ACT(MB)が低くノイズが目立ちやすい平坦部に関しては、量子化値QP(MB)を高く設定することにより、量子化処理による高いノイズ除去効果を得ることが可能となる。また、設定部22は、活発性評価値ACT(MB)が高レベルのマクロブロックに関しては、量子化値QP(PIC)より低い量子化値を、量子化値QP(MB)として設定する。活発性評価値ACT(MB)が高いエッジ部やテクスチャ部に関しては、量子化値QP(MB)を低く設定することにより、量子化に伴ってエッジ部やテクスチャ部が不鮮明になることを回避でき、画質を向上することが可能となる。また、設定部22は、活発性評価値ACT(MB)が中レベルのマクロブロックに関しては、量子化値QP(PIC)に近い値を量子化値QP(MB)として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、量子化値QP(MB)を中程度に設定することにより、当該画像部分に対するノイズ除去効果が過大又は過小となることを回避することが可能となる。
In addition, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部22は、量子化値QP(PIC)と、マクロブロック毎のノイズ値NOISE(MB)とに基づいて、量子化処理に用いるマクロブロック毎の量子化値QP(MB)を設定する。このように、入力画像全体のノイズ値NOISE(PIC)に基づいて設定される量子化値QP(PIC)と、マクロブロック毎のノイズ値NOISE(MB)とに基づいて、マクロブロック毎の量子化値QP(MB)を設定することにより、入力画像全体のノイズレベルとマクロブロック毎のノイズレベルとに応じて、マクロブロック毎に適切なノイズ除去処理を実行することができる。その結果、解像度の低下を効果的に回避できるため、画像全体として画質を向上することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部22は、量子化値QP(PIC)を上限値として、ノイズ値NOISE(MB)が高いほど高い量子化値QP(MB)を設定する。このように、ノイズ値NOISE(MB)が高いマクロブロックに関しては量子化値QP(MB)を高く設定することにより、量子化処理による高いノイズ除去効果を得ることができる。また、ノイズ値NOISE(MB)が低いマクロブロックに関しては量子化値QP(MB)を低く設定することにより、量子化処理に伴う画質の劣化を回避することができる。また、量子化値QP(PIC)を上限値とすることにより、量子化値の最大値と最小値との差が一定範囲内に制限されるため、いわゆるバタツキが抑制され、画像全体として画質を向上することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部23は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第1の補正値として設定する。第1の補正値をこのように設定することにより、出力画像を理想画像に近付ける補正処理を実現できるため、画質を向上することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部24(第2の補正値設定部)は、第1の補正値と、マクロブロック毎の活発性評価値ACT(MB)とに基づいて、補正処理に用いるマクロブロック毎のスケーリングマトリクスSM(MB)(第2の補正値)を設定する。このように、入力画像全体の画像データD2に基づいて設定される第1の補正値と、マクロブロック毎の活発性評価値ACT(MB)とに基づいて、マクロブロック毎の第2の補正値を設定することにより、入力画像全体の周波数成分値とマクロブロックの属性とに応じて、マクロブロック毎に適切な補正処理を実行することができる。その結果、マクロブロック毎のノイズ除去効果を向上できるため、画像全体として画質を向上することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部24は、周波数成分別に任意の乗数が設定されたマスクを、活発性評価値ACT(MB)に応じて複数種類保持しており、演算部20によって算出された活発性評価値ACT(MB)に対応するマスクを用いて第1の補正値のマスキングを行うことによって、第2の補正値を設定する。その結果、マクロブロック毎の活発性評価値ACT(MB)に応じた第2の補正値を、第1の補正値から簡易かつ適切に設定することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、設定部24は、活発性評価値ACT(MB)が低レベルのマクロブロックに関しては、低周波成分においては第1の補正値を第2の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第2の補正値として設定する。活発性評価値ACT(MB)が低くノイズが目立ちやすい平坦部に関しては、中周波成分及び高周波成分をカットするマスキングを行うことにより、補正処理による高いノイズ除去効果を得ることが可能となる。また、設定部24は、活発性評価値ACT(MB)が高レベルのマクロブロックに関しては、低周波成分、中周波成分、及び高周波成分において第1の補正値を第2の補正値として設定する。活発性評価値ACT(MB)が高いエッジ部やテクスチャ部に関しては、全周波数成分をカットしないマスキングを行うことにより、エッジ部やテクスチャ部を鮮明化する補正処理を実現でき、画質を向上することが可能となる。また、設定部24は、活発性評価値ACT(MB)が中レベルのマクロブロックに関しては、低周波成分及び中周波成分においては第1の補正値を第2の補正値として設定し、高周波成分においては略ゼロ値を第2の補正値として設定する。平坦部、エッジ部、及びテクスチャ部以外の画像部分に関しては、高周波成分のみをカットするマスキングを行うことにより、補正処理による中程度のノイズ除去効果を得ることが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、CPU2(判定部)は、入力画像全体のノイズ値NOISE(PIC)と、入力画像全体の活発性評価値ACT(PIC)とに基づいて、ノイズ除去処理の実行の要否を判定する。これにより、ノイズ除去処理が真に必要な入力画像を対象としてノイズ除去処理を実行でき、不要な入力画像に対するノイズ除去処理の実行を回避できるため、消費電力を削減することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、CPU2は、入力画像全体のノイズ値NOISE(PIC)を、入力画像全体の活発性評価値ACT(PIC)で除算することによって、ノイズ強度を算出する。そして、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する。CPU2がこのような判定処理を行うことにより、ノイズ除去処理が真に必要な入力画像を高精度に特定することが可能となる。
Further, according to the
また、上記実施の形態に係る画像処理装置1によれば、変換部11、量子化部12、及び補正部13は、入力画像から部分的に重複するように抽出された複数のマクロブロックに関して順次に処理を行う。このように、マクロブロックの一部を互いにオーバーラップさせることにより、ブロックノイズの発生を抑制することが可能となる。また、出力画像のうち複数のマクロブロックが重複する画像部分については、重複する複数のマクロブロックから求めた最適値(上記の例では平均値)が当該画像部分の画像データとして出力される。このように、重複部分については複数のマクロブロックから求めた最適値を出力することにより、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。
In addition, according to the
1 画像処理装置
11 変換部
12 量子化部
13 補正部
17 設定部
18 フィルタ
19,20 演算部
21〜24 設定部
DESCRIPTION OF
Claims (20)
入力画像から所定のブロック単位で抽出した空間領域の第1画像データを、複数の周波数成分を含む周波数領域の第2画像データに変換する変換部と、
第2画像データに対して量子化処理を実行することにより、第3画像データを生成する量子化部と、
第1画像データに基づいて、ブロック毎のノイズ値を算出する第1の演算部と、
入力画像全体のノイズ値に基づいて、量子化処理に用いる入力画像毎の第1の量子化値を設定する第1の量子化値設定部と、
を備える、画像処理装置。 An image processing apparatus that generates an output image by performing noise removal processing on an input image,
A conversion unit that converts the first image data of the spatial domain extracted in units of predetermined blocks from the input image into second image data of the frequency domain including a plurality of frequency components;
A quantization unit that generates third image data by performing a quantization process on the second image data;
A first calculation unit that calculates a noise value for each block based on the first image data;
A first quantized value setting unit for setting a first quantized value for each input image used for the quantization processing based on the noise value of the entire input image;
An image processing apparatus comprising:
入力画像全体の第2画像データに基づいて、補正処理に用いる入力画像毎の第1の補正値を設定する第1の補正値設定部と、
をさらに備える、請求項1に記載の画像処理装置。 A correction unit that generates fourth image data by executing correction processing for each frequency component on the third image data;
A first correction value setting unit for setting a first correction value for each input image used for the correction process based on the second image data of the entire input image;
The image processing apparatus according to claim 1, further comprising:
前記第1の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出する、請求項1又は2に記載の画像処理装置。 A smoothing processing unit that calculates a smoothing value of each pixel based on the pixel value of each pixel and the pixel values of a plurality of peripheral pixels adjacent to the pixel;
The first calculation unit calculates a sum of absolute differences between a pixel value of each pixel and a smooth value of each pixel, and calculates a noise value for each block as an average value in the block of the difference absolute value sum. The image processing apparatus according to claim 1 or 2.
第1の量子化値と、ブロック毎の活発性評価値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する第2の量子化値設定部と、
をさらに備える、請求項1〜4のいずれか一つに記載の画像処理装置。 A second computing unit that calculates an activity evaluation value for each block based on the first image data;
A second quantized value setting unit configured to set a second quantized value for each block used for the quantization processing based on the first quantized value and the activity evaluation value for each block;
The image processing apparatus according to claim 1, further comprising:
前記第2の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する、請求項5に記載の画像処理装置。 A smoothing processing unit that calculates a smoothing value of each pixel based on the pixel value of each pixel and the pixel values of a plurality of peripheral pixels adjacent to the pixel;
The second calculation unit calculates a sum of absolute differences between the smoothed value of each pixel and the average value of the smoothed values within the block, and uses the difference absolute value sum as an average value within the block to evaluate the activity for each block. The image processing apparatus according to claim 5, wherein the value is calculated.
活発性評価値が低レベルのブロックに関しては、第1の量子化値より高い量子化値を、第2の量子化値として設定し、
活発性評価値が高レベルのブロックに関しては、第1の量子化値より低い量子化値を、第2の量子化値として設定する、請求項5又は6に記載の画像処理装置。 The second quantized value setting unit includes:
For a block with a low activity evaluation value, a quantization value higher than the first quantization value is set as the second quantization value,
The image processing apparatus according to claim 5 or 6, wherein a quantized value lower than the first quantized value is set as a second quantized value for a block having a high activity evaluation value.
第1の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第2の補正値を設定する第2の補正値設定部と、
をさらに備える、請求項2〜10のいずれか一つに記載の画像処理装置。 A second computing unit that calculates an activity evaluation value for each block based on the first image data;
A second correction value setting unit that sets a second correction value for each block used in the correction processing based on the first correction value and the activity evaluation value for each block;
The image processing apparatus according to claim 2, further comprising:
周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、
前記第2の演算部によって算出された活発性評価値に対応するマスクを用いて第1の補正値のマスキングを行うことによって、第2の補正値を設定する、請求項11に記載の画像処理装置。 The second correction value setting unit includes:
Multiple types of masks with arbitrary multipliers set for each frequency component are stored according to the activity evaluation value.
The image processing according to claim 11, wherein the second correction value is set by performing masking of the first correction value using a mask corresponding to the activity evaluation value calculated by the second arithmetic unit. apparatus.
活発性評価値が低レベルのブロックに関しては、低周波成分においては第1の補正値を第2の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第2の補正値として設定し、
活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第1の補正値を第2の補正値として設定し、高周波成分においては略ゼロ値を第2の補正値として設定し、
活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第1の補正値を第2の補正値として設定する、請求項12に記載の画像処理装置。 The second correction value setting unit includes:
For blocks with low activity evaluation values, the first correction value is set as the second correction value for the low frequency component, and the substantially zero value is set as the second correction value for the medium frequency component and the high frequency component. Set,
For blocks with a medium activity evaluation value, the first correction value is set as the second correction value for the low-frequency component and the medium-frequency component, and the substantially zero value is set as the second correction value for the high-frequency component. Set,
The image processing apparatus according to claim 12, wherein the first correction value is set as the second correction value for the low-frequency component, the medium-frequency component, and the high-frequency component for a block having a high activity evaluation value.
出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される、請求項1〜15のいずれか一つに記載の画像処理装置。 The transform unit and the quantization unit sequentially process a plurality of blocks extracted so as to partially overlap from an input image,
The image part where a plurality of blocks overlap among output images, the optimum value calculated from a plurality of overlapping blocks is outputted as image data of the image part. Image processing device.
出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される、請求項1〜15のいずれか一つに記載の画像処理装置。 The transform unit and the quantization unit sequentially process a plurality of blocks extracted so as to partially overlap from an input image,
The output data of the image part in the process related to the current block is used as the input data of the image part in the process related to the next macroblock for the image part where a plurality of blocks overlap in the output image. The image processing apparatus according to any one of?
前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行する、請求項1〜17のいずれか一つに記載の画像処理装置。 The input image has a plurality of color components,
The image processing apparatus according to claim 1, wherein the image processing apparatus performs a noise removal process independently on each color component.
前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行する、請求項1〜17のいずれか一つに記載の画像処理装置。 The input image has a plurality of color components,
The image processing apparatus according to claim 1, wherein the image processing apparatus performs noise removal processing on a plurality of color components in an integrated manner.
入力画像から所定のブロック単位で抽出した空間領域の第1画像データを、複数の周波数成分を含む周波数領域の第2画像データに変換するステップと、
第2画像データに対して量子化処理を実行することにより、第3画像データを生成するステップと、
第1画像データに基づいて、ブロック毎のノイズ値を算出するステップと、
入力画像全体のノイズ値に基づいて、量子化処理に用いる入力画像毎の第1の量子化値を設定するステップと、
を備える、画像処理方法。
An image processing method for generating an output image by performing noise removal processing on an input image,
Converting the first image data in the spatial domain extracted in units of predetermined blocks from the input image into the second image data in the frequency domain including a plurality of frequency components;
Generating third image data by performing a quantization process on the second image data;
Calculating a noise value for each block based on the first image data;
Setting a first quantization value for each input image used for quantization processing based on a noise value of the entire input image;
An image processing method comprising:
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049505A JP6423162B2 (en) | 2014-03-12 | 2014-03-12 | Image processing apparatus and image processing method |
US14/636,794 US9552628B2 (en) | 2014-03-12 | 2015-03-03 | Image processor |
US15/388,959 US9916642B2 (en) | 2014-03-12 | 2016-12-22 | Image processor |
US15/388,821 US9881361B2 (en) | 2014-03-12 | 2016-12-22 | Image processing method |
US15/874,303 US10395344B2 (en) | 2014-03-12 | 2018-01-18 | Image processing method |
US15/874,346 US20180144445A1 (en) | 2014-03-12 | 2018-01-18 | Image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049505A JP6423162B2 (en) | 2014-03-12 | 2014-03-12 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015176161A true JP2015176161A (en) | 2015-10-05 |
JP6423162B2 JP6423162B2 (en) | 2018-11-14 |
Family
ID=54255361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014049505A Expired - Fee Related JP6423162B2 (en) | 2014-03-12 | 2014-03-12 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6423162B2 (en) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0563989A (en) * | 1991-08-30 | 1993-03-12 | Fuji Xerox Co Ltd | Encoder of image signal |
JPH066748A (en) * | 1992-06-19 | 1994-01-14 | Ricoh Co Ltd | Digital electronic still cameral |
JPH0638189A (en) * | 1992-07-15 | 1994-02-10 | Matsushita Electric Ind Co Ltd | Picture coding method |
JPH0715631A (en) * | 1993-06-29 | 1995-01-17 | Nippon Telegr & Teleph Corp <Ntt> | Noise eliminating method/device for image signal |
JPH11501195A (en) * | 1995-12-21 | 1999-01-26 | フィリップス エレクトロニクス エヌ ベー | How to reduce noise in images |
JPH11505350A (en) * | 1995-05-15 | 1999-05-18 | ポラロイド コーポレイション | Image Noise Reduction System Using Wiener Deformation Filter in Pyramid Image Display |
JPH11205797A (en) * | 1998-01-08 | 1999-07-30 | Nec Corp | Animation image encoder |
JP2002099912A (en) * | 2000-09-21 | 2002-04-05 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for processing image, and image processing program storage medium |
US20030142876A1 (en) * | 2002-01-29 | 2003-07-31 | Masahiko Sugimoto | Image capturing apparatus |
JP2004222288A (en) * | 2003-01-14 | 2004-08-05 | Samsung Electronics Co Ltd | Moving picture encoding and decoding method, and apparatus therefor |
JP2007049721A (en) * | 2006-09-05 | 2007-02-22 | Olympus Corp | Regenerating system and regenerating program |
JP2010166351A (en) * | 2009-01-16 | 2010-07-29 | Nippon Hoso Kyokai <Nhk> | Moving picture noise elimination device and moving picture noise elimination program |
-
2014
- 2014-03-12 JP JP2014049505A patent/JP6423162B2/en not_active Expired - Fee Related
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0563989A (en) * | 1991-08-30 | 1993-03-12 | Fuji Xerox Co Ltd | Encoder of image signal |
JPH066748A (en) * | 1992-06-19 | 1994-01-14 | Ricoh Co Ltd | Digital electronic still cameral |
JPH0638189A (en) * | 1992-07-15 | 1994-02-10 | Matsushita Electric Ind Co Ltd | Picture coding method |
JPH0715631A (en) * | 1993-06-29 | 1995-01-17 | Nippon Telegr & Teleph Corp <Ntt> | Noise eliminating method/device for image signal |
JPH11505350A (en) * | 1995-05-15 | 1999-05-18 | ポラロイド コーポレイション | Image Noise Reduction System Using Wiener Deformation Filter in Pyramid Image Display |
JPH11501195A (en) * | 1995-12-21 | 1999-01-26 | フィリップス エレクトロニクス エヌ ベー | How to reduce noise in images |
JPH11205797A (en) * | 1998-01-08 | 1999-07-30 | Nec Corp | Animation image encoder |
JP2002099912A (en) * | 2000-09-21 | 2002-04-05 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for processing image, and image processing program storage medium |
US20030142876A1 (en) * | 2002-01-29 | 2003-07-31 | Masahiko Sugimoto | Image capturing apparatus |
JP2004222288A (en) * | 2003-01-14 | 2004-08-05 | Samsung Electronics Co Ltd | Moving picture encoding and decoding method, and apparatus therefor |
US20040190610A1 (en) * | 2003-01-14 | 2004-09-30 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and/or decoding moving pictures |
JP2007049721A (en) * | 2006-09-05 | 2007-02-22 | Olympus Corp | Regenerating system and regenerating program |
JP2010166351A (en) * | 2009-01-16 | 2010-07-29 | Nippon Hoso Kyokai <Nhk> | Moving picture noise elimination device and moving picture noise elimination program |
Also Published As
Publication number | Publication date |
---|---|
JP6423162B2 (en) | 2018-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4290193B2 (en) | Image processing device | |
JP2008511048A (en) | Image processing method and computer software for image processing | |
JP2009071621A (en) | Image processor and digital camera | |
US9014503B2 (en) | Noise-reduction method and apparatus | |
JP2005167399A (en) | Image noise eliminating method | |
JP2017091582A (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
JP4066367B2 (en) | Image noise removal method | |
JP4641784B2 (en) | Gradation conversion processing device, gradation conversion processing method, image display device, television, portable information terminal, camera, integrated circuit, and image processing program | |
JP5701640B2 (en) | Image processing device | |
KR101456445B1 (en) | Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer | |
US10395344B2 (en) | Image processing method | |
Albu et al. | One scan shadow compensation and visual enhancement of color images | |
US20160373618A1 (en) | Adaptive Black-Level Restoration | |
JP6423162B2 (en) | Image processing apparatus and image processing method | |
JP2011015277A (en) | Image processing device, image processing method, image processing program, and recording medium recording image processing program | |
JP6423163B2 (en) | Image processing apparatus and image processing method | |
JP6378903B2 (en) | Image processing apparatus and image processing method | |
JP6624061B2 (en) | Image processing method, image processing device, and recording medium for storing image processing program | |
JP2017107366A (en) | Image processing device and pogram | |
JP5860298B2 (en) | Image processing apparatus and program | |
JP2009081526A (en) | Imaging apparatus | |
Toda et al. | High dynamic range rendering method for YUV images with global luminance correction | |
JP2010063059A (en) | Image processing apparatus and method therefor | |
JP2019174933A (en) | Image noise removal device and program | |
CN105684410A (en) | Image compression/expansion device and image formation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6423162 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |