JP2005117449A - Mosquito noise reducer, mosquito noise reducing method, and program for reducing mosquito noise - Google Patents
Mosquito noise reducer, mosquito noise reducing method, and program for reducing mosquito noise Download PDFInfo
- Publication number
- JP2005117449A JP2005117449A JP2003350408A JP2003350408A JP2005117449A JP 2005117449 A JP2005117449 A JP 2005117449A JP 2003350408 A JP2003350408 A JP 2003350408A JP 2003350408 A JP2003350408 A JP 2003350408A JP 2005117449 A JP2005117449 A JP 2005117449A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- pixel
- filtered
- image data
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、エッジ周辺に発生しやすいモスキートノイズを、再生画像に悪影響を及ぼすことなく(特にエッジ部分に悪影響を及ぼすことなく)的確に低減するモスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラムに関する。 In the present invention, mosquito noise that is likely to occur around the edge of reproduced image data obtained by decoding image data encoded by block unit coding is not adversely affected on the reproduced image (especially in the edge portion). The present invention relates to a mosquito noise reduction device, a mosquito noise reduction method, and a mosquito noise reduction program that accurately reduce (without adverse effects).
MPEG(Moving Pictures Expert Group)規格などの画像圧縮符号化では、一定サイズのブロック(所定数の画素からなるブロック)に画像を分割し、DCT(Discrete Cosine Transform)等を用いてブロック単位に変換符号化を行う方式(ブロック単位符号化方式)が使用されている。ブロック単位符号化の場合、高圧縮時に量子化誤差によってモスキートノイズと呼ばれる符号化ノイズが発生しやすい。モスキートノイズはエッジの近傍にもやもやとしたパターンとして発生するノイズである。
DCTブロックがエッジを含む場合、高域成分は大きな値を持つ。高圧縮時に過度な量子化を行うと高域成分に量子化誤差が発生する。この量子化誤差の影響が、エッジ近辺平坦部に現れることでモスキートノイズが発生する。(言い換えれば、モスキートノイズはエッジ周辺に発生しやすい。)
このモスキートノイズを低減するために、ノイズ発生部分に対しエッジ保存平滑化フィルタを施すことが有効である。エッジ保存型平滑化フィルタにはεフィルタ、リップル修正フィルタ(非特許文献1)等が知られている。例えばεフィルタは中心画素をx(i,j)、その周辺画素をx(i+p,j+q)とした時、以下の式1により求められる。
In image compression coding such as the MPEG (Moving Pictures Expert Group) standard, an image is divided into blocks of a certain size (blocks consisting of a predetermined number of pixels) and converted into blocks using DCT (Discrete Cosine Transform). A method (block unit coding method) is used. In the case of block unit coding, coding noise called mosquito noise is likely to occur due to quantization error during high compression. Mosquito noise is noise that occurs as a hazy pattern near the edge.
When the DCT block includes an edge, the high frequency component has a large value. If excessive quantization is performed at the time of high compression, a quantization error occurs in the high frequency component. Mosquito noise is generated by the influence of the quantization error appearing in the flat portion near the edge. (In other words, mosquito noise is likely to occur around edges.)
In order to reduce the mosquito noise, it is effective to apply an edge preserving smoothing filter to the noise generation portion. As the edge preserving type smoothing filter, an ε filter, a ripple correction filter (Non-patent Document 1) and the like are known. For example, the ε filter is obtained by the following
しかし、εフィルタをノイズ発生部分以外にも施すと、解像感の低下等、再生画像に悪影響を及ぼすことがある。そこで、特許文献1のように、ノイズ発生部分を予測検出し、その検出結果に応じてエッジ保存平滑化フィルタを制御する手法が提案されている。
この方式のブロック図を図7に示す。入力端子71より入力された画像圧縮データはデコーダ部72により画像データに復号される。ブロック選択部73では、入力された画像データからブロック単位で隣接画素間の差分値の頻度分布を求め、頻度分布に基づいてブロックがエッジを含むか否かの判定を行う。フィルタ部75では、RAM部74に蓄えていたブロック単位画像データに対し、ブロック選択部73からのエッジブロック判定結果により、エッジを含むブロックについてはエッジ保存平滑化フィルタを施し、エッジを含まないブロックについてはエッジ保存平滑化フィルタを施さない。このようにエッジを含むブロックのみにエッジ保存平滑化フィルタを施すことでエッジ近辺に発生するモスキートノイズの低減を行う。
However, if the ε filter is applied to a portion other than the noise generation portion, the reproduced image may be adversely affected, such as a decrease in resolution. Therefore, as disclosed in
A block diagram of this method is shown in FIG. The compressed image data input from the
しかしながら、特許文献1では、エッジを含むブロック全体にフィルタ処理を行うために、エッジに対してもフィルタ処理がかかる。変化値が比較的小さいエッジの場合では、エッジ保存平滑化フィルタのエッジ保存効果が発揮されにくく、このフィルタ処理による再生画像への悪影響は避けられない。
本発明は、このような状況に鑑みてなされたもので、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、エッジ周辺に発生しやすいモスキートノイズを、再生画像に悪影響を及ぼすことなく(特にエッジ部分に悪影響を及ぼすことなく)、的確に低減するモスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラムを提供することを目的とする。
However, in
The present invention has been made in view of such a situation, and reproduces mosquito noise that is likely to be generated around an edge with respect to reproduced image data obtained by decoding image data encoded by block unit coding. An object of the present invention is to provide a mosquito noise reduction apparatus, a mosquito noise reduction method, and a mosquito noise reduction program that can accurately reduce an image without adversely affecting an image (particularly without adversely affecting an edge portion).
そこで、上記課題を解決するために本発明は、下記の装置、方法、及びプログラムを提供するものである。
(1)
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データが入力され、その入力画像データに対して適応的にフィルタ処理を行って、モスキートノイズを低減するモスキートノイズ低減装置であって、
前記入力画像データに対し、エッジ検出対象画素として設定される2つの画素の画素値、及びそのエッジ検出対象画素に近接する複数の周辺画素の画素値を用いて、前記エッジ検出対象画素間のエッジの存在の有無及びエッジの強度を検出し、エッジ有無検出情報及びエッジ強度情報を出力するエッジ検出手段(13)と、
前記フィルタ処理の対象として設定されるフィルタ処理対象画素が、前記エッジを構成する画素であるか否かを、前記エッジ有無検出情報に基づき判断し、
前記フィルタ処理対象画素が前記エッジを構成する画素と判断された場合には、そのフィルタ処理対象画素に対して前記フィルタ処理を行わず、
前記フィルタ処理対象画素が前記エッジを構成する画素ではないと判断された場合には、前記フィルタ処理対象画素と前記フィルタ処理対象画素に最も近い最近隣エッジとの距離、及び前記最近隣エッジの強度を、前記エッジ有無検出情報及び前記エッジ強度情報に基づき求め、求めた前記最近隣エッジとの距離及び前記最近隣エッジの強度に応じて、前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択したフィルタ特性によるフィルタ処理を、前記フィルタ処理対象画素に対して行うノイズ低減手段(14)と、
を有することを特徴とするモスキートノイズ低減装置
(2)
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データを入力画像データとし、前記入力画像データに対して適応的にフィルタ処理を行って、モスキートノイズを低減するモスキートノイズ低減方法であって、
前記入力画像データに対し、エッジ検出対象画素として設定される2つの画素の画素値、及びそのエッジ検出対象画素に近接する複数の周辺画素の画素値を用いて、前記エッジ検出対象画素間のエッジの存在の有無及びエッジの強度を検出し、エッジ有無検出情報及びエッジ強度情報を得るエッジ検出手順と、
前記フィルタ処理の対象として設定されるフィルタ処理対象画素が、前記エッジを構成する画素であるか否かを、前記エッジ有無検出情報に基づき判断し、
前記フィルタ処理対象画素が前記エッジを構成する画素と判断された場合には、そのフィルタ処理対象画素に対して前記フィルタ処理を行わず、
前記フィルタ処理対象画素が前記エッジを構成する画素ではないと判断された場合には、前記フィルタ処理対象画素と前記フィルタ処理対象画素に最も近い最近隣エッジとの距離、及び前記最近隣エッジの強度を、前記エッジ有無検出情報及び前記エッジ強度情報に基づき求め、求めた前記最近隣エッジとの距離及び前記最近隣エッジの強度に応じて、前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択したフィルタ特性によるフィルタ処理を、前記フィルタ処理対象画素に対して行うノイズ低減手順と、
を有することを特徴とするモスキートノイズ低減方法。
(3)
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データから復号された画像データを入力画像データとし、前記入力画像データに対して適応的にフィルタ処理を行って、モスキートノイズを低減するモスキートノイズ低減機能をコンピュータに実現させるためのモスキートノイズ低減用プログラムであって、
前記入力画像データに対し、エッジ検出対象画素として設定される2つの画素の画素値、及びそのエッジ検出対象画素に近接する複数の周辺画素の画素値を用いて、前記エッジ検出対象画素間のエッジの存在の有無及びエッジの強度を検出し、エッジ有無検出情報及びエッジ強度情報を得るエッジ検出手段と、
前記フィルタ処理の対象として設定されるフィルタ処理対象画素が、前記エッジを構成する画素であるか否かを、前記エッジ有無検出情報に基づき判断し、
前記フィルタ処理対象画素が前記エッジを構成する画素と判断された場合には、そのフィルタ処理対象画素に対して前記フィルタ処理を行わず、
前記フィルタ処理対象画素が前記エッジを構成する画素ではないと判断された場合には、前記フィルタ処理対象画素と前記フィルタ処理対象画素に最も近い最近隣エッジとの距離、及び前記最近隣エッジの強度を、前記エッジ有無検出情報及び前記エッジ強度情報に基づき求め、求めた前記最近隣エッジとの距離及び前記最近隣エッジの強度に応じて、前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択したフィルタ特性によるフィルタ処理を、前記フィルタ処理対象画素に対して行うノイズ低減手段として、
コンピュータを機能させるためのモスキートノイズ低減用プログラム。
Therefore, in order to solve the above problems, the present invention provides the following apparatus, method, and program.
(1)
Image data decoded from image data that has been compression-encoded by a block-unit encoding method using a block of a predetermined number of pixels as an encoding unit is input, and the input image data is adaptively filtered. A mosquito noise reduction device for reducing mosquito noise
Edges between the edge detection target pixels using pixel values of two pixels set as edge detection target pixels and pixel values of a plurality of peripheral pixels close to the edge detection target pixel with respect to the input image data Edge detection means (13) for detecting the presence / absence of an image and the strength of an edge, and outputting edge presence / absence detection information and edge strength information;
Based on the edge presence / absence detection information, it is determined whether the filtering target pixel set as the filtering target is a pixel constituting the edge;
When it is determined that the pixel to be filtered is a pixel constituting the edge, the filter processing is not performed on the pixel to be filtered,
When it is determined that the pixel to be filtered is not a pixel constituting the edge, the distance between the pixel to be filtered and the nearest edge closest to the pixel to be filtered, and the intensity of the nearest edge Is selected based on the edge presence / absence detection information and the edge strength information, and an edge-preserving smoothing filter characteristic used for the filter processing is selected according to the distance to the nearest edge and the strength of the nearest edge. Noise reduction means (14) for performing filtering processing on the filtering target pixel with the selected filter characteristics;
Mosquito noise reduction device characterized by having (2)
Image data decoded from image data compression-encoded by a block-unit encoding method using a block of a predetermined number of pixels as an encoding unit is set as input image data, and the input image data is adaptively filtered. A mosquito noise reduction method for performing processing to reduce mosquito noise,
Edges between the edge detection target pixels using pixel values of two pixels set as edge detection target pixels and pixel values of a plurality of peripheral pixels close to the edge detection target pixel with respect to the input image data Edge detection procedure for detecting presence / absence detection information and edge strength information,
Based on the edge presence / absence detection information, it is determined whether the filtering target pixel set as the filtering target is a pixel constituting the edge;
When it is determined that the pixel to be filtered is a pixel constituting the edge, the filter processing is not performed on the pixel to be filtered,
When it is determined that the pixel to be filtered is not a pixel constituting the edge, the distance between the pixel to be filtered and the nearest edge closest to the pixel to be filtered, and the intensity of the nearest edge Is selected based on the edge presence / absence detection information and the edge strength information, and an edge-preserving smoothing filter characteristic used for the filter processing is selected according to the distance to the nearest edge and the strength of the nearest edge. A noise reduction procedure for performing filtering processing on the filter processing target pixel according to the selected filter characteristics;
A mosquito noise reduction method characterized by comprising:
(3)
Image data decoded from image data compression-encoded by a block-unit encoding method using a block of a predetermined number of pixels as an encoding unit is set as input image data, and the input image data is adaptively filtered. A mosquito noise reduction program for performing a process to cause a computer to realize a mosquito noise reduction function for reducing mosquito noise,
Edges between the edge detection target pixels using pixel values of two pixels set as edge detection target pixels and pixel values of a plurality of peripheral pixels close to the edge detection target pixel with respect to the input image data Edge detection means for detecting presence / absence of edge and edge strength and obtaining edge presence / absence detection information and edge strength information;
Based on the edge presence / absence detection information, it is determined whether the filtering target pixel set as the filtering target is a pixel constituting the edge;
When it is determined that the pixel to be filtered is a pixel constituting the edge, the filter processing is not performed on the pixel to be filtered,
When it is determined that the pixel to be filtered is not a pixel constituting the edge, the distance between the pixel to be filtered and the nearest edge closest to the pixel to be filtered, and the intensity of the nearest edge Is selected based on the edge presence / absence detection information and the edge strength information, and an edge-preserving smoothing filter characteristic used for the filter processing is selected according to the distance to the nearest edge and the strength of the nearest edge. Then, as noise reduction means for performing the filtering process with the selected filter characteristic on the filtering target pixel,
A program for reducing mosquito noise to make a computer function.
本発明によれば、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、エッジ周辺に発生しやすいモスキートノイズを、再生画像に悪影響を及ぼすことなく(特にエッジ部分に悪影響を及ぼすことなく)的確に低減できる。 According to the present invention, mosquito noise that is likely to occur around the edge of reproduced image data obtained by decoding image data encoded by block-unit coding does not adversely affect the reproduced image (especially edge data). (Without adversely affecting parts) can be reduced accurately.
以下、この発明によるモスキートノイズ低減装置の実施形態について、図を参照しながら説明する。 Hereinafter, embodiments of a mosquito noise reduction apparatus according to the present invention will be described with reference to the drawings.
図1は、この発明によるモスキートノイズ低減装置の一実施例を組み込んだMPEG復号装置である。入力端子11よりMPEGビットストリームが入力される。入力されたMPEGビットストリームはMPEGデコーダ12によって、逆量子化、逆DCTなどの処理が行われ、画像データが復元(復号)される。(ブロック単位符号化により符号化された画像データ(MPEGビットストリーム)を復号した再生画像データを得る。)
エッジ検出部13では、MPEGデコーダ12より出力された再生画像に対し、各画素間について、エッジ検出対象画素として設定される2つの画素(エッジ検出対象画素組とも呼ぶ)及びその周辺画素の画素差分値を用いて、エッジ有無の検出及びエッジ強度の検出が行われ、エッジ有無検出情報及びエッジ強度情報を出力する。
ノイズ低減部14では、モスキートノイズが存在する再生画像データに対し、エッジ検出部13からのエッジ有無検出情報及びエッジ強度情報により、フィルタ処理対象画素とそのフィルタ処理対象画素に最も近いエッジである最近隣エッジとの距離を算出する。そして、算出したフィルタ処理対象画素と最近隣エッジとの距離、及びその最近隣エッジの強度に応じて、複数のエッジ保存型平滑化フィルタから一つを選択し、フィルタ処理対象画素に対してフィルタ処理を実行することでモスキートノイズの低減を行う。
以上の過程を経て、出力端子15よりモスキートノイズが低減された再生画像が出力される。
以下にてエッジ検出部13及びノイズ低減部14について特に説明する。エッジ検出部13は、入力された再生画像に対し、各画素間について、エッジ検出対象画素組及びその周辺画素の画素差分値を用いて、エッジ有無の検出及びエッジ強度検出を行い、その結果を出力する。図2はエッジ検出対象画素及びその周辺画素を示した図である。エッジ部分は隣接画素間の差分が大きい。よって、エッジは隣接画素間の差分を求め所定閾値と比較することで検出できる。しかし単純に2画素差分で判断した場合、ノイズの影響により誤判断する可能性がある。このため、周辺画素を用いた平滑化を加えることで誤検出を抑制する。例えば、図3に示すオペレータに従う場合、図2における画素a10−a11間のエッジ検出は以下の式2により行う。
FIG. 1 shows an MPEG decoding apparatus incorporating an embodiment of a mosquito noise reduction apparatus according to the present invention. An MPEG bit stream is input from the
In the
The
Through the above process, a reproduced image with reduced mosquito noise is output from the
The
図4はエッジ検出部13での検出過程の一例を示したフローチャートである。図4の動作が開始されると、処理41によりオペレータに従い対象画素の平滑化画素値を算出し、処理42により平滑化画素差分絶対値を算出する。最後に判断群43により、平滑化画素差分絶対値と所定閾値との比較を行い、エッジ検出及びエッジ強度の決定を行う。図4では4段階のレベル分けを行っており、平滑化画素差分絶対値が小さいレベル1では変化が小さいことからエッジが存在しないと考えられ、レベルが大きくなるに従い、平滑化画素差分絶対値が大きくなり強いエッジが存在すると考えられる。
ノイズ低減部14では、モスキートノイズが存在する再生画像データに対し、エッジ検出部13からのエッジ有無検出情報及びエッジ強度情報を元に、フィルタ処理対象画素とそのフィルタ処理対象画素の最近隣エッジとの距離を算出する。そして、算出したフィルタ処理対象画素と最近隣エッジとの距離、及び最近隣エッジの強度に応じて複数のエッジ保存型平滑化フィルタから一つを選択し、フィルタ処理対象画素に対してフィルタ処理を実行することでモスキートノイズの低減を行う。
モスキートノイズは高域成分を多く含むDCTブロックにおいて過度の量子化により高域成分に量子化誤差が発生し、その影響が平坦部に現れることで発生する。DCTブロックがエッジを含む場合、高域成分は大きな値を持つ。よって、モスキートノイズはエッジ近辺平坦部に現れることとなる。そこで、エッジ近辺平坦部を平滑化することでモスキートノイズ軽減を行う。鋭いエッジの場合、より多くの高域成分を持つと考えられ、モスキートノイズも強く現れている可能性が高い。従って、エッジの強度に従い、より強い平滑化を行う必要がある。一方、エッジそのものに平滑化をかけると、エッジを丸めてしまうい再生画像に悪影響を及ぼすことになるのでエッジ保存に気を配る必要がある。
そこで、フィルタ処理対象画素と最近隣エッジとの距離を測り、エッジを構成する画素(例えば、図2における画素a10−a11間にエッジ有りと検出された場合、画素a10,a11はエッジを構成する画素となる)に対してはフィルタ処理を行わず、エッジにごく近い画素に対して最近隣エッジの強度に応じたフィルタ処理を行う。また、より強いエッジの保護のため、式1のεフィルタに代表されるエッジ保存型平滑化フィルタを用いることが有効である。εフィルタの場合、画素差分絶対値が式1における閾値THRより小さい場合に、平滑化の対象となる。すなわち、THRによりフィルタ強度を制御できる。
なお、エッジ近辺所定範囲を一様に平滑化すると平滑化部分と未処理部分の境界が現れ画質劣化となる。そこで、エッジから離れるに従って徐々に平滑化特性を弱めることによりこの問題を解決できる。
図5はノイズ低減部14によるノイズ低減処理の一例を示したフローチャートである。まず、エッジ検出部13からのエッジ有無検出情報に基づく判断51により、フィルタ処理対象画素がエッジを構成していると判断された場合は、エッジに悪影響を及ぼさないように、フィルタ処理を行わない。判断51により、フィルタ処理対象画素がエッジを構成していないと判断された場合には、処理52により、エッジ検出部13からのエッジ有無検出情報によりフィルタ処理対象画素と最近隣エッジとの距離を測定する。そして、処理53にて、処理52で得られた最近隣エッジとの距離、及びエッジ検出部13からの最近隣エッジのエッジ強度情報により、エッジ保存型平滑化フィルタ(図5ではεフィルタ)のON/OFF、エッジ保存型平滑化フィルタ強度の切り替えを行い、処理54にてフィルタ処理対象画素に対してフィルタ処理を施すことでモスキートノイズの低減を行う。
このように、フィルタ処理対象画素と最近隣エッジとの距離及びその最近隣エッジのエッジ強度により、複数のエッジ保存型平滑化フィルタを切り換えて適用することで、エッジに悪影響を及ぼすことなく、エッジ近傍のモスキートノイズ軽減を的確に行うことができる。
本発明による装置は、上記のようにブロック単位符号化方式により符号化された画像データを再生する復号機器に組み込んで使用してもよいし、既存の復号機器が出力するモスキートノイズを含む復元画像データを入力とする独立したモスキートノイズ低減装置として使用しても勿論よい。
また、本発明は、ソフトウェアによる実現も可能であり、DSP(デジタルシグナルプロセッサ)等による実現も可能である。即ち、本発明は上述したモスキートノイズ低減機能をコンピュータに実現させるためのモスキートノイズ低減用プログラムを含むものである。
図6に、本発明のモスキートノイズ低減用プログラムの一実施例を適用したデジタル画像データ再生プログラムのフローチャートを示す。(なお、このプログラムによる動作は上述したMPEG復号装置での動作と同様であるので、図6に示す各ステップの詳細な説明はここでは省略する。)
図6に示す動作が開始されると、まず、処理61にて符号化データの入力を受け付け、処理62にて入力符号化データは復号化処理により画像データに復元される。処理63にてエッジ有無検出情報及びエッジ強度情報を作成する。次の処理から画素単位のループとなり、判断64にて、フィルタ処理対象画素がエッジを構成する場合は、処理65〜67を飛ばし、エッジを構成しない場合は、処理65に進む。処理65ではフィルタ処理対象画素から一番近い最近隣エッジを検出し、そのエッジ強度及びフィルタ処理対象画素との距離を算出する。そして処理66にて、最近隣エッジとの距離及び最近隣エッジのエッジ強度情報により、エッジ保存型平滑化フィルタの強度を調整し、処理67にてフィルタ処理対象画素に対してエッジ保存型平滑化フィルタを適用することでモスキートノイズの低減が行われる。最後に、処理68にてモスキートノイズが低減された再生画像データが出力される。
なお、このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
また、図1に示すデコーダ12の前段に受信インタフェースを設け、本発明実施例を適用したMPEG復号装置を、ストリーム等で伝送されてくる画像データを受信する受信装置として構成してもよい。
FIG. 4 is a flowchart showing an example of the detection process in the
In the
Mosquito noise occurs when a DCT block containing a lot of high-frequency components causes quantization errors in the high-frequency components due to excessive quantization, and the effect appears in a flat part. When the DCT block includes an edge, the high frequency component has a large value. Therefore, mosquito noise appears in the flat part near the edge. Therefore, mosquito noise is reduced by smoothing the flat portion near the edge. A sharp edge is considered to have more high-frequency components, and mosquito noise is likely to appear strongly. Therefore, it is necessary to perform stronger smoothing according to the edge strength. On the other hand, if the edge itself is smoothed, the reproduced image is adversely affected if the edge is rounded, so it is necessary to pay attention to edge preservation.
Therefore, measure the distance between the filtering target pixel and nearest neighbor edge pixels constituting an edge (e.g., when it is detected that there is an edge between the pixel a 10 -a 11 in FIG. 2, pixel a 10, a 11 is The filter processing is not performed on the pixels that constitute the edge), and the filtering processing according to the intensity of the nearest edge is performed on the pixels very close to the edge. In order to protect stronger edges, it is effective to use an edge-preserving smoothing filter represented by the ε filter of
Note that when the predetermined range near the edge is uniformly smoothed, the boundary between the smoothed portion and the unprocessed portion appears and image quality deteriorates. Therefore, this problem can be solved by gradually weakening the smoothing characteristic as the distance from the edge increases.
FIG. 5 is a flowchart showing an example of noise reduction processing by the
In this way, by switching and applying a plurality of edge-preserving smoothing filters according to the distance between the pixel to be filtered and the nearest edge and the edge strength of the nearest edge, the edge is not adversely affected. Neighboring mosquito noise can be reduced accurately.
The apparatus according to the present invention may be used by being incorporated in a decoding device that reproduces the image data encoded by the block unit encoding method as described above, or a restored image including mosquito noise output by an existing decoding device. Of course, it may be used as an independent mosquito noise reduction device that receives data.
Further, the present invention can be realized by software, and can also be realized by a DSP (digital signal processor) or the like. That is, the present invention includes a mosquito noise reduction program for causing a computer to realize the mosquito noise reduction function described above.
FIG. 6 shows a flowchart of a digital image data reproduction program to which one embodiment of the mosquito noise reduction program of the present invention is applied. (Note that the operation of this program is the same as that of the above-described MPEG decoding apparatus, so detailed description of each step shown in FIG. 6 is omitted here.)
When the operation shown in FIG. 6 is started, first, input of encoded data is received in a
This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.
Also, a receiving interface may be provided before the
13 エッジ検出部
14 ノイズ低減部
13
Claims (3)
前記入力画像データに対し、エッジ検出対象画素として設定される2つの画素の画素値、及びそのエッジ検出対象画素に近接する複数の周辺画素の画素値を用いて、前記エッジ検出対象画素間のエッジの存在の有無及びエッジの強度を検出し、エッジ有無検出情報及びエッジ強度情報を出力するエッジ検出手段と、
前記フィルタ処理の対象として設定されるフィルタ処理対象画素が、前記エッジを構成する画素であるか否かを、前記エッジ有無検出情報に基づき判断し、
前記フィルタ処理対象画素が前記エッジを構成する画素と判断された場合には、そのフィルタ処理対象画素に対して前記フィルタ処理を行わず、
前記フィルタ処理対象画素が前記エッジを構成する画素ではないと判断された場合には、前記フィルタ処理対象画素と前記フィルタ処理対象画素に最も近い最近隣エッジとの距離、及び前記最近隣エッジの強度を、前記エッジ有無検出情報及び前記エッジ強度情報に基づき求め、求めた前記最近隣エッジとの距離及び前記最近隣エッジの強度に応じて、前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択したフィルタ特性によるフィルタ処理を、前記フィルタ処理対象画素に対して行うノイズ低減手段と、
を有することを特徴とするモスキートノイズ低減装置 Image data decoded from image data that has been compression-encoded by a block-unit encoding method using a block of a predetermined number of pixels as an encoding unit is input, and the input image data is adaptively filtered. A mosquito noise reduction device for reducing mosquito noise
Edges between the edge detection target pixels using pixel values of two pixels set as edge detection target pixels and pixel values of a plurality of peripheral pixels close to the edge detection target pixel with respect to the input image data Edge detection means for detecting the presence / absence of the presence and edge strength, and outputting edge presence / absence detection information and edge strength information;
Based on the edge presence / absence detection information, it is determined whether the filtering target pixel set as the filtering target is a pixel constituting the edge;
When it is determined that the pixel to be filtered is a pixel constituting the edge, the filter processing is not performed on the pixel to be filtered,
When it is determined that the pixel to be filtered is not a pixel constituting the edge, the distance between the pixel to be filtered and the nearest edge closest to the pixel to be filtered, and the intensity of the nearest edge Is selected based on the edge presence / absence detection information and the edge strength information, and an edge-preserving smoothing filter characteristic used for the filter processing is selected according to the distance to the nearest edge and the strength of the nearest edge. Noise reduction means for performing filtering processing on the filtering target pixel with the selected filter characteristics;
Mosquito noise reduction device characterized by having
前記入力画像データに対し、エッジ検出対象画素として設定される2つの画素の画素値、及びそのエッジ検出対象画素に近接する複数の周辺画素の画素値を用いて、前記エッジ検出対象画素間のエッジの存在の有無及びエッジの強度を検出し、エッジ有無検出情報及びエッジ強度情報を得るエッジ検出手順と、
前記フィルタ処理の対象として設定されるフィルタ処理対象画素が、前記エッジを構成する画素であるか否かを、前記エッジ有無検出情報に基づき判断し、
前記フィルタ処理対象画素が前記エッジを構成する画素と判断された場合には、そのフィルタ処理対象画素に対して前記フィルタ処理を行わず、
前記フィルタ処理対象画素が前記エッジを構成する画素ではないと判断された場合には、前記フィルタ処理対象画素と前記フィルタ処理対象画素に最も近い最近隣エッジとの距離、及び前記最近隣エッジの強度を、前記エッジ有無検出情報及び前記エッジ強度情報に基づき求め、求めた前記最近隣エッジとの距離及び前記最近隣エッジの強度に応じて、前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択したフィルタ特性によるフィルタ処理を、前記フィルタ処理対象画素に対して行うノイズ低減手順と、
を有することを特徴とするモスキートノイズ低減方法。 Image data decoded from image data compression-encoded by a block-unit encoding method using a block of a predetermined number of pixels as an encoding unit is set as input image data, and the input image data is adaptively filtered. A mosquito noise reduction method for performing processing to reduce mosquito noise,
Edges between the edge detection target pixels using pixel values of two pixels set as edge detection target pixels and pixel values of a plurality of peripheral pixels close to the edge detection target pixel with respect to the input image data Edge detection procedure for detecting presence / absence detection information and edge strength information,
Based on the edge presence / absence detection information, it is determined whether the filtering target pixel set as the filtering target is a pixel constituting the edge;
When it is determined that the pixel to be filtered is a pixel constituting the edge, the filter processing is not performed on the pixel to be filtered,
When it is determined that the pixel to be filtered is not a pixel constituting the edge, the distance between the pixel to be filtered and the nearest edge closest to the pixel to be filtered, and the intensity of the nearest edge Is selected based on the edge presence / absence detection information and the edge strength information, and an edge-preserving smoothing filter characteristic used for the filter processing is selected according to the distance to the nearest edge and the strength of the nearest edge. A noise reduction procedure for performing filtering processing on the filter processing target pixel according to the selected filter characteristics;
A mosquito noise reduction method characterized by comprising:
前記入力画像データに対し、エッジ検出対象画素として設定される2つの画素の画素値、及びそのエッジ検出対象画素に近接する複数の周辺画素の画素値を用いて、前記エッジ検出対象画素間のエッジの存在の有無及びエッジの強度を検出し、エッジ有無検出情報及びエッジ強度情報を得るエッジ検出手段と、
前記フィルタ処理の対象として設定されるフィルタ処理対象画素が、前記エッジを構成する画素であるか否かを、前記エッジ有無検出情報に基づき判断し、
前記フィルタ処理対象画素が前記エッジを構成する画素と判断された場合には、そのフィルタ処理対象画素に対して前記フィルタ処理を行わず、
前記フィルタ処理対象画素が前記エッジを構成する画素ではないと判断された場合には、前記フィルタ処理対象画素と前記フィルタ処理対象画素に最も近い最近隣エッジとの距離、及び前記最近隣エッジの強度を、前記エッジ有無検出情報及び前記エッジ強度情報に基づき求め、求めた前記最近隣エッジとの距離及び前記最近隣エッジの強度に応じて、前記フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択したフィルタ特性によるフィルタ処理を、前記フィルタ処理対象画素に対して行うノイズ低減手段として、
コンピュータを機能させるためのモスキートノイズ低減用プログラム。
Image data decoded from image data compression-encoded by a block-unit encoding method using a block of a predetermined number of pixels as an encoding unit is set as input image data, and the input image data is adaptively filtered. A mosquito noise reduction program for performing a process to cause a computer to realize a mosquito noise reduction function for reducing mosquito noise,
Edges between the edge detection target pixels using pixel values of two pixels set as edge detection target pixels and pixel values of a plurality of peripheral pixels close to the edge detection target pixel with respect to the input image data Edge detection means for detecting presence / absence of edge and edge strength and obtaining edge presence / absence detection information and edge strength information;
Based on the edge presence / absence detection information, it is determined whether the filtering target pixel set as the filtering target is a pixel constituting the edge;
When it is determined that the pixel to be filtered is a pixel constituting the edge, the filter processing is not performed on the pixel to be filtered,
When it is determined that the pixel to be filtered is not a pixel constituting the edge, the distance between the pixel to be filtered and the nearest edge closest to the pixel to be filtered, and the intensity of the nearest edge Is selected based on the edge presence / absence detection information and the edge strength information, and an edge-preserving smoothing filter characteristic used for the filter processing is selected according to the distance to the nearest edge and the strength of the nearest edge. Then, as noise reduction means for performing the filtering process with the selected filter characteristic on the filtering target pixel,
A program for reducing mosquito noise to make a computer function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003350408A JP2005117449A (en) | 2003-10-09 | 2003-10-09 | Mosquito noise reducer, mosquito noise reducing method, and program for reducing mosquito noise |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003350408A JP2005117449A (en) | 2003-10-09 | 2003-10-09 | Mosquito noise reducer, mosquito noise reducing method, and program for reducing mosquito noise |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005117449A true JP2005117449A (en) | 2005-04-28 |
Family
ID=34541970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003350408A Pending JP2005117449A (en) | 2003-10-09 | 2003-10-09 | Mosquito noise reducer, mosquito noise reducing method, and program for reducing mosquito noise |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005117449A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007020930A1 (en) * | 2005-08-15 | 2007-02-22 | Sony Corporation | Imaging device, noise reduction device, noise reduction method, and program |
WO2008102677A1 (en) * | 2007-02-19 | 2008-08-28 | Olympus Corporation | Image picking-up system, image processing program and image processing method |
JP2008301010A (en) * | 2007-05-30 | 2008-12-11 | Mitsubishi Electric Corp | Image processor and method, and image display device |
WO2009034727A1 (en) * | 2007-09-11 | 2009-03-19 | Mitsubishi Electric Corporation | Noise reduction device |
EP2149860A1 (en) | 2008-07-29 | 2010-02-03 | Ricoh Company, Ltd. | Image processing unit, noise reduction method, program, and storage medium |
JP4799678B1 (en) * | 2010-07-27 | 2011-10-26 | 株式会社東芝 | Coding distortion reducing apparatus, coding distortion reducing method, and program therefor |
WO2012124516A1 (en) * | 2011-03-11 | 2012-09-20 | シャープ株式会社 | Noise reduction processing device, and display device |
WO2012133354A1 (en) * | 2011-03-29 | 2012-10-04 | シャープ株式会社 | Noise reducing device, display device, noise reducing method, and noise reducing program |
WO2014064968A1 (en) * | 2012-10-22 | 2014-05-01 | Eizo株式会社 | Image processing device, image processing method, and computer program |
JP2015228692A (en) * | 2009-10-05 | 2015-12-17 | トムソン ライセンシングThomson Licensing | Method and apparatus for encoding and decoding |
KR101764661B1 (en) * | 2016-05-02 | 2017-08-04 | 청주대학교 산학협력단 | Apparatus and method for correcting edge of blurred image |
-
2003
- 2003-10-09 JP JP2003350408A patent/JP2005117449A/en active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7834917B2 (en) | 2005-08-15 | 2010-11-16 | Sony Corporation | Imaging apparatus, noise reduction apparatus, noise reduction method, and noise reduction program |
WO2007020930A1 (en) * | 2005-08-15 | 2007-02-22 | Sony Corporation | Imaging device, noise reduction device, noise reduction method, and program |
JP4872911B2 (en) * | 2005-08-15 | 2012-02-08 | ソニー株式会社 | Imaging device, noise reduction device, noise reduction method, and program |
WO2008102677A1 (en) * | 2007-02-19 | 2008-08-28 | Olympus Corporation | Image picking-up system, image processing program and image processing method |
US8150198B2 (en) | 2007-05-30 | 2012-04-03 | Mitsubishi Electric Corporation | Image processing apparatus and method and image display apparatus |
JP4527750B2 (en) * | 2007-05-30 | 2010-08-18 | 三菱電機株式会社 | Image processing apparatus and method, and image display apparatus |
JP2008301010A (en) * | 2007-05-30 | 2008-12-11 | Mitsubishi Electric Corp | Image processor and method, and image display device |
WO2009034727A1 (en) * | 2007-09-11 | 2009-03-19 | Mitsubishi Electric Corporation | Noise reduction device |
EP2149860A1 (en) | 2008-07-29 | 2010-02-03 | Ricoh Company, Ltd. | Image processing unit, noise reduction method, program, and storage medium |
US8374460B2 (en) | 2008-07-29 | 2013-02-12 | Ricoh Company, Ltd. | Image processing unit, noise reduction method, program and storage medium |
JP2015228692A (en) * | 2009-10-05 | 2015-12-17 | トムソン ライセンシングThomson Licensing | Method and apparatus for encoding and decoding |
US10291938B2 (en) | 2009-10-05 | 2019-05-14 | Interdigital Madison Patent Holdings | Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding |
JP4799678B1 (en) * | 2010-07-27 | 2011-10-26 | 株式会社東芝 | Coding distortion reducing apparatus, coding distortion reducing method, and program therefor |
US8446965B2 (en) | 2010-07-27 | 2013-05-21 | Kabushiki Kaisha Toshiba | Compression noise reduction apparatus, compression noise reduction method, and storage medium therefor |
WO2012124516A1 (en) * | 2011-03-11 | 2012-09-20 | シャープ株式会社 | Noise reduction processing device, and display device |
WO2012133354A1 (en) * | 2011-03-29 | 2012-10-04 | シャープ株式会社 | Noise reducing device, display device, noise reducing method, and noise reducing program |
JP2014103648A (en) * | 2012-10-22 | 2014-06-05 | Eizo Corp | Image processing device, image processing method, and computer program |
WO2014064968A1 (en) * | 2012-10-22 | 2014-05-01 | Eizo株式会社 | Image processing device, image processing method, and computer program |
US9241091B2 (en) | 2012-10-22 | 2016-01-19 | Eizo Corporation | Image processing device, image processing method, and computer program |
KR101764661B1 (en) * | 2016-05-02 | 2017-08-04 | 청주대학교 산학협력단 | Apparatus and method for correcting edge of blurred image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7805016B2 (en) | Decoding apparatus and decoding method | |
US7076113B2 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
JP5276170B2 (en) | Method and apparatus for detecting banding artifacts | |
JP4145665B2 (en) | Image processing apparatus and image processing method | |
US8189946B2 (en) | Image processing apparatus and method thereof for detecting and removing noise in decoded images | |
KR20060114609A (en) | Method and apparatus for reducing mosquito noise in fecoded video sequence | |
JP2003244702A (en) | Filtering method and apparatus for removing blocking artifact | |
JP2008042565A (en) | Motion picture decoding device, and its method | |
US8681877B2 (en) | Decoding apparatus, decoding control apparatus, decoding method, and program | |
JP5491506B2 (en) | Method and apparatus for detecting dark noise artifacts | |
JP2005117449A (en) | Mosquito noise reducer, mosquito noise reducing method, and program for reducing mosquito noise | |
JP2007336468A (en) | Re-encoding apparatus, re-encoding method and program | |
JPH0767176B2 (en) | Coding noise elimination filter | |
JP2009089177A (en) | Image processor and its method | |
JP2008182478A (en) | Image processor and method thereof | |
JP4380498B2 (en) | Block distortion reduction device | |
EP1137265A2 (en) | Image change detection apparatus, method, and program | |
JP5436082B2 (en) | Noise reduction device and noise reduction method | |
JP5180550B2 (en) | Image processing apparatus and image processing method | |
JP4449430B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2004343334A (en) | Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium | |
WO2019208189A1 (en) | Image decoding device, image decoding method, and program | |
JP2005079617A (en) | Device and method for reducing block distortion and program for block distortion reduction | |
JP4196929B2 (en) | Noise detection apparatus and noise detection program | |
JP2007538451A (en) | Algorithms to reduce artifacts in decoded video |