JP2005102179A - フィルタ装置、フィルタリング方法、およびフィルタリングプログラム - Google Patents
フィルタ装置、フィルタリング方法、およびフィルタリングプログラム Download PDFInfo
- Publication number
- JP2005102179A JP2005102179A JP2004243487A JP2004243487A JP2005102179A JP 2005102179 A JP2005102179 A JP 2005102179A JP 2004243487 A JP2004243487 A JP 2004243487A JP 2004243487 A JP2004243487 A JP 2004243487A JP 2005102179 A JP2005102179 A JP 2005102179A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- processing
- filters
- resolution conversion
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 238000001914 filtration Methods 0.000 title claims abstract description 54
- 238000006243 chemical reaction Methods 0.000 claims abstract description 149
- 230000015654 memory Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 14
- 101150065825 CMPK1 gene Proteins 0.000 description 10
- 101100453619 Danio rerio cmpk gene Proteins 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101000712600 Homo sapiens Thyroid hormone receptor beta Proteins 0.000 description 1
- 102100033451 Thyroid hormone receptor beta Human genes 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
【解決手段】 本発明のフィルタ装置10は、垂直NR処理部14と、垂直解像度変換部12と、垂直NR処理判定部20とを備えている。垂直NR処理部14は、入力された水平NR処理信号26に対してNR処理信号27を出力する。垂直解像度変換部12は、複数の解像度変換フィルタを有し、NR処理信号27を参照して垂直解像度変換を行う。垂直NR処理判定部20は、垂直解像度変換部12に対して、複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号32に基づいて、垂直NR処理部14に水平NR処理信号26の垂直NR処理を行わせるか否かを判定する。
【選択図】 図1
Description
図21に、NR処理を行うフィルタ装置400について説明するブロック図を示す。
フィルタ装置400は、復号画像信号310に対して水平・垂直NR処理を行いNR処理信号312を出力するポストフィルタ部300と、NR処理信号312の垂直解像度変換を行い表示画像信号313を出力する垂直解像度変換部303とを備えている。
ポストフィルタ部300は、復号画像信号310を入力とし水平NR処理信号311を出力とする水平NR処理部301と、水平NR処理信号311を入力としNR処理信号312を出力とする垂直NR処理部302とを備えている。
〈垂直解像度変換部303〉
ポストフィルタ部300(図21参照)から出力されたNR処理信号312は、垂直解像度変換部303に入力される。入力されたNR処理信号312は、垂直解像度変換フィルタを用いて垂直解像度変換され、表示画像信号313として出力される。垂直解像度変換部303では、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号317に基づいて選択される。
一方、NR効果を向上させる目的、特にブロックノイズを低減させる目的で複数のフィルタを切り換えて用いる技術が知られている(例えば、非特許文献1参照。)。
図25を用いて、非特許文献1に記載されているブロックノイズの低減を目的とするデブロックフィルタについて説明する。非特許文献1のデブロックフィルタは、画像信号の処理単位である8×8画素の画像ブロック(例えば、符号化ブロック)のブロック境界を挟む8つの画素「k+1」〜画素「k+8」(画素値Y(k+1)〜画素値Y(k+8))についてフィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)を算出する。具体的には、画素「k+1」〜画素「k+8」について、隣接画素差分を算出し、隣接画素差分を用いた条件判断でフィルタを切り換える。ここで、条件判断は、数式F5に基づいて行われる。なお、数式F5中、φ(γ)は、数式F6で定義される比較関数である。すなわち、数式F6では、隣接画素差分絶対値が閾値THR1以下であるか否かが判断される。
ISO/IEC,14496−2:2001(E),"Information technology−−Coding of audio−visual ob jects−−Part2:Visual",Second edition, 2001.12.01,P.448−450
特に、垂直NR処理をハードウェアにより実現する場合にハードウェアコストを削減すること、あるいは十分なNR効果を得るため複数のNRフィルタを切り換えて用いる場合に、ハードウェアを簡易に構成する、あるいはソフトウェアの処理を簡易にすることなどが求められる。
請求項2に記載のフィルタ装置は、請求項1に記載のフィルタ装置であって、NR処理判定手段は、解像度変換フィルタ選択信号が複雑な解像度変換フィルタを選択する場合には、NR処理を行わないと判定する。
請求項3に記載のフィルタ装置は、請求項1又は2に記載のフィルタ装置であって、NR処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同じ数の入力画像信号の画素を用いてNR処理を行う。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられる入力画像信号の画素数を削減することが可能となる。すなわち、NR処理に必要な入力画像信号を供給するためのメモリおよびメモリより画像信号を取得する信号線を削減することが可能となる。
ここで、NRフィルタ手段とは、例えば、1つのNRフィルタにより、あるいは複数のNRフィルタを切り換えて入力画像信号にNR処理を行うものであってもよい。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられるNRフィルタの個数を削減することが可能となる。
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常に垂直NR処理されない状態で参照される出力画像信号に対しては、垂直NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。例えば、NR処理に必要な入力画像信号を供給するためのラインメモリおよびラインメモリから画像信号を取得する信号線を削減することが可能となる。
請求項8に記載のフィルタ装置は、NR処理実行手段と、NRフィルタ選択手段とを備えている。NR処理実行手段は、複数のNRフィルタを有する。NRフィルタ選択手段は、複数のNRフィルタのそれぞれに対し、NRフィルタの参照する参照画素範囲に応じて定められた範囲の画素を用いて画像特徴量を算出し、この各画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、NR処理実行手段の複数のNRフィルタの中から1つを選択する。
本発明のフィルタ装置では、画像特徴量の算出に必要な画素と複数のNRフィルタのそれぞれが参照する画素とを共通化することが可能となる。このため、これらの画素を記憶あるいは取得するためのハードウェアを共通化することが可能となる。
本発明のフィルタ装置では、画像の平坦度が大きいほど強いフィルタを適用することが可能となる。このため、適切なNR効果を得ることが可能となる。
本発明のフィルタ装置では、よりNR効果の高いフィルタを優先的に適用することが可能となる。
本発明のフィルタ装置では、複数のNRフィルタのフィルタ係数適用後の除算処理を共通化することが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
ここで、ブロック境界とは、例えば、入力画像信号が符号化されていた際の符号化ブロックなどの境界である。
本発明のフィルタ装置では、ブロック境界の画素に対して、よりフィルタ強度の強いNRフィルタを適用することが可能となる。このため、より適切にブロックノイズの低減を行うことが可能となる。
本発明のフィルタ装置では、より適切なNRフィルタを適用することが可能となる。より具体的には、非ブロック境界用のNRフィルタ、例えば、モスキートノイズを低減するフィルタなどを必要に応じて用いることが可能となる。
請求項18に記載のフィルタリング方法は、請求項16又は17に記載のフィルタリング方法であって、NRフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
請求項19に記載のフィルタリングプログラムは、複数のNRフィルタの中から選択された1つのNRフィルタを用いて、画像信号のNR処理を行うためのフィルタリングプログラムであって、コンピュータに、NRフィルタ選択ステップと、NR処理実行ステップとを備えるフィルタリング方法を行わせるものである。NRフィルタ選択ステップは、複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のNRフィルタの中から1つを選択する。NR処理実行ステップは、選択されたNRフィルタを用いて、画像信号のNR処理を行う。
請求項21に記載のフィルタリングプログラムは、請求項19又は20に記載のフィルタリングプログラムであって、NRフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
図1〜図4を用いて、本発明の第1実施形態としてのフィルタ装置10について説明する。図1に示すフィルタ装置10は、垂直NR処理を行うか否かを垂直解像度変換フィルタの選択信号に基づいて判断する点に特徴を有している。
フィルタ装置10は、復号画像信号25に対して水平・垂直NR処理を行いNR処理信号27を出力するポストフィルタ部11と、NR処理信号27の垂直解像度変換を行い表示画像信号28を出力する垂直解像度変換部12と、ポストフィルタ部11に垂直NR処理を行わせるか否かを判定する垂直NR処理判定部20とを備えている。
水平NR処理部13は、復号画像信号25の水平NR処理を行う部分であり、条件判定部15と、水平NR処理実行部16とを備えている。条件判定部15は、復号画像信号25を第1の入力、設定された閾値30を第2の入力とし、復号画像信号25に水平NRフィルタを適用するか否かの判定結果37を出力する。水平NR処理実行部16は、復号画像信号25を第1の入力、判定結果37を第2の入力とし、復号画像信号25に判定結果37に応じた水平NR処理を施した水平NR処理信号26を出力する。
垂直NR処理判定部20は、解像度変換フィルタ選択信号32を入力とし、ポストフィルタ部11に垂直NR処理を行わせるか否かの判定結果33を出力する。
水平NR処理部13は、復号画像信号25の水平NR処理を行う。条件判定部15は、設定された閾値30に基づいて、復号画像信号25に水平NRフィルタを適用するか否かの適用条件を判定する。水平NR処理実行部16は、復号画像信号25と条件判定部15の判定結果とに基づいて、復号画像信号25の水平NR処理を実行し、水平NR処理信号26を出力する。
垂直NRフィルタ部41〜44は、入力された画素値Y(y−2)〜画素値Y(y+3)と、設定された閾値31と、垂直NR処理判定部20の判定結果33とに基づいて、フィルタ処理を実行し、フィルタ処理後の画素値Y’(y−1)〜Y’(y+2)をNR処理信号27として出力する。
垂直解像度変換部12は、ポストフィルタ部11から出力されたNR処理信号27を垂直解像度変換し、表示画像信号28を出力する。垂直解像度変換部12は、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号32に基づいて選択される。解像度変換フィルタ選択信号32とそれぞれの垂直解像度変換フィルタの動作とは、図24を用いて説明したのと同様である。すなわち、垂直解像度変換部12は、解像度変換フィルタ選択信号32が指定する3つの値[0]〜[2]に応じて、解像度変換フィルタを選択する。例えば、値[0]が指定される場合、解像度変換は行われず、表示画像信号28としてY”(y)=Y’(y)となる画素値Y”(y)が出力される。値[1]が指定される場合、6つの画素値Y(y−2),Y’(y−1)〜Y’(y+2),Y(y+3)から算出される画素値Y”(y)が出力される。ここで、値[1]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無く、フィルタタップ数が多い場合、もしくは、簡易な変換比率を有する変換であるが、高画質化のためタップ数の多いフィルタを用いる場合などに指定される。値[2]が指定される場合、4つの画素値Y’(y−1)〜Y’(y+2)から算出される画素値Y”(y)が出力される。ここで、値[2]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有し、フィルタタップ数が少ない場合などに指定される。
〈フィルタリング方法〉
図4に、フィルタ装置10におけるフィルタリング方法、特に垂直NR処理判定部20と垂直NR処理部14とにおけるフィルタリング方法を説明するフローチャートを示す。
〈第1実施形態の効果〉
(1)
垂直解像度変換部12に参照されるNR処理信号27のうち、常に垂直NR処理されない状態で参照されるY(y−2)およびY(y+3)に対しては、垂直NRフィルタ部を設ける必要がない。すなわち、従来の垂直NR処理部302(図22参照)に比して、ハードウェアコストを削減することが可能となる。
垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無い場合などには、タップ数の多い、複雑な解像度変換フィルタが選択される。ここで、アスペクト比4:3からアスペクト比16:9の変換など複雑な変換比率が必要となるのは、DVDソフト再生時などというように復号画像信号25のノイズが少ない場合が多い。このため、水平NR処理信号26に垂直NR処理を行わないでも表示画像信号28の画質の維持が可能となる。
従来の垂直NR処理部302では、NR処理信号312は、全て垂直NR処理される可能性のある信号である。このため、例えば、6ライン分のNR処理信号312を出力するために8ライン分の水平NR処理信号311を必要とする(図22参照)。すなわち、NR処理信号312を得るために必要な水平NR処理信号311のライン数は、NR処理信号312のライン数よりも多くなる。
従来の垂直NR処理部302では、NR処理信号312は、全て垂直NR処理される可能性のある信号である。このため、NR処理信号を得るために用いられる垂直NRフィルタ部の個数は、NR処理信号312の本数、すなわち垂直解像度変換部303が垂直解像度変換に用いるNR処理信号312のライン数の最大値と同数となる。
(1)
垂直NR処理部14は、垂直NRフィルタ部41〜44に代えて、1つの垂直NRフィルタ部を用いて複数回のNR処理を行うものであってもよい。
(2)
条件判定部17は、復号画像信号25を用いて条件判定を行うものであってもよい。この場合、水平NR処理の完了前に、水平NR処理と並行して条件判定部17が動作可能となり、フィルタ装置10全体の処理速度を向上させることが可能となる。
上記実施形態で記載したのと同様の構成を水平NR処理部13に対して適用することも可能である。
[第2実施形態]
フィルタ装置が備える水平・垂直NRフィルタは、複数のフィルタ候補の中から1つのフィルタを選択して適用されるものであってもよい。このNRフィルタについて、図5〜図13を用いて説明する。
図5に、複数のフィルタ候補の中から1つのフィルタを選択して適用される水平・垂直NRフィルタを備えるフィルタ装置50を示す。
フィルタ装置50は、復号画像信号65に対して水平・垂直NR処理を行いNR処理信号67を出力するポストフィルタ部51と、NR処理信号67の垂直解像度変換を行い表示画像信号68を出力する垂直解像度変換部52とを備えている。
水平NR処理部53は、復号画像信号65の水平NR処理を行う部分であり、条件判定部55と、水平NR処理実行部56とを備えている。条件判定部55は、復号画像信号65を第1の入力、設定された閾値70を第2の入力とし、復号画像信号65に適用する水平NRフィルタを選択し、選択結果74を出力する。水平NR処理実行部56は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74に応じた水平NR処理を施した水平NR処理信号66を出力する。
〈NRフィルタおよびNRフィルタ選択〉
水平NR処理部53および垂直NR処理部54が備えるNRフィルタおよびNRフィルタの選択について説明する。本発明では、水平NR処理部53および垂直NR処理部54は、複数のNRフィルタ候補を備え、複数のNRフィルタ候補の中から一つのNRフィルタを選択してフィルタ適用画素に対するNR処理を行う。
図7〜図9を用いて、図6のNRフィルタおよびNRフィルタ選択を実現する具体的なハードウェアの構成について説明する。水平NR処理部53では、画素単位で順次入力される復号画像信号65に対して、NRフィルタの選択とNR処理の実行とを行う。
演算器81a〜81fは、それぞれの遅延器80a〜80fの入力と出力とから画像特徴量を計算する。すなわち、演算器81a〜81fは、画素値Y(x+3)〜画素値Y(x−3)のそれぞれに対して、数式F31で定義される画像特徴量DIFF(x+2)〜DIFF(x−3)を計算する。
図10〜図12を用いて、図6のNRフィルタおよびNRフィルタ選択を実現する具体的なハードウェアの構成について説明する。垂直NR処理部54では、水平NR処理部53から画素単位で出力される水平NR処理信号66を図示しないラインメモリにライン毎に記憶し、記憶されたラインに含まれるフィルタ適用画素に対して、NRフィルタの選択とNR処理の実行とを行う。なお、ラインメモリ(図示せず)は、水平NR処理信号26を記憶する代わりに復号画像信号25を記憶し、水平NR処理信号26はラインメモリ(図示せず)を介さずに垂直NR処理部へ入力されてもよい。さらに、ラインメモリ(図示せず)の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ(図示せず)を用いても良い。
図10に、垂直NR処理部54において切り換えて適用される3つの垂直NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数および閾値を示す。垂直NRフィルタFH1は、フィルタタップ数FH1tap=[3]、フィルタ係数[3,2,3]、閾値TH1=[8]の垂直NRフィルタである。垂直NRフィルタFH2は、フィルタタップ数FH2tap=[3]、フィルタ係数[2,4,2]、閾値TH2=[16]の垂直NRフィルタである。垂直NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[1,6,1]、閾値TH3=[32]の垂直NRフィルタである。
乗算器97a,97bは、加算器96aおよびフィルタ適用画素「y」の画素値Y(y)に対して、条件判定部57の選択結果75が示す垂直NRフィルタのフィルタ係数をそれぞれ乗算する。乗算器97aは、加算器96aの出力を第1の入力、スイッチ98aの出力を第2の入力とし、それぞれの入力を乗算する。乗算器97bは、フィルタ適用画素「y」の画素値Y(y)を第1の入力、スイッチ98bの出力を第2の入力とし、それぞれの入力を乗算する。
図13に、フィルタ装置50におけるフィルタリング方法、特に水平NR処理部53と垂直NR処理部54とにおけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号65として水平NR処理部53に入力される画素あるいは図示しないラインメモリから垂直NR処理部54に入力される画素を単位とする処理である(ステップS20〜S25)。以下、水平NR処理部53におけるフィルタリング方法について説明する。なお、以下説明する処理は、垂直NR処理部54においても同様である。
〈第2実施形態の効果〉
(1)
フィルタ装置50では、複数のNRフィルタ候補の中から1つのNRフィルタを選択してNR処理を行うため、適切なNR効果を得ることが可能である。
複数のNRフィルタ候補の中から1つのNRフィルタを選択するに際し、画像特徴量の算出方法を共通化することが可能である。例えば、図8の演算器81a〜81f、図11の演算器93a,93bの計算結果をそれぞれのNRフィルタの選択に際して共通して用いることが可能であり、ハードウェアコストの削減、処理の簡易化が実現される。
複数のNRフィルタ候補の中から1つのNRフィルタを選択するに際し、画像特徴量の算出に必要な画素と複数のNRフィルタのそれぞれが参照する画素とが共通化されている。例えば、条件判定部55が画像特徴量の算出に必要とする画素値は、画素値Y(x+3)〜Y(x−3)であり、水平NR処理実行部56が参照する画素値は、画素値Y(x+3)〜Y(x−3)である。このため図8および図9において、遅延器80a〜80fと遅延器85a〜85fとを同一の遅延器として構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
フィルタ装置50では、画像の平坦度が大きいほど強いフィルタを適用する結果となる。このため、物体の輪郭がフィルタ参照画素に含まれている場合などにも、適切なNR効果を得ることが可能となる。
フィルタ装置50では、それぞれのNRフィルタのフィルタ係数の和が同じ値となる。このため、フィルタ係数和による画素値の除算処理を共通化することが可能となる。また、フィルタ係数和を[8]とし、3ビットのシフト演算で除算処理を行うことが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
フィルタ装置50では、フィルタ強度が強くなるに従って、フィルタタップ数FHktapが大きくなり、フィルタ適用条件F30の閾値THkが小さくなる。このためフィルタ装置50におけるフィルタリング方法、フィルタリングプログラムでは、よりNR効果の高いフィルタを優先的に適用するためのソフトウェアの構成が簡易になる。
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
本発明の効果は、水平・垂直NRフィルタの候補が3つの場合に限定されるものではない。NRフィルタ候補の数の増減は、図8,9,11,12に示したハードウェアの構成要素の数の増減により常識的に対応することが可能である。
NRフィルタ候補は、フィルタ強度が強くなるに従って、フィルタタップ数FHktapが大きくならず、またフィルタ適用条件F30の閾値THkが小さくならないものであってもよい。この場合であっても、第2実施形態に示したフィルタ装置50のハードウェア構成を常識的に拡張して対応することが可能である。
図11および図12を用いて説明した垂直NRフィルタを図2の垂直NRフィルタ部41〜44として用いることも可能である。この場合、垂直NR処理判定部20からの判定結果33を取得し、取得結果に応じてフィルタ適用画素の画素値を出力する(フィルタスルー)構成を付加することにより対応することが可能である。
条件判定部57は、復号画像信号65を用いて条件判定を行うものであってもよい。この場合、水平NR処理の完了前に、水平NR処理と並行して条件判定部57が動作可能となり、フィルタ装置50全体の処理速度を向上させることが可能となる。
[第3実施形態]
NRフィルタの選択およびフィルタ処理の実行に際して、フィルタ適用画素が符号化ブロックのブロック境界に位置するか否かにより、フィルタ適用条件F30において用いる閾値を変更する、あるいはブロック境界用のフィルタを適用することが可能である。図1に示す水平NR処理部13、垂直NR処理部14、図5に示す水平NR処理部53、垂直NR処理部54において、このような機能を実現することが可能である。
図14に、水平NR処理部において切り換えて適用される3つの水平NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数を示す。水平NRフィルタFH1は、フィルタタップ数FH1tap=[5]、フィルタ係数[1,2,2,2,1]の水平NRフィルタである。水平NRフィルタFH1は、フィルタ適用画素がブロック境界隣接画素である場合にのみ適用される。水平NRフィルタFH2は、フィルタタップ数FH2tap=[5]、フィルタ係数[1,1,4,1,1]の水平NRフィルタである。水平NRフィルタFH2は、フィルタ適用画素がブロック境界隣接画素であるか否かに関係なく適用される。水平NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[2,4,2]の水平NRフィルタである。水平NRフィルタFH3は、フィルタ適用画素がブロック境界隣接画素でない場合にのみ適用される。
演算器106a〜106dは、それぞれの遅延器105a〜105dの入力と出力とから画像特徴量を計算する。すなわち、演算器106a〜106dは、画素値Y(x+2)〜画素値Y(x−2)のそれぞれに対して、数式F31(図6参照)で定義される画像特徴量DIFF(x+1)〜DIFF(x−2)を計算する。
図16に、水平NR処理部53の変形例としての水平NR処理部におけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号65として水平NR処理部に入力される画素を単位とする処理である(ステップS30〜S35)。条件判定部104は、水平NRフィルタFH1〜FH3について順次第2フィルタ適用条件の値が[1]であるかを判断する(ステップS31)。
フィルタ適用画素「x」がブロック境界の画素で無い場合、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタ(例えば、図14の水平NRフィルタFH2またはFH3)であるか否かが判断され(ステップS31b)、水平NRフィルタFHkがブロック境界の画素についてのみ適用される水平NRフィルタである場合(例えば、図14の水平NRフィルタFH1)、返り値[0]を出力し(ステップS31c)、ステップS32〜ステップS34の処理を行う。一方、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタである場合、ステップS31f〜S31jのフィルタ参照画素についての処理が行われる。
判断結果が否定的である場合、数式F31(図6参照)で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、閾値THk(〈k〉は、ステップS30で対象としているフィルタ候補の番号)との比較が行われる(ステップS31h)。
返り値[1]が出力される場合(ステップS31l)、フィルタFHkがフィルタ適用画素「x」に適用され(ステップS35)、次のフィルタ適用画素「x+1」についての処理が開始される。
(1)
第3実施形態として説明した水平NR処理部あるいは垂直NR処理部を備えるフィルタ装置では、例えば、ブロック境界の画素に対して、よりフィルタ強度の強いブロック境界用のNRフィルタを適用することが可能となる。これにより、より強いブロックノイズの低減を行うことが可能となる
(2)
THbを通常の閾値TH1〜TH3などより大きい値とすることにより、ブロック境界の画素に対して、よりNRフィルタの適用が行われやすくすることが可能である。これにより、ブロックノイズの低減をさらに行うことが可能となる。
また、非ブロック境界用のNRフィルタ(例えば、図14の水平NRフィルタFH3など)を用い、より適切なNRフィルタを適用してNR処理を行うことが可能となる。
(4)
図15に示す条件判定部104では、NRフィルタの適用を判断するため計算される画像特徴量は、図25を用いて説明した従来のフィルタ処理を実現するための装置よりも簡易に計算できる。このため、ハードウェアコストの低減が可能となる。また、ソフトウェアにより同様の処理を行うプログラムにおいても、処理が簡易であり、処理負荷を低減することが可能となる。
(1)
図14を用いて説明した水平NRフィルタにおいて、水平NRフィルタFH1は、フィルタ適用画素がブロック境界に隣接する場合にのみ適用されるとした。ここで、ブロック境界用の水平NRフィルタは、フィルタ適用画素がブロック境界に隣接する場合に限らず、1画素を挟んでブロック境界に隣接する場合に適用されるものであってもよい。また、ブロック境界から何画素離れているかで、フィルタを切り換えてもよい。ブロック境界付近でフィルタ強度の強いフィルタを使用することにより、より高いブロックノイズの低減が可能となる。
それぞれのフィルタ候補FH1〜FH3は、異なる値のブロック境界用の閾値THbを用いてもよい。
[第4実施形態]
本発明の第4実施形態として、フィルタ装置、フィルタリング方法、およびフィルタリングプログラムの応用例と、それを用いたシステムとを図17〜図20を用いて説明する。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
図18は、上記実施形態のメディアデータ表示装置を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
このように、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
11 ポストフィルタ部
12 垂直解像度変換部
13 水平NR処理部
14 垂直NR処理部
15 条件判定部
16 水平NR処理実行部
17 条件判定部
18 垂直NR処理実行部
20 垂直NR処理判定部
25 復号画像信号
26 水平NR処理信号
27 NR処理信号
28 表示画像信号
32 解像度変換フィルタ選択信号
33 判定結果
41〜44 垂直NRフィルタ部
Claims (21)
- 入力された入力画像信号に対して出力画像信号を出力するNR処理手段と、
複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換手段と、
前記解像度変換手段に対して、複数の前記解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記NR処理手段に前記入力画像信号のNR処理を行わせるか否かを判定するNR処理判定手段と、
を備えるフィルタ装置。 - 前記NR処理判定手段は、前記解像度変換フィルタ選択信号が複雑な解像度変換フィルタを選択する場合には、前記NR処理を行わないと判定する、
請求項1に記載のフィルタ装置。 - 前記NR処理手段は、前記複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同じ数の前記入力画像信号の画素を用いて前記NR処理を行う、
請求項1又は2に記載のフィルタ装置。 - 前記NR処理手段は、前記複数の解像度変換フィルタが参照する出力画像信号の最大画素数より少ない個数のNRフィルタ手段を有している、
請求項1〜3のいずれかに記載のフィルタ装置。 - 前記NR処理手段は、前記入力画像信号の垂直方向のNR処理を行い、
前記解像度変換手段は、前記出力画像信号の垂直方向の解像度変換を行う、
請求項1〜4のいずれかに記載のフィルタ装置。 - 入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法であって、
前記出力画像信号の解像度変換を行う解像度変換フィルタを複数の前記解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記入力画像信号のNR処理を行うか否かを判定するNR処理判定ステップと、
前記NR処理判定ステップの判定結果に基づいて、前記入力画像信号のNR処理を行うNR処理ステップと、
を備えるフィルタリング方法。 - 入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法を行うためのフィルタリングプログラムであって、
前記フィルタリングプログラムは、コンピュータに、
前記出力画像信号の解像度変換を行う解像度変換フィルタを複数の前記解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記入力画像信号のNR処理を行うか否かを判定するNR処理判定ステップと、
前記NR処理判定ステップの判定結果に基づいて、前記入力画像信号のNR処理を行うNR処理ステップと、
を備えるフィルタリング方法を行わせるものである、
フィルタリングプログラム。 - 複数のNRフィルタを有するNR処理実行手段と、
前記複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、前記複数のNRフィルタのそれぞれに対して設定された前記画像特徴量の閾値とに基づいて、前記NR処理実行手段の前記複数のNRフィルタの中から1つを選択するNRフィルタ選択手段と、
を備えたフィルタ装置。 - 前記画像特徴量は、前記参照画素範囲の画素を用いて算出される、
請求項8に記載のフィルタ装置。 - 前記複数のNRフィルタのそれぞれの前記参照画素範囲の大きさは、フィルタ強度の大きさに伴って単調増加し、
前記複数のNRフィルタのそれぞれに対して設定された前記閾値の大きさは、フィルタ強度が大きい前記NRフィルタほど、前記NRフィルタ選択手段により選択されにくくなるように決定されている、
請求項8又は9に記載のフィルタ装置。 - 前記NRフィルタ選択手段は、前記複数のNRフィルタの中から前記参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタを優先的に選択する、
請求項8〜10のいずれかに記載のフィルタ装置。 - 前記複数のNRフィルタは、それぞれのフィルタ係数の合計が等しい、
請求項8〜11のいずれかに記載のフィルタ装置。 - 前記NRフィルタ選択手段は、前記画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いて前記NRフィルタを選択する、
請求項8〜12のいずれかに記載のフィルタ装置。 - 前記複数のNRフィルタは、前記NR処理の対象となる画素がブロック境界の近傍に位置する場合にのみ適用されるブロック境界用のNRフィルタを含んでいる、
請求項8〜13のいずれかに記載のフィルタ装置。 - 前記複数のNRフィルタは、前記NR処理の対象となる画素がブロック境界の近傍に位置しない場合にのみ適用される非ブロック境界用のNRフィルタをさらに含んでいる、
請求項14に記載のフィルタ装置。 - 複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、前記複数のNRフィルタのそれぞれに対して設定された前記画像特徴量の閾値とに基づいて、前記複数のNRフィルタの中から1つを選択するNRフィルタ選択ステップと、
選択された前記NRフィルタを用いて、画像信号のNR処理を行うNR処理実行ステップと、
を備えるフィルタリング方法。 - 前記NRフィルタ選択ステップは、前記複数のNRフィルタの中から前記参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う、
請求項16に記載のフィルタリング方法。 - 前記NRフィルタ選択ステップは、前記画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いて前記NRフィルタを選択する、
請求項16又は17に記載のフィルタリング方法。 - 複数のNRフィルタの中から選択された1つのNRフィルタを用いて、画像信号のNR処理を行うためのフィルタリングプログラムであって、
前記フィルタリングプログラムは、コンピュータに、
前記複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、前記複数のNRフィルタのそれぞれに対して設定された前記画像特徴量の閾値とに基づいて、前記複数のNRフィルタの中から1つを選択するNRフィルタ選択ステップと、
選択された前記NRフィルタを用いて、画像信号のNR処理を行うNR処理実行ステップと、
を備えるフィルタリング方法を行わせるものである、
フィルタリングプログラム。 - 前記NRフィルタ選択ステップは、前記複数のNRフィルタの中から前記参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う、
請求項19に記載のフィルタリングプログラム。 - 前記NRフィルタ選択ステップは、前記画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いて前記NRフィルタを選択する、
請求項19又は20に記載のフィルタリングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004243487A JP4558409B2 (ja) | 2003-08-27 | 2004-08-24 | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003302554 | 2003-08-27 | ||
JP2004243487A JP4558409B2 (ja) | 2003-08-27 | 2004-08-24 | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010117459A Division JP5116803B2 (ja) | 2003-08-27 | 2010-05-21 | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005102179A true JP2005102179A (ja) | 2005-04-14 |
JP4558409B2 JP4558409B2 (ja) | 2010-10-06 |
Family
ID=34467201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004243487A Expired - Fee Related JP4558409B2 (ja) | 2003-08-27 | 2004-08-24 | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4558409B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010246130A (ja) * | 2003-08-27 | 2010-10-28 | Panasonic Corp | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8284844B2 (en) | 2002-04-01 | 2012-10-09 | Broadcom Corporation | Video decoding system supporting multiple standards |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63102467A (ja) * | 1986-10-17 | 1988-05-07 | Canon Inc | 画像デ−タ解像度変換装置 |
JPH0738762A (ja) * | 1993-07-26 | 1995-02-07 | Japan Radio Co Ltd | ビデオコーデックにおける後処理フィルタの制御方式 |
JPH08317389A (ja) * | 1995-05-15 | 1996-11-29 | Matsushita Electric Ind Co Ltd | ブロック歪除去装置 |
JPH09186993A (ja) * | 1995-12-28 | 1997-07-15 | Canon Inc | フィルタ装置及びそれを用いた復号化装置 |
JPH10191335A (ja) * | 1996-12-27 | 1998-07-21 | Sony Corp | ブロック歪低減方法及び装置 |
WO2002023915A1 (fr) * | 2000-09-12 | 2002-03-21 | Matsushita Electric Industrial Co., Ltd. | Procede de reduction du bruit, dispositif de reduction du bruit, support et programme |
JP2003087640A (ja) * | 2001-09-10 | 2003-03-20 | Canon Inc | 撮像装置、信号処理装置及び制御方法 |
-
2004
- 2004-08-24 JP JP2004243487A patent/JP4558409B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63102467A (ja) * | 1986-10-17 | 1988-05-07 | Canon Inc | 画像デ−タ解像度変換装置 |
JPH0738762A (ja) * | 1993-07-26 | 1995-02-07 | Japan Radio Co Ltd | ビデオコーデックにおける後処理フィルタの制御方式 |
JPH08317389A (ja) * | 1995-05-15 | 1996-11-29 | Matsushita Electric Ind Co Ltd | ブロック歪除去装置 |
JPH09186993A (ja) * | 1995-12-28 | 1997-07-15 | Canon Inc | フィルタ装置及びそれを用いた復号化装置 |
JPH10191335A (ja) * | 1996-12-27 | 1998-07-21 | Sony Corp | ブロック歪低減方法及び装置 |
WO2002023915A1 (fr) * | 2000-09-12 | 2002-03-21 | Matsushita Electric Industrial Co., Ltd. | Procede de reduction du bruit, dispositif de reduction du bruit, support et programme |
JP2003087640A (ja) * | 2001-09-10 | 2003-03-20 | Canon Inc | 撮像装置、信号処理装置及び制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010246130A (ja) * | 2003-08-27 | 2010-10-28 | Panasonic Corp | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4558409B2 (ja) | 2010-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101314390B1 (ko) | 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로 | |
CN100358366C (zh) | 滤波强度的决定方法、动态图像编码方法及解码方法 | |
JP5469761B2 (ja) | 符号化歪除去方法 | |
EP1788817A1 (en) | Decoder, encoder, decoding method and encoding method | |
EP1662802A1 (en) | Moving picture encoding method and moving picture decoding method | |
EP1816870A1 (en) | Video encoding method, and video decoding method | |
EP1667064A1 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
JPWO2005104564A1 (ja) | 動き補償装置 | |
JP5116803B2 (ja) | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム | |
EP1534016A2 (en) | Using motion vectors and the occurrence of coefficient quantization levels to drive a noise removal image postprocessing | |
JP4641784B2 (ja) | 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム | |
JP4313710B2 (ja) | 画像符号化方法および画像復号化方法 | |
JP4558409B2 (ja) | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム | |
JP4094652B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP4437149B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
CN101453544B (zh) | 灰度变换处理装置 | |
JP2007143178A (ja) | 符号化歪除去方法 | |
JPWO2006003873A1 (ja) | 画像符号化方法および画像復号化方法 | |
JP2006236317A (ja) | 画像処理方法 | |
JP2005176337A (ja) | 画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置 | |
JP4414464B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4009650B2 (ja) | 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム | |
JP2005322205A (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4403803B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100521 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100721 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |