JP2005102179A - フィルタ装置、フィルタリング方法、およびフィルタリングプログラム - Google Patents

フィルタ装置、フィルタリング方法、およびフィルタリングプログラム Download PDF

Info

Publication number
JP2005102179A
JP2005102179A JP2004243487A JP2004243487A JP2005102179A JP 2005102179 A JP2005102179 A JP 2005102179A JP 2004243487 A JP2004243487 A JP 2004243487A JP 2004243487 A JP2004243487 A JP 2004243487A JP 2005102179 A JP2005102179 A JP 2005102179A
Authority
JP
Japan
Prior art keywords
filter
processing
filters
resolution conversion
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004243487A
Other languages
English (en)
Other versions
JP4558409B2 (ja
Inventor
Takumi Sakaguchi
巧 坂口
Shinya Sumino
眞也 角野
Hideaki Shibata
英明 芝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004243487A priority Critical patent/JP4558409B2/ja
Publication of JP2005102179A publication Critical patent/JP2005102179A/ja
Application granted granted Critical
Publication of JP4558409B2 publication Critical patent/JP4558409B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】 ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することを課題とする。
【解決手段】 本発明のフィルタ装置10は、垂直NR処理部14と、垂直解像度変換部12と、垂直NR処理判定部20とを備えている。垂直NR処理部14は、入力された水平NR処理信号26に対してNR処理信号27を出力する。垂直解像度変換部12は、複数の解像度変換フィルタを有し、NR処理信号27を参照して垂直解像度変換を行う。垂直NR処理判定部20は、垂直解像度変換部12に対して、複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号32に基づいて、垂直NR処理部14に水平NR処理信号26の垂直NR処理を行わせるか否かを判定する。
【選択図】 図1

Description

本発明は、フィルタ装置、特にノイズリダクション(NR)フィルタを用いたフィルタ装置に関する。また、別の本発明は、NRフィルタを用いたフィルタリング方法、およびフィルタリングプログラムに関する。
DVDレコーダなどの符号化画像信号を扱う製品では、画質向上のために、ブロックノイズやモスキートノイズを低減するノイズリダクション(NR)フィルタを用いるものがある。特に、符号化画像信号を復号処理したあとに用いられるNRフィルタは、ポストフィルタと呼ばれている。
〈フィルタ装置400〉
図21に、NR処理を行うフィルタ装置400について説明するブロック図を示す。
フィルタ装置400は、復号画像信号310に対して水平・垂直NR処理を行いNR処理信号312を出力するポストフィルタ部300と、NR処理信号312の垂直解像度変換を行い表示画像信号313を出力する垂直解像度変換部303とを備えている。
〈ポストフィルタ部300〉
ポストフィルタ部300は、復号画像信号310を入力とし水平NR処理信号311を出力とする水平NR処理部301と、水平NR処理信号311を入力としNR処理信号312を出力とする垂直NR処理部302とを備えている。
水平NR処理部301は、復号画像信号310の水平NR処理を行う部分であり、条件判定部304と、水平NR処理実行部305とを備えている。条件判定部304は、設定された閾値315に基づいて、復号画像信号310に水平NRフィルタを適用するか否かの適用条件を判定する。水平NR処理実行部305は、復号画像信号310と条件判定部304の判定結果318とに基づいて、復号画像信号310の水平NR処理を実行し、水平NR処理信号311を出力する。
垂直NR処理部302は、水平NR処理信号311の垂直NR処理を行う部分であり、条件判定部306と、垂直NR処理実行部307とを備えている。条件判定部306は、設定された閾値316に基づいて、水平NR処理信号311に垂直NRフィルタを適用するか否かの適用条件を判定する。垂直NR処理実行部307は、水平NR処理信号311と条件判定部306の判定結果319とに基づいて、水平NR処理信号311の垂直NR処理を実行し、NR処理信号312を出力する。
図22に、垂直NR処理部302で用いられる垂直NRフィルタ部の構成を説明するブロック図を示す。垂直NR処理部302は、フィルタタップ数が[3]の6つの垂直NRフィルタ部321〜326を有している。垂直NRフィルタ部321〜326には、水平NR処理信号311が入力される。より具体的には、水平NR処理信号311の水平方向同位置の8ライン分の画素値Y(y−3)〜Y(y+4)が3ラインずつ垂直NRフィルタ部321〜326に入力される。
それぞれの垂直NRフィルタ部321〜326では、入力された画素値Y(y−3)〜Y(y+4)と設定された閾値316とに基づいて、水平NR処理信号311に垂直NRフィルタを適用するか否かの判定を行い、NR処理信号312を出力する。NR処理信号312は、垂直NRフィルタ部321〜326のそれぞれから画素値Y’(y−2)〜Y’(y+3)として出力される。すなわち、それぞれの垂直NRフィルタ部321〜326は、条件判定部306と垂直NR処理実行部307として動作する。
図23を用いて、垂直NRフィルタ部321〜326におけるフィルタ適用判定について説明する。例えば、垂直NRフィルタ部323は、画素値Y(y)のフィルタ適用画素「y」に対して、画素「y−1」〜画素「y+1」の3画素を参照するフィルタタップ数[3]の垂直NRフィルタを有している。フィルタ適用画素「y」に対して、垂直NRフィルタ部323において垂直NRフィルタを適用するか否かは、フィルタ適用条件F1を用いて判定される。フィルタ適用条件F1の値が[1]の場合、画素「y−1」〜画素「y+1」に対して、フィルタ係数[1,2,1]のフィルタが適用され、画素値Y’(y)が出力される。なお、フィルタ適用条件F1中、CMP(y)は、数式F3で定義される比較関数である。さらに、THは、閾値316である。
他の垂直NRフィルタ部321,322,324〜326についても、基本的な動作は同様である。また、水平NR処理部301において用いられる水平NRフィルタ部についても、基本的な動作は同様である。
〈垂直解像度変換部303〉
ポストフィルタ部300(図21参照)から出力されたNR処理信号312は、垂直解像度変換部303に入力される。入力されたNR処理信号312は、垂直解像度変換フィルタを用いて垂直解像度変換され、表示画像信号313として出力される。垂直解像度変換部303では、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号317に基づいて選択される。
図24を用いて、垂直解像度変換部303が有する3つの解像度変換フィルタについて説明する。垂直解像度変換部303は、解像度変換フィルタ選択信号317が指定する3つの値[0]〜[2]に応じて、解像度変換フィルタを選択する。例えば、値[0]が指定される場合、NR処理信号312の解像度変換は行われず、表示画像信号313としてY”(y)=Y’(y)となる画素値Y”(y)が出力される。値[1]が指定される場合、NR処理信号312の6つの画素値Y’(y−2)〜Y’(y+3)から算出される画素値Y”(y)が出力される。ここで、値[1]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無い場合などに指定される。値[2]が指定される場合、NR処理信号312の4つの画素値Y’(y−1)〜Y’(y+2)から算出される画素値Y”(y)が出力される。ここで、値[2]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する場合などに指定される。
〈ブロックNRフィルタ〉
一方、NR効果を向上させる目的、特にブロックノイズを低減させる目的で複数のフィルタを切り換えて用いる技術が知られている(例えば、非特許文献1参照。)。
図25を用いて、非特許文献1に記載されているブロックノイズの低減を目的とするデブロックフィルタについて説明する。非特許文献1のデブロックフィルタは、画像信号の処理単位である8×8画素の画像ブロック(例えば、符号化ブロック)のブロック境界を挟む8つの画素「k+1」〜画素「k+8」(画素値Y(k+1)〜画素値Y(k+8))についてフィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)を算出する。具体的には、画素「k+1」〜画素「k+8」について、隣接画素差分を算出し、隣接画素差分を用いた条件判断でフィルタを切り換える。ここで、条件判断は、数式F5に基づいて行われる。なお、数式F5中、φ(γ)は、数式F6で定義される比較関数である。すなわち、数式F6では、隣接画素差分絶対値が閾値THR1以下であるか否かが判断される。
数式F5の値eq_cntが閾値THR2以上、かつ数式F10が真の場合、フィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)は、数式F11により算出される値となる。ここで、数式F10中、YmaxおよびYminは、それぞれ画素値Y(k+1)〜画素値Y(k+8)の最大値および最小値である。また、QPは、量子化パラメータである。さらに、数式F11中、p(k,i+j)およびbjは、数式F12および数式F13で定義される。ここで、数式F13中、「//」は、少数点以下を四捨五入する除算を示している(以下、同様)。なお、数式中、「/」は、小数点以下を切り捨てる除算を示している(以下、同様)。
一方、数式F5の値eq_cntが閾値THR2未満の場合、フィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)は、数式F15により算出される値となる。ここで、数式F15中、〈d〉は、数式F16により算出される値となる。またここで、数式F16中、a3,0’は、数式F17および数式F18に基づいて定められる値であり、CLIP(,,)は、数式F19で定められる関数である。
ISO/IEC,14496−2:2001(E),"Information technology−−Coding of audio−visual ob jects−−Part2:Visual",Second edition, 2001.12.01,P.448−450
上記説明したフィルタ装置においては、ハードウェアコスト削減、フィルタ処理の処理負荷削減が求められる。
特に、垂直NR処理をハードウェアにより実現する場合にハードウェアコストを削減すること、あるいは十分なNR効果を得るため複数のNRフィルタを切り換えて用いる場合に、ハードウェアを簡易に構成する、あるいはソフトウェアの処理を簡易にすることなどが求められる。
そこで、本発明では、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することを課題とする。
請求項1に記載のフィルタ装置は、NR処理手段と、解像度変換手段と、NR処理判定手段とを備えている。NR処理手段は、入力された入力画像信号に対して出力画像信号を出力する。解像度変換手段は、複数の解像度変換フィルタを有し、出力画像信号を参照して解像度変換を行う。NR処理判定手段は、解像度変換手段に対して、複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、NR処理手段に入力画像信号のNR処理を行わせるか否かを判定する。
NR処理とは、例えば、入力画像信号のうちNR処理の対象となる画素に対する入力画像信号の他の画素(垂直方向隣接画素あるいは水平方向隣接画素など)との平滑化処理などである(以下、この欄において同じ。)。また、解像度変換フィルタ選択信号は、例えば、入力画像信号の画像サイズや出力画像信号の表示サイズなどから必要とされる解像度変換比率に基づいて供給される信号である(以下、この欄において同じ。)。複数の解像度変換フィルタとは、例えば、解像度の変換を行わないフィルタや、出力画像信号のうち複数の画素を用いて、表示のための画素1つを出力する解像度変換フィルタなどを含んでいる(以下、この欄において同じ。)。
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常にNR処理されない状態で参照される出力画像信号に対しては、NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。
請求項2に記載のフィルタ装置は、請求項1に記載のフィルタ装置であって、NR処理判定手段は、解像度変換フィルタ選択信号が複雑な解像度変換フィルタを選択する場合には、NR処理を行わないと判定する。
複雑な解像度変換フィルタとは、例えば、出力画像信号のうち参照する画素数が多いフィルタや、変換比率が整数倍や整数分の1倍といった簡単な変換比率ではないフィルタである。複雑な解像度変換フィルタが選択されるのは、例えば、DVDソフト再生時など入力画像信号のノイズが少ない場合が多い。このため、入力画像信号にNR処理を行わないでも画質は維持される。
本発明のフィルタ装置では、画質を維持し、かつハードウェアコストを削減するフィルタ装置を提供することが可能となる。
請求項3に記載のフィルタ装置は、請求項1又は2に記載のフィルタ装置であって、NR処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同じ数の入力画像信号の画素を用いてNR処理を行う。
従来では、出力画像信号は、全てNR処理された信号である。このため、出力画像信号を得るため用いられる入力画像信号の画素数は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数よりも多くなる。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられる入力画像信号の画素数を削減することが可能となる。すなわち、NR処理に必要な入力画像信号を供給するためのメモリおよびメモリより画像信号を取得する信号線を削減することが可能となる。
請求項4に記載のフィルタ装置は、請求項1〜3のいずれかに記載のフィルタ装置であって、NR処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数より少ない個数のNRフィルタ手段を有している。
ここで、NRフィルタ手段とは、例えば、1つのNRフィルタにより、あるいは複数のNRフィルタを切り換えて入力画像信号にNR処理を行うものであってもよい。
従来では、出力画像信号は、全てNR処理された信号である。このため、出力画像信号を得るため用いられるNRフィルタは、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同数となる。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられるNRフィルタの個数を削減することが可能となる。
請求項5に記載のフィルタ装置は、請求項1〜4のいずれかに記載のフィルタ装置であって、NR処理手段は、入力画像信号の垂直方向のNR処理を行い、解像度変換手段は、出力画像信号の垂直方向の解像度変換を行う。
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常に垂直NR処理されない状態で参照される出力画像信号に対しては、垂直NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。例えば、NR処理に必要な入力画像信号を供給するためのラインメモリおよびラインメモリから画像信号を取得する信号線を削減することが可能となる。
請求項6に記載のフィルタリング方法は、入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法であって、NR処理判定ステップと、NR処理ステップとを備えている。NR処理判定ステップは、出力画像信号の解像度変換を行う解像度変換フィルタを複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、入力画像信号のNR処理を行うか否かを判定する。NR処理ステップは、NR処理判定ステップの判定結果に基づいて、入力画像信号のNR処理を行う。
本発明のフィルタリング方法では、解像度変換フィルタに参照される出力画像信号のうち、常にNR処理されない状態で参照される出力画像信号に対しては、NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。また、フィルタリング方法をソフトウェアで実現する場合にも、ソフトウェアによる処理負荷が軽減される。
請求項7に記載のフィルタリングプログラムは、入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法を行うためのフィルタリングプログラムであって、コンピュータに、NR処理判定ステップと、NR処理ステップとを備えるフィルタリング方法を行わせるものである。NR処理判定ステップは、出力画像信号の解像度変換を行う解像度変換フィルタを複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、入力画像信号のNR処理を行うか否かを判定する。NR処理ステップは、NR処理判定ステップの判定結果に基づいて、入力画像信号のNR処理を行う。
本発明のフィルタリングプログラムでは、解像度変換フィルタに参照される出力画像信号のうち、常にNR処理されない状態で参照される出力画像信号に対しては、NR処理を行うための手段を設ける必要がなく、ソフトウェアによる処理負荷が軽減される。
請求項8に記載のフィルタ装置は、NR処理実行手段と、NRフィルタ選択手段とを備えている。NR処理実行手段は、複数のNRフィルタを有する。NRフィルタ選択手段は、複数のNRフィルタのそれぞれに対し、NRフィルタの参照する参照画素範囲に応じて定められた範囲の画素を用いて画像特徴量を算出し、この各画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、NR処理実行手段の複数のNRフィルタの中から1つを選択する。
画像特徴量とは、垂直あるいは水平方向の隣接画素の画素値に基づいて定められる値であり、さらに言えば、隣接画素間の差分に基づいて定められる値である。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される(以下、この欄において同じ。)。
本発明のフィルタ装置では、NRフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、NRフィルタの選択に際しての処理が簡易化される。すなわち、NRフィルタの選択に際しての処理を実現するハードウェアコストを削減することが可能となる。
請求項9に記載のフィルタ装置は、請求項8に記載のフィルタ装置であって、各画像特徴量は、対応する各NRフィルタの参照画素範囲の画素を用いて算出される。
本発明のフィルタ装置では、画像特徴量の算出に必要な画素と複数のNRフィルタのそれぞれが参照する画素とを共通化することが可能となる。このため、これらの画素を記憶あるいは取得するためのハードウェアを共通化することが可能となる。
請求項10に記載のフィルタ装置は、請求項8又は9に記載のフィルタ装置であって、複数のNRフィルタのそれぞれの参照画素範囲の大きさは、フィルタ強度の大きさに伴って単調増加し、複数のNRフィルタのそれぞれに対して設定された閾値の大きさは、フィルタ強度が大きいNRフィルタほど、NRフィルタ選択手段により選択されにくくなるように決定されている。
ここで、フィルタ強度とは、ノイズ低減の度合いを意味しており、フィルタ強度が大きくなるにつれて、画素がより平滑化される。
本発明のフィルタ装置では、画像の平坦度が大きいほど強いフィルタを適用することが可能となる。このため、適切なNR効果を得ることが可能となる。
請求項11に記載のフィルタ装置は、請求項8〜10のいずれかに記載のフィルタ装置であって、NRフィルタ選択手段は、複数のNRフィルタの中から参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタを優先的に選択する。
本発明のフィルタ装置では、よりNR効果の高いフィルタを優先的に適用することが可能となる。
請求項12に記載のフィルタ装置は、請求項8〜11のいずれかに記載のフィルタ装置であって、複数のNRフィルタは、それぞれのフィルタ係数の和が等しい。
本発明のフィルタ装置では、複数のNRフィルタのフィルタ係数適用後の除算処理を共通化することが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
請求項13に記載のフィルタ装置は、請求項8〜12のいずれかに記載のフィルタ装置であって、NRフィルタ選択手段は、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
ここで、ブロック境界とは、例えば、入力画像信号が符号化されていた際の符号化ブロックなどの境界である。
本発明のフィルタ装置では、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、NRフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。また、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合には、フィルタを適用する画素がブロック境界から離れていても、NRフィルタをより適用しやすくすることが可能である。このため、平坦な領域に生じるブロックノイズを効果的に低減することが可能となる。
請求項14に記載のフィルタ装置は、請求項8〜13のいずれかに記載のフィルタ装置であって、複数のNRフィルタは、NR処理の対象となる画素がブロック境界の近傍に位置する場合にのみ適用されるブロック境界用のNRフィルタを含んでいる。
本発明のフィルタ装置では、ブロック境界の画素に対して、よりフィルタ強度の強いNRフィルタを適用することが可能となる。このため、より適切にブロックノイズの低減を行うことが可能となる。
請求項15に記載のフィルタ装置は、請求項14に記載のフィルタ装置であって、複数のNRフィルタは、NR処理の対象となる画素がブロック境界の近傍に位置しない場合にのみ適用される非ブロック境界用のNRフィルタをさらに含んでいる。
本発明のフィルタ装置では、より適切なNRフィルタを適用することが可能となる。より具体的には、非ブロック境界用のNRフィルタ、例えば、モスキートノイズを低減するフィルタなどを必要に応じて用いることが可能となる。
請求項16に記載のフィルタリング方法は、NRフィルタ選択ステップと、NR処理実行ステップとを備えている。NRフィルタ選択ステップは、複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のNRフィルタの中から1つを選択する。NR処理実行ステップは、選択されたNRフィルタを用いて、画像信号のNR処理を行う。
本発明のフィルタリング方法では、NRフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、NRフィルタの選択に際しての処理が簡易化される。すなわち、NRフィルタの選択に際しての処理を実現するハードウェアコストを削減する、あるいはNRフィルタの選択に際してのソフトウェアの処理負荷を低減することが可能となる。
請求項17に記載のフィルタリング方法は、請求項16に記載のフィルタリング方法であって、NRフィルタ選択ステップは、複数のNRフィルタの中から参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う。
本発明のフィルタリング方法では、よりNR効果の高いフィルタを優先的に適用することが可能となる。
請求項18に記載のフィルタリング方法は、請求項16又は17に記載のフィルタリング方法であって、NRフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
本発明のフィルタリング方法では、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、NRフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。
請求項19に記載のフィルタリングプログラムは、複数のNRフィルタの中から選択された1つのNRフィルタを用いて、画像信号のNR処理を行うためのフィルタリングプログラムであって、コンピュータに、NRフィルタ選択ステップと、NR処理実行ステップとを備えるフィルタリング方法を行わせるものである。NRフィルタ選択ステップは、複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のNRフィルタの中から1つを選択する。NR処理実行ステップは、選択されたNRフィルタを用いて、画像信号のNR処理を行う。
本発明のフィルタリングプログラムでは、NRフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、NRフィルタの選択に際しての処理が簡易化される。すなわち、NRフィルタの選択に際してのソフトウェアの処理負荷を低減することが可能となる。
請求項20に記載のフィルタリングプログラムは、請求項19に記載のフィルタリングプログラムであって、NRフィルタ選択ステップは、複数のNRフィルタの中から参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う。
本発明のフィルタリングプログラムでは、よりNR効果の高いフィルタを優先的に適用することが可能となる。
請求項21に記載のフィルタリングプログラムは、請求項19又は20に記載のフィルタリングプログラムであって、NRフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
本発明のフィルタリングプログラムでは、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、NRフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。
本発明では、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することが可能となる。
[第1実施形態]
図1〜図4を用いて、本発明の第1実施形態としてのフィルタ装置10について説明する。図1に示すフィルタ装置10は、垂直NR処理を行うか否かを垂直解像度変換フィルタの選択信号に基づいて判断する点に特徴を有している。
〈フィルタ装置10の構成〉
フィルタ装置10は、復号画像信号25に対して水平・垂直NR処理を行いNR処理信号27を出力するポストフィルタ部11と、NR処理信号27の垂直解像度変換を行い表示画像信号28を出力する垂直解像度変換部12と、ポストフィルタ部11に垂直NR処理を行わせるか否かを判定する垂直NR処理判定部20とを備えている。
ポストフィルタ部11は、復号画像信号25を入力とし水平NR処理信号26を出力とする水平NR処理部13と、水平NR処理信号26を入力としNR処理信号27を出力とする垂直NR処理部14とを備えている。
水平NR処理部13は、復号画像信号25の水平NR処理を行う部分であり、条件判定部15と、水平NR処理実行部16とを備えている。条件判定部15は、復号画像信号25を第1の入力、設定された閾値30を第2の入力とし、復号画像信号25に水平NRフィルタを適用するか否かの判定結果37を出力する。水平NR処理実行部16は、復号画像信号25を第1の入力、判定結果37を第2の入力とし、復号画像信号25に判定結果37に応じた水平NR処理を施した水平NR処理信号26を出力する。
垂直NR処理部14は、水平NR処理信号26の垂直NR処理を行う部分であり、条件判定部17と、垂直NR処理実行部18とを備えている。条件判定部17は、水平NR処理信号26を第1の入力、設定された閾値31を第2の入力、垂直NR処理判定部20の判定結果33を第3の入力とし、水平NR処理信号26に垂直NRフィルタを適用するか否かの判定結果38を出力する。垂直NR処理実行部18は、水平NR処理信号26を第1の入力、判定結果38を第2の入力とし、水平NR処理信号26に判定結果38に応じた垂直NR処理を施したNR処理信号27を出力する。
垂直解像度変換部12は、NR処理信号27を第1の入力、解像度変換フィルタ選択信号32を第2の入力とし、NR処理信号27に解像度変換フィルタ選択信号32に応じた解像度変換処理を施した表示画像信号28を出力する。
垂直NR処理判定部20は、解像度変換フィルタ選択信号32を入力とし、ポストフィルタ部11に垂直NR処理を行わせるか否かの判定結果33を出力する。
〈フィルタ装置10の動作〉
水平NR処理部13は、復号画像信号25の水平NR処理を行う。条件判定部15は、設定された閾値30に基づいて、復号画像信号25に水平NRフィルタを適用するか否かの適用条件を判定する。水平NR処理実行部16は、復号画像信号25と条件判定部15の判定結果とに基づいて、復号画像信号25の水平NR処理を実行し、水平NR処理信号26を出力する。
垂直NR処理部14は、水平NR処理信号26の垂直NR処理を行う。条件判定部17は、設定された閾値31と垂直NR処理判定部20の判定結果33とに基づいて、水平NR処理信号26に垂直NRフィルタを適用するか否かの適用条件を判定する。垂直NR処理実行部18は、水平NR処理信号26と条件判定部17の判定結果とに基づいて、水平NR処理信号26の垂直NR処理を実行し、NR処理信号27を出力する。
図2に、垂直NR処理部14で用いられる垂直NRフィルタ部の構成を説明するブロック図を示す。垂直NR処理部14には、水平NR処理信号26が入力される。水平NR処理信号26は、水平NR処理信号26をライン毎に記憶するラインメモリ(図示せず)から、水平方向同位置の6ライン分の画素値Y(y−2)〜画素値Y(y+3)として入力される。なお、ラインメモリ(図示せず)は、水平NR処理信号26を記憶する代わりに復号画像信号25を記憶し、水平NR処理信号26はラインメモリ(図示せず)を介さずに垂直NR処理部へ入力されてもよい。さらに、ラインメモリ(図示せず)の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ(図示せず)を用いても良い。
垂直NR処理部14は、4つの垂直NRフィルタ部41〜44を有している。それぞれの垂直NRフィルタ部41〜44は、フィルタタップ数[3]の垂直NRフィルタを有しており、画素値Y(y−2)〜画素値Y(y+3)のラインが3ラインずつ入力される。
垂直NRフィルタ部41〜44は、入力された画素値Y(y−2)〜画素値Y(y+3)と、設定された閾値31と、垂直NR処理判定部20の判定結果33とに基づいて、フィルタ処理を実行し、フィルタ処理後の画素値Y’(y−1)〜Y’(y+2)をNR処理信号27として出力する。
具体的には、垂直NR処理判定部20の判定結果33が垂直NRフィルタを適用しない(フィルタスルー)と判定する場合、Y’(y)=Y(y)となる画素値Y’(y)が垂直NRフィルタ部41〜44から出力される。一方、判定結果33が垂直NRフィルタを適用すると判定する場合、それぞれの垂直NRフィルタ部41〜44は、図23に示して説明したのと同様にフィルタ処理を実行する。例えば、垂直NRフィルタ部42は、画素値Y(y)のフィルタ適用画素「y」に対して、画素「y−1」〜画素「y+1」の3画素を参照するフィルタタップ数[3]の垂直NRフィルタを有している。フィルタ適用画素「y」に対して、垂直NRフィルタを適用するか否かは、図23に示すフィルタ適用条件F1を用いて判定される。
図23に示すフィルタ適用条件F1は、定数パラメータTH_d、比較関数CMP(y)の関数である。フィルタ適用条件F1は、画像特徴量F2や定数パラメータなどに基づいて、フィルタ適用画素「y」が画像中の平坦な領域に含まれると判断される場合に、フィルタの適用を示す値(例えば、値[1])を出力する関数である。より具体的には、比較関数CMP(y−1)とCMP(y)との値の四則演算、あるいはその他の演算の結果を閾値TH_dと比較することにより、フィルタの適用を示す値を出力する。なお、フィルタ適用条件F1では、比較関数CMP(y−1)とCMP(y)との値の四則演算、あるいはその他の演算の結果が特定の値となる場合にフィルタの適用を示すとしてもよい。
ここで画像特徴量は、例えば、フィルタ適用画素「y」の平坦度を示す値であり、隣接画素間の差分に基づいて定められる値である。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される。さらに、比較関数CMP(y)は、閾値と画像特徴量との比較を行い、比較結果を示す値を出力する。CMP(y)は、例えば、閾値の方が大きい場合に、値[1]を出力する。
フィルタ適用条件F1の値が[1]の場合、画素「y−1」〜画素「y+1」に対して、フィルタ係数[1,2,1]のフィルタが適用され、画素値Y’(y)が出力される。すなわち、それぞれの垂直NRフィルタ部41〜44は、条件判定部17と垂直NR処理実行部18として動作する。
一方、垂直NR処理部14に入力された水平NR処理信号26のうち、画素値Y(y−2)と画素値Y(y+3)とは、そのままNR処理信号27として出力される。
垂直解像度変換部12は、ポストフィルタ部11から出力されたNR処理信号27を垂直解像度変換し、表示画像信号28を出力する。垂直解像度変換部12は、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号32に基づいて選択される。解像度変換フィルタ選択信号32とそれぞれの垂直解像度変換フィルタの動作とは、図24を用いて説明したのと同様である。すなわち、垂直解像度変換部12は、解像度変換フィルタ選択信号32が指定する3つの値[0]〜[2]に応じて、解像度変換フィルタを選択する。例えば、値[0]が指定される場合、解像度変換は行われず、表示画像信号28としてY”(y)=Y’(y)となる画素値Y”(y)が出力される。値[1]が指定される場合、6つの画素値Y(y−2),Y’(y−1)〜Y’(y+2),Y(y+3)から算出される画素値Y”(y)が出力される。ここで、値[1]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無く、フィルタタップ数が多い場合、もしくは、簡易な変換比率を有する変換であるが、高画質化のためタップ数の多いフィルタを用いる場合などに指定される。値[2]が指定される場合、4つの画素値Y’(y−1)〜Y’(y+2)から算出される画素値Y”(y)が出力される。ここで、値[2]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有し、フィルタタップ数が少ない場合などに指定される。
ここで、解像度変換フィルタ選択信号32は、復号画像信号25(図1参照)の復号化を行った復号化装置などから取得される。より具体的には、復号化装置が復号画像信号25を復号化する際に、復号画像信号25の画像サイズ、アスペクト比などから解像度の変換比率が判断され、これに基づいて解像度変換フィルタ選択信号32が供給される。
垂直NR処理判定部20は、解像度変換フィルタ選択信号32に基づいて、垂直NRフィルタを適用するか否かの判定を行う。図3に、解像度変換フィルタ選択信号32と垂直NR処理判定部20の判定結果33との関係を示す。解像度変換フィルタ選択信号32が値[1]を示す場合には、垂直NR処理判定部20は、垂直NRフィルタを適用しない(フィルタスルー)と判定し、判定結果33として値[1]を出力する(図3(a)参照)。解像度変換フィルタ選択信号32が値[0]または値[2]を示す場合には、垂直NR処理判定部20は、垂直NRフィルタを適用すると判定し、判定結果33として値[0]を出力する(図3(b)参照)。
なお、解像度変換フィルタ選択信号、判定結果、フィルタ適用条件F1などの値は、上記したものに限定されるものではない。
〈フィルタリング方法〉
図4に、フィルタ装置10におけるフィルタリング方法、特に垂直NR処理判定部20と垂直NR処理部14とにおけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、垂直NRフィルタ部41〜44から出力されるNR処理信号27の画素を単位とする処理である(ステップS11〜S14)。垂直NR処理判定部20は、解像度変換フィルタ選択信号32を取得し(ステップS11)、垂直NR処理部14に垂直NR処理を行わせるか否かの判定を行う(ステップS12)。垂直NR処理部14は、判定結果33が値[0]を示す場合(ステップS13)、水平NR処理信号26の垂直NR処理を実行する(ステップS14)。一方、垂直NR処理部14は、判定結果33が値[1]を示す場合(ステップS13)、水平NR処理信号26の垂直NR処理を行わず、次のフィルタ適用画素についての処理(ステップS11〜S14)を開始する。
以上のフィルタリング方法は、フィルタ装置10のみでなく、コンピュータを用いてプログラムとして実現することも可能である。
〈第1実施形態の効果〉
(1)
垂直解像度変換部12に参照されるNR処理信号27のうち、常に垂直NR処理されない状態で参照されるY(y−2)およびY(y+3)に対しては、垂直NRフィルタ部を設ける必要がない。すなわち、従来の垂直NR処理部302(図22参照)に比して、ハードウェアコストを削減することが可能となる。
(2)
垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無い場合などには、タップ数の多い、複雑な解像度変換フィルタが選択される。ここで、アスペクト比4:3からアスペクト比16:9の変換など複雑な変換比率が必要となるのは、DVDソフト再生時などというように復号画像信号25のノイズが少ない場合が多い。このため、水平NR処理信号26に垂直NR処理を行わないでも表示画像信号28の画質の維持が可能となる。
(3)
従来の垂直NR処理部302では、NR処理信号312は、全て垂直NR処理される可能性のある信号である。このため、例えば、6ライン分のNR処理信号312を出力するために8ライン分の水平NR処理信号311を必要とする(図22参照)。すなわち、NR処理信号312を得るために必要な水平NR処理信号311のライン数は、NR処理信号312のライン数よりも多くなる。
一方、本発明の垂直NR処理部14では、NR処理信号27の一部(図2の画素値Y(y−2)およびY(y+3))は、常に水平NR処理信号26の一部をそのまま出力した信号である。このため、従来と同じく6ライン分のNR処理信号27を得るためには、6ライン分の水平NR処理信号26を必要とする。すなわち、NR処理信号27を得るために必要な水平NR処理信号26のライン数は、NR処理信号27のライン数と同じライン数であり、従来と同じ本数のNR処理信号27を得るために用いられる水平NR処理信号26のライン数を削減することが可能となる。この結果、垂直NR処理に必要な水平NR処理信号26を得るためのラインメモリの個数を削減することが可能となる。
(4)
従来の垂直NR処理部302では、NR処理信号312は、全て垂直NR処理される可能性のある信号である。このため、NR処理信号を得るために用いられる垂直NRフィルタ部の個数は、NR処理信号312の本数、すなわち垂直解像度変換部303が垂直解像度変換に用いるNR処理信号312のライン数の最大値と同数となる。
一方、本発明の垂直NR処理部14では、NR処理信号27の一部は、常に水平NR処理信号26をそのまま出力したものである。このため、従来と同じく6ライン分のNR処理信号27を得るために必要な垂直NRフィルタ部の個数は4つであり、垂直NRフィルタ部の個数を削減することが可能となる。
〈変形例〉
(1)
垂直NR処理部14は、垂直NRフィルタ部41〜44に代えて、1つの垂直NRフィルタ部を用いて複数回のNR処理を行うものであってもよい。
この場合には、NR処理の処理量を削減することが可能となる。
(2)
条件判定部17は、復号画像信号25を用いて条件判定を行うものであってもよい。この場合、水平NR処理の完了前に、水平NR処理と並行して条件判定部17が動作可能となり、フィルタ装置10全体の処理速度を向上させることが可能となる。
(3)
上記実施形態で記載したのと同様の構成を水平NR処理部13に対して適用することも可能である。
[第2実施形態]
フィルタ装置が備える水平・垂直NRフィルタは、複数のフィルタ候補の中から1つのフィルタを選択して適用されるものであってもよい。このNRフィルタについて、図5〜図13を用いて説明する。
〈フィルタ装置50の構成〉
図5に、複数のフィルタ候補の中から1つのフィルタを選択して適用される水平・垂直NRフィルタを備えるフィルタ装置50を示す。
フィルタ装置50は、復号画像信号65に対して水平・垂直NR処理を行いNR処理信号67を出力するポストフィルタ部51と、NR処理信号67の垂直解像度変換を行い表示画像信号68を出力する垂直解像度変換部52とを備えている。
ポストフィルタ部51は、復号画像信号65を入力とし水平NR処理信号66を出力とする水平NR処理部53と、水平NR処理信号66を入力としNR処理信号67を出力とする垂直NR処理部54とを備えている。
水平NR処理部53は、復号画像信号65の水平NR処理を行う部分であり、条件判定部55と、水平NR処理実行部56とを備えている。条件判定部55は、復号画像信号65を第1の入力、設定された閾値70を第2の入力とし、復号画像信号65に適用する水平NRフィルタを選択し、選択結果74を出力する。水平NR処理実行部56は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74に応じた水平NR処理を施した水平NR処理信号66を出力する。
垂直NR処理部54は、水平NR処理信号66の垂直NR処理を行う部分であり、条件判定部57と、垂直NR処理実行部58とを備えている。条件判定部57は、水平NR処理信号66を第1の入力、設定された閾値71を第2の入力とし、水平NR処理信号66に適用する垂直NRフィルタを選択し、選択結果75を出力する。垂直NR処理実行部58は、水平NR処理信号66を第1の入力、選択結果75を第2の入力とし、水平NR処理信号66に選択結果75に応じた垂直NR処理を施したNR処理信号67を出力する。
垂直解像度変換部52は、NR処理信号67を第1の入力、解像度変換フィルタ選択信号72を第2の入力とし、NR処理信号67に解像度変換フィルタ選択信号72に応じた解像度変換処理を施した表示画像信号68を出力する。
〈NRフィルタおよびNRフィルタ選択〉
水平NR処理部53および垂直NR処理部54が備えるNRフィルタおよびNRフィルタの選択について説明する。本発明では、水平NR処理部53および垂直NR処理部54は、複数のNRフィルタ候補を備え、複数のNRフィルタ候補の中から一つのNRフィルタを選択してフィルタ適用画素に対するNR処理を行う。
複数のフィルタ候補FH1〜FH3,・・・に対しては、それぞれフィルタタップ数FH1tap〜FH3tap,・・・、およびフィルタ適用の閾値TH1〜TH3,・・・が定められている。ここで、フィルタ候補FHkのフィルタ強度は、kの値が大きくなるほど弱いものとする。また、フィルタタップ数FHktapの大きさは、kに関して単調減少するものとし、閾値THkおよび閾値TH_dkの大きさは、それぞれkに関して単調増加するものとする。ここで、閾値THkおよび閾値TH_dkは、それぞれ値が大きいほどNRフィルタの適用を行うと判定されやすいとする。すなわち、より大きいkの値を有するフィルタ候補ほどNRフィルタの適用を行うと判定されやすくなる。
図6に、画素値Y(x)のフィルタ適用画素「x」に対して、フィルタFHkを適用するか否かを判定するフィルタ適用条件F30を示す。フィルタ適用条件F30は、定数パラメータTH_dk、比較関数CMPk(x)(数式F32参照)の関数である。フィルタ適用条件F30は、画像特徴量DIFF(x)や定数パラメータTHkなどに基づいて、フィルタ適用画素「x」が画像中の平坦な領域に含まれると判断される場合に、フィルタの適用を示す値(例えば、値[1])を出力する関数である。より具体的には、比較関数CMPk(x)のそれぞれの値の四則演算、あるいはその他の演算の結果を閾値TH_dkと比較することにより、フィルタの適用を示す値を出力する。なお、フィルタ適用条件F30では、比較関数CMPk(x)のそれぞれの値の四則演算、あるいはその他の演算の結果が特定の値となる場合にフィルタの適用を示すとしてもよい。
ここで画像特徴量DIFF(x)は、数式F31で定義される値であり、例えば、フィルタ適用画素「x」の平坦度を示す。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される。さらに、THk,TH_dkは、フィルタ候補毎の閾値である。比較関数CMPk(x)は、閾値と画像特徴量との比較を行い、比較結果を示す値を出力する。CMPk(x)は、例えば、閾値の方が大きい場合に、値[1]を出力する。
フィルタ適用条件F30の値が[1]の場合、フィルタ適用画素「x」に対して、フィルタFHkが適用される。さらに、フィルタ適用条件F30の値が[1]となるフィルタFHkが複数ある場合、kの値の小さいもの、即ちフィルタ強度の強いものあるいはフィルタタップ数の多いものが優先的に選択される。
〈水平NR処理部53の構成〉
図7〜図9を用いて、図6のNRフィルタおよびNRフィルタ選択を実現する具体的なハードウェアの構成について説明する。水平NR処理部53では、画素単位で順次入力される復号画像信号65に対して、NRフィルタの選択とNR処理の実行とを行う。
図7に、水平NR処理部53において切り換えて適用される3つの水平NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数および閾値を示す。水平NRフィルタFH1は、フィルタタップ数FH1tap=[7]、フィルタ係数[1,1,1,2,1,1,1]、閾値TH1=[8]の水平NRフィルタである。水平NRフィルタFH2は、フィルタタップ数FH2tap=[5]、フィルタ係数[1,1,4,1,1]、閾値TH2=[16]の水平NRフィルタである。水平NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[2,4,2]、閾値TH3=[32]の水平NRフィルタである。
図8に、条件判定部55のハードウェア構成図を示す。条件判定部55は、復号画像信号65を第1の入力、設定された閾値70(TH1〜TH3)を第2の入力とし、復号画像信号65に適用する水平NRフィルタFH1〜FH3を選択し、選択結果74を出力する。条件判定部55は、1画素分の遅延器80a〜80fと、隣接する画素の画素値に基づいて画像特徴量を計算する演算器81a〜81fと、数式F32で定義される比較関数CMPk(x)を実現する比較器82a〜82lと、フィルタ適用条件F30を実現する判定器83a〜83cと、フィルタ適用条件F30を満たす水平NRフィルタFHkからフィルタ処理に適用される水平NRフィルタ1つを選択するアンドゲート83d,83eとから構成される。
遅延器80a〜80fは、復号画像信号65に対して直列に接続される1画素分の遅延器であり、復号画像信号65として入力される画素値Y(x+3)に対して、過去6画素分の画素値Y(x+2)〜画素値Y(x−3)を出力する。
演算器81a〜81fは、それぞれの遅延器80a〜80fの入力と出力とから画像特徴量を計算する。すなわち、演算器81a〜81fは、画素値Y(x+3)〜画素値Y(x−3)のそれぞれに対して、数式F31で定義される画像特徴量DIFF(x+2)〜DIFF(x−3)を計算する。
比較器82a〜82fは、画像特徴量DIFF(x+2)〜DIFF(x−3)を第1の入力、水平NRフィルタFH1の閾値TH1を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+2)〜DIFF(x−3)と水平NRフィルタFH1の閾値TH1との比較を行い、比較結果を判定器83aに出力する。比較器82g〜82jは、画像特徴量DIFF(x+1)〜DIFF(x−2)を第1の入力、水平NRフィルタFH2の閾値TH2を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+1)〜DIFF(x−2)と水平NRフィルタFH2の閾値TH2との比較を行い、比較結果を判定器83bに出力する。比較器82k,82lは、画像特徴量DIFF(x),DIFF(x−1)を第1の入力、水平NRフィルタFH3の閾値TH3を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x),DIFF(x−1)と水平NRフィルタFH3の閾値TH3との比較を行い、比較結果を判定器83cに出力する。
判定器83aは、比較器82a〜82fのそれぞれの出力と、それらの出力に対する閾値TH_d1とを入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「x+3」〜画素「x−3」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH1がフィルタ適用条件F30を満たすことを示す。判定器83bは、比較器82g〜82jのそれぞれの出力と、それらの出力に対する閾値TH_d2とを入力とし、フィルタ適用条件F30を演算する。具体的には、画素「x+2」〜画素「x−2」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH2がフィルタ適用条件F30を満たすことを示す。判定器83cは、比較器82k,82lのそれぞれの出力と、それらの出力に対する閾値TH_d3とを入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「x+1」〜画素「x−1」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH3がフィルタ適用条件F30を満たすことを示す。
ここで、判定器83aの出力は、選択結果74として水平NR処理実行部56に出力される。すなわち、判定器83aの出力が値[1]を出力する場合、フィルタ適用画素「x」に水平NRフィルタFH1が適用されることを示す。判定器83bの出力は、アンドゲート83dに入力される。アンドゲート83dは、判定器83aの出力値の否定を第1の入力、判定器83bの出力値を第2の入力とし、選択結果74を出力する。すなわち判定器83aの出力が値[0]を示し、かつ、判定器83bの出力が値[1]を示す場合に、アンドゲート83dは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH2が適用されることを示す。判定器83cの出力は、アンドゲート83eに入力される。アンドゲート83eは、判定器83aの出力値の否定を第1の入力、判定器83bの出力値の否定を第2の入力、判定器83cの出力値を第3の入力とし、選択結果74を出力する。すなわち判定器83aおよび83bの出力が値[0]を示し、かつ、判定器83cの出力が値[1]を示す場合に、アンドゲート83eは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH3が適用されることを示す。以上のように、選択結果74は、水平NRフィルタFH1〜FH3のそれぞれについて、適用および非適用を示す値を出力する。
図9に、水平NR処理実行部56のハードウェア構成図を示す。水平NR処理実行部56は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74に応じた水平NR処理を施した水平NR処理信号66を出力する。水平NR処理実行部56は、1画素分の遅延器85a〜85fと、信号の加算処理を行う加算器87a〜87fと、フィルタ係数の乗算処理を行う乗算器88a〜88dと、フィルタ係数を指定するスイッチ86a〜86dと、フィルタ係数と復号画像信号65との積和値に対し除算処理を行う除算器90とから構成される。
遅延器85a〜85fは、復号画像信号65に対して直列に接続される1画素分の遅延器であり、復号画像信号65として入力される画素値Y(x+3)に対して、過去6画素分の画素値Y(x+2)〜画素値Y(x−3)を出力する。加算器87a〜87cは、いずれの水平NRフィルタFH1〜FH3を用いた場合であっても乗算されるフィルタ係数の等しい画素値について加算処理を行う。加算器87aでは、画素値Y(x+3)と画素値Y(x−3)とが加算される。加算器87bでは、画素値Y(x+2)と画素値Y(x−2)とが加算される。加算器87cでは、画素値Y(x+1)と画素値Y(x−1)とが加算される。
乗算器88a〜88dは、加算器87a〜87cおよび遅延器85cの出力に対して、条件判定部55の選択結果74が示す水平NRフィルタのフィルタ係数をそれぞれ乗算する。乗算器88aは、加算器87aの出力を第1の入力、スイッチ86aの出力を第2の入力とし、それぞれの入力を乗算する。乗算器88bは、加算器87bの出力を第1の入力、スイッチ86bの出力を第2の入力とし、それぞれの入力を乗算する。乗算器88cは、加算器87cの出力を第1の入力、スイッチ86cの出力を第2の入力とし、それぞれの入力を乗算する。乗算器88cは、遅延器85cの出力(画素値Y(x))を第1の入力、スイッチ86dの出力を第2の入力とし、それぞれの入力を乗算する。
スイッチ86a〜86dは、条件判定部55の選択結果74に応じて動作するスイッチであり、スイッチの動作により、加算器87a〜87cおよび遅延器85cの出力に乗じるフィルタ係数を指定する。スイッチ86a〜86dは、水平NRフィルタFH1が適用される場合には、上段のフィルタ係数を指定し、水平NRフィルタFH2が適用される場合には、中段のフィルタ係数を指定し、水平NRフィルタFH3が適用される場合には、下段のフィルタ係数を指定する。
加算器87d〜87fは、乗算器88a〜88dの出力をすべて加算する。加算結果は、除算器90において、フィルタ係数の和で除算される。ここで、フィルタ係数の和は、水平NRフィルタFH1〜FH3のいずれが選択された場合であっても値[8]となるよう設定されている。このため、除算器90では、3ビットのシフト演算により除算処理を行うことができる。除算器90の除算結果は、水平NR処理信号66として出力される。
〈垂直NR処理部54の構成〉
図10〜図12を用いて、図6のNRフィルタおよびNRフィルタ選択を実現する具体的なハードウェアの構成について説明する。垂直NR処理部54では、水平NR処理部53から画素単位で出力される水平NR処理信号66を図示しないラインメモリにライン毎に記憶し、記憶されたラインに含まれるフィルタ適用画素に対して、NRフィルタの選択とNR処理の実行とを行う。なお、ラインメモリ(図示せず)は、水平NR処理信号26を記憶する代わりに復号画像信号25を記憶し、水平NR処理信号26はラインメモリ(図示せず)を介さずに垂直NR処理部へ入力されてもよい。さらに、ラインメモリ(図示せず)の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ(図示せず)を用いても良い。
垂直NR処理部54は、複数の垂直NRフィルタ部を備えている。垂直NR処理部54が備える垂直NRフィルタ部の個数は、垂直解像度変換部52が垂直解像度変換処理に用いる垂直NR処理後のライン数に依存する。例えば、垂直解像度変換部52が図22の垂直解像度変換部303と同様に最大6ラインの垂直NR処理後のラインを必要とする場合、垂直NRフィルタ部の個数は6となる。
以下、画素値Y(y)のフィルタ適用画素「y」に対する垂直NRフィルタ部について説明する。他の垂直NRフィルタ部については、同様であるため説明を省略する。
図10に、垂直NR処理部54において切り換えて適用される3つの垂直NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数および閾値を示す。垂直NRフィルタFH1は、フィルタタップ数FH1tap=[3]、フィルタ係数[3,2,3]、閾値TH1=[8]の垂直NRフィルタである。垂直NRフィルタFH2は、フィルタタップ数FH2tap=[3]、フィルタ係数[2,4,2]、閾値TH2=[16]の垂直NRフィルタである。垂直NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[1,6,1]、閾値TH3=[32]の垂直NRフィルタである。
図11に、条件判定部57のハードウェア構成図を示す。条件判定部57は、ライン単位で記憶された水平NR処理信号66を第1の入力、設定された閾値71(TH1〜TH3)を第2の入力とし、水平NR処理信号66に適用する垂直NRフィルタFH1〜FH3を選択し、選択結果75を出力する。第1の入力であるライン単位で記憶された水平NR処理信号66は、図示しない3つのラインメモリに記憶された水平方向同位置の画素値Y(y−1)〜Y(y+1)である。
条件判定部57は、数式F31で定義される画像特徴量を計算する演算器93a,93bと、数式F32で定義される比較関数CMPk(x)を実現する比較器94a〜94fと、フィルタ適用条件F30を実現する判定器95a〜95cと、フィルタ適用条件F30を満たす垂直NRフィルタFHkからフィルタ処理に適用される垂直NRフィルタ1つを選択するアンドゲート95d,95eとから構成される。
演算器93a,93bは、フィルタ適用画素「y」と垂直方向に隣り合う画素「y−1」および「y+1」とから画像特徴量を計算する。すなわち、演算器93a,93bは、画素値Y(y−1)〜画素値Y(y+1)のそれぞれに対して、数式F31で定義される画像特徴量DIFF(y−1)およびDIFF(y)を計算する。
比較器94a,94bは、画像特徴量DIFF(y−1),DIFF(y)を第1の入力、垂直NRフィルタFH1の閾値TH1を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(y−1),DIFF(y)と垂直NRフィルタFH1の閾値TH1との比較を行い、比較結果を判定器95aに出力する。比較器94c,94dは、画像特徴量DIFF(y−1),DIFF(y)を第1の入力、垂直NRフィルタFH2の閾値TH2を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(y−1),DIFF(y)と垂直NRフィルタFH2の閾値TH2との比較を行い、比較結果を判定器95bに出力する。比較器94e,94fは、画像特徴量DIFF(y−1),DIFF(y)を第1の入力、垂直NRフィルタFH3の閾値TH3を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(y−1),DIFF(y)と垂直NRフィルタFH3の閾値TH3との比較を行い、比較結果を判定器95cに出力する。
判定器95aは、比較器94a,94bのそれぞれの出力と、それらの出力に対する閾値TH_d1を入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「y−1」〜画素「y+1」が平坦であると判断される場合に、値[1]を出力し、垂直NRフィルタFH1がフィルタ適用条件F30を満たすことを示す。判定器95bは、比較器94c,94dのそれぞれの出力と、それらの出力に対する閾値TH_d2を入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「y−1」〜画素「y+1」が平坦であると判断される場合に、値[1]を出力し、垂直NRフィルタFH2がフィルタ適用条件F30を満たすことを示す。判定器95cは、比較器94e,94fのそれぞれの出力と、それらの出力に対する閾値TH_d3を入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「y−1」〜画素「y+1」が平坦であると判断される場合に、値[1]を出力し、垂直NRフィルタFH3がフィルタ適用条件F30を満たすことを示す。
ここで、判定器95aの出力は、選択結果75として垂直NR処理実行部58に出力される。すなわち、判定器95aの出力が値[1]を出力する場合、フィルタ適用画素「y」に垂直NRフィルタFH1が適用されることを示す。判定器95bの出力は、アンドゲート95dに入力される。アンドゲート95dは、判定器95aの出力値の否定を第1の入力、判定器95bの出力値を第2の入力とし、選択結果75を出力する。すなわち判定器95aの出力が値[0]を示し、かつ、判定器95bの出力が値[1]を示す場合に、アンドゲート95dは、値[1]を出力し、フィルタ適用画素「y」に垂直NRフィルタFH2が適用されることを示す。判定器95cの出力は、アンドゲート95eに入力される。アンドゲート95eは、判定器95aの出力値の否定を第1の入力、判定器95bの出力値の否定を第2の入力、判定器95cの出力値を第3の入力とし、選択結果75を出力する。すなわち判定器95aおよび95bの出力が値[0]を示し、かつ、判定器95cの出力が値[1]を示す場合に、アンドゲート95eは、値[1]を出力し、フィルタ適用画素「y」に垂直NRフィルタFH3が適用されることを示す。以上のように、選択結果75は、垂直NRフィルタFH1〜FH3のそれぞれについて、適用および非適用を示す値を出力する。
図12に、垂直NR処理実行部58のハードウェア構成図を示す。垂直NR処理実行部58は、図示しない3つのラインメモリに記憶された水平方向同位置の画素値Y(y−1)〜Y(y+1)を第1の入力、選択結果75を第2の入力とし、画素値Y(y)のフィルタ適用画素「y」に選択結果75に応じた垂直NR処理を施したNR処理信号67(画素値Y’(y))を出力する。垂直NR処理実行部58は、信号の加算処理を行う加算器96a,96bと、フィルタ係数の乗算処理を行う乗算器97a,97bと、フィルタ係数を指定するスイッチ98a,98bと、フィルタ係数の乗算された水平NR処理信号66の除算処理を行う除算器100とから構成される。
加算器96aは、いずれの垂直NRフィルタFH1〜FH3を用いた場合であっても乗算されるフィルタ係数の等しい画素値について加算処理を行う。加算器96aでは、画素値Y(y−1)と画素値Y(y+1)とが加算される。
乗算器97a,97bは、加算器96aおよびフィルタ適用画素「y」の画素値Y(y)に対して、条件判定部57の選択結果75が示す垂直NRフィルタのフィルタ係数をそれぞれ乗算する。乗算器97aは、加算器96aの出力を第1の入力、スイッチ98aの出力を第2の入力とし、それぞれの入力を乗算する。乗算器97bは、フィルタ適用画素「y」の画素値Y(y)を第1の入力、スイッチ98bの出力を第2の入力とし、それぞれの入力を乗算する。
スイッチ98a,98bは、条件判定部57の選択結果75に応じて動作するスイッチであり、スイッチの動作により、加算器96aの出力および画素値Y(y)に乗じるフィルタ係数を指定する。スイッチ98a,98bは、垂直NRフィルタFH1が適用される場合には、上段のフィルタ係数を指定し、垂直NRフィルタFH2が適用される場合には、中段のフィルタ係数を指定し、垂直NRフィルタFH3が適用される場合には、下段のフィルタ係数を指定する。
加算器96bは、乗算器97a,97bの出力を加算する。加算結果は、除算器100において、フィルタ係数の和で除算される。ここで、フィルタ係数の和は、垂直NRフィルタFH1〜FH3のいずれが選択された場合であっても値[8]となるよう設定されている。このため、除算器100では、3ビットのシフト演算により除算処理を行うことができる。除算器100の除算結果は、NR処理信号67として出力される。
〈フィルタリング方法〉
図13に、フィルタ装置50におけるフィルタリング方法、特に水平NR処理部53と垂直NR処理部54とにおけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号65として水平NR処理部53に入力される画素あるいは図示しないラインメモリから垂直NR処理部54に入力される画素を単位とする処理である(ステップS20〜S25)。以下、水平NR処理部53におけるフィルタリング方法について説明する。なお、以下説明する処理は、垂直NR処理部54においても同様である。
条件判定部55は、水平NRフィルタFH1〜FH3について順次フィルタ適用条件F30の値が[1]であるかを判断する(ステップS21)。フィルタ適用条件F30の値が[1]であるかについての判断は、フィルタ参照画素のそれぞれに対する処理により行われる(ステップS21a〜S21d)。(−FHktap/2)以上(FHktap/2)未満の〈i〉について、数式F31で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、THk(〈k〉は、ステップS20で対象としているフィルタ候補の番号)との比較が行われる(ステップS21b)。さらに、比較結果を用いて、数式F30で定義されるフィルタ適用条件が計算される(ステップS21d)。返り値[1]が出力される場合、フィルタFHkがフィルタ適用画素「x」に適用され(ステップS25)、次のフィルタ適用画素についての処理が開始される。一方、返り値[0]が出力される場合、次のフィルタ候補FHk+1を用意し(ステップS22,S23)、同様の処理を行う(ステップS21)。また、いずれのフィルタ候補についてもフィルタ適用条件F30の値が[1]とならない場合、水平NRフィルタFH1〜FH3の適用は行われず、次のフィルタ適用画素についての処理が開始される。
以上のフィルタリング方法は、フィルタ装置50のみでなく、コンピュータを用いてプログラムとして実現することも可能である。
〈第2実施形態の効果〉
(1)
フィルタ装置50では、複数のNRフィルタ候補の中から1つのNRフィルタを選択してNR処理を行うため、適切なNR効果を得ることが可能である。
(2)
複数のNRフィルタ候補の中から1つのNRフィルタを選択するに際し、画像特徴量の算出方法を共通化することが可能である。例えば、図8の演算器81a〜81f、図11の演算器93a,93bの計算結果をそれぞれのNRフィルタの選択に際して共通して用いることが可能であり、ハードウェアコストの削減、処理の簡易化が実現される。
(3)
複数のNRフィルタ候補の中から1つのNRフィルタを選択するに際し、画像特徴量の算出に必要な画素と複数のNRフィルタのそれぞれが参照する画素とが共通化されている。例えば、条件判定部55が画像特徴量の算出に必要とする画素値は、画素値Y(x+3)〜Y(x−3)であり、水平NR処理実行部56が参照する画素値は、画素値Y(x+3)〜Y(x−3)である。このため図8および図9において、遅延器80a〜80fと遅延器85a〜85fとを同一の遅延器として構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
また、条件判定部57と垂直NR処理実行部58とにおいて必要とされる画素値は、画素値Y(y−1)〜Y(y+1)である。このため、これらの画素値を取得するためのラインメモリを同一のラインメモリとして構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
(4)
フィルタ装置50では、画像の平坦度が大きいほど強いフィルタを適用する結果となる。このため、物体の輪郭がフィルタ参照画素に含まれている場合などにも、適切なNR効果を得ることが可能となる。
(5)
フィルタ装置50では、それぞれのNRフィルタのフィルタ係数の和が同じ値となる。このため、フィルタ係数和による画素値の除算処理を共通化することが可能となる。また、フィルタ係数和を[8]とし、3ビットのシフト演算で除算処理を行うことが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
(6)
フィルタ装置50では、フィルタ強度が強くなるに従って、フィルタタップ数FHktapが大きくなり、フィルタ適用条件F30の閾値THkが小さくなる。このためフィルタ装置50におけるフィルタリング方法、フィルタリングプログラムでは、よりNR効果の高いフィルタを優先的に適用するためのソフトウェアの構成が簡易になる。
〈第2実施形態の変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
本発明の効果は、水平・垂直NRフィルタの候補が3つの場合に限定されるものではない。NRフィルタ候補の数の増減は、図8,9,11,12に示したハードウェアの構成要素の数の増減により常識的に対応することが可能である。
(2)
NRフィルタ候補は、フィルタ強度が強くなるに従って、フィルタタップ数FHktapが大きくならず、またフィルタ適用条件F30の閾値THkが小さくならないものであってもよい。この場合であっても、第2実施形態に示したフィルタ装置50のハードウェア構成を常識的に拡張して対応することが可能である。
(3)
図11および図12を用いて説明した垂直NRフィルタを図2の垂直NRフィルタ部41〜44として用いることも可能である。この場合、垂直NR処理判定部20からの判定結果33を取得し、取得結果に応じてフィルタ適用画素の画素値を出力する(フィルタスルー)構成を付加することにより対応することが可能である。
(4)
条件判定部57は、復号画像信号65を用いて条件判定を行うものであってもよい。この場合、水平NR処理の完了前に、水平NR処理と並行して条件判定部57が動作可能となり、フィルタ装置50全体の処理速度を向上させることが可能となる。
[第3実施形態]
NRフィルタの選択およびフィルタ処理の実行に際して、フィルタ適用画素が符号化ブロックのブロック境界に位置するか否かにより、フィルタ適用条件F30において用いる閾値を変更する、あるいはブロック境界用のフィルタを適用することが可能である。図1に示す水平NR処理部13、垂直NR処理部14、図5に示す水平NR処理部53、垂直NR処理部54において、このような機能を実現することが可能である。
図14〜図16を用いて、水平NR処理部53(図5参照)の変形例としての、水平NR処理部について説明する。変形例としての水平NR処理部では、画素単位で順次入力される復号画像信号65に対して、NRフィルタの選択とNR処理の実行とを行う。
図14に、水平NR処理部において切り換えて適用される3つの水平NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数を示す。水平NRフィルタFH1は、フィルタタップ数FH1tap=[5]、フィルタ係数[1,2,2,2,1]の水平NRフィルタである。水平NRフィルタFH1は、フィルタ適用画素がブロック境界隣接画素である場合にのみ適用される。水平NRフィルタFH2は、フィルタタップ数FH2tap=[5]、フィルタ係数[1,1,4,1,1]の水平NRフィルタである。水平NRフィルタFH2は、フィルタ適用画素がブロック境界隣接画素であるか否かに関係なく適用される。水平NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[2,4,2]の水平NRフィルタである。水平NRフィルタFH3は、フィルタ適用画素がブロック境界隣接画素でない場合にのみ適用される。
図15に、条件判定部55の変形例としての条件判定部104のハードウェア構成図を示す。条件判定部104は、復号画像信号65を第1の入力、設定された閾値114(TH1〜TH3,THb)を第2の入力、画素「x−2」〜画素「x+2」の間にブロック境界が存在することを示すブロック境界フラグ115(blk(x−2)〜blk(x+1):blk(x)は、画素「x」と画素「x+1」との間にブロック境界が存在する場合に値[1]を出力する関数)を第3の入力とし、復号画像信号65に適用する水平NRフィルタFH1〜FH3を選択し、選択結果74を出力する。ここで、ブロック境界フラグ115は、画素のアドレス情報に基づいて、その画素がブロック境界に位置するか否かを判断して得られる情報である。画素のアドレス情報は、例えば、復号画像信号65を復号化する復号化装置などを供給手段として供給される情報である。
条件判定部104は、1画素分の遅延器105a〜105dと、隣接する画素の画素値に基づいて画像特徴量を計算する演算器106a〜106dと、数式F32で定義される比較関数CMPk(x)を実現する比較器107a〜107jと、ブロック境界フラグ115の値により比較器107b,107c,107e〜107hに与える基準値を切り換えるスイッチ108a〜108fと、オアゲート110と、フィルタ適用条件F30を実現する判定器111a〜111cと、アンドゲート111d〜111fとから構成される。
遅延器105a〜105dは、復号画像信号65に対して直列に接続される1画素分の遅延器であり、復号画像信号65として入力される画素値Y(x+2)に対して、過去4画素分の画素値Y(x+1)〜画素値Y(x−2)を出力する。
演算器106a〜106dは、それぞれの遅延器105a〜105dの入力と出力とから画像特徴量を計算する。すなわち、演算器106a〜106dは、画素値Y(x+2)〜画素値Y(x−2)のそれぞれに対して、数式F31(図6参照)で定義される画像特徴量DIFF(x+1)〜DIFF(x−2)を計算する。
比較器107a,107dは、画像特徴量DIFF(x+1),DIFF(x−2)を第1の入力、水平NRフィルタFH1の閾値TH1を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+1),DIFF(x−2)と水平NRフィルタFH1の閾値TH1との比較を行い、比較結果を判定器111aに出力する。比較器107b,107cは、画像特徴量DIFF(x),DIFF(x−1)を第1の入力、スイッチ108a,108bの出力を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x),DIFF(x−1)とスイッチ108a,108bの出力との比較を行い、比較結果を判定器111aに出力する。
比較器107e〜107hは、画像特徴量DIFF(x+1)〜DIFF(x−2)を第1の入力、スイッチ108c〜108fの出力を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+1)〜DIFF(x−2)とスイッチ108c〜108fの出力との比較を行い、比較結果を判定器111bに出力する。
比較器107i,107jは、画像特徴量DIFF(x),DIFF(x−1)を第1の入力、水平NRフィルタFH3の閾値TH3を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x),DIFF(x−1)と水平NRフィルタFH3の閾値TH3との比較を行い、比較結果を判定器111cに出力する。
スイッチ108a,108bは、ブロック境界フラグ115のうちblk(x),blk(x−1)を第1の入力、水平NRフィルタFH1の閾値TH1を第2の入力、ブロック境界用の閾値THbを第3の入力とし、blk(x),blk(x−1)が値[0]の場合、閾値TH1を出力し、blk(x),blk(x−1)が値[1]の場合、ブロック境界用の閾値THbを出力する。スイッチ108c〜108fは、ブロック境界フラグ115のそれぞれ(blk(x+1)〜blk(x−2))を第1の入力、水平NRフィルタFH2の閾値TH2を第2の入力、ブロック境界用の閾値THbを第3の入力とし、それぞれの第1の入力が値[0]の場合、閾値TH2を出力し、それぞれの第1の入力が値[1]の場合、ブロック境界用の閾値THbを出力する。
オアゲート110は、ブロック境界フラグ115のうちblk(x)を第1の入力、blk(x−1)を第2の入力とする。すなわち、オアゲート110は、ブロック境界がフィルタ適用画素「x」に隣接する場合に値[1]を出力する。オアゲート110の出力は、アンドゲート111fに入力される。また、オアゲート110の出力の否定は、アンドゲート111eに入力される。
判定器111aは、比較器107a〜107dのそれぞれの出力と、それらの値に対する閾値TH_d1とを入力とする。具体的には、例えば、画素「x+2」〜画素「x−2」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH1がフィルタ適用条件を満たすことを示す。ここで、フィルタ適用条件は、図6に示したフィルタ適用条件F30とほぼ同様であり、フィルタ適用条件F30中の比較関数CMPk(x)の基準値として、閾値TH1とブロック境界用の閾値THbとが切り換えて用いられる。
判定器111bは、比較器107e〜107hのそれぞれの出力と、それらの値に対する閾値TH_d2とを入力とする。具体的には、例えば、画素「x+2」〜画素「x−2」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH2がフィルタ適用条件を満たすことを示す。ここで、フィルタ適用条件は、図6に示したフィルタ適用条件F30とほぼ同様であり、フィルタ適用条件F30中の比較関数CMPk(x)の基準値として、閾値TH2とブロック境界用の閾値THbとが切り換えて用いられる。
判定器111cは、比較器107i,107jのそれぞれの出力と、それらの値に対する閾値TH_d3とを入力とする。具体的には、例えば、画素「x+1」〜画素「x−1」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH3がフィルタ適用条件F30を満たすことを示す。
ここで、判定器111aの出力は、アンドゲート111fに入力される。アンドゲート111fは、判定器111aの出力値を第1の入力、オアゲート110の出力値を第2の入力とし、選択結果74を出力する。すなわち、判定器111aの出力が値[1]を示し、かつ、オアゲート110の出力が値[1]を示す場合に、アンドゲート111fは、値[1]を示し、フィルタ適用画素「x」に水平NRフィルタFH1が適用されることを示す。
判定器111bの出力は、アンドゲート111dに入力される。アンドゲート111dは、アンドゲート111fの出力値の否定を第1の入力、判定器111bの出力値を第2の入力とし、選択結果74を出力する。すなわちアンドゲート111fの出力が値[0]を示し、かつ、判定器111bの出力が値[1]を示す場合に、アンドゲート111dは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH2が適用されることを示す。
判定器111cの出力は、アンドゲート111eに入力される。アンドゲート111eは、アンドゲート111fの出力値の否定を第1の入力、判定器111bの出力値の否定を第2の入力、判定器111cの出力値を第3の入力、オアゲート110の出力値の否定を第4の入力とし、選択結果74を出力する。すなわちアンドゲート111fおよび判定器111bの出力が値[0]を示し、かつ、判定器111cの出力が値[1]を示し、かつ、オアゲート110の出力が値[0]を示す場合に、アンドゲート111eは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH3が適用されることを示す。以上のように、選択結果74は、水平NRフィルタFH1〜FH3のそれぞれについて、適用および非適用を示す値を出力する。
選択結果74は、水平NR処理実行部56の変形例としての水平NR処理実行部(図示せず)に入力される。水平NR処理実行部は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74応じた水平NR処理を施した水平NR処理信号66を出力する。ここで、水平NR処理実行部の構成は、図9の水平NR処理実行部56とほぼ同様であり、遅延器の個数、フィルタ係数などにおいて相違点を有するのみであるため説明は省略する。
〈フィルタリング方法〉
図16に、水平NR処理部53の変形例としての水平NR処理部におけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号65として水平NR処理部に入力される画素を単位とする処理である(ステップS30〜S35)。条件判定部104は、水平NRフィルタFH1〜FH3について順次第2フィルタ適用条件の値が[1]であるかを判断する(ステップS31)。
第2フィルタ適用条件の値が[1]であるかについては、ステップS31a〜ステップS31lの処理に基づいて判断される。まず、フィルタ適用画素「x」がブロック境界の画素か否かが判断される(ステップS31a)。
フィルタ適用画素「x」がブロック境界の画素で無い場合、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタ(例えば、図14の水平NRフィルタFH2またはFH3)であるか否かが判断され(ステップS31b)、水平NRフィルタFHkがブロック境界の画素についてのみ適用される水平NRフィルタである場合(例えば、図14の水平NRフィルタFH1)、返り値[0]を出力し(ステップS31c)、ステップS32〜ステップS34の処理を行う。一方、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタである場合、ステップS31f〜S31jのフィルタ参照画素についての処理が行われる。
フィルタ適用画素「x」がブロック境界の画素である場合(ステップS31a)、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタであるか否かが判断され(ステップS31d)、水平NRフィルタFHkがブロック境界で無い画素についてのみ適用される水平NRフィルタである場合、返り値[0]を出力し(ステップS31e)、ステップS32〜ステップS34の処理が行われる。一方、水平NRフィルタFHkがブロック境界の画素について適用される水平NRフィルタである場合、ステップS31f〜S31lのフィルタ参照画素についての処理が行われる。
条件判定部104は、画素「x+i」(i:−FHktap/2≦i<FHktap/2)と画素「x+i+1」との間にブロック境界が存在するか否かを判断する(ステップS31f)。
判断結果が否定的である場合、数式F31(図6参照)で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、閾値THk(〈k〉は、ステップS30で対象としているフィルタ候補の番号)との比較が行われる(ステップS31h)。
判断結果が肯定的で有る場合、数式F31で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、ブロック境界用の閾値THbとの比較が行われる(ステップS31i)。さらに、比較結果を用いて、数式F30で定義されるフィルタ適用条件が計算される(ステップS31k)。
返り値[0]が出力される場合(ステップS31l)、ステップS32〜ステップS34の処理が行われる。ステップS32〜S34では、次のフィルタ候補FHk+1が用意され(ステップS32、S33)、同様の処理が開始される(ステップS30)。
返り値[1]が出力される場合(ステップS31l)、フィルタFHkがフィルタ適用画素「x」に適用され(ステップS35)、次のフィルタ適用画素「x+1」についての処理が開始される。
以上のフィルタリング方法は、水平NR処理部53の変形例としての水平NR処理部のみでなく、図1に示す水平NR処理部13、垂直NR処理部14、図5に示す垂直NR処理部54においても同様に適用可能である。また、コンピュータを用いてプログラムとして実現することも可能である。
〈第3実施形態の効果〉
(1)
第3実施形態として説明した水平NR処理部あるいは垂直NR処理部を備えるフィルタ装置では、例えば、ブロック境界の画素に対して、よりフィルタ強度の強いブロック境界用のNRフィルタを適用することが可能となる。これにより、より強いブロックノイズの低減を行うことが可能となる
(2)
THbを通常の閾値TH1〜TH3などより大きい値とすることにより、ブロック境界の画素に対して、よりNRフィルタの適用が行われやすくすることが可能である。これにより、ブロックノイズの低減をさらに行うことが可能となる。
(3)
また、非ブロック境界用のNRフィルタ(例えば、図14の水平NRフィルタFH3など)を用い、より適切なNRフィルタを適用してNR処理を行うことが可能となる。
(4)
図15に示す条件判定部104では、NRフィルタの適用を判断するため計算される画像特徴量は、図25を用いて説明した従来のフィルタ処理を実現するための装置よりも簡易に計算できる。このため、ハードウェアコストの低減が可能となる。また、ソフトウェアにより同様の処理を行うプログラムにおいても、処理が簡易であり、処理負荷を低減することが可能となる。
〈第3実施形態の変形例〉
(1)
図14を用いて説明した水平NRフィルタにおいて、水平NRフィルタFH1は、フィルタ適用画素がブロック境界に隣接する場合にのみ適用されるとした。ここで、ブロック境界用の水平NRフィルタは、フィルタ適用画素がブロック境界に隣接する場合に限らず、1画素を挟んでブロック境界に隣接する場合に適用されるものであってもよい。また、ブロック境界から何画素離れているかで、フィルタを切り換えてもよい。ブロック境界付近でフィルタ強度の強いフィルタを使用することにより、より高いブロックノイズの低減が可能となる。
(2)
それぞれのフィルタ候補FH1〜FH3は、異なる値のブロック境界用の閾値THbを用いてもよい。
[第4実施形態]
本発明の第4実施形態として、フィルタ装置、フィルタリング方法、およびフィルタリングプログラムの応用例と、それを用いたシステムとを図17〜図20を用いて説明する。
図17は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図19のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってモードちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを用いてもよい。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示したフィルタ装置およびフィルタリングプログラムを備えていてもよい。
一例として携帯電話について説明する。
図18は、上記実施形態のメディアデータ表示装置を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図19を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。
また、画像復号化部ex309は、上記実施形態のフィルタ装置としての機能を果たすものであっても良い。
このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図20に示すようにディジタル放送用システムにも上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態のフィルタ装置を備えていてもよい。また、上記実施形態のフィルタリング方法を用いるものであってもよい。さらに、上記実施形態のフィルタリングプログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態のフィルタ装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内にフィルタ装置を組み込んでも良い。また、アンテナex411を有する車ex412で放送衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。さらにSDカードex422に記録することもできる。また、DVDディスクex421やSDカードex422に記録した画像信号を上記実施形態のフィルタ装置を介して再生し、モニタex408に表示することができる。
なお、カーナビゲーションex413の構成は例えば図19に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
なお、ブロック図の各機能ブロック(図1,2,5,19)や、ハードウェア構成(図8,9,11,12,15,)は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。例えば、メモリ以外の機能ブロックが1チップ化されていても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
本発明にかかるフィルタ装置は、ハードウェアコストをより削減することが求められるフィルタ装置、特にノイズリダクション(NR)フィルタを用いたフィルタ装置などとして有用である。また、本発明のフィルタリング方法、およびフィルタリングプログラムは、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減することが求められるNRフィルタを用いたフィルタリング方法、およびフィルタリングプログラムなどとして有用である。
フィルタ装置10について説明するブロック図(第1実施形態)。 垂直NRフィルタ部の構成を説明するブロック図(第1実施形態)。 解像度変換フィルタ選択信号32と垂直NR処理判定部20の判定結果33との関係を説明する説明図(第1実施形態)。 フィルタリング方法を説明するフローチャート(第1実施形態)。 フィルタ装置50について説明するブロック図(第2実施形態)。 フィルタ適用条件について説明する説明図(第2実施形態)。 水平NRフィルタについて説明する説明図(第2実施形態)。 条件判定部55のハードウェア構成図(第2実施形態)。 水平NR処理実行部56のハードウェア構成図(第2実施形態)。 垂直NRフィルタについて説明する説明図(第2実施形態)。 条件判定部57のハードウェア構成図(第2実施形態)。 垂直NR処理実行部58のハードウェア構成図(第2実施形態)。 フィルタリング方法を説明するフローチャート(第2実施形態)。 水平NRフィルタについて説明する説明図(第3実施形態)。 条件判定部104のハードウェア構成図(第3実施形態)。 フィルタリング方法を説明するフローチャート(第3実施形態)。 コンテンツ供給システムの全体構成を示すブロック図(第4実施形態)。 本発明の補間フレーム作成装置を搭載する携帯電話の例(第4実施形態)。 携帯電話のブロック図(第4実施形態)。 ディジタル放送用システムの例(第4実施形態)。 フィルタ装置400について説明するブロック図(背景技術)。 垂直NRフィルタ部の構成を説明するブロック図(背景技術)。 フィルタ適用条件について説明する説明図(背景技術)。 解像度変換フィルタについて説明する説明図(背景技術)。 従来のデブロックフィルタについて説明する説明図(背景技術)。
符号の説明
10 フィルタ装置
11 ポストフィルタ部
12 垂直解像度変換部
13 水平NR処理部
14 垂直NR処理部
15 条件判定部
16 水平NR処理実行部
17 条件判定部
18 垂直NR処理実行部
20 垂直NR処理判定部
25 復号画像信号
26 水平NR処理信号
27 NR処理信号
28 表示画像信号
32 解像度変換フィルタ選択信号
33 判定結果
41〜44 垂直NRフィルタ部

Claims (21)

  1. 入力された入力画像信号に対して出力画像信号を出力するNR処理手段と、
    複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換手段と、
    前記解像度変換手段に対して、複数の前記解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記NR処理手段に前記入力画像信号のNR処理を行わせるか否かを判定するNR処理判定手段と、
    を備えるフィルタ装置。
  2. 前記NR処理判定手段は、前記解像度変換フィルタ選択信号が複雑な解像度変換フィルタを選択する場合には、前記NR処理を行わないと判定する、
    請求項1に記載のフィルタ装置。
  3. 前記NR処理手段は、前記複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同じ数の前記入力画像信号の画素を用いて前記NR処理を行う、
    請求項1又は2に記載のフィルタ装置。
  4. 前記NR処理手段は、前記複数の解像度変換フィルタが参照する出力画像信号の最大画素数より少ない個数のNRフィルタ手段を有している、
    請求項1〜3のいずれかに記載のフィルタ装置。
  5. 前記NR処理手段は、前記入力画像信号の垂直方向のNR処理を行い、
    前記解像度変換手段は、前記出力画像信号の垂直方向の解像度変換を行う、
    請求項1〜4のいずれかに記載のフィルタ装置。
  6. 入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法であって、
    前記出力画像信号の解像度変換を行う解像度変換フィルタを複数の前記解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記入力画像信号のNR処理を行うか否かを判定するNR処理判定ステップと、
    前記NR処理判定ステップの判定結果に基づいて、前記入力画像信号のNR処理を行うNR処理ステップと、
    を備えるフィルタリング方法。
  7. 入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法を行うためのフィルタリングプログラムであって、
    前記フィルタリングプログラムは、コンピュータに、
    前記出力画像信号の解像度変換を行う解像度変換フィルタを複数の前記解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記入力画像信号のNR処理を行うか否かを判定するNR処理判定ステップと、
    前記NR処理判定ステップの判定結果に基づいて、前記入力画像信号のNR処理を行うNR処理ステップと、
    を備えるフィルタリング方法を行わせるものである、
    フィルタリングプログラム。
  8. 複数のNRフィルタを有するNR処理実行手段と、
    前記複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、前記複数のNRフィルタのそれぞれに対して設定された前記画像特徴量の閾値とに基づいて、前記NR処理実行手段の前記複数のNRフィルタの中から1つを選択するNRフィルタ選択手段と、
    を備えたフィルタ装置。
  9. 前記画像特徴量は、前記参照画素範囲の画素を用いて算出される、
    請求項8に記載のフィルタ装置。
  10. 前記複数のNRフィルタのそれぞれの前記参照画素範囲の大きさは、フィルタ強度の大きさに伴って単調増加し、
    前記複数のNRフィルタのそれぞれに対して設定された前記閾値の大きさは、フィルタ強度が大きい前記NRフィルタほど、前記NRフィルタ選択手段により選択されにくくなるように決定されている、
    請求項8又は9に記載のフィルタ装置。
  11. 前記NRフィルタ選択手段は、前記複数のNRフィルタの中から前記参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタを優先的に選択する、
    請求項8〜10のいずれかに記載のフィルタ装置。
  12. 前記複数のNRフィルタは、それぞれのフィルタ係数の合計が等しい、
    請求項8〜11のいずれかに記載のフィルタ装置。
  13. 前記NRフィルタ選択手段は、前記画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いて前記NRフィルタを選択する、
    請求項8〜12のいずれかに記載のフィルタ装置。
  14. 前記複数のNRフィルタは、前記NR処理の対象となる画素がブロック境界の近傍に位置する場合にのみ適用されるブロック境界用のNRフィルタを含んでいる、
    請求項8〜13のいずれかに記載のフィルタ装置。
  15. 前記複数のNRフィルタは、前記NR処理の対象となる画素がブロック境界の近傍に位置しない場合にのみ適用される非ブロック境界用のNRフィルタをさらに含んでいる、
    請求項14に記載のフィルタ装置。
  16. 複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、前記複数のNRフィルタのそれぞれに対して設定された前記画像特徴量の閾値とに基づいて、前記複数のNRフィルタの中から1つを選択するNRフィルタ選択ステップと、
    選択された前記NRフィルタを用いて、画像信号のNR処理を行うNR処理実行ステップと、
    を備えるフィルタリング方法。
  17. 前記NRフィルタ選択ステップは、前記複数のNRフィルタの中から前記参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う、
    請求項16に記載のフィルタリング方法。
  18. 前記NRフィルタ選択ステップは、前記画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いて前記NRフィルタを選択する、
    請求項16又は17に記載のフィルタリング方法。
  19. 複数のNRフィルタの中から選択された1つのNRフィルタを用いて、画像信号のNR処理を行うためのフィルタリングプログラムであって、
    前記フィルタリングプログラムは、コンピュータに、
    前記複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、前記複数のNRフィルタのそれぞれに対して設定された前記画像特徴量の閾値とに基づいて、前記複数のNRフィルタの中から1つを選択するNRフィルタ選択ステップと、
    選択された前記NRフィルタを用いて、画像信号のNR処理を行うNR処理実行ステップと、
    を備えるフィルタリング方法を行わせるものである、
    フィルタリングプログラム。
  20. 前記NRフィルタ選択ステップは、前記複数のNRフィルタの中から前記参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う、
    請求項19に記載のフィルタリングプログラム。
  21. 前記NRフィルタ選択ステップは、前記画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いて前記NRフィルタを選択する、
    請求項19又は20に記載のフィルタリングプログラム。
JP2004243487A 2003-08-27 2004-08-24 フィルタ装置、フィルタリング方法、およびフィルタリングプログラム Expired - Fee Related JP4558409B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004243487A JP4558409B2 (ja) 2003-08-27 2004-08-24 フィルタ装置、フィルタリング方法、およびフィルタリングプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003302554 2003-08-27
JP2004243487A JP4558409B2 (ja) 2003-08-27 2004-08-24 フィルタ装置、フィルタリング方法、およびフィルタリングプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010117459A Division JP5116803B2 (ja) 2003-08-27 2010-05-21 フィルタ装置、フィルタリング方法、およびフィルタリングプログラム

Publications (2)

Publication Number Publication Date
JP2005102179A true JP2005102179A (ja) 2005-04-14
JP4558409B2 JP4558409B2 (ja) 2010-10-06

Family

ID=34467201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004243487A Expired - Fee Related JP4558409B2 (ja) 2003-08-27 2004-08-24 フィルタ装置、フィルタリング方法、およびフィルタリングプログラム

Country Status (1)

Country Link
JP (1) JP4558409B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010246130A (ja) * 2003-08-27 2010-10-28 Panasonic Corp フィルタ装置、フィルタリング方法、およびフィルタリングプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102467A (ja) * 1986-10-17 1988-05-07 Canon Inc 画像デ−タ解像度変換装置
JPH0738762A (ja) * 1993-07-26 1995-02-07 Japan Radio Co Ltd ビデオコーデックにおける後処理フィルタの制御方式
JPH08317389A (ja) * 1995-05-15 1996-11-29 Matsushita Electric Ind Co Ltd ブロック歪除去装置
JPH09186993A (ja) * 1995-12-28 1997-07-15 Canon Inc フィルタ装置及びそれを用いた復号化装置
JPH10191335A (ja) * 1996-12-27 1998-07-21 Sony Corp ブロック歪低減方法及び装置
WO2002023915A1 (fr) * 2000-09-12 2002-03-21 Matsushita Electric Industrial Co., Ltd. Procede de reduction du bruit, dispositif de reduction du bruit, support et programme
JP2003087640A (ja) * 2001-09-10 2003-03-20 Canon Inc 撮像装置、信号処理装置及び制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102467A (ja) * 1986-10-17 1988-05-07 Canon Inc 画像デ−タ解像度変換装置
JPH0738762A (ja) * 1993-07-26 1995-02-07 Japan Radio Co Ltd ビデオコーデックにおける後処理フィルタの制御方式
JPH08317389A (ja) * 1995-05-15 1996-11-29 Matsushita Electric Ind Co Ltd ブロック歪除去装置
JPH09186993A (ja) * 1995-12-28 1997-07-15 Canon Inc フィルタ装置及びそれを用いた復号化装置
JPH10191335A (ja) * 1996-12-27 1998-07-21 Sony Corp ブロック歪低減方法及び装置
WO2002023915A1 (fr) * 2000-09-12 2002-03-21 Matsushita Electric Industrial Co., Ltd. Procede de reduction du bruit, dispositif de reduction du bruit, support et programme
JP2003087640A (ja) * 2001-09-10 2003-03-20 Canon Inc 撮像装置、信号処理装置及び制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010246130A (ja) * 2003-08-27 2010-10-28 Panasonic Corp フィルタ装置、フィルタリング方法、およびフィルタリングプログラム

Also Published As

Publication number Publication date
JP4558409B2 (ja) 2010-10-06

Similar Documents

Publication Publication Date Title
KR101314390B1 (ko) 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로
CN100358366C (zh) 滤波强度的决定方法、动态图像编码方法及解码方法
JP5469761B2 (ja) 符号化歪除去方法
EP1788817A1 (en) Decoder, encoder, decoding method and encoding method
EP1662802A1 (en) Moving picture encoding method and moving picture decoding method
EP1816870A1 (en) Video encoding method, and video decoding method
EP1667064A1 (en) Visual processing device, visual processing method, visual processing program, and semiconductor device
JPWO2005104564A1 (ja) 動き補償装置
JP5116803B2 (ja) フィルタ装置、フィルタリング方法、およびフィルタリングプログラム
EP1534016A2 (en) Using motion vectors and the occurrence of coefficient quantization levels to drive a noise removal image postprocessing
JP4641784B2 (ja) 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム
JP4313710B2 (ja) 画像符号化方法および画像復号化方法
JP4558409B2 (ja) フィルタ装置、フィルタリング方法、およびフィルタリングプログラム
JP4094652B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP4437149B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
CN101453544B (zh) 灰度变换处理装置
JP2007143178A (ja) 符号化歪除去方法
JPWO2006003873A1 (ja) 画像符号化方法および画像復号化方法
JP2006236317A (ja) 画像処理方法
JP2005176337A (ja) 画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置
JP4414464B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4009650B2 (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2005322205A (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4403803B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees