JP2005311575A - フレーム巡回型ノイズ低減方法 - Google Patents

Abstract

【課題】サブフィールド画像表示に用いるフレーム巡回型ノイズ低減方法であって、動画部のサブフィールドボケの悪化を防ぎつつ、良好なノイズ低減効果を得るフレーム巡回型ノイズ低減方向およびノイズ低減装置を提供する。
【解決手段】入力画像信号の１フィールドを複数のサブフィールドに分割し、前記サブフィールド毎の発光の組合せによって表示手段の発光を制御して階調を表現するサブフィールド画像表示装置に対して用い、動き量を検出し前記動き量に応じて巡回量を決定するフレーム巡回型ノイズ低減方法であって、前記入力画像信号の信号レベルに応じて前記動き量の補正を行うことを特徴とするフレーム巡回型ノイズ低減方法である。
【選択図】図９

Description

本発明は、入力画像信号の１フィールドを複数のサブフィールドに分割し、前記サブフィールド毎の発光の組合せによって表示手段の発光を制御して階調を表現するサブフィールド画像表示装置に用いるフレーム巡回型ノイズ低減方法およびノイズ装置に関する。

プラズマディスプレイパネル（ＰＤＰ）などの、２値表示が基本である表示装置を用いて多階調画像を表示する場合、画像の１フィールド分を複数のサブフィールドに分割し、それぞれのサブフィールドに所定の輝度重みをもたせて各サブフィールド毎に発光の有無を制御して画像表示を行う方法が知られている。例えば、２５６階調を表示するためには、図１に示すように入力信号の１フィールドを８つのサブフィールド（ＳＦ）に分割し、それぞれのサブフィールドの輝度重みを「１」、「２」、「４」、「８」、「１６」、「３２」、「６４」、「１２８」とする。また入力信号は８ビットのディジタル信号とすると、これを最下位ビットから順に８つのサブフィールド画像に割り当てて表示する。また、サブフィールドの並びは、特に限定されるものではないが、たとえば図１（ａ）に示すように輝度重みの小さいものから大きいものへ順に並ぶもの（以下昇順コーディングと称す）や図１（ｂ）に示すように輝度重みの大きいものから小さいものへ順に並ぶもの（以下降順コーディングと称す）などがある。各サブフィールドの輝度の時間方向の積分で中間調を表現するもので、これら８つのサブフィールドの組み合わせにより、この場合８ビット２５６階調の階調表示を行うことができる（たとえば非特許文献１）。

また、入力される映像信号に乗っているノイズを低減し、Ｓ／Ｎ比を改善するノイズリダクション制御方法およびノイズリダクション制御装置が数多く提案されており、プラズマディスプレイのようなサブフィールド画像表示装置においても用いられている（たとえば特許文献１参照）。そのなかで、比較的ノイズ低減に効果的なものとして、フレーム巡回型ノイズ低減方法が知られている（たとえば非特許文献２）。一般に、画像信号はフレーム間における画像情報の自己相関性が強く、一方、画像信号に含まれるノイズ成分は自己相関性がない。フレーム巡回型ノイズ低減装置は、このことに着目しノイズ低減を行う方法で、画像信号をフレーム周期毎に時間平均することでノイズ成分を低減することができる。しかし、動画部分についてフレーム周期の時間平均をとると、複数フレームにわたる動画像も平均化されてしまい、結果的にボケや尾引き等の残像が発生し解像度が低下してしまう。そのため、実用的なノイズ低減装置として、画像信号の動きを検出し、動き量に応じて時間平均の程度（巡回量）を制御するフレーム巡回型ノイズ低減装置がいくつか提案されている（たとえば特許文献２参照）。図７は特許文献２に掲載されているフレーム巡回型ノイズ低減装置の概略構成を示すブロック図である。このようにフレーム間の差分信号をもとに動き量を求め、動画領域においては動き量に応じて巡回量ｋ（ｋは０から１の間で設定）を小さく設定し残像を抑え、静止画領域においては巡回量ｋを大きく設定しノイズ抑制効果を得ている。
特開２００１−３６７７０号公報 特開平６−２２５１７８号公報 内池平樹、御子柴茂生 共著 「プラズマディスプレイのすべて」 工業調査会出版 １６５頁〜１７７頁 吹抜敬彦 著 「ＴＶ画像の多次元信号処理」 日刊工業新聞社 １９０頁

しかしながら、フレーム巡回型ノイズ低減装置において、動画部に動画ボケなどの画質劣化を招かないように巡回係数を制御するなど種々の方法が提案されているが、いずれもノイズ低減処理を行うにあたり、ノイズ低減効果と動画部のボケの程度はトレードオフ関係にあるため、良好なノイズ低減効果を得ながら動画部のボケを完全に抑えることは難しい。ほとんどの場合、ノイズ低減効果を犠牲にしながら動画部のボケを抑えるか、あるいは動画部のある程度のボケは妥協し、目立ちにくい程度に抑えながらノイズ低減効果を得るよう調整するなどがなされている。

また、入力画像信号の１フィールドを複数のサブフィールドに分割し、前記サブフィールド毎の発光の組合せによって表示手段の発光を制御して階調を表現するサブフィールド画像表示装置では、各サブフィールドの輝度の時間方向の積分で中間調を表現しようとしているため、動画像などで視線が移動した場合、時間の経過とともに本来の画素位置とは異なる位置の画像のそれぞれのビットの重みを積分することになり、中間調表示が大きく乱れてしまい、動画疑似輪郭と呼ばれる輪郭上の乱れや、画像のエッジ部が不鮮明になってしまう（以下サブフィールドボケと称す）などの画質劣化が視認される場合がある。以下、サブフィールドボケの発生メカニズムについて説明する。

図２は、図１（ａ）の昇順コーディングを用いて、入力映像信号レベル６３を表示した際の時間の経過に沿ったサブフィールドの発光状態と網膜上での視認強度分布を示している。レベル６３を表現する場合、図中に示すように画素ＡからＥにおいて輝度重み「１」、「２」、「４」、「８」、「１６」、「３２」が点灯することになる。静止画においては各サブフィールドの発光「１」、「２」、「４」、「８」、「１６」、「３２」は図中破線で示す視線に沿って同じ画素位置の発光が網膜上同じ位置において順に積分されるため、視認強度は均一になる。それに対し図３に示すように、映像が左に移動する場合、視線の移動により時間の経過とともに図中破線の矢印で示す視線をたどり本来の画素位置とは異なる位置のサブフィールドの発光を積分するため、視認強度は不均一となり、図中に示すようにエッジ部分においてエッジボケが発生してしまう。このようにサブフィールド画像表示においては、動画部には特にエッジ部の解像度が低下するといったサブフィールドボケが発生してしまう。また、図４は入力映像信号レベルが２５５の場合のサブフィールドボケの発生を示している。図より入力信号レベルが６３の場合と比べ２５５の場合は、点灯サブフィールド数が多い、すなわち１フィールド内の発光時間が長いため、サブフィールドボケの程度は大きくなってしまう。

ここでは図１（ａ）に示す昇順コーディングを例に説明したが、原理的にサブフィールドの並びを変えることでは、このサブフィールドボケはなくならない。また、通常の画像表示装置に動画像を表示した際の観測者の表示画像上の視線の動きは、表示画像装置上の画像の動きと強い相関があるため、以下では視線の動きと、画像の動きと特に区別することなく表記するものとする。

図２、図３、図４によりエッジ部が急峻な入力映像信号を例にサブフィールドボケについて説明したが、実際、ＴＶカメラで撮影された映像中のエッジ部分はボケてしまっていることが多い。このような場合、図１（ａ）に示すような昇順コーディングのサブフィールド表示では、図５に示すように入力映像中の動画部において移動方向に沿って信号レベルが減少するエッジ部での視認されるボケの程度は、サブフィールドボケにより入力映像よりも大きくなる。また図１（ｂ）のような降順コーディングにおいては、図６に示すように入力映像中の動画部において移動方向に沿って信号レベルが増加するエッジ部において視認されるボケの程度が大きくなる。

このサブフィールドボケの程度は、入力映像においてエッジ部のボケの程度が大きければ大きいほどより目立つようになる。また、入力映像信号レベルが高ければ高いほど、動画部の移動速度が速ければ速いほど視認されるサブフィールドボケの程度は大きくなる。

また、ここではサブフィールドの並びを図１（ａ）、（ｂ）のように規則的に輝度重みの小さいものから順に並べた場合と、大きいものから順に並べた場合を例に説明したが、不規則に配置した場合でもサブフィールドボケは発生する。

また、フレーム巡回型ノイズ低減装置は、フレーム差分値から動画部の動き量を検出し、動き量に応じて巡回量を制御している。図８は、上部は画素位置と信号レベルの関係を表しており、右側の急峻なエッジを持つ映像信号と左側の傾きを持ったエッジ部が同じ動き幅Ａで左方向に移動した場合の状態を示している。また下部にはそれぞれのエッジ部の現フレーム映像信号と前フレーム映像信号とのフレーム差分値を求めたものを示している。図８の下部に示すフレーム差分値の比較から、同じ動き幅であってもエッジの信号レベル変化の状態によって、求まるフレーム差分値の大きさが異なることがわかる。この事はフレーム差分値から動き量を求める場合、表示映像が同じ動き幅であったとしても、必ずしも同じ動き量を得られないということを意味している。また急峻なエッジ部においてはフレーム差分値は十分に大きな値を得ることができるが、傾きを持ったエッジ部は、得られるフレーム差分値が小さくなるため動き量は小さくなる。したがって巡回量は静止よりに決定され、結果的に尾引きや残像が発生しやすくなる。また、サブフィールドボケは信号レベルが高い場合に、より顕著に発生するため傾きを持ったエッジ付近の信号レベルが高い場合に、サブフィールドボケはさらに悪化してしまうことになる。

したがって、サブフィールド画像表示装置において、先に紹介したフレーム巡回型ノイズ低減装置を用いて、ノイズ除去を行う場合、動画部の空間的な信号レベル変化によっては、得られるフレーム差分値が小さく、動き量も小さくなってしまうため、静止よりの巡回量が決定され、尾引きや残像が発生しやすくなり、結果的にサブフィールドボケを悪化させてしまう。

本発明は、このような問題点を解決するためになされたもので、入力画像信号の信号レベルに応じて動き量の補正を行うことで、差分値が小さい部分においても、動画ボケの発生を抑制し、サブフィールドボケの悪化を防ぎかつノイズ低減効果を維持しながらノイズ低減可能なフレーム巡回型ノイズ低減方法およびノイズ低減装置を提供するものである。

本発明のフレーム巡回型ノイズ低減方法は、入力画像信号の信号レベルに応じて、動き量の補正を行うことを特徴とする。また本発明のノイズ低減装置は、上記フレーム巡回型ノイズ低減方法を用いたフレーム巡回型ノイズ低減装置である。

本発明のフレーム巡回型ノイズ低減方法およびノイズ低減装置によれば、サブフィールド画像表示装置に対して用いることで、ノイズ低減効果を維持しながら、サブフィールドボケの発生を抑制することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図９は本発明の実施の形態１によるフレーム巡回型ノイズ低減方法を説明するためのフレーム巡回型ノイズ低減装置の概略構成を示すブロック図である。上記ノイズ低減装置は、フレームメモリ１０、差分値算出部２０、動き量検出部３０、巡回量決定部４０、乗算器５０、乗算器６０、加算器７０から構成されている。

差分値算出部２０は、１フレーム前の画像信号と現フレームの画像信号とを入力し、それらの差分を求め差分値信号として出力する。差分値信号は、動き量検出部３０に入力される。動き量検出部３０は、差分値算出部２０から出力されたフレーム間の差分信号と現フレーム映像信号に基づき画像中の動画部の動き量を検出するものであり、検出した動き量を現フレーム映像信号の信号レベルに応じて補正処理を行ったものを動き量信号として出力する。動き量信号は、巡回量決定部４０に入力される。

また、巡回量決定部４０は、動き量信号が入力され動き量信号レベル毎に、巡回量を決定し巡回量ｋとして出力する。巡回量ｋは乗算器５０、乗算器６０に入力される。

また、巡回量ｋは画像信号をフレーム周期毎に時間平均する程度を表しており、ｋ＝０の場合は時間平均せず、ｋが大きくなるにつれて時間平均の程度が大きくなる（ただし、０≦ｋ≦１とする）。これは言い換えるとｋが大きくなるにつれてノイズ低減効果は大きくなることを意味している。またその一方で動画部においては動きボケが発生しやすくなることも意味している。

乗算器５０は、入力画像信号、すなわち現フレームの画像信号に（１−ｋ）を乗じる。また、乗算器６０は、フレームメモリ１０からの出力、すなわち前フレームの画像信号に巡回量ｋを乗じる。加算器７０は、乗算器５０および乗算器６０からの出力を加算し出力画像信号として出力する。また、加算器７０からの出力はフレームメモリ１０に蓄積され、次のフレームにおける処理に使用される。

次に、動き量検出部３０の構成および動作について説明する。本実施の形態における動き量検出部３０の概略構成を示すブロック図を図１０に示す。絶対値部３１は、差分値算出部２０から入力される差分信号の絶対値を算出し、絶対値信号を補正部３２に出力する。補正部３２は、絶対値部３１から入力される絶対値信号と現フレーム映像信号が入力される。補正部３２では、現フレーム映像信号の信号レベルに応じて、絶対値部３１からの出力である絶対値信号を補正するための補正値信号を算出する。その補正値信号を加算器３３に出力する。加算器３３では絶対値部３１からの出力である絶対値信号と補正部３２からの出力である補正値信号とを加算し、補正信号としてリミッタ部３４に出力する。リミッタ部３４では、加算器３３からの出力である補正信号に対し、ある値を超えないように制限をかける。例えば動き量として扱う信号が８ビットで最大値が２５５であれば、２５５を超える信号には制限をかけて２５５を出力するようにする。制限をかけたリミッタ信号はローパスフィルタ部３５に入力される。ローパスフィルタ部３５では、フレーム差分信号中にあるノイズによる影響をなるべく抑えるために設けたもので、特に突発的なノイズによる差分値を動きとして扱わないようにするために、平滑化処理を行う。平滑化処理手法としては、一般的なものとしては例えばメディアンフィルタなどがあるが、突発的なノイズによる検出を平滑化により抑えることができるフィルタであれば、他のフィルタを用いても良い。そして、ローパスフィルタ部３５で平滑化処理を行った信号を動き量信号とし巡回量決定部４０に出力する。

巡回量決定部４０は動き量検出部３０からの出力である動き量信号の値を巡回量ｋの値に変換するための変換テーブルを格納したＲＯＭとなっており、入力信号である動き量信号に応じた巡回量ｋを出力する。例えば、動き量と巡回量との関係は図１２に示すような関係となるように、ＲＯＭに変換テーブルを格納する。なお本発明の実施の形態１では動き量と巡回量の関係は図１２に示すような関係を例としているが、これに限定するものではなく、他の関係においても同じ効果を得ることができる。

具体的な動き量補正方法および補正信号算出方法について説明する。

動き量検出部３０では、現フレーム画像信号と前フレーム画像信号との差分値から巡回量を決定するための動き量を算出する。その際に現フレーム画像信号の信号レベルに応じて補正部３２において算出した補正値を動き量に加算し、空間的に現フレーム画像信号の信号レベルが高い部分においては、動き量がなるべく動きよりの値をとるように補正を行う。補正部３２では、絶対値部３１において求めた、現フレーム画像信号と前フレーム画像信号との差分の絶対値である絶対値信号に対し、係数を乗じることで補正値を算出している。また、係数は、絶対値信号を現フレーム画像信号の最大値で除算することで得る。例えば８ビット２５６階調であるならば、最大値は２５５となり、計算式で表すと、係数＝絶対値信号／２５５となる。この係数を絶対値信号に乗じたものと絶対値信号を加算する。また、この加算した結果の値が場合によっては２５５を超える場合がある。たとえば動き量信号を８ビットの信号として扱う場合は、最大値が２５５となるため、超える信号に対しリミッタ部３４においてリミッタ処理を行う。次にリミッタ処理を施したリミッタ信号は、突発的なノイズにより発生したフレーム差分値の動き量への影響を抑制するために、ローパスフィルタ部３５において平滑化処理を施している。平滑化処理を施した結果を動き量信号として、巡回量決定部４０に出力し、巡回量決定部４０では変換テーブルにより動き量信号に応じた巡回量ｋの値が出力されることになる。

図１１はフレーム差分絶対値と動き量の関係を示すグラフで、破線で示すフレーム差分絶対値と補正前動き量との関係と実線で示す補正後のフレーム差分絶対値と動き量との関係の比較を行っている。例えば先に説明した補正方法に従えば、現フレーム映像信号レベルが５０の場合は、補正処理後のフレーム差分絶対値と動き量との関係は、図中入力信号レベル５０の示すラインで表すことができる。また、同じ処理で現フレーム映像信号レベルが１００、２５５の場合のフレーム差分絶対値と動き量の関係は、図中入力信号レベル１００と２５５に示す関係で表すことができる。このように、現フレーム画像信号レベル１〜２５５に対しては、それぞれ対応する補正後のラインは２５５種類存在することになる。本実施の形態では、動き量検出部３０にてリアルタイム処理により、補正された動き量を出力することになる。

図１３は、図８の左側に示す、傾きを持ったエッジ部が、信号レベル最大値が２５５で左に動き、幅Ａ＝５画素／Ｆ（Ｆ：１ＴＶフィールド期間である１６．７ｍｓを示す。）で移動している状態で、下部には各画素位置における動き量の関係を示している。図１３右側には本実施の形態１における補正処理を施した補正処理後の動き量を、左側には補正処理前の動き量を示している。図１１下部の動き量の補正前と補正後を比較すると、補正前に比べて補正処理後の動き量は、より動き量が大きくなる方向に補正されていることがわかる。

図８に示すように、同じ動き幅であってもフレーム差分値の大きさが異なり求まる動き量に大きく差が生じる部分において、入力画像信号レベルに応じて、信号レベルが大きい部分は、より動き量が動きよりに、すなわち動き量が大きくなるように補正することで、動きよりの巡回量が決定されるため、動き部分における尾引きや残像を抑制し、またサブフィールドボケの悪化を防ぐことができる。

このように、本実施の形態におけるノイズ低減装置は、図７に示した従来例とは異なり、現フレーム画像信号レベルに応じて動き量を補正することにより、ノイズ低減効果を維持しながら動画部の映像信号のボケを抑えることができ、サブフィールド画像表示装置に用いる場合、サブフィールドボケの悪化を抑えることができる。

（実施の形態２）
本発明の実施の形態２によるフレーム巡回型ノイズ低減方法を以下に説明する。本実施の形態によるフレーム巡回型ノイズ低減方法を実現するためのノイズ低減装置の概略構成は図９に示すブロック図と同じであるが、実施の形態１において説明したものとは、動き量検出部３０の構成が異なる。すなわち、動き量検出部３０は、実施の形態１では、図１０に示したように、回路によるリアルタイム処理にて補正処理を行うように構成されているが、本実施の形態２では、図１４にその概略構成のブロック図を示すように、補正処理の計算方法は実施の形態１と全く同じであるが、リアルタイム処理を行うのではなく、あらかじめ計算にて求めた現フレーム画像信号レベル毎の各フレーム差分絶対値における補正後の動き量を変換テーブルに格納し、変換テーブルにて補正を行うように構成されている。

図１４に示した動き量検出部３０の構成および動作について以下に説明する。絶対値部３１から出力される現フレーム画像信号と前フレーム画像信号とのフレーム差分値の絶対値信号が、補正変換テーブル３６に入力され、現フレーム映像信号レベルに応じて補正後の補正信号が出力され、実施の形態１と同じように、ローパスフィルタ部３５では、ノイズによる突発的な検出を平滑化処理により抑えるために、例えばメディアンフィルタなどにより、平滑化処理を行う。ローパスフィルタ処理後の信号を動き量信号として巡回量決定部４０に出力する。以降の処理は実施の形態１と同じである。

本発明の実施の形態２においては、動き量補正を変換テーブルにて行うことにより、回路規模を削減し簡単な構成で実現することができる。また、効果は実施の形態１と同じで、現フレーム画像信号レベルに応じて動き量を補正することにより、ノイズ低減効果を維持しながら動画部の映像信号のボケを抑えることができ、サブフィールド画像表示装置に用いる場合、サブフィールドボケの悪化を抑えることができる。

以上述べたように本発明のフレーム巡回型ノイズ低減方法によれば、入力画像信号の１フィールドを複数のサブフィールドに分割し、前記サブフィールド毎の発光の組合せによって表示手段の発光を制御して階調を表現するサブフィールド画像表示装置に対して用いるフレーム巡回型ノイズ低減方法で、例えばＰＤＰ、ＤＭＤ素子を用いたＤＬＰなどの表示デバイスにおいて、動画部の解像度劣化等の動画質劣化を招くことなく映像信号に対し良好なノイズ低減効果を得ることができる。

サブフィールドの並びの例を説明するための図 サブフィールド画像表示における中間調表現の原理を説明するための図 サブフィールド画像表示における動画部解像度劣化のメカニズムを説明するための図 サブフィールド画像表示における動画部解像度劣化の映像信号レベルによる程度の違いを説明するための図 昇順コーディングにおける動画部解像度劣化の例を説明するための図 降順コーディングにおける動画部解像度劣化の例を説明するための図 従来のフレーム巡回型ノイズ低減装置の概略構成を示すブロック図 映像信号レベルの空間的変化の違いによるフレーム差分値の大きさの違いを説明するための図 本発明の実施の形態１によるフレーム巡回型ノイズ低減方法を説明するためのフレーム巡回型ノイズ低減装置の概略構成を示すブロック図 図９に示した動き量検出部の概略構成を示すブロック図 本発明の実施の形態１における現フレーム画像信号レベルによる動き量補正の前と後のフレーム差分値と動き量の関係を示す図 本発明の実施の形態１における動き量と巡回量の関係を示す図 本発明の実施の形態１における動き量補正処理の効果を示す図 本発明の実施の形態２における動き量検出部３０の概略構成を示すブロック図

符号の説明

１０ フレームメモリ
２０ 差分値算出部
３０ 動き量検出部
３１ 絶対値部
３２ 補正部
３３ 加算器
３４ リミッタ部
３５ ローパスフィルタ部
３６ 補正変換テーブル
４０ 巡回量決定部
５０、６０ 乗算器
７０ 加算器

Claims (7)

1. 入力画像信号の１フィールドを複数のサブフィールドに分割し、前記サブフィールド毎の発光の組合せによって表示手段の発光を制御して階調を表現するサブフィールド画像表示装置に対して用い、動き量を検出し前記動き量に応じて巡回量を決定するフレーム巡回型ノイズ低減方法であって、
   前記入力画像信号の信号レベルに応じて前記動き量を補正することを特徴とするフレーム巡回型ノイズ低減方法。
2. 前記動き量は、現フレームの画像信号と前フレームの画像信号とから求めた差分値に基づき検出することを特徴とする請求項１に記載のフレーム巡回型ノイズ低減方法。
3. 前記補正は、現フレームの画像信号の信号レベルに応じて決定される補正値を前記動き量に加算することを特徴とする請求項１に記載のフレーム巡回型ノイズ低減方法。
4. 前記補正値は、前記入力画像信号である現フレーム画像信号とフレームメモリにより１フレーム遅延させた前フレーム画像信号との差分の絶対値に対し前記現フレーム画像信号の信号レベルに応じて決定される係数を乗じたものとすることを特徴とする請求項３に記載のフレーム巡回型ノイズ低減方法。
5. 前記係数は、現フレーム画像信号の信号レベルを現フレーム画像信号の信号レベルの最大値で除算したものとすることを特徴とする請求項４に記載のフレーム巡回型ノイズ低減方法。
6. 前記補正は、前記動き量を現フレーム画像信号レベルに応じて補正後の値に変換する変換テーブルを格納したＲＯＭにより変換することを特徴とする請求項１に記載のフレーム巡回型ノイズ低減方法。
7. 前記巡回量は、前記動き量を前記巡回量に変換する変換テーブルを格納したＲＯＭにより変換することを特徴とする請求項１に記載のフレーム巡回型ノイズ低減方法。

Images