JP2007295224A - 映像処理装置 - Google Patents

Abstract

【課題】ＩＰ変換結果に応じてフィルタリング処理を行い、テクスチャ部分を損なうことなく効果的なノイズの除去を行うことができる映像処理装置を提供する。
【解決手段】デジタル入力されたインターレース信号をプログレッシブ信号に変換するＩＰ変換回路１１を備えた映像処理装置であって、ＩＰ変換回路１１は、プログレッシブ信号に変更する際に補間方式を使用し、補間方式を識別する信号を出力し、ＩＰ変換回路１１で変換されたプログレッシブ信号の各画素について、フィルター重み付け係数の算出を行う回路１２と、識別信号を用いて係数算出回路１２が算出した係数を調整するゲインを出力する回路１４と、係数算出回路１２の係数とゲイン算出回路１４のゲインとを用い、新たに重み付け係数を算出する演算回路１５と、演算回路１５が算出した係数を用いて重み付けされたフィルタリング処理を行う回路１３を備える。
【選択図】図１

Description

本発明は、ＦＰＤ（平面パネル表示装置）のような映像表示システムに関し、特に映像のノイズ成分（特にモスキートノイズ）の除去を行う回路を有する映像処理装置に関する。

従来の放送（たとえば地上アナログ放送）は、ＮＴＳＣやＰＡＬと呼ばれる方式で送信されている。また最近ではデジタル放送などでハイビジョン放送も行われている。これらのアナログ放送やデジタル放送に使われているのは、インターレース走査を特徴とした信号方式である。インターレース走査とは、図５に示すように、１枚のフレームを奇数ラインのフィールドと偶数ラインのフィールドで構成する方式である。この方式は、ＣＲＴ（陰極線管）を用いた映像表示システムでは、垂直周波数が向上するためフリッカーの低減に効果がある。また奇数ラインのフィールドと偶数ラインのフィールドを、時間軸上で連続した異なる画像から作成する場合に、動きのある物体をよりなめらかに表示することができる。

ＬＣＤ（液晶表示）パネルを用いた映像表示システム等では、ＣＲＴを用いた映像表示システムとは異なり、表示方式としてプログレッシブ信号を出力する必要がある。この場合に用いられるインターレース信号を、プログレッシブ信号に変換することを、ＩＰ（インターレース信号−プログレッシブ信号）変換という。このＩＰ変換には様々な表示画像の補間方式があり、たとえば（１）フィールドの各ラインを２回出力する方式、（２）２枚のフィールドを重ね合わせる方式、（３）上下のラインから各画素をフィルタリングして補間する方式、（４）前後のフィールドから動きベクトルを算出してその動きベクトルを用いて補間する方式などである。

昨今の映像表示システムでは表示領域が大型化されていることにより、より高画質なＩＰ変換を行うことが求められている。補間方式のうち、（４）の動きベクトルを用いて補間する方式は、より高画質な映像を得るための一つの手段であり、特に画面全体が左右に等速で動くような映像や、映像の一部がその形を保ったまま移動する場合には効果的に働き、物体の形状が損なわれず高画質な補間が行われる。

図７は、従来例の映像処理装置を示す。図７に示すＩＰ変換回路１１は、入力端子１０に入力したデジタルのインターレースＹＣｂＣｒ信号をプログレッシブＳＩＧ信号に変換する。このＩＰ変換回路１１では、前後のフィールドのデータから新たなフィールドの信号を作成する。新たに作り出されたフィールド信号と入力のフィールド信号で１フレームを構成して、フィルター回路１３に入力される。また、係数算出回路１２は、入力信号から輪郭部分の抽出などを行い、輪郭部分は弱く、平面の部分は強く等、各画素単位でフィルターの重み付けの係数を算出する。フィルター回路１３は、係数算出回路１２から与えられた重み付けの係数ｃｏｅｆにより、各画素単位でフィルタリング処理を行い、ノイズ成分を除去する。このように、ノイズ除去を行うに当たり、従来では、特許文献１にあるように映像の輪郭情報から画素の重み付けを決定し、輪郭情報を損なわずにフィルタリング処理を行っている。
特開平２００４−３３６６５２号公報

しかしながら、従来技術のようなフレーム内で係数ｃｏｅｆを算出するような方式では、輪郭の有り無しのみで重み付けの係数が決められてしまうため、静止部分の細かいテクスチャ部分もノイズと判断してフィルタリングしてしまうため、解像度感が損なわれる等の弊害が発生する。

そこで、本発明は、上記課題を解決するためになされたものであり、ＩＰ変換結果に応じてフィルタリング処理を行い、テクスチャ部分を損なうことなく効果的なノイズの除去を行うことができ、映像のノイズ成分（特にモスキートノイズ）の除去を行う映像処理装置を提供することを目的とする。

上記課題を解決するために、第１の発明は、映像処理システムに用いられ、デジタルで入力されたインターレース信号をプログレッシブ信号に変換するＩＰ変換回路を備えた映像処理装置であって、上記ＩＰ変換回路は、入力されたインターレース信号からプログレッシブ信号に変換する際に、補間方式を使用すると共に、使用した補間方式を識別することが可能な識別信号を出力する回路を有しており、上記ＩＰ変換回路で変換されたプログレッシブ信号の各画素について、フィルターの重み付けの係数の算出を行う係数算出回路と、上記ＩＰ変換回路が出力した識別信号を用いて、上記係数算出回路が算出した係数を調整するゲインを出力するゲイン算出回路と、上記係数算出回路が算出した重み付け係数と上記ゲイン算出回路が出力したゲインとを用いて新たに重み付けの係数を算出する演算回路と、上記演算回路が算出した重み付けの係数を用いて重み付けされたフィルタリグ処理を行うフィルター回路を備えたことを特徴とする。

また、第２の発明は、上記ＩＰ変換回路の入力側に接続され、アナログのＹＣｂＣｒ信号をデジタルのコンポーネントＹＣｂＣｒ信号に変換するＡＤコンバーターを備えたことを特徴とする。

第３の発明は、上記ＩＰ変換回路の入力側に接続され、デジタルのＲＧＢ信号を、デジタルのコンポーネントＹＣｂＣｒ信号に変換する色空間変換用のマトリックス演算回路を備えたことを特徴とする。

第４の発明は、上記係数算出回路が、上記ＩＰ変換回路で用いられているブロックのサイズを基準として、重み付けの係数を算出する機能を備えたことを特徴とする。

第５の発明は、上記係数算出回路が、上記ＩＰ変換回路で用いられているブロックのサイズに対し，縦方向を２倍にしたサイズを基準として重み付けの係数を算出する機能を備えたことを特徴とする。

本発明によれば、ＩＰ変換結果に応じてフィルタリング処理を行い、テクスチャ部分を損なうことなく効果的なノイズの除去を行う映像処理装置を得ることができる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。
図１は、本発明の映像処理装置の好ましい実施形態を示すブロック図である。本実施形態の映像処理装置は、映像表示システムに用いられ、ＩＰ変換回路１１と、係数算出回路１２と、フィルター回路１３と、ゲイン算出回路１４と、演算回路１５と、入力端子１０及び出力端子１７を備えている。

本実施形態におけるＩＰ変換回路１１は、入力端子１０に入力したデジタルのインターレース信号、例えばインターレースＹＣｂＣｒ信号を、プログレッシブ信号に変換する。ＩＰ変換回路１１は、前後のフィールドのデータから、各画素単位、もしくは複数の画素で構成された各ブロック単位で動きベクトルを求め、その動きベクトルの値と確からしさにより、入力されたフィールドのペアとなるフィールド信号を作成する補間方式を決定し、新たなフィールドの信号を作成する。この各ブロックは、Ｎ×Ｍ画素で構成され、Ｎは縦方向の画素数であり、Ｍは横方向の画素数である。新たに作り出されたフィールド信号と入力のフィールド信号とで１フレームを構成し、この１フレームの新たに作り出されたフィールド信号と入力のフィールド信号ＳＩＧは、フィルター回路１３に入力される。

また、各画素もしくは各ブロック単位で、新たに作成した信号に対応した補間方式の識別信号ＩＡが、ゲイン算出回路１２に入力される。この補間方式の識別信号ＩＡは、図６に示すように、補間方式を画素単位またはブロック単位で判断できるような情報である。図６に示すように、補間方式の識別信号ＩＡは、（１）図４に示す第１フィールドと第２フィールドを重ね合わせ、（２）動きベクトルを用いて補間し、（３）入力信号をコピーして、（４）フィールド内でフィルタリングすることを含む。

ここで、補間方式の識別信号ＩＡの作成方式を、図４に基づき説明する。図４に示すフレーム０１の第１フィールドの入力フィールド１１、フレーム０２の第２フィールドの入力フィールド２２、フレーム０３の第１フィールドの入力フィールド３１は、この順番に入力端子１０からＩＰ変換回路１１に入力される。ＩＰ変換回路１１では、新たに作成するフィールドのあるブロックを中心にして、入力フィールド１１と入力フィールド３１から同じ形をした領域をそれぞれ探索する。前後への動きベクトルが一致した場合は、その動きベクトルの情報を基にして、フィールド２１の前後のフィールド（この場合は入力フィールド１１と入力フィールド３１）から画像の補間を行い出力フレーム０２のデータを作成する。動きがないと判断した場合は、入力フィールド１１と入力フィールド２２を重ね合わせて出力フレーム０２のデータを作成する。図１の補間方式の識別信号ＩＡとしては、物体のあるエリアは動きベクトルを用いて補間されたことを示す信号が出力され、それ以外の物体のないエリアは重ね合わせて出力されたことを示す信号が出力される。

図４に示す例は完全に一致する精度の高い場合であるが、エリア内の全領域が一致していないような精度が劣る場合は、動きベクトルを用いて補間した画像と、他のたとえばフィールド内でフィルタリングして補間した画像をブレンドして出力データを作成する。その場合は補間方式の識別信号ＩＡもブレンドされたことを明示するような値を出力する。

また、図４に示す補間方式の識別信号ＩＡでは、動きベクトルを用いて補間したエリアは、斜線で示すように複数の画素からなるブロックそのままの形状で出力されているが、各画素に対して動きベクトルの検出精度によって重み付けを行い、画素単位に出力する方法が考えられる。図４において、斜線で示す複数の画素からなるブロック以外の部分は、フィールドを重ね合わせて補間した領域である。

次に、図１のフィルター回路１３は、ＩＰ変換回路１１から入力された入力信号ＳＩＧに対して、補間方式の識別信号ＩＡに応じたゲインＧＡで輪郭強調処理を行う。

図１の係数算出回路１２は、入力信号ＳＩＧから画像の輪郭部分の抽出を行い、輪郭部分は弱く、平坦な部分は強くフィルタリングされるようなフィルターに対する重み付けの係数ｃｏｅｆを生成して出力する。この時、補間方式の識別信号ＩＡとの相関を考慮して、ＩＰ変換回路で動きベクトルを算出する場合に用いられたブロックの大きさ（Ｎ×Ｍ画素または２Ｎ×Ｍ画素で構成される）に画像を切り分けて、その中で輪郭部分の抽出および係数の算出を行うことも考えられる。

次に、図１のゲイン算出回路１４は、入力された各画素もしくはブロックに対応する補間方式の識別信号ＩＡに応じたゲイン係数ＧＡを算出して出力する。本発明の実施形態では、識別信号ＩＡの内容から、図５に示すゲイン設定例にように、たとえば、前後のフィールドの重ね合わせで補間された場合は静止領域と判断できるため、ゲイン係数ＧＡの値を小さくし、動きベクトルを用いた補間が行われた部分に対しては動きがあるが高画質な画像と判断できるためゲイン係数ＧＡの値を中程度にし、フィールド内のフィルタリング等で補間が行われた場合は動きが激しい画像と判断できるためゲイン係数ＧＡの値を大きく設定する。

図１に示すように、演算回路１５は、このゲイン係数ＧＡと、係数算出回路１２で作成した重み付けの係数ｃｏｅｆとの演算を行い、新たな重み付けの係数ｃｏｅｆ２を生成してフィルター回路１３に与える。フィルター回路１３は、新たな重み付けの係数ｃｏｅｆ２によって、入力信号ＳＩＧをフィルタリングし、ノイズの除去、特に映像のノイズ成分（特にモスキートノイズ）の除去を行う。

図２は、アナログ信号をデジタル信号に変換するＡＤコンバーター１８を示す。ＡＤコンバーター１８の入力端子２０ｙ、２０ｂ、２０ｒにはアナログ信号であるインターレースＹＣｂＣｒ信号をそれぞれ入力し、ＡＤコンバーター１８はアナログ信号であるインターレースＹＣｂＣｒ信号をデジタルのインターレースＹＣｂＣｒ信号に変換してから、輪郭強調回路の入力として図１のＩＰ変換回路１１の入力端子１０に入力する。このように、ＡＤコンバーター１８を使用しても同様の効果を得ることが可能となる。これにより、入力信号として、デジタル信号だけでなくアナログ信号をも使用することができ、例えばＶＴＲ（ビデオテープレコーダ）やＤＶＤ（デジタルバーサタイルディスク）の再生等のアナログ信号入力にも同様の効果を得ることができる

図３は、デジタルのＲＧＢ（赤、緑、青）信号をデジタルのインターレースＹＣｂＣｒ信号に変換するマトリックス演算回路１９を示す。マトリックス演算回路１９の入力端子２２にはデジタルのＲＧＢ信号が入力されることで、デジタルのインターレースＹＣｂＣｒ信号を輪郭強調回路の入力として図１のＩＰ変換回路１１の入力端子１０に入力する。これにより、マトリックス演算回路１９は、色空間が異なる信号においても、輪郭強調回路を適用できるだけでもなく、デジタルのインターレースＹＣｂＣｒ信号でも変換係数が異なる信号を、同じ色空間に変換することが可能となり、コンピュータからの入力されるＲＧＢ信号に対しても、同様の効果を得ることができる。なお、図３におけるマトリックス演算回路１９の演算例としては、次の通りである。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．２９９Ｒ―０．５８７Ｇ＋０．８８６Ｂ
Ｃｒ＝０．７０１Ｒ―０．５８７Ｇ―０．１１４Ｂ

本発明の実施形態では、係数算出回路１２で重み付け係数ｃｏｅｆを算出する際に、ＩＰ変換回路１１で画像の動きを検出するために用いたブロックのサイズ（Ｎ×Ｍ画素）を単位として重み付けの係数ｃｏｅｆを算出する。あるいは、係数算出回路１２で重み付け係数ｃｏｅｆを算出する際に、ＩＰ変換回路１１で動きを検出するために用いたブロックのサイズを縦方向の２倍にしたサイズ（２Ｎ×Ｍ画素）を単位として重み付けの係数ｃｏｅｆを算出する。

以上本発明の実施形態を説明したが、本発明は、上記実施形態に限定されず、特許請求の範囲を逸脱しない範囲で種々の変形例を採用できる。

本発明の実施形態１である輪郭強調回路を備える映像処理装置を示すブロック図である。 本発明の映像処理装置の実施形態２におけるＡＤコンバーターを示す図である。 本発明の映像処理装置の実施形態３におけるマトリックス演算回路を示す図である。 本発明の実施形態における動きベクトルを用いた補間の例を示す。 一般的なフィールドとフレームの関係を示す。 本発明の実施形態における補間方式の例を示す。 従来例を示すブロック図である。

符号の説明

１０・・・デジタル入力端子、１１・・・ＩＰ変換回路、１２・・・係数算出回路、１３・・・フィルター回路、１４・・・ゲイン算出回路、１５・・・演算回路、１７・・・出力端子、１８・・・ＡＤコンバーター、１９・・・マトリックス演算回路、２０ｙ，２０ｂ，２０ｒ・・・アナログ入力端子、２２・・・ＲＧＢ信号入力端子、ｃｏｅｆ・・・フィルターの重み付けの係数、ＩＡ・・・補間方式を識別する識別信号、ＧＡ・・・識別信号ＩＡにより係数ｃｏｅｆを調整するゲイン、ｃｏｅｆ２・・・新たな重み付けの係数

Claims (5)

1. 映像処理システムに用いられ、デジタルで入力されたインターレース信号をプログレッシブ信号に変換するＩＰ変換回路を備えた映像処理装置であって、
   上記ＩＰ変換回路は、入力されたインターレース信号からプログレッシブ信号に変更する際に補間方式を使用すると共に、使用した補間方式を識別することが可能な識別信号を出力する回路を有しており、
   上記ＩＰ変換回路で変換されたプログレッシブ信号の各画素について、フィルターの重み付けの係数の算出を行う係数算出回路と、上記ＩＰ変換回路が出力した識別信号を用いて、上記係数算出回路が算出した係数を調整するゲインを出力するゲイン算出回路と、上記係数算出回路が算出した重み付け係数と上記ゲイン算出回路が出力したゲインとを用いて、新たに重み付けの係数を算出する演算回路と、上記演算回路が算出した係数を用いて重み付けされたフィルタリング処理を行うフィルター回路を備えたことを特徴とする映像処理装置。
2. 上記ＩＰ変換回路の入力側に接続され、アナログのＹＣｂＣｒ信号をデジタルのコンポーネントＹＣｂＣｒ信号に変換するＡＤコンバーターを備えた請求項１に記載の映像処理装置。
3. 上記ＩＰ変換回路の入力側に接続され、デジタルのＲＧＢ信号を、デジタルのコンポーネントＹＣｂＣｒ信号に変換する色空間変換用のマトリックス演算回路を備えた請求項１に記載の映像処理装置。
4. 上記係数算出回路が、上記ＩＰ変換回路で用いられているブロックのサイズを基準として、重み付けの係数を算出する機能を備えた請求項１に記載の映像処理装置。
5. 上記係数算出回路が、上記ＩＰ変換回路で用いられているブロックのサイズに対し、縦方向を２倍にしたサイズを基準として重み付けの係数を算出する機能を備えた請求項１に記載の映像処理装置。