JP2006339929A - ライン数変換装置 - Google Patents

Abstract

【課題】 本発明は、ライン数変換装置に関し、例えばＨＤＴＶアップコンバータ等に適用して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができるようにする。
【解決手段】 本発明は、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４を評価する評価値を計算し、この評価値に基づいて重み係数ｋ１、ｋ２を生成して動き補正フィールド間ライン内挿信号Ｓ３とフィールド内ライン内挿信号Ｓ４とを重み付け加算する。
【選択図】 図１

Description

本発明は、ライン数変換装置に関し、例えばＨＤＴＶ（High Definition Television）アップコンバータ等に適用することができる。本発明は、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算することにより、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができるようにする。

従来、ＨＤＴＶアップコンバータ等では、ライン内挿処理により入力ビデオ信号のライン数を増大させて所望するビデオ信号を生成している。このようなライン内挿処理では、動きのある部分ではフィールド内ライン内挿処理によりライン内挿処理を実行し、静止した部分ではフィールド間ライン内挿処理によりライン内挿処理を実行し、これにより解像度の劣化を防止するように構成される。

しかしながらこの方法では、静止した部分については、解像度の劣化を防止できるものの、動きのある部分については、解像度の劣化を防止することが困難な欠点がある。このため動きベクトルを用いて動き補正した後、フィールド間ライン内挿処理をする動き補正フィールド間ライン内挿処理が提案されている（日経エレクトロニクス1999．10．4 （no.753）頁41〜47）。

なお動きベクトルを用いたビデオ信号の処理は、ビデオ信号の高能率符号化におけるフレーム間符号化処理、ビデオ信号のライン数の変換処理等に利用されており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報等にパターンマッチング法による動きベクトルの検出手法が開示されており、また特開昭６０−１５８７８６号公報等に反復勾配法による動きベクトルの検出手法が開示されている。

しかしながら動き補正フィールド間ライン内挿処理では、動きベクトルの誤検出により画像歪みが発生する問題がある。

特に、フィールド間で動きベクトルを検出する場合、インターレース方式のビデオ信号において、隣接するフィールド間でラインが相違することにより、このラインの相違を補正する重心補正処理が必要となる。しかしながらこの重心補正処理は、２次元又は３次元のフィルタ処理であり、ライン方向の画像相関が小さい画像では、静止画の場合でも、重心補正してフィールド間差分値を計算すると、値０にはならない。具体的に、クロスハッチによるインターレースのビデオ信号を重心補正処理したところ、フィールド間で画像の広がりが異なり、これによりフィールド間差分値が値０とならないことが判った。

勾配法により動きベクトルを検出する場合に、このようにフィールド間差分値が値０とならないと、静止画像であっても動きベクトルが検出されることになる。これにより正しく動き補正することが困難になり、動き補正フィールド間ライン内挿処理では、画像歪みが発生することになる。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報 日経エレクトロニクス1999．10．4 （no.753）頁41〜47

本発明は以上の点を考慮してなされたもので、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができるライン数変換装置を提案しようとするものである。

かかる課題を解決するため請求項１の発明は、入力ビデオ信号のライン数を増大させて出力ビデオ信号を出力するライン数変換装置に適用して、前記入力ビデオ信号の動きベクトルをマクロブロック毎に検出する動きベクトル検出回路と、前記動きベクトルにより前記入力ビデオ信号を動き補正してフィールド間でライン内挿処理することにより、動き補正フィールド間ライン内挿信号を生成するフィールド間ライン内挿回路と、前記入力ビデオ信号をフィールド内でライン内挿処理することにより、フィールド内ライン内挿信号を生成するフィールド内ライン内挿回路と、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号を評価する評価値を計算し、前記評価値に基づいて、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号の重み係数を生成する評価回路と、前記重み係数により、前記動き補正フィールド間ライン内挿信号及び前記フィールド内ライン内挿信号を重み加算して前記出力ビデオ信号を生成する加算回路とを備えるようにする。

また請求項２の発明は、請求項１の構成において、前記評価回路は、前記動きベクトルによる動き量により前記評価値を設定し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記動き量が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。

また請求項３の発明は、請求項１の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フィールド間差分絶対値を計算する動き補正フィールド間差分値計算回路と、前記入力ビデオ信号のフィールド間差分絶対値を計算するフィールド間差分値計算回路と、前記動き補正フィールド間差分絶対値と、前記フィールド間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。

また請求項４の発明は、請求項１の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算する動き補正フレーム間差分値計算回路と、前記入力ビデオ信号のフレーム間差分絶対値を計算するフレーム間差分値計算回路と、前記動き補正フレーム間差分絶対値と、前記フレーム間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。

また請求項５の発明は、請求項１、請求項２、請求項３又は請求項４の構成において、前記動きベクトル検出回路は、前記入力ビデオ信号のフレーム間で前記動きベクトルを検出する。

また請求項６の発明は、請求項１の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算して前記評価値を検出し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。

また請求項７の発明は、請求項１の構成において、前記評価回路は、前記動きベクトルによる動き量による評価値と、動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値による評価値と、動き補正フレーム間差分絶対値による評価値とにより、前記重み係数を生成する。

請求項１の構成により、入力ビデオ信号のライン数を増大させて出力ビデオ信号を出力するライン数変換装置に適用して、前記入力ビデオ信号の動きベクトルをマクロブロック毎に検出する動きベクトル検出回路と、前記動きベクトルにより前記入力ビデオ信号を動き補正してフィールド間でライン内挿処理することにより、動き補正フィールド間ライン内挿信号を生成するフィールド間ライン内挿回路と、前記入力ビデオ信号をフィールド内でライン内挿処理することにより、フィールド内ライン内挿信号を生成するフィールド内ライン内挿回路と、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号を評価する評価値を計算し、前記評価値に基づいて、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号の重み係数を生成する評価回路と、前記重み係数により、前記動き補正フィールド間ライン内挿信号及び前記フィールド内ライン内挿信号を重み加算して前記出力ビデオ信号を生成する加算回路とを備えるようにすれば、急激な特性の変化を有効に回避して動き等に応じてフィールド内ライン内挿信号と動き補正フィールド間ライン内挿信号とを切り換えて出力することができ、これにより動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

また請求項２の構成により、請求項１の構成において、前記評価回路は、前記動きベクトルによる動き量により前記評価値を設定し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記動き量が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動きベクトルにより評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

また請求項３の構成により、請求項１の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フィールド間差分絶対値を計算する動き補正フィールド間差分値計算回路と、前記入力ビデオ信号のフィールド間差分絶対値を計算するフィールド間差分値計算回路と、前記動き補正フィールド間差分絶対値と、前記フィールド間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値により評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

また請求項４の構成により、請求項１の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算する動き補正フレーム間差分値計算回路と、前記入力ビデオ信号のフレーム間差分絶対値を計算するフレーム間差分値計算回路と、前記動き補正フレーム間差分絶対値と、前記フレーム間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動き補正フレーム間差分絶対値とフレーム間差分絶対値との差分値により評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

また請求項５の構成により、請求項１、請求項２、請求項３又は請求項４の構成において、前記動きベクトル検出回路は、前記入力ビデオ信号のフレーム間で前記動きベクトルを検出すれば、重心補正による特性の劣化を防止することができる。

また請求項６の構成により、請求項１の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算して前記評価値を検出し、前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動き補正フレーム間差分絶対値により評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

また請求項７の構成により、請求項１の構成において、前記評価回路は、前記動きベクトルによる動き量による評価値と、動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値による評価値と、動き補正フレーム間差分絶対値による評価値とにより、前記重み係数を生成すれば、これらの評価値の切り換え、総合的な判定等により、より適切に重み係数を設定することができ、これにより一段と確実に解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

本発明によれば、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１に係るライン数変換装置を示すブロック図である。このライン数変換装置１は、例えばＨＤＴＶアップコンバータに適用されて、入力ビデオ信号Ｓ１のライン数を変換して出力ビデオ信号Ｓ２により出力する。

すなわちこのライン数変換装置１において、動きベクトル検出回路２は、入力ビデオ信号Ｓ１のフィールド間の動きベクトルＶをマクロブロック毎に検出して出力する。なおこの動きベクトルＶの検出は、ブロックマッチング法、勾配法等、種々の手法を広く適用することができる。

動き補正フィールド間ライン内挿回路３は、この動きベクトルＶを用いて入力ビデオ信号Ｓ１を動き補正した後、フィールド間ライン内挿処理し、これにより動き補正フィールド間ライン内挿処理による動き補正フィールド間ライン内挿信号Ｓ３を生成して出力する。

フィールド内ライン内挿回路４は、入力ビデオ信号Ｓ１をフィールド内ライン内挿処理し、これによりフィールド内ライン内挿信号Ｓ４を生成して出力する。

加算回路５は、動き補正フィールド間ライン内挿信号Ｓ３とフィールド内ライン内挿信号Ｓ４とを所定の重み係数ｋ１、ｋ２により重み加算して出力ビデオ信号Ｓ２を生成する。

評価回路６は、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４を評価する評価値αを計算し、この評価値αに基づいて、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４の重み係数ｋ１、ｋ２を設定する。評価回路６は、この評価値αを入力ビデオ信号Ｓ１の動き量より検出し、動き量が大きい場合程、動き補正フィールド間ライン内挿信号Ｓ３の重み係数ｋ１に比して、フィールド内ライン内挿信号Ｓ４の重み係数ｋ２が増大するように、重み係数ｋ１、ｋ２を生成する。これによりこのライン数変換装置１では、動き補正フィールド間ライン内挿信号Ｓ３を用いて解像度の劣化を防止しつつ、動きベクトルの誤検出による歪みを低減する。

図２は、この評価回路６の詳細構成を示すブロック図である。この評価回路６において、２乗回路７及び８は、それぞれ動きベクトルＶのＸ方向成分値Ｖｘ及びＹ方向成分値Ｖｙをそれぞれ入力して２乗値を計算する。

加算回路９は、これら２乗回路７及び８で計算される２乗値を加算し、これにより動きベクトルの長さによる動き量α（＝Ｖｘ×Ｖｘ＋Ｖｙ×Ｖｙ）により評価値を検出する。なおここで動き量は、各方向成分値の２乗和に代えて、この２乗和の平方根（（Ｖｘ×Ｖｘ＋Ｖｙ×Ｖｙ）^1/2）を適用するようにしてもよい。またＸ方向成分値Ｖｘ及びＹ方向成分値Ｖｙをそれぞれ独立に処理して各方向について重み係数を生成し、これを合成して重み係数ｋ１、ｋ２としてもよい。

比較回路１０、１１は、それぞれしきい値α１、α２により加算回路９の評価値αを判定して判定結果を出力する。なおここでα１＜α２であり、この実施例では、α１＝３．００、α２＝６．００とした。

正規化回路１２は、加算回路９の出力値αを正規化することにより、評価値αがα１〜α２の範囲で、この評価値αの値に応じて値が変化する演算結果を出力する。なおここでこの実施例では、この演算結果を３ビットにより表現した。

加算比生成回路１３は、比較回路１０、１１の比較結果、正規化回路１２の演算結果に基づいて、入力ビデオ信号Ｓ１の評価値が大きい場合程、動き補正フィールド間ライン内挿信号Ｓ３の重み係数に比して、フィールド内ライン内挿信号Ｓ４の重み係数が増大するように、重み係数ｋ１、ｋ２を生成する。

具体的に加算比生成回路１３は、図３に示すように、評価値αが、値の大きい側のしきい値α２より大きい場合、加算回路５からフィールド内ライン内挿信号Ｓ４を選択的に出力するように、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４の重み係数ｋ１及びｋ２をそれぞれ値０、値１に設定する。

また評価値αが、値の小さい側のしきい値α１より小さい場合、加算回路５から動き補正フィールド間ライン内挿信号Ｓ３を選択的に出力するように、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４の重み係数ｋ１及びｋ２をそれぞれ値１、値０に設定する。

これに対して評価値αが、しきい値α１〜α２の間である場合（α１＜α＜α２）、正規化回路１２からの出力値により、評価値αが増大するに従って、フィールド内ライン内挿信号Ｓ４の重み係数ｋ２を増大させ、またこの重み係数ｋ２と相補的に値が変化するように重み係数ｋ１を設定する。

（２）実施例の動作
以上の構成において、このライン数変換装置１では、入力ビデオ信号Ｓ１の動きベクトルＶが動きベクトル検出回路２で検出され、動き補正フィールド間ライン内挿回路３で、この動きベクトルＶを用いて入力ビデオ信号Ｓ１の前フィールドが動き補正される。またさらにこの動き補正された前フィールドと現フィールドとの間のフィールド間ライン内挿処理により、動き補正フィールド間ライン内挿信号Ｓ３が生成される。またフィールド内ライン内挿回路４において、現フィールドのライン内挿処理により、フィールド内ライン内挿信号Ｓ４が生成される。

しかして入力ビデオ信号Ｓ１の動きが大きい場合、この入力ビデオ信号Ｓ１は解像度が低下しており、この場合、フィールド内ライン内挿信号Ｓ４を選択してライン内挿信号Ｓ２として出力しても、何ら解像度の劣化を知覚し得ない。またこのようにライン内挿信号Ｓ２を選択する場合には、動きベクトルを用いた動き補正フィールド間ライン内挿信号Ｓ３を使用しないことにより、その分、動きベクトルの誤検出による歪みの発生を低減することができる。これにより入力ビデオ信号Ｓ１の動きが大きい場合、フィールド内ライン内挿信号Ｓ４は、高く評価することができるのに対し、動き補正フィールド間ライン内挿信号Ｓ３については、評価が低くなる。

これに対して解像度の劣化が目立つのは、入力ビデオ信号Ｓ１の解像度が高い場合であり、入力ビデオ信号Ｓ１の動きが小さい場合である。これによりこの場合、動き補正フィールド間ライン内挿信号Ｓ３を高く評価することができるのに対し、フィールド内ライン内挿信号Ｓ４は、評価が低くなる。

これによりこのライン数変換装置１では、入力ビデオ信号Ｓ１の動き量を動きベクトルＶにより検出して評価値αを計算し、この評価値αにより重み係数ｋ１、ｋ２を生成して動き補正フィールド間ライン内挿信号Ｓ３とフィールド内ライン内挿信号Ｓ４とを重み付け加算し、これにより動き補正フィールド間ライン内挿処理Ｓ３を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

具体的に、評価値αが大きい場合には、フィールド内ライン内挿信号Ｓ４を優先するようにこの重み加算の重み係数ｋ１、ｋ２が設定され、これにより解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

すなわちこのライン数変換装置１では、動きベクトル検出回路２で検出される動きベクトルＶについて、この動きベクトルＶのｘ方向及びｙ方向成分の２乗和αが計算され、これにより動きベクトルＶにより入力ビデオ信号Ｓ１の評価値αが検出される。また評価値αが第１のしきい値α２より大きい場合、フィールド内ライン内挿信号Ｓ４を選択的に出力するように重み係数ｋ１、ｋ２が設定され、評価値αが第１のしきい値α２より小さく、かつ第２のしきい値α１より大きい場合、評価値が大きくなるに従って、加算回路５から出力するフィールド内ライン内挿信号Ｓ４が増大するように重み係数ｋ１、ｋ２が設定され、評価値αが第２のしきい値α１より小さい場合、動き補正フィールド間ライン内挿信号Ｓ３を選択的に出力するように重み係数ｋ１、ｋ２が設定される。

これにより動き補正フレーム間ライン内挿処理に使用する動きベクトルを有効に利用して、入力ビデオ信号Ｓ１の動きに応じて重み係数を可変してライン内挿信号Ｓ２を生成することができ、簡易な構成により、解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。

またこのように評価値αが第１及び第２のしきい値α２及びα１の間で、評価値αが大きくなるに従って、加算回路５から出力するフィールド内ライン内挿信号Ｓ４が増大するように重み係数ｋ１、ｋ２が設定されることにより、出力ビデオ信号Ｓ２における急激な特性の変化を有効に回避することができる。

（３）実施例の効果
以上の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算することにより、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。またさらに重み係数を用いた加算処理であることにより、出力ビデオ信号における急激な特性の変化を防止することができる。

またこの評価値を動きベクトルにより検出するようにして、この評価値が第１のしきい値より大きい場合、第２のしきい値より小さい場合、それぞれフィールド内ライン内挿信号、動き補正フィールド間ライン内挿信号を選択出力することにより、この評価値が第１のしきい値から第２のしきい値までの範囲で重み加算することにより、簡易な構成により、解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができ、またさらに出力ビデオ信号Ｓ２における急激な特性の変化を有効に回避することができる。

図４は、図１との対比により本発明の実施例２に係るライン数変換装置を示すブロック図である。このライン数変換装置２１において、図１について上述したライン数変換装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

このライン数変換装置２１において、前置フィルタ２２は、入力ビデオ信号Ｓ１の帯域を制限して動きベクトルの誤検出を防止する。またフィールド間の重心補正の処理を併せて実行する。

遅延回路（Ｄ）２３、２４は、この前置フィルタ２２から出力されるビデオ信号を順次１フィールドづつ遅延させて出力する。

動きベクトル検出回路２５は、遅延回路２４から出力されるビデオ信号を基準にして、前置フィルタ２２から出力されるビデオ信号の動きベクトルを検出し、これによりフレーム間で動きベクトルを検出する。またこの検出した動きベクトルを１／２にしてフィールド間による動きベクトルＶに補正して出力する。

動き補正回路２６は、この動きベクトル検出回路２５から出力されるフィールド間による動きベクトルＶを用いて、遅延回路２３から出力されるビデオ信号を動き補正し、これにより動き補正した前フィールドのビデオ信号である動き補正フィールド信号Ｓ５を生成する。

差分絶対値回路２７は、この動き補正フィールド信号Ｓ５と前置フィルタ２２から出力されるビデオ信号との間で、差分値を計算して絶対値化する。さらにこの絶対値化した差分値を所定ブロック単位で累積加算し、これにより動き補正フィールド間差分絶対値β１を検出する。なおここでこの累積加算に供するブロックは、動きベクトル検出回路２５における動きベクトル検出単位であるマクロブロックより小さいことが望ましい。

差分絶対値回路２８は、遅延回路２３から出力されるビデオ信号と前置フィルタ２２から出力されるビデオ信号との間で、差分値を計算して絶対値化する。さらにこの絶対値化した差分値を差分絶対値回路２７の処理に係るブロックと同一のブロック単位で累積加算し、これによる動き補正しない場合のフィールド間差分絶対値β２を検出する。

評価回路２９は、これら差分絶対値β１、β２の差分値を計算して評価値β１−β２を検出する。すなわちこのようにして検出される評価値β１−β２は、動き補正した場合のフィールド間差分絶対値と、動き補正していない場合のフィールド間差分絶対値との減算値であることにより、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４の評価に利用することができ、評価値β１−β２が大きい場合には、動き補正した前フィールドより動き補正していない前フィールドの方が、現フィールドに類似の程度が大きいと言える。

これにより評価回路２９は、図５に示すように、評価回路６におけるしきい値α１、α２に代えて、この評価値β１−β２に対応するしきい値β３、β４（β３＜β４）を適用して、評価回路６と同様に評価値β１−β２を判定、正規化して重み係数ｋ１、ｋ２を生成する。

すなわち評価値β１−β２が第１のしきい値β４より大きい場合、動き補正することによりフィールド間差分値が増大することにより、この場合、動きベクトルＶを用いた動き補正は信頼性の欠ける処理であると言える。これによりこの場合、評価回路２９は、フィールド内ライン内挿信号Ｓ４を選択的に出力するように重み係数ｋ１、ｋ２を設定する。

また評価値β１−β２が第２のしきい値β３より小さい場合、動き補正した場合の方がフィールド間差分値が小さいことにより、この場合、動きベクトルＶを用いた動き補正は信頼性の高い処理であると言える。また重心補正による影響も少ないものであると言える。これによりこの場合、評価回路２９は、動き補正フィールド間ライン内挿信号Ｓ３を選択的に出力するように重み係数ｋ１、ｋ２を設定する。

これに対して評価値β１−β２が第１及び第２のしきい値β４及びβ３の範囲に位置する場合、評価値β１−β２の値が大きくなるに従って、加算回路５から出力するフィールド内ライン内挿信号が増大するように重み係数ｋ１、ｋ２を設定する。なおこの実施例では、この評価値β１−β２に対応して４ビットにより重み係数ｋ１、ｋ２を制御した。

この実施例の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動き補正フィールド間差分絶対値と動き補正していないフィールド間差分絶対値との差分値を評価値に適用するようにしても、実施例１と同様の効果を得ることができる。

またこのような一連の処理に供する動きベクトルの検出をフレーム間で実行することにより、重心補正に係る誤差の発生を防止して動きベクトルの検出精度を向上することができ、その分、動きベクトルの誤り検出により歪みの発生を低減することができる。

この実施例においては、図４について上述した動き補正回路２６、差分絶対値回路２８において、遅延回路２３の出力信号に代えて、遅延回路２４の出力信号を入力し、これによりこれらの差分絶対値回路２７、２８において、動き補正フレーム間差分絶対値、フレーム間差分絶対値を計算する。これによりこの実施例においては、動き補正フィールド間差分値と動き補正していないフィールド間差分値とに代えて、動き補正フレーム間差分絶対値と動き補正していないフレーム間差分絶対値とを用いて、これら２つの差分値の差分値を判定して入力ビデオ信号Ｓ１の動きを評価する。なおこの場合、前置フィルタ２２における重心補正の処理は、省略することができる。なおこれにより動き補正回路２６では、フレーム間の動きベクトルにより動き補正の処理を実行する。

この実施例の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動き補正フレーム間差分絶対値と動き補正していないフレーム間差分絶対値との差分値を評価値に適用するようにしても、実施例２と同様の効果を得ることができる。

この実施例においては、実施例２、実施例３について上述した差分絶対値回路２７、２８における所定ブロック単位の差分絶対値の累積加算に加算処理を中止し、画素単位で差分絶対値の差分値を計算し、これによりフィールド間差分絶対値、フレーム間差分絶対値を計算する。またこれにより加算回路５における重み係数ｋ１、ｋ２を画素単位で切り換える。

この実施例のように、画素単位でフィールド間差分絶対値、フレーム間差分絶対値による評価値を検出して処理するようにしても、実施例２、実施例３と同様の効果を得ることができる。

図６は、図４との対比により本発明の実施例５に係るライン数変換装置を示すブロック図である。このライン数変換装置３１において、図４について上述したライン数変換装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

これによりこのライン数変換装置３１は、動きベクトル検出回路２５によりフレーム間の動きベクトルを検出してフィールド間の動きベクトルＶに補正し、この動きベクトルＶによる動き補正フィールド間ライン内挿信号Ｓ３とフィールド内ライン内挿信号Ｓ４とを加算回路５で加算する。

このライン数変換装置３１において、動き補正回路３２は、動きベクトル検出回路２５で検出されるフレーム間の動きベクトル２Ｖをそのまま用いて、遅延回路２４から出力される１フレーム前のビデオ信号を動き補正する。

差分絶対値回路３３は、この動き補正回路３２から出力される動き補正によるビデオ信号と前置フィルタ２２から出力されるビデオ信号との間で差分値を計算する。またさらにこの差分値を絶対値化した後、所定ブロック単位で累積加算し、これによる動き補正フレーム間差分絶対値γを検出する。なおこの場合も、このブロックは、動きベクトルの検出に係るマクロブロックより小さいことが望ましい。また実施例４と同様に、画素単位の処理により累積加算の処理を省略して動き補正フレーム間差分絶対値γを検出するようにしてもよい。

ここでこの動き補正フレーム間差分絶対値γは、動きベクトルが正しく検出されている場合には、前フレームが正しく動き補正されることにより値が小さくなる。これに対して動きベクトルを誤検出している場合には、値が大きくなり、この場合はフィールド内ライン内挿信号Ｓ４を選択して画像歪みの発生を防止することができる。これによりこの動き補正フレーム間差分絶対値γにあっても、動き補正フィールド間ライン内挿信号Ｓ３、フィールド内ライン内挿信号Ｓ４を評価することができる。

これによりこの実施例では、この動き補正フレーム間差分絶対値γを評価値に適用する。また評価回路３４は、評価回路６におけるしきい値α１、α２に代えて、この評価値γに対応するしきい値γ１、γ２（γ１＜γ２）を適用して、評価回路６と同様に評価値γを判定、正規化して重み係数ｋ１、ｋ２を生成する。

すなわち評価値γが第１のしきい値γ２より大きい場合、動き補正による動き補正フレーム間差分絶対値が大きいことにより、この場合、動きベクトルＶを用いた動き補正は信頼性の欠ける処理であると言える。これによりこの場合、評価回路３４は、フィールド内ライン内挿信号Ｓ４を選択的に出力するように重み係数ｋ１、ｋ２を設定する。

また評価値γが第２のしきい値γ１より小さい場合、動き補正による動き補正フレーム間差分絶対値が小さいことにより、この場合、動きベクトルＶを用いた動き補正は信頼性の高い処理であると言える。また重心補正による影響も少ないものであると言える。これによりこの場合、評価回路３４は、動き補正フィールド間ライン内挿信号Ｓ３を選択的に出力するように重み係数ｋ１、ｋ２を設定する。

これに対して評価値γが第１及び第２のしきい値γ２及びγ１の範囲に位置する場合、評価値γの値が大きくなるに従って、加算回路５から出力するフィールド内ライン内挿信号Ｓ４が増大するように重み係数ｋ１、ｋ２を設定する。なおこの実施例では、この評価値γに対応して４ビットにより重み係数ｋ１、ｋ２を制御した。

この実施例の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動き補正フレーム間差分絶対値を評価値に適用するようにしても、実施例１と同様の効果を得ることができる。

図７は、図１、図４、図６との対比により本発明の実施例６に係るライン数変換装置を示すブロック図である。このライン数変換装置４１において、図１、図４、図６について上述したライン数変換装置１、２１、３１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

これによりこのライン数変換装置４１は、ライン数変換装置１、２１、３１について上述したように、３つの評価値α、β１−β２、γをそれぞれ検出し、各評価値α、β１−β２、γ毎にそれぞれ重み係数ｋ１α、ｋ２α、ｋ１β、ｋ２β、ｋ１γ、ｋ２γを生成する。なおこれら評価値α、β１−β２、γの計算にあっては、画素単位で実行するようにしてもよく、ブロック単位で実行するようにしてもよい。

係数合成回路４２は、これら３種類の評価値α、β１−β２、γによる重み係数ｋ１α、ｋ２α、ｋ１β、ｋ２β、ｋ１γ、ｋ２γを合成して合成重み係数ｋ１、ｋ２を生成する。具体的に、係数合成回路４２は、動き補正フィールド間ライン内挿信号Ｓ３に係る重み係数ｋ１α、ｋ１β、ｋ１γの何れかが値１の場合、対応する合成重み係数ｋ１を値１に設定し、フィールド内ライン内挿信号Ｓ４に係る合成重み係数ｋ２を値０に設定し、これにより動き補正フィールド間ライン内挿信号Ｓ３を選択的に出力するように合成重み係数ｋ１、ｋ２を設定する。

またこれとは逆に、動き補正フィールド間ライン内挿信号Ｓ３に係る重み係数ｋ１α、ｋ１β、ｋ１γの何れかが値０の場合、対応する合成重み係数ｋ１を値０に設定し、フィールド内ライン内挿信号Ｓ４に係る合成重み係数ｋ２を値１に設定し、これによりフィールド内ライン内挿信号Ｓ４を選択的に出力するように合成重み係数ｋ１、ｋ２を設定する。

またこれら以外の場合、評価値α、γによる重み係数ｋ１α、ｋ２α、ｋ１γ、ｋ２γを正規化して合成し、合成重み係数ｋ１、ｋ２を設定する。

この実施例によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動きベクトル、動き補正フィールド間差分絶対値と動き補正していないフィールド間差分絶対値との差分値、動き補正フレーム間差分絶対値による評価値により重み係数を作成するようにしても、実施例１と同様の効果を得ることができる。またこのように複数種類の評価値により重み係数を生成することにより、確実に動きベクトルの誤検出による歪みを低減することができる。

なお上述の実施例６においては、各評価値による重み係数を合成する場合について述べたが、本発明はこれに限らず、各評価値を合成して総合の評価値を計算した後、重み係数を作成するようにしてもよい。またこれら複数の評価値を種々に切り換えて使用するようにしてもよい。

本発明は、ライン数変換装置に関し、例えばＨＤＴＶアップコンバータ等に適用することができる。

本発明の実施例１に係るライン数変換装置を示すブロック図である。 図１のライン数変換装置の評価回路を示すブロック図である。 図２の評価回路による重み係数の説明に供する特性曲線図である。 本発明の実施例２に係るライン数変換装置を示すブロック図である。 図４のライン数変換装置の評価回路による重み係数の説明に供する特性曲線図である。 本発明の実施例５に係るライン数変換装置を示すブロック図である。 本発明の実施例６に係るライン数変換装置を示すブロック図である。

符号の説明

１、２１、３１、４１……ライン数変換装置、２、２５……動きベクトル検出回路、３……動き補正フィールド間ライン内挿回路、４……フィールド内ライン内挿回路、５……加算回路、６、２９……評価回路、２２……前置フィールド、２３、２４……遅延回路、２６、３２……動き補正回路、２７、２８、３３……差分絶対値回路、４２……係数合成回路

Claims (7)

1. 入力ビデオ信号のライン数を増大させて出力ビデオ信号を出力するライン数変換装置において、
   前記入力ビデオ信号の動きベクトルをマクロブロック毎に検出する動きベクトル検出回路と、
   前記動きベクトルにより前記入力ビデオ信号を動き補正してフィールド間でライン内挿処理することにより、動き補正フィールド間ライン内挿信号を生成するフィールド間ライン内挿回路と、
   前記入力ビデオ信号をフィールド内でライン内挿処理することにより、フィールド内ライン内挿信号を生成するフィールド内ライン内挿回路と、
   前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号を評価する評価値を計算し、前記評価値に基づいて、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号の重み係数を生成する評価回路と、
   前記重み係数により、前記動き補正フィールド間ライン内挿信号及び前記フィールド内ライン内挿信号を重み加算して前記出力ビデオ信号を生成する加算回路と
   を備えることを特徴とするライン数変換装置。
2. 前記評価回路は、
   前記動きベクトルによる動き量により前記評価値を設定し、
   前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
   前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記動き量が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
   前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
   ことを特徴とする請求項１に記載のライン数変換装置。
3. 前記評価回路は、
   前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フィールド間差分絶対値を計算する動き補正フィールド間差分値計算回路と、
   前記入力ビデオ信号のフィールド間差分絶対値を計算するフィールド間差分値計算回路と、
   前記動き補正フィールド間差分絶対値と、前記フィールド間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、
   前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
   前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
   前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
   ことを特徴とする請求項１に記載のライン数変換装置。
4. 前記評価回路は、
   前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算する動き補正フレーム間差分値計算回路と、
   前記入力ビデオ信号のフレーム間差分絶対値を計算するフレーム間差分値計算回路と、
   前記動き補正フレーム間差分絶対値と、前記フレーム間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、
   前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
   前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
   前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
   ことを特徴とする請求項１に記載のライン数変換装置。
5. 前記動きベクトル検出回路は、
   前記入力ビデオ信号のフレーム間で前記動きベクトルを検出する
   ことを特徴とする請求項１、請求項２、請求項３又は請求項４に記載のライン数変換装置。
6. 前記評価回路は、
   前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算して前記評価値を検出し、
   前記評価値が第１のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
   前記評価値が第１のしきい値より小さく、かつ第２のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
   前記評価値が第２のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
   ことを特徴とする請求項１に記載のライン数変換装置。
7. 前記評価回路は、
   前記動きベクトルによる動き量による評価値と、
   動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値による評価値と、
   動き補正フレーム間差分絶対値による評価値とにより、
   前記重み係数を生成する
   ことを特徴とする請求項１に記載のライン数変換装置。
   
   
   

Images