JP2005086631A - ビデオ信号処理装置及びビデオ信号の処理方法 - Google Patents

Abstract

【課題】 本発明は、ビデオ信号処理装置及びビデオ信号処理方法に関し、例えばフォーマット変換装置に適用して、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを有効に低減することができるようにする。
【解決手段】 本発明は、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合に、動き補正によるフィールド間差分値又はフレーム間差分値が動きベクトルの分布状態に基づいて設定される判定基準値以上の場合、動きベクトルを所定値に設定する。
【選択図】 図１

Description

本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用することができる。本発明は、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合に、動き補正によるフィールド間差分値又はフレーム間差分値が動きベクトルの分布状態に基づいて設定される判定基準値以上の場合、動きベクトルを所定値に設定することにより、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを有効に低減することができるようにする。

従来、ビデオ信号の各種処理においては、動きベクトルを用いる方法が種々に利用されるようになされている。

このような動きベクトルの検出においては、Ｍ画素×Ｎライン（Ｍ、Ｎは整数）のマクロブロック単位でビデオ信号を細分化した後、各マクロブロック毎に動きベクトルを検出するようになされており、この検出方法として、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報等にパターンマッチング法による動きベクトル検出方法が提案されるようになされ、また特開昭６０−１５８７８６号公報等には、反復勾配法による動きベクトル検出方法が提案されるようになされている。

またこのような動きベクトルを用いたビデオ信号の処理の１つであるフォーマット変換においては、検出した動きベクトルによる動き内挿処理により、動きの不連続性を軽減するようになされている。すなわちこの処理においては、内挿フィールドのフィールド内挿比により、検出した動きベクトルを補正し、この補正した動きベクトルによりそれぞれ前フィールド、現フィールドを動き補正する。またこの動き補正した２つのフィールドによりフィールド間内挿演算し、内挿フィールドを生成するようになされている。

しかしながらこのような動きベクトルにおいては、対応する画像間で動きベクトルを正確に検出できない場合がある。すなわち図４（Ａ）及び（Ｂ）に前フィールドＧ２の画像及び現フィールドＧ１の画像を示すように、背景Ｆの前面に静止物体による前景Ｅが存在し、矢印Ａにより示すように背景Ｆが横方向に移動した場合、前景Ｅにそれまで隠されていた背景Ｆの領域ａにおいては、対応する画像が前フィールドには存在しないことになる。これによりこの領域ａに関しては、動きベクトルを正確に検出できなくなり、動きベクトルを誤検出することになる。

これにより従来のフィールド数の変換に係る動き内挿処理においては、画像歪みが発生する問題があった。

すなわち図４との対比により図５に示すように、前フィールドＧ２及び現フィールドＧ１よりフィールド内挿比γの内挿フィールドＧ０を生成する場合において、現フィールドＧ１の背景Ｆに属するマクロブロックＡ１で動きベクトルＶが検出され、このマクロブロックＡ１に対応する前フィールドＧ２における領域Ａ２が背景Ｆに属する場合、このマクロブロックＡ１については、このマクロブロックＡ１で検出される動きベクトルＶの分だけ、マクロブロックＡ１の画像を偏位させて動き補正すると、この動き補正したマクロブロックＡ１が前フィールドＧ２の背景Ｆに属する領域Ａ２の画像と重なり合うことになる。

これによりこれらマクロブロックＡ１及び領域Ａ２の現フィールドＧ１及び前フィールドＧ２における位置を直線により結べば、内挿フィールドＧ０における対応する領域Ａ２もこの直線上に位置することになる。これによりこの場合、動きベクトルＶを内挿比γにより補正して、前フィールドＧ２及び現フィールドＧ１のマクロブロックＡ１及び領域Ａ２を、内挿フィールドＧ０の領域Ａ０の位置に動き補正し、これら動き補正した画像データをフィールド間内挿処理することにより、内挿フィールドＧ０の画像データを正しく生成することができる。

また現フィールドＧ１の前景Ｅに属するマクロブロックＤ１においては、静止していることにより動きベクトルＶが値０により検出され、この動きベクトルＶによる前フィールドＧ２の対応する領域Ｄ２においても、前景Ｅに属することになる。これによりこの場合も、動きベクトルＶにより動き補正してフィールド間内挿処理することにより、内挿フィールドＧ０の画像データを正しく生成することができる。

これに対して現フィールドＧ１では背景Ｆに属しているマクロブロックＢ１、Ｃ１であっても、前フィールドＧ２では、対応する領域Ｂ２、Ｃ２が前景Ｅで隠されている場合、前フィールドＧ２より各マクロブロックＢ１、Ｃ１に対応する領域Ｂ２、Ｃ２の画像データを適切に取得できなくなる。この場合、動きベクトルが誤検出され、この動きベクトルにより動き補正してフィールド間内挿処理したのでは、画像歪みが発生することになる。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報

本発明は以上の点を考慮してなされたもので、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを有効に低減することができるビデオ信号処理装置及びビデオ信号の処理方法を提案しようとするものである。

係る課題を解決するため請求項１の発明においては、動きベクトルによりビデオ信号を処理するビデオ信号処理装置に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定し、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定し、判定基準値は、動きベクトルの分布状態に基づいて設定されるようにする。

また請求項２の発明においては、請求項１の構成において、動きベクトルの分布状態が均一でない領域では判定基準値を小さく設定するようにする。

また請求項３の発明においては、請求項１又は請求項２の構成において、動きベクトルの分布状態は、動きベクトルの最大値及び最小値の差分に基づいて判断されるようにする。

また請求項４の発明においては、請求項１、請求項２又は請求項３の構成において、所定値が、値０であるようにする。

また請求項５の発明においては、請求項１、請求項２、請求項３又は請求項４の構成において、動きベクトルにより、フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換する。

また請求項６の発明においては、動きベクトルによりビデオ信号を処理するビデオ信号の処理方法に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定し、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定し、判定基準値は、動きベクトルの分布状態に基づいて設定されるようにする。

請求項１の構成により、ビデオ信号処理装置に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出する場合に、これら動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とは、それぞれ動き補正した場合と、動き補正していない場合とについて、処理に係るフィールド間又はフレーム間の相違の程度を示すことになる。これにより動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間値差分値との比較により、動きベクトルを所定値に設定すれば、相違が小さくなる側の動きベクトルによりビデオ信号を処理し得、その分、画像歪み等を防止することができる。しかしながらこのような処理においても、動き補正によるフィールド間差分値又はフレーム間差分値が一定値以上立ち上がっている場合、これらのフィールド間又はフレーム間にあっては、動きが無く、例えばそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合であると判断することができる。これにより動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が動きベクトルの分布状態に基づいて設定される判定基準値以上の場合、動きベクトルを所定値に設定すれば、これらそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合に、動き補正して処理することによる画像歪みを有効に低減することができ、これらにより動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを有効に低減することができる。

また請求項２の構成により、請求項１の構成において、動きベクトルの分布状態が均一でない領域では判定基準値を小さく設定すれば、動きベクトルが誤検出される状態において動きベクトルを所定値に設定することができ、動きベクトルの誤検出による画像歪みを有効に低減することができる
また請求項３の構成により、請求項１又は請求項２の構成において、動きベクトルの最大値及び最小値の差分に基づいて動きベクトルの分布状態を判断するようにすれば、簡易な演算処理によって動きベクトルの分布状態を判断することができる。

また請求項４の構成により、請求項１、請求項２又は請求項３の構成において、所定値が、値０であるようにすれば、動画と静止画とで処理を切り換えることができる。

また請求項５の構成により、請求項１、請求項２、請求項３又は請求項４の構成において、動きベクトルにより、フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換すれば、フィールドの数の変換の処理に適用して、動きベクトルの誤検出による画像歪みを有効に低減することができる。

また請求項６の構成により、ビデオ信号の処理方法に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出する場合に、これら動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とは、それぞれ動き補正した場合と、動き補正していない場合とについて、処理に係るフィールド間又はフレーム間の相違の程度を示すことになる。これにより動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定すれば、相違が小さくなる側の動きベクトルによりビデオ信号を処理し得、その分、画像歪み等を防止することができる。しかしながらこのような処理においても、動き補正によるフィールド間差分値又はフレーム間の差分値が一定値以上立ち上がっている場合、これらのフィールド間又はフレーム間にあっては、動きが無く、例えばそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合であると判断することができる。これにより動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が動きベクトルの分布状態に基づいて設定される判定基準値以上の場合、動きベクトルを所定値に設定すれば、これらそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合に、動き補正して処理することによる画像歪みを有効に低減することができ、これらにより動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを有効に低減することができる。

本発明によれば、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを有効に低減することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例に係るビデオ信号処理装置を示すブロック図である。このビデオ信号処理装置１は、動き内挿によるフィールド間内挿処理によりビデオ信号Ｓ１のフィールド数を変換してビデオ信号Ｓ０にフォーマット変換する。

すなわちこのビデオ信号処理装置１において、前置フィルタ２は、二次元のローパスフィルタであり、ビデオ信号Ｓ１の輝度信号成分を入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。なおこの前置フィルタ２は、省略することも可能である。

１フィールド遅延回路（１ＦＤ）３は、この前置フィルタ２から輝度信号成分を選択的に入力し、１フィールドの期間だけ遅延させて出力する。これにより１フィールド遅延回路３は、前置フィルタ２から出力される現フィールドのビデオ信号Ｓ２に対して前フィールドのビデオ信号Ｓ３を生成する。

動きベクトル検出回路４は、前置フィルタ２から出力されるビデオ信号Ｓ２にマクロブロックを順次設定して、１フィールド遅延回路３の出力信号との間で動きベクトルを検出することにより、現フィールドを基準にして動きベクトルＶを検出する。なおこの動きベクトル検出回路４において、フレーム間で動きベクトルを検出する場合、１フィールド遅延回路３に代えて１フレーム遅延回路を適用し、ビデオ信号Ｓ２を１フレーム遅延させることになる。また動きベクトルの検出手法にあっては、ブロックマッチング法、反復勾配法、位相相関法等、種々の検出手法を広く適用することができる。また画素毎に動きベクトルを検出するようにしてもよい。なおこの実施例では、マクロブロックを８画素×８ラインの大きさに設定した。

動きベクトル検出回路４は、このようにして検出した動きベクトルに、内挿フィールドに係る内挿比γ、１−γをそれぞれ乗算して動きベクトルを補正し、現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドへの動きベクトルＶｂを生成して出力する。

遅延回路（Ｄ）５は、前置フィルタ２から出力される現フィールドのビデオ信号Ｓ２を一定時間遅延させて出力する。偏位回路６は、この遅延回路５から出力されるビデオ信号を内蔵のメモリに一時記録し、現フィールドから内挿フィールドへの動きベクトルＶａに応じたタイミングにより出力する。これにより偏位回路６は、現フィールドを構成する画像の位置を動きベクトル検出回路４で検出された動きベクトルに応じて偏位させて出力するようになされている。以下、この偏位回路６から出力されるビデオ信号を現フィールドによる動き補正のビデオ信号ＳＣと呼ぶ。

遅延回路（Ｄ）７は、この現フィールドによる動き補正のビデオ信号ＳＣにタイミングが一致するように、現フィールドのビデオ信号Ｓ２を遅延させてビデオ信号ＳＥを出力する。以下、このビデオ信号ＳＥを、現フィールドによる動き補正していないビデオ信号と呼ぶ。

遅延回路（Ｄ）８は、１フィールド遅延回路３から出力される前フィールドのビデオ信号Ｓ３を一定時間遅延させて出力する。偏位回路９は、この遅延回路８から出力されるビデオ信号を内蔵のメモリに一時記録し、前フィールドから内挿フィールドへの動きベクトルＶｂに応じたタイミングにより出力する。これにより偏位回路９は、前フィールドを構成する画像データの位置を動きベクトル検出回路４で検出された動きベクトルに応じて偏位させて出力するようになされている。以下、この偏位回路９から出力されるビデオ信号を、前フィールドによる動き補正のビデオ信号ＳＤと呼ぶ。

遅延回路（Ｄ）１０は、この前フィールドによる動き補正のビデオ信号ＳＤにタイミングが一致するように、前フィールドのビデオ信号Ｓ３を遅延させてビデオ信号ＳＦを出力する。以下、このビデオ信号ＳＦを、前フィールドによる動き補正していないビデオ信号と呼ぶ。

これらによりこのビデオ信号処理装置１では、前フィールド及び現フィールドのビデオ信号ＳＦ及びＳＥ、前フィールド及び現フィールドのビデオ信号ＳＦ、ＳＥを内挿フィールドに対応するように動き補正したビデオ信号ＳＤ及びＳＣを生成するようになされている。

動き判定回路１１は、これらのビデオ信号ＳＥ〜ＳＦにより、動きベクトル検出回路４から出力される動きベクトルＶａ、Ｖｂを適宜補正して出力する。すなわち動き判定回路１１は、前フィールド及び現フィールドの動き補正しないビデオ信号ＳＦ及びＳＥ間で、フィールド間差分値を検出し、また前フィールド及び現フィールドの動き補正によるビデオ信号ＳＤ及びＳＣ間で、フィールド間差分値を検出する。

この実施例では、これらフィールド間差分値の検出に、所定ブロックにおけるフィールド間差分の絶対値和が適用される。すなわち動き判定回路１１は、動き補正しないビデオ信号ＳＦ及びＳＥ間の対応する画素間で順次差分値を計算し、この差分値の絶対値を所定ブロック単位で加算し、これにより動き補正していないフィールド間差分値ＦＤを検出する。また同様に、動き補正によるビデオ信号ＳＤ及びＳＣ間の対応する画素間で順次差分値を計算し、この差分値の絶対値を所定ブロック単位で加算し、これにより動きベクトル検出回路４で検出した動きベクトルにより動き補正した際の動き補正によるフィールド間差分値ＤＦＤを検出する。なおこれら加算に供するブロックは、動きベクトル検出単位であるマクロブロックより小さなブロックが適用され、この実施例ではマクロブロックを細かく分割した、例えば１つのブロックが４画素×２ラインに設定される。なおこのような加算の処理を省略するようにして、画素単位で以降の処理を実行するようにしてもよい。

動き判定回路１１は、このようにして検出した動き補正していないフィールド間差分値ＦＤ、動き補正によるフィールド間差分値ＤＦＤを図２に示す構成により判定する。

すなわちこの図２に示す動き判定回路１１において、遅延回路（Ｄ）１２は、動きベクトル検出回路４から出力される現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドの動きベクトルＶｂを、後述する判定基準値βが得られるまでの一定時間遅延させて出力する。

遅延回路（Ｄ）１３は、動き補正によるフィールド間差分値ＤＦＤを一定時間遅延させて出力する。また遅延回路（Ｄ）１４は、動き補正していないフィールド間差分値ＦＤを一定時間遅延させて出力する。

比較回路１５は、フィールド間差分値ＦＤ、ＤＦＤを入力して比較し、比較結果をスイッチ回路１６に出力する。

比較回路１７は、動き補正によるフィールド間差分値ＤＦＤを判定基準値βにより判定し、判定結果を出力する。

スイッチ回路１６は、遅延回路１２から出力される動きベクトルＶａ、Ｖｂを一方の接点に受け、値０の動きベクトル（図２においては、スイッチ回路１６の接点の接地により示す）を他方の接点に受け、比較回路１５及び１７の判定結果によりこれら接点入力を選択出力する。

この判定結果による選択出力においてスイッチ回路１６は、動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤより小さい場合、値０の動きベクトルを選択出力する。また動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤ以上の場合、現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドへの動きベクトルＶｂを選択出力する。

すなわち図５との対比により図３に示すように、このようにして検出されるフィールド間差分値ＦＤ、ＤＦＤのうち、動き補正していないフィールド間差分値ＦＤにおいては、内挿フィールドＧ０の対応する領域Ｃ０が、現フィールドＧ１及び前フィールドＧ２において、何ら動きが無い領域Ｂ０１及びＢ０２の場合に、すなわちこれら現フィールドＧ１及び前フィールドＧ２における対応する領域Ｂ０１、Ｂ０２が一致する場合に、ほぼ値０となる。これとは逆に領域Ｃ０が、現フィールドＧ１、前フィールドＧ２において動きのある領域に対応する領域である場合、動き補正していないフィールド間差分値ＦＤにおいては、値が大きくなり、これらにより動き補正しない場合について、処理に係るフィールド間の相違の程度を示すことになる。

これに対して動き補正によるフィールド間差分値ＤＦＤにおいては、前フィールドＧ２における領域Ａ２が現フィールドＧ１の領域Ａ１に移動した場合であって、この移動に係る動きベクトルＶにより動き補正された場合に、ほぼ値０となる。またこれとは逆に、この動き補正に係る動きベクトルの値が、正しい値より異なると、動き補正によるフィールド間差分値ＤＦＤにおいては、値が大きくなり、これらにより動き補正する場合について、処理に係るフィールド間の相違の程度を示すことになる。なおこの図３の例では、内挿フィールドＧ０の領域Ｃ０に対して、それぞれこれら２つのフィールド間差分は、ＤＦＤ＝Σ｜Ａ１−Ａ２｜、ＦＤ＝Σ｜Ｂ０１−Ｂ０２｜となる。

これにより動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤより小さい場合、値０の動きベクトルを選択出力し、また動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤ以上の場合、現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドへの動きベクトルＶｂを選択出力することにより、動きのある領域については、動きベクトル検出回路４で検出される動きベクトルを出力し、動きの無い領域については、動きベクトル検出回路４で検出される動きベクトルを値０に補正して出力し得、動きベクトルの誤検出を補正することができる。

しかしながらこのようにして動きベクトルを補正する場合にあっても、例えばそれまで前景に隠れていた領域、さらにシーンチェンジが発生した場合にあっては、何らフィールド間で対応する領域が無いにも係わらず、動き補正していないフィールド間差分値ＦＤより動き補正によるフィールド間差分値ＤＦＤが小さくなる場合も発生する。

すなわち動きが均一であり、動きベクトルが正常に検出された場合、現フールドを基準として検出された動きベクトルは均一になり、また動き補正によるフィールド間差分値ＤＦＤも小さくなる。

しかしながら動きベクトルが正しく検出されない領域では、動き補正によるフィールド間差分値ＤＦＤが大きくなり、このような場合にあって静止画でない場合、動き補正しないフィールド間差分値ＦＤも大きくなり、動き補正によるフィールド間差分値ＤＦＤが動き補正しないフィールド間差分値ＦＤより小さくなり、動きベクトル検出回路４で検出される動きベクトルが選択される場合が発生する。この場合、この動きベクトルにより動き補正して内挿処理したのでは、図５について上述したように、画像歪みが発生し、却って動き補正しない方が、画像歪みが小さくなる。

これにより動き判定回路１１においては、動き補正によるフィールド間差分値ＤＦＤの値が判定基準値β以上の場合、動き補正によるフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤより小さい場合であっても、値０により動きベクトルを所定値に設定して出力し、画像歪みを低減するようになされている。

ここでこの動き判定回路１１は、動きベクトル検出回路４から出力される動きベクトルＶの分布状態に基づいて判定基準値βを設定することにより、処理対象であるビデオ信号に応じて判定基準値βを適宜設定して、従来に比して画像歪みを低減できるようになされている。

すなわち動き判定回路１１において、縦方向遅延回路（ＹＤ）１８は動きベクトル検出回路４から出力されるマクロブロック毎の動きベクトルＶを縦方向に１ブロック分遅延させて出力する。縦方向遅延回路（ＹＤ）１９は、縦方向遅延回路１８から出力される動きベクトルをさらに縦方向に１ブロック分だけ遅延させて出力する。

横方向遅延回路（ＸＤ）２０は、縦方向遅延回路１９から出力される動きベクトルを横方向に１ブロック分だけ遅延させて出力し、さらに横方向遅延回路（ＸＤ）２１は、横方向遅延回路２１から出力される動きベクトルを横方向に１ブロック分だけ遅延させて出力する。これにより最大最小判定回路２２は、縦方向遅延回路１９、横方向遅延回路２０及び横方向遅延回路２１からそれぞれ出力される動きベクトルを入力することにより、縦方向に２ブロック分だけ遅延した横３ブロック分の動きベクトルを得る。

また横方向遅延回路（ＸＤ）２３は、縦方向遅延回路１８から出力される縦方向に１ブロック分だけ遅延した動きベクトルを横方向に１ブロック分だけ遅延させて出力し、さらに横方向遅延回路（ＸＤ）２４は、横方向遅延回路２３から出力される動きベクトルを横方向に１ブロック分だけ遅延させて出力する。これにより最大最小判定回路２２は、縦方向遅延回路１８、横方向遅延回路２３及び横方向遅延回路２４からそれぞれ出力される動きベクトルを入力することにより、縦方向に１ブロック分だけ遅延した横３ブロック分の動きベクトルを得る。

また横方向遅延回路（ＸＤ）２５は、動きベクトル検出回路４から出力される動きベクトルを横方向に１ブロック分だけ遅延させて出力し、さらに横方向遅延回路（ＸＤ）２６は、横方向遅延回路２５から出力される動きベクトルを横方向に１ブロック分だけ遅延させて出力する。これにより最大最小判定回路２２は、動きベクトル検出回路４、横方向遅延回路２５及び横方向遅延回路２６からそれぞれ出力される動きベクトルを入力することにより、縦方向には遅延させない横３ブロック分の動きベクトルを得る。

かくして最大最小判定回路２２は、縦３ブロック×横３ブロックでなる所定領域の動きベクトルを得ることができ、これらの動きベクトルのうちの最大値となる動きベクトル及び最小値となる動きベクトルＶｍａｘ、Ｖｍｉｎを検出し出力する。なお動きベクトルＶは横方向の動きベクトルＶｘ及び縦方向の動きベクトルＶｙからなり、この実施例の場合、これらの合成であるＶｘ＊Ｖｘ＋Ｖｙ＊Ｖｙを各ブロック間で比較することにより動きベクトルの値を絶対値化して最大値及び最小値を求める。なおこのような合成結果に基づき最大値及び最小値を求める方法に代えて、横方向の動きベクトルＶｘ及び縦方向の動きベクトルＶｙのそれぞれについて各ブロック間で比較し、その比較結果に基づいて最大値及び最小値を求めるようにしてもよい。

判定基準値発生回路２７は、最大最小判定回路２２から出力される動きベクトルの最大値及び最小値に基づいて、最大値と最小値との差分を演算し、この差分が０に近いしきい値α以下である場合に値の小さな判定基準値βを出力し、これに対して差分がしきい値αよりも大きい場合に値の大きな判定基準値βを出力する。すなわち被検出ブロックを中心とした縦３ブロック×横３ブロックについて検出された各動きベクトルの分布状態が均一であれば判定基準値βを大きくし、均一でなければ判定基準値βを小さくする。

これにより動きベクトルの分布状態が均一でない場合には、比較回路１７において動き補正によるフィールド間差分値ＤＦＤの値が判定基準値β以上となる比較結果が得られる。動きベクトルの分布状態が均一でない場合とは、例えばそれまで前景に隠れていた領域、さらにシーンチェンジが発生した場合等のように、何らフィールド間で対応する領域が無い場合であり、このような場合には動きベクトルが正しく検出されないこととなる。動きベクトルが正しく検出されない領域では、動き補正によるフィールド間差分値ＤＦＤが大きくなる一方、このような場合にあって静止画でない場合、動き補正しないフィールド間差分値ＦＤも大きくなり、動き補正によるフィールド間差分値ＤＦＤが動き補正しないフィールド間差分値ＦＤより小さくなり、スイッチ回路１６において動きベクトル検出回路４で検出される動きベクトルＶａ、Ｖｂが選択される可能性が生じる。この場合であっても動きベクトルの分布状態に基づいて判定基準値βを小さくしておけば、比較回路１７において動き補正によるフィールド間差分値ＤＦＤの値が判定基準値β以上となる比較結果が得られることにより、値０により動きベクトルを所定値に設定して出力し、画像歪みを低減することができる。

これらによりこのビデオ信号処理装置１では、この動き判定回路１１から出力される動きベクトルＶａ１、Ｖｂ１により動き内挿処理を実行する。すなわちビデオ信号処理装置１において、１フィールド遅延回路（１ＦＤ）３１は、ビデオ信号Ｓ１を１フィールドの期間だけ遅延させ、これにより前フィールドのビデオ信号を生成して出力する。

遅延回路３２は、この前フィールドのビデオ信号を内蔵のメモリに一時記録した後、動き判定回路１１から出力される対応する動きベクトルＶｂ１に応じたタイミングで出力することにより、この前フィールドのビデオ信号を動き補正して出力する。

遅延回路３３は、ビデオ信号Ｓ１を内蔵のメモリに一時記録した後、動き判定回路１１から出力される対応する動きベクトルＶａ１に応じたタイミングで出力することにより、現フィールドのビデオ信号を動き補正して出力する。

動き内挿回路３４は、これら遅延回路３２、３３から出力されるビデオ信号Ｓ１を内挿演算処理し、これによりフィールド数を変化してなるビデオ信号Ｓ０を出力する。

（２）実施例の動作
以上の構成において、このビデオ信号処理装置１では、処理対象のビデオ信号Ｓ１である現フィールドのビデオ信号が１フィールド遅延回路３１により１フィールド遅延されて前フィールドのビデオ信号が生成され、これらのビデオ信号が動き内挿回路３４によりフィールド間内挿処理され、これによりビデオ信号Ｓ１のフィールド数が変換される。この処理において、このビデオ信号処理装置１では、前フィールド及び現フィールドのビデオ信号がそれぞれ遅延回路３２、３３により動き補正されて内挿処理されることにより、連続するフィールドで動きを滑らかにすることができる。

このビデオ信号処理装置１は、このビデオ信号Ｓ１の輝度信号成分が、１フィールド遅延回路３により１フィールド遅延されて前フィールドのビデオ信号Ｓ３が生成され、この前フィールドのビデオ信号Ｓ３と現フィールドのビデオ信号Ｓ２とが動きベクトル検出回路４で処理されて、現フィールドを基準にした動きベクトルが検出される。またこの動きベクトルが内挿フィールドの内挿比γ、１−γにより補正され、それぞれ遅延回路３２、３３における前フィールド及び現フィールドの動き補正用の動きベクトルＶｂ及びＶａが生成される。

ビデオ信号処理装置１では、この動き補正用の動きベクトルＶｂ及びＶａでそれぞれ前フィールド及び現フィールドのビデオ信号Ｓ３及びＳ２が偏位回路９、６で動き補正され、前フィールド及び現フィールドのビデオ信号Ｓ３及びＳ２と共に動き判定回路１１に入力され、この動き判定回路１１において、これらのビデオ信号から、動き補正によるフィールド間差分値ＤＦＤと、動き補正していないフィールド間差分値ＦＤが検出される。ビデオ信号処理装置１では、この動き補正によるフィールド間差分値ＤＦＤと、動き補正していないフィールド間差分値ＦＤとの比較により、これらフィールド間差分値が小さくなる側となるように、動きベクトル検出回路４で生成された前フィールド及び現フィールドの動き補正用の動きベクトルＶｂ及びＶａが直接に、又は値０に補正されて遅延回路３３、３２に出力される。

すなわち動き補正によるフィールド間差分値ＤＦＤの方が小さい場合には、動きベクトル検出回路４で生成された前フィールド及び現フィールドの動き補正用の動きベクトルＶｂ及びＶａが遅延回路３２、３３に出力されるのに対し、動き補正していないフィールド間差分値ＦＤの方が小さい場合には、動きベクトルが値０に補正されて遅延回路３２、３３に出力され、これによりそれぞれ動画、静止画に対応するフィールド間内挿処理により、ビデオ信号Ｓ１のフィールド数が変換される。

ビデオ信号処理装置１では、このようにして動きベクトルＶａ、Ｖｂを処理する際に、被検出ブロックを中心とした所定領域（縦３ブロック×横３ブロック）の動きベクトルの分布状態を検出し、動きベクトルの分布が均一である場合には判定基準値βを大きくし、これに対して動きベクトルの分布が均一でない場合には判定基準値βを小さくする。これにより、動きが均一でありフィールド間で対応する領域がある場合のように動きベクトルが正しく検出される場合には所定領域での動きベクトルの分布が均一となることにより判定基準値βが大きな値に設定され、この結果、動き補正によるフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤより小さい場合には、動きベクトル検出回路４で検出される動きベクトルが選択される。これに対して、例えばそれまで前景に隠れていた領域、さらにシーンチェンジが発生した場合等のように、何らフィールド間で対応する領域が無い場合のように動きベクトルが正しく検出されない場合にあっては所定領域での動きベクトルの分布が均一ではなくなることにより判定基準値βが小さな値に設定され、この結果、動き補正によるフィールド間差分値ＤＦＤが判定基準値βよりも大きくなる結果が得られる。従ってこの場合には、動き補正によるフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤよりも小さな値であっても値０により動きベクトルが設定される。

このようにビデオ信号処理装置１では、動きベクトルが正しく検出される状態、又は動きベクトルが正しく検出されない状態のいずれであるかを動きベクトルの分布状態によって判断し、この判断結果に基づいて動きベクトルが正しく検出されたと判断される場合には、動き補正によるフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤよりも小さな値となった場合に、動きベクトル検出回路４で検出された動きベクトルを選択し、これに対して動きベクトルが正しく検出されなかったと判断される場合には、動き補正によるフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤよりも小さな値となっても値０を選択する。これにより例えばそれまで背景に隠されていた領域、シーンチェジンジ等の場面のように動きベクトルが正しく検出されない場合には動き補正しないようにしてフィールド間内挿により内挿フィールドを生成することにより、従来に比して画像歪みが有効に低減される。

（３）実施例の効果
以上の構成によれば、動き補正によるフィールド間差分値が動き補正していないフィールド間差分値より小さい場合に、動き補正によるフィールド間差分値が動きベクトルの分布状態に基づいて設定される判定基準値以上の場合、動きベクトルを所定値に設定することにより、動きベクトルを用いた動き内挿処理等において、最適な判定基準値により、動きベクトルの誤検出による画像歪みを低減することができる。

またこのようにして補正してなる動きベクトルにより、動き補正した後、フィールド間内挿処理して内挿フィールドを作成することにより、フィールド数の変換に適用して、動きベクトルの誤検出による画像歪みを有効に低減することができる。

なお上述の実施例においては、フィールド間差分の絶対値和によりフィールド間差分値を検出する場合について述べたが、本発明はこれに限らず、例えばフィールド間差分の２乗和によりフィールド間差分値を検出する場合等、種々の検出手法を広く適用することができる。

また上述の実施例においては、被検出ブロックを含む周囲９ブロックの動きベクトルの分布状態に基づいて判定基準値βを設定する場合について述べたが、本発明はこれに限らず、種々の数のブロックでなる領域の動きベクトルの分布状態に基づいて判定基準値βを設定することができる。

また上述の実施例においては、動きベクトルの分布状態の検出方法として、所定領域の動きベクトルの最大値及び最小値の差を用いる場合について述べたが、本発明はこれに限らず、例えば動きベクトルの平均又は重心に対する変位量を用いる等、要は動きベクトルの分布状態を検出し、均一であれば判定基準値βを大きくし、均一でなければ判定基準値βを小さくするようにすればよい。

また上述の実施例においては、現フィールドのビデオ信号Ｓ２及び前フィールドのビデオ信号Ｓ３に基づいて得られる動きベクトルＶの分布状態により判定基準値βを設定する場合について述べたが、本発明はこれに限らず、現フィールドから内挿フィールドへの動きベクトルＶａ又は前フィールドから内挿フィールドへの動きベクトルＶｂの分布状態に基づいて判定基準値βを設定するようにしてもよい。

また上述の実施例においては、フィールド数の変換に係るフォーマット変換に本発明を適用する場合について述べたが、本発明はこれに限らず、フレーム数の変換処理に係るフォーマット変換にも適用することができ、さらにはインターレスとノンインターレスとに係るフォーマット変換におけるフィールド間内挿処理、動きベクトルを用いたノイズ低減処理、高能率符号化装置におけるフィールド内挿画像の生成処理等、動きベクトルを用いた内挿処理に広く適用することができる。

本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用することができる。

本発明の実施例１に係るビデオ信号処理装置を示すブロック図である。 図１のビデオ信号処理装置の動き判定回路を示すブロック図である。 図２の動き判定回路の動作の説明に供する図表である。 動きベクトルの誤検出の説明に供する平面図である。 画像歪みの説明に供する略線図である。

符号の説明

１……ビデオ信号処理装置、３、３１……１フィールド遅延回路、４……動きベクトル検出回路、５、７、８、１０、１２、１３、１４、３２、３３……遅延回路、６、９……偏位回路、１１……動き判定回路、１８、１９……縦方向遅延回路、２０、２１、２２、２３、２４、２５、２６……横方向遅延回路、２２……最大最小判定回路、２７……判定基準値発生回路、３４……動き内挿回路

Claims (6)

1. 動きベクトルによりビデオ信号を処理するビデオ信号処理装置において、
   連続するフィールド又はフレームを前記ビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、
   前記連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較により、前記動きベクトルを所定値に設定し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値が前記動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、前記動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、前記動きベクトルを所定値に設定し、
   前記判定基準値は、前記動きベクトルの分布状態に基づいて設定される
   ことを特徴とするビデオ信号処理装置。
2. 前記動きベクトルの分布状態が均一でない場合には前記判定基準値を小さく設定する
   ことを特徴とする請求項１に記載のビデオ信号処理装置。
3. 前記動きベクトルの分布状態は、前記動きベクトルの最大値及び最小値の差分に基づいて判断される
   ことを特徴とする請求項１又は請求項２に記載のビデオ信号処理装置。
4. 前記所定値が、値０である
   ことを特徴とする請求項１、請求項２又は請求項３に記載のビデオ信号処理装置。
5. 前記動きベクトルにより、前記フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換する
   ことを特徴とする請求項１、請求項２、請求項３又は請求項４に記載のビデオ信号処理装置。
6. 動きベクトルによりビデオ信号を処理するビデオ信号の処理方法において、
   連続するフィールド又はフレームを前記ビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、
   前記連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較により、前記動きベクトルを所定値に設定し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値が前記動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、前記動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、前記動きベクトルを所定値に設定し、
   前記判定基準値は、前記動きベクトルの分布状態に基づいて設定される
   ことを特徴とするビデオ信号の処理方法。
   

Images