JP3619542B2

JP3619542B2 - Motion correction video signal processing apparatus and method

Info

Publication number: JP3619542B2
Application number: JP17845194A
Authority: JP
Inventors: イアンサーンダースニコラス; マークキーティングスチーブン; レックスドリコットマーチン; ラビジヴァーサニシーマ; ウィリアムエイモスデビッドモーガン; ナイトケネス
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1993-08-03
Filing date: 1994-07-29
Publication date: 2005-02-09
Anticipated expiration: 2020-02-09
Also published as: GB2280811A; GB9316051D0; GB2313514A; GB2313515A; GB9716971D0; JPH07154754A; GB2280811B; GB2313514B; GB9716972D0; GB2313515B

Description

【０００１】
【産業上の利用分野】
本発明は、動き補正ビデオ信号処理方式に関するものである。
動き補正ビデオ信号処理は、テレビジョン標準方式変換、フィルム標準方式変換及びビデオ・フィルム標準方式間変換のような装置に用いられている。
英国公開特許出願ＧＢ−Ａ−２２３１７４９号に記載された変換装置の如き動き補正テレビジョン標準方式変換装置では、連続入力映像の対を処理して該入力映像対間の映像の動きを表す複数組の動きベクトルを発生している。該処理は、映像の個別ブロックについて行われるので、各動きベクトルは、夫々のブロックの内容の映像間の動きを表す。
【０００２】
動きベクトルの各組は、動きベクトル減数器に供給され、そこで、各ブロックに対する動きベクトルの組（セット）の部分集合（サブセット）が導出される。ゼロ動きベクトルを含むこのサブセットは、それから動きベクトル選択器に送られ、そこで、動きベクトルの該サブセットの１つが各映像ブロックにおける各画素（ピクセル）に割当てられる。各ピクセルに対して選択された動きベクトルは動き補正補間器に供給され、該補間器は、入力映像間の動きを考慮に入れて連続出力映像を補間する動作を行う。
【０００３】
２入力映像から１出力ピクセルを補間するために、動きベクトル選択器が用いられ、これによってベクトル減数器によって供給される動きベクトルのサブセット（例えば、４個の動きベクトル）から１つの動きベクトルが選択される。この動きベクトルの選択処理には、テスト中の動きベクトルによって指示される２入力映像のテストブロック間の相関度を検出することが含まれる。そして、テストブロック間で最大相関度をもつ動きベクトルが、出力ピクセルの補間に使うために選択される。
【０００４】
ベクトル選択が大きな雑音（ノイズ）内容をもつ入力映像について行われるとき、問題が発生する可能性がある。この場合、入力映像におけるノイズ領域（部分）間の擬似的な見かけ上の相関によって、不正確な動きベクトルが選択されることがある。このような条件の下で動作する動き補正ビデオ信号処理装置は、或るレベルの映像ノイズが到達した場合、劇的な動作不良を起こし、動き補正をしない装置よりも性能が悪くなる虞れがある。
【０００５】
本発明の課題は、動き補正ビデオ信号処理におけるベクトル選択の際に、入力映像におけるノイズ領域間の偽の相関によって不正確な動きベクトルが選択されるのを阻止するとともに、テストブロックの映像内容を強調することによって、間違った動きベクトルが選択されないようにした動き補正ビデオ信号処理装置を提供することである。
【０００６】
【発明を解決するための手段】
上記課題を解決するため、本発明の動き補正ビデオ信号処理装置は、入力ビデオ信号の時間的に連続する映像フィールド対間の映像の動きを表す複数の動きベクトルを発生する手段と、ゼロの映像の動きを示すゼロ動きベクトルを含む上記複数の動きベクトルの中から、出力映像の出力ピクセルの補間に用いる１つの動きベクトルを選択するために、複数の動きベクトルをテストする手段と、このテストされた結果に基づいて選択された動きベクトルを用いて、入力ビデオ信号の入力映像対から出力ピクセルを補間する動き補正補間器とを具えた動き補正ビデオ信号処理装置において、
テストする手段は、ゼロ動きベクトルを含む複数の動きベクトルによって指し示される入力映像の中の少なくともテストブロックの映像内容を強調する映像強調手段と、ゼロ動きベクトルを含む複数の動きベクトルによって指し示される映像強調されたテストブロック間の相関度を示す相関値を検出する手段と、映像強調されたそれぞれのテストブロック間で最高の相関度をもつ動きベクトルを選択する手段と、を有し、
上記映像強調手段は、垂直ソベル映像フィルタと、水平ソベル映像フィルタと、上記垂直ソベル映像フィルタ又は上記水平ソベル映像フィルタを通したテストブロック内の所定のピクセルを第 1 の正の閾値と比較して上記所定のピクセルの詳細度がこの第 1 の正の閾値より大きいことを示す出力を検出する第１の検出手段と、第１の検出手段に応答し、テストブロックにおける上記所定ピクセルを白ピクセルで置換える手段とを有することを特徴とする動き補正ビデオ信号処理装置である。
また、上記映像強調手段に用いられる第１の検出手段の代わりに、垂直ソベル映像フィルタ又は水平ソベル映像フィルタを通したテストブロック内の所定のピクセルを第１の正の閾値を反転した第２の閾値と比較して上記所定のピクセルの詳細度がこの第２の閾値より小さいことを示す出力を検出する第２の検出手段を用いることもできる。そして、この第２の検出手段に応答し、テストブロックにおける上記所定ピクセルを黒ピクセルで置換える手段とを有することを特徴とする動き補正ビデオ信号処理装置も提供される。
【００１４】
本発明の動き補正ビデオ信号処理装置によれば、静止背景の前を動く微細な詳細部分（相関テストに用いるテストブロックの１つよりも小さい）をもつビデオ素材に適用する場合に好適である。すなわち、静止背景の前を動く微細な詳細部分が動くと、動く部分の補間に対して不正確なベクトルが選択される可能性がある。これは、２入力映像における動く部分の周りの領域間の相関が全く異なり、この差が相関テストの結果を左右するためである。この潜在的な問題の例を図１及び２に示す。
【００１５】
図１のａ，ｂ及び図２のａ，ｂは、自動車の映像に対するベクトル選択処理における問題点を示す。ベクトル推定において、静止映像の背景と自動車の動きを表すものとして、少なくともゼロ動きベクトル及び水平動きベクトルが夫々特定されている。車体の部分に対しては、ベクトル選択時に行われる相関テストは容易に「車」動きベクトルを選択できる筈である。しかし、車（カー）ラジオアンテナのような品物に対しては、「車」動きベクトルによって指し示されるテストブロック１０，２０（図１のａ，ｂ）は、圧倒的に映像背景の様々な部分によって左右される。これらのテストブロックの相関は低い。これに対し、ゼロ動きベクトルによって指し示されるテストブロック３０，４０（図２のａ，ｂ）間の相関は高い。これは、これらのテストブロックが映像背景の同一部分を表し、僅かに、テストブロックの一方が車ラジオアンテナの一部を含む点で異なることによる。したがって、ゼロ動きベクトルに対する相関テストの結果は、「車」動きベクトルに対する結果より大きな相関を示すので、車ラジオアンテナの一部の補間に用いるためにゼロ動きベクトルが間違って選択されることになる。
【００１６】
この問題を回避するため、テストブロックの大きさを小さくしてもよいが、この方法は、ベクトル選択処理において入力映像内ノイズの影響を受け易くするであろう。
【００１８】
上述のように、本発明の動き補正ビデオ信号処理装置によれば、入力映像フィールド対の少なくともテストブロック部分を強調するために映像強調が行われている。こうすることにより、上述の車ラジオアンテナのような微細部の可視度或いはテストブロック内の重要度を増すことができる。すなわち、微細部が強調されるので、ベクトル選択時に行われる相関テストの結果に与える影響が大きくなり、ベクトル選択処理において、例えば静止背景に対して動く小さい微細な物体に対し、正確な動きベクトルが選択される可能性が高まる。
【００１９】
映像強調は、入力映像からテストブロックを導出する前又は後で行ってもよい。
【００２０】
本発明の動き補正ビデオ信号処理装置に用いられる映像強調手段は、２次元ハイパス空間フィルタを用いることができる。しかし、ハイパスフィルタを使用すると、テストブロック内の微細部を強調できるが、ハイパスフィルタは映像ノイズをも一層目立たせるので、全体のシステムの性能の低下につながってしまう。よって、本発明の好ましい具体構成としては、垂直ソベル（Sobel ）映像フィルタ及び水平ソベル映像フィルタが使用されている（これらのソベルフィルタは、一方向でハイパスろ波を行い、他方向でローパスろ波を行う。）。そして、テストブロックにおける１以上のピクセルの周囲の所定の詳細度より大きいことを示す、垂直ソベル映像フィルタ又は水平ソベル映像フィルタによる出力を検出する手段と、該検出手段に応答し、テストブロックの１以上のピクセルを所定輝度のピクセルで置換える手段とを設ける。所定輝度のピクセルは、白ピクセルであるのがよい。
【００２１】
また、本発明の動き補正ビデオ信号処理装置に用いられる映像強調手段のもう一つの具体構成としては、垂直ソベル映像フィルタと、水平ソベル映像フィルタと、テストブロックにおける１以上のピクセルの周囲の所定詳細度より小さいことを示す、垂直ソベル映像フィルタ又は水平ソベル映像フィルタによる出力を検出する第２検出手段と、第２検出手段に応答し、テストブロックの１以上のピクセルを第２の所定輝度のピクセルで置換える手段が設けられる。この場合、第２所定輝度のピクセルは黒ピクセルであるのがよい。
【００２３】
更に本発明の動き補正ビデオ信号処理装置に用いられる映像強調手段の他の好適な具体構成としては、テストブロックにおける１以上のピクセルの周囲の所定詳細度より大きいことを示す、垂直ソベル映像フィルタ又は水平ソベル映像フィルタによる出力を検出する手段と、該検出手段に応答し、テストブロックの１以上のピクセルの輝度成分に所定輝度成分を加算する手段から構成される。
【００２４】
本発明の動き補正ビデオ信号処理装置に用いられる映像強調手段は、ゼロ動きベクトルの相関値の加重と組合せて利用される。このためには、上記複数の動きベクトルの中の1つがゼロの映像の動きを示すゼロ動きベクトルであり、本動き補正ビデオ信号処理装置が、テストされる複数の動きベクトルによって指し示される入力映像の映像強調テストブロック間の相関度を表す相関値を検出する手段と、ゼロ動きベクトルに対する相関値によって示される相関度が、上記ゼロ動きベクトル以外の他の複数の動きベクトルに対する相関値によって示される相関度に対して、増加する方向に上記ゼロ動きベクトル又は上記ゼロ動きベクトル以外の複数の動きベクトルの相関値を加重する手段を有し、かつ最適動きベクトル選択手段が、最高相関度を示す加重（された）相関値をもつ動きベクトルを選択するようにしている。
【００２５】
上記検出手段は、映像強調テストブロックにおける対応位置にあるピクセル対間の絶対輝度差を検出する手段と、該絶対輝度差を合計して絶対差の合計（ＳＡＤ）値を発生する手段とを含むのがよい。
【００２６】
また、本発明の動き補正ビデオ信号処理方法は、入力ビデオ信号の時間的に連続する入力映像フィールド対間の映像の動きを表す複数の動きベクトルを発生するステップと、ゼロの映像の動きを示すゼロ動きベクトルを含む複数の動きベクトルの中から、出力映像の出力ピクセルの補間に用いる１つの動きベクトルを選択するために、複数の動きベクトルをテストするステップと、このテストステップにおいて選択された動きベクトルを用いて、入力ビデオ信号の入力映像対から出力ピクセルを補間するステップとを含み、該テストするステップは、テストされるゼロ動きベクトルを含む複数の動きベクトルによって指し示される入力映像の中の少なくともテストブロックの映像内容を映像強調するステップと、ゼロ動きベクトル及び該ゼロ動きベクトル以外の複数の動きベクトルによって指し示される映像強調されたテストブロック間の相関度を示す相関値を検出するステップと、複数の動きベクトルの中から、それぞれの映像強調テストブロック間で最も高い相関度を示す動きベクトルを選択するステップの各ステップを含むものである。
【００２７】
図３は、微細な物体が極めて単純な背景の前を動く場合に起こる他の問題点を示す（図中、Ｏ字状背景がフィールド間で左から右に動いている。）。この場合、ベクトル選択で行われる相関テストは、単純背景の２領域間で極めてよい整合（合致）を与えることがある。実際に、２つの単純な領域間で得られる整合は、微細物体の対応する２つの部分間で得られる整合よりもよい整合に見えることが多い。テストブロック間の最高相関度をもつ動きベクトルは、補間に使用するために選択されるのであるから、単純領域間の極めてよい整合は、微細物体の動きを表す正しいベクトルに優先して正しくないベクトルが選択されるという結果を引起こす。このエラーの結果は、微細物体に目に見えるギャップ（実際は背景の一部分）となって現れる。
【００４０】
【実施例】
以下、図面により本発明を具体的に説明する。
図４は、本発明を用いうる動き補正テレビジョン標準方式変換装置を示すブロック図である。本装置は、入力飛越しデジタルビデオ信号２５０（例えば、１１２５／６０、２：１高精細度ビデオ信号（ＨＤＶＳ））を受信し、出力飛越しデジタルビデオ信号２６０（例えば、１２５０／５０、２：１信号）を発生するものである。
【００４１】
入力ビデオ信号はまず、入力バッファ・パッカー３１０に供給される。通常精細度入力信号の場合、入力バッファ・パッカー３１０は、映像データを高精細度（１６：９縦横比）フォーマットに変え、必要に応じ黒ピクセルを詰める。ＨＤＶＳ入力の場合、入力バッファ・パッカー３１０は、単にデータを一時記憶するだけである。
【００４２】
データは、入力バッファ・パッカー３１０からマトリクス回路３２０に送られ、該回路では（必要に応じ）入力ビデオ信号の測色法を標準の「ＣＣＩＲ勧告６０１」（Ｙ，Ｃｒ，Ｃｂ）測色法に変換する。
【００４３】
入力ビデオ信号は、マトリクス回路３２０からタイムベース変換（ＴＢＣ）及びディレー（遅延）回路３３０に、またサブサンプラー３７０を介してサブサンプルされたＴＢＣ及びディレー回路３８０に送られる。ＴＢＣ及びディレー回路３３０は、出力ビデオ信号の各フィールドの時間位置を決め、出力フィールドの補間に用いるため、当該出力フィールドに時間的に最も近い２フィールドの入力ビデオ信号を選択する。出力ビデオ信号の各フィールドのために、上記ＴＢＣ回路で選択された２入力フィールドは、当該出力フィールドを補間する補間器３４０に送る前に適正に遅らされる。制御信号ｔは、各出力フィールドの選択された２入力フィールドに対する時間位置を指示するもので、タイムベース変換（ＴＢＣ）及びディレー回路３３０から補間器３４０に供給される。
【００４４】
サブサンプルされたＴＢＣ及びディレー回路３８０も、同様な動作をするが、サブサンプラー３７０により供給される空間的にサブ（ダウン）サンプルされたビデオを使用する点が異なる。上記ＴＢＣ回路３３０で選択されたフィールド対に対応するフィールド対が、サブサンプルされたＴＢＣ及びディレー回路３８０によりサブサンプルされたビデオから選択され、動きベクトルの発生に使用される。
【００４５】
ＴＢＣ回路３３０及び３８０は、入力ビデオ信号、出力ビデオ信号又はその双方に関連した同期信号に従って動作することができる。ただ１つの同期信号だけが供給される場合には、上記２ビデオ信号の他方のフィールドのタイミングは、ＴＢＣ回路３３０，３８０内で、必然的に決定され生成される。
【００４６】
サブサンプルされたＴＢＣ及びディレー回路３８０によって選択された、サブサンプルされた入力ビデオ信号のフィールド対は、直接ブロック突合せ器３９０、相関面処理器４００、動きベクトル推定器４１０、動きベクトル減数器４２０、動きベクトル選択器４３０及び動きベクトルあと処理器４４０より成る動き処理装置３８５に供給される。上記入力フィールド対はまず直接ブロック突合せ器３９０に送られ、そこで、選択された２入力フィールドのうち時間的に早いものにおけるサーチブロックと、上記２入力フィールドのうち時間的に遅いものにおける（より大きい）サーチ領域との間の空間的相関を表す相関面を計算する。
【００４７】
相関面処理器４００は、ブロック突合せ器３９０より出力された相関面から多数の補間された相関面を発生し、これらは動きベクトル推定器４１０に送られる。動きベクトル推定器４１０は、補間された相関面における最大相関点を検出する。（元の相関面は実際上２入力フィールドのブロック間の差を表すので、最大相関点は相関面では最小点になる。よって、以下「最小点」という。）最小点を検出するために、相関面に点を補足して補間し、相関面発生のためにサブサンプルされたビデオを用いたことにより生じる解像度のロスを或る程度補償する。動きベクトル推定器４１０は、検出した各相関面における最小点から動きベクトルを発生し、これを動きベクトル減数器４２０に送る。
【００４８】
動きベクトル推定器４１０はまた、発生した各動きベクトルについて確認（信頼）テストを行い、当該動きベクトルが平均データレベルよりかなり上にあるかをどうかを確かめ、確認テストの結果を示す確認フラグを各動きベクトルに付ける。確認テストは、「閾値」テストとして知られ、前記ＧＢ−Ａ−２，２３１，７４９号に（図１の装置の幾つかの他の特色と共に）記載されている。
【００４９】
また、動きベクトル推定器４１０によって、各ベクトルが偽物かどうかを検出するテストが行われる。このテストでは、相関面（検出した最小点の周りの除外域は除く。）を調べて次の最小点を検出する。この２番目の最小点が除外域のエッジ（端縁）の範囲内にない場合、最初の最小点から導出された動きベクトルは、偽物の可能性があるものとしてフラグが付けられる。
【００５０】
動きベクトル減数器４２０は、出力フィールドの各ピクセルについて可能性のある動きベクトルの選択幅を減らしてから、動きベクトルを動きベクトル選択器４３０に送る。出力フィールドは、概念的に複数のピクセルブロックに分割される。それら各ブロックは、出力フィールド内に上記選択された入力フィールドのうち早いものにおけるサーチブロックと対応する位置を有する。動きベクトル減数器は、４つの動きベクトルを出力フィールドの各ブロックに対応させ、当該ブロック内の各ピクセルは、これら４つの動きベクトルの選択された１つを用いて補間される。
【００５１】
「偽物」としてフラグを付けられたベクトルは、すぐ近くのブロックにおけるフラグの付かないベクトルと同一である場合、ベクトル減数時に再適格化される。
【００５２】
動きベクトル減数器４２０は、その機能の一部として、「適正な」動きベクトル（即ち、確認テスト及び偽物テストに合格した動きベクトル、又は偽物でないと再適格化されたもの）の発生頻度を、それらの動きベクトルを得るのに用いた入力フィールドのブロックの位置を考慮することなくカウントする。そして、適正な動きベクトルが、頻度が減少する順序に格付けされる。互いにかなり異なる適正動きベクトルのうち最も共通するものは、「広域」動きベクトルとして分類される。そして、確認テストに合格した３つの動きベクトルが、出力ピクセルの各ブロックに対して選択され、ゼロ動きベクトルと共に、動きベクトル選択器４３０に送られ更に処理される。これら３つの選択された動きベクトルは、所定の優先順で次のものから選択される。
（ｉ）対応するサーチブロックから発生された動きベクトル（「局部」動きベクトル）、
（ｉｉ）周囲のサーチブロックから発生されたもの（「隣接」動きベクトル）、
（ｉｉｉ）広域動きベクトル。
【００５３】
動きベクトル選択器４３０は、サブサンプルされたＴＢＣ及びディレー回路３８０によって選択され、動きベクトルの計算に使用された２入力フィールドをも入力として受信する。これらのフィールドは、適当に遅延されて、動きベクトル選択器４３０にこれらのフィールドから導出されたベクトルと同時に供給される。動きベクトル選択器４３０は、出力フィールドのピクセル当たり１つの動きベクトルを含む出力を供給する。この動きベクトルは、動きベクトル減数器４２０によって供給される当該ブロックに対する４つの動きベクトルから選択される。
【００５４】
ベクトル選択プロセスは、被テスト動きベクトルによって指し示される２つの入力フィールドのテストブロック間の相関度の検出を含んでいる。テストブロック間の最大相関度をもつ動きベクトルが、出力ピクセルの補間に使用するために選択される。ベクトル選択器はまた、「動きフラグ」を発生する。このフラグは、ゼロ動きベクトルによって指し示されるブロック間の相関度がプリセットされた閾値より大きい場合、「静止」（動きなし）にセットされる。
【００５５】
ベクトルあと処理器４４０は、動きベクトル選択器４３０により選択された動きベクトルのフォーマットを、画像の垂直又は水平のスケーリングがある場合これを表すように改め、このフォーマットを変えたベクトルを補間器３４０に供給する。補間器３４０は、動きベクトルを用いて、ＴＢＣ及びディレー回路３３０により選択された対応する２つの（サブサンプルされない）飛越し入力フィールドから出力フィールドを補間する。この場合、現在補間器３４０に供給されている動きベクトルによって示されるいかなる映像の動きをも考慮する。
【００５６】
動きフラグが、現在の出力ピクセルが映像の動き部分内に在ることを示す場合、補間器に供給される２つの選択されたフィールドからのピクセルが、出力フィールドの上記２入力フィールド（制御信号ｔで示される如き）に対する時間位置に応じて、相対的比率で結合される。即ち、より近い入力フィールドがより大きな比率で結合される。動きフラグが「静止」にセットされている場合、時間的加重（重み付け）は各入力フィールドの５０％に固定される。補間器３４０の出力は、出力バッファ３５０に送られ高精細度出力信号として出力されると共に、ダウンコンバータ３６０に送られ通常精細度出力信号３６５として出力される。
【００５７】
ダウンコンバータ３６０は、本装置の出力（例えば、高精細度ビデオ信号）の表示を従来精細度の装置を用いてモニタしたり、送信したり、又は記録したりすることを可能とする。これは、従来精細度記録機器が高精細度機器よりかなり安価で、遙かに広く普及しているので、有益である。例えば、夫々地上及び衛星チャンネルによって送信するには、通常及び高精細度ビデオの同時出力が必要であろう。
【００５８】
サブサンプラー３７０は、マトリクス３２０より受信した入力ビデオフィールドを水平及び垂直方向に空間的にサブ（ダウン）サンプリングしてから、それらの入力フィールドをタイムベース変換（ＴＢＣ）及びディレー回路３８０に供給する。水平サブサンプリングは、入力フィールドがまず半帯域幅ローパスフィルタ（２：１水平デシメーション（間引き）の本例の場合）により予めフィルタリング（ろ波）され、各ビデオラインに沿ってビデオサンプルが１つおきに捨てられ、これによって、各ビデオラインに沿うサンプルの数が半分に減るという点において、容易な動作である。
【００５９】
入力フィールドの垂直サブサンプリングは、入力ビデオ信号２５０が飛越し走査されているため、複雑である。これは、各飛越しフィールドにおけるビデオサンプルの連続するラインが実効的に２つのビデオラインに分かれ、各フィールドにおけるラインが前後のフィールドのラインより完全フレームの１ビデオラインだけ垂直にずれていることを意味する。
【００６０】
垂直サブサンプリングの１つの方法は、プログレッシブ（連続又は順次）走査変換を行い（各々が１１２５ラインをもつ連続するブログレッシブ走査されたビデオフレームを発生し）、該プログレッシブ走査されたフレームを２の率でサブサンプルして、垂直サブサンプルを行うことであろう。しかし、効率のよいプログレッシブ走査変換は、或る程度の動き補正処理を必要とし、その処理が動き処理装置３８５の動作に悪い影響を与えることがある。更に、高精細度ビデオ信号の実時間プログレッシブ走査変換は、特別に強力で複雑な処理装置を必要とすることであろう。
【００６１】
垂直空間サブサンプリングのもっと簡単な方法は、図５に示すように、入力フィールドをまず垂直方向にローパスろ波し（潜在的エイリアシング（重複歪み）を避けるため）、次いで、各ピクセルを垂直方向にビデオラインの１／２だけ下方（偶数フィールドの場合）又は上方（奇数フィールドの場合）に実効的にずらす如きろ波を行うことである。その結果得られるずれたフィールドは、２の率で垂直方向にサブサンプルされたプログレッシブ走査フレームと広い意味で等価である。
【００６２】
したがって、要約すると、上述したサブサンプリング動作の結果、動き処理装置３８５は、水平及び垂直方向に２の率で空間的にサブサンプルされた入力フィールド対について動作することになる。これにより、動きベクトル推定に要する処理が１／４に減少する。
【００６３】
図６は、ベクトル選択時のテストブロックの比較を示す説明図である。
同図は、出力フィールド５３０における出力ピクセル５２０を含むブロックに関連する２つの動きベクトル５００及び５１０を示す。図を分かり易くするため、動きベクトル減数器４２０による、出力ピクセル５２０に関連する他の２つの動きベクトルは、示していない。
【００６４】
出力ピクセル５２０に関連する４つの動きベクトルの１つ（例えば、動きベクトル５１０）をテストするために、当該動きベクトルを補外して、出力フィールド５３０がそれから補間される入力フィールド５６０，５７０におけるピクセルのテストブロック５４０，５５０を夫々指し示させる。該ピクセルのテストブロック間の相関度を、２つのテストブロックにおける対応位置にあるピクセル対間の絶対輝度差を計算することにより、決定する。これらの絶対輝度差値をそれから加算して、被テスト（テストされている）動きベクトルに関連する絶対輝度差合計（ＳＡＤ）を作る。高いＳＡＤ値は、当該動きベクトルによって指し示されたピクセルの周囲の入力フレームにおけるブロック間の相関度が低いことを示し、低ＳＡＤ値は、それらのブロック間の相関度が高いことを示す。このテストは、動きベクトル減数器４２０より動きベクトル選択器４３０に供給される４つの動きベクトルの各々に対して行われる。このテストから、最低のＳＡＤ値をもつ動きベクトルが、動きベクトル選択器４３０により出力ピクセル５２０の補間に使用するために選ばれる。
【００６５】
図７は、図４のベクトル選択器４３０の例を示すブロック図である。
出力ピクセルの各ブロックに対する４つの動きベクトルが、動きベクトル減数器４２０より動きベクトル選択器４３０に供給される。これら４つの動きベクトル、即ちゼロ動きベクトル及び３つの他のベクトルｖ１，ｖ２，ｖ３は、夫々４つの処理ユニット６００，６１０，６２０及び６３０に供給される。各処理ユニット６００〜６３０は、アドレスずれ計算器６４０、２つのランダムアクセスメモリ（ＲＡＭ）６５０，６６０並びにブロック突合せ及び比較器６７０を有し、２つのＲＡＭは、ＴＢＣ（タイムベース変換）及びディレー回路３８０により選択された入力フィールド対の夫々１つの関連部分を記憶する。
【００６６】
各処理ユニットにおいて、アドレスずれ計算器６４０は、当該処理ユニット向けの動きベクトルと共にＴＢＣ及びディレー回路３８０により発生された時間ずれ制御信号（ｔ）を受信する。アドレスずれ計算器６４０は、これら２つの値から、当該動きベクトルによって指し示されＲＡＭ６５０，６６０に記憶されたピクセル・テストブロックにアクセスするための複数のメモリアドレスを発生する。アドレスずれ計算器より供給されたアドレスに応答して、ＲＡＭ６５０，６６０の各々は、テストブロック（ｔ．ｂ．）を表すピクセル値のアレイをブロック突合せ及び比較器６７０に供給する。
【００６７】
ブロック突合せ及び比較器６７０は、２つのテストブロックにおける対応位置にあるピクセル値（詳しくは、ピクセル値の輝度成分）を比較する。各ピクセル対間の絶対輝度差が計算され、２つのテストブロック間の総合相関を示すため、絶対輝度差全部の合計（ＳＡＤ）が発生される。測定の動きベクトルに対する低いＳＡＤ値は、当該動きベクトルによって指し示されたテストブロック間の相関度が高いことを示す。
【００６８】
処理ユニット６３０は、動きベクトルｖ３を受信し、当該動きベクトルによって指し示されたテストブロックに対するＳＡＤ値を計算する。処理ユニット６３０はそれから、ＳＡＤ値及びベクトルｖ３の識別子を処理ユニット６２０に供給する。
【００６９】
処理ユニット６２０では、そのブロック突合せ及び比較器６７０によってベクトルｖ２に対するＳＡＤ値が発生される。ｖ２に対するＳＡＤ値はそれから、処理ユニット６３０から受信したｖ３に対するＳＡＤ値と比較される。これら２つのＳＡＤ値のうち低い方は、当該動きベクトルによって指し示されたテストブロック間の高い相関度をもつ動きベクトル（ｖ２又はｖ３）を表す。したがって、処理ユニット６２０は、低い方のＳＡＤ値６７５と、この最低ＳＡＤ値が導出されたベクトルを識別するベクトル識別子６８０とを出力する。
【００７０】
処理ユニット６１０は、ベクトルｖ１を受信し、当該ベクトルからＳＡＤ値を計算する。ｖ１に対するＳＡＤ値をそれから、処理ユニット６２０から供給されたベクトルｖ２，ｖ３の最低ＳＡＤ値６７５と比較する。処理ユニット６１０はそれから、ベクトルｖ１，ｖ２及びｖ３の最低ＳＡＤ値と共に、当該ＳＡＤ値が発生されたベクトルの識別子を出力する。
【００７１】
処理ユニット６００は、ゼロ動きベクトルに対するＳＡＤ値を発生し、これを、処理ユニット６１０から受けたベクトルｖ１，ｖ２及びｖ３の現在の最低ＳＡＤ値と比較する。処理ユニット６００のブロック突合せ及び比較器６７０は、この比較から、最低ＳＡＤ値が発生された４つの動きベクトルの中の１つを示す選択（された）ベクトル（の）識別子６９０を出力する。
【００７２】
ゼロ動きベクトルに対するＳＡＤ値（処理ユニット６００のブロック突合及び比較器６７０によって発生される）は、比較器７００に供給され、そこで予め設定された閾値７１０と比較される。ゼロ動きベクトルに対するＳＡＤ値は、４つの動きベクトル（ゼロ，ｖ１，ｖ２，ｖ３）のどれが出力ピクセルの補間に用いるために選択されたかに関係なく、比較器７００に供給される。
【００７３】
比較器７００は、ゼロ動きベクトルに対するＳＡＤ値が閾値７１０より大きいときに「セット」される動きフラグ７２０を発生する。ゼロ動きベクトルに対するＳＡＤ値が閾値７１０より小さいとき、動きフラグはセットされず、現在の出力ピクセルが画像のほぼ静止した部分に在ることを示す。
【００７４】
図８は、図７のベクトル選択器の一部分（ブロック突合せ及び比較器６７０）を詳細に示すブロック図である。
同図において、ゼロ動きベクトルによって指し示された２つのテストブロック（処理ユニット６００内のＲＡＭ６５０，６６０より出力される）が、ブロック突合せ及び比較器６７０の一部をなすブロック突合せ器６７２に供給される。ブロック突合せ器６７２は、２つのテストブロックの各々における対応位置にあるピクセルを比較して、ゼロ動きベクトルによって指し示されたテストブロック間の相関を表すＳＡＤ値を発生する。このＳＡＤ値は、直接比較器７００に出力され、乗算器７５０にも供給される。
【００７５】
乗算器７５０は、ゼロ動きベクトルについて発生されたＳＡＤ値に係数１−δを乗じる。これは、ゼロ動きベクトルに対するＳＡＤ値を減らすため、比例加重を適用するものである。例えば、δが０．２に等しければ、ゼロ動きベクトルに対するＳＡＤ値は、２０％減少する。
【００７６】
乗算器７５０により出力された、ゼロ動きベクトルに対する加重（された）ＳＡＤ値は、ブロック突合せ及び比較器６７０の一部をなす比較器６７４に供給される。比較器６７４は、処理ユニット６１０から、現在の最低ＳＡＤ値と、動きベクトルｖ１，ｖ２，ｖ３のうちどれが現在の最低ＳＡＤ値に対応するかを示す識別子とを受ける。比較器６７４は、現在の最低ＳＡＤ値を乗算器７５０より出力された加重ＳＡＤ値と比較し、ゼロ動きベクトル（ゼロ動きベクトルに対する加重ＳＡＤ値が、処理ユニット６１０から受けた現在の最低ＳＡＤ値より低いか又は等しいとき）又は処理ユニット６１０から受けたベクトル識別子（ゼロ動きベクトルに対する加重ＳＡＤ値が、処理ユニット６１０から受けた現在の最低ＳＡＤ値より大きいとき）のどちらか一方を識別する出力６９０を発生する。
【００７７】
図８の装置を用いて、ゼロ動きベクトルに関するＳＡＤに対してのみ、加重を適用する。よって、他の３つ（非ゼロ）の動きベクトルの１つを選択すべき場合は、それらの他の３動きベクトルの１つによって指し示されたテストブロック間の相関が、ゼロ動きベクトルに関する相関よりも比例してよくなければならない。
【００７８】
ゼロ動きベクトルに対するＳＡＤ値に１−δ（δは１より小）を乗じる代わりに（又はそれに加えて）、他の動きベクトル（ｖ１，ｖ２又はｖ３）に対するＳＡＤ値に１より大きな係数を乗じるようにしてもよい。他の具体構成では、加算的加重を使用することもできる。即ち、加重値をゼロ動きベクトルに対するＳＡＤ値より減じるか又は残りの３動きベクトルに対するＳＡＤ値に足すか、或いはその両方を用いるのである。また、３つの動きベクトルｖ１，ｖ２，ｖ３のうち最もよいもののＳＡＤ値（現在の最低ＳＡＤ）が処理ユニット６１０から処理ユニット６００に送られるとき、加重値をそのＳＡＤ値に足すようにもできる。
【００７９】
３動きベクトルｖ１，ｖ２，ｖ３の１つ以上に対するＳＡＤ値に加重を施す上記すべての場合に、夫々の動きベクトルの大きさに応じて（例えば、ベクトルの大きさに比例して）加重を増すようにしてもよい。これは、選択をするためには、他のすべての要因が同じならば、大きい動きベクトルの方が小さい動きベクトルよりテストブロック間の相関がよく（即ち、ＳＡＤ値が低く）ならねばならないことを意味する。
【００８０】
本発明の他の具体構成では、動きベクトル選択に用いるテストブロックに映像強調を施し、それらのテストブロック内の微細部がある小領域を強調している。このプロセス（処理）は、小さな微細物体の可視度を増すので、ブロック突合せ及び比較器６７０で行うブロック突合せ処理に一層大きな影響を与える。
【００８１】
動きベクトル選択に用いるテストブロックに使用するに適した映像強調技法の１つは、従来の２次元フィルタ装置を用いてテストブロックに高周波エンファシスを施すことである。例えば、図９及び１０に示すような２次元ハイパス空間ろ波係数を使用する３×３空間フィルタを用いてもよい。ただし、図９及び１０に示すようなハイパスフィルタを用いると、テストブロック内の微細部を強調するものの、映像ノイズを一層目立たせ、総合的システム性能を低下させる。
【００８２】
他の映像強調技法は、いわゆるソベル（Ｓｏｂｅｌ）フィルタの出力に応答して映像データを修正するものである。これらのフィルタを用いると、映像データは、一方向においてローパスフィルタにより、他方向においてハイパスフィルタにより効率よくろ波される。この技法によれば、得られる強調（された）映像は、図９及び１０の２次元ハイパスフィルタを用いてろ波された類似の映像よりもノイズを免かれている。ソベルろ波処理はまた、水平及び垂直線のような自然映像の特徴に対する感度がよい。
【００８３】
図１１は、垂直ソベル空間フィルタに対する１組の係数を示し、図１２は、水平ソベル空間フィルタに対する１組の係数を示す。テストブロックのソベルろ波されたものは、後述のように、ピクセルデータの選択的置換を制御するのに使用する。
【００８４】
図１３は、映像強調回路の例を示すブロック図である。同図の映像強調回路は、テストブロックをブロック突合せ及び比較器６７０に送る前にＲＡＭ６５０，６６０により出力されるテストブロックを処理するために、図７の装置の中に挿入することができる。或いは、図１３の映像強調回路を、ＲＡＭ６５０，６６０に記憶しようとする全映像を強調するのに使用してもよい。どちらの場合も、映像強調は、ベクトル選択に用いるテストブロックに適用し、最終的に出力ピクセルが発生される映像には適用しない。
【００８５】
図１３の装置において、入力ビデオデータ８００（例えば、図７のＲＡＭ６５０，６６０からのデータ）は、垂直ソベルフィルタ８１０及び水平ソベルフィルタ８２０に並列に供給される。垂直ソベルフィルタ８１０は、入力ビデオデータ８００の各ピクセルに対し、当該位置における垂直映像詳細度を示す出力ｄｖを発生する。同様に、水平ソベルフィルタ８２０は、当該位置における水平映像詳細度を示す出力ｄｈを発生する。
【００８６】
垂直及び水平ソベルフィルタ８１０，８２０の出力は、夫々比較器の対に並列に供給される。詳しくいえば、垂直ソベルフィルタ８１０からの出力ｄｖは比較器８３０，８４０に、水平ソベルフィルタ８２０からの出力ｄｈは比較器８５０，８６０に供給される。比較器８３０及び８５０は、夫々の入力ｄｖ及びｄｈを閾（ｔ）８７０と比較し、ｄｖ又はｄｈが閾値８７０より大きいかどうかを示す出力を夫々発生する。同様に、比較器８４０及び８６０は、夫々の詳細値ｄｖ又はｄｈを、大きさが閾８７０に等しい負の閾値と比較する。負の閾値は、夫々閾値８７０に−１を乗じる乗算器８８０，８９０によって発生される。比較器８４０及び８６０は、詳細値ｄｖ又はｄｈが負の閾（−ｔ）より小さいかどうかを示す出力を夫々発生する。
【００８７】
比較器８３０及び８５０の出力はＯＲゲート９００に供給され、その出力でスイッチ９１０を制御する。即ち、水平詳細度又は垂直詳細度のどちらか一方が閾８７０より大きいとき、入力ビデオの当該位置に白ピクセルを当てるように制御する。同様に、比較器８４０及び８６０の出力はＯＲゲート９２０に供給され、その出力でスイッチ９３０を制御する。即ち、詳細度ｄｖ又はｄｈのどちらかが負の閾値より小さいとき、入力ビデオの当該位置に黒ピクセルを入れるように制御する。
【００８８】
スイッチ９３０の出力は、出力ビデオとして（例えば、ブロック突合せ及び比較器６７０に）供給される。
【００８９】
他の具体構成では、スイッチ９１０，９３０による白及び黒ビデオの置換はまた、現ピクセルの周囲の小ブロックにおける強さの平均化を受ける。即ち、強さが低い領域では微細部を白ピクセルで置換え、強さが高い領域では微細部を黒ピクセルで置換える。
【００９０】
更に他の具体構成では、微細領域に黒や白のピクセルを入れる代わりに、微細領域のピクセル値に一定信号を加えてもよい。
【００９１】
上述の種々の具体構成の性能は、使用するビデオ素材によって決まるので、これらの様々な代替策の間で切替えが可能な動的システムを使用することができる。
【００９２】
図１４は、自動車の映像（図１及び２に示したような）に対し映像強調テストブロック９５０，９６０を用いたベクトル選択処理上の効果を示す。図１３の装置で行った映像強調を、図１４では、車ラジオアンテナを表すのに太く印刷して示した。映像強調の結果、アンテナは、動きベクトル選択に使用されたテストブロック９５０，９６０の遙かに重要な部分となる。これは、ベクトル選択における相関テストが、車ラジオアンテナを表すピクセルの補間に用いるのに正確なベクトル（「車」動きベクトル）を選択する可能性が多くなることを意味する。
【００９３】
本発明の別の具体構成では、ベクトル選択に用いるテストブロックを解析して該ブロックに含まれる詳細部の量を検出する。それから相関テスト結果を調整もしくは加重して、詳細部を殆ど含まないテストブロック（例えば、単純背景領域からのブロック）を用いて得られた高い相関度を、もっと詳細なテストブロックから得られた低い相関度より重要性が低いものとして扱うようにする。
【００９４】
テストブロックにおける詳細度テストは、色々な方法で行うことができる。例えば、テストブロックにおけるダイナミックレンジ（最大ピクセル値−最小ピクセル値）を定量化する。その改良として、テストの前にブロックを平滑化する（従来の２次元ローパスろ波装置により）ことにより、他の点では単純な背景上の１つの偽ピクセルが、テストブロックにおける詳細部を示すものと受取られないようにすることができる。もう１つの具体構成では、ソベルろ波処理を用いることができる。
【００９５】
ブロックにおける詳細値を決定する他の方法は、隣接ピクセル値間の差を計算し、これらの差を該ブロックについて合計することである。
【００９６】
【数１】

ただし、Ｐｉｘｅｌｄｉｆｆ＝水平隣接ピクセル間の絶対差
Ｌｉｎｅｄｉｆｆ＝垂直隣接ピクセル間の絶対差
ブロックに詳細部があると、隣接ピクセル間の輝度値の差は、上記の総量を高周波数内容に応じた量だけ非ゼロとする。
【００９７】
図１５は、図７のベクトル選択器の一部を示すブロック図である。同図において、ブロック突合せ器６７２にて発生されたＳＡＤ値は、テストブロックにて検出された詳細度に従って加重される（１０００，１０１０）。これは、相関テストの結果が、単にブロックが詳細度に欠けるとの理由だけでは排斥されないことを意味する。テストブロック間の高い相関度は、テストブロックから発生された低いＳＡＤ値によって示されることを記憶しておけば、加重を次のように行うことができるであろう。
差値＝原ＳＡＤ×加重値
ただし、詳細度テスト結果が所定閾値より大きい場合、加重値＝閾／（詳細度テスト結果＋１）であり、詳細テスト結果が所定閾値より小さいか又はこれに等しい場合、加重値＝１である。
【００９８】
図１５において、被テスト動きベクトルによって指し示された２つのテストブロック（ｔ．ｂ．）の各々は、各処理ユニット６００，６１０，６２０，６３０内の詳細度検出器１０００及びブロック突合せ器６７２に並列に供給される。ブロック突合せ器６７２により発生されたＳＡＤ値は乗算器１０１０に供給され、そこで、ＳＡＤ値に上述のように詳細度検出器１０００により発生された加重値が乗じられる。
【００９９】
図１６に示す他の具体構成では、テストブロックにおける詳細度を示すテスト結果は、閾値と比較される。詳細度が閾値で表されるものより低ければ、それらのブロックを用いて行われた相関テストは無視される。
【０１００】
図１６の装置において、ＲＡＭ６５０，６６０より出力されたテストブロックはまた、ブロック突合せ器６７２及び詳細度検出器１０２０に並列に供給される。詳細度検出器１０２０は、テストブロックにおける詳細度を示す詳細値を出力する。この詳細値は、比較器１０３０に送られ、そこで詳細閾１０４０と比較される。
【０１０１】
ブロック突合せ器６７２はテストブロックからのＳＡＤ値を発生し、これは、先行処理ユニット（図７参照）からの現在の最低ＳＡＤ値６７５と一緒に比較器１０５０に供給される。比較器１０５０は、ブロック突合せ器６７２により発生されたＳＡＤ値が現在の最低ＳＡＤ値６７５より低いかどうかを示す出力を発生する。
【０１０２】
比較器１０３０及び１０５０の出力は、ＡＮＤゲート１０６０に供給される。ＡＮＤゲートの出力は、マルチプレクサ（並直列変換器）１０７０を制御して、被テスト動きベクトル識別子１０８０又は先行処理ユニットから受けた現ベクトル識別子６８０のどちらか一方を確認する出力を発生させる。ＡＮＤゲート１０６０及びマルチプレクサ１０７０は、マルチプレクサ１０７０の出力が、次の２つの条件、即ち、現在被テスト動きベクトルに対するＳＡＤ値が、先行処理ユニットから受けた現在の最低ＳＡＤ値６７５より低いこと、及び、現在の被テスト動きベクトルによって指し示されたテストブロックにおける、詳細度検出器１０２０により検出された詳細度量が、詳細閾値１０４０より大きいか又はこれに等しいこと、の両方の条件を満たしたときのみ、現在の被テスト動きベクトルを確認するように作用する。
【０１０３】
以上、本発明の種々異なる具体構成を説明したが、これら個々の具体構成の特徴（例えば、ゼロベクトルＳＡＤの加重、映像強調の使用及び詳細度テストの使用）を色々と並べ替えて一緒に組合せてもよいことに留意されたい。
【０１０４】
【発明の効果】
以上説明したとおり、本発明によれば、動き補正ビデオ信号処理におけるベクトル選択の際に、入力映像におけるノイズ領域間の見せかけの相関によって不正確な動きベクトルが選択されることを防ぐ効果がある。
【図面の簡単な説明】
【図１】自動車の映像に対するベクトル選択処理上の問題点を示す図（その１）である。
【図２】自動車の映像に対するベクトル選択処理上の問題点を示す図（その２）である。
【図３】大きな単純領域を含む映像に対するベクトル選択処理上の問題点を示す図である。
【図４】本発明を用いうる動き補正テレビジョン標準方式変換装置を示すブロック図である。
【図５】垂直空間サブサンプリングの簡単な例を示す説明図である。
【図６】ベクトル選択時のテストブロックの比較を示す説明図である。
【図７】図４のベクトル選択器４３０の具体例を示すブロック図である。
【図８】図７のブロック突合せ及び比較器６７０の詳細を示すブロック図である。
【図９】３×３ハイパス空間フィルタの係数の例１を示す図である。
【図１０】３×３ハイパス空間フィルタの係数の例２を示す図である。
【図１１】垂直ソベル空間フィルタの係数を示す図である。
【図１２】水平ソベル空間フィルタの係数を示す図である。
【図１３】映像強調回路の具体例を示すブロック図である。
【図１４】図１及び２の自動車の映像に対し映像強調テストブロックを用いるベクトル選択処理上の効果を示す図である。
【図１５】図８のブロック突合せ及び比較器の他の例を示すブロック図である。
【図１６】図１５の回路の変形例を示すブロック図である。
【符号の説明】
４１０，４２０動きベクトル発生手段
４３０ベクトル選択器（テストする手段）
６７２ブロック突合せ器（相関値検出手段）
７５０，１０１０乗算器（加重手段）
６７４比較器（動きベクトル選択手段）
３４０動き補正補間器
８１０垂直ソベル映像フィルタ
８２０水平ソベル映像フィルタ
８３０，８４０，８５０，８６０フィルタ出力検出手段
９１０，９３０ピクセル置換手段
１０００，１０２０詳細度検出器[0001]
[Industrial application fields]
The present invention relates to a motion compensated video signal processing system.
Motion compensated video signal processing is used in devices such as television standard conversion, film standard conversion, and video film standard conversion.
In a motion-compensated television standard conversion device, such as the conversion device described in UK Published Patent Application GB-A-2231799, a plurality of sets representing a video motion between the input video pairs by processing a pair of continuous input videos. The motion vector is generated. Since this processing is performed for individual blocks of video, each motion vector represents the motion between videos of the contents of each block.
[0002]
Each set of motion vectors is fed to a motion vector decrementer, where a subset of the set of motion vectors for each block is derived. This subset containing zero motion vectors is then sent to a motion vector selector, where one of the subsets of motion vectors is assigned to each pixel (pixel) in each video block. The motion vector selected for each pixel is supplied to a motion compensation interpolator, which performs an operation of interpolating the continuous output video taking into account the motion between the input videos.
[0003]
A motion vector selector is used to interpolate one output pixel from a two-input video,This selects one motion vector from a subset of motion vectors (eg, four motion vectors) supplied by the vector deductor. For this motion vector selection process,Under testBy motion vectorBe directedIt includes detecting the degree of correlation between the test blocks of the two-input video.AndThe motion vector with the highest degree of correlation between the test blocks is selected for use in output pixel interpolation.
[0004]
Problems can arise when vector selection is performed on input video with large noise content. In this case, an incorrect motion vector may be selected due to a pseudo apparent correlation between noise regions (portions) in the input video. A motion-compensated video signal processing device operating under such conditions may experience dramatic malfunctions when a certain level of video noise arrives, and may be worse than a device that does not perform motion compensation. is there.
[0005]
An object of the present invention is to prevent an incorrect motion vector from being selected due to a false correlation between noise regions in an input image during vector selection in motion compensated video signal processing.The wrong motion vector is not selected by emphasizing the video content of the test block.Motion compensation video signal processorIs to provide.
[0006]
[Means for Solving the Invention]
In order to solve the above-mentioned problems, a motion compensated video signal processing apparatus according to the present invention comprises means for generating a plurality of motion vectors representing video motion between temporally continuous video field pairs of an input video signal, and zero video Means for testing a plurality of motion vectors to select one motion vector used for interpolation of an output pixel of an output image from the plurality of motion vectors including a zero motion vector indicating a motion of In a motion compensation video signal processing apparatus comprising a motion compensation interpolator that interpolates output pixels from an input video pair of an input video signal using a motion vector selected based on the result
The means for testing is indicated by video enhancement means for enhancing video content of at least a test block in an input video indicated by a plurality of motion vectors including zero motion vectors, and a plurality of motion vectors including zero motion vectors. Means for detecting a correlation value indicating the degree of correlation between video-enhanced test blocks, and means for selecting a motion vector having the highest degree of correlation between video-enhanced test blocksAnd having
The video enhancement means includes a vertical Sobel video filter, a horizontal Sobel video filter, and a predetermined pixel in a test block that has passed through the vertical Sobel video filter or the horizontal Sobel video filter. 1 The degree of detail of the predetermined pixel compared to the positive threshold of 1 And a first detection means for detecting an output indicating that the output value is greater than a positive threshold value of the first detection means, and a means for replacing the predetermined pixel in the test block with a white pixel in response to the first detection means. A motion correction video signal processing apparatus.
Further, instead of the first detection means used for the video enhancement means,The predetermined pixel in the test block that has passed through the vertical Sobel image filter or the horizontal Sobel image filter is compared with the second threshold value obtained by inverting the first positive threshold value, and the degree of detail of the predetermined pixel is the second threshold value. It is also possible to use second detection means for detecting an output indicating that the output is smaller. There is also provided a motion compensated video signal processing apparatus having means for replacing the predetermined pixel in the test block with a black pixel in response to the second detection means.
[0014]
According to the motion compensated video signal processing apparatus of the present invention,When applied to video material with fine details moving in front of a static background (smaller than one of the test blocks used for the correlation test)It is suitable for. In other words, when a minute detail moving in front of a static background moves,Incorrect vectors may be selected for interpolation of moving parts. This is because the correlation between the regions around the moving part in the two-input video is completely different, and this difference affects the result of the correlation test. An example of this potential problem is shown in FIGS.
[0015]
1A and 1B and FIG. 2A and 2B show problems in the vector selection process for an automobile image. In the vector estimation, at least a zero motion vector and a horizontal motion vector are specified as representing the background of a still image and the motion of a car. For the body part, the correlation test performed at the time of vector selection should be able to easily select the “car” motion vector. However, for items such as car radio antennas, test blocks 10 and 20 (a and b in FIG. 1) pointed to by the “car” motion vector are overwhelmingly different parts of the video background. Depends on. The correlation between these test blocks is low. On the other hand, the correlation between the test blocks 30 and 40 (a and b in FIG. 2) indicated by the zero motion vector is high. This is due to the fact that these test blocks represent the same part of the video background and are slightly different in that one of the test blocks includes a part of the car radio antenna. Therefore, the result of the correlation test for the zero motion vector shows a greater correlation than the result for the “car” motion vector, so the zero motion vector will be incorrectly selected for use in interpolation of a portion of the car radio antenna. .
[0016]
In order to avoid this problem, the size of the test block may be reduced, but this method will be susceptible to noise in the input video in the vector selection process.
[0018]
As mentioned above,According to the motion compensated video signal processing apparatus of the present invention,Input videofieldPair of at least test blocksportionTo emphasizeVideo enhancement is performed.do thisByIt is possible to increase the visibility of a fine part such as the above-described car radio antenna or the importance in a test block.That is,Since the fine parts are emphasized, the influence on the result of the correlation test performed when selecting a vector is large.BecomeIn the vector selection process, for example, the possibility that an accurate motion vector is selected for a small minute object that moves with respect to a static background increases.
[0019]
Video enhancement may be performed before or after deriving test blocks from the input video.
[0020]
Used in the motion compensated video signal processing apparatus of the present inventionThe image enhancement means uses a two-dimensional high-pass spatial filter.Can be used. However, if you use a high-pass filter, you can emphasize fine parts in the test block,High passThe filter also makes video noise more noticeable, so the overall system performanceWill lead to a decline. Therefore, as a preferred specific configuration of the present invention, a vertical Sobel image filter and a horizontal Sobel image filterIs used(theseSobelThe filter performs high pass filtering in one direction and low pass filtering in the other direction. ). Means for detecting an output by a vertical Sobel video filter or a horizontal Sobel video filter indicating greater than a predetermined detail around one or more pixels in the test block; Means for replacing the above pixels with pixels having a predetermined luminance is provided. The pixel having the predetermined luminance may be a white pixel.
[0021]
Also,Used in the motion compensated video signal processing apparatus of the present inventionAnother specific configuration of the video enhancement means includes a vertical Sobel video filter, a horizontal Sobel video filter, and a vertical Sobel video filter or horizontal Sobel indicating less than a predetermined detail around one or more pixels in the test block. Second detection means for detecting an output from the video filter and means for responding to the second detection means and replacing one or more pixels of the test block with pixels of a second predetermined brightness are provided. In this case, the pixel having the second predetermined luminance may be a black pixel.
[0023]
MoreUsed in the motion compensated video signal processing apparatus of the present inventionImage enhancement meansOther suitable specific configurations includeMeans for detecting an output by a vertical or horizontal Sobel video filter indicating greater than a predetermined detail around one or more pixels in the test block, and one or more pixels in the test block in response to the detection means For adding a predetermined luminance component to the luminance component ofConsists of
[0024]
Used in the motion compensated video signal processing apparatus of the present inventionThe video enhancement means is combined with the weighting of the correlation value of the zero motion vector.Used. For this,Zero motion vector indicating motion of video where one of the motion vectors is zeroAndBookMotion compensated video signal processingThe deviceTestedMeans for detecting a correlation value representing a correlation degree between video enhancement test blocks of an input video indicated by a plurality of motion vectors, and a correlation degree indicated by a correlation value with respect to a zero motion vector is other than the zero motion vector For the degree of correlation indicated by the correlation values for multiple motion vectors,The zero motion vector or a plurality of motion vectors other than the zero motion vector in the increasing directionA means for weighting the correlation value is provided, and the optimum motion vector selection means selects a motion vector having a weighted correlation value indicating the highest degree of correlation.I am doing so.
[0025]
The detecting means includes means for detecting an absolute luminance difference between a pair of pixels at corresponding positions in the video enhancement test block, and means for adding the absolute luminance differences to generate a sum of absolute differences (SAD) value. It is good.
[0026]
In addition, the motion correction video signal processing method of the present invention is anContinuous in timeGenerating a plurality of motion vectors representing video motion between a pair of input video fields, and including a zero motion vector indicating zero video motionpluralIn order to select one motion vector used for interpolation of the output pixel of the output video from the motion vectors,Multiple motion vectorsStep to test and thisIn the test stepInterpolating output pixels from input video pairs of the input video signal using the selected motion vector, the testing step being testedContains zero motion vectorOf input video pointed to by multiple motion vectorsInAt least enhance the video content of the test blockStep and,Zero motion vector and a plurality of other than the zero motion vectorA step of detecting a correlation value indicating a degree of correlation between the video-enhanced test blocks indicated by the motion vector, and a motion vector indicating the highest degree of correlation between the video-enhanced test blocks among a plurality of motion vectors Select each stepStepIs included.
[0027]
FIG. 3 shows another problem that occurs when a fine object moves in front of a very simple background (in the figure, the O-shaped background is moving from left to right between fields). In this case, the correlation test performed by vector selection may give a very good match between the two areas of the simple background. In fact, the alignment obtained between two simple regions often appears to be a better alignment than the alignment obtained between two corresponding parts of a fine object. Since the motion vector with the highest correlation between test blocks is selected for use in interpolation, a very good match between simple regions is an incorrect vector in preference to the correct vector representing fine object motion. Causes the result to be selected. The result of this error appears as a visible gap (actually part of the background) in a fine object.
[0040]
【Example】
Hereinafter, the present invention will be specifically described with reference to the drawings.
FIG. 4 is a block diagram showing a motion compensation television standard format conversion apparatus that can use the present invention. The apparatus receives an input interlaced digital video signal 250 (eg, 1125/60, 2: 1 high definition video signal (HDVS)) and an output interlaced digital video signal 260 (eg, 1250/50, 2: 1 signal).
[0041]
The input video signal is first supplied to the input buffer packer 310. In the case of a normal definition input signal, the input buffer / packer 310 changes the video data to a high definition (16: 9 aspect ratio) format and fills black pixels as necessary. In the case of HDVS input, the input buffer packer 310 simply stores data temporarily.
[0042]
Data is sent from the input buffer / packer 310 to the matrix circuit 320 where the input video signal colorimetry is changed to the standard “CCIR Recommendation 601” (Y, Cr, Cb) colorimetry (if necessary). Convert.
[0043]
The input video signal is sent from the matrix circuit 320 to the time base conversion (TBC) and delay (delay) circuit 330 and to the subsampled TBC and delay circuit 380 via the subsampler 370. The TBC and delay circuit 330 determines the time position of each field of the output video signal, and selects the input video signal of two fields closest in time to the output field for use in interpolation of the output field. For each field of the output video signal, the two input fields selected by the TBC circuit are appropriately delayed before being sent to the interpolator 340 which interpolates the output field. The control signal t indicates the time position of each output field for the selected two input fields, and is supplied from the time base conversion (TBC) and delay circuit 330 to the interpolator 340.
[0044]
Subsampled TBC and delay circuit 380 operates in a similar manner, except that it uses spatially subsampled video supplied by subsampler 370. A field pair corresponding to the field pair selected by the TBC circuit 330 is selected from the subsampled TBC and video subsampled by the delay circuit 380 and used to generate a motion vector.
[0045]

TBC circuits

330 and 380 may operate in accordance with a synchronization signal associated with the input video signal, the output video signal, or both. When only one synchronization signal is supplied, the timing of the other field of the two video signals is within the TBC circuits 330 and 380.Inevitably determined and generated.
[0046]
The subsampled input video signal field pairs selected by the subsampled TBC and delay circuit 380 are a direct block matcher 390, a correlation surface processor 400, a motion vector estimator 410, a motion vector reducer 420, This is supplied to a motion processing device 385 including a motion vector selector 430 and a motion vector post-processor 440. The input field pair is first sent directly to the block matcher 390, where the search block in the selected temporally early one of the two input fields and the temporally late one of the two input fields (greater than). ) Calculate a correlation surface representing the spatial correlation with the search area.
[0047]
The correlation surface processor 400 generates a number of interpolated correlation surfaces from the correlation surface output from the block matching unit 390, and these are sent to the motion vector estimator 410. The motion vector estimator 410 detects the maximum correlation point on the interpolated correlation surface. (Because the original correlation surface actually represents the difference between the blocks of the two input fields, the maximum correlation point is the minimum point on the correlation surface. Therefore, hereinafter referred to as the “minimum point”.) Interpolating by interpolating the points in the correlation plane, some compensation for resolution loss caused by using subsampled video to generate the correlation plane. The motion vector estimator 410 generates a motion vector from the detected minimum point in each correlation plane and sends it to the motion vector decrementer 420.
[0048]
The motion vector estimator 410 also performs a confirmation (reliability) test on each generated motion vector to see if the motion vector is well above the average data level and sets a confirmation flag indicating the result of the confirmation test. Append to motion vector. The verification test, known as the “threshold” test, is described in GB-A-2,231,749 (along with some other features of the apparatus of FIG. 1).
[0049]
The motion vector estimator 410 performs a test to detect whether each vector is a fake. In this test, the next minimum point is detected by examining the correlation surface (excluding the exclusion zone around the detected minimum point). This second minimum point is the edge of the exclusion zoneWithin rangeIf not, the motion vector derived from the first minimum is flagged as potentially fake.
[0050]
The motion vector decrementer 420 reduces the possible motion vector selections for each pixel in the output field before sending the motion vector to the motion vector selector 430. The output field is conceptually divided into a plurality of pixel blocks. Each of these blocks has a position in the output field corresponding to the search block in the earlier of the selected input fields. The motion vector decrementer has 4 motion vectorsLeCorresponding to each block of the output field, each pixel in that block isThese fourInterpolated using a selected one of the motion vectors.
[0051]
A vector flagged as “fake” is requalified during vector reduction if it is identical to an unflagged vector in a nearby block.
[0052]
The motion vector decrementer 420, as part of its function, determines the frequency of occurrence of a “proper” motion vector (ie, a motion vector that has passed validation and fake tests, or requalified if not fake). Counting is performed without considering the position of the block of the input field used to obtain these motion vectors.The proper motion vectors are then ranked in order of decreasing frequency.The most common proper motion vector that is quite different from each otherIs,Classified as “wide area” motion vectors. And the three motion vectors that passed the verification test areIt is selected for each block of output pixels and sent to the motion vector selector 430 along with the zero motion vector for further processing. These three selected motion vectors are selected from the following in a predetermined priority order.
(I) the motion vector generated from the corresponding search block ("local" motion vector),
(Ii) generated from surrounding search blocks (“adjacent” motion vectors),
(Iii) Wide area motion vector.
[0053]
The motion vector selector 430 also receives as input the two input fields selected by the subsampled TBC and delay circuit 380 and used to calculate the motion vector. These fields are appropriately delayed and supplied to the motion vector selector 430 simultaneously with the vectors derived from these fields. Motion vector selector 430 provides an output that includes one motion vector per pixel of the output field. This motion vector is selected from the four motion vectors for that block supplied by the motion vector reducer 420.
[0054]
The vector selection process involves detecting the degree of correlation between the test blocks of the two input fields pointed to by the motion vector under test. The motion vector with the maximum correlation between test blocks is selected for use in output pixel interpolation. The vector selector also generates a “motion flag”. This flag is set to “still” (no motion) if the degree of correlation between the blocks pointed to by the zero motion vector is greater than a preset threshold.
[0055]
The vector post-processor 440 modifies the format of the motion vector selected by the motion vector selector 430 to represent the vertical or horizontal scaling of the image, and the changed vector is sent to the interpolator 340. Supply. The interpolator 340 uses the motion vector to interpolate the output field from the corresponding two (not subsampled) interlaced input fields selected by the TBC and delay circuit 330. In this case, any video motion indicated by the motion vector currently supplied to the interpolator 340 is taken into account.
[0056]
If the motion flag indicates that the current output pixel is in the motion part of the video, the pixels from the two selected fields supplied to the interpolator are the two input fields (control signal t As a function of time relative to the That is, the closer input fields are combined at a larger ratio. When the motion flag is set to “still”, the temporal weight (weighting) is fixed at 50% of each input field. The output of the interpolator 340 is sent to the output buffer 350 and outputted as a high-definition output signal, and also sent to the down converter 360 and outputted as a normal definition output signal 365.
[0057]
The down-converter 360 allows the display of the output (eg, high definition video signal) of the apparatus to be monitored, transmitted, or recorded using a conventional definition apparatus. This is beneficial because conventional definition recording devices are much cheaper than high definition devices and are much more widespread. For example, simultaneous transmission of normal and high-definition video would be required for transmission over terrestrial and satellite channels, respectively.
[0058]
The sub-sampler 370 spatially sub-samples the input video fields received from the matrix 320 in the horizontal and vertical directions, and supplies the input fields to the time base conversion (TBC) and delay circuit 380. In horizontal subsampling, the input field is first pre-filtered (filtered) with a half-bandwidth low-pass filter (in this example of 2: 1 horizontal decimation), and every other video sample along each video line. This is an easy operation in that it reduces the number of samples along each video line by half.
[0059]
Vertical subsampling of the input field is complicated because the input video signal 250 is interlaced. This means that the continuous line of video samples in each interlaced field is effectively divided into two video lines, and the lines in each field are vertically shifted by one full video line from the lines in the previous and subsequent fields. means.
[0060]
One method of vertical sub-sampling is to perform a progressive (continuous or sequential) scan conversion (generates successive progressively scanned video frames with 1125 lines each) and to convert the progressively scanned frames by a factor of two. Would be sub-sampled and vertical sub-sampled. However, efficient progressive scan conversion requires some degree of motion correction processing, which may adversely affect the operation of the motion processing device 385. Further, real-time progressive scan conversion of high definition video signals may require a particularly powerful and complex processing device.
[0061]
A simpler method of vertical spatial subsampling is to first low-pass filter the input field in the vertical direction (to avoid potential aliasing) and then move each pixel vertically as shown in FIG. Filtering that effectively shifts down 1/2 of the video line (for even fields) or above (for odd fields). The resulting misaligned field is broadly equivalent to a progressive scan frame subsampled vertically at a rate of two.
[0062]
Thus, in summary, as a result of the sub-sampling operation described above, motion processor 385 will operate on input field pairs that are spatially sub-sampled at a rate of 2 in the horizontal and vertical directions. This reduces the processing required for motion vector estimation to ¼.
[0063]
FIG. 6 is an explanatory diagram showing comparison of test blocks at the time of vector selection.
The figure shows two

motion vectors

500 and 510 associated with the block containing output pixel 520 in output field 530. For the sake of clarity, the other two motion vectors associated with the output pixel 520 by the motion vector reducer 420 are not shown.
[0064]
To test one of the four motion vectors associated with the output pixel 520 (eg, motion vector 510), the motion vector is extrapolated and the output field 530 is interpolated from the pixel in the input fields 560, 570. The test blocks 540 and 550 are respectively indicated. The degree of correlation between the pixel test blocks is determined by calculating the absolute luminance difference between the pixel pairs at corresponding positions in the two test blocks. These absolute luminance difference values are then added to produce the absolute luminance difference sum (SAD) associated with the motion vector being tested (tested). A high SAD value indicates that the correlation between blocks in the input frame around the pixel pointed to by the motion vector is low, and a low SAD value indicates that the correlation between those blocks is high. This test is performed for each of the four motion vectors supplied to the motion vector selector 430 from the motion vector decrementer 420. From this test, the motion vector with the lowest SAD value is selected for use by the motion vector selector 430 to interpolate the output pixel 520.
[0065]
FIG. 7 is a block diagram illustrating an example of the vector selector 430 of FIG.
Four motion vectors for each block of output pixels are supplied from motion vector decrementer 420 to motion vector selector 430. These four motion vectors, namely the zero motion vector and the three other vectors v1, v2, v3, are supplied to four

processing units

600, 610, 620 and 630, respectively. Each processing unit 600-630 has an address shift calculator 640, two random access memories (RAM) 650, 660 and a block matching and comparator 670, the two RAMs being a TBC (time base conversion) and delay circuit. One associated portion of each input field pair selected by 380 is stored.
[0066]
In each processing unit, the address shift calculator 640 receives the time shift control signal (t) generated by the TBC and delay circuit 380 along with the motion vector for the processing unit. From these two values, the address shift calculator 640 generates a plurality of memory addresses for accessing the pixel test block indicated by the motion vector and stored in the

RAMs

650 and 660. In response to the address provided by the address shift calculator, each of the

RAMs

650, 660 provides an array of pixel values representing a test block (tb) to the block match and comparator 670.
[0067]
The block matching and comparator 670 compares pixel values (specifically, luminance components of pixel values) at corresponding positions in the two test blocks. The absolute luminance difference between each pixel pair is calculated and a sum of all absolute luminance differences (SAD) is generated to show the overall correlation between the two test blocks. A low SAD value for a measured motion vector indicates a high degree of correlation between test blocks pointed to by the motion vector.
[0068]
Processing unit 630 receives motion vector v3 and calculates the SAD value for the test block pointed to by the motion vector. The processing unit 630 then supplies the SAD value and the identifier of the vector v3 to the processing unit 620.
[0069]
In processing unit 620, the block match and comparator 670 generates a SAD value for vector v2. The SAD value for v2 is then compared to the SAD value for v3 received from processing unit 630. The lower of these two SAD values represents a motion vector (v2 or v3) having a high degree of correlation between the test blocks indicated by the motion vector. Accordingly, the processing unit 620 outputs a lower SAD value 675 and a vector identifier 680 that identifies the vector from which this lowest SAD value was derived.
[0070]
The processing unit 610 receives the vector v1 and calculates an SAD value from the vector. The SAD value for v1 is then compared with the lowest SAD value 675 of the vectors v2, v3 supplied from the processing unit 620. The processing unit 610 then outputs the identifier of the vector from which the SAD value was generated, along with the lowest SAD value of the vectors v1, v2 and v3.
[0071]
The processing unit 600 generates a SAD value for the zero motion vector and compares it with the current lowest SAD value of the vectors v1, v2 and v3 received from the processing unit 610. From this comparison, block match and comparator 670 of processing unit 600 outputs a selected vector identifier 690 that indicates one of the four motion vectors for which the lowest SAD value was generated.
[0072]
The SAD value for the zero motion vector (generated by block match and comparator 670 of processing unit 600) is provided to comparator 700 where it is compared with a preset threshold 710. The SAD value for the zero motion vector is provided to the comparator 700 regardless of which of the four motion vectors (zero, v1, v2, v3) has been selected for use in output pixel interpolation.
[0073]
Comparator 700 generates a motion flag 720 that is “set” when the SAD value for the zero motion vector is greater than threshold 710. When the SAD value for the zero motion vector is less than the threshold 710, the motion flag is not set, indicating that the current output pixel is in a substantially stationary part of the image.
[0074]
FIG. 8 is a block diagram illustrating in detail a portion (block match and comparator 670) of the vector selector of FIG.
In the figure, two test blocks (output from the

RAMs

650 and 660 in the processing unit 600) pointed to by the zero motion vector are supplied to a block matching and block matching unit 672 which forms part of the comparator 670. The Block matcher 672 compares the pixels at corresponding positions in each of the two test blocks and generates a SAD value that represents the correlation between the test blocks pointed to by the zero motion vector. This SAD value is directly output to the comparator 700 and also supplied to the multiplier 750.
[0075]
Multiplier 750 multiplies the SAD value generated for the zero motion vector by a factor 1-δ. This applies proportional weighting to reduce the SAD value for the zero motion vector. For example, if δ is equal to 0.2, the SAD value for the zero motion vector is reduced by 20%.
[0076]
The weighted SAD value for the zero motion vector output by multiplier 750 is provided to a block match and comparator 674 that forms part of comparator 670. Comparator 674 receives from processing unit 610 the current lowest SAD value and an identifier indicating which of motion vectors v1, v2, v3 corresponds to the current lowest SAD value. Comparator 674 compares the current lowest SAD value with the weighted SAD value output from multiplier 750 and provides a zero motion vector (the weighted SAD value for the zero motion vector is greater than the current lowest SAD value received from processing unit 610). An output 690 identifying either a vector identifier received when processing unit 610 is low (when the weighted SAD value for the zero motion vector is greater than the current lowest SAD value received from processing unit 610). Occur.
[0077]
Using the apparatus of FIG. 8, weighting is applied only to SADs related to zero motion vectors. Thus, if one of the other three (non-zero) motion vectors is to be selected, the correlation between the test blocks pointed to by one of those other three motion vectors is the correlation for the zero motion vector. Must be better than proportional.
[0078]
Instead of (or in addition to) multiplying the SAD value for the zero motion vector by 1-δ (δ is less than 1), multiply the SAD value for the other motion vector (v1, v2 or v3) by a factor greater than 1. It may be. In other implementations, additive weighting may be used. That is, the weight value is subtracted from the SAD value for the zero motion vector, added to the SAD value for the remaining three motion vectors, or both. Further, when the SAD value (current lowest SAD) of the best of the three motion vectors v1, v2, and v3 is sent from the processing unit 610 to the processing unit 600, the weight value can be added to the SAD value.
[0079]
In all the above cases where the SAD values for one or more of the three motion vectors v1, v2, v3 are weighted, the weight is increased according to the size of the respective motion vector (eg proportional to the size of the vector). You may do it. This means that, in order to make a selection, if all other factors are the same, the large motion vector must have better correlation between test blocks (ie, lower SAD values) than the smaller motion vector. means.
[0080]
In another specific configuration of the present invention, video emphasis is applied to test blocks used for motion vector selection, and a small region having a fine portion in those test blocks is emphasized. Since this process increases the visibility of small fine objects, it has a greater impact on the block matching and block matching process performed by the comparator 670.
[0081]
One video enhancement technique suitable for use with test blocks used for motion vector selection is to apply high frequency emphasis to the test blocks using a conventional two-dimensional filter device. For example, a 3 × 3 spatial filter using a two-dimensional high-pass spatial filtering coefficient as shown in FIGS. 9 and 10 may be used. However, if a high-pass filter as shown in FIGS. 9 and 10 is used, the fine part in the test block is emphasized, but the video noise becomes more conspicuous and the overall system performance is lowered.
[0082]
Another video enhancement technique is to modify the video data in response to the output of a so-called Sobel filter. When these filters are used, the video data is efficiently filtered by a low-pass filter in one direction and by a high-pass filter in the other direction. According to this technique, the resulting enhanced video is more immune to noise than a similar video that has been filtered using the two-dimensional high-pass filter of FIGS. Sobel filtering is also sensitive to natural video features such as horizontal and vertical lines.
[0083]
FIG. 11 shows a set of coefficients for a vertical Sobel spatial filter, and FIG. 12 shows a set of coefficients for a horizontal Sobel spatial filter. The Sobel filtered version of the test block is used to control the selective replacement of pixel data, as described below.
[0084]
FIG. 13 is a block diagram illustrating an example of a video enhancement circuit. The video enhancement circuit of the figure can be inserted into the apparatus of FIG. 7 to process the test blocks output by the

RAMs

650, 660 before sending the test blocks to the block match and comparator 670. Alternatively, the image enhancement circuit of FIG. 13 may be used to enhance all images to be stored in the

RAMs

650 and 660. In either case, video enhancement is applied to the test block used for vector selection and not to the video where the output pixels are ultimately generated.
[0085]
In the apparatus of FIG. 13, input video data 800 (for example, from the

RAMs

650 and 660 of FIG.data from) Is supplied to the vertical Sobel filter 810 and the horizontal Sobel filter 820 in parallel. The vertical Sobel filter 810 generates, for each pixel of the input video data 800, an output dv indicating the vertical video detail level at that position. Similarly, the horizontal Sobel filter 820 generates an output dh indicating the level of detail of the horizontal image at the position.
[0086]
The outputs of the vertical and horizontal Sobel filters 810 and 820 are respectively supplied in parallel to a pair of comparators. More specifically, the output dv from the vertical Sobel filter 810 is supplied to the

comparators

830 and 840, and the output dh from the horizontal Sobel filter 820 is supplied to the

comparators

850 and 860.

Comparators

830 and 850 compare their respective inputs dv and dh to threshold (t) 870 and generate outputs indicating whether dv or dh is greater than threshold 870, respectively. Similarly,

comparators

840 and 860 compare each detail value dv or dh to a negative threshold whose magnitude is equal to threshold 870. Negative thresholds are generated by multipliers 880 and 890, respectively, that multiply threshold 870 by -1.

Comparators

840 and 860 generate outputs indicating whether the detail value dv or dh is less than a negative threshold (−t), respectively.
[0087]
The outputs of

comparators

830 and 850 are provided to OR gate 900, which controls switch 910. That is, horizontal detailsEvery timeOr vertical detailsEvery timeWhen either one of them is larger than the threshold value 870, control is performed so that a white pixel is applied to the position of the input video. Similarly, the outputs of

comparators

840 and 860 are provided to OR gate 920, which controls switch 930. That is, the detailsEvery timeWhen either dv or dh is smaller than the negative threshold, control is performed so that a black pixel is placed at the position of the input video.
[0088]
The output of switch 930 is provided as output video (eg, to block match and comparator 670).
[0089]
In other implementations, the replacement of white and black video by

switches

910, 930 is also subject to intensity averaging in a small block around the current pixel. That is, the fine portion is replaced with a white pixel in a low intensity region, and the fine portion is replaced with a black pixel in a high strength region.
[0090]
In still another specific configuration, a constant signal may be added to the pixel value of the fine area instead of putting black or white pixels in the fine area.
[0091]
Since the performance of the various implementations described above depends on the video material used, a dynamic system that can be switched between these various alternatives can be used.
[0092]
FIG. 14 shows the effect on vector selection processing using video enhancement test blocks 950, 960 for a car video (as shown in FIGS. 1 and 2). The image enhancement performed by the apparatus of FIG. 13 is shown in bold print in FIG. 14 to represent the car radio antenna. As a result of the video enhancement, the antenna becomes a much more important part of the test blocks 950, 960 used for motion vector selection. This means that the correlation test in vector selection is more likely to select the correct vector ("car" motion vector) to use for interpolation of the pixels representing the car radio antenna.
[0093]
In another specific configuration of the present invention, a test block used for vector selection is analyzed to detect the amount of detail included in the block. Then the correlation test results are adjusted or weighted so that the high degree of correlation obtained using a test block that contains little detail (eg, a block from a simple background region) is lower than that obtained from a more detailed test block. Treat as less important than correlation.
[0094]
The level of detail test in the test block can be performed in various ways. For example, the dynamic range (maximum pixel value−minimum pixel value) in the test block is quantified. As an improvement, by smoothing the block before testing (with a conventional two-dimensional low-pass filter), one false pixel on the otherwise simple background indicates details in the test block And can not be received. In another specific configuration, Sobel filtering can be used.
[0095]
Another way to determine the detail value in a block is to calculate the differences between adjacent pixel values and sum these differences for the block.
[0096]
[Expression 1]

However, Pixel diff = absolute difference between horizontally adjacent pixels
Line diff = absolute difference between vertically adjacent pixels
If there is a detail in the block, the difference in luminance values between adjacent pixels makes the total amount non-zero by an amount corresponding to the high frequency content.
[0097]
FIG. 15 is a block diagram showing a part of the vector selector of FIG. In the figure, the SAD value generated by the block matching unit 672 is weighted according to the level of detail detected in the test block (1000, 1010). This means that the results of the correlation test are not rejected simply because the block lacks detail. If we remember that a high degree of correlation between test blocks is indicated by a low SAD value generated from the test blocks, the weighting could be done as follows.
Difference value = Original SAD x Weighted value
However, if the detail level test result is greater than the predetermined threshold, the weight value = threshold / (detail level test result + 1), and if the detail test result is less than or equal to the predetermined threshold value, the weight value = 1.
[0098]
In FIG. 15, each of the two test blocks (t.b.) indicated by the motion vector under test is sent to the detail detector 1000 and the block matcher 672 in each

processing unit

600, 610, 620, 630. Supplied in parallel. The SAD value generated by block matcher 672 is supplied to multiplier 1010, where the SAD value is multiplied by the weight value generated by detail detector 1000 as described above.
[0099]
In another specific configuration shown in FIG. 16, the test result indicating the degree of detail in the test block is compared with a threshold value. If the level of detail is lower than that represented by the threshold, correlation tests performed using those blocks are ignored.
[0100]
In the apparatus of FIG. 16, the test blocks output from the

RAMs

650 and 660 are also supplied in parallel to the block matching unit 672 and the detail level detector 1020. The detail detector 1020 outputs a detail value indicating the detail in the test block. This detail value is sent to a comparator 1030 where it is compared to a detail threshold 1040.
[0101]
Block matcher 672 generates a SAD value from the test block, which is supplied to comparator 1050 along with the current lowest SAD value 675 from the preceding processing unit (see FIG. 7). Comparator 1050 generates an output indicating whether the SAD value generated by block matcher 672 is lower than the current lowest SAD value 675.
[0102]
The outputs of the

comparators

1030 and 1050 are supplied to an AND gate 1060. The output of the AND gate controls the multiplexer (parallel to serial converter) 1070 to either the motion vector identifier under test 1080 or the current vector identifier 680 received from the preceding processing unit.ConfirmGenerate output. The AND gate 1060 and the multiplexer 1070 have the following outputs from the multiplexer 1070:Two conditions:Detected by the detail detector 1020 that the SAD value for the current motion vector under test is lower than the current lowest SAD value 675 received from the preceding processing unit and in the test block pointed to by the current motion vector under test DetailsEvery timeThe amount is greater than or equal to the detail threshold 1040;Only when both of the above conditions are satisfied, the current motion vector under test is confirmed.
[0103]
Although various different specific configurations of the present invention have been described above, the features of these individual specific configurations (for example, the weighting of the zero vector SAD, the use of video enhancement and the use of the level of detail test) are rearranged variously and combined together. Note that it may be.
[0104]
【The invention's effect】
As described above, according to the present invention, there is an effect of preventing an incorrect motion vector from being selected due to an apparent correlation between noise regions in an input image when selecting a vector in motion compensated video signal processing.
[Brief description of the drawings]
FIG. 1 is a diagram (part 1) illustrating problems in vector selection processing for an automobile image;
FIG. 2 is a diagram (part 2) illustrating problems in vector selection processing for an automobile image;
FIG. 3 is a diagram illustrating a problem in vector selection processing for an image including a large simple area.
FIG. 4 is a block diagram showing a motion compensation television standard format conversion apparatus that can use the present invention.
FIG. 5 is an explanatory diagram showing a simple example of vertical space subsampling.
FIG. 6 is an explanatory diagram showing comparison of test blocks at the time of vector selection.
7 is a block diagram showing a specific example of the vector selector 430 of FIG.
FIG. 8 is a block diagram showing details of the block matching and comparator 670 of FIG.
FIG. 9 is a diagram illustrating a first example of coefficients of a 3 × 3 high-pass spatial filter;
FIG. 10 is a diagram illustrating a second example of coefficients of a 3 × 3 high-pass spatial filter.
FIG. 11 is a diagram illustrating coefficients of a vertical Sobel spatial filter.
FIG. 12 is a diagram illustrating coefficients of a horizontal Sobel spatial filter.
FIG. 13 is a block diagram illustrating a specific example of a video enhancement circuit.
FIG. 14 is a diagram showing an effect on vector selection processing using a video enhancement test block with respect to the automobile images of FIGS. 1 and 2;
FIG. 15 is a block diagram illustrating another example of the block matching and comparator of FIG. 8;
16 is a block diagram showing a modification of the circuit of FIG.
[Explanation of symbols]
410, 420 Motion vector generating means
430 vector selector (means to test)
672 Block matcher (correlation value detection means)
750, 1010 multiplier (weighting means)
674 Comparator (motion vector selection means)
340 motion compensation interpolator
810 Vertical Sobel Video Filter
820 Horizontal Sobel Video Filter
830, 840, 850, 860 Filter output detection means
910,930 Pixel replacement means
1000,1020 Detail detector

Claims

Means for generating a plurality of motion vectors representing motion of the video between pairs of temporally continuous video fields of the input video signal;
Means for testing the plurality of motion vectors to select one motion vector used for interpolation of output pixels of the output video from the plurality of motion vectors including a zero motion vector indicating zero video motion; ,
In a motion compensated video signal processing apparatus comprising a motion compensation interpolator that interpolates output pixels from an input video pair of an input video signal using a motion vector selected based on the tested result,
The means for testing is:
Video enhancement means for enhancing video content of at least a test block in an input video indicated by a plurality of motion vectors including the zero motion vector;
Means for detecting a correlation value indicating a degree of correlation between video-enhanced test blocks indicated by a plurality of motion vectors including the zero motion vector;
Means for selecting a motion vector having the highest degree of correlation between each of the video-enhanced test blocks ,
The video enhancement means compares a vertical Sobel video filter, a horizontal Sobel video filter, and a predetermined pixel in a test block that has passed through the vertical Sobel video filter or the horizontal Sobel video filter with a first positive threshold. First detection means for detecting an output indicating that the level of detail of the predetermined pixel is greater than the first positive threshold;
Means responsive to the first detection means for replacing the predetermined pixel in the test block with a white pixel;
A motion compensation video signal processing apparatus comprising:

Means for generating a plurality of motion vectors representing motion of the video between pairs of temporally continuous video fields of the input video signal;
Means for testing the plurality of motion vectors to select one motion vector used for interpolation of output pixels of the output video from the plurality of motion vectors including a zero motion vector indicating zero video motion; ,
In a motion compensated video signal processing apparatus comprising a motion compensation interpolator that interpolates output pixels from an input video pair of an input video signal using a motion vector selected based on the tested result,
The means for testing is:
Video enhancement means for enhancing video content of at least a test block in an input video indicated by a plurality of motion vectors including the zero motion vector;
Means for detecting a correlation value indicating a degree of correlation between video-enhanced test blocks indicated by a plurality of motion vectors including the zero motion vector;
Means for selecting a motion vector having the highest degree of correlation between each of the video-enhanced test blocks ,
The video enhancement means reverses the first positive threshold value for a predetermined pixel in a test block that has passed through a vertical Sobel video filter, a horizontal Sobel video filter, and the vertical Sobel video filter or the horizontal Sobel video filter. Second detection means for detecting an output indicating that the level of detail of the predetermined pixel is smaller than the second threshold compared to a second threshold;
Means for replacing the predetermined pixel in the test block with a black pixel in response to the second detection means;
A motion compensation video signal processing apparatus comprising:

Means for generating a plurality of motion vectors representing motion of the video between pairs of temporally continuous video fields of the input video signal;
Means for testing the plurality of motion vectors to select one motion vector used for interpolation of output pixels of the output video from the plurality of motion vectors including a zero motion vector indicating zero video motion; ,
In a motion compensated video signal processing apparatus comprising a motion compensation interpolator that interpolates output pixels from an input video pair of an input video signal using a motion vector selected based on the tested result,
The means for testing is:
Video enhancement means for enhancing video content of at least a test block in an input video indicated by a plurality of motion vectors including the zero motion vector;
Means for detecting a correlation value indicating a degree of correlation between video-enhanced test blocks indicated by a plurality of motion vectors including the zero motion vector;
Means for selecting a motion vector having the highest degree of correlation between each of the video-enhanced test blocks ,
The video enhancement means compares a predetermined pixel in the test block that has passed through the vertical Sobel video filter, the horizontal Sobel video filter, and the vertical Sobel video filter or the horizontal Sobel video filter with a first positive threshold. First detection means for detecting an output indicating that the level of detail of the predetermined pixel is greater than the first positive threshold;
Means for adding a predetermined luminance component to the luminance component of the predetermined pixel of the test block in response to the first detection means;
A motion compensation video signal processing apparatus comprising: