JP2008187222A - 動きベクトル検出装置、動きベクトル検出方法、映像表示装置 - Google Patents

Abstract

【課題】先行画像と現在表示中の画像との間での動きベクトル検出において、不正確な動きベクトルが検出され易い画面の端領域でも正確な動きベクトルが検出できるようにする。
【解決手段】動きベクトル検出部１１は、信号入力部１からの映像信号、第１フレ-ムメモリ３、第２フレ-ムメモリ５、第３フレ-ムメモリ７を通じて夫々入力される映像信号を読込む。各々の映像信号を構成する各フレ-ムのうちの、同期して動きベクトル検出部１１に入力される合計４つのフレ-ムに基づき、動きベクトルを検出するための処理動作を行う。信号入力部１からの映像信号よりも１フレ-ム分遅延された第１フレ-ムメモリ３からの映像信号と、信号入力部１からの映像信号よりも２フレ-ム分遅延された第２フレ-ムメモリ５からの映像信号との間のベクトルを、動きベクトルとして検出する。
【選択図】 図１

Description

本発明は、ディジタル形式の映像信号から動きベクトルを求める動きベクトル検出装置、動きベクトル検出方法、及び動きベクトル検出装置を備える映像表示装置に関する。

動きベクトルとは、先行する（過去に表示された）画像と、現在表示中の画像との間で一定の探索範囲内で実行される（動きベクトル決定のための）マッチングにおいて、最もマッチングが取れた画素同士を結ぶベクトルのことを指す。換言すれば、動きベクトルとは、動画のデータの表現方法として、基準となるフレーム（動画の或る瞬間に相当する画像）と、基準となるフレームからの動きとをベクトルとして表現する手法であり、次元としては位置（通常は画素数で表現する）であって、移動量を指す。

動きベクトルの検出は、映像表示装置におけるディジタル信号処理において実施される、フレームレート（１秒当りのコマ数）変換や、画像の奇数段目と画像の偶数段目の２回の走査で１回の画面表示を行うインターレス方式から１回の走査で１回の画面表示を行うプログレッシブ方式に変換するインターレス・プログレッシブ変換や、映像圧縮処理等に用いられる。

動きベクトルは、上記探索範囲内において設定された各々の（動きベクトルの）候補ベクトルについて計算した一致度から決定される。この一致度としては、一般に、差分絶対値和（Summed Absolute Differences : SAD）が用いられる。

従来、アクティブ画像の境界に位置するブロックについて、正確に予測できるようにすることを目的とした画像境界における動きベクトル検出の技術の改良に係わる提案がなされている。該提案では、不正確な動きベクトルが生じ得るブロックが判定され、これらのベクトルが、先行する画像に基づいて決定された列、又は行動きベクトルと置き換えられる（例えば特許文献１参照）。
特開２００５−２８７０４８号公報

特許文献１に開示の技術は、誤り検出された動きベクトルや、ゼロ方向に強制的に補正された動きベクトル等の不正確な動きベクトルが検出されないようにするためのものである。古典的な動きベクトルの検出方法では、２フレーム間のマッチングしか用いられないため、画像（フレーム）の領域外を指す動きベクトルは検出することができない。これに対し、特許文献１に開示の技術によれば、或る画像の全てのブロックについて確実な動き検出が可能になり、アクティブ画像の境界における補間アルゴリズムの劣化を効果的に防ぐことができるとされている。

ところで、特許文献１に開示の技術では、画像から動きベクトルを検出する際、上述したような不正確な動きベクトルが検出され易い画面の端領域に対しては、先行する（過去の）画像（フレーム）における動きベクトルに係わる情報で、不正確な動きベクトルを置き換える手法が採用されている。

しかし、上記のような手法を採用した場合、過去のフレームにおける動きベクトルに係わる情報に基づいて決定した動きベクトルが、現在注目されているフレームにおける動きベクトルとして有効なものであるとは必ずしも言えない。よって、特許文献１に開示の技術では、不正確な動きベクトルが検出され易い画面の端領域においては、正確な動きベクトルを検出するのが困難であった。

従って本発明の目的は、過去に表示された画像と現在表示中の画像との間での動きベクトルを検出する場合に、不正確な動きベクトルが検出され易い画面の端領域であっても、正確な動きベクトルを検出できるようにすることにある。

本発明の第１の観点に従うベクトル検出装置は、ディジタル形式の映像信号から動きベクトルを求めるもので、外部から入力した映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第１の映像信号遅延出力部と、上記第１の映像信号遅延出力部からの上記映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第２の映像信号遅延出力部と、上記第２の映像信号遅延出力部からの上記映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第３の映像信号遅延出力部と、上記第１乃至第３の映像信号遅延出力部を介さずに、外部から直接入力した上記映像信号のフレームと、そのフレームと同期して夫々入力される、上記第１乃至第３の映像信号遅延出力部からの各映像信号のフレームとを用いて、所定の処理を行うことにより動きベクトルを検出する動きベクトル検出部と、を備える。

本発明の第１の観点に係る好適な実施形態では、上記動きベクトル検出部が行う所定の処理が、上記映像信号におけるフレーム間相関演算であり、上記フレーム間相関演算が、上記外部から直接入力した上記映像信号のフレーム、及びそのフレームと同期して夫々入力される、上記第１乃至第３の映像信号遅延出力部からの各映像信号のフレームについて行われる。

上記とは別の実施形態では、上記フレーム間相関演算が、上記外部から直接入力した上記映像信号のフレームと上記第１の映像信号遅延出力部からの映像信号のフレームとの間、又は上記第１の映像信号遅延出力部からの映像信号のフレームと上記第２の映像信号遅延出力部からの映像信号のフレームとの間、又は上記第２の映像信号遅延出力部からの映像信号のフレームと上記第３の映像信号遅延出力部からの映像信号のフレームとの間、について行われる。

また、上記とは別の実施形態では、上記動きベクトル検出部から出力される１フレーム分の動きベクトルについて、それらの出現率を求める処理を行うと共に、最も出現率の高い動きベクトルから順に、所定の数の動きベクトルまでを過去ベクトルとする処理を行う過去ベクトル検出部と、上記過去ベクトル検出部から出力される過去ベクトルを保持することにより、それら過去ベクトルを、それらの入力時よりも１フレーム分遅延させて上記動きベクトル検出部に出力する動きベクトル遅延出力部と、を更に備える。

また、上記とは別の実施形態では、上記動きベクトル検出部が、上記第１乃至第３の映像信号遅延出力部から夫々出力される映像信号のフレーム、及び上記外部から直接入力される上記映像信号のフレームの４隅を含む領域については、上記過去ベクトル検出部からの過去ベクトルをも動きベクトルの候補として、上記フレーム間相関演算を行うようにしている。

また、上記とは別の実施形態では、上記動きベクトル検出部が動きベクトルを検出するための演算処理として、上記第１の映像信号遅延出力部からの映像信号のフレームと上記第２の映像信号遅延出力部からの映像信号のフレームとの間に生成される動きベクトル検出用のフレームを設定する第１のプロセスと、上記動きベクトル検出用のフレームにおける特定の画素を基準として、上記外部から直接入力される映像信号のフレームと上記第１、第２、第３の映像信号遅延出力部から夫々出力される映像信号のフレームとを通る複数本の直線を設定する第２のプロセスと、上記複数本の直線上にある上記外部から直接入力される映像信号のフレーム上の画素と上記第１の映像信号遅延出力部からの映像信号のフレーム上の画素との差分、上記複数本の直線上にある上記第１の映像信号遅延出力部からの映像信号のフレーム上の画素と上記第２の映像信号遅延出力部からの映像信号のフレーム上の画素との差分、及び上記複数本の直線上にある上記第２の映像信号遅延出力部からの映像信号のフレーム上の画素と上記第３の映像信号遅延出力部からの映像信号のフレーム上の画素との差分、を求める第３のプロセスと、上記第３のプロセスにおいて求めた各差分の合計値を求めて、その合計値を上記直線のポイントにする第４のプロセスと、上記複数本の直線のうちの、上記ポイントの最も小さな直線を、動きベクトルを決定するための基準として用いる第５のプロセスと、を少なくとも実行する。

また、上記とは別の実施形態では、上記第３のプロセスにおいて上記複数本の直線中に、上記差分を求めることができないものがある場合には、上記求められなかった差分については無視すると共に、求められた各差分については補正するようにしている。

また、上記とは別の実施形態では、上記動きベクトル検出部が、上記第３のプロセスにおいて上記複数本の直線中に、上記差分を求めることができないものがある場合には、上記直線のうちの上記過去ベクトル検出部からの過去ベクトルが指す直線に適宜なポイントを付与すると共に、その直線をも動きベクトルの候補として、上記フレーム間相関演算を行うようにしている。

また、上記とは別の実施形態では、上記動きベクトル検出部の入力側と外部からの映像信号を入力する映像信号入力部との間に、上記映像信号に含まれる高周波成分を除去するための第１のローパスフィルタと、上記第１のローパスフィルタから出力される映像信号の情報の量を削減するための第１の情報削減部と、上記第１の情報削減部から出力される映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第４の映像信号遅延出力部と、を更に備える。

また、上記とは別の実施形態では、上記第１の映像信号遅延出力部の入力側と上記映像信号入力部との間に、上記映像信号入力部からの映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第５の映像信号遅延出力部、を更に備える。

また、上記とは別の実施形態では、上記第３の映像信号遅延出力部の出力側と上記第２の映像信号遅延出力部の入力側との間に、上記映像信号に含まれる高周波成分を除去するための第２のローパスフィルタと、上記第２のローパスフィルタから出力される映像信号の情報の量を削減するための第２の情報削減部と、を更に備える。

また、上記とは別の実施形態では、上記第３、及び第４の映像信号遅延出力部の容量が、上記第１、第２、第５の映像信号遅延出力部の容量よりも小さく設定されている。

更に、上記とは別の実施形態では、上記第１のローパスフィルタを通じて上記映像信号入力部から入力される映像信号の情報の量の上記第１の情報削減部による削減、及び上記第２のローパスフィルタ、上記第２、第１、第５の映像信号遅延出力部を通じて上記映像信号入力部から入力される映像信号の情報の量の上記第２の情報削減部による削減が、それらの映像信号のフレームにおける所定の幅を有する外縁部の領域を除いた矩形状の領域について行われる。

本発明の第２の観点に従うベクトル検出方法は、ディジタル形式の映像信号から動きベクトルを求めるもので、外部から入力した映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第１のステップと、上記第１のステップを経て出力される上記映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第２のステップと、上記第２のステップを経て出力される上記映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第３のステップと、上記第１乃至第３のステップの何れをも介さずに、外部から直接入力した上記映像信号のフレームと、そのフレームと同期して夫々入力される、上記第１乃至第３のステップを夫々経て出力される各映像信号のフレームとを用いて、所定の処理を行うことにより動きベクトルを検出する第４のステップと、を備える。

本発明の第３の観点に従う映像表示装置は、受信した映像信号から所望のディジタル形式の映像信号を抽出する映像信号抽出装置と、上記映像信号抽出装置により抽出されたディジタル形式の映像信号から動きベクトルを求める動きベクトル検出装置と、上記動きベクトル検出装置から出力された動きベクトルに基づいて、上記映像信号抽出装置により抽出されたディジタル形式の映像信号にフレームレート変換、又はインターレス・プログレッシブ変換を施すフレームレート・インターレス・プログレッシブ変換装置と、を備え、上記動きベクトル検出装置が、上記映像信号抽出装置から入力した映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第１の映像信号遅延出力部と、上記第１の映像信号遅延出力部からの上記映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第２の映像信号遅延出力部と、上記第２の映像信号遅延出力部からの上記映像信号を保持することにより、その映像信号を、その入力時よりも１フレーム分遅延させて出力する第３の映像信号遅延出力部と、上記第１乃至第３の映像信号遅延出力部を介さずに、上記映像信号抽出装置から直接入力した上記映像信号のフレームと、そのフレームと同期して夫々入力される、上記第１乃至第３の映像信号遅延出力部からの各映像信号のフレームとを用いて、所定の処理を行うことにより動きベクトルを検出する動きベクトル検出部と、を有する。

本発明によれば、時間的に連続した２枚の画像の間での動きベクトルを検出する場合に、不正確な動きベクトルが検出され易い画面の端領域であっても、正確な動きベクトルを検出できるようにすることができる。

以下、本発明の実施の形態を、図面により詳細に説明する。

図１は、本発明の一実施形態に係る動きベクトル検出装置の全体構成を示すブロック図である。上記動きベクトル検出装置は、例えばディジタルTV受信機等の映像表示装置に組み込まれている。

上記動きベクトル検出装置は、専らディジタル形式の映像信号を入力信号として所定の信号処理を行うように構成されている。よって、アナログ形式の映像信号が、上記映像表示装置の入力信号として供給される場合には、該映像信号が上記映像表示装置に備えられるアナログ／ディジタル変換部においてディジタル形式に変換された後に上記動きベクトル検出装置に入力される。上記動きベクトル検出装置は、図１に示すように、信号入力部１と、複数のフレームメモリ、即ち、第１フレームメモリ３、第２フレームメモリ５、第３フレームメモリ７、及び第４フレームメモリ９と、動きベクトル検出部１１と、過去ベクトル検出部１３と、を備える。

信号入力部１を通じて上記動きベクトル検出装置に入力される映像信号は、第１フレームメモリ３、及び動きベクトル検出部１１に夫々出力される。

第１フレームメモリ３、第２フレームメモリ５、第３フレームメモリ７、及び第４フレームメモリ９は、何れも入力した映像信号の１フレーム分を保持することにより、該保持する映像信号を、その入力時よりも夫々１フレーム分遅延させて出力するよう構成されている。

第１フレームメモリ３は、信号入力部１を通じて入力した映像信号を、信号入力部１から動きベクトル検出部１１に直接出力される映像信号に比較して１フレーム分遅延させて、第２フレームメモリ５、及び動きベクトル検出部１１に夫々出力する。

第２フレームメモリ５は、第１フレームメモリ３において信号入力部１からの映像信号よりも１フレーム分遅延された映像信号を更に１フレーム分遅延させて、第３フレームメモリ７、及び動きベクトル検出部１１に夫々出力する。即ち、第２フレームメモリ５から出力される映像信号は、信号入力部１から動きベクトル検出部１１に直接出力される映像信号に比較して２フレーム分遅延されることになる。

第３フレームメモリ７は、第１フレームメモリ３、及び第２フレームメモリ５において信号入力部１からの映像信号よりも夫々１フレーム分、合計で２フレーム分遅延された映像信号を更に１フレーム分遅延させて、動きベクトル検出部１１に出力する。即ち、第３フレームメモリ７から出力される映像信号は、信号入力部１から動きベクトル検出部１１に直接出力される映像信号に比較して３フレーム分遅延されることになる。

動きベクトル検出部１１は、信号入力部１から直接入力される映像信号、第１フレームメモリ３、第２フレームメモリ５、及び第３フレームメモリ７を通じて夫々入力される映像信号を読み込む。そして、これら各々の映像信号を構成する各フレームのうちの、同期して動きベクトル検出部１１に入力される合計で４つのフレームに基づいて、動きベクトルを検出するための処理動作を実行する。即ち、動きベクトル検出部１１は、信号入力部１からの映像信号よりも１フレーム分遅延された第１フレームメモリ３からの映像信号と、信号入力部１からの映像信号よりも２フレーム分遅延された第２フレームメモリ５からの映像信号との間のベクトルを、動きベクトルとして検出する。

動きベクトル検出部１１には、上記動きベクトルの検出に必要な、時間軸上における現フレームと現フレームの１つ前のフレームとの中間点に位置する補間フレームを生成するための補間フレーム生成部（図示しない）が接続される。補間フレーム生成部（図示しない）による補間フレームの生成は、例えば補間イネーブル生成部（図示しない）等において生成される補間フレーム生成用イネーブル信号が、補間フレーム生成部（図示しない）に印加されることに起因して実行される。

第２フレームメモリ５からのフレーム、即ち、信号入力部１からの映像信号よりも２フレーム分遅延されたフレームは、該フレームと第１フレームメモリ３からのフレーム、即ち、信号入力部１からの映像信号よりも１フレーム分遅延されたフレームとに基づき、動きベクトル検出部１１（に接続される補間フレーム生成部（図示しない））において生成される上記補間フレームから見て、時間的に前に位置する。そのため、以下では、第２フレームメモリ５からのフレームを、便宜上前フレームと称する。また、第３フレームメモリ７からのフレーム、即ち、信号入力部１からの映像信号よりも３フレーム分遅延されたフレームは、上記前フレームから見て、時間的に前に位置し、上記補間フレームから見て２フレーム前に位置する。そのため、以下では、第３フレームメモリ７からのフレームを、便宜上前々フレームと称する。

一方、第１フレームメモリ３からのフレーム、即ち、信号入力部１からの映像信号よりも１フレーム分遅延されたフレームは、上記補間フレームから見て時間的に後に位置する。そのため、以下では、第１フレームメモリ３からのフレームを、便宜上後フレームと称する。また、信号入力部１から直接動きベクトル検出部１１に入力される遅延されないフレームは、上記後フレームから見て、時間的に後に位置し、上記補間フレームから見て２フレーム後に位置する。そのため、以下では、信号入力部１からのフレームを、便宜上後々フレームと称する。

上述した後々フレーム、後フレーム、前フレーム、及び前々フレームの４つのフレームは、時間の進行方向に沿って後々フレーム、後フレーム、前フレーム、及び前々フレームの順序で時間軸上に存在している。

動きベクトル検出部１１による上記動きベクトルの検出は、上記後フレーム、及び上記前フレームを構成する全ての画素について行われる。例えば、１フレーム（上記後フレーム、及び前フレーム）を構成する画素数が６４０×４８０であれば、該積の値の個数分、動きベクトル検出のための処理動作が行われる。

動きベクトル検出部１１、過去ベクトル検出部１３、及び第４フレームメモリ９は、動きベクトル検出部１１によって検出された１フレーム分の動きベクトルを、動きベクトル検出部１１にフィードバックするためのフィードバックループを構成する。

過去ベクトル検出部１３は、動きベクトル検出部１１からの１フレーム分の動きベクトルを入力する。そして、該１フレーム分の動きベクトルに基づき、該１フレーム分の動きベクトルの全体的な傾向を表現する動きベクトルを検出する処理を行う。過去ベクトル検出部１３は、該検出した１個又は複数個の動きベクトルを、第４フレームメモリ９に出力する。

第４フレームメモリ９は、過去ベクトル検出部１３から出力される上記１個又は複数個の動きベクトルを、動きベクトル検出部１１から出力される上記１個又は複数個の動きベクトルよりも１フレーム分遅延させて、動きベクトル検出部１１に出力する。よって、第４フレームメモリ９から動きベクトル検出部１１に出力される上記１個又は複数個の動きベクトルは、動きベクトル検出部１１から直接出力される動きベクトルよりも１フレーム分過去の動きベクトルであるから、過去ベクトル検出部１３から第４フレームメモリ９に出力される１個又は複数個の動きベクトルを、過去ベクトルと称する。

動きベクトル検出部１１から過去ベクトル検出部１３、及び第４フレームメモリ９を通じて動きベクトル検出部１１へとフィードバックされる過去ベクトルであって、１フレーム中から検出される過去ベクトルの数は、適宜設定されるが、第４フレームメモリ９には、上記過去ベクトルを蓄積するに充分な大きさの記憶容量を持つものを用いる必要がある。

動きベクトル検出部１１において検出される、上記動きベクトルは、上述した過去ベクトル検出部１３、及び上記補間フレーム生成部（図示しない）に夫々出力される。

図２は、図１に記載の動きベクトル検出部１１において行われる動きベクトル検出に際してのマッチング手法の一例を示す説明図である。

図２において、フレーム２１は、動きベクトルを検出するためのフレームであり、上述した補間フレーム生成部（図示しない）により生成される上記補間フレームに相当する。フレーム２３は、第１フレームメモリ３から動きベクトル検出部１１に出力されるフレームであり、補間フレーム２１から見て１フレーム分時間的に後に位置するので、上記後フレームに相当する。フレーム２５は、第２フレームメモリ５から動きベクトル検出部１１に出力されるフレームであり、補間フレーム２１から見て、１フレーム分時間的に前に位置するので、上記前フレームに相当する。

フレーム２７は、第３フレームメモリ７から動きベクトル検出部１１に出力されるフレームであり、補間フレーム２１から見て、２フレーム分時間的に前に位置するので、上記前々フレームに相当する。フレーム２９は、信号入力部１から動きベクトル検出部１１に直接出力されるフレームであり、補間フレーム２１から見て、２フレーム分時間的に後に位置するので、上記後々フレームに相当する。

動きベクトルを検出するためのフレームである補間フレーム２１において、動きベクトル検出位置３１は、動きベクトル検出部１１による補間フレーム２１内の走査によって決定される。動きベクトル検出部１１は、上記動きベクトル検出位置３１に対し、補間フレーム２１を除く各フレーム（後フレーム２３、前フレーム２５、前々フレーム２７、及び後々フレーム２９）について、以下に説明する手法で相関検索用ウィンドウを設定する。

即ち、動きベクトル検出部１１は、前フレーム２５に対しては、該前フレーム２５内での上記動きベクトル検出位置３１に対応する位置を中心に、横２Ｍ＋１画素、縦２Ｎ＋１画素（Ｍ、Ｎは自然数）の範囲を持つ相関検索用ウィンドウ３３を設定する。同様に、後フレーム２３に対しては、該後フレーム２３内での上記動きベクトル検出位置３１に対応する位置を中心に、横２Ｍ＋１画素、縦２Ｎ＋１画素の範囲を持つ相関検索用ウィンドウ３５を設定する。ここでは、Ｍ＝２、Ｎ＝１に設定されているものとする。

また、動きベクトル検出部１１は、前々フレーム２７に対しては、該前々フレーム２７内での上記動きベクトル検出位置３１に対応する位置を中心に、横６Ｍ＋１画素、縦６Ｎ＋１画素の範囲を持つ相関検索用ウィンドウ３７を設定する。同様に、後々フレーム２９に対しては、該後々フレーム２９内での上記動きベクトル検出位置３１を中心に、横６Ｍ＋１画素、縦６Ｎ＋１画素の範囲を持つ相関検索用ウィンドウ３９を設定する。ここでも、Ｍ＝２、Ｎ＝１に設定されているものとする。

次に、補間フレーム２１における上記動きベクトル検出位置３１の位置を、平面座標（０、０）で示すと共に、該動きベクトル検出位置３１を通り、且つ、上述した各相関検索用ウィンドウ３３、３５、３７、３９をも通る複数本の直線を設定する。本実施形態では、該複数本の直線として、下記の(a)乃至(o)で示す１５本の直線が設定される。
(a) 27(-6,3)-25(-2,1)-23(2,-1)-29(6,-3)
(b) 27(-3,3)-25(-1,1)-23(1,-1)-29(3,-3)
(c) 27(0,3)-25(0,1)-23(0,-1)-29(0,-3)
(d) 27(3,3)-25(-1,1)-23(-1,-1)-29(-3,-3)
(e) 27(6,3)-25(-2,1)-23(2,-1)-29(-6,-3)
(f) 27(-6,0)-25(-2,0)-23(2,0)-29(6,0)
(g) 27(-3,0)-25(-1,0)-23(1,0)-29(3,0)
(h) 27(0,0)-25(0,0)-23(0,0)-29(0,0)
(i) 27(3,0)-25(-1,0)-23(1,0)-29(-3,0)
(j) 27(6,0)-25(-2,0)-23(2,0)-29(-6,0)
(k) 27(-6,-3)-25(-2,-1)-23(2,1)-29(6,3)
(l) 27(-3,-3)-25(-1,-1)-23(1,1)-29(3,3)
(m) 27(0,-3)-25(0,-1)-23(0,1)-29(0,3)
(n) 27(3,-3)-25(-1,-1)-23(1,1)-29(-3,3)
(o) 27(6,-3)-25(-2,-1)-23(2,1)-29(-6,3)
上記１５本の直線のうちの、直線(a)について説明すれば、直線(a)は、前々フレーム２７では、該前々フレーム２７における平面座標(-6,3)で示す位置を、前フレーム２５では、該前フレーム２５における平面座標(-2,1)で示す位置を、後フレーム２３では、該後フレーム２３における平面座標(2,-1)で示す位置を、後々フレーム２９では、該後々フレーム２９における平面座標(6,-3)で示す位置を、夫々通る。残りの直線(b)乃至直線(o)についても、上記直線(a)におけると同様に、前々フレーム２７における上記平面座標で示される位置、前フレーム２５における上記平面座標で示される位置、後フレーム２３における上記平面座標で示される位置、及び後々フレーム２９における上記平面座標で示される位置を、夫々通る。なお、上記１５本の直線は、何れも上記動きベクトル検出位置３１を通るが、21(0,0)については記載を省略している。上記１５本の直線は、前々フレーム２７の上記平面座標で示される位置の画素、前フレーム２５の上記平面座標で示される位置の画素、後フレーム２３の上記平面座標で示される位置の画素、及び後々フレーム２９の上記平面座標で示される位置の画素を通る。

動きベクトル検出部１１は、上述した複数本（１５本）の直線の各々について、上記動きベクトル検出位置３１との相関に関するパラメータを所定の演算処理によって求める。即ち、動きベクトル検出部１１は、前フレーム２５の相関検索用ウィンドウ３３上の平面座標（−Ｘ、−Ｙ）で示される位置の画素４１と、後フレーム２３の相関検索用ウィンドウ３５上の平面座標（Ｘ、Ｙ）で示される位置の画素４３との間の差分絶対値を求める。動きベクトル検出部１１は、また、上述した前フレーム２５の画素４１と、前々フレーム２７の相関検索用ウィンドウ３７上の平面座標（−３Ｘ、−３Ｙ）で示される位置の画素４５との間の差分絶対値を求める。動きベクトル検出部１１は、更に、上述した後フレーム２３の画素４３と、後々フレーム２９の相関検索用ウィンドウ３９上の平面座標（３Ｘ、３Ｙ）で示される位置の画素４７との間の差分絶対値を求める。

次に、動きベクトル検出部１１は、後フレーム２３の相関検索用ウィンドウ３５内において、Ｘ方向（平面座標のＸ軸方向）に−ＭからＭまで、Ｙ方向（平面座標のＹ軸方向）に−ＮからＮまで、夫々スキャニングする。上記スキャニングを行うことにより、上述した各フレームにおける相関検索用ウィンドウ上の平面座標で示される画素間での差分絶対値を求める演算処理を、上記１５本の直線の夫々について行う。そして、上記各差分絶対値の合計を上記各々の直線毎に算出し、各々の直線のポイントにする。

上記各平面座標で示される位置の何れかが、上述した各フレーム（２３、２５、２７、２９）の範囲から外れたことで、上記差分絶対値を演算することができない場合には、動きベクトル検出部１１は、以下に説明する規則を用いて上記各直線に付与されるポイントを補正する。（１）演算することができなかった差分絶対値が１つである場合には、残りの差分絶対値を夫々１.５倍にする処理を行う。（２）演算することができなかった差分絶対値が２つである場合には、残りの差分絶対値を３倍にする処理を行う。そして、それらの差分絶対値の合計値を、対応する直線のポイントにする。

図３は、図２に記載のマッチング手法において、各フレーム上の平面座標で示される画素間での差分絶対値を求める演算処理ができない場合の例を示す説明図である。

図３で示した例では、前々フレーム２７の相関検索用ウィンドウ５１内の画素５５が前々フレーム２７から外れており、前フレーム２５の相関検索用ウィンドウ５３内の画素５７も、前フレーム２５から外れている。よって、後フレーム２３から外れていない相関検索用ウィンドウ５９の画素６１、及び後々フレーム２９から外れていない相関検索用ウィンドウ６３の画素６５については、動きベクトル検出部１１は、両者の間の差分絶対値を３倍にする処理を行うと共に、３倍にした差分絶対値を、画素５５、５７、６１、６５を通る直線のポイントにする。

上述した各差分絶対値を補正するための倍率は、マッチング時の信頼性を考慮して、配分を変更しても差し支えない。また、上記各直線別に付与されるポイントは、その値が小さければ小さいほど、相関が強い方向、即ち、動きベクトルとして判断される。上述したように、本実施形態では、上記相関検出用ウィンドウの大きさを決めるＭの値を２に、Ｎの値を１に夫々設定したが、これらの値は任意の値であり、補間の効果や、動きベクトル検出部１１等における演算量や、動きベクトル検出部１１等の回路規模等に応じて適宜の値に設定することが可能である。例えば、Ｍ＝７、Ｎ＝３に設定すれば、上述した直線の本数は１０５本になる。

次に、図２で示したマッチング手法とは別のマッチング手法について説明する。

以下に説明するマッチング手法も、上述したマッチング手法と同様に、動きベクトル検出部１１が、まず、各々のフレーム（上述した前々フレーム、前フレーム、後フレーム、及び後々フレームのようなフレーム）内に設定される相関検索用ウィンドウ同士の間で相関検索用ウィンドウ内を通るように引いた複数本の直線につき、個別に上述した差分絶対値を計算する。そして、算出することができなかった差分絶対値の数に応じて、算出することができた差分絶対値を補正する。

次に、動きベクトル検出部１１は、過去ベクトル検出部１３、及び第４フレームメモリ９を通じて与えられる過去ベクトルが指す上記複数本の直線のうちの何れかに対し、適当なポイントを付与する。該適当なポイントは、上述した複数本の直線中に、突出して低いポイントが付与されているものが存在しない場合に選択される程度の値、換言すれば、上記直線中に明らかにマッチングがとれているものが存在しない場合に選択されるような値に設定される。なお。上記複数本の直線の何れかに対し、既に上記差分絶対値計算によるポイントが付与されている場合には，上記過去ベクトルによるポイント付与の処理は省略しても差し支えない。

このマッチング手法においても、上述したマッチング手法におけると同様に，上記ポイントの値が小さければ小さいほど、動きベクトル検出部１１は、該ポイントを付与されている直線を、相関が強い方向、即ち、動きベクトルであると判別する。また、このマッチング手法においても、上述したマッチング手法におけると同様に、上記各相関検索用ウィンドウの大きさを決定するためのＭの値、及びＮの値として、Ｍ＝２、Ｎ＝１が任意の値として設定される。

図４は、動きベクトルの検出に必要な各フレームにおける、図２に記載のマッチング手法が適用される領域、及び該マッチング手法とは別のマッチング手法が適用される領域に係わる説明図である。

図４において、フレーム７１は、図２で示した動きベクトルの検出を行うためのフレームである補間フレーム２１に対応する。フレーム７１は、領域７３、７５、７７、７９、８１、８３、８５、８７、及び８９と、領域９１、９３、９５、及び９７とに分割される。以下では，領域７３を第１領域、領域７５乃至８９を第２領域、領域９１乃至９７を第３領域と称する。これら全ての領域（７３乃至９７）の大きさは、相関検索用ウィンドウの大きさを決定するためのＭの値、及びＮの値により決定される。即ち、これら全ての領域（７３乃至９７）の大きさは、図２で示した相関検索用ウィンドウ４１、４３の大きさや、図３で示した相関検索用ウィンドウ５７、５９の大きさに依存する。換言すれば、上述した各領域（７３乃至９７）は、各相関検索用ウィンドウに対応している。

上述した領域（７３乃至９７）は、下記の態様で示される。
(A) 73-(M, N) - (W-M, H-N)
(B) 75- (M, 0) - (3M, N)
(C) 77- (W-3M, 0) - (W-M, N)
(D) 79- (W-M, N) - (W, 3N)
(E) 81- (W-M, H-3N) - (W, H-N)
(F) 83- (W-3M, H-N) - (W-M, H)
(G) 85- (M, H-N) - (3M, H)
(H) 87- (0, H-3N) - (M, H-N)
(I) 89-(0, N) - (M, 3N)
(J) 91- (0, 0) - (M, N)
(K) 93- (W-M, 0) - (W, N)
(L) 95- (W-M, H-N) - (W, H)
(M) 97- (0, H-N) - (M, H)
上記１３の領域（相関検索用ウィンドウ）のうちの、領域（相関検索用ウィンドウ）(A)について説明すれば、符号７３は、相関検索用ウィンドウ(A)に付された符号であり、(M, N)は、該相関検索用ウィンドウ(A) における左上の平面座標（Ｘ，Ｙ）を、(W-M, H-N)は、該相関検索用ウィンドウ(A) における右下の平面座標を、夫々示す。そして、該右下の平面座標において、Wは該相関検索用ウィンドウ(A) における横方向の画素数を、Hは該相関検索用ウィンドウ(A) における縦方向の画素数を、夫々示す。残りの領域（相関検索用ウィンドウ）(B)乃至(M)についても、上記相関検索用ウィンドウ(A)におけると同様に、各相関検索用ウィンドウに付された符号、各相関検索用ウィンドウにおける左上の平面座標（Ｘ、Ｙ）、及び各相関検索用ウィンドウ
における右下の平面座標が、夫々示される。

上記第１領域（７３）では、図２で示したマッチング手法により動きベクトルを検出し、上記第２、第３領域（７５乃至８９、９１乃至９７）では上述した別のマッチング手法により動きベクトルを検出するのが望ましい。或いは、上記第２領域（７５乃至８９）の全域では、マッチングを行わず、上述した複数本の直線のうちの過去ベクトルが指す直線を、検出された動きベクトルと見做すことも可能である。或いは、上記第３領域（９１乃至９７）の全域では、マッチングを行わず、ゼロ方向ベクトルを検出された動きベクトルと見做すことも可能である。

上記第２領域、及び上記第３領域において用いられるマッチング手法は、上述した態様にのみ限定されない。映像信号における所望の画質や、実際に用いられる装置の回路規模等に応じて適宜決定すれば良い。

次に、既述の過去ベクトル検出部１３における処理動作について説明する。

本実施形態では、過去ベクトル検出部１３は、まず、動きベクトル検出部１１から出力される１フレ-ム分の動きベクトルにつき、該動きベクトルのヒストグラム、即ち、各々の動きベクトルの出現率を求める処理を行う。このヒストグラムを求める処理に際しては、上記第２領域、及び上記第３領域において検出された動きベクトルについては考慮しないのが望ましい。次に、過去ベクトル検出部１３は、上記求めた動きベクトルのうちから、最も出現率の高い動きベクトルから順に、適宜定める数の動きベクトルまでを過去ベクトルとして決定する処理を行う。

なお、過去ベクトルを求める手法については、上記手法にのみ限定されるものではなく、求めようとする過去ベクトルの数も任意に設定することが可能である。過去ベクトルの決定手法は、映像信号における所望の画質や、実際に用いられる装置における演算量や、該装置の回路規模等に応じて適宜決定すれば良い。例えば、動きベクトル検出部１１から出力される１フレ-ム分の動きベクトルの平均値をとって過去ベクトルとする手法も想定され得る。この場合には、過去ベクトル検出部１３によって決定される過去ベクトルは１つとなる。

図５は、本発明の一実施形態に係る動きベクトル検出装置を通じて表示出力される映像信号の１フレ-ム毎の遷移を示す説明図である。

図５において、図５（ｂ）で示す現フレ-ム中の各画素と、図５（ａ）で示す現フレ-ムよりも１フレ-ム前のフレ-ム中の、上記各画素と対応する各画素との間を夫々通る複数個の動きベクトル１０１、１０３、１０５、１０７、１０９、１１１は、何れも動きベクトル検出装置により検出された正確な動きベクトルである。図５（ａ）、及び図５（ｂ）を参照すれば、映像コンテンツである航空機（ジェット旅客機）の画像は、図５の右方向に移動しており、そのため、上記各動きベクトル（１０１〜１１１）の向きも、全て右方を指している。上記各動きベクトルのうち、動きベクトル１０９、１１１については、現フレ-ムでは領域（フレ-ム）内を指しているが、上記１フレ-ム前のフレ-ムでは、領域（フレ-ム）外を指している。

映像コンテンツである航空機（ジェット旅客機）の画像は、現フレ-ムよりも１フレ-ム前のフレ-ムでは、水平尾翼、及び垂直尾翼の部分が欠落した画像であるが、現フレ-ムでは、水平尾翼、及び垂直尾翼を含んだ画像になる。なお、既に説明した従来の古典的な動きベクトル検出方法では、動きベクトル検出のためにフレ-ム同士の間のマッチングを、２つのフレ-ムの間だけで行っているので、上記のようなフレ-ム外を指す動きベクトル（１０９、１１１）については検出することができなかった。

図６は、従来の古典的な動きベクトル検出方法を用いた場合に表示出力される映像信号の１フレ-ム毎の遷移を示す説明図である。

既に説明したように、従来の古典的な動きベクトル検出方法では、フレ-ムの端領域では、誤り検出された動きベクトルや、ゼロ方向（例えばフレ-ムの縁部と同一方向）に強制的に補正された動きベクトルが検出される。

図６において、図６（ｂ）で示す現フレ-ム中の４つの画素から図６（ａ）で示す現フレ-ムよりも１フレ-ム前のフレ-ム中に向けて延びるベクトル（動きベクトル）のうち、４つの動きベクトル（１２１、１２３、１２５、１２７）については、何れも正確な動きベクトルである。そのため、１フレ-ム前のフレ-ムにおいて表示されている映像コンテンツ（水平尾翼、及び垂直尾翼の部分が欠落した航空機の画像）については、現フレ-ムにおいても表示される。

しかし、本来であれば、１フレ-ム前のフレ-ムの外から上記４つの動きベクトル（１２１、１２３、１２５、１２７）と平行な方向を指すべき筈の２つの動きベクトル（１２９、１３１）については、１フレ-ム前のフレ-ムにおいては、夫々動きベクトル１２５、１２７が指す画素と同一画素を指している不正確なベクトルである。換言すれば、上記動きベクトル（１２９、１３１）は、ゼロ方向に強制的に補正された動きベクトルである。

図７は、本発明の他の実施形態に係る動きベクトル検出装置の全体構成を示すブロック図である。

本実施形態に係る動きベクトル検出装置では、信号入力部１と動きベクトル検出部１１の入力側とを直接接続していた信号線路に、第１ロ-パスフィルタ（以下、「第１ＬＰＦ」と表記する）１４１、第１映像情報削減部１４３、及び第５フレ-ムメモリ１４５が接続されている。また、信号入力部１と第１フレ-ムメモリ３の入力側との間には、第６フレ-ムメモリ１４７が接続されている。更に、第２フレ-ムメモリ５の出力側と図１で示した第３フレ-ムメモリ７に代えて設けられている第７フレ-ムメモリ１５３の入力側との間には、第２ロ-パスフィルタ（以下、「第２ＬＰＦ」と表記する）１４９、及び第２映像情報削減部１５１が接続されている。これらの点で、図７に記載の動きベクトル検出装置は、図１に記載の動きベクトル検出装置と構成が相違する。

第１ＬＰＦ１４１と第２ＬＰＦ１４９、第１映像情報削減部１４３と第２映像情報削減部１５１、第５フレ-ムメモリ１４５と第７フレ-ムメモリ１５３とは、何れも構成、及び機能が同一である。第５フレ-ムメモリ１４５は、第１映像情報削減部１４３からの情報量の削減されたフレ-ムを、第７フレ-ムメモリ１５３は、第２映像情報削減部１５１からの情報量の削減されたフレ-ムを、夫々保持する。そのため、第５フレ-ムメモリ１４５、及び第７フレ-ムメモリ１５３には、第１、第２フレ-ムメモリ（３、５）よりも記憶容量の小さなものが用いられる。なお、第６フレ-ムメモリ１４７には、第１、第２フレ-ムメモリ（３、５）と同一の大きさの記憶容量を持つものが用いられる。第５、第６、第７フレ-ムメモリ（１４５、１４７、１５３）は、第１、第２フレ-ムメモリ（３、５）におけると同様に、入力した映像信号の１フレ-ム分を保持することにより、該保持する映像信号を、その入力時よりも夫々１フレ-ム分遅延させて出力するよう構成されている。

その他の構成については、図１に記載したものと同一であるので、図７において、図１に記載の物と同一物には同一符号を付してそれらの詳細な説明を省略する。

図７において、信号入力部１を通じて上記動きベクトル検出装置に入力される映像信号は、第１ＬＰＦ１４１、及び第６フレ-ムメモリ１４７に夫々出力される。第１ＬＰＦ１４１は、信号入力部１からの映像信号を入力すると共に、該映像信号をフィルタリングすることにより該映像信号に含まれる高周波成分を除去した後、第１映像情報削減部１４３に出力する。第１映像情報削減部１４３は、第１ＬＰＦ１４１から出力される高周波成分が除去された後の映像信号を入力すると共に、該映像信号に所定の処理を施すことにより、該映像信号の情報の量を削減した後、第５フレ-ムメモリ１４５に出力する。第５フレ-ムメモリ１４５は、第１映像情報削減部１４３を通じて入力した上記映像信号を、信号入力部１から動きベクトル検出部１１に直接出力された場合の映像信号に比較して１フレ-ム分遅延させて、動きベクトル検出部１１に出力する。

第６フレ-ムメモリ１４７は、信号入力部１を通じて入力した映像信号を、信号入力部１から動きベクトル検出部１１に直接出力される映像信号に比較して１フレ-ム分遅延させて、第１フレ-ムメモリ３に出力する。第１フレ-ムメモリ３は、第６フレ-ムメモリ１４７において信号入力部１からの映像信号よりも１フレ-ム分遅延された映像信号を更に１フレ-ム分遅延させて、第２フレ-ムメモリ５、及び動きベクトル検出部１１に夫々出力する。即ち、第１フレ-ムメモリ３から出力される映像信号は、信号入力部１から動きベクトル検出部１１に直接出力された場合の映像信号に比較して、２フレ-ム分遅延されることになる。

第２ＬＰＦ１４９は、第２フレ-ムメモリ５からの映像信号を入力すると共に、該映像信号をフィルタリングすることにより該映像信号に含まれる高周波成分を除去した後、第２映像情報削減部１５１に出力する。第２映像情報削減部１５１は、第２ＬＰＦ１４９から出力される高周波成分が除去された後の映像信号を入力すると共に、該映像信号に所定の処理を施すことにより、該映像信号の情報の量を削減した後、第７フレ-ムメモリ１５３に出力する。第７フレ-ムメモリ１５３は、第２映像情報削減部１５１を通じて入力した上記映像信号を、信号入力部１から動きベクトル検出部１１に直接出力された場合の映像信号に比較して４フレ-ム分遅延させて、動きベクトル検出部１１に出力する。

動きベクトル検出部１１では、信号入力部１から動きベクトル検出部１１に直接出力された場合の映像信号のフレ-ムを基準として該フレ-ムよりも１フレ-ム分遅延されて第５フレ-ムメモリ１４５から出力されるフレ-ムと、２フレ-ム分遅延されて第１フレ-ムメモリ３から出力されるフレ-ムと、３フレ-ム分遅延されて第２フレ-ムメモリ５から出力されるフレ-ムと、４フレ-ム分遅延されて第７フレ-ムメモリ１５３から出力されるフレ-ムと、に基づき、動きベクトルを検出するための処理動作を実行する。該処理動作の詳細、過去ベクトル検出部１３における処理動作の詳細、及び第４フレ-ムメモリ９における処理動作の詳細については、図１で説明した内容と同様であるので、説明を省略する。

図８は、図７に記載の動きベクトル検出装置において、第１映像情報削減部１４３により削減される後々フレ-ム（２９）の領域、及び第２映像情報削減部１５１により削減される前々フレ-ム（２７）の領域を示す説明図である。

図８において、フレ-ム（前々フレ-ム（２７）、又は後々フレ-ム（２９）を指す）１６１において、領域１６３が動きベクトルを検出するためのマッチング処理に際して動きベクトル検出部１１により参照される領域であり、フレ-ム１６１の外枠を形成している。該領域１６１は、フレ-ム１６１の縦方向に沿う部位が３Ｍの幅を、フレ-ム１６１の横方向に沿う部位が３Ｎの幅を、夫々有している。領域１６３によって囲まれた矩形領域１６５が、上記マッチング処理に際し、必ずしも必要でない領域である。よって、フレ-ム１６１が、既述の前々フレ-ム（２７）である場合には、第２映像情報削減部１５１により、フレ-ム１６１が、既述の後々フレ-ム（２９）である場合には、第１映像情報削減部１４３により、夫々領域１６３が削除される。

図９は、図７に記載の動きベクトル検出装置において、情報の量が約１／９に削減された後の前々フレ-ム（２７）を用いて、動きベクトル検出部１１が動きベクトル検出のためのマッチング処理を行うに際しての概略説明図である。

図９において、図９（ａ）は、図２で示した補間フレ-ム２１上の動きベクトル検出位置３１を基準に、該動きベクトル検出位置３１と同じく図２で示した前フレ-ム２５における相関検索用ウィンドウ３３上の各画素（１５個の画素）とを通る複数本（１５本）の直線を設定する。これら複数本の直線は、動きベクトル検出部１１が既に説明したマッチング処理を行うのに必要なものである。上記複数本の直線は、前々フレ-ム２７における相関検索用ウィンドウ３７上の上記相関検索用ウィンドウ３３上の各画素と夫々対応関係にある各画素（１５個の画素）をも通ることになる。図９（ａ）で示した例では、相関検索用ウィンドウ３７上には、縦方向に７、横方向に１３の画素がマトリクス状に配列されているから、７×１３＝９１で、合計９１個の画素が存在しているが、９１から１５を差し引いた残り７６個の画素については、上記マッチング処理には不必要である。

換言すれば、相関検索用ウィンドウ３３については、全ての画素を探索する必要があるが、相関検索用ウィンドウ３７上の画素については、３ピクセル置きに探索すればよいことになる。

そこで、前々フレ-ム２７については、第２映像情報削減部１５１を通すことで、相関検索用ウィンドウ３７上の上記マッチング処理に不要な画素を削減することとした。図９（ｂ）における符号３８で示したマトリクス状の領域は、第２映像情報削減部１５１において情報の量が削減された後の前々フレ-ム２７における相関検索用ウィンドウを示すものである。

このように、前々フレ-ム２７については、第２映像情報削減部１５１において情報の量が削減されるため、前々フレ-ム２７を一時的に保持するための第７フレ-ムメモリ１５３についても、第１、第２、第４、第６フレ-ムメモリ（３、５、９、１４７）と比較して記憶容量の小さいものを用いることが可能になる。

図１０は、本発明に係る動きベクトル検出装置を内蔵した映像表示装置の構成を示す機能ブロック図である。

図１０において、アンテナ１７１で受信されたディジタルＴＶ放送電波は、アンテナ１７１からチュ-ナ１７３に出力され、チュ-ナ１７３において該放送電波からユ-ザが所望する映像信号が抽出される。この映像信号は、デコ-ダ１７５でデコ-ドされると共に、デコ-ドされた後の映像信号は、動きベクトル検出装置１７７と、フレ-ムレ-ト及びインタ-レス・プログレッシブ変換装置１７９とに、夫々出力される。動きベクトル変換装置１７７では、該映像信号を利用して既に説明したような態様で、動きベクトルを検出するための一連の処理動作を行い、検出した動きベクトルを、フレ-ムレ-ト及びインタ-レス・プログレッシブ変換装置１７９に出力する。

フレ-ムレ-ト及びインタ-レス・プログレッシブ変換装置１７９では、動きベクトル検出装置１７７からの動きベクトルに基づき、デコ-ダ１７５からの上記映像信号に対し、インタ-レス・プログレッシブ変換、若しくは加えてフレ-ムレ-ト変換を行う。フレ-ムレ-ト及びインタ-レス・プログレッシブ変換装置１７９において、インタ-レス・プログレッシブ変換、若しくは加えてフレ-ムレ-ト変換を施された後の映像信号は、映像表示パネル１８１に出力される。

以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

本発明の一実施形態に係る動きベクトル検出装置の全体構成を示すブロック図。 図１に記載した動きベクトル検出部において行われる動きベクトル検出に際してのマッチング手法の一例を示す説明図。 図２に記載したマッチング手法において、各フレ-ム上の平面座標で示される画素間での差分絶対値を求める演算処理ができない場合の例を示す説明図。 動きベクトルの検出に必要な各フレ-ムにおける、図２に記載したマッチング手法が適用される領域、及び該マッチング手法とは別のマッチング手法が適用される領域に係わる説明図。 本発明の一実施形態に係る動きベクトル検出装置を通じて表示出力される映像信号の１フレ-ム毎の遷移を示す説明図。 従来の古典的な動きベクトル検出方法を用いた場合に表示出力される映像信号の１フレ-ム毎の遷移を示す説明図。 本発明の他の実施形態に係る動きベクトル検出装置の全体構成を示すブロック図。 図７に記載した動きベクトル検出装置において、第１映像情報削減部により削減される後々フレ-ムの領域、及び第２映像情報削減部により削減される前々フレ-ムの領域を示す説明図。 図７に記載した動きベクトル検出装置において、情報の量が約１／９に削減された後の前々フレ-ムを用いて、動きベクトル検出部が動きベクトル検出のためのマッチング処理を行うに際しての概略説明図。 本発明に係る動きベクトル検出装置を内蔵した映像表示装置の構成を示す機能ブロック図。

符号の説明

１ 信号入力部
３ 第１フレ-ムメモリ
５ 第２フレ-ムメモリ
７ 第３フレ-ムメモリ
９ 第４フレ-ムメモリ
１１ 動きベクトル検出部
１３ 過去ベクトル検出部
１４１ 第１ＬＰＦ
１４３ 第１映像情報削減部
１４５ 第５フレ-ムメモリ
１４７ 第６フレ-ムメモリ
１４９ 第２ＬＰＦ
１５１ 第２映像情報削減部
１５３ 第７フレ-ムメモリ

Claims (15)

1. ディジタル形式の映像信号から動きベクトルを求める動きベクトル検出装置において、
   外部から入力した映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第１の映像信号遅延出力部と、
   前記第１の映像信号遅延出力部からの前記映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第２の映像信号遅延出力部と、
   前記第２の映像信号遅延出力部からの前記映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第３の映像信号遅延出力部と、
   前記第１乃至第３の映像信号遅延出力部を介さずに、外部から直接入力した前記映像信号のフレームと、該フレームと同期して夫々入力される、前記第１乃至第３の映像信号遅延出力部からの各映像信号のフレームとを用いて、所定の処理を行うことにより動きベクトルを検出する動きベクトル検出部と、
   を備える動きベクトル検出装置。
2. 請求項１記載の動きベクトル検出装置において、
   前記動きベクトル検出部が行う所定の処理が、前記映像信号におけるフレーム間相関演算であり、
   前記フレーム間相関演算が、前記外部から直接入力した前記映像信号のフレーム、及び該フレームと同期して夫々入力される、前記第１乃至第３の映像信号遅延出力部からの各映像信号のフレームについて行われる動きベクトル検出装置。
3. 請求項２記載の動きベクトル検出装置において、
   前記フレーム間相関演算が、前記外部から直接入力した前記映像信号のフレームと前記第１の映像信号遅延出力部からの映像信号のフレームとの間、又は前記第１の映像信号遅延出力部からの映像信号のフレームと前記第２の映像信号遅延出力部からの映像信号のフレームとの間、又は前記第２の映像信号遅延出力部からの映像信号のフレームと前記第３の映像信号遅延出力部からの映像信号のフレームとの間、について行われる動きベクトル検出装置。
4. 請求項１記載の動きベクトル検出装置において、
   前記動きベクトル検出部から出力される１フレーム分の動きベクトルについて、それらの出現率を求める処理を行うと共に、最も出現率の高い動きベクトルから順に、所定の数の動きベクトルまでを過去ベクトルとする処理を行う過去ベクトル検出部と、
   前記過去ベクトル検出部から出力される過去ベクトルを保持することにより、それら過去ベクトルを、それらの入力時よりも１フレーム分遅延させて前記動きベクトル検出部に出力する動きベクトル遅延出力部と、
   を更に備える動きベクトル検出装置。
5. 請求項４記載の動きベクトル検出装置において、
   前記動きベクトル検出部が、前記第１乃至第３の映像信号遅延出力部から夫々出力される映像信号のフレーム、及び前記外部から直接入力される前記映像信号のフレームの４隅を含む領域については、前記過去ベクトル検出部からの過去ベクトルをも動きベクトルの候補として、前記フレーム間相関演算を行うようにした動きベクトル検出装置。
6. 請求項１記載の動きベクトル検出装置において、
   前記動きベクトル検出部が動きベクトルを検出するための演算処理として、
   前記第１の映像信号遅延出力部からの映像信号のフレームと前記第２の映像信号遅延出力部からの映像信号のフレームとの間に生成される動きベクトル検出用のフレームを設定する第１のプロセスと、
   前記動きベクトル検出用のフレームにおける特定の画素を基準として、前記外部から直接入力される映像信号のフレームと前記第１、第２、第３の映像信号遅延出力部から夫々出力される映像信号のフレームとを通る複数本の直線を設定する第２のプロセスと、
   前記複数本の直線上にある前記外部から直接入力される映像信号のフレーム上の画素と前記第１の映像信号遅延出力部からの映像信号のフレーム上の画素との差分、前記複数本の直線上にある前記第１の映像信号遅延出力部からの映像信号のフレーム上の画素と前記第２の映像信号遅延出力部からの映像信号のフレーム上の画素との差分、及び前記複数本の直線上にある前記第２の映像信号遅延出力部からの映像信号のフレーム上の画素と前記第３の映像信号遅延出力部からの映像信号のフレーム上の画素との差分、を求める第３のプロセスと、
   前記第３のプロセスにおいて求めた各差分の合計値を求めて、該合計値を前記直線のポイントにする第４のプロセスと、
   前記複数本の直線のうちの、前記ポイントの最も小さな直線を、動きベクトルを決定するための基準として用いる第５のプロセスと、
   を少なくとも実行する動きベクトル検出装置。
7. 請求項６記載の動きベクトル検出装置において、
   前記第３のプロセスにおいて前記複数本の直線中に、前記差分を求めることができないものがある場合には、前記求められなかった差分については無視すると共に、求められた各差分については補正するようにした動きベクトル検出装置。
8. 請求項７記載の動きベクトル検出装置において、
   前記動きベクトル検出部が、前記第３のプロセスにおいて前記複数本の直線中に、前記差分を求めることができないものがある場合には、前記直線のうちの前記過去ベクトル検出部からの過去ベクトルが指す直線に適宜なポイントを付与すると共に、該直線をも動きベクトルの候補として、前記フレーム間相関演算を行うようにした動きベクトル検出装置。
9. 請求項１記載の動きベクトル検出装置において、
   前記動きベクトル検出部の入力側と外部からの映像信号を入力する映像信号入力部との間に、前記映像信号に含まれる高周波成分を除去するための第１のローパスフィルタと、前記第１のローパスフィルタから出力される映像信号の情報の量を削減するための第１の情報削減部と、前記第１の情報削減部から出力される映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第４の映像信号遅延出力部と、を更に備える動きベクトル検出装置。
10. 請求項９記載の動きベクトル検出装置において、
    前記第１の映像信号遅延出力部の入力側と前記映像信号入力部との間に、前記映像信号入力部からの映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第５の映像信号遅延出力部、を更に備える動きベクトル検出装置。
11. 請求項１０記載の動きベクトル検出装置において、
    前記第３の映像信号遅延出力部の出力側と前記第２の映像信号遅延出力部の入力側との間に、前記映像信号に含まれる高周波成分を除去するための第２のローパスフィルタと、前記第２のローパスフィルタから出力される映像信号の情報の量を削減するための第２の情報削減部と、を更に備える動きベクトル検出装置。
12. 請求項１０記載の動きベクトル検出装置において、
    前記第３、及び第４の映像信号遅延出力部の記憶容量が、前記第１、第２、第５の映像信号遅延出力部の記憶容量よりも小さい動きベクトル検出装置。
13. 請求項１０、又は請求項１１記載の動きベクトル検出装置において、
    前記第１のローパスフィルタを通じて前記映像信号入力部から入力される映像信号の情報の量の前記第１の情報削減部による削減、及び前記第２のローパスフィルタ、前記第２、第１、第５の映像信号遅延出力部を通じて前記映像信号入力部から入力される映像信号の情報の量の前記第２の情報削減部による削減が、それらの映像信号のフレームにおける所定の幅を有する外縁部の領域を除いた矩形状の領域について行われる動きベクトル検出装置。
14. ディジタル形式の映像信号から動きベクトルを求める動きベクトル検出方法において、
    外部から入力した映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第１のステップと、
    前記第１のステップを経て出力される前記映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第２のステップと、
    前記第２のステップを経て出力される前記映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第３のステップと、
    前記第１乃至第３のステップの何れをも介さずに、外部から直接入力した前記映像信号のフレームと、該フレームと同期して夫々入力される、前記第１乃至第３のステップを夫々経て出力される各映像信号のフレームとを用いて、所定の処理を行うことにより動きベクトルを検出する第４のステップと、
    を備える動きベクトル検出方法。
15. 受信した映像信号から所望のディジタル形式の映像信号を抽出する映像信号抽出装置と、前記映像信号抽出装置により抽出されたディジタル形式の映像信号から動きベクトルを求める動きベクトル検出装置と、前記動きベクトル検出装置から出力された動きベクトルに基づいて、前記映像信号抽出装置により抽出されたディジタル形式の映像信号にフレームレート変換、又はインターレス・プログレッシブ変換を施すフレームレート・インターレス・プログレッシブ変換装置と、
    を備え、
    前記動きベクトル検出装置が、
    前記映像信号抽出装置から入力した映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第１の映像信号遅延出力部と、
    前記第１の映像信号遅延出力部からの前記映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第２の映像信号遅延出力部と、
    前記第２の映像信号遅延出力部からの前記映像信号を保持することにより、該映像信号を、その入力時よりも１フレーム分遅延させて出力する第３の映像信号遅延出力部と、
    前記第１乃至第３の映像信号遅延出力部を介さずに、前記映像信号抽出装置から直接入力した前記映像信号のフレームと、該フレームと同期して夫々入力される、前記第１乃至第３の映像信号遅延出力部からの各映像信号のフレームとを用いて、所定の処理を行うことにより動きベクトルを検出する動きベクトル検出部と、
    を有する映像表示装置。

Images