JP2019062406A - 動きベクトル検出装置 - Google Patents

Abstract

【課題】フレームインまたはフレームアウトが発生した場合であっても正しい動きベクトルを検出することができる動きベクトル検出装置を提供する。【解決手段】画素選択部は、探索範囲Ｒｓに含まれる未来フレームの画素が有効表示領域ｆ０ｅ外の画素を含むと判定し、注目画素Ｐｆ１を中心として探索範囲Ｒｓ内の有効表示領域ｆ０ｅ外の画素Ｐｓ１、Ｐｓ２、Ｐｓ４と点対称の位置に過去フレームの有効表示領域ｆ２ｅ内の画素が存在すると判定したとき、点対称の位置にある過去フレームの有効表示領域ｆ２ｅ内の画素Ｐｆ２ｓ１、Ｐｆ２ｓ２、Ｐｆ２ｓ４を選択する。画素選択部は、注目画素Ｐｆ１と選択した過去フレームの有効表示領域ｆ２ｅ内の画素Ｐｆ２ｓ１、Ｐｆ２ｓ２、Ｐｆ２ｓ４との差分値を算出する。【選択図】図５

Description

本発明は、画像の動きベクトルを検出する動きベクトル検出装置に関する。

隣接する２つのフレーム間に補間フレームを内挿してフレーム周波数を変換するフレーム周波数変換装置は、画像の動きベクトルを検出する動きベクトル検出装置を備える（特許文献１参照）。動きベクトル検出装置は、例えば隣接する２つのフレーム間の画素を比較することによって画像の動きを推定し、動きベクトルを検出する。

特開２００８−２４５１３５号公報

物体がフレームの外から中へと移動するフレームイン、または、物体がフレームの中から外へと移動するフレームアウトが発生すると、動きベクトル検出装置は正しい動きベクトルを検出できないことがある。正しい動きベクトルが検出されないと、フレーム周波数変換装置は正しい補間画素を生成することができないため、違和感のある補間フレームが生成されてしまう。

本発明は、フレームインまたはフレームアウトが発生した場合であっても正しい動きベクトルを検出することができる動きベクトル検出装置を提供することを目的とする。

本発明は、映像信号における時間方向に並ぶ３つのフレームのうち、中央に位置するフレームを注目フレーム、前記注目フレームより未来に位置するフレームを未来フレーム、前記注目フレームより過去に位置するフレームを過去フレームとし、領域フラグ付与部と、画素選択部と、動きベクトル検出部とを備える動きベクトル検出装置を提供する。

前記領域フラグ付与部は、前記注目フレーム、前記未来フレーム、前記過去のフレームそれぞれの有効表示領域内の各画素に領域フラグとして第１の値を付与し、有効表示領域外の各画素に前記領域フラグとして第２の値を付与する。

前記画素選択部は、前記注目フレームに付与された前記領域フラグに基づいて前記注目フレームの有効表示領域内の画素を注目画素として選択し、前記未来フレーム内に前記注目画素に対応する探索範囲を設定し、前記未来フレームに付与された前記領域フラグに基づいて前記探索範囲に含まれる前記未来フレームの画素が全て有効表示領域内の画素であると判定したとき、前記注目画素と前記探索範囲内の全ての画素との差分値を算出し、最も差分値の小さい画素を選択して選択画素として抽出し、前記注目画素の画素位置を示す情報と前記選択画素の画素位置を示す情報とを含む相関情報を生成する。

前記動きベクトル検出部は、前記相関情報に基づいて、前記注目画素における動きベクトルを検出する。

前記画素選択部は、前記未来フレームに付与された前記領域フラグに基づいて前記探索範囲に含まれる前記未来フレームの画素が有効表示領域外の画素を含むと判定し、前記過去フレームに付与された前記領域フラグに基づいて前記注目画素を中心として前記探索範囲内の有効表示領域外の画素と点対称の位置に前記過去フレームの有効表示領域内の画素が存在すると判定したとき、前記探索範囲内の有効表示領域外の画素の代わりに前記点対称の位置にある前記過去フレームの有効表示領域内の画素を選択し、前記注目画素と選択した前記過去フレームの有効表示領域内の画素との差分値を算出する。

本発明の動きベクトル検出装置によれば、フレームインまたはフレームアウトが発生した場合であっても正しい動きベクトルを検出することができる。

第１実施形態の動きベクトル検出装置を含むフレーム周波数変換装置を示すブロック図である。 第１実施形態の動きベクトル検出装置において、フレーム内の各画素に付与する領域フラグを示す図である。 探索範囲が有効表示領域内に位置するときの画素選択部の通常の動作を説明するための図である。 探索範囲の一部が有効表示領域外に位置する場合の例を示す図である。 探索範囲の一部が有効表示領域外に位置するときの画素選択部の動作を説明するための図である。 図３に示す通常の動作のときに画素選択部が算出する差分値を示す図である。 図５に示す動作のときに画素選択部が算出する差分値を示す図である。 画素選択部の動作を示すフローチャートである。 図７Ａに続く画素選択部の動作を示すフローチャートである。 第２実施形態の動きベクトル検出装置を含むフレーム周波数変換装置を示すブロック図である。 第２実施形態の動きベクトル検出装置において、映像信号が黒帯領域を含むときフレーム内の各画素に付与する領域フラグを示す図である。

以下、各実施形態の動きベクトル検出装置について、添付図面を参照して説明する。フレーム周波数変換装置が各実施形態の動きベクトル検出装置を備える構成を例として説明する。動きベクトル検出装置は、フレーム周波数変換装置以外に備えられていてもよい。

＜第１実施形態＞
図１において、フレーム周波数変換装置に入力された映像信号Ｓｉｎは、フレームメモリ１、領域フラグ付与部３、補間フレーム生成部８、フレーム周波数変換メモリ９に供給される。映像信号Ｓｉｎのフレームをフレームｆ０とする。映像信号Ｓｉｎのフレーム周波数は一例として６０Ｈｚである。

フレームメモリ１は、映像信号Ｓｉｎを１フレーム期間遅延して、フレームｆ０に対して１フレーム過去のフレームｆ１を生成する。フレームｆ１は、フレームメモリ２、領域フラグ付与部４、補間フレーム生成部８に供給される。フレームメモリ２は、フレームｆ１を１フレーム期間遅延して、フレームｆ１に対して１フレーム過去のフレームｆ２を生成する。フレームｆ２は、領域フラグ付与部５に供給される。

映像信号Ｓｉｎにおける時間方向に並ぶ３つのフレームｆ０、ｆ１、ｆ２のうち、中央に位置するフレームｆ１を注目フレーム、注目フレームｆ１より未来に位置するフレームｆ０を未来フレーム、注目フレームｆ１より過去に位置するフレームｆ２を過去フレームとする。

領域フラグ付与部３〜５には、映像信号Ｓｉｎの水平同期信号Ｈｓ及び垂直同期信号Ｖｓが入力される。水平同期信号Ｈｓ及び垂直同期信号Ｖｓの代わりに、水平同期信号Ｈｓ及び垂直同期信号Ｖｓに基づいて生成した水平同期パルス及び垂直同期パルスが領域フラグ付与部３〜５に入力されてもよい。

図２に示すように、領域フラグ付与部３は、水平同期信号Ｈｓ及び垂直同期信号Ｖｓ（水平同期パルス及び垂直同期パルス）に基づいて、領域フラグとして、フレームｆ０の有効表示領域ｆ０ｅ内の各画素に第１の値である１を付与し、有効表示領域ｆ０ｅ外の各画素に第２の値である０を付与する。図２及びそれ以降の図に示されるフレームは、簡略化のため、画素数を大幅に少なくした概念図である。

領域フラグ付与部３は、図２に示すように付与した領域フラグＦｆ０とフレームｆ０の各画素信号とを含むフラグ付きフレームｆ０ａを画素選択部６に供給する。フレームｆ０内の有効表示領域ｆ０ｅの外側に位置する各画素は、例えば画素値０とされている。

領域フラグ付与部４及び５は、領域フラグ付与部３と同様に、それぞれ、フレームｆ１及びｆ２に付与した領域フラグとフレームｆ１及びｆ２の各画素信号とを含むフラグ付きフレームｆ１ａ及びｆ２ａを画素選択部６に供給する。フレームｆ０内の有効表示領域ｆ０ｅの外側に位置する各画素が画素値０であるから、フレームｆ１及びｆ２内の有効表示領域ｆ１ｅ及びｆ２ｅ（図３参照）の外側に位置する各画素は画素値０である。

画素選択部６は、注目フレームｆ１の有効表示領域ｆ１ｅ内の各画素位置の画素を順に注目画素とし、未来フレームｆ０内に注目画素に対応する探索範囲を設定する。探索範囲とは、注目画素と最も相関の高い未来フレームｆ０内の画素を求める際の複数の画素よりなる範囲である。典型的には、探索範囲は、注目画素と同じ画素位置の未来フレームｆ０内の画素を中心とする所定形状の範囲である。

まず、図３を用いて、探索範囲が有効表示領域ｆ０ｅ内に位置するときの画素選択部６の通常の動作を説明する。図３〜図５においては、未来フレームｆ０、注目フレームｆ１、過去フレームｆ２のうちの有効表示領域ｆ０ｅ、ｆ１ｅ、ｆ２ｅを示している。図３に示すように、画素選択部６が注目フレームｆ１の有効表示領域ｆ１ｅ内のハッチングを付した画素を注目画素Ｐｆ１として選択したとする。このとき、画素選択部６は、未来フレームｆ０の有効表示領域ｆ０ｅ内に、注目画素Ｐｆ１と同じ画素位置の画素を中心とする探索範囲Ｒｓを設定する。

ここでは探索範囲Ｒｓを正方形状としているが、水平方向に長い長方形状であってもよく、探索範囲Ｒｓの形状は限定されない。ここでは、探索範囲Ｒｓは画素Ｐｓ１〜Ｐｓ９を含む。

図１において、画素選択部６は、注目画素Ｐｆ１と画素Ｐｓ１〜Ｐｓ９それぞれとの差分値を算出し、最も差分値の小さい（即ち、最も相関の高い）画素を選択する。画素選択部６は、未来フレームｆ０の探索範囲Ｒｓ内で選択した画素を選択画素Ｐｓｘとして抽出する。画素選択部６は、注目画素Ｐｆ１の画素位置を示す情報と選択画素Ｐｓｘの画素位置を示す情報とを相関情報として動きベクトル検出部７に供給する。

動きベクトル検出部７には、注目フレームｆ１の各注目画素Ｐｆ１において得られた相関情報が順に供給される。

次に、図４及び図５を用いて、探索範囲Ｒｓの一部が有効表示領域ｆ０ｅ外に位置するときの画素選択部６の動作を説明する。図４に示すように、画素選択部６が有効表示領域ｆ１ｅの最上位ラインの左端部に位置するハッチングを付した画素を注目画素Ｐｆ１として選択した場合を例とする。このとき、画素選択部６が未来フレームｆ０内に設定する探索範囲Ｒｓは、一部が有効表示領域ｆ０ｅの外側となる。

画素選択部６が、有効表示領域ｆ１ｅの上下端部に位置する複数ライン、左右端部に位置する複数の画素から注目画素Ｐｆ１を選択したときには、図５と同様に、探索範囲Ｒｓの一部が有効表示領域ｆ０ｅの外側となる。フレームインまたはフレームアウトが発生した場合に正しい動きベクトルを検出するには、探索範囲Ｒｓの一部が有効表示領域ｆ０ｅの外側となる場合であっても動きベクトルが適切に検出されることが必要である。

画素選択部６は、領域フラグＦｆ０に基づいて、探索範囲Ｒｓの画素Ｐｓ１〜Ｐｓ９のうち、どの画素が有効表示領域ｆ０ｅの外側に位置するかを認識することができる。ここでは、図５に示すように、画素Ｐｓ１〜Ｐｓ４及びＰｓ７が有効表示領域ｆ０ｅの外側に位置する。

画素選択部６は、注目画素Ｐｆ１と画素Ｐｓ１との差分値を算出しようとするとき、画素Ｐｓ１が有効表示領域ｆ０ｅの外側に位置することを認識する。そこで、画素選択部６は、画素Ｐｓ１の代わりに、注目画素Ｐｆ１を中心して画素Ｐｓ１と点対称の位置にある過去フレームｆ２の有効表示領域ｆ２ｅ内の画素Ｐｆ２ｓ１を選択し、注目画素Ｐｆ１と画素Ｐｆ２ｓ１との差分値を算出する。

同様にして、画素選択部６は、画素Ｐｓ２及びＰｓ４の代わりに、注目画素Ｐｆ１を中心して画素Ｐｓ２及びＰｓ４それぞれと点対称の位置にある有効表示領域ｆ２ｅ内の画素Ｐｆ２ｓ２及びＰｆ２ｓ４を選択し、注目画素Ｐｆ１と画素Ｐｆ２ｓ２及びＰｆ２ｓ４との差分値を算出する。

画素選択部６は、注目画素Ｐｆ１と画素Ｐｓ３またはＰｓ７との差分値を算出しようとするとき、画素Ｐｓ３及びＰｓ７が有効表示領域ｆ０ｅの外側に位置することを認識する。しかしながら、注目画素Ｐｆ１を中心して画素Ｐｓ３またはＰｓ７と点対称の位置は有効表示領域ｆ２ｅ内に存在せず、画素Ｐｓ３及びＰｓ７の代わりに過去フレームｆ２内の画素を用いることはできない。

そこで、画素選択部６は、注目画素Ｐｆ１と画素Ｐｓ３との差分値、注目画素Ｐｆ１と画素Ｐｓ７との差分値を算出する。上記のように、有効表示領域ｆ０ｅの外側に位置する各画素は画素値０とされているから、注目画素Ｐｆ１と画素Ｐｓ３との差分値、注目画素Ｐｆ１と画素Ｐｓ７との差分値は非常に大きな値となることがある。

仮に、注目画素Ｐｆ１から画素Ｐｓ３へと向かう方向が動きベクトルであったとしても、注目画素Ｐｆ１と画素Ｐｓ３との差分値が大きな値であるため、画素Ｐｓ３が最も差分値の小さい画素として選択される可能性はほとんどない。注目画素Ｐｆ１から画素Ｐｓ３へと向かう方向が動きベクトルである可能性が高い場合には、画素Ｐｓ３が最も差分値の小さい画素として選択される可能性を増大させる必要がある。

そこで、画素選択部６は、注目フレームｆ１内の注目画素Ｐｆ１の近傍画素において生成された相関情報を参照して、注目画素Ｐｆ１と画素Ｐｓ３との差分値と、注目画素Ｐｆ１と画素Ｐｓ７との差分値を調整する。近傍画素とは、上、下、左、右のいずれかの隣側に位置する画素である。

図５に示す例では、注目画素Ｐｆ１が有効表示領域ｆ１ｅの最上位ラインの左端部に位置するので、注目画素Ｐｆ１に対する処理を実行する以前の選択方向の検出結果が存在しない。このような場合であっても、図５に示す注目画素Ｐｆ１の例えば右隣に位置する画素を注目画素Ｐｆ１としたときに得られた相関情報をフィードバックすることによって、差分値を調整することができる。

画素選択部６は、過去フレームｆ２内の、注目フレームｆ１における注目画素Ｐｆ１と同じ画素位置の画素で生成された相関情報を参照して、差分値を調整してもよい。過去フレームｆ２内の同じ画素位置の画素は時間方向の近傍画素である。画素選択部６は、過去フレームｆ２内の、注目フレームｆ１における注目画素Ｐｆ１と同じ画素位置だけではなく、さらにその近傍画素において生成された相関情報を参照して、差分値を調整してもよい。

画素選択部６は、注目フレームｆ１または過去フレームｆ２内の近傍画素で生成された相関情報の類似度が高いほど、注目画素Ｐｆ１と画素Ｐｓ３との差分値、注目画素Ｐｆ１と画素Ｐｓ７との差分値を小さくするように調整する。

画素Ｐｓ５、Ｐｓ６、Ｐｓ８、Ｐｓ９は有効表示領域ｆ０ｅ内に存在するので、画素選択部６は、注目画素Ｐｆ１と画素Ｐｓ５、Ｐｓ６、Ｐｓ８、Ｐｓ９それぞれとの差分値を算出する。

以上のようにして、画素選択部６は、注目画素Ｐｆ１と画素Ｐｆ２ｓ１、Ｐｆ２ｓ２、Ｐｆ２ｓ４との各差分値、注目画素Ｐｆ１と画素Ｐｓ３及びＰｓ７との差分値を調整した調整差分値、注目画素Ｐｆ１と画素Ｐｓ５、Ｐｓ６、Ｐｓ８、Ｐｓ９との各差分値とを取得する。画素選択部６は、これらの中から、最も差分値の小さい画素を選択する。

図６Ａは図３で説明した動作によって画素選択部６が算出する差分値を示し、図６Ｂは図５で説明した動作によって画素選択部６が算出する差分値を示している。図６Ａに示すように、探索範囲Ｒｓの全てが有効表示領域ｆ０ｅ内に位置する場合には、注目画素Ｐｆ１と画素Ｐｓ１〜Ｐｓ９それぞれとの差分値が算出される。

図６Ｂに示すように、探索範囲Ｒｓの一部が有効表示領域ｆ０ｅ外に位置する場合で、有効表示領域ｆ０ｅ外に位置する画素位置において点対称の画素が過去フレームｆ２の有効表示領域ｆ２ｅ内に存在する場合には、注目画素Ｐｆ１と有効表示領域ｆ２ｅ内の画素との差分値が算出される。有効表示領域ｆ０ｅ外に位置する画素位置において点対称の画素が有効表示領域ｆ２ｅ内に存在しない場合には、注目画素Ｐｆ１と探索範囲Ｒｓ内の画素との差分値に所定の係数ｋを乗じた調整差分値が算出される。係数ｋは１以下の数である。

画素選択部６は、注目画素Ｐｆ１の近傍画素で生成された相関情報を参照して係数ｋを適宜の値に設定する。画素選択部６は、相関情報の類似度が高いほど係数ｋの値を小さくする。

図１に戻り、動きベクトル検出部７は、相関情報に基づいて、注目フレームｆ１内の各注目画素Ｐｆ１と、各注目画素Ｐｆ１に対応して選択した探索範囲Ｒｓ内の選択画素Ｐｓｘとを結ぶ方向を動きベクトルＭＶとして検出する。動きベクトル検出部７は、動きベクトルＭＶを補間フレーム生成部８に供給する。

動きベクトル検出部７は、注目画素Ｐｆ１ごとに検出した動きベクトルＭＶをそのまま補間フレーム生成部８に供給してもよい。動きベクトル検出部７は、注目画素Ｐｆ１ごとに検出した動きベクトルＭＶに基づいて、複数の画素よりなるブロックごとの動きベクトルＭＶを生成して、補間フレーム生成部８に供給してもよい。

後者の場合、例えば、画素単位の動きベクトルＭＶをブロック内で平均することにより、一部の注目画素Ｐｆ１において動きベクトルＭＶの誤検出が発生したとしても、ブロック全体ではほぼ正しい動きベクトルＭＶとすることができる。

図１において、フレームメモリ１〜動きベクトル検出部７の部分は、第１実施形態の動きベクトル検出装置を構成する。フレームメモリ１及び２はフレーム周波数変換装置の外部にあってもよい。第１実施形態の動きベクトル検出装置は、少なくとも領域フラグ付与部３〜５、画素選択部６、動きベクトル検出部７を備える。

補間フレーム生成部８は、動きベクトルＭＶに基づいて、注目フレームｆ１内の画素と未来フレームｆ０内の画素とを選択して混合して各画素位置の補間画素を生成し、図３または図４に示す補間フレームｆ０．５を生成する。補間フレームｆ０．５はフレーム周波数変換メモリ９に供給される。

フレーム周波数変換メモリ９は、未来フレームｆ０と補間フレームｆ０．５とを書き込み、補間フレームｆ０．５、未来フレームｆ０の順に２倍の周波数で読み出すことにより、フレーム周波数１２０Ｈｚを有する映像信号Ｓｏｕｔを生成する。

以上のようにして、フレーム周波数変換装置は、隣接する注目フレームｆ１と未来フレームｆ０との間に補間フレームｆ０．５を内挿して、入力された映像信号Ｓｉｎのフレーム周波数の２倍であるフレーム周波数１２０Ｈｚの映像信号Ｓｏｕｔを出力することができる。

図７Ａ及び図７Ｂに示すフローチャートを用いて、画素選択部６の１フレーム内での動作を改めて説明する。図７Ａにおいて、画素選択部６は、ステップＳ６０１にて、注目フレームｆ１内の最初の注目画素Ｐｆ１を選択する。画素選択部６は、ステップＳ６０２にて、未来フレームｆ０内に、選択された注目画素Ｐｆ１に対応する探索範囲Ｒｓを設定する。

画素選択部６は、ステップＳ６０３にて、注目画素Ｐｆ１と探索範囲Ｒｓ内の全画素との差分値の取得が完了したか否かを判定する。差分値の取得が完了していれば（YES）、画素選択部６は、ステップＳ６０４にて、探索範囲Ｒｓ内の最も差分値が小さい画素を選択する。画素選択部６は、ステップＳ６０５にて、動きベクトル検出部７に、注目画素Ｐｆ１及び探索範囲Ｒｓ内の選択された画素の情報を供給する。

画素選択部６は、ステップＳ６０６にて、注目フレームｆ１内の全画素に対する処理が完了したか否かを判定する。全画素に対する処理が完了していれば（YES）、画素選択部６は処理を終了する。全画素に対する処理が完了していなければ（NO）、画素選択部６は、ステップＳ６０７にて、注目フレームｆ１内の次の注目画素Ｐｆ１を選択して、ステップＳ６０２〜Ｓ６０６の処理を繰り返す。

一方、ステップＳ６０３にて注目画素Ｐｆ１と探索範囲Ｒｓ内の全画素との差分値の取得が完了していなければ（NO）、画素選択部６は、ステップＳ６０８にて、探索範囲Ｒｓ内の画素のうち注目画素Ｐｆ１との差分値を取得していない画素を１つ選択する。画素選択部６は、ステップＳ６０９にて、未来フレームｆ０内で選択した画素の領域フラグが１であるか否かを判定する。

領域フラグが１であれば（YES）、画素選択部６は、ステップＳ６１０にて、注目フレームｆ１内で選択した注目画素Ｐｆ１の領域フラグが１であるか否かを判定する。領域フラグが１であれば（YES）、画素選択部６は、ステップＳ６１１にて、注目フレームｆ１内の注目画素Ｐｆ１と未来フレームｆ０の探索範囲Ｒｓ内で選択した画素との差分値を取得して、処理をステップＳ６０３に戻す。

ステップＳ６１０にて注目フレームｆ１内で選択した注目画素Ｐｆ１の領域フラグが１でなければ（NO）、画素選択部６は、処理をステップＳ６０６に戻す。

ステップＳ６０９にて未来フレームｆ０内で選択した画素の領域フラグが１でなければ（NO）、画素選択部６は、図７ＢのステップＳ６１２にて、注目画素Ｐｆ１を中心として、未来フレームｆ０で選択した画素と点対称となる過去フレームｆ２内の画素を選択する。

画素選択部６は、ステップＳ６１３にて、過去フレームｆ２内で選択した画素の領域フラグが１であるか否かを判定する。領域フラグが１であれば（YES）、画素選択部６は、ステップＳ６１４にて、注目フレームｆ１内で選択した注目画素Ｐｆ１の領域フラグが１であるか否かを判定する。

ステップＳ６１４にて領域フラグが１であれば（YES）、画素選択部６は、ステップＳ６１５にて、注目フレームｆ１内の注目画素Ｐｆ１と過去フレームｆ２内で選択した画素との差分値を取得して、処理を図７ＡのステップＳ６０３に戻す。ステップＳ６１４にて領域フラグが１でなければ（NO）、画素選択部６は、処理を図７ＡのステップＳ６０６に戻す。

ステップＳ６１３にて領域フラグが１でなければ（NO）、画素選択部６は、ステップＳ６１６にて、相関情報を作成済みの近傍画素での相関情報を参照して、注目画素Ｐｆ１と探索範囲Ｒｓ内の画素との差分値を調整して、処理を図７ＡのステップＳ６１０に戻す。

以上のようにして、第１実施形態の動きベクトル検出装置によれば、探索範囲Ｒｓの一部が有効表示領域ｆ０ｅ外に位置したとしても正しい動きベクトルが検出され、フレームインまたはフレームアウトが発生した場合であっても正しい動きベクトルを検出することができる。第１実施形態の動きベクトル検出装置を用いれば、補間フレーム生成部８は、補間フレームｆ０．５内の中央部及び周辺部の双方で違和感のない補間画像を生成することができる。

＜第２実施形態＞
図８に示すフレーム周波数変換装置は、第２実施形態の動きベクトル検出装置を備える。図８において、図１と同一部分には同一符号を付し、その説明を省略する。

図８において、映像信号Ｓｉｎは、黒帯検出部１０にも供給される。黒帯検出部１０は、公知の手法によって黒帯領域の有無、及び、黒帯領域が存在する範囲を検出して、黒帯検出信号Ｓｂｂを生成する。一例として、黒帯検出部１０は、輝度レベルが所定の閾値以下であって、水平方向の１ラインの全画素のうちの所定の割合以上のラインを上下の黒帯領域であると検出し、垂直方向の１ラインの全画素のうちの所定の割合以上のラインを左右の黒帯領域であると検出する。黒帯検出信号Ｓｂｂは、領域フラグ付与部３〜５に供給される。

図９は、フレームｆ０内の有効表示領域ｆ０ｅの上下端部が黒帯領域となっている、いわゆるレターボックスの画像を例として示している。領域フラグ付与部３は、黒帯検出信号Ｓｂｂに基づいて、有効表示領域ｆ０ｅ内であっても、黒帯領域の各画素にフラグ０を付与する。領域フラグ付与部４及び５も同様に、それぞれ、フレームｆ１及びｆ２内の有効表示領域ｆ１ｅ及びｆ２ｅ内の黒帯領域の各画素にフラグ０を付与する。

画素選択部６以降の動作は、第１実施形態の動きベクトル検出装置と同じである。第２実施形態の動きベクトル検出装置においては、画素選択部６は、有効表示領域ｆ１ｅ内の黒帯領域以外の画素を注目画素Ｐｆ１とすればよい。

第２実施形態の動きベクトル検出装置によれば、探索範囲Ｒｓの一部が黒帯領域内であっても、第１実施形態の動きベクトル検出装置と同様の処理によって正しい動きベクトルが検出され、フレームインまたはフレームアウトが発生した場合であっても正しい動きベクトルを検出することができる。第２実施形態の動きベクトル検出装置を用いれば、補間フレーム生成部８は、補間フレームｆ０．５内の中央部及び周辺部の双方で違和感のない補間画像を生成することができる。

図１及び図８では、映像信号のフレーム周波数を２倍に変換するフレーム周波数変換装置を例としたが、フレーム周波数を３倍以上に変換するフレーム周波数変換装置としてもよい。

図１及び図８の各部をハードウェアによる回路によって構成してもよいし、少なくとも一部をソフトウェア（コンピュータプログラム）によって構成してもよい。ハードウェアとソフトウェアとの使い分けは任意である。コンピュータプログラムは非一時的な記憶媒体に記憶されて提供されてもよい。

本発明は以上説明した第１または第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形可能である。

１，２ フレームメモリ
３〜５ 領域フラグ付与部
６ 画素選択部
７ 動きベクトル検出部
８ 補間フレーム生成部
９ フレーム周波数変換メモリ
１０ 黒帯検出部

Claims (3)

1. 映像信号における時間方向に並ぶ３つのフレームのうち、中央に位置するフレームを注目フレーム、前記注目フレームより未来に位置するフレームを未来フレーム、前記注目フレームより過去に位置するフレームを過去フレームとし、
   前記注目フレーム、前記未来フレーム、前記過去のフレームそれぞれの有効表示領域内の各画素に領域フラグとして第１の値を付与し、有効表示領域外の各画素に前記領域フラグとして第２の値を付与する領域フラグ付与部と、
   前記注目フレームに付与された前記領域フラグに基づいて前記注目フレームの有効表示領域内の画素を注目画素として選択し、
   前記未来フレーム内に前記注目画素に対応する探索範囲を設定し、
   前記未来フレームに付与された前記領域フラグに基づいて前記探索範囲に含まれる前記未来フレームの画素が全て有効表示領域内の画素であると判定したとき、前記注目画素と前記探索範囲内の全ての画素との差分値を算出し、
   最も差分値の小さい画素を選択して選択画素として抽出し、
   前記注目画素の画素位置を示す情報と前記選択画素の画素位置を示す情報とを含む相関情報を生成する
   画素選択部と、
   前記相関情報に基づいて、前記注目画素における動きベクトルを検出する動きベクトル検出部と、
   を備え、
   前記画素選択部は、
   前記未来フレームに付与された前記領域フラグに基づいて前記探索範囲に含まれる前記未来フレームの画素が有効表示領域外の画素を含むと判定し、前記過去フレームに付与された前記領域フラグに基づいて前記注目画素を中心として前記探索範囲内の有効表示領域外の画素と点対称の位置に前記過去フレームの有効表示領域内の画素が存在すると判定したとき、前記探索範囲内の有効表示領域外の画素の代わりに前記点対称の位置にある前記過去フレームの有効表示領域内の画素を選択し、
   前記注目画素と選択した前記過去フレームの有効表示領域内の画素との差分値を算出する
   ことを特徴とする動きベクトル検出装置。
2. 前記画素選択部は、前記未来フレームに付与された前記領域フラグに基づいて前記探索範囲に含まれる前記未来フレームの画素が有効表示領域外の画素を含むと判定し、前記過去フレームに付与された前記領域フラグに基づいて前記注目画素を中心として前記探索範囲内の有効表示領域外の画素と点対称の位置に前記過去フレームの有効表示領域内の画素が存在しないと判定したとき、前記注目画素と前記探索範囲内の有効表示領域外の画素との差分値を、前記注目フレームまたは前記過去フレーム内に位置する前記注目画素の近傍画素において生成された相関情報を参照して調整することを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記映像信号が黒帯領域を有するか否か、及び、黒帯領域を有するとき黒帯領域が存在する範囲を検出する黒帯検出部をさらに備え、
   前記領域フラグ付与部は、前記黒帯検出部が前記映像信号は黒帯領域を有することを検出したとき、前記注目フレーム、前記未来フレーム、前記過去のフレームそれぞれの有効表示領域内であって前記黒帯領域内の各画素に前記第２の値を付与する
   ことを特徴とする請求項１または２に記載の動きベクトル検出装置。

Images