JP2009017288A - 動きベクトル検出装置 - Google Patents

Abstract

【課題】同じフレーム内の画素又は領域の動きベクトルを参照することにより、精度の高い動きベクトルが得られる動きベクトル検出装置を提供する。
【解決手段】画像メモリ１１が入力画像信号を遅延させて遅延画像信号を出力すると、相関検出回路１２は入力画像信号と遅延画像信号との相関を検出して複数の動きベクトル候補を出力する。動きベクトル検出回路１３は複数の動きベクトル候補の中から動きベクトル保持回路１７に保持されていた参照動きベクトルを、相関の高い動きベクトルと判断し、検出の際の補正をした上で、動きベクトル候補から１つの動きベクトルを検出して出力する。動きベクトル保持選択回路１８は１つの動きベクトルと動きベクトル保持回路１７に保持されていた参照動きベクトルのいずれか一方を選択して参照動きベクトルとして動きベクトル保持回路１７に保持させる。
【選択図】図１

Description

本発明は画像処理装置などに適用される動きベクトル検出装置に係り、特に入力画像信号とその入力画像信号を少なくとも１フレーム分遅延させた遅延画像信号との相関を検出し、相関検出結果に基づいて入力画像信号の動きベクトルを検出する動きベクトル検出装置に関する。

現在、画像表示装置としては、画像の書き込み後に蛍光体の残光時間のみ一瞬強く発光する、例えばＣＲＴ（Cathode Ray Tube）で代表されるインパルス型表示装置と、画像の書き込みが行われるまで前フレームの画像を保持し続ける、例えば液晶表示装置で代表されるホールド型表示装置の２種類が存在する。

インパルス型表示装置の場合は、図７に示すように、例えば前フレームｆ_n-1と後フレームｆ_nの間に発光していない期間Ｂが存在するため、期間Ｂは表示装置に黒が映し出される。このとき、人間の目は、図８に示すように、前フレームｆ_n-1と後フレームｆ_nとの補間を行なって、物体が滑らかな動きをしているように感じ取る。

一方、ホールド型表示装置の場合は、図９に示すように、前フレームｆ_n-1から後フレームｆ_nに変わるまでの期間ずっと前フレームｆ_n-1の画像が映し出されている。このとき、人間の目は動きを予測して前フレームｆ_n-1と後フレームｆ_nの間の補間を行おうと試みるため、その差がボケとして認識される。このように、ホールド型表示装置は動体を表示した際にボケが生じるという問題があった。

ホールド型表示装置のボケを解消する１つの方法として、フレーム間隔を短くする方法がある。フレーム間隔を短くするということは、入力信号では存在しない新たなフレームを作り出すことである。その代表的なものとして、動き補償を利用して補間画像を作成する方法がある。この方法は前フレーム画像と後フレーム画像との間の動きベクトルを検出する必要があるもので、このとき検出される動きベクトルの精度が補間フレームに大きな影響を与えることになる。

図１０は、下記の特許文献１に開示され、フレーム周波数変換システムに適用された従来の動きベクトル検出装置の構成を示すブロック図である。図１０において、入力画像信号としての入力信号２０は、１フレーム分の画像データを保持する画像メモリ（フレーム）２１に入力され、ここで少なくとも１フレーム遅延されて遅延画像信号が出力される。この遅延画像信号は入力信号２０と共に相関検出回路２２に入力される。相関検出回路２２は入力信号２０と遅延画像信号との相関を検出する。すなわち、相関検出回路２２は注目画素又は領域を中心とした任意の範囲内でのフレーム間の差分算出を行い、それぞれ算出された差分値と、その際のベクトル情報とを計算された組み合わせの数だけ動きベクトル候補として出力する。これら多数の動きベクトル候補は動きベクトル検出回路２３に入力される。

動きベクトル検出回路２３は、動きベクトル候補のうち、差分値の最も小さい動きベクトル候補を動きベクトルとして出力する。この動きベクトルは内挿回路２４に入力される。内挿回路２４は入力された動きベクトルに合わせて、入力信号２０と遅延画像信号との間にくるであろう補間フレームを作成し、出力信号２５として出力する。これによって、フレーム周波数が２倍に変換された画像信号が得られる。

ここで、動きのある物体の画素のうち、動きベクトルが正しく検出された移動後の画素の近くに色や階調の似た画素があると、動きベクトルの誤検出を生じる原因となる。この誤検出を少なくするために、動きベクトル保持回路（フレーム）２６が設けられている。動きベクトル保持回路（フレーム）２６は、動きベクトル検出回路２３で検出された動きベクトルを次のフレームの動きベクトル検出時まで保持し、動きベクトル検出回路２３は動きベクトル保持回路（フレーム）２６で保持された動きベクトルを参照して次のフレームの動きベクトルを検出する。これは、動きベクトル検出回路２３によって検出される動きベクトルは前のフレームでの動きベクトルとの相関が強いため、動画像の動きの時間的流れを考慮した動きベクトルを選び出せるようにしたもので、これによって、誤検出の少ない動きベクトル検出が期待できる。
特開２００６−３３１１３６号公報（段落００２６、００２７）

しかしながら、特許文献１に記載された従来の動きベクトル検出装置では、参照する動きベクトルが前フレームの当該画素又は領域の動きベクトルであることから、異なるフレーム間の動きベクトルの時間的相関に基づいての改善はなされるけれども、同じフレーム内の別の位置にある画素の動きベクトルを参照して行う空間的相関に基づく改善に改良の余地があった。

ここで、空間的相関に基づく動きベクトル検出として、例えば連続する画素又は領域の動きベクトルを常に新しく保持し、同フレーム内の別の位置の画素又は領域の動きベクトルの検出に参照させることが想定される。しかし、連続する画素又は領域の動きベクトルを常に新しく保持するだけでは、字幕映像などで異なる動きベクトルが検出されやすくなる。このことを以下に説明する。

例えば、スクロールするタイプの映画のスタッフロールにおいて、苗字と名前の間や各スタッフ間の文字は大抵は離して表示されるため、前のフレームで保持された動きベクトルはスクロールの流れを汲んだ動きベクトルにはならないことが考えられる。

図１１は連続する画素の動きベクトルを常に新しく保持して、同フレーム内の別の画素の動きベクトル検出時の参照動きベクトルとしたとき、本来期待した動きベクトルとは異なる動きベクトルが検出される例を示したものである。すなわち、表示装置７１が上方にスクロールする字幕を想定した画像を映しているとすると、表示部分７１１の動きベクトルを上方向の動きベクトルと判断して保持しても、表示部分７１２では文字が途切れているため別の動きベクトルを保持してしまい、次の表示部分７１３では保持された動きベクトルは本来期待した表示部分７１１の動きベクトルとは異なる動きベクトルが検出されやすくなってしまう。このようにして、字幕映像などでは異なる動きベクトルが検出されやすくなる。

そこで、本発明は上記した従来技術の課題を解決するためになされたものであり、同じフレーム内の別の位置にある画素又は領域の動きベクトルを参照して動きベクトルを画素又は領域ごとに検出することにより、従来装置よりも精度の高い動きベクトルが得られる動きベクトル検出装置を提供することを目的とする。

本発明は、上記の目的を達成するために、各フレームの最初の画素又は領域において差分値の最も小さい動きベクトル候補を動きベクトルとして検出するとともに、検出された動きベクトルを次回以降の画素又は領域の動きベクトル検出に用いるべく参照動きベクトルとして保持し、さらに所定の選択条件に従ってあらかじめ保持された参照動きベクトルと新たに検出された動きベクトルのいずれか一方を選択して、新たな参照動きベクトルとして保持するように構成する。

すなわち、本発明は、入力画像信号を少なくとも１フレーム分遅延させて遅延画像信号を出力する遅延手段と、
前記入力画像信号と前記遅延画像信号との相関を検出し、相関検出結果から得られる差分値及びそのベクトル情報を含む動きベクトル候補を、画素又は領域ごとにそれぞれ計算された組み合わせの数だけ出力する相関検出手段と、
計算された動きベクトル候補の１つを参照動きベクトルとして保持する動きベクトル保持手段と、
前記相関検出手段から出力された画素又は領域ごとの前記動きベクトル候補と前記動きベクトル保持手段に保持された前記参照動きベクトルに基づき、前記動きベクトル候補のうち、前記参照動きベクトルと同じベクトル情報をもつ動きベクトル候補を相関の高い動きベクトルとみなし、前記相関の高い動きベクトル候補のうち差分値が小さいものを動きベクトルとして出力する動きベクトル検出手段と、
前記動きベクトル検出手段から出力された前記動きベクトルと前記動きベクトル保持手段に保持された前記参照動きベクトルとを入力し、所定の選択条件に従っていずれか一方を選択して前記参照動きベクトルとして前記動きベクトル保持手段に保持させる動きベクトル保持選択手段とを備え、
前記動きベクトル検出手段は、前記動きベクトルの初期値として前記相関検出手段から出力された各フレームの最初の画素又は領域の前記動きベクトル候補のうち、前記差分値の最も小さい前記動きベクトル候補を出力し、前記動きベクトル保持選択手段は、前記動きベクトル検出手段により前記初期値として出力された前記動きベクトルを次回以降の画素又は領域の前記動きベクトル候補と比較する前記参照動きベクトルとして前記動きベクトル保持手段に保持させるよう構成したことを特徴とする動きベクトル検出装置である。

また、上記目的を達成するために、本発明では、前記所定の選択条件として任意の値を外部から設定することが可能な動きベクトル保持選択条件設定手段を備え、前記動きベクトル保持選択手段は、前記動きベクトル検出手段から出力された前記動きベクトルの差分値が前記動きベクトル保持手段に保持されている前記参照動きベクトルの差分値よりも、前記動きベクトル保持選択条件設定手段によって設定された値を上回る場合には前記動きベクトルを新たな参照動きベクトルとして前記動きベクトル保持手段に保持させ、下回る場合には前記動きベクトル保持手段に保持されていた前記参照動きベクトルを引き続き前記動きベクトル保持手段に保持させることを特徴とする動きベクトル検出装置である。

また、本発明では、前記動きベクトル保持選択条件設定手段は、前記動きベクトル保持手段が保持していた前記参照動きベクトルを引き続き保持するように、外部からの設定により前記動きベクトル保持選択手段を機能させる信号を出力することを特徴とする動きベクトル検出装置である。

また、本発明では、前記動きベクトル保持選択条件設定手段は、任意の時間を外部から設定する機能を有し、前記動きベクトル保持選択手段は、前記動きベクトル保持手段に保持された前記参照動きベクトルが前記動きベクトル保持選択条件設定手段で設定された時間だけ不変であった場合に、前記設定された時間が経過した以降、不変であった前記参照動きベクトルを保持することを特徴とする動きベクトル検出装置である。

本発明によれば、各フレームの画素又は領域において差分値の最も小さい動きベクトル候補を動きベクトルとして検出し、次回以降の動きベクトル検出に影響を与える参照動きベクトルとして保持した後、新たに検出された他の画素又は領域の動きベクトルとあらかじめ保持されていた参照動きベクトルとの関係が所定の選択条件を満たすか否かにより、そのいずれ一方を選択して新たな参照動きベクトルとして保持するので、同じフレーム内の別の位置にある画素又は領域の動きベクトルを参照して動きベクトルを検出することができ、さらに、連続する画素の動きベクトルを常に新しく保持した場合の異なる動きベクトルも検出されにくくなるため、従来装置よりも精度の高い動きベクトルが得られる。

以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図１はフレーム周波数を倍速変換する画像処理装置に適用した、本発明に係る動きベクトル検出装置の一実施の形態の構成を示すブロック図である。

図１において、画像メモリ（フレーム）１１は、入力画像信号としての入力信号１０を入力し、少なくとも１フレーム遅延させて遅延画像信号として出力する遅延手段として設けられている。相関検出回路１２は、入力信号１０を一方の入力、画像メモリ（フレーム）１１から出力される遅延画像信号を他方の入力として注目画素のフレーム間の相関を検出して、差分値とそのベクトル情報を含む動きベクトル候補を出力する回路である。動きベクトル検出回路１３は、相関検出回路１２から出力された動きベクトル候補を入力し、後述する動きベクトル保持回路（画素）１７の参照動きベクトルと動きベクトル保持回路（フレーム）１６によって保持される動きベクトルに対しては差分値情報に補正をした上で、差分値が小さい動きベクトル候補を動きベクトルとして検出する回路である。内挿回路１４は、動きベクトル検出回路１３で検出された動きベクトルに合わせて、入力信号１０と画像メモリ（フレーム）１１から出力された遅延画像信号との間にくるであろう補間フレームを作成し、順に出力信号１５として出力する回路である。動きベクトル保持回路（フレーム）１６は、動きベクトル検出回路１３から出力された動きベクトルを１フレーム時間以上保持し、参照動きベクトルとして動きベクトル検出回路１３に提供する回路である。動きベクトル保持回路（画素）１７は、動きベクトル保持選択回路１８から出力される動きベクトルを少なくとも１画素分保持して参照動きベクトルとして動きベクトル検出回路１３に提供するほか、動きベクトル保持選択回路１８にフィードバックする回路である。動きベクトル保持選択回路１８は、動きベクトル検出回路１３から出力される動きベクトルと、動きベクトル保持回路（画素）１７からフィードバックされた動きベクトルと、動きベクトル検出回路１３の相関検出結果から得られる画素ごとの差分値と、動きベクトル保持選択条件設定回路１９の設定情報とに基づいて、動きベクトル保持回路（画素）１７が保持すべき動きベクトルを選択する回路である。動きベクトル保持選択条件設定回路１９は、動きベクトル保持選択回路１８において出力される動きベクトルを選択する際の条件を設定する回路である。なお、動きベクトル検出回路１３の相関検出結果から得られる画素ごとの差分値が、動きベクトルの変化を判断する指標とするべく動きベクトル保持選択回路１８に加えられる。

上記のように構成された本実施の形態の動作について以下に説明する。図１において、入力画像信号としての入力信号１０は、画像メモリ（フレーム）１１、相関検出回路１２及び内挿回路１４にそれぞれ入力される。このうち、画像メモリ（フレーム）１１は入力信号１０を少なくとも１フレーム遅延させ、遅延画像信号として出力する。相関検出回路１２は入力信号１０と画像メモリ（フレーム）１１から出力された遅延画像信号との相関を検出する。この場合、注目画素のフレーム間における、例えば輝度値の差の絶対値を差分値として算出し、この差分値と、その際のベクトル情報とを計算された組み合わせの数だけ動きベクトル候補として出力する。動きベクトル検出回路１３は相関検出回路１２から出力された動きベクトル候補を入力し、フレームごとに行われる動きベクトル検出において、差分値の最も小さい動きベクトル候補を動きベクトルとして出力する。この動きベクトルは動きベクトル保持回路（フレーム）１６によって参照動きベクトルとして保持される。動きベクトル検出回路１３は、動きベクトル保持回路（フレーム）１６に保持された１フレーム前の参照動きベクトルと同じベクトルを持つ動きベクトル候補に対しては、その差分値に補正を加えた上で差分値の比較をして、動きベクトルを検出する。動きベクトル検出回路１３で検出された動きベクトルは内挿回路１４に加えられる。内挿回路１４は動きベクトル検出回路１３で検出された動きベクトルに合わせて、入力信号１０と画像メモリ（フレーム）１１から出力された遅延画像信号との間にくるであろう補間フレームを作成し、出力信号１５として出力する。

ここで、動きベクトル保持回路（フレーム）１６は、画素ごとの動きベクトルをそれぞれ参照動きベクトルとして１フレーム分保持するものであるが、本実施の形態は動きベクトル保持回路（フレーム）１６を除去しても、あるいは併用しても動きベクトル検出を可能にしたものである。

＜動きベクトル保持回路１６を除去した場合＞
初めに、動きベクトル保持回路（フレーム）１６を除去した場合の動作について、動きベクトル検出回路１３が差分値の最も小さい動きベクトル候補を動きベクトルとして出力する時点より説明する。

動きベクトル検出回路１３で検出された画素ごとの動きベクトルは動きベクトル保持選択回路１８に入力される。動きベクトル保持選択回路１８は、各フレームの最初の画素の動きベクトルを初期値として動きベクトル保持回路（画素）１７に保持させる。それ以降、動きベクトル保持選択回路１８は、動きベクトル検出回路１３で検出された画素ごとの動きベクトルが新たに入力されるごとに、新たに入力された動きベクトルを動きベクトル保持回路（画素）１７に保持させるか、又は動きベクトル保持回路（画素）１７に保持されていた動きベクトルを引き続き保持させるかを選択する。その選択条件として動きベクトルの差分値の偏差に対応する値が動きベクトル保持選択条件設定回路１９に設定されている。

動きベクトル保持選択回路１８は、新たに入力された動きベクトルの差分値が動きベクトル保持選択条件設定回路１９の偏差に対応する値を上回る場合には新たに入力された動きベクトルを動きベクトル保持回路（画素）１７に保持させ、動きベクトル保持選択条件設定回路１９の偏差に対応する値を下回る場合には動きベクトル保持回路（画素）１７に保持されている動きベクトルを動きベクトル保持回路（画素）１７に引き続き保持させる。このとき、動きベクトル保持選択回路１８は隣接する画素の差分値の偏差が十分に小さいものか、又は大きいものかを判断する指標として、動きベクトル検出回路１３の相関検出結果から得られる画素ごとの差分値を用いる。

ここで、動きベクトル検出回路１３は相関検出回路１２から出力される動きベクトル候補の中から、動きベクトル保持回路（画素）１７に保持された参照動きベクトルと同じベクトル方向の動きベクトル候補が検出されやすくなるよう処理をした上で差分値比較を行い、差分値が小さい動きベクトル候補を動きベクトルとして検出する。具体的には、動きベクトル保持回路（画素）１７で保持されていた動きベクトルと同じベクトルをもつ動きベクトル候補以外の動きベクトル候補の差分値に所定値αを加え、所定値αが加えられたものと加えられていないものとを併せたものから差分値の最も小さい動きベクトル候補を動きベクトルとして選択する。換言すれば、動きベクトル検出回路１３は、動きベクトル保持回路（画素）１７で保持された参照動きベクトルが示すベクトル方向の動きベクトル候補の相関度を高めてその動きベクトル候補を選択しやすくする。

＜動きベクトル保持回路１６を併用する場合＞
次に、動きベクトル保持回路（フレーム）１６を併用する場合の動作について説明する。動きベクトル保持回路（フレーム）１６には１フレーム前に検出された画素ごとの動きベクトルに対応する参照動きベクトルが１フレーム分保持され、動きベクトル保持回路（画素）１７には動きベクトル保持選択回路１８によって入力又は選択された現在のフレームの１画素の参照動きベクトルが保持されている。動きベクトル検出回路１３は、動きベクトル保持回路（フレーム）１６に保持された参照動きベクトルと、動きベクトル保持回路（画素）１７に保持された参照動きベクトルに対して、それぞれ相関が高い動きベクトルとみなし、相関検出回路１２で検出された動きベクトル候補のうち、各参照ベクトルと同じ動きベクトルが検出されやすくなるよう、差分値補正をそれぞれ個別にかけ、その上で差分値比較を行い、差分値が小さくなった動きベクトル候補を動きベクトルとして出力する。

以上、本実施の形態の動作について説明したが、図１０に示した従来装置と本実施の形態の処理の違いについて、その一例を、図２に示すように、互いに離れた２つの画素、すなわち画素１と画素２でそれぞれ動きベクトルを検出する場合について、後述する図３及び図４をも参照して説明する。なお、この説明では、相関検出回路から出力される動きベクトル候補の差分値が小さいものほど高く、大きいものほど低く、ある値を加算すると高くなるという相関度というパラメータを用いることとする。

図３は画素ごとに動きベクトルを保持しない従来装置の処理例を示した説明図である。図３において、画素１における動きベクトル候補が、相関度ａの動きベクトル候補ａ（図中、ベクトルａと記す）と、相関度ｂの動きベクトル候補ｂ（図中、ベクトルｂと記す）の２種類であり、これらの間にａ＞ｂの関係があったとすると、動きベクトル検出回路２３（図１０参照）は動きベクトル候補ａの方が動きベクトル候補ｂよりも相関度が高いので動きベクトル候補ａを選択し、画素１の動きベクトルとして内挿回路２４に加える。また、画素２におけるベクトル候補ａ（ベクトルａ）の相関度がａ′で、ベクトル候補ｂ（ベクトルｂ）の相関度がｂ′であり、これらの間にａ′＜ｂ′の関係があったとすると、動きベクトル検出回路２３（図１０参照）は動きベクトル候補ｂ′の方が動きベクトル候補ａ′よりも相関度が高いので動きベクトル候補ｂ′を選択し、画素２の動きベクトルとして内挿回路２４に加える。このように、従来装置においては、画素１と画素２とで動きベクトルがそれぞれ独立に選択される。

図４は画素ごとに動きベクトルを保持する本実施の形態の処理例を示した説明図である。図４において、画素１における動きベクトル候補が、相関度ａの動きベクトル候補ａ（図中、ベクトルａと記す）と、相関度ｂの動きベクトル候補ｂ（図中、ベクトルｂと記す）の２種類であり、ａ＞ｂの関係があったとすると、従来装置における動きベクトル検出回路２３（図１０参照）は動きベクトル候補ａの方が動きベクトル候補ｂよりも相関度が高いので動きベクトル候補ａを選択し、画素１の動きベクトルとして内挿回路２４（図１０参照）に加える。その際、本実施の形態における動きベクトル保持回路（画素）１７は、動きベクトルａを保持し、動きベクトル検出回路１３は画素２の動きベクトルの検出に際してベクトルａの相関度にｃをプラスする。したがって、画素２におけるベクトル候補ａ（ベクトルａ）の相関度がａ′で、ベクトル候補ｂ（ベクトルｂ）の相関度がｂ′であり、ａ′＜ｂ′の関係があったとしたも、ａ′＋ｃ＞ｂ′の関係があれば、動きベクトル検出回路１３は動きベクトル候補ａを選択し、画素２の動きベクトルとして内挿回路１４に加える。このように、本実施の形態においては、画素１で検出された動きベクトルが画素２においても選択されやすくなっている。

次に、動きベクトル保持回路（画素）１７における動きベクトルの保持について、図５及び図６を参照して、上述した相関度を用いて２つの方法について説明する。
＜動きベクトル保持方法１＞
動きベクトルを検出する対象画素において、動きベクトル候補が、図５に示すように、相関度ａの動きベクトル候補ａ（図中、ベクトルａと記す）と、相関度ｂの動きベクトル候補ｂ（図中、ベクトルｂと記す）の２種類であり、これらの間にａ＞＞ｂの関係があると動きベクトル検出回路１３で判断された場合、動きベクトル検出回路１３は動きベクトル候補ａを対象画素の動きベクトルａとして出力する。これに応じて動きベクトル保持選択回路１８はこの動きベクトルａを参照動きベクトルとして動きベクトル保持回路（画素）１７に保持させる。

さらに、動きベクトルを検出する次の対象画素において、動きベクトルａの相関度がａ′で、動きベクトルｂの相関度がｂ′であり、これらの間にａ′＜＜＜ｂ′の関係があると動きベクトル検出回路１３で判断された場合、動きベクトル検出回路１３は動きベクトル候補ｂを対象画素の動きベクトルｂとして出力する。このとき、動きベクトル保持選択回路１８は動きベクトル保持回路（画素）１７に保持された動きベクトルａの相関度ａ′に所定値αを加算して得られた相関度ａ′＋αと相関度ｂ′との関係を調べる。これらの間にａ′＋α＜＜＜ｂ′の関係があれば、すなわちベクトルｂの相関度が「非常に高い」場合、動きベクトル保持選択回路１８は動きベクトルｂを参照動きベクトルとして動きベクトル保持回路（画素）１７に保持させる。

＜動きベクトル保持方法２＞
動きベクトルを検出する対象画素において、動きベクトル候補が、図６に示すように、相関度ａの動きベクトル候補ａ（図中、ベクトルａと記す）と、相関度ｂの動きベクトル候補ｂ（図中、ベクトルｂと記す）の２種類であり、これらの間にａ＞＞ｂの関係があると動きベクトル検出回路１３で判断された場合、動きベクトル検出回路１３は動きベクトル候補ａを対象画素の動きベクトルａとして出力する。これに応じて動きベクトル保持選択回路１８はこの動きベクトルａを参照動きベクトルとして動きベクトル保持回路（画素）１７に保持させる。

動きベクトルを検出する次の対象画素において、動きベクトルａの相関度がａ′で、動きベクトルｂの相関度がｂ′であり、これらの間にａ′＜ｂ′の関係があると動きベクトル検出回路１３で判断された場合、動きベクトル検出回路１３は動きベクトル候補ｂを対象画素の動きベクトルｂとして出力する。このとき、動きベクトル保持選択回路１８は動きベクトル保持回路（画素）１７に保持された動きベクトルａの相関度ａ′に所定値αを加算して得られた相関度ａ′＋αと相関度ｂ′との関係を調べる。これらの間にａ′＋α＜ｂ′の関係があれば、すなわち動きベクトルｂの相関度が動きベクトルａを「僅差」で上回った場合、動きベクトル保持選択回路１８は動きベクトルaを参照動きベクトルとして動きベクトル保持回路（画素）１７に引き続き保持させる。

上記のように、動きベクトル保持選択回路１８は、動きベクトル検出回路１３によって検出された動きベクトルを、動きベクトル保持回路（画素）１７に新たに保持させるか、動きベクトル保持回路（画素）１７に保持されていた動きベクトルを引き続いて保持するかを決定する。

動きベクトル保持選択回路１８における選択条件として、上記の例のような「非常に高い」や「僅差」という判断基準は、動きベクトル保持選択条件設定回路１９によって決定する。また、動きベクトル保持回路（画素）１７に保持されていた動きベクトルの相関度にプラスする値αや、動きベクトル検出回路１３から出力された動きベクトルと動きベクトル保持回路（画素）１７に保持されていた動きベクトルの各相関度を比較して、どちらを選択するかの選択判別の閾値は動きベクトル保持選択条件設定回路１９により外部から設定される。

以上の説明によって明らかなように、本実施の形態によれば、各フレームの最初の画素において差分値の最も小さい動きベクトル候補を動きベクトルとして検出し、次回以降の動きベクトル検出に影響を与える参照動きベクトルとして保持した後、新たに検出された他の画素の動きベクトルとあらかじめ保持されていた参照動きベクトルとの関係が所定の選択条件を満たすか否かにより、そのいずれか一方を選択して新たな参照動きベクトルとして保持するので、同じフレーム内の別の位置にある画素の動きベクトルを参照して動きベクトルを検出することができ、さらに、連続する画素の動きベクトルを常に新しく保持した場合の異なる動きベクトルも検出されにくくなるため、従来装置よりも精度の高い動きベクトルが得られる。

なお、上記の実施の形態では、同じフレーム内の水平方向、すなわち、主走査方向に隣接する画素の動きベクトルを参照して動きベクトルを画素ごとに検出したが、この代わりに、同じフレーム内の垂直方向、すなわち、副走査方向に隣接する画素の動きベクトルを参照して動きベクトルを画素ごとに検出するようにしてもよい。また、画素ごとに検出する代わりに、同じフレーム内の主走査方向及び／又は副走査方向にそれぞれ隣接する複数画素分の動きベクトル、すなわち、所定領域の動きベクトルを検出し、この動きベクトルを参照動きベクトルとして保持するようにしてもよい。

また、上記の実施の形態によれば、動きベクトル保持回路（画素）１７、動きベクトル保持選択回路１８及び動きベクトル保持選択条件設定回路１９を備えているため、動きベクトルの保持方法も目的に応じて任意に変更することができることになり、例えば、下記のように変形して実施することにより、動きベクトル検出を理想的な形で実現することができる。

例えば、動きベクトル保持選択条件設定回路１９により、動きベクトル保持選択回路１８が動きベクトルの選択を行わないで、新規に検出された動きベクトルを、動きベクトル保持回路（画素）１７に保持させること、動きベクトル保持回路（画素）１７に保持されていた動きベクトルを引き続いて保持することのいずれか一方に固定するようにしたり、このいずれか一方の固定が周期的に行われるように設定したりする信号を出力するように設定することもできる。

また、任意の時間を外部から設定する機能を動きベクトル保持選択条件設定回路１９に持たせ、動きベクトル保持選択回路１８は動きベクトル保持回路（画素）１７に保持された参照動きベクトルが動きベクトル保持選択条件設定回路１９で設定された時間だけ不変であった場合に、動きベクトル保持回路（画素）１７に保持する参照動きベクトルをその初期値又はゼロなど指定の値にリセットすることも可能である。

なお、上記の実施の形態では、本発明に係る動きベクトル検出装置を、フレーム周波数を倍速変換する画像処理装置に適用する場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＩＰ変換における符号化の復元など幅広く適用できることは言うまでもない。

本発明に係る動きベクトル検出装置の一実施の形態の構成を示すブロック図である。 本発明の一実施の形態の動作を説明するために、互いに離れた２つの画素が表示された表示画面例である。 本発明の一実施の形態と対比される従来装置の処理例を示した説明図である。 本発明の一実施の形態の処理例を示した説明図である。 本発明の一実施の形態を構成する動きベクトル保持選択回路の動きベクトル保持方法の一例を示した説明図である。 本発明の一実施の形態を構成する動きベクトル保持選択回路の動きベクトル保持方法の他の例を示した説明図である。 一般的な画像表示装置としてのインパルス型表示装置の複数フレームの表示状態を示した表示画面例である。 図７に示したインパルス型表示装置によって動体を表示する際に、人間の目が予測する状態を示した説明図である。 一般的な画像表示装置としてのホールド型表示装置の複数フレームの表示状態を示した表示画面例である。 フレーム周波数変換システムに適用された従来の動きベクトル検出装置の構成を示すブロック図である。 従来装置の手法を同一フレームの画素に適用しても解決できない問題点を説明するための表示画面例である。

符号の説明

１１ 画像メモリ（フレーム）（遅延手段）
１２ 相関検出回路（相関検出手段）
１３ 動きベクトル検出回路（動きベクトル検出手段）
１４ 内挿回路
１６ 動きベクトル保持回路（フレーム）
１７ 動きベクトル保持回路（画素）（動きベクトル保持手段）
１８ 動きベクトル保持選択回路（動きベクトル保持選択手段）
１９ 動きベクトル保持選択条件設定回路（動きベクトル保持選択条件設定手段）

Claims (4)

1. 入力画像信号を少なくとも１フレーム分遅延させて遅延画像信号を出力する遅延手段と、
   前記入力画像信号と前記遅延画像信号との相関を検出し、相関検出結果から得られる差分値及びそのベクトル情報を含む動きベクトル候補を、画素又は領域ごとにそれぞれ計算された組み合わせの数だけ出力する相関検出手段と、
   計算された動きベクトル候補の１つを参照動きベクトルとして保持する動きベクトル保持手段と、
   前記相関検出手段から出力された画素又は領域ごとの前記動きベクトル候補と前記動きベクトル保持手段に保持された前記参照動きベクトルに基づき、前記動きベクトル候補のうち、前記参照動きベクトルと同じベクトル情報をもつ動きベクトル候補を相関の高い動きベクトルとみなし、前記相関の高い動きベクトル候補のうち差分値が小さいものを動きベクトルとして出力する動きベクトル検出手段と、
   前記動きベクトル検出手段から出力された前記動きベクトルと前記動きベクトル保持手段に保持された前記参照動きベクトルとを入力し、所定の選択条件に従っていずれか一方を選択して前記参照動きベクトルとして前記動きベクトル保持手段に保持させる動きベクトル保持選択手段とを備え、
   前記動きベクトル検出手段は、前記動きベクトルの初期値として前記相関検出手段から出力された各フレームの最初の画素又は領域の前記動きベクトル候補のうち、前記差分値の最も小さい前記動きベクトル候補を出力し、前記動きベクトル保持選択手段は、前記動きベクトル検出手段により前記初期値として出力された前記動きベクトルを次回以降の画素又は領域の前記動きベクトル候補と比較する前記参照動きベクトルとして前記動きベクトル保持手段に保持させるよう構成したことを特徴とする動きベクトル検出装置。
2. 前記所定の選択条件として任意の値を外部から設定することが可能な動きベクトル保持選択条件設定手段を備え、前記動きベクトル保持選択手段は、前記動きベクトル検出手段から出力された前記動きベクトルの差分値が前記動きベクトル保持手段に保持されている前記参照動きベクトルの差分値よりも、前記動きベクトル保持選択条件設定手段によって設定された値を上回る場合には前記動きベクトルを新たな参照動きベクトルとして前記動きベクトル保持手段に保持させ、下回る場合には前記動きベクトル保持手段に保持されていた前記参照動きベクトルを引き続き前記動きベクトル保持手段に保持させることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記動きベクトル保持選択条件設定手段は、前記動きベクトル保持手段が保持していた前記参照動きベクトルを引き続き保持するように、外部からの設定により前記動きベクトル保持選択手段を機能させる信号を出力することを特徴とする請求項２に記載の動きベクトル検出装置。
4. 前記動きベクトル保持選択条件設定手段は、任意の時間を外部から設定する機能を有し、前記動きベクトル保持選択手段は、前記動きベクトル保持手段に保持された前記参照動きベクトルが前記動きベクトル保持選択条件設定手段で設定された時間だけ不変であった場合に、前記設定された時間が経過した以降、不変であった前記参照動きベクトルを保持することを特徴とする請求項２又は３に記載の動きベクトル検出装置。

Images