JP2003274414A - 動きベクトル検出方法、補間画像作成方法及び画像表示システム - Google Patents

Abstract

(57)【要約】 【課題】実際の画像の動きとは大きく異なる動きベクト
ルを取り除いて正確な動きベクトル検出を可能とする。 【解決手段】第ｍフレーム１の動きベクトル探索領域か
ら第１ブロック１１を抽出し、第ｍ＋ｎフレーム２の動
きベクトル探索領域から第１ブロック１１との相関がよ
り大きい複数の第２ブロック１２を抽出し、第１ブロッ
ク１１と第２ブロック１２間の複数の第１動きベクトル
を検出し、第ｍ＋ｉフレーム３から第１ブロックと空間
的同位置にある第３ブロック１３を抽出し、第１動きベ
クトルの（ｎ−ｉ）／ｎである複数の第２動きベクトル
を算出し、第２動きベクトルに従って第ｍ＋ｎフレーム
１２から第３ブロック１３の移動先となる第４ブロック
１４を抽出し、複数の第１動きベクトルから第３ブロッ
ク１３と第４ブロック１４との相関を最大とする最適動
きベクトルを選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動きベクトル検出
方法と動きベクトルを用いた動き補償による補間画像作
成方法及び画像表示システムに関する。

【０００２】

【従来の技術】一般に、画像表示装置は画像の書き込み
後、蛍光体の残光時間の間発光し続けるインパルス型表
示装置と、新たに画像の書き込みが行われるまで前フレ
ームの表示を保持しつづけるホールド型表示装置に大別
される。インパルス型表示装置には、例えばＣＲＴディ
スプレイやフィールドエミッション型表示装置（以下、
ＦＥＤと呼ぶ））がある。ホールド型表示装置として
は、例えば液晶表示装置（以下、ＬＣＤと呼ぶ）、エレ
クトロルミネッセンスディスプレイ（以下、ＥＬＤと呼
ぶ）などが挙げられる。

【０００３】ホールド型表示装置の問題点は、動画表示
に生じるボケ現象である。ボケ現象の発生は、図２５
（ａ）に示す複数フレームにわたる画像中に動体（楕円
で示される）が存在し、その動体の動きに観察者の眼が
追随した場合、図２５（ｂ）に示されるように複数フレ
ームの画像が重なって網膜上に映し出されることに起因
する。表示画像が前フレームから次のフレームへ切り換
わる期間までは、同じ前フレームの画像が表示され続け
られているにもかかわらず、眼は次フレームの画像の表
示を予測して、前フレーム画像上を動体の移動方向に移
動しながら観察してしまう。すなわち、眼の追随運動は
連続性があり、フレーム間隔より細かいサンプリングを
行うため、結果として隣接する二つのフレームの間の画
像を埋めるように視認することで、ボケとして観察され
る。

【０００４】これらの問題を解決するためには、表示の
フレーム間隔を短くすればよい。その具体的な手法とし
て、ＭＰＥＧ（Motion Picture Experts Group）１やＭ
ＰＥＧ２で用いられている動き補償を利用して補間画像
を作成し、隣接するフレーム間で補間を行うことが考え
られる。動き補償では、ブロックマッチングによって検
出される動きベクトルが用いられる。

【０００５】ＭＰＥＧ１やＭＰＥＧ２では、基本的に圧
縮率を上げることを前提においており、動きベクトルが
実際の動きを正確に再現しているかどうかは、あまり問
題にならない。動きベクトルの誤差は動き補償により作
成される予測信号の誤差となって現れ、この予測信号と
入力画像信号との誤差信号がＤＣＴにより符号化される
からである。しかし、ホールド型表示装置のような画像
表示システムにおいては、このような正確でない動きベ
クトルを用いた動き補償により補間画像を作成すると、
表示画像を劣化させてしまうという問題がある。

【０００６】一方、ＭＰＥＧ４では動きベクトルが実際
の動きを再現することが求められるため、幾つかの精度
の高い検出方法が考えられている。鄭氏ら（日本放送協
会）は、特開平１０−３０４３６９号公報において、複
数フレームとブロックによって形成される斜方体型のデ
ータ群を利用する方法を提案している。この手法は通常
の画像が複数フレームで等速運動（静止状態も含む）し
ている点を利用しており、動きベクトル検出精度の向上
が期待される。

【０００７】

【発明が解決しようとする課題】特開平１０−３０４３
６９号公報に記載された動きベクトル検出技術では、検
出された動きベクトルが実際に正しいかどうかを検定す
る手段を持っていないため、誤った動きベクトルによる
動き補償によって補間画像を作成すると、表示画像が大
きく劣化してしまう可能性は依然として残る。また、動
きベクトルの検出精度を高めるには、多数のフレームに
わたる処理が必要であり、処理時間が長くなるのも欠点
である。

【０００８】従って、本発明は少ないフレーム数で、実
際の画像の動きとは大きく異なる動きベクトルを排除し
て、より正確な動きベクトルを検出できる動きベクトル
検出方法を提供することを目的とする。

【０００９】また、本発明の他の目的は、検出された正
確な動きベクトルを用いた動き補償により、画像の補間
を行うための補間画像を作成し、動画においてはよりリ
アルな、また静止画においては画質劣化の少ない高品質
の画像を得ることができる補間画像作成方法及び画像表
示システムを提供することをすることにある。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、本発明は画像の第ｍフレーム（ｍは任意の整数）と
第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
の整数）間の動きベクトルを求める動きベクトル検出方
法において、第ｍフレームと第ｍ＋ｎフレームの間の複
数の動きベクトル候補を求め、動きベクトル候補をｍ＋
ｉフレームと第ｍ＋ｎフレーム間またはｍ＋ｉフレーム
と第ｍフレーム間のフレーム差分に応じてスケール変換
し、スケール変換後の動きベクトル候補に従ってｍ＋ｉ
フレーム上の画像を仮想的に作成し、仮想的に作成され
た画像と第ｍ＋ｉフレーム上の実際の画像との相関を最
大とする最適動きベクトルを動きベクトル候補から選択
することを基本とする。

【００１１】本発明の第１の視点では、画像の第ｍフレ
ーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋
１以上の整数、ｉは１以上の整数）間の動きベクトルを
求める動きベクトル検出方法において、（ａ）第ｍフレ
ームの動きベクトル探索領域から第１ブロックを抽出
し、（ｂ）第ｍ＋ｎフレームの動きベクトル探索領域か
ら第１ブロックとの相関がより大きい複数の第２ブロッ
クを抽出し、（ｃ）第１ブロックと複数の第２ブロック
間の複数の第１動きベクトルを検出し、（ｄ）第ｍ＋ｉ
フレームから第１ブロックと空間的同位置にある第３ブ
ロックを抽出し、（ｅ）第１動きベクトルの（ｎ−ｉ）
／ｎである複数の第２動きベクトルを算出し、（ｆ）第
２動きベクトルに従って第ｍ＋ｎフレームから第３ブロ
ックの移動先となる第４ブロックを抽出し、（ｇ）複数
の第１動きベクトルから第３ブロックと第４ブロックと
の相関を最大とする最適動きベクトルを選択する。

【００１２】本発明の第２の視点では、第１の視点にお
ける（ａ）（ｂ）及び（ｃ）と同様の処理の後、（ｈ）
第１動きベクトルのｉ／ｎである複数の第３動きベクト
ルを算出し、（ｉ）第３動きベクトルに従って第ｍ＋ｉ
フレームから第１ブロックの移動先となる第５ブロック
を抽出し、（ｊ）複数の第１動きベクトルから第１ブロ
ックと第５ブロックとの相関を最大とする最適動きベク
トルを選択する。

【００１３】本発明の第３の視点では、第１及び第２の
視点の両方の効果を考慮し、第１ブロック１１と第２ブ
ロック１２と第５ブロック１５の相関が高くなる複数の
第１動きベクトルを求め、第３ブロック１３と第４ブロ
ック１４の相関が最大となる動きベクトルを最適動きベ
クトルとして選択する。

【００１４】本発明の第４の視点では、第ｍ＋ｎフレー
ムから第ｍフレームへの動きベクトルを求める方法を加
えた双方向動きベクトル検出によって、より正確な動き
ベクトルを求める。

【００１５】本発明の第５の視点では、第ｍ＋ｉフレー
ムを支点として第ｍフレームと第ｍ＋ｎフレーム間で相
関の高いブロック対を抽出し、そのブロック対と第ｍ＋
ｉフレームの支点位置にあるブロックとの相関が最大と
なる動きベクトルを最適動きベクトルとする。

【００１６】本発明の第６の視点は、検出された最適動
きベクトルを使ってフレーム画像のない時間的位置に補
間画像を作成するために、原画像の第ｍフレーム（ｍは
任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整
数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは任意の実
数）フレームの時間的位置に補間すべき補間画像を作成
する補間画像作成方法において、第１〜第５の視点のい
ずれかの動きベクトル方法により求められた最適動きベ
クトルを第ｍ＋ｋフレームの時間的位置に応じてスケー
ル変換し、スケール変換後の動きベクトルに従って第ｍ
＋ｉフレームから第１ブロックの移動先となる第１２ブ
ロックを抽出し、第ｍ＋ｋフレームの第１ブロックと空
間的同位置に第１２ブロックを割り当てることにより補
間画像を作成する。

【００１７】本発明の第７の視点では、特にインターレ
ース画像について、間引いて取り出す画像を偶数もしく
は奇数フィールドの画像とし、ライン補間を行う前に動
きベクトルを求めることで余分な処理が入る前に第１の
動きベクトルを求める。すなわち、原画像の第ｍフィー
ルド（ｍは任意の整数）と第ｍ＋ｎフィールド（ｎはｉ
＋１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋ
は任意の実数）フィールドの時間的位置に補間すべき補
間画像を作成する補間画像作成方法であって、第ｍフィ
ールド（ｍは任意の整数）の動きベクトル探索領域から
第１ブロックを抽出し、第ｍ＋２ｎ（ｎは１以上の整
数）フィールドの動きベクトル探索領域から第１ブロッ
クとの相関がより大きい複数の第２ブロックを抽出し、
第１ブロックと複数の第２ブロック間の複数の第１動き
ベクトルを検出し、第ｍ＋２ｎ−１フィールドから第１
ブロックを空間的に１／２ライン垂直方向にシフトさせ
た空間的位置にある第３ブロックを抽出し、第１動きベ
クトルの１／２である複数の第２動きベクトルを算出
し、第２動きベクトルに従って第ｍ＋２ｎフィールドか
ら、第ｍ＋２ｎ−１フィールド内の第１ブロックと空間
的同位置にあるブロックの移動先となる第４ブロックを
抽出し、第３ブロックを第１垂直方向に線形補間した第
１３ブロックを作成し、第４ブロックを第１垂直方向と
は逆の第２垂直方向に線形補間した第１４ブロックを作
成し、複数の第１動きベクトルから第１３ブロックと第
１４ブロックとの相関を最大とする最適動きベクトルを
選択する。そして、最適動きベクトルを時間的位置に応
じてスケール変換し、スケール変換後の動きベクトルに
従って第ｍ＋２ｎフィールドから第１ブロックの移動先
となる第１５ブロックを抽出し、第ｍ＋ｋフィールドの
第１ブロックと空間的同位置に第１５ブロックを割り当
てることにより補間画像を作成する。

【００１８】さらに、本発明の第８の視点によると、上
述した補間画像作成方法により作成された補間画像及び
原画像を表示する画像表示システムを提供する。

【００１９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （第１実施形態）図１に示すように、例えば原画像の第
ｍフレーム１と第ｍ＋ｎ（ｎは、ｉ＋１以上の整数、ｉ
は１以上の整数）フレーム２との間の第ｍ＋ｉフレーム
３の時間的位置に補間画像を作成するために、第ｍフレ
ーム１と第ｍ＋ｎフレーム２との間の最適動きベクトル
を検出することを考える。本発明の第１実施形態では、
図２に示すような手順で最適動きベクトルを検出する。
以下、図１及び図２を用いて本実施形態の処理手順を説
明する。

【００２０】まず、第ｍフレーム１の動きベクトル探索
領域から、第１ブロック１１を抽出する（ステップＳ１
０１）。次に、第ｍ＋ｎフレーム２の動きベクトル探索
領域から、第ｍフレーム１内の第１ブロック１１と同じ
ブロックサイズで、かつ第１ブロック１１との相関がよ
り大きい複数の第２ブロック１２を抽出する（ステップ
Ｓ１０２）。ステップＳ１０２においてブロック間の相
関の大小を調べる方法としては、例えば、ブロック内の
画素毎にデータの絶対値差分を計算してその総和である
絶対値差分和を求め、絶対値差分和が小さい場合には相
関が大きく、絶対値差分和が大きい場合には相関が小さ
いと判断する公知の方法を用いることができる。

【００２１】次に、第１ブロック１１と複数の第２ブロ
ック１２間の複数の第１動きベクトルＤを動きベクトル
の候補として検出する（ステップＳ１０３）。次に、第
ｍ＋ｉフレーム３から、第ｍフレーム１内の第１ブロッ
ク１１と空間的同位置にある第３ブロック１３を抽出す
る（ステップＳ１０４）。次に、第ｍ＋ｉフレーム３及
び第ｍ＋ｎフレーム２間のフレーム差分（ｎ−ｉ）と、
第ｍフレーム１及び第ｍ＋ｉフレーム３間のフレーム差
分ｉとの比から、第１動きベクトルＤを第ｍ＋ｉフレー
ム３内の第３ブロック１３の第ｍ＋ｎフレーム２上への
動きベクトルに換算、すなわちスケール変換した複数の
第２動きベクトル（（ｎ−ｉ）／ｎ）＊Ｄを算出する
（ステップＳ１０５）。フレーム差分とは、二つのフレ
ームのフレーム番号の差である。

【００２２】次に、第２動きベクトル（（ｎ−ｉ）／
ｎ）＊Ｄに従って、第３ブロック１３の第ｍ＋ｎフレー
ム２への移動先となる第４ブロック１４を抽出する（ス
テップＳ１０６）。第４ブロック１４は、第２動きベク
トル（（ｎ−ｉ）／ｎ）＊Ｄに従って仮想的に第ｍ＋ｉ
フレーム上に作成される画像の一部である。

【００２３】ここで、ある第１動きベクトルＤが真の動
きを再現しているとすると、第ｍ＋ｉフレーム３におい
ても第１ブロック１１と同じブロックが存在するはずで
あり、その位置は図１中の点線ブロックの位置となる。
よって、点線ブロックと第３ブロック１３との相対位置
関係と、第２ブロック１２と第４ブロック１４との相対
位置関係は等しくなる。そこで、本実施形態では第３ブ
ロック１３と第４ブロック１４を用いて複数の第１動き
ベクトルＤの各々について適否を判定する。

【００２４】具体的には、第３ブロック１３と第４ブロ
ック１４との相関を調べる処理を繰り返すことによっ
て、第３ブロック１３と第４ブロック１４との相関が最
大となる動きベクトルを求める。すなわち、複数の第１
動きベクトルＤの中から、第３ブロック１３と第４ブロ
ック１４との相関を最大とする最適動きベクトルを選択
する（ステップＳ１０７）。第３ブロック１３と第４ブ
ロック１４との相関は、両ブロックの画素の絶対値差分
和を計算することにより求められ、絶対値差分和が小さ
い場合は相関が大、絶対値差分和が大きい場合は相関が
小と判断される。

【００２５】上述した本実施形態の動きベクトル検出方
法では、次式（１）により計算される絶対値差分和Ｅ１
が最小となる一つの第１動きベクトルＤを最適動きベク
トルとして求めることになる。

【数１】

【００２６】ここで、Ｘはブロックの位置ベクトル、ｆ
（Ａ，ｂ）は各ブロックの位置（Ａ）及びフレーム
（ｂ）に対応する画素値、α及びβは重み係数をそれぞ
れ表している。これらの各パラメータの定義について
は、後述の各実施形態においても適用される。式（１）
の右辺第１項は第１ブロック１１と第２ブロック１２と
の絶対値差分和、同第２項は第３ブロック１３と第４ブ
ロック１４との絶対値差分和である。重み係数α及びβ
は、各ブロックの絶対値差分に重み付けを行う場合に使
用され、基本的には第３ブロック１３と第４ブロック１
４との絶対値差分和（相関）を重視するため、β≧αで
あることが好ましい。

【００２７】次に、図３及び図４を用いて本実施形態に
よる効果を説明する。簡単のためにｉ＝１、ｎ＝２とす
る。図３に示すように画像として「ＴＥＳＴ」という静
止画が第ｍフレーム１から第ｍ＋２フレーム２にかけて
表示された場合に、第１動きベクトルＤとして二つの動
きベクトルＡ及びＢが検出されたとする。動きベクトル
Ａは、第ｍフレーム１上の第１ブロック１１と第ｍ＋２
フレーム２上の第２ブロック１２Ａとの動きベクトルで
ある。動きベクトルＢは、第ｍフレーム１上の第１ブロ
ック１１と第ｍ＋２フレーム２上の第２ブロック１２Ａ
とは異なる第２ブロック１２Ｂとの動きベクトルであ
る。

【００２８】動きベクトルＡをスケール変換した第ｍフ
レーム１と第ｍ＋１フレーム３との間の動きベクトルに
従って第ｍ＋１フレーム３内の第３ブロック１３の位置
に表示されるべき画像１４Ａを作成すると、「ＥＳ」の
一部となる。一方、動きベクトルＢをスケール変換した
第ｍフレーム１と第ｍ＋１フレームとの間の動きベクト
ルに従って第ｍ＋１フレーム２の第３ブロック１３の位
置に表示されるべき画像１４Ｂを作成すると、「Ｔ」と
なる。

【００２９】本実施形態では、こうして動きベクトルＡ
及びＢからそれぞれ作成される画像１４Ａ，１４Ｂと、
実際の第ｍ＋１フレーム３の画像を比較する。すなわ
ち、第３ブロック１３とそれぞれの第４ブロック１４
Ａ，１４Ｂとを比較する。この比較により、動きベクト
ルＢが最適動きベクトルとして選択される。

【００３０】ここで、誤って動きベクトルＡが検出され
る理由は、上記「ＴＥＳＴ」の例のように、一つの静止
画内に全く同じ文字（この例では「Ｔ」）がある場合以
外にも、ノイズが大きく影響してくる。例えば、図４に
示すように第ｍ＋２フレーム２で実際に検出すべき
「Ｔ」にノイズが発生しており、動きベクトルＡが指し
示す「Ｔ」にノイズが少ない場合は、動きベクトルＡが
検出されてしまう。これに対し、本実施形態に従って実
際に第ｍ＋１フレーム３の第３ブロック１３とそれぞれ
の第４ブロック１４Ａ，１４Ｂの相関を調べることによ
り、動きベクトルＡが誤って検出される確率が大幅に減
少する。発明者らの行った実験からも、この効果を確認
することができた。

【００３１】次に、本実施形態に係る動きベクトル検出
方法を実施する動きベクトル検出装置の構成を図５に示
す。ここでは、説明を簡略化するためにｉ＝１、ｎ＝２
とする。入力画像信号３１は第ｍ＋２フレームメモリ３
２、第ｍ＋１フレームメモリ３３及び第ｍフレームメモ
リ３４に順次入力され、これらのメモリ３２、３３及び
３４から第ｍ＋２フレーム、第ｍ＋１フレーム及び第ｍ
フレームの画像信号３５、３６及び３７が読み出され
る。

【００３２】動きベクトル検出部４０は、第ｍ＋２フレ
ーム及び第ｍフレームの画像信号３５及び３７を受け
て、図２中のステップＳ１０１〜Ｓ１０３の処理、すな
わち第ｍフレームの画像信号３７からの第１ブロックの
抽出と、第ｍ＋２フレームの画像信号３５からの第２ブ
ロックの抽出、及び第１ブロックと第２ブロック間の複
数の第１動きベクトル４１の検出を行う。動きベクトル
判定用ブロック抽出部４３は、第ｍ＋２フレーム及び第
ｍ＋１フレームの画像信号３５及び３６から動きベクト
ルの判定に用いるブロックを抽出する。第１ブロック１
１の位置指定は第１ブロック位置指定部３８によって行
われ、第１ブロック位置指定部３８から第１ブロック位
置のアドレス３９、例えばブロック位置の左上隅のアド
レスが動きベクトル検出部４０及び動きベクトル判定用
ブロック抽出部４３へ出力される。

【００３３】動きベクトルスケール変換部４２は、図２
中のステップＳ１０５の処理、すなわち第１動きベクト
ル４１（Ｄ）の１／２の動きである複数の第２動きベク
トル４４（Ｄ／２）を算出する。動きベクトル判定用ブ
ロック抽出部４３は、図２中のステップＳ１０４及びＳ
１０６の処理、すなわち第ｍ＋１フレームの画像信号３
６からの第３ブロック１３の抽出と、第２動きベクトル
４４に従った第ｍ＋２フレームの画像信号３５からの第
４ブロック１４の抽出を行い、第３及び第４ブロックの
画像信号４５を出力する。

【００３４】動きベクトル判定用ブロック抽出部４３か
らの第３ブロック及び第４ブロックの画像信号４５は最
適動きベクトル判定部４６に入力され、複数の第１動き
ベクトル４１の中で第３ブロックと第４ブロックとの相
関を最大とする動きベクトルを最適動きベクトルと判定
する処理が行われる。最適動きベクトル判定部４６から
の判定結果４７に従って、動きベクトル選択部４８によ
り複数の第１動きベクトル４１から一つの動きベクトル
が最終的な最適動きベクトル４９として選択され、図２
中のステップＳ１０７の処理が行われる。

【００３５】このように本実施形態では、第ｍ、第ｍ＋
ｉ及び第ｍ＋ｎフレームの３フレームの画像から動きベ
クトルを正確に求めることができる。すなわち、第ｍ＋
ｉフレームから抽出した第３ブロックと、動きベクトル
の候補である複数の第１動きベクトルをスケール変換し
た第２動きベクトルを用いて第ｍ＋ｎフレームから抽出
した第４ブロックとの相関を求めて各第１動きベクトル
の適否を検証し、この相関を最大とする一つの動きベク
トルのみを最適動きベクトルとして検出しそれ以外の動
きベクトルを排除することによって、より正確な動きベ
クトル検出が可能となる。

【００３６】（第２実施形態）次に、本発明の第２実施
形態として第１実施形態と同様に第ｍフレーム１と第ｍ
＋ｎフレーム２との間の最適動きベクトルを検出する別
の手順について、図６及び図７を用いて説明する。

【００３７】本実施形態において、第ｍフレーム１の動
きベクトル探索領域から、第１ブロック１１を抽出し、
第ｍ＋ｎフレーム２の動きベクトル探索領域から、第ｍ
フレーム１内の第１ブロック１１と同じブロックサイズ
で、かつ第１ブロック１１との相関がより大きい複数の
第２ブロック１２を抽出し、さらに第１ブロック１１と
複数の第２ブロック１２間の複数の第１動きベクトルＤ
を最適動きベクトルの候補として検出するまでの処理
（ステップＳ２０１〜Ｓ２０３）は、第１の実施形態と
同様である。

【００３８】本実施形態では、次に第ｍフレーム１及び
第ｍ＋ｎフレーム２間のフレーム差分ｎと、第ｍフレー
ム１及び第ｍ＋ｉフレーム３間のフレーム差分ｉとの比
から、第１動きベクトルＤを第ｍフレーム１内の第１ブ
ロック１１の第ｍ＋ｉフレーム３上への動きベクトルに
スケール変換した複数の第３動きベクトル（ｉ／ｎ）＊
Ｄを算出する（ステップＳ２０４）。次に、第３動きベ
クトル（ｉ／ｎ）＊Ｄに従って、第１ブロック１１の第
ｍ＋ｎフレーム２への移動先となる第５ブロック１５を
抽出する（ステップＳ２０５）。

【００３９】第１動きベクトルＤが真の動きを再現して
いるとすると、第ｍ＋ｉフレーム３においても第１ブロ
ック１１と同じブロックが存在するはずであり、その位
置は第５ブロック１５の位置となる。よって、第５ブロ
ック１５と第１ブロック１１は等しくなる。そこで、本
実施形態では第１ブロック１１と第５ブロック１５を用
いて、第１動きベクトルＤの各々について適否を判定す
る。

【００４０】具体的には、第１ブロック１１と第５ブロ
ック１５との相関を調べる。この処理を繰り返すことに
よって、第１ブロック１１と第５ブロック１５との相関
が最大となる動きベクトルを求める。すなわち、複数の
第１動きベクトルＤの中から、第１ブロック１１と第５
ブロック１５との相関を最大とする最適動きベクトルを
選択する（ステップＳ２０６）。第１ブロック１１と第
５ブロック１５との相関は、両ブロックの画素の絶対値
差分和を計算することによって求められ、絶対値差分和
が小さい場合は相関が大、絶対値差分和が大きい場合は
相関が小と判断される。

【００４１】上述した本実施形態の動きベクトル検出方
法では、式（２）により計算される絶対値差分和Ｅ２が
最小となる一つの第１動きベクトルＤを最適動きベクト
ルとして求めることになる。

【００４２】

【数２】

【００４３】式（２）の右辺第１項は第１ブロック１１
と第２ブロック１２との絶対値差分和、同第２項は第１
ブロック１１と第５ブロック１５との絶対値差分和であ
る。重み係数α及びβは各ブロックの絶対値差分に重み
付けを行う場合に使用され、基本的には第１ブロック１
１と第５ブロック１５との相関を重視するため、β≧α
であることが好ましい。

【００４４】図８に、本実施形態に係る動きベクトル検
出方法を実施する動きベクトル検出装置の構成を示す。
説明を簡略化するためにｉ＝１、ｎ＝２とする。図５と
対応する要素に同一符号を付して第１の実施形態との相
違点を中心に説明すると、動きベクトルスケール変換部
４２は図７中のステップＳ２０４の処理、すなわち第１
動きベクトル４１（Ｄ）の１／２の動きである第３動き
ベクトル５１（Ｄ／２）を算出する処理を行う。動きベ
クトル判定用ブロック抽出部４３は、第ｍ＋１フレーム
及び第ｍフレームの画像信号３６及び３７から第１動き
ベクトルの判定に用いるブロックを抽出する。より詳し
くは、動きベクトル判定用ブロック抽出部４３は図７中
のステップＳ２０５の処理、すなわち第３動きベクトル
５１に従った第ｍ＋１フレームの画像信号３６からの第
５ブロック１５の抽出を行う。

【００４５】動きベクトル判定用ブロック抽出部４３か
らの第５ブロックの画像信号５２は最適動きベクトル判
定部４６に入力され、ここで複数の第１動きベクトル４
１の中で第１ブロック１１と第５ブロック１５の相関を
最大とする動きベクトルを最適な動きベクトルと判定す
る処理が行われる。最適動きベクトル判定部４６からの
判定結果４７に従って、動きベクトル選択部４８により
複数の第１動きベクトル４１から一つの動きベクトルが
最終的な最適動きベクトル４９として選択され、図７中
のステップＳ２０７の処理が行われる。本実施形態によ
っても、先の第１実施形態と同様の効果を得ることがで
きる。

【００４６】（第３実施形態）次に、本発明の第３実施
形態として、上述した第１及び第２実施形態を組み合わ
せて、さらに正確な動きベクトル検出を可能とした動き
ベクトル検出方法について図９及び図１０を用いて説明
する。本実施形態では、まず第１及び第２実施形態で説
明した手順により、第１〜第５ブロック１１〜１５の抽
出を行う（ステップＳ３０１〜Ｓ３０８）。

【００４７】次に、ステップＳ３０３で検出された複数
の第１動きベクトルＤから、第１ブロック１１、第２ブ
ロック１２及び第５ブロック１５を用いて、これらの各
ブロック１１，１２，１５の相関をより大きくする複数
の第１動きベクトルを選択する（ステップＳ３０９）。
さらに、ステップＳ３０９で選択された第１動きベクト
ルＤについて第３ブロック１３と第４ブロック１４を用
いて適否を判定し、第３ブロック１３と第４ブロック１
４との相関を最大とする一つの第１動きベクトルＤを最
適動きベクトルとして選択する（ステップＳ３１０）。

【００４８】従って、上述した本実施形態の動きベクト
ル検出方法では、次式（３）により計算される絶対値差
分和Ｅ３が最小となる一つの第１動きベクトルＤを最適
動きベクトルとして求めることになる。

【数３】

【００４９】式（３）の右辺第１項は第１ブロック１１
と第２ブロック１２との絶対値差分和、同第２項は第１
ブロック１１と第５ブロック１５との絶対値差分和、同
第３項は第３ブロック１３と第４ブロック１４との絶対
値差分和である。重み係数α及びβは各ブロックの絶対
値差分に重み付けを行う場合に使用され、基本的には第
３ブロック１３と第４ブロック１４との相関を重視する
ため、β≧αであることが好ましい。

【００５０】図１１に、本実施形態に係る動きベクトル
検出方法を実施する動きベクトル検出装置の構成を示
す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図
５及び図８と対応する要素に同一符号を付して第１及び
第２の実施形態との相違点を中心に説明すると、動きベ
クトル検出部４０は、図１０中のステップＳ３０１〜Ｓ
３０３の処理、すなわち第ｍフレームの画像信号３７か
らの第１ブロックの抽出と、第ｍ＋２フレームの画像信
号３５からの第２ブロックの抽出、及び第１ブロックと
第２ブロック間の複数の第１動きベクトル４１（Ｄ）の
検出を行い、この際に第１及び第２ブロックの画像信号
５３を最適動きベクトル判定部４６へ出力する。

【００５１】動きベクトルスケール変換部４２は、図１
０中のステップＳ３０５及びＳ３０７の処理、すなわち
第１動きベクトルの（ｎ−ｉ）／ｎである第２動きベク
トル４４及び第１動きベクトルのｉ／ｎである第３動き
ベクトル５１の算出を行うが、この場合はｉ＝１、ｎ＝
２であるため、第２及び第３動きベクトルとして共に第
１動きベクトル（Ｄ）の１／２の動きベクトル（Ｄ／
２）を算出することになる。

【００５２】動きベクトル判定用ブロック抽出部４３
は、第ｍ＋２フレーム、第ｍ＋１フレーム及び第ｍフレ
ームの画像信号３５，３６及び３７から動きベクトルの
判定に用いるブロックを抽出する。より詳しくは、動き
ベクトル判定用ブロック抽出部４３は図１０中のステッ
プＳ３０６及びＳ３０８の処理、すなわち第ｍ＋１フレ
ームの画像信号３６からの第３ブロック１３の抽出と、
第２動きベクトル４４に従った第ｍ＋２フレームの画像
信号３５からの第４ブロック１４の抽出、及び第３動き
ベクトル５１に従った第ｍ＋１フレームの画像信号３６
からの第５ブロック１５の抽出を行い、第３、第４及び
第５ブロックの画像信号５４を出力する。

【００５３】動きベクトル判定用ブロック抽出部４３か
らの第３、第４及び第５ブロックの画像信号５４は最適
動きベクトル判定部４６に入力され、ここで図１０中の
ステップＳ３０９の処理、すなわち複数の第１動きベク
トル４１の中で第１ブロック１１と第２ブロック１２及
び第５ブロック１５の相関がより大きい複数の動きベク
トルの選択が行われ、さらに第３ブロック１３と第４ブ
ロック１４の相関が最大となる一つの動きベクトルを最
適な動きベクトルと判定する処理が行われる。最適動き
ベクトル判定部４６からの判定結果４７に従って、動き
ベクトル選択部４８により図１０中のステップＳ３１０
の最適動きベクトルの選択処理が行われ、ここで選択さ
れた動きベクトルが最終的な最適動きベクトル４９とし
て出力され、図１０中のステップＳ３１０の処理が行わ
れる。

【００５４】このように本実施形態では、第１及び第２
実施形態を組み合わせた構成とすることによって、より
正確な動きベクトル検出が可能となる。

【００５５】（第４実施形態）次に、図１２〜図１４を
用いて本発明の第４実施形態について説明する。本実施
形態では、第ｍフレーム１と第ｍ＋ｎフレーム２間の第
ｍ＋ｉフレーム３の位置に補間画像を作成する場合にお
いて、第ｍフレーム１から第ｍ＋ｎフレーム２への第１
動きベクトルＤ及び第ｍ＋ｎフレーム２から第ｍフレー
ム１への第４動きベクトルＥの両方を求める。第１動き
ベクトルＤの検出については、第１実施形態と同様に行
う（ステップＳ４０１〜Ｓ４０６，Ｓ４１２）。

【００５６】一方、第４動きベクトルＥの検出において
は、第ｍ＋ｎフレームから第１ブロック１１と空間的同
位置にある第６ブロック１６を抽出し（ステップＳ４０
７）、さらに第ｍフレーム１内の動きベクトル探索領域
で第６ブロック１６と同じブロックサイズの複数のブロ
ックから第６ブロック１６との相関がより大きい第７ブ
ロック１７を抽出し（ステップＳ４０８）、第６ブロッ
ク１６と第７ブロック１６間の第４動きベクトルＥを検
出する（ステップＳ４０９）。ブロック間の相関は、両
ブロックの画素の絶対値差分和を計算することによって
求められ、絶対値差分和が小さい場合は相関が大、絶対
値差分和が大きい場合は相関が小と判断される。

【００５７】次に、第ｍフレーム１と第ｍ＋ｉフレーム
３上のフレーム差分ｉと第ｍ＋ｎフレーム２と第ｍフレ
ーム１のフレーム差分ｎとの比から、第４動きベクトル
Ｅを第６ブロック１６の第ｍ＋ｉフレーム３から第ｍフ
レーム１への移動量にスケール変換した第５動きベクト
ル（ｉ／ｎ）＊Ｅを算出する（ステップＳ４１０）。第
５動きベクトル（ｉ／ｎ）＊Ｅに従って、第ｍフレーム
１の第１ブロック１１と空間的同位置にある第ｍ＋ｉフ
レーム３内の第３ブロック１３の第ｍフレーム１への移
動先となる第８ブロック１８を抽出する（ステップＳ４
１１）。

【００５８】次のステップＳ４１２の最適第１動きベク
トルの選択では、第１実施形態と同様に第３ブロック１
３と第４ブロック１４の絶対値差分和を求めて相関を調
べ、第１動きベクトルから第３ブロック１３と第４ブロ
ック１４との相関が最大となる一つの動きベクトルを求
める。一方、次のステップＳ４１３の最適第４動きベク
トルの選択では、第４動きベクトルから第３ブロック１
３と第８ブロック１８との相関が最大となる一つの動き
ベクトルを選択する。

【００５９】次に、第３ブロック１３と第４ブロック１
４の絶対値差分和Ｅ１と第３ブロック１３と第８ブロッ
ク１８の絶対値差分和Ｅ４を比較し（ステップＳ４１
４）、絶対値差分和が小さい方の動きベクトルを採用す
る。すなわち、Ｅ１がＥ４より小さい場合は、ステップ
Ｓ４１２で検出された最適第１動きベクトルを最適動き
ベクトルとして選択し（ステップＳ４１５）、Ｅ４がＥ
１より小さい場合は、ステップＳ４１３で検出された最
適第４動きベクトルの逆ベクトル−Ｅを最適動きベクト
ルとして選択し（ステップＳ４１６）。

【００６０】本実施形態における第４動きベクトルを求
めるために計算すべき絶対値差分和Ｅ４は、次式で表す
ことができる。

【００６１】

【数４】

【００６２】ここで、重み係数α及びβはＥ１を求める
のに使用する値と同じものを使用することが好ましい。

【００６３】図１５に、本実施形態に係る動きベクトル
検出方法を実施する動きベクトル検出装置の構成を示
す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図
５と対応する要素に同一符号を付して第１の実施形態と
の相違点を中心に説明すると、図１５では新たに動きベ
クトル検出部６０、動きベクトルスケール変換部６２、
動きベクトル判定用ブロック抽出部６３及び最適動きベ
クトル判定部６６が設けられている。動きベクトル検出
部４０、動きベクトルスケール変換部４２、動きベクト
ル判定用ブロック抽出部４３及び最適動きベクトル判定
部４６は、第１の実施形態と同様であり、これらによっ
て図１３中のステップＳ４０１〜Ｓ４０６及びＳ４１２
の処理が行われる。

【００６４】新たに設けられた動きベクトル検出部６０
では、図１３中のステップＳ４０７〜Ｓ４０９の処理、
すなわち第ｍ＋２フレーム内から動きベクトル探索領域
にある第６ブロック１６を抽出する処理と、第６ブロッ
ク１６に対して第ｍフレーム１内の動きベクトル探索領
域で同じブロックサイズの第７ブロック１７を抽出する
処理、及び第６ブロック１６と第７ブロック１７間の第
４動きベクトル６１を検出する処理が行われる。

【００６５】第６ブロック１６の位置指定は第１ブロッ
ク１１指定部３８によって行われ、第１ブロック位置の
アドレス、例えば左上隅のアドレス３９が動きベクトル
検出部６０及び動きベクトル判定用ブロック抽出部６３
へ出力される。

【００６６】動きベクトルスケール変換部６２は、図１
４中のステップＳ４１０の処理、すなわち第４動きベク
トル６１の１／２の動きである複数の第５動きベクトル
６４を算出する。動きベクトル判定用ブロック抽出部６
３は、図１４中のステップＳ４１１の処理、すなわち第
５動きベクトル６４に従った第ｍフレームの画像信号３
７からの第８ブロック１８の抽出を行い、第８ブロック
１８の画像信号６５を出力する。

【００６７】動きベクトル判定用ブロック抽出部４３か
らの第３ブロックの画像信号４５Ａと動きベクトル判定
用ブロック抽出部６３からの第８ブロックの画像信号６
５は最適動きベクトル判定部６６に入力され、複数の第
４動きベクトル６１の中で第３ブロック１３と第８ブロ
ック１８との相関を最大とする動きベクトルを最適第４
動きベクトルと判定する図１４中のステップＳ４１３の
処理が行われる。

【００６８】最適動きベクトル判定部４６及び６６から
の判定結果４７，６７に従って、動きベクトル選択部６
８により図１４中のステップＳ４１５，Ｓ４１６の最適
動きベクトルの選択処理が行われ、ここで選択された動
きベクトルが最終的な最適動きベクトル６９として出力
される。

【００６９】本実施形態によると、第１の実施形態で説
明した第ｍフレームから第ｍ＋ｎフレームへの最適第４
動きベクトルを求める処理に、これとは時間的な方向が
逆である第ｍ＋ｎフレームから第ｍフレームへの最適第
４動きベクトルを求める処理を加え、これらのうちでよ
り最適な方を最終的に選択することによって、さらに正
確な動きベクトル検出を行うことができる。

【００７０】（第５実施形態）次に、図１６及び図１７
を用いて本発明の第５実施形態について説明する。本実
施形態では、第ｍフレーム１と第ｍ＋ｎフレーム２間の
動きベクトルを求めるために、まず第ｍ＋ｉフレーム３
の動きベクトル探索対象から第９ブロック１９を抽出す
る（ステップＳ５０１）。次に、第ｍフレーム１の動き
ベクトル探索領域から複数の第１０ブロック２０を抽出
する（ステップＳ５０２）。

【００７１】次に、第９ブロック１９から第ｍフレーム
１への動きベクトルとして第９ブロック１９と第１０ブ
ロック２０間の第６動きベクトルＦを検出する（ステッ
プＳ５０３）。さらに、第９ブロック１９から第ｍ＋ｎ
フレーム２への動きベクトルとして第６動きベクトルＦ
と方向が逆で、大きさが第ｍ＋ｉフレーム３と第ｍ＋ｎ
フレーム２間のフレーム差分（ｎ−ｉ）と、第ｍフレー
ム１と第ｍ＋ｉフレーム３間のフレーム差分ｉとの比を
満たす第７動きベクトル−（（ｎ−ｉ）／ｉ）＊Ｆを算
出する（ステップＳ５０４）。第７動きベクトル−
（（ｎ−ｉ）／ｉ）＊Ｆに従って、第ｍ＋ｎフレーム２
から第９ブロック１９の移動先となる第１１ブロック２
１を抽出する（ステップＳ５０５）。

【００７２】次に、第１０ブロック２０と第１１ブロッ
ク２１の相関がより大きい複数の第６動きベクトルＦを
検出する（ステップＳ５０６）。第６動きベクトルＦが
真の動きを再現しているとすると、第ｍ＋ｉフレーム３
においても第１０ブロック２０もしくは第１１ブロック
２１と同一ブロックが存在するはずであり、その位置は
第９ブロック１９の位置となる。

【００７３】そこで、本実施形態では第９ブロック１９
の画像を第ｍ＋ｉフレーム３から抽出し、第９ブロック
１９と第１０ブロック２０と第１１ブロック２１の画像
を用いて第６動きベクトルＦの適否を判定する。具体的
には第１０ブロック２０と第１１ブロック２１の相関を
調べて、より相関の大きい複数の第６ブロックを求め、
さらに第９ブロック１９と第１０ブロック２０の相関を
調べてより相関が大きい一つの第６動きベクトルを最適
な動きベクトルとして選択する。

【００７４】本実施形態における計算すべき絶対値差分
和Ｅ５は、次式のように表すことができる。

【数５】

【００７５】式（５）では第９ブロック１９と第１０ブ
ロック２０の相関を調べているが、第９ブロック１９と
第１１ブロック２１の相関を調べるようにしても良い。
その場合の計算すべき絶対値差分和Ｅ６は、次式のよう
に表すことができる。

【数６】

【００７６】ここで、式（５）（６）における重み係数
α及びβについては、β≧αであることが好ましい。

【００７７】更に、第９ブロック１９と第１０ブロック
２０及び第９ブロック１９と第１１ブロック２１から相
関を調べることもでき、その場合の計算すべき絶対値差
分和Ｅ７は次式のように表すことができる。

【数７】

【００７８】ここで、重み係数α及びβについては時間
方向に相関の高いブロック間を重視する。つまり、ｉと
ｎ−ｉを比較し、より小さい方のフレーム間のブロック
を重視する。例えばｉ＝１、ｎ＝３の場合には、ｎ−ｉ
が２となることから、第９ブロック１９と第１０ブロッ
ク２０の相関を重視し、αをβより大きくするのが好ま
しい。

【００７９】本実施形態では、式（５）（６）（７）に
示したＥ５，Ｅ６またはＥ７が最小となる動きベクトル
Ｆを最適動きベクトルとして求めることになる。

【００８０】図１８に、本実施形態に係る動きベクトル
検出方法を実施する動きベクトル検出装置の構成を示
す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図
５と対応する要素に同一符号を付して第１の実施形態と
の相違点を中心に説明すると、動きベクトル判定用ブロ
ック抽出部８３では、図１７中のステップＳ５０１の処
理、すなわち第ｍ＋１フレームの画像信号３６内から動
きベクトル探索領域にある第９ブロック１９を抽出する
処理が行われる。第９ブロック１９の位置指定は第９ブ
ロック１１指定部７８によって行われ、第９ブロック位
置のアドレス、例えば左上隅のアドレス７９が動きベク
トル判定用ブロック抽出部８３へ出力される。

【００８１】動きベクトル検出部８０では、図１７中の
ステップＳ５０２〜Ｓ５０６の処理、すなわち第ｍ＋ｉ
フレーム３から第ｍフレーム１への動きベクトルである
第６動きベクトルＦを検出して該動きベクトルＦとは逆
方向で１／２の動きである第７動きベクトルを算出する
処理と、第６動きベクトルと第７動きベクトルを用いて
第９ブロック１９に対する第ｍフレーム１上の第１０ブ
ロック２０及び第ｍ＋ｎフレーム２上の第１１ブロック
２１を抽出する処理、及び第１０ブロック２０と第１１
ブロック２１の相関がより大きい複数の第６動きベクト
ル８１と第１０ブロック２０の画像信号８２を出力する
処理を行う。

【００８２】次に、最適動きベクトル判定部８６では、
複数の第６動きベクトル８１の中で第９ブロック１９と
第１０ブロック２０の相関が最大となる動きベクトルを
最適動きベクトルと判定する処理が行われる。最適動き
ベクトル判定部８６からの判定結果８７に従って、動き
ベクトル選択部８８により図１７中のステップＳ５０７
の最適動きベクトルの選択処理が行われ、ここで選択さ
れた動きベクトルが最終的な最適動きベクトル８９とし
て出力される。

【００８３】ここでは第１０ブロック２０と９ブロック
の相関を判定する構成について説明したが、前述のよう
に第１１ブロック２１と第９ブロック１９の相関を判定
する場合についても同様の構成を用いて実施できる。

【００８４】（第６実施形態）次に、本発明の第６実施
形態として動きベクトル検出に基づく動き補償を用いた
補間画像作成方法について、図１９及び図２０を用いて
説明する。本実施形態に係る補間画像の作成方法は、例
えば第１実施形態で求めた最適動きベクトルＤをスケー
ル変換した動きベクトルを用いて第１２ブロック２２を
抽出し、第１２ブロック２２を補間フレームの第１ブロ
ックと空間的同位置に割り当てることにより補間画像を
作成することが基本となる。

【００８５】より詳しく説明すると、原画像の第ｍフレ
ーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋
１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは
任意の実数）フレームの位置、例えば図１９に示すよう
に第ｍフレーム１と第ｍ＋ｉフレーム３間の第ｍ＋ｋフ
レームの位置に補間画像を作成する場合、まず第１の実
施形態と同様にして第ｍフレーム１と第ｍ＋ｎフレーム
２間の最適動きベクトルＤを求めた後、最適動きベクト
ルＤを第ｍ＋ｋフレームの時間的位置に応じてスケール
変換する（ステップＳ６０１〜Ｓ６０２）。

【００８６】すなわち、第ｍフレーム１と第ｍ＋ｎフレ
ーム２のフレーム差分ｎと、第ｍ＋ｋフレームと第ｍ＋
ｉフレーム３のフレーム差分（ｉ−ｋ）との比から、第
１ブロック１１と空間的に同位置となる第ｍ＋ｋフレー
ム上のブロックの第ｍ＋ｋフレームから第ｍ＋ｉフレー
ム３への移動量、つまり動きベクトル（（ｉ−ｋ）／
ｎ）＊Ｄを算出する。

【００８７】次に、スケール変換後の動きベクトル
（（ｉ−ｋ）／ｎ）＊Ｄに従って、第ｍ＋ｉフレーム３
から第１ブロック１１の移動先となる第１２ブロック２
２、すなわち第１ブロック１１と空間的に同位置となる
第ｍ＋ｋフレーム上のブロックの第ｍ＋ｉフレーム３上
への移動先となる第１２ブロック２２を抽出する（ステ
ップＳ６０３）。

【００８８】次に、第ｍ＋ｋフレームの第１ブロックと
空間的同位置に第１２ブロック２２を割り当て第ｍ＋ｋ
フレームの補間画像を作成する（ステップＳ６０４）。
第ｍ＋ｋフレーム上の各ブロックは、第ｍフレーム１か
ら空間的に同位置となるブロックによって構成されてい
るため、第ｍ＋ｋフレーム上に敷き詰められた状態にあ
り、各ブロックに対応して補間ブロックを作成すること
で、補間画像を隙間なく、また重なり合うことなく作成
できる。

【００８９】補間画像は前述のように第ｍフレーム１と
第ｍ＋ｉフレーム３間のフレームに作成することもでき
るし、同じ動きベクトルＤを用いて第ｍ＋ｉフレーム３
と第ｍ＋ｎフレーム２間のフレームに作成することがで
きる。例えばｉ＝１、ｎ＝２とすると、第ｍフレーム１
と第ｍ＋２フレームから検出される動きベクトルＤを用
いて、第ｍ＋０．５フレーム（第ｍフレーム１と第ｍ＋
１フレームの間）画像と、第ｍ＋１．５フレーム（第ｍ
＋１フレームと第ｍ＋２フレームの間）画像をほぼ同時
に求められる。これは、第ｍフレーム１と第ｍ＋１フレ
ーム間の動きベクトルを求めた後、その動きベクトルを
用いて第ｍ＋０．５フレームを作成し、第ｍ＋１フレー
ムと第ｍ＋２フレーム間の別の動きベクトルを求めた
後、その動きベクトルを用いて第ｍ＋１．５フレームを
作成した場合に比べ、計算時間を短縮することが可能に
なる。

【００９０】また別の方法として、計算処理に余裕があ
る場合に、第ｍフレーム１と第ｍ＋２フレームから検出
される動きベクトルＤ₁ を用いて、第ｍ＋０．５フレー
ム画像と第ｍ＋１．５フレーム画像を求めた後、第ｍ＋
１フレームと第ｍ＋３フレームから検出される別の動き
ベクトルＤ₂ を用いて、第ｍ＋１．５フレーム画像と第
ｍ＋２．５フレーム画像を求め、更に２つの第ｍ＋１．
５フレーム画像と第ｍ＋２フレーム画像の相関を調べ、
第ｍ＋２フレーム画像と相関が高くなるように各ブロッ
クを選択する方法を取るようにしても良い。

【００９１】（第７実施形態）次に、本発明の第７の実
施形態として、原画像がインターレース画像の場合にお
いて動きベクトルの検出及び補間画像の作成を行う方法
について、図２１〜図２３を用いて説明する。

【００９２】まず、第ｍフィールド１の動きベクトル探
索領域から第１ブロック１１を抽出し（ステップＳ７０
１）、さらに第ｍ＋２ｎ（ｎは１以上の整数）フィール
ドの動きベクトル探索領域内で第１ブロック１１と同じ
ブロックサイズの複数のブロックから第１ブロック１１
との相関がより大きい複数の第２ブロック１２を抽出し
（ステップＳ７０２）、第１ブロック１１と第２ブロッ
ク１２を結ぶベクトルを第１動きベクトルＤとして検出
する（ステップＳ７０３）。

【００９３】次に、第ｍ＋２ｎ−１フィールドから第ｍ
フレーム１の第１ブロック１１と空間的に１／２ライン
垂直方向（上もしくは下）にシフトした空間位置にある
第３ブロック１３を抽出する（ステップＳ７０４）。次
に、第１動きベクトルＤと方向が同じで動き量が１／２
の第２動きベクトルＤ／２を検出し（ステップＳ７０
５）、第２動きベクトルＤ／２に従って第ｍ＋２ｎフィ
ールドから第１ブロック１３と空間的に同位置にあるブ
ロックの第ｍ＋２ｎフィールドへの移動先となる第４ブ
ロック１４を抽出する（ステップＳ７０６）。

【００９４】次に、第３ブロック１３を第１垂直方向
（例えば、上方向）に線形補間した第１３ブロック２３
を作成し（ステップＳ７０７）、さらに第４ブロック１
４を第１垂直方向とは逆の第２垂直方向（例えば、下方
向）に線形補間した第１４ブロック２４を作成する（ス
テップＳ７０８）。そして、第１３ブロック２３と第１
４ブロック２４を用いて第１動きベクトル１１の適否の
判定を行う。すなわち、例えば第１３ブロック２３と第
１４ブロック２４の絶対値差分和を求めることで両ブロ
ック間の相関を調べ、相関が最大となる第１動きベクト
ルＤを最適動きベクトルとして選択する（ステップＳ７
０９）。

【００９５】次に、第ｍ＋ｋフィールドの補間画像を基
本的には第６実施形態と同様の方法を用いて作成する。
すなわち、第６実施形態において説明した図２０中のス
テップＳ６０２〜Ｓ６０４と同様に、ステップＳ７０９
で求められた最適動きベクトルを第ｍ＋ｋフィールドの
時間的位置に応じてスケール変換して第３動きベクトル
を求め（ステップＳ７１０）、スケール変換後の第３動
きベクトルに従って第ｍ＋２ｎフィールドから第１ブロ
ック１１の移動先となる第１５ブロックを抽出し（ステ
ップＳ７１１）、第ｍ＋ｋフィールドの第１ブロック１
１と空間的同位置に第１５ブロックを割り当ててて第ｍ
＋ｋフィールドの補間画像を作成する（ステップＳ７１
２）。

【００９６】例えば、ｋ＝０．５として第ｍ＋１．５フ
ィールドの補間画像を作成する場合は、第１動きベクト
ルの最適動きベクトルと方向が同じで動き量が１／４の
第３動きベクトルに従って、第ｍ＋２ｎフィールド上へ
の移動先となる第５ブロックを第ｍ＋２ｎフィールドか
ら抽出し、第５ブロックを第ｍ＋１．５フィールドに割
り当てる。同様にして、第ｍ＋１．５フィールド上の各
第５ブロックを求めて、第ｍ＋１．５フィールド上に割
り当ててゆくことによって、補間画像が完成する。但
し、この方法は基本的にプログレッシブ画像をフィール
ド画像として求める場合であり、補間画像のフィールド
についてもインターレース処理を行う場合は、垂直方向
にラインの間引きを行わなければならない。

【００９７】（第８実施形態）最後に、本発明の第８実
施形態として、これまでの各実施形態で説明した動きベ
クトル検出方法及びこれに基づく補間画像の作成方法を
用いた画像表示システムについて説明する。

【００９８】図２４は、画像表示システムの概略構成を
示しており、入力画像信号１０１は補間フィールド画像
作成部１０２及び画像切替部１０４に入力される。補間
フィールド画像作成部１０２では、補間画像信号１０３
がこれまで述べた手順によって作成され、補間画像信号
１０３は画像切替部１０４へ出力される。画像切替部１
０４では、入力画像信号１０１をそのまま出力するか、
補間画像信号１０４を出力するかの制御が行われる。画
像切替部１０４からの出力画像信号１０５は、ホールド
型表示装置である高速リフレッシュ表示装置１０６へ出
力される。表示装置１０６では、出力画像信号１０５に
含まれる同期信号に対応して、リフレッシュレートを変
えて画像の表示が行われる。

【００９９】

【発明の効果】以上述べたように、本発明によれば画像
の実際の動きとは異なる誤った動きベクトルを排除し、
正確な動きベクトル検出を行うことができる。また、検
出された正確な動きベクトルを用いて補間画像を作成す
ることにより、フレーム周波数の低い入力画像信号から
フレーム周波数の高い出力画像信号を作成でき、動画に
おいてはよりリアルな画像を提供し、静止画においては
画質劣化の少ない画像を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動きベクトル検
出方法を説明する図

【図２】同実施形態に係る動きベクトル検出手順を示す
フローチャート

【図３】同実施形態の作成画像出力結果とその効果を示
す図

【図４】誤った動きベクトルが検出される画像の例を示
す図

【図５】同実施形態に係る動きベクトル検出装置の構成
を示すブロック図

【図６】本発明の第２の実施形態に係る動きベクトル検
出方法を説明する図

【図７】同実施形態に係る動きベクトル検出手順を示す
フローチャート

【図８】同実施形態に係る動きベクトル検出装置の構成
を示すブロック図

【図９】本発明の第３の実施形態に係る動きベクトル検
出方法を説明する図

【図１０】同実施形態に係る動きベクトル検出手順を示
すフローチャート

【図１１】同実施形態に係る動きベクトル検出装置の構
成を示すブロック図

【図１２】本発明の第４の実施形態に係る動きベクトル
検出方法を説明する図

【図１３】同実施形態に係る動きベクトル検出手順を示
すフローチャート

【図１４】同実施形態に係る動きベクトル検出手順を示
すフローチャート

【図１５】同実施形態に係る動きベクトル検出装置の構
成を示すブロック図

【図１６】本発明の第５の実施形態に係る動きベクトル
検出方法を説明する図

【図１７】同実施形態に係る動きベクトル検出手順を示
すフローチャート

【図１８】同実施形態に係る動きベクトル検出装置の構
成を示すブロック図

【図１９】本発明の第６の実施形態に係る補間画像作成
方法を説明する図

【図２０】同実施形態に係る補間画像作成手順を示すフ
ローチャート

【図２１】本発明の第７の実施形態に係る動きベクトル
検出方法を説明する図

【図２２】同実施形態に係る動きベクトル検出手順を示
すフローチャート

【図２３】同実施形態に係る動きベクトル検出手順を示
すフローチャート

【図２４】本発明の一実施形態に係る表示システムの構
成を示すブロック図

【図２５】従来のホールド型表示装置におけるボケ現象
について説明する図

───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥村 治彦 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5C059 KK19 LB18 NN01 NN11 NN28 PP01 PP04 5J064 AA01 BA13 BB03 BB04 BC01 BC08 BC14 BD01

Claims (9)

【特許請求の範囲】
1. 【請求項１】画像の第ｍフレーム（ｍは任意の整数）と
   第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
   の整数）間の動きベクトルを求める動きベクトル検出方
   法において、 前記第ｍフレームと前記第ｍ＋ｎフレームの間の複数の
   動きベクトル候補を求め、前記動きベクトル候補を前記
   ｍ＋ｉフレームと前記第ｍ＋ｎフレーム間または 前記ｍ＋ｉフレームと前記第ｍフレーム間のフレーム差
   分に応じてスケール変換し、 スケール変換後の動きベクトル候補に従って前記ｍ＋ｉ
   フレーム上の画像を仮想的に作成し、 仮想的に作成された画像と前記第ｍ＋ｉフレーム上の実
   際の画像との相関を最大とする最適動きベクトルを前記
   動きベクトル候補から選択することを特徴とする動きベ
   クトル検出方法。
2. 【請求項２】画像の第ｍフレーム（ｍは任意の整数）と
   第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
   の整数）間の動きベクトルを求める動きベクトル検出方
   法において、 前記第ｍフレームの動きベクトル探索領域から第１ブロ
   ックを抽出するステップと、 第ｍ＋ｎフレームの動きベクトル探索領域から前記第１
   ブロックとの相関がより大きい複数の第２ブロックを抽
   出するステップと、 前記第１ブロックと前記複数の第２ブロック間の複数の
   第１動きベクトルを検出するステップと、 前記第ｍ＋ｉフレームから前記第１ブロックと空間的同
   位置にある第３ブロックを抽出するステップと、 前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第
   ２動きベクトルを算出するステップと、 前記第２動きベクトルに従って前記第ｍ＋ｎフレームか
   ら前記第３ブロックの移動先となる第４ブロックを抽出
   するステップと、 前記複数の第１動きベクトルから前記第３ブロックと前
   記第４ブロックとの相関を最大とする最適動きベクトル
   を選択するステップとを有する動きベクトル検出方法。
3. 【請求項３】画像の第ｍフレーム（ｍは任意の整数）と
   第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
   の整数）間の最適動きベクトルを求める動きベクトル検
   出方法において、 前記第ｍフレームの動きベクトル探索領域から第１ブロ
   ックを抽出するステップと、 第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベク
   トル探索領域から前記第１ブロックとの相関がより大き
   い複数の第２ブロックを抽出するステップと、 前記第１ブロックと前記複数の第２ブロック間の複数の
   第１動きベクトルを検出するステップと、 前記第１動きベクトルのｉ／ｎである複数の第３動きベ
   クトルを算出するステップと、 前記第３動きベクトルに従って前記第ｍ＋ｉフレームか
   ら前記第１ブロックの移動先となる第５ブロックを抽出
   するステップと、 前記複数の第１動きベクトルから前記第３ブロックと前
   記第５ブロックとの相関を最大とする最適動きベクトル
   を選択するステップとを有する動きベクトル検出方法。
4. 【請求項４】画像の第ｍフレーム（ｍは任意の整数）と
   第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
   の整数）間の最適動きベクトルを求める動きベクトル検
   出方法において、 前記第ｍフレームの動きベクトル探索領域から第１ブロ
   ックを抽出するステップと、 第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベク
   トル探索領域から前記第１ブロックとの相関がより大き
   い複数の第２ブロックを抽出するステップと、前記第１
   ブロックと前記複数の第２ブロック間の複数の第１動き
   ベクトルを検出するステップと、 前記第ｍ＋ｉフレームから前記第１ブロックと空間的同
   位置にある第３ブロックを抽出するステップと、 前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第
   ２動きベクトルを算出するステップと、 前記第２動きベクトルに従って前記第ｍ＋ｎフレームか
   ら前記第３ブロックの移動先となる第４ブロックを抽出
   するステップと、 前記第１動きベクトルのｉ／ｎである複数の第３動きベ
   クトルを算出するステップと、 前記第３動きベクトルに従って前記第ｍ＋ｉフレームか
   ら前記第１ブロックの移動先となる第５ブロックを抽出
   するステップと、 前記複数の第１動きベクトルから前記第１ブロックと前
   記第２ブロック及び前記第５ブロックの相関をより大き
   くする複数の第１動きベクトルを選択するステップと、 選択された複数の第１動きベクトルから前記第３ブロッ
   クと前記第４ブロックとの相関を最大とする最適動きベ
   クトルを選択するステップとを有する動きベクトル検出
   方法。
5. 【請求項５】画像の第ｍフレーム（ｍは任意の整数）と
   第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
   の整数）間の最適動きベクトルを求める動きベクトル検
   出方法において、 前記第ｍフレームの動きベクトル探索領域から第１ブロ
   ックを抽出するステップと、 第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベク
   トル探索領域から前記第１ブロックとの相関がより大き
   い複数の第２ブロックを抽出するステップと、 前記第１ブロックと前記複数の第２ブロック間の複数の
   第１動きベクトルを検出するステップと、 前記第ｍ＋ｉフレームから前記第１ブロックと空間的同
   位置にある第３ブロックを抽出するステップと、 前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第
   ２動きベクトルを算出するステップと、 前記第２動きベクトルに従って前記第ｍ＋ｎフレームか
   ら前記第３ブロックの移動先となる第４ブロックを抽出
   するステップと、 第ｍ＋ｎフレームから前記第１ブロックと空間的に同位
   置にある複数の第６ブロックを抽出するステップと、 前記第ｍフレームの動きベクトル探索領域から前記第６
   ブロックとの相関がより大きい複数の第７ブロックを抽
   出するステップと、 前記第６ブロックと前記複数の第７ブロック間の複数の
   第４動きベクトルを検出するステップと、 前記第４動きベクトルのｉ／ｎである複数の第５動きベ
   クトルを算出するステップと、 前記第５動きベクトルに従って前記第ｍフレームから前
   記第３ブロックの移動先となる第８ブロックを抽出する
   ステップと、 前記複数の第１動きベクトルから前記第３ブロックと前
   記第４ブロックとの相関を最大とする最適第１動きベク
   トルを選択するステップと、 前記複数の第４動きベクトルから前記第３ブロックと前
   記第８ブロックとの相関を最大とする最適第４動きベク
   トルを選択するステップと、 前記第３ブロック及び前記第４ブロックの画素値につい
   ての第１の絶対値差分和と前記第３ブロック及び前記第
   ８ブロックの画素値についての第２の絶対値差分和とを
   比較し、第１の絶対値差分和が第２の絶対値差分和より
   小さい場合は前記最適第１動きベクトルを最適動きベク
   トルとして選択し、第２の絶対値差分和が第１の絶対値
   差分和より小さい場合は前記最適第４動きベクトルの逆
   ベクトルを最適動きベクトルとして選択するステップと
   を有する動きベクトル検出方法。
6. 【請求項６】画像の第ｍフレーム（ｍは任意の整数）と
   第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上
   の整数）間の最適動きベクトルを求める動きベクトル検
   出方法において、 前記第ｍ＋ｉフレームの動きベクトル探索領域から第９
   ブロックを抽出するステップと、 前記第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動き
   ベクトル探索領域から複数の第１０ブロックを抽出する
   ステップと、 前記第９ブロックと前記複数の第１０ブロック間の複数
   の第６動きベクトルを検出するステップと、 前記第６動きベクトルの−（ｎ−ｉ）／ｉである第７動
   きベクトルを算出するステップと、 前記第７動きベクトルに従って前記第ｍ＋ｎフレームか
   ら前記第９ブロックの移動先となる第１１ブロックを抽
   出するステップと、 前記第１０ブロックと前記第１１ブロックとの間の相関
   がより大きい複数の第１動きベクトルを検出するステッ
   プと、 前記複数の第１動きベクトルから前記第９ブロック及び
   前記第１０ブロックの画素値の絶対値差分和と前記第９
   ブロック及び前記第１１ブロックの画素値の絶対値差分
   和の少なくとも一方を最小とする最適動きベクトルを選
   択するステップとを有する動きベクトル検出方法。
7. 【請求項７】原画像の第ｍフレーム（ｍは任意の整数）
   と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以
   上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フレームの
   時間的位置に補間すべき補間画像を作成する補間画像作
   成方法において、 請求項１乃至５のいずれかの動きベクトル方法により求
   められた前記最適動きベクトルを前記第ｍ＋ｋフレーム
   の時間的位置に応じてスケール変換するステップと、 前記スケール変換後の動きベクトルに従って前記第ｍ＋
   ｉフレームから前記第１ブロックの移動先となる第１２
   ブロックを抽出するステップと、 前記第ｍ＋ｋフレームの前記第１ブロックと空間的同位
   置に前記第１２ブロックを割り当てることにより前記補
   間画像を作成するステップとを有する補間画像作成方
   法。
8. 【請求項８】原画像の第ｍフィールド（ｍは任意の整
   数）と第ｍ＋ｎフィールド（ｎはｉ＋１以上の整数、ｉ
   は１以上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フィ
   ールドの時間的位置に補間すべき補間画像を作成する補
   間画像作成方法であって、 前記第ｍフィールド（ｍは任意の整数）の動きベクトル
   探索領域から第１ブロックを抽出するステップと、 第ｍ＋２ｎ（ｎは１以上の整数）フィールドの動きベク
   トル探索領域から前記第１ブロックとの相関がより大き
   い複数の第２ブロックを抽出するステップと、 前記第１ブロックと前記複数の第２ブロック間の複数の
   第１動きベクトルを検出するステップと、第ｍ＋２ｎ−
   １フィールドから前記第１ブロックを空間的に１／２ラ
   イン垂直 方向にシフトさせた空間的位置にある第３ブロックを抽
   出するステップと、 前記第１動きベクトルの１／２である複数の第２動きベ
   クトルを算出するステップと、 第ｍ＋２ｎ−１フィールドから前記第１ブロックと空間
   的同位置にある第３ブロックを抽出するステップと、 前記第２動きベクトルに従って前記第ｍ＋２ｎフィール
   ドから、前記ｍ＋２ｎ−１フィールド内の前記第１ブロ
   ックと空間的同位置にあるブロックの移動先となる第４
   ブロックを抽出するステップと、 前記第３ブロックを第１垂直方向に線形補間した第１３
   ブロックを作成するステップと、前記第４ブロックを前
   記第１垂直方向とは逆の第２垂直方向に線形補間した第 １４ブロックを作成するステップと、 前記複数の第１動きベクトルから前記第１３ブロックと
   前記第１４ブロックとの相関を最大とする最適動きベク
   トルを選択するステップと、 前記最適動きベクトルを前記時間的位置に応じてスケー
   ル変換するステップと、 前記スケール変換後の動きベクトルに従って前記第ｍ＋
   ２ｎフィールドから前記第１ブロックの移動先となる第
   １５ブロックを抽出するステップと、 前記第ｍ＋ｋフィールドの前記第１ブロックと空間的同
   位置に前記第１５ブロックを割り当てることにより前記
   補間画像を作成するステップとを有する補間画像作成方
   法。
9. 【請求項９】請求項７または８に記載の補間画像作成方
   法により作成された前記補間画像及び前記原画像を表示
   する画像表示システム。