JP2010288098A - 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム - Google Patents

Abstract

【課題】処理負荷や消費電力等を増大させることなく、迅速かつ適切に補間フレーム形成用の動きベクトルを取得して、補間フレームを形成できるようにする。
【解決手段】補間領域決定部２２が、補間フレームにおける補間領域を決定し、動きベクトル群作成部２３が、所定の１以上の画像フレーム間において、補間領域決定部２２により決定された補間領域の位置を基準として、補間処理に用いる候補としての２つ以上の動きベクトルを取得する。この取得された２つ以上の動きベクトルを、動きベクトル選択部２４が補間フレームを挟む２つの画像フレーム間に適用し、各動きベクトルで結び付けられる画像領域の相関度に基づいて、１つの動きベクトルを選択し、これを用いて補間画素領域生成部２５が、補間フレームの当該補間領域の画素を形成する。
【選択図】図１

Description

この発明は、例えば、動画シーケンスやマルチカメラシステムにおいて、存在しない時間位置や視点位置のフレーム画像を補間生成する装置、方法、プログラムに関する。

図１２に示すような時系列順に形成された画像フレームからなるいわゆる動画シーケンスにおいては、例えば、フレームレートを変換するなどのために、既存のフレーム間に本来存在しない画像フレーム（補間フレーム）を補間することが行われている。

また、図１３に示すようなマルチカメラシステムにおいては、被写体の画像をより多角的に表現するなどのために、既存のカメラ間に存在しないカメラ（仮想カメラ）で撮影するようにした画像フレームを補間することが行われている。

そして、図１２に示したような動画シーケンスにおいて、各画像フレームは、その時系列順にしたがって処理されるものであり、時間的に前後関係があり、各画像フレームに対して番号付け（順序付け）が可能なものである。

また、図１３に示したようなマルチカメラシステムによって撮影された画像は、撮影したカメラの位置に応じて、撮影された画像（画像フレーム）のそれぞれに対して、番号付け（順序付け）可能なものである。

そして、図１２、図１３に示したように構成される２枚以上の画像フレームから中間画像フレームを補間生成する方法では、まず画像フレーム同士の各画素対応位置（動きベクトル）を求めてから補間画素を作成する方法がほとんどである。

一般的には、図１４に示すように、参照フレーム（入力フレーム１）から走査基準フレーム（入力フレーム２）への動きベクトルの中間位置を補間画素位置とし、動きベクトルの示す先の入力画像フレーム（入力フレーム２）上の画素を補間画素として使用する。

この方法だと、どの動きベクトルも通過しない補間画素位置があったり（ホール）、複数の動きベクトルが通過する補間画素位置があったり（オーバーラップ）するなどの問題があり、その後処理のために処理量や回路規模が増加するという問題があった。

そこで、後に記す特許文献１には、各画素の動きベクトルを求める方法が開示されている。この方法は、図１５に示すように、補間フレームを走査基準とし、各補間画素を中心として前後の入力画像フレーム上に探索範囲を設け、両探索位置の線上に補間画素が位置するようにブロックマッチングを実行して各補間画素の動きベクトルを求めるものである。

この特許文献１に開示された方法により、上述した画素位置のホールやオーバーラップの問題を解消し、限られた範囲についてのデータの計算で速やかに補間フレームの画像を形成することができるようにされる。

特開２００７−１８１６７４号公報

しかしながら、上述した特許文献１に記載された方法では、探索範囲が限られるといっても、図１５に示したように、２つの入力画像フレーム上に探索範囲を設けるため、探索範囲用のメモリが増大するという問題がある。

また、上述した特許文献１に記載された方法では、補間画素ごとにブロックマッチングを計算するので、ブロックマッチングの探索範囲が広くて入力画像フレームの間の補間フレーム数が多い場合に処理量が増加するという問題がある。

しかし、補間フレームを形成する場合、特許文献１に記載された発明のように、補間フレームの前後の既存フレームとの関係において、適切な動きベクトルを取得するようにしないと、自然な補間フレームが形成できない。

このため、使用メモリ容量の増大や、処理量の増大を招くことなく、迅速かつ適切に、しかも処理コストを上昇させること無く、フレーム補間に用いる適切な動きベクトルを求め、これに応じて補間フレームを形成できるようにすることが望まれている。

以上のことに鑑み、この発明は、処理サイクル数や消費電力といった処理コストに影響するファクターを増大させることなく、迅速かつ適切に補間フレーム形成用の動きベクトルを取得して利用できるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像フレーム補間装置は、
隣接する画像フレーム間に補間する補間フレームについて、所定の大きさの補間領域を決定する決定手段と、
前記補間フレームの位置に応じて決められる１以上の画像フレーム間において、前記決定手段により決定された前記補間領域の位置を基準として、２以上の動きベクトルを取得する取得手段と、
前記取得手段により取得された２以上の前記動きベクトルを、前記補間フレームを挟む２つの画像フレーム間に適用した場合に、各動きベクトルで結び付けられるそれぞれの画像フレーム上の所定の大きさの画像領域同士の相関度に基づいて、用いる動きベクトルを選択する選択手段と、
前記選択手段により選択された前記動きベクトルを用いて、前記補間フレームの前記補間領域の画素データを形成して補間する形成手段と
を備える。

この請求項１に記載の発明の画像フレーム補間装置によれば、決定手段により、隣接する画像フレーム間に補間する補間フレームにおける補間領域が決定される。そして、取得手段により、補間フレームの位置に応じて決められる１以上の画像フレーム間において、決定手段により決定された補間領域の位置を基準として、補間処理に用いる候補としての２つ以上の動きベクトルが取得される。

この後、取得手段により取得された２つ以上の動きベクトルが、選択手段により、補間フレームを挟む２つの画像フレーム間において適用される。そして、選択手段により、各動きベクトルで結び付けられる画像フレーム上の所定の大きさの画像領域同士の相関度に基づいて、フレームの補間処理に実際に用いる１つの動きベクトルが選択される。

この選択手段によって選択された動きベクトルが用いられて、形成手段により、補間フレームの当該補間領域の画素が形成される。そして、決定手段、取得手段、選択手段、形成手段の各処理が繰り返されて、補間フレーム全体の画素が形成される。すなわち、補間フレームが形成され、目的とする画像フレーム間に補間フレームが補間（追加）するようにされる。

このように、決定された目的とする補間領域に対して、利用可能性のある複数の動きベクトルを取得し、その動きベクトルの集合の中から最も適切な動きベクトルを選択し、これを用いて補間フレームの補間処理（形成処理）を行うことができるようにされる。

そして、動きベクトルを選択するまでの処理は、複雑な処理を行うことも無い。また、処理の負荷を増大させること無く、迅速かつ適切に補間フレームの形成に用いる動きベクトルを選択して、これを利用することができるようにされる。

この発明によれば、処理サイクル数や消費電力といった処理コストに影響するファクターを増大させることなく、迅速かつ適切に補間フレーム形成用の動きベクトルを取得して利用することができる。

この発明の一実施の形態が適用されたフレーム補間部（画像フレーム補間装置）の構成例を説明するためのブロック図である。 動きベクトル群作成部２３において行われる動きベクトルの候補群を取得する処理の概要を説明するための図である。 動きベクトル選択部２３において行われる動きベクトルの選択処理の概要を説明するための図である。 動きベクトル群作成部２３において行われる動きベクトルの候補群を取得する処理の詳細を説明するための図である。 動きベクトル選択部２４において行われる動きベクトルの選択処理の詳細を説明するための図である。 フレーム補間部２におい実行される目的とする補間フレームの形成処理（フレームの補間処理）について説明するためのフローチャートである。 図６のステップＳ２において実行される動きベクトルの集合の取得処理を説明するためのフローチャートである。 図６のステップＳ３において実行される動きベクトルの集合から補間処理に用いる１つの動きベクトルの選択処理を説明するためのフローチャートである。 複数のフレーム間のそれぞれにおいて、複数の動きベクトルを取得する場合の一例について説明するための図である。 動きベクトルを求めるフレームの組み合わせの一例について説明するための図である。 変形例２のフレーム補間部２Ａを説明するためのブロック図である。 フレームを補間する場合の一例について説明するための図である。 フレームを補間する場合の一例について説明するための図である。 従来のフレーム補間のための画素補間処理の一例を説明するための図である。 従来のフレーム補間のための画素補間処理の他の例を説明するための図である。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。

［フレーム補間部の構成例］
図１は、この発明の装置、方法、プログラムの一実施の形態が適用されて構成されたフレーム補間部（画像フレーム補間装置）の構成例を説明するためのブロック図である。図１において、フレーム補間部２が、この発明が適用された部分である。

復号処理部１は、所定の動画符号化方式で符号化された動画像データを復号処理して、符号化前の元の動画像データを復元し、この復元した動画像データ（フレーム単位の画素データ）をフレーム補間部２に供給する。

なお、動画符号化方式には、例えば、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）、Ｈ．２６４（MPEG-4 Advanced Video Coding）等の種々のものがある。この実施の形態において、復号処理部１は、例えば、Ｈ．２６４に対応した復号処理を行うことができるものである。

具体的に、復号処理部１においては、例えば、エントロピー復号処理、逆ジグザグ変換、逆量子化、逆直交変換（含むオーバーラップスムージングフィルタ）、画面内予測（含むＡＣ／ＤＣ予測）等の処理が行われる。さらに、復号処理部１においては、動きベクトル予測、動き補償（含む重みつき予測、レンジリダクション、インテンシティ補償）、デブロッキングフィルタ等の処理も行われる。

そして、図１に示すように、フレーム補間部２は、画像メモリ２１、補間領域決定部２２、動きベクトル群作成部２３、動きベクトル選択部２４、補間領域画素生成部２５を備えたものである。

画像メモリ２１は、複数フレーム分の画素データの蓄積が可能な記憶容量のものである。具体的には、補間フレームの形成に用いる少なくとも２枚以上の隣接するフレームの画素データを記憶保持することができると共に、形成される補間フレームの画素データをも記憶保持することができるものである。

また、画像メモリ２１の記憶容量は、１フレーム分の補間フレームの画素データを形成している間において、これに供給される復号された画素データを漏らすことなく、一時記憶することができる程度の余裕をも有するようにされている。

このように、画像メモリ２１は、補間フレームの形成に用いる複数フレームの画素データと、補間により形成される補間フレームの画素データと、補間処理中において、復号処理部１から供給される画素データとを記憶保持することが可能な記憶容量を有する。

補間領域決定部２２は、補間により形成する補間フレームにおける補間対象となる所定の大きさの補間領域を決定する決定手段としての機能を有する。ここで、補間領域の大きさは、最小が１画素の大きさであり、フレーム補間部２の処理能力に応じて、複数画素からなる領域（処理ブロック）とすることも可能である。

具体的に、補間領域としては、例えば、１６画素×１６画素のマクロブロックと同じ大きさの他、８画素×８画素、４画素×４画素、あるいは、８画素×４画素といった種々の大きさの処理ブロックとすることが可能である。

また、この実施の形態において、補間領域決定部２２は、当該補間フレームにおいて、左上端部を原点とし、当該左上端部から水平方向に補間領域が重複することがないように移動させるようにして、補間領域を順次に決定する。そして、補間領域が補間フレームの右端部に到達したときには、その下の補間領域行の処理を、補間フレームの左端部から行うようにする。

例えば、補間領域の大きさが、１画素の大きさであるときには、補間領域行は、１画素分の幅を垂直方向の幅とし、水平方向に１フレーム分の幅を有する行である。また、補間領域の大きさが、１６画素×１６画素のマクロブロックである時には、１６画素分の幅を垂直方向の幅とし、水平方向に１フレーム分の幅を有する行である。

このように、補間領域決定部２２は、補間により形成しようとする補間フレーム上において、所定の大きさの補間領域を予め決められた順序で移動させながら順次に決定し、補間フレーム上のどこに補間領域を設定したかを動きベクトル群作成部２３に通知する。

動きベクトル群作成部２３は、補間領域決定部２２により決定された補間領域の画素を補間するに当たり、補間処理に用いる動きベクトルの候補群（動きベクトルの集合）を取得する取得手段としての機能を有する。

すなわち、動きベクトル群作成部２３は、補間により作成しようとしている補間フレームの位置に応じて決められる１以上の画像フレーム間において、補間領域決定部２２によって決定された補間領域の位置を基準として２以上の動きベクトルを取得する。

詳しくは後述もするが、動きベクトル群作成部２３は、動きベクトルを求める１つ以上の画像フレーム間において、時間的に先に位置する画像フレームを参照フレームとし、時間的に後に位置する画像フレームを走査基準フレームとする。

そして、動きベクトル群作成部２３は、補間領域決定部２２により補間フレーム上において決定するようにした補間領域に応じた１つ以上の位置の参照フレーム上の所定の大きさの画像領域について、走査基準フレームに対する動きベクトルを求める。なお、動きベクトルを求める参照フレーム上の所定の大きさの画像領域は、例えば、１６画素×１６画素のマクロブロックや、その他の大きさのブロックである。

より具体的に言えば、動きベクトル群作成部２３は、動きベクトルを求める画像フレーム間を２つ以上設定した場合には、そのそれぞれの画像フレーム間において１つ以上の動きベクトルを求めるようにする。

また、動きベクトル群作成部２３は、動きベクトルを求める画像フレーム間を１つ設定した場合には、その画像フレーム間において２つ以上の動きベクトルを求めるようにする。このようにして、動きベクトル群作成部２３は、補間処理に用いる動きベクトルの候補群を作成する。

動きベクトル選択部２４は、動きベクトル群作成部２３により作成（取得）された複数の動きベクトルの候補の中から、補間領域決定部２２によって決定された補間領域の画素を補間する場合に用いる１つの動きベクトルを選択する選択手段としての機能を有する。

具体的に動きベクトル選択部２４は、動きベクトル群作成部２３によって取得された複数の動きベクトルを、今回補間しようとしている補間フレームに隣接し当該補間フレームを挟むフレーム間において、補間フレームの補間領域を通るように適用する。

そして、動きベクトル選択部２４は、適用した複数の動きベクトル毎に、動きベクトルによって結び付けられる両画像フレーム間の対応する画像領域の相関度を求め、この相関度に基づいて、用いる１つの動きベクトルを選択する。

なお、この実施の形態において、動きベクトルによって結び付けられる両画像フレーム間の対応する画像領域の相関度は、後述もするが、例えば、差分絶対値和を用いて把握するようにしている。

補間領域画素生成部２５は、動きベクトル選択部２４により選択された動きベクトルを用いて、今回の補間対象の補間領域の画素を生成（形成）する形成手段としての機能を有するものである。

つまり、補間領域画素生成部２５は、動きベクトル選択部２４において選択された動きベクトルと、補間により形成しようとしている補間フレームの前後の画像フレームの一方または両方を用いて、今回の補間対象の補間領域の画素を生成する。

補間領域画素生成部２５により生成された補間フレームの補間領域の画素データは、画像メモリ２１の補間フレームを構成する画素データの格納領域に格納される。そして、画像メモリ２５に形成された補間フレームの画素データは、他の画像フレームの画素データと同様に、画像メモリ２１から読み出されてフレーム画像を形成する画素データとして利用することができるようにされる。

このように、この実施の形態のフレーム補間部２においては、補間領域決定部２２、動きベクトル群作成部２３、動きベクトル選択部２４、補間領域画素生成部２５が協働し、補間領域毎に補間処理に用いる動きベクトルを適切に選択することができるものである。

そして、この実施の形態のフレーム補間部２においては、選択した動きベクトルを用いて決定された補間領域について補間処理を行って行くことにより、補間フレームを構成する個々の画素データを適切に生成することができるようにしている。すなわち、目的とする補間フレームの画像を適切に形成することができるようにしている。

［フレーム補間部２の動作の概要］
次に、この実施の形態の図１に示したフレーム補間部２において行われるフレーム補間処理について具体的に説明する。

上述もしたように、この実施の形態のフレーム補間部２の補間領域決定部２１は、補間により形成しようとする補間フレーム上において、所定の大きさの補間領域を予め決められた順序で移動させながら順次に決定していく。

そして、この実施の形態のフレーム補間部２の動きベクトル群作成部２２は、目的とする補間フレームの直前の入力フレーム間と、補間フレームに隣接し当該補間フレームを挟む画像フレーム間とのそれぞれにおいて動きベクトルを取得する。

図２は、動きベクトル群作成部２３において行われる動きベクトルの候補群を取得する処理の概要を説明するための図である。

ここでは、復号処理部１において復号処理されたフレーム単位の画素データが、図２に示すように、入力フレーム１、入力フレーム２、入力フレーム３の順番で、復号処理部１から画像メモリ２１に供給され、画像メモリ２１に一時記憶されたとする。

この場合、図２において矢印で示したように、時間の進行方向は、右方向であるので、図２において入力フレーム１が一番古いフレームであり、入力フレーム３が一番新しいフレームである。そして、図２において点線で示したように、入力フレーム２と入力フレーム３との間に補間フレームを形成するものとする。

この場合、動きベクトル群作成部２３は、図２に示すように、まず、補間フレームの直前の画像フレーム間、すなわち、入力フレーム１と入力フレーム２との間の第１の動きベクトル（ＭＶ１）を作成して取得する。

次に、動きベクトル群作成部２３は、図２に示したように、補間フレームに隣接し当該補間フレームを挟む画像フレーム間、すなわち、入力フレーム２と入力フレーム３との間の第２の動きベクトル（ＭＶ２）を作成して取得する。

なお、詳しくは後述するが、補間処理に用いる動きベクトルの候補となる複数の動きベクトルを作成して取得する際には、補間領域決定部２１に決定された補間領域の位置を基準として求められることになる。

そして、動きベクトル選択部２３は、動きベクトル群作成部２３において作成されて取得された第１の動きベクトル（ＭＶ１）と第２の動きベクトル（ＭＶ２）とのうちから、補間領域の画像を生成する場合に用いる１つの動きベクトルを選択する。

図３は、動きベクトル選択部２３において行われる動きベクトルの選択処理の概要を説明するための図である。動きベクトル選択部２３は、動きベクトル群作成部２２において作成された補間処理に用いる動きベクトルの候補に属するそれぞれの動きベクトルを、補間フレームに隣接し当該補間フレームを挟むフレーム間に適用する。

図２に示した例の場合には、図３に示すように、点線で示した補間フレームを挟む入力フレーム２と入力フレーム３との間に動きベクトル群作成部２３において取得した第１、第２の動きベクトルを適用する。この動きベクトルの適用に際しては、補間領域決定部２２において決定した補間領域Ａｒを基準として適用する。

図３において、補間フレーム上に示された領域Ａｒは、図１に示した補間領域決定部２２において決定された補間領域を示している。また、入力フレーム２上の画像領域Ｆ２Ａｒと、入力フレーム３上の画像領域Ｆ３Ａｒは、適用された動きベクトルによって結び付けられるそれぞれの入力フレームにおける所定の大きさの画像領域を示している。

そして、適用した動きベクトルによって結び付けられる補間フレームの直前フレームである入力フレーム２上の画像領域Ｆ２Ａｒと、補間フレームの直後フレームである入力フレーム３上の画像領域Ｆ３Ａｒとの相関度を求める。

このようにして、用いる動きベクトルの候補とされた各動きベクトルについて、補間フレームの前後のフレームにおける対応する画像領域の相関度を求める。そして、求めた相関度が最も高い動きベクトルを、動きベクトル選択部２４は、補間領域の画素を補間する処理に用いる動きベクトルとして選択する。

なお、この実施の形態において、補間フレームの前後のフレームにおける動きベクトルで結びつけられる所定の大きさの画像領域の相関度は、上述もしたように、差分絶対値和を用いて判断するようにしている。なお、以下においては、差分絶対値和を「ＳＡＤ（Sum of Absolute Differences）」と略称する。

［動きベクトルの候補群の取得処理と動きベクトルの選択処理の詳細］
補間に用いる動きベクトルの候補群の取得処理と、取得された動きベクトルの候補群からの補間に用いる動きベクトルの選択処理とについてより詳細に説明する。

［動きベクトルの候補群の取得処理の詳細］
まず、この実施の形態の動きベクトル群作成部２３において行われる動きベクトルの候補群の取得処理について詳細に説明する。図４は、この実施の形態の動きベクトル群作成部２３において行われる動きベクトルの候補群を作成して取得する処理の詳細を説明するための図である。

図４は、画像メモリ２１に取り込まれた画像フレームを、概念的に真横から見るようにした場合を示している。この図４は、図２を用いて説明した状態と同様に、画像メモリ２１に、入力フレーム１、入力フレーム２、入力フレーム３が一時記憶されており、入力フレーム２と入力フレーム３との間に補間フレームを形成する場合を示している。

この例においては、図４に示すように、点線で示した補間フレーム上に補間領域Ａｒが補間領域決定手段によって決定されているとする。また、この例において補間領域Ａｒは、例えば、マクロブロックと同様に１６画素×１６画素の大きさの領域であるとする。

そして、図２を用いて上述したように、動きベクトル群作成部２３は、補間フレームの直前の画像フレーム間である入力フレーム１と入力フレーム２との間において、第１の動きベクトル（ＭＶ１）を求める。

この場合、動きベクトル群作成部２３は、入力フレーム１上において、補間フレーム上において決定された補間領域Ａｒと同じ位置に、第１の動きベクトル（ＭＶ１）を求めるための画像領域Ａｒ（１）を設定する。この実施の形態において、画像領域Ａｒ（１）は、例えば、１６画素×１６画素のマクロブロックと同じ大きさのものである。

そして、動きベクトル群作成部２３は、走査基準フレームである入力フレーム２上を走査するようにして、入力フレーム１上の画像領域Ａｒ（１）に対応する入力フレーム２上の画像領域を検出する。この場合、入力フレーム２上の走査範囲を、例えば補間フレーム上の補間領域の位置等に応じて、その走査範囲を選択するようにしてもよい。

これにより、図４に示したように、入力フレーム１上の画像領域Ａｒ（１）から入力フレーム２上の対応する画像領域Ｏｂ（１）への第１の動きベクトル（ＭＶ１）が求められる。

このように、入力フレーム１上において、補間フレーム上の決定された補間領域Ａｒと同じ位置の画像領域Ａｒ（１）から入力フレーム２上の対応する画像領域Ｏｂ（１）への動きベクトルが、目的とする第１の動きベクトル（ＭＶ１）である。

次に、動きベクトル群作成部２３は、補間フレームに隣接し、当該補間フレームを挟む、入力フレーム２と入力フレーム３との間において、第２の動きベクトル（ＭＶ２）を求める。

この場合、動きベクトル群作成部２３は、図４に示すように、入力フレーム２上において、補間フレーム上において決定された補間領域Ａｒと同じ位置に、第２の動きベクトル（ＭＶ２）を求めるための画像領域Ａｒ（２）を設定する。この実施の形態において、画像領域Ａｒ（２）もまた、例えば、１６画素×１６画素のマクロブロックと同じ大きさのものである。

そして、動きベクトル群作成部２３は、走査基準フレームである入力フレーム３上を走査するようにして、入力フレーム２上の画像領域Ａｒ（２）に対応する入力フレーム２上の画像領域を検出するようにする。この場合においても、第１の動きベクトル（ＭＶ１）を求めた場合と同様に、入力フレーム３上の走査範囲を、例えば補間フレーム上の補間領域の位置等に応じて、その走査範囲を選択するようにしてもよい。

これにより、図４に示したように、入力フレーム２上の画像領域Ａｒ（２）から入力フレーム３上の対応する画像領域Ｏｂ（２）への第２の動きベクトル（ＭＶ２）が求められる。

このように、入力フレーム２上において、補間フレーム上の決定された補間領域Ａｒと同じ位置の画像領域Ａｒ（２）から入力フレーム３上の対応する画像領域Ｏｂ（２）への動きベクトルが、目的とする第２の動きベクトル（ＭＶ２）である。

このようにして、動きベクトル群作成部２３は、補間フレームの直前のフレーム間と、補間フレームに隣接し当該補間フレームを挟むフレーム間とにおいて、それぞれ１つずつの補間処理に用いる動きベクトルの候補を取得するようにしている。

［動きベクトルの選択処理の詳細］
次に、この実施の形態の動きベクトル選択部２４において行われる動きベクトルの選択処理について詳細に説明する。図５は、この実施の形態の動きベクトル選択部２４において行われる動きベクトルの選択処理の詳細を説明するための図である。

動きベクトル選択部２４は、図４を用いて説明したように、動きベクトル群作成部２３により作成された第１の動きベクトル（ＭＶ１）と第２の動きベクトル（ＭＶ２）とを、補間フレームに隣接し当該補間フレームを挟むフレーム間に適用する。

この例において、図４に示し、また、図５にも示すように、補間フレームに隣接し当該補間フレームを挟むフレームは、補間フレームの直前の入力フレーム２と補間フレームの直後の入力フレーム３である。

そして、第１の動きベクトル（ＭＶ１）と第２の動きベクトル（ＭＶ２）の適用に際しては、補間領域決定部２２により決定された補間フレーム上の補間領域Ａｒを基準として適用する。

つまり、第１の動きベクトル（ＭＶ１）と第２の動きベクトル（ＭＶ２）とを、入力フレーム２と入力フレーム３との間に適用する。この場合、図５に示すように、いずれの動きベクトルも補間フレーム上の補間領域Ａｒの同じ位置（画素）を通るように適用する。

この後、図５に示したように、第１の動きベクトル（ＭＶ１）により結び付けられる入力フレーム２上の画像領域Ｐ１１と入力フレーム３上の画像領域Ｐ２１との相関値を求める。

同様に、図５に示したように、第２の動きベクトル（ＭＶ２）により結び付けられる入力フレーム２上の画像領域Ｐ２１と入力フレーム３上の画像領域Ｐ２２との相関値を求める。

上述したように、動きベクトルの取得に際しては、マクロブロックと同じ大きさの画像領域について求めるようにしている。このため、この実施の形態において、入力フレーム２上の画像領域Ｐ１１、Ｐ１２と、入力フレーム３上の画像領域Ｐ２１、Ｐ２２とは、いずれもマクロブロックと同じ大きさを有するものである。

そして、この実施の形態において、第１、第２の動きベクトルで結び付けられた画像領域同士の相関値は、ＳＡＤ（差分絶対値和）を用いるようにしている。ＳＡＤは、対応する２つの画像領域において、対応する画素同士の画素値の差分値を求め、これらの差分値の絶対値を求め、さらに、これらの絶対値の和を求めたものである。

このように、２つのフレーム間における対応する画像領域において、対応する位置の画素同士の差分の絶対値を求め、これらの総和を取ったものがＳＡＤである。したがって、２つのフレーム間において、対応する２つの画像領域を構成する画素が有する画素値が全く同じであれば、ＳＡＤは「０（ゼロ）」ということになる。このように、求めたＳＡＤがより小さい画像領域間がより相関度が高いということができる。

このため、動きベクトル選択部２４は、図５に示したように、第１の動きベクトル（ＭＶ１）によって結び付けられた入力フレーム２上の画像領域Ｐ１１と入力フレーム３上の画像領域Ｐ２１との間のＳＡＤ（第１のＳＡＤ）を求める。

さらに、動きベクトル選択部２４は、図５に示したように、第２の動きベクトル（ＭＶ２）によって結び付けられた入力フレーム２上の画像領域Ｐ１２と入力フレーム３上の画像領域Ｐ２２との間のＳＡＤ（第２のＳＡＤ）を求める。

そして、動きベクトル選択部２４は、求めた第１のＳＡＤと第２のＳＡＤとを比較し、より値が小さいＳＡＤを有する画像領域を結び付けている動きベクトルを、実際に補間領域の補間処理に用いる動きベクトルとして選択する。

例えば、第１のＳＡＤの値が、第２のＳＡＤの値より小さい場合には、第１の動きベクトル（ＭＶ１）を補間に用いる動きベクトルとして選択する。逆に、第２のＳＡＤの値が、第１のＳＡＤの値より小さい場合には、第２の動きベクトル（ＭＶ２）を補間に用いる動きベクトルとして選択する。

このように、この実施の形態の動きベクトル選択部２４は、動きベクトル群作成部２３によって作成された第１の動きベクトルと第２の動きベクトルの中から、補間に用いてより適切な動きベクトルを選択するようにしている。

［補間領域の画素データの生成処理］
この後、補間領域画像生成部２５は、動きベクトル選択部２４において選択された動きベクトルを用い、当該動きベクトルで関連付けられる前後のフレームの一方または両方の画素データを用いて、補間フレーム上の補間領域の画像データを生成する。

なお、補間領域画像生成部２５においては、例えば、動きベクトル選択部２４において、ＳＡＤの計算用に画像メモリ２１の該当フレームの該当画像領域からロードするようにした画素データを用いて、補間領域の画素データを作成するようにしてもよい。

この場合、動きベクトル選択部２４がＳＡＤの計算のためにロードした画素データを、例えば、所定のバッファに一時記憶し、これを補間領域画素生成部２５でも参照できるようにしておけばよい。

これにより、補間領域画素生成部２５は、画像メモリ２１から目的とするフレームの目的とする画像部分の画素データをロードする必要はない。したがって、多少複雑となるアドレス制御を行って目的とする画素データを画像メモリ２１からロードする必要が無いので、処理の負荷を低減することができる。

また、補間領域の画素データを生成する場合には、前後のフレームの対応する画素領域のいずれかの画素データを選択して用いる方法や、前後のフレームの対応する画素領域の画素データの平均を取る方法など、種々の補間処理方法を用いることが可能である。

［フレーム補間部２の動作のまとめ］
次に、この実施の形態のフレーム補間部２の動作について、図６〜図８のフローチャートを参照しながらまとめる。図６は、フレーム補間部２におい実行される目的とする補間フレームの形成処理（フレームの補間処理）について説明するためのフローチャートである。

図６に示す処理は、復号処理部１から復号された画像データが画像メモリ２１に供給されて一時記憶するようにされ、予め決められたフレーム数分の画素データが蓄積され、所定の位置に補間フレームを形成する場合に、フレーム補間部２において実行される。

ここで、補間フレームを形成する所定の位置は、例えば、各入力フレーム間に補間フレームを形成する場合、２フレームおきに補間フレームを形成する場合、３フレームおきに補間フレームを形成する場合など、目的に応じて種々の態様が考えられる。

そして、所定の位置に補間フレームを形成することが決定されると、まず、フレーム補間部２の補間領域決定部２１は、当該補間フレーム上において、補間画素を形成する所定の大きさの補間領域の位置を決定する（ステップＳ１）。

この場合、補間領域決定部２１は、上述もしたように、補間フレームにおいて、左上端部を原点とし、補間領域を当該左上端部から水平方向に補間領域が重複することがないように移動させるようにして、補間領域を順次に決定していく。そして、補間領域決定部２１は、補間領域が補間フレームの右端部に到達したときには、その下の補間領域行について同様にして順次に補間領域を決定して行く。

このように、補間領域決定部２１は、補間により形成する補間フレーム上において、実際に補間により画素データを形成する補間領域を、予め決められた順番で、補間フレームの全面をカーバーするように順次に移動させながら決定するようにしている。

補間領域決定部２１により補間フレーム上の補間領域が決定されると、動きベクトル群作成部２３は、補間フレームの位置と決定された補間領域との位置を考慮して、補間に用いる動きベクトルの候補群（動きベクトルの集合）を作成する（ステップＳ２）。

この後、動きベクトル選択部２４は、ステップＳ２において、動きベクトル群作成部２３によって作成された補間処理に用いる動きベクトルの候補群（動きベクトルの集合）の中から、実際に補間処理に用いる１つの動きベクトルを選択する（ステップＳ３）。

そして、補間領域画素生成部２５は、ステップＳ３において、動きベクトル選択部２４によって選択された動きベクトルを用いて、上述したように、ステップＳ１において決定された補間フレーム上の補間領域の画素でデータを生成（算出）する（ステップＳ４）。このステップＳ４において形成された画素データは、上述もしたように画像メモリ２１の補間フレームの画素データの記録領域に書き込まれ、利用できるようにされる。

この後、例えば、補間領域画素生成部２５は、目的とする補間フレーム上の全ての補間領域について画素データを生成したか否か、すなわち、目的とする補間フレームを構成する全ての画素データの生成を終了したか否かを判断する（ステップＳ５）。

ステップＳ５の判断処理において、目的とする補間フレームを構成する全ての画素データの生成を終了していないと判断したときには、ステップＳ１からの処理を繰り返すようにする。

すなわち、補間フレーム上の次の補間領域を決定し（ステップＳ１）、その補間領域について動きベクトルの候補群を作成する（ステップＳ２）。そして、動きベクトルの候補群の中から補間処理に用いる動きベクトルを選択し（ステップＳ３）、これを用いて補間領域の画素データを生成する（ステップＳ４）という一連の処理が繰り返すようにされる。

このようにして、フレーム補間部２の機能により、動画像データの目的する位置に補間フレームを補って、目的とする動画像データを形成することができるようにされる。

［動きベクトルの集合の作成処理］
次に、図６のステップＳ２において実行される、補間処理に用いる動きベクトルの候補群の作成処理、すなわち、動きベクトルの集合の作成処理について説明する。図７は、図６のステップＳ２において実行される動きベクトルの集合の作成処理を説明するためのフローチャートである。

上述もしたように、この実施の形態のフレーム補間部２の動きベクトル群作成部２は、補間フレームの直前の入力フレーム間と、補間フレームに隣接し当該補間フレームを挟むフレーム間とにおいて、それぞれ１つずつの動きベクトルの候補を作成する。

このため、動きベクトル群作成部２３は、図２、図４を用いて説明したように、まず、入力フレーム１における補間領域と同位置についての第１の動きベクトル（ＭＶ１）を求める（ステップＳ２１）。

すなわち、ステップＳ２１においては、入力フレーム２が走査基準フレームとされ、上述もしたように、入力フレーム１上の補間領域と同位置の画像領域についての入力フレーム２に対する動きベクトルが第１の動きベクトル（ＭＶ１）として求められる。

次に、動きベクトル群作成部２３は、図２、図４を用いて説明したように、入力フレーム２における補間領域と同位置についての第２の動きベクトル（ＭＶ２）を求める（ステップＳ２２）。

すなわち、ステップＳ２２においては、入力フレーム３が走査基準フレームとされ、上述もしたように、入力フレーム２上の補間領域と同位置の画像領域についての入力フレーム３に対する動きベクトルが第２の動きベクトル（ＭＶ２）として求められる。

このように、この実施の形態の動きベクトル群作成部２３においては、補間フレームの位置に応じて決まる２つの入力フレーム間において、補間領域決定部２２により決定された補間領域の位置に応じた画像領域についての動きベクトルが求めるようにされる。

［動きベクトルの選択処理］
次に、図６のステップＳ３において実行される、作成された動きベクトルの集合から補間処理に用いる１つの動きベクトルを選択する場合の処理について説明する。図８は、図６のステップＳ３において実行される動きベクトルの集合から補間処理に用いる１つの動きベクトルの選択処理を説明するためのフローチャートである。

まず、動きベクトル選択部２４は、図６のステップＳ２の処理により作成された複数の動きベクトルを、補間フレームに隣接し、当該補間フレームを挟むフレーム間に適用する（ステップＳ３１）。

上述した例に従えば、第１、第２の動きベクトルを、補間フレームを挟む入力フレーム２と入力フレーム３との間に適用する。この場合、いずれの動きベクトルも、補間フレーム上の補間領域の同じ位置を通るように適用する。

そして、動きベクトル選択部２４は、入力フレーム２と入力フレーム３との間に適用した第１の動きベクトルによって結び付けられる画像領域の相関値として第１のＳＡＤ（差分絶対値和）を求める（ステップＳ３２）。

同様に、動きベクトル選択部２４は、入力フレーム２と入力フレーム３との間に適用した第２の動きベクトルによって結び付けられる画像領域の相関値として第２のＳＡＤ（差分絶対値和）を求める（ステップＳ３３）。

そして、動きベクトル選択部２４は、ステップＳ３２で求めた第１のＳＡＤ（第１の相関値）と、ステップＳ３３で求めた第２のＳＡＤ（第２の相関値）とを比較し、相関の高い方の動きベクトルを補間に用いる動きベクトルとして選択する（ステップＳ３４）。

なお、ステップＳ３４においては、上述もしたように、ＳＡＤの値がより小さい方が、動きベクトルで結び付けられた画像領域間の相関度が高いと判断することができる。このため、第１、第２のＳＡＤの内、値の小さいＳＡＤとなった動きベクトルを、補間に用いる動きベクトルとして選択する。

このように、この実施の形態の動きベクトル選択部２４においては、動きベクトル群作成部２３により作成された複数の動きベクトルを、補間フレームを挟む入力フレーム間に適用する。

そして、複数の動きベクトルのそれぞれが結び付ける、それぞれの適用フレームにおける画像領域の相関度に応じて、補間処理に用いて最適な動きベクトルを選択することができるようにしている。

［実施の形態の効果］
上述したように、補間フレームの位置と補間フレーム上にいて決定される補間領域の位置とに応じて、複数のフレーム間において動きベクトルの候補群を作成し、その中から補間処理に用いて最適な動きベクトルを選択して補間処理を行えるようにしている。

このため、補間フレームを形成する従来の技術のように、補間フレームごとにブロックマッチングなどで動きベクトルを計算する必要がない。このため、動きベクトルを求めるための探索範囲が広く、かつ、補間フレーム数が多い場合に、従来の手法に比べて補間フレーム用の動きベクトルを計算する処理量を少なくすることができる。

したがって、補間フレームを迅速かつ適切に形成し、これを用いるようにすることができる。これにより、例えば、動画像データのレート変換を行う場合や、既存のフレーム単位の画像において、存在しないフレームを補う必要のある種々の場合において、この発明を用いることにより、迅速かつ適切に目的とする画像位置に、補間フレームを形成して挿入することができる。

［変形例１］
なお、上述の実施の形態においては、補間フレームの直前の入力フレーム間と、補間フレームに隣接し当該補間フレームを挟む入力フレーム間とにおいて、補間フレーム上に設定した補間領域の位置に応じて、それぞれ１つの動きベクトルを取得するようにした。

しかし、これに限るものではない。例えば、補間フレームの直前の入力フレーム間（上述した例の場合、入力フレーム１と入力フレーム２との間）において、複数の動きベクトルを取得し、この中から１つの動きベクトルを選択するようにしてもよい。

また、補間フレームに隣接し当該補間フレームを挟む入力フレーム間（上述した例の場合、入力フレーム２と入力フレーム３との間）において、複数の動きベクトルを取得し、この中から１つの動きベクトルを選択するようにしてもよい。

また、補間フレームの直前の入力フレーム間と、補間フレームに隣接し当該補間フレームを挟む入力フレーム間とにおいて、補間フレーム上に設定した補間領域の位置に応じて、それぞれ複数の動きベクトルを取得するようにしてもよい。

図９は、複数のフレーム間のそれぞれにおいて、複数の動きベクトルを取得する場合の一例について説明するための図である。この図９に示した例も、図２、図４を用いて説明した実施の形態の場合と同様に、画像メモリ２１に入力フレーム１、入力フレーム２、入力フレーム３が格納された状態にある場合を示している。

この図９に示した例の場合にも、点線のフレームで示したように、入力フレーム２と入力フレーム３との間に、補間フレームを形成するものとする。そして、図９に示したように、補間領域決定部２２により、補間フレーム上に目的とする補間領域Ａｒが決定するようにされたとする。

この図９に示した例の場合にも、補間フレームの直前のフレーム間と、補間フレームに隣接し当該補間フレームを挟むフレーム間において、動きベクトルを求める。すなわち、図９に示したように、入力フレーム１と入力フレーム２との間で動きベクトルを求めると共に、入力フレーム２と入力フレーム３との間で動きベクトルを求める。

そして、この例の場合には、入力フレーム１と入力フレーム２との間と入力フレーム２と入力フレーム３との間とのそれぞれにおいて、複数の動きベクトルの候補群を求めるようにしている。

具体的には、図９に示したように、入力フレーム１においては、補間フレーム上に設定された補間領域Ａｒと同じ位置の画像領域Ａｒ（１１）について動きベクトルを求める点は上述した実施の形態の場合と同様である。これに加え、図９に示したように、画像領域Ａｒ（１１）の周囲の画像領域Ａｒ（１２）〜Ａｒ（１９）についての動きベクトルも求めるようにする。

したがって、入力フレーム１と入力フレーム２との間においては、画像領域Ａｒ（１１）〜Ａｒ（１９）についての９つの動きベクトルＭＶ１１〜ＭＶ１９の候補からなる動きベクトルの候補群（動きベクトルの集合）が形成される。

同様に、入力フレーム２においては、補間フレーム上に設定された補間領域Ａｒと同じ位置の画像領域Ａｒ（２１）について動きベクトルを求める点は上述した実施の形態の場合と同様である。これに加え、図９に示したように、画像領域Ａｒ（２１）の周囲の画像領域Ａｒ（２２）〜Ａｒ（２９）についての動きベクトルも求めるようにする。

したがって、入力フレーム２と入力フレーム３との間においては、画像領域Ａｒ（２１）〜Ａｒ（２９）の９つの動きベクトルＭＶ２１〜ＭＶ２９の候補からなる動きベクトルの候補群（動きベクトルの集合）が形成される。

そして、上述した実施の形態の場合と同様に、これら１８個の動きベクトルＭＶ１１〜ＭＶ１９、ＭＶ２１〜ＭＶ２９のそれぞれを、上述した実施の形態の場合とどうように、補間フレームを挟む入力フレーム２と入力フレーム３との間に適用する。

この後、各動きベクトルについて、そのそれぞれが結び付ける入力フレーム２上の画像領域と入力フレーム３上の画像領域の相関値を求め、一番相関の高い（相関値が一番小さな）動きベクトルを、補間処理に用いる動きベクトルとして選択する。

このように、補間フレームの位置に応じて決められる複数のフレーム間において、複数の動きベクトルを求め、その中から最適なものを選択するようにすることができる。このように、より多くの動きベクトルを用いることにより、より適切な動きベクトルを選択することが可能である。

なお、動きベクトルの数を多くするとそれだけ処理の負担も大きくなるので、フレーム補間部２の性能等に応じて、上述もしたように、いずれか一方のフレーム間において、複数の動きベクトルを求め、これから選択するようにしてももちろんよい。

また、図９に示した例の場合には、補間領域に対して、９つの動きベクトルを求めるようにしたが、これに限るものではない。例えば、補間領域に対応する位置の画像領域に加えて、その左右の画像領域の動きベクトルを求めるようにしたり、その上下の画像領域の動きベクトルを求めるようにしたりするなど、適宜の位置の画像領域について動きベクトルを求めるようにしてもよい。

また、補間領域に対応する位置の画像領域の動きベクトルは求めずに、補間領域に対応する位置の画像領域の周囲の画像領域の動きベクトルを求め、この中から補間処理に用いる動きベクトルを選択するようにしてもよい。

また、上述した実施の形態においては、順次に決定される補間領域毎に、入力フレームの同じ位置の画像領域についての動きベクトルを求めるようにしたがこれに限るものではない。

目的とする入力フレーム間において、決定された補間領域と同位置の画像領域の周囲の所定の画像領域の動きベクトルを求めるようにしてもよいことは、図９を用いて上述した通りである。

さらに、決定された補間領域と同位置の画像領域の動きベクトルの示す先の位置の動きベクトルを集合に含めるようにしてもよい。

例えば、図２、図４、図９に示した例に従えば、まず、入力フレーム１上の補間領域と同位置の画像領域についての入力フレーム２への第１の動きベクトルを求める。この状態で、第１の動きベクトルにより指示される入力フレーム２上の画像領域についての入力フレーム３への第２のベクトルを求める。

このようにして、決定された補間領域に対応するフレーム上の位置を基点として、順番に求められる複数の動きベクトルを、補間に用いる動きベクトルの候補群に含めるようにしてもよい。

この場合、入力フレーム１と入力フレーム２との間の動きベクトル、入力フレーム２と入力フレーム３との間の動きベクトルに限るものではない。さらに、入力フレーム３とその次の入力フレーム４との間の動きベクトルを求めるようにするなど、起点となるフレーム位置と終点となるフレーム位置とは適宜の位置とすることが可能である。

また、１つの動きベクトルに基づいて、連続的に異なるフレーム間の動きベクトルを求めるものに限るものではない。例えば、図９に示したように、入力フレーム１と入力フレーム２との間において複数の動きベクトルを求める。この後、その求めた複数の動きベクトルが指示する入力フレーム２上のそれぞれの画像領域から入力フレーム３への複数の動きベクトルを連続的にもとめるようにしてももちろんよい。

また、上述した実施の形態においては、図２、図４を用いて説明したように、動きベクトル群作成部２３は、補間フレームの直前のフレーム間と、補間フレームに隣接し当該補間フレームを挟むフレーム間とにおいて動きベクトルを求めるようにした。しかし、これに限るものではない。

図１０は、動きベクトルを求めるフレームの組み合わせの一例について説明するための図である。図１０に示すように、補間フレームの直前の入力フレーム間の動きベクトル（ＭＶ１）や、補間フレームに隣接し当該補間フレームを挟む入力フレーム間の動きベクトル（ＭＶ２）を用いる点は上述した通りである。

さらに、図１０に示すように、補間フレームの直前のフレームである入力フレーム２より前の入力フレーム０と入力フレーム１との間で求める動きベクトル（ＭＶ３）を用いるようにしてもよい。また、補間フレームの直後のフレーム間である入力フレーム３と入力フレーム４との間で求める動きベクトル（ＭＶ４）を用いるようにしてもよい。

また、図１０に示すように、例えば、入力フレーム０と入力フレーム２との間で求める動きベクトル（ＭＶ５）や、入力フレーム２と入力フレーム４との間で求める動きベクトル（ＭＶ６）といった動きベクトルを用いるようにしてもよい。

補間に用いる動きベクトルの候補は、補間フレームの位置や補間フレーム上に設定される補間領域の位置を考慮し、確からしい動きベクトルを求められる範囲において、種々の対応で補間に用いる動きベクトルの候補を求めることができる。

また、補間に用いる動きベクトルの候補群の中から実際に補間に用いる１つ動きベクトルを選択する場合に、上述した実施の形態では、各動きベクトルにより結び付けられることなるフレーム上の画像領域間の相関値に基づいて選択するようにした。

しかしこれに限るものではない。例えば、相関値算出に際し、画素領域の近傍領域を走査し、近傍領域を含めて相関値を算出することで、動きベクトルの値を修正してもよい。すなわち、例えば、マクロブロックと同じ大きさの画像領域を用いるようにした場合であっても、更にその周囲の画素をも考慮して相関値を求めることにより、より正確な相関値を算出できる。

なお、相関値としては、上述したＳＡＤ（差分絶対値和）の他、差分二乗和（ＳＳＤ（Sum of Squared Differences）や単なる差分値の和を用いるなど、画素構成された２つの画像領域の相関度を示すことが可能なものを用いることが可能である。

［変形例２］
上述した実施の形態のフレーム補間部２は、補間フレームを形成するに当たり、補間フレームの位置に応じて決まる１つ以上のフレーム間における２以上の動きベクトルの中から、補間処理に用いる１つの動きベクトルを選択して補間処理を行うものである。

このため、目的とするフレーム間における動きベクトルが予め計算されていれば、フレーム補間部２において動きベクトルを求める必要が無くなり、フレーム補間処理全体を処理コスト少なく実現することができる。

そこで、この変形例２においては、例えば、ビデオストリームのデコーダで抽出される動きベクトルをそのまま利用することで、フレーム補間装置全体の回路規模や消費電力を低く抑えるようにしたものである。

図１１は、この変形例２のフレーム補間部２Ａを説明するためのブロック図である。図１１において、図１に示したフレーム補間部２と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については重複するので省略する。

図１１において、復号処理部１Ａは、図１に示した復号処理部１と同様に、所定の動画符号化方式で符号化された動画像データを復号処理して、符号化前の元の動画像データを復元し、この復元した動画像データ（フレーム単位の画素データ）をフレーム補間部Ａ２に供給する機能を有するものである。

そして、この変形例２における復号処理部１Ａは、動画像データの復号処理の過程で抽出される動きベクトルを、詳しくは後述するフレーム補間部２Ａの動きベクトル群抽出部２６に供給するものである。

この場合に、復号処理部１Ａから動きベクトル群抽出部２６に供給される動きベクトルは、どのフレームのどの画像領域の動きベクトルであるのかが区別できるようにされている。

そして、この変形例２のフレーム補間部２Ａは、図１と図１１とを比較すると分るように、動きベクトル群作成部２５に替えて、動きベクトル群抽出部２６が設けられたものである。

この変形例２のフレーム補間部２Ａにおいても、補間領域決定部２２は、補間により形成する補間フレーム上の補間領域を決定し、補間フレーム上のどこに補間領域を決定したかを動きベクトル群抽出部２６に通知する。

動きベクトル群抽出部２６は、上述もしたように、復号処理部１Ａにおいて抽出された動きベクトルが、どのフレームのどの画像領域についてのものであるかが区別可能な態様で供給されている。

このため、動きベクトル抽出部２６は、補間フレームの位置と補間フレーム上に決定された補間領域の位置とに応じて、目的とするフレーム間における目的とする画像領域についての動きベクトルを抽出する。

ここで、目的とするフレーム間は、例えば、図２、図４を用いて説明したように、補間フレームの直前のフレーム間や補間フレームに隣接し当該補間フレームを挟むフレーム間などである。また、目的とする画像領域は、例えば、補間領域決定部２２によって決定された補間フレーム上の補間領域と同位置の所定の大きさの画像領域である。

したがって、図１１に示しフレーム補間部２Ａにおいては、動きベクトル抽出部２６によって、復号処理部１Ａから供給される動きベクトルの中から、目的とするフレーム間における目的とする画像領域の動きベクトルを複数抽出することができる。

そして、動きベクトル抽出部２６は、抽出した動きベクトルを動きベクトル選択部２４に供給する。動きベクトル選択部２４は、上述もしたように、補間に用いる１つの動きベクトルを選択して、これを補間領域生成部２５に通知する。

補間領域生成部２５は、動きベクトル選択部２４において選択された動きベクトルと、補間により形成しようとしている補間フレームの前後の画像フレームの一方または両方を用いて、今回の補間対象の補間領域の画素を生成する。

このように、図１１に示したフレーム補間部２Ａもまた、図１に示したフレーム補間部２と同様の機能を実現する。すなわち、補間フレームを形成するに当たり、補間フレームの位置に応じて決まる１つ以上のフレーム間における２以上の動きベクトルの中から、補間処理に用いる１つの動きベクトルを選択して補間処理を行う。

しかし、図１１に示した変形例２のフレーム補間部２Ａにおいては、目的とする動きベクトルを、操作基準フレームを走査して求める必要はない。復号処理部１Ａから供給される動きベクトルの中から必要な動きベクトルを抽出して、これを用いるようにすることができる。

したがって、目的とする動きベクトルを求めるための処理を行う必要は無いので、処理の負荷を軽減したフレーム補間部２Ａを実現することができる。

なお、この変形例２においては、復号処理部１Ａにおいて抽出された動きベクトルを用いるようにしたが、これに限るものではない。所定の動画符号化方式で動画データを符号化するために符号化処理部（エンコーダ）が搭載されており、この符号化処理部のために動き予測処理部が搭載されている場合もある。

このような場合には、当該動き予測処理部で求めた動きベクトルをそのまま、復号処理後のフレーム補間処理に用いるようにすることも可能である。したがって、エンコーダ機能、デコーダ機能、フレーム補間機能などの複数の機能を有する装置の場合、各機能を実現する場合に動き予測部などを共通に用いることができるので、装置全体の回路規模を削減できると言う効果も奏することができる。

［実施の形態のフレーム補間部の構成のまとめ］
上述した実施の形態のフレーム補間部２は、
（１）．番号付けが可能な複数の画像フレームデータが入力される装置において、ある番号の入力画像フレーム（基準フレーム）と他の番号の入力画像フレーム（参照フレーム）との間で所定の空間領域の動きベクトルを算出する機能を有し、上記動きベクトルを用いてある連続した２フレーム間の非存在フレーム（補間フレーム）中の所定の画像領域を補間する機能を有し、上記動きベクトルの集合の中から、補間フレームの所定の空間領域を基準とした動きベクトルを選択するものである。

（２）．上記（１）において、各動きベクトルごとに相関値を算出することにより、補間フレームの所定の空間領域を基準とした動きベクトルを選択するものである。

（３）．上記（２）において、補間フレームの直前および直後の番号の入力画像フレームを用いて相関値を算出するものである。

（４）．上記（３）において、補間フレームの所定の空間領域を基準とした動きベクトルの示す、補間フレームの直前および直後の番号の入力画像フレーム上の領域同士の相関値を算出するものである。

（５）．上記（４）において、補間フレームの直前および直後の入力画像フレーム上の領域の位置を移動して近傍位置での相関値を求め、最も相関値が高い位置の領域を示す動きベクトルを選択することができるものである。

（６）．上記（１）において、補間フレームより番号の小さい入力画像フレームの動きベクトルの集合から少なくとも１つの動きベクトルを選び、補間フレームより番号の大きい入力画像フレームの動きベクトルの集合から少なくとも１つの動きベクトルを選んで動きベクトルの集合を作ることができるものである。

（７）．上記（１）において、動きベクトルを求める補間フレームの所定空間領域の位置と同じ位置の他の入力画像フレームの動きベクトルから、動きベクトルの集合を作ることができるものである。

また、上述した実施の形態の変形例２のフレーム補間部２Ａは、ビデオデコーダ（復号処理部１Ａ）において抽出される動きベクトルを利用して、動きベクトルの集合を作ることができるものである。

そして、動きベクトル群を作成する構成がことなるのみで、図１に示したフレーム補間部２と図１１に示したフレーム補間部２Ａとの対応する部分の構成、機能は同様である。

［この発明の方法、プログラム］
図１〜図１１を用いて説明したフレーム補間部２、２Ａにおいて行われる目的とする補間フレームの形成処理（フレームの補間処理）は、この発明による方法が適用されたものである。

また、フレーム補間部２の補間領域決定部２２、動きベクトル群作成部２３、動きベクトル選択部２５、補間領域画素生成部２５、更に、フレーム補間部２Ａの動きベクトル群抽出部２６の各機能は、コンピュータによって実現することができる。

すなわち、フレーム補間部２、２Ａは、例えばマイクロコンピュータなどによって構成することも可能である。したがって、図６〜図８を用いて説明した目的とする補間フレームの形成処理（フレームの補間処理）は、例えば、マイクロコンピュータの構成とされたフレーム補間部２によって実行されるプログラムによって行うようにすることもできる。

このように、図６〜図８に示したフローチャートにしたがって、コンピュータの構成とされたフレーム補間部２において実行可能なように構成されたプログラムが、この発明のプログラムである。

なお、図７、図８を用いて説明した処理は、図６に示したステップＳ２、ステップＳ３において行われる処理の一例である。このため、動きベクトルを求めるフレーム間の位置や数、求める動きベクトルの位置や数に応じて、図６に示したステップＳ２、ステップＳ３において行われる処理は異なるものとなる。

［その他］
なお、上述した実施の形態において、動きベクトルを求める場合の画像領域を、例えば、１６画素×１６画素のマクロブロックと同様の大きさの領域であるものとして説明したが、これに限るものではない。動きベクトルを適切に求めることが可能な大きさの画像領域であれば、適宜の大きさの画像領域とすることができる。

また、動きベクトルを求めるに際しては、目的とする画像領域の動きベクトルと、その周囲の所定の大きさの領域の動きベクトルを求めるようにし、その平均の動きベクトルを目的する画像領域についての動きベクトルとして用いるようにすることもできる。

また、上述した実施の形態においては、時系列順に形成されたフレーム画像からなるいわゆる動画シーケンスにおいてのフレーム補間処理に適用した場合を例にして説明したが、これに限るものではない。

例えば、図１３を用いて説明したように、カメラの位置に応じて順序付けされるフレーム画像が存在する場合において、それらのフレーム画像の間にフレーム画像を補間する場合にもこの発明を適用することができる。

すなわち、時間的あるいは場所的（位置的）に順序付けられるフレーム画像が存在し、それらのフレーム画像間に存在しないフレーム画像を補間処理により形成する場合に、この発明を適用することが可能である。

１…復号処理部、２…フレーム補間部、２１…画像メモリ、２２…補間領域決定部、２３…動きベクトル群作成部、２４…動きベクトル選択部、２５…補間領域画素生成部、１Ａ…復号処理部、２Ａ…フレーム補間部、２６…動きベクトル群抽出部

Claims (7)

1. 隣接する画像フレーム間に補間する補間フレームについて、所定の大きさの補間領域を決定する決定手段と、
   前記補間フレームの位置に応じて決められる１以上の画像フレーム間において、前記決定手段により決定された前記補間領域の位置を基準として、２以上の動きベクトルを取得する取得手段と、
   前記取得手段により取得された２以上の前記動きベクトルを、前記補間フレームを挟む２つの画像フレーム間に適用した場合に、各動きベクトルで結び付けられるそれぞれの画像フレーム上の所定の大きさの画像領域同士の相関度に基づいて、用いる動きベクトルを選択する選択手段と、
   前記選択手段により選択された前記動きベクトルを用いて、前記補間フレームの前記補間領域の画素データを形成して補間する形成手段と
   を備える画像フレーム補間装置。
2. 請求項１に記載の画像フレーム補間装置であって、
   前記取得手段は、前記補間フレームの位置に応じて決められる１以上の画像フレーム間において、前に位置する参照フレーム上における前記補間フレーム上の前記補間領域と同位置の前記所定の大きさの画像領域についての動きベクトルを取得することを特徴とする画像フレーム補間装置。
3. 請求項１または請求項２に記載の画像フレーム補間装置であって、
   前記取得手段は、前記補間フレームの位置に応じて決められる１以上の画像フレーム間において、前に位置する参照フレーム上における前記補間フレーム上の前記補間領域と同位置の前記画像領域の周囲の所定の大きさの画像領域のそれぞれについて、動きベクトルを取得することを特徴とする画像フレーム補間装置。
4. 請求項１に記載の画像フレーム補間装置であって、
   前記取得手段は、少なくとも、前記補間フレームよりも前に位置する画像フレームに対する動きベクトルと、前記補間フレームより後に位置する画像フレームに対する動きベクトルとを取得する画像フレーム補間装置。
5. 請求項１に記載の画像フレーム補間装置であって、
   前記取得手段は、符号化された画像データを復号してフレーム単位の画像データを復号する復号手段において抽出される動きベクトルから、必要となる動きベクトルを取得する画像フレーム補間装置。
6. 決定手段が、隣接する画像フレーム間に補間する補間フレームについて、所定の大きさの補間領域を決定する決定工程と、
   前記補間フレームの位置に応じて決められる１以上の画像フレーム間において、前記決定工程において決定した前記補間領域の位置を基準として、取得手段が、２以上の動きベクトルを取得する取得工程と、
   前記取得工程において取得した２以上の前記動きベクトルを、前記補間フレームを挟む２つの画像フレーム間において、前記補間フレームの前記補間領域を通るように適用した場合に、各動きベクトルで結び付けられるそれぞれの画像フレーム上の所定の大きさの画像領域同士の相関度に基づいて、選択手段が、用いる動きベクトルを選択する選択工程と、
   前記選択工程において選択した前記動きベクトルを用いて、形成手段が、前記補間フレームの前記補間領域の画素データを形成して補間する形成工程と
   を有する画像フレーム補間方法。
7. 画像データを処理する画像処理装置に搭載されたコンピュータに、
   隣接する画像フレーム間に補間する補間フレームについて、所定の大きさの補間領域を決定する決定ステップと、
   前記補間フレームの位置に応じて決められる１以上の画像フレーム間において、前記決定ステップにおいて決定した前記補間領域の位置を基準として、２以上の動きベクトルを取得する取得ステップと、
   前記取得ステップにおいて取得した２以上の前記動きベクトルを、前記補間フレームを挟む２つの画像フレーム間において、前記補間フレームの前記補間領域を通るように適用した場合に、各動きベクトルで結び付けられるそれぞれの画像フレーム上の所定の大きさの画像領域同士の相関度に基づいて、用いる動きベクトルを選択する選択ステップと、
   前記選択ステップにおいて選択した前記動きベクトルを用いて、前記補間フレームの前記補間領域の画素データを形成して補間する形成ステップと
   を実行するコンピュータ読み取り可能な画像フレーム補間プログラム。

Images