JP2015177341A - フレーム補間装置、及びフレーム補間方法 - Google Patents

Abstract

【課題】自然な画像の補間フレームを生成するフレーム補間装置等を提供する。【解決手段】フレーム補間装置は、フレーム間の画像の動きを示す動きベクトルと２枚のフレームの間に挿入する補間フレームの時間位置とに基づいて算出される補間動きベクトルを単位領域毎に補間フレームに割り当てる動きベクトル補間部と、補間動きベクトルに基づいて順方向動き補償画像と逆方向動き補償画像とを生成する動き補償画像生成部と、単位領域１つにつき１つの若しくは１対の前記補間動きベクトルが割り当てられた通常領域と衝突領域及び穴あき領域の少なくとも一方の領域から構成される非通常領域とで異なる重みで順方向動き補償画像及び逆方向動き補償画像の対応する領域同士を平均することにより補間フレームを生成する補間フレーム生成部と、を備える。【選択図】図１

Description

本発明の実施態様は、フレーム補間装置、及びフレーム補間方法に関する。

フレーム間に補間フレームを挿入して映像を滑らかにする技術が知られている。補間フレームを生成する装置は、通常、映像を探索して得られた動きベクトルに基づいて補間フレームを生成する。

特開２０１０−１６６３８６号公報 特開平９−２１４８９９号公報 特開２００５−２０４０６６号公報

動く物体が撮影された映像には、多くの場合、陰面領域が発生する。「陰面領域」とは、オブジェクトとその背後にある背景等が重なって、一時的に、オブジェクトの背後にある背景等が見えなくなっている領域である。陰面領域では、オブジェクトの背後にある背景等の画像情報が失われているため、正しい動きベクトルが求まらないことが多い。正しい動きベクトルが求まらない場合、補間フレームを生成する装置が生成する補間フレームは不自然な画像となる。

本発明が解決しようとする課題は、自然な画像の補間フレームを生成するフレーム補間装置、及びフレーム補間方法を提供することである。

上記課題を達成するために、実施形態のフレーム補間装置は、２枚のフレーム間の画像の動きを示す動きベクトルと前記２枚のフレームの間に挿入する補間フレームの時間位置とに基づいて、前記２枚のフレームと前記補間フレームとの間の画像の動きを示す補間動きベクトルを算出し、算出した前記補間動きベクトルを単位領域毎に前記補間フレームに割り当てる動きベクトル補間部と、前記２枚のフレームのうちの順方向側にあるフレームの画像情報と前記補間動きベクトルとに基づき生成される順方向動き補償画像と、前記２枚のフレームのうちの逆方向側にあるフレームの画像情報と前記補間動きベクトルとに基づき生成される逆方向動き補償画像と、を生成する動き補償画像生成部と、前記単位領域毎に１つの若しくは１対の前記補間動きベクトルが割り当てられた通常領域と、前記単位領域毎に複数の若しくは複数対の前記補間動きベクトルが割り当てられた衝突領域及び前記補間動きベクトルが割り当てられなかった穴あき領域の少なくとも一方の領域から構成される非通常領域と、で異なる重みで前記順方向動き補償画像及び前記逆方向動き補償画像の対応する領域同士を平均することにより前記補間フレームを生成する補間フレーム生成部と、を備える。

実施形態のフレーム補間装置のブロック図である。 実施形態の動き探索処理を示すフローチャートである。 基準フレームが複数のブロックに分割される様子を示す図である。 探索対象ブロックの類似部分が参照フレームの中から探索される様子を示す図である。 入力フレーム（参照フレームと基準フレーム）の一例を示す図である。 図５に示す入力フレームの部分拡大図である。 基準フレームに動きベクトルが割り当てられた様子を示す図である。 フレーム補間装置が備える動き補償部の機能を示す機能ブロック図である。 ２枚の入力フレームの間に３枚の補間フレームが挿入された様子を示す図である。 動きベクトルと補間動きベクトルの関係を示す図である。 実施形態の動き補償処理を示すフローチャートである。 実施形態の動きベクトル補間処理を示すフローチャートである。 基準フレームに割り当てられた動きベクトルに基づいて補間動きベクトルが算出される様子を示す図である。 穴あき領域と衝突領域を示す図である。 補間フレームに補間動きベクトルが割り当てられた様子を示す図である。 実施形態の動き補償画像生成処理を示すフローチャートである。 逆方向動き補償画像が生成される様子を示す図である。 逆方向動き補償画像の一例を示す図である。 順方向動き補償画像が生成される様子を示す図である。 順方向動き補償画像の一例を示す図である。 実施形態の補間フレーム生成処理を示すフローチャートである。 非通常領域の平均に使用する重み係数をシフトさせなかった場合に生成される補間フレームの一例を示す図である。 近傍画素の一例を示す図である。 確信度と重み係数との関係を示す図である。 非通常領域の平均に使用する重み係数をシフトさせた場合に生成される補間フレームの一例を示す図である。 近傍画素の比率と確信度との関係を示す図である。

以下、発明を実施するための形態について図面を参照しながら説明する。なお、図中、同一または同等の部分には同一の符号を付す。

図１は、本実施形態のフレーム補間装置１００のブロック図である。フレーム補間装置１００は、映像を構成する複数のフレーム（以下、「入力フレーム」という。）の間に挿入するフレーム（以下、「補間フレーム」という。）を生成する。フレーム補間装置１００は、制御部１１０と、記憶部１２０と、入力部１３０と、動き探索部１４０と、動き補償部１５０と、出力部１６０と、を備える。

制御部１１０は、プロセッサ等の処理装置から構成される。制御部１１０は不図示のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）に格納されているプログラムに従って動作することで、フレーム補間装置１００の各部を制御する。

記憶部１２０は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、半導体メモリ、ハードディスク等のデータ読み書き可能な記憶装置から構成される。記憶部１２０は、フレームメモリ領域１２１、動きベクトル記憶領域１２２、補間フレーム記憶領域１２３等の各種記憶領域を含む。フレームメモリ領域１２１は、入力部１３０で取得する映像信号を格納する。また、動きベクトル記憶領域１２２は、動き探索部１４０で生成される探索結果を記憶する。また、補間フレーム記憶領域１２３は、動き補償部１５０で生成される補間フレームを格納する。

入力部１３０は、シリアルインタフェース、パラレルインタフェース等の入力インタフェースから構成される。入力部１３０は、入力された映像信号をフレームメモリ領域１２１に格納する。映像信号は、例えば０．１秒間隔の入力フレームから構成されているものとする。なお、以下の説明では、理解を容易にするため、入力フレームには、Ｆ［０］、Ｆ［１］、Ｆ［２］、・・・・と、時間順にフレーム番号が付されているものとする。

動き探索部１４０は、入力フレームの動き探索を実行する。探索方法としては、例えばブロックマッチング法や勾配法などが使用可能である。動き探索部１４０は、動きベクトルや評価値等の探索結果を動きベクトル記憶領域１２２に格納する。

動き補償部１５０は不図示のＲＯＭやＲＡＭに格納されているプログラムに従って動作することで、「動き補償処理」を含む種々の動作を実現する。動き補償処理は、動き探索部１４０の探索結果に基づいて補間フレームを生成する。動き補償部１５０は、生成された補間フレームを補間フレーム記憶領域１２３に格納する。なお、動き補償部１５０は、その機能を１つのプロセッサで実現してもよいし、複数のプロセッサの協働により実現してもよい。

出力部１６０は、シリアルインタフェース、パラレルインタフェース等の出力インタフェースから構成される。出力部１６０は、補間フレーム記憶領域１２３に格納にされている補間フレームを出力する。

次に、フレーム補間装置１００の動作について説明する。
フレーム補間装置１００の動作は、動き探索部１４０で実行される「動き探索処理」と、動き補償部１５０で実行される「動き補償処理」と、に分けられる。最初に、動き探索処理について説明する。

動き探索部１４０は、制御部１１０から動き探索処理の開始が命令されると、処理を開始する。動き探索部１４０は、２枚の入力フレームの間の画像の動きを探索する。なお、以下の説明では、動き探索処理の開始命令と同時に、制御部１１０から探索対象となる２枚の入力フレームのフレーム番号が指定されるものとする。このとき、制御部１１０から指定されるフレーム番号は、Ｆ［ｎ−１］及びＦ［ｎ］であるものとする。

図２は、動き探索部１４０の動作を示すフローチャートである。動き探索部１４０は、指定された２枚の入力フレームをフレームメモリ領域１２１から取得する（Ｓ１０１）。なお、以下の説明では、フレームＦ［ｎ］を基準フレーム、フレームＦ［ｎ−１］を参照フレームと呼ぶ。

動き探索部１４０は、基準フレームＦ［ｎ］を複数のブロックに分割する（Ｓ１０２）。ブロックサイズは任意である。図３は、基準フレームＦ［ｎ］を８×８画素のブロックサイズに分割した例である。

動き探索部１４０は、基準フレームＦ［ｎ］から、未だ探索が実行されていないブロックを１つ、探索対象ブロックとして選択する（Ｓ１０３）。

続いて、動き探索部１４０は、参照フレームＦ［ｎ−１］の中から探索対象ブロックと類似している部分を探索する（Ｓ１０４）。探索方法は、ブロックマッチング法や勾配法などの既知の探索方法であってもよいし、装置製作者が独自に改良を重ねた探索方法であってもよい。探索終了後、動き探索部１４０は、探索対象ブロックと類似部分との評価値を取得する。評価値は、探索対象ブロックと類似部分との一致の度合いを示す。なお、動き探索部１４０の探索範囲は、必ずしも参照フレームＦ［ｎ−１］の全体でなくてもよい。探索範囲は、参照フレームＦ［ｎ−１］の一定の範囲、例えば探索対象ブロックに対応する座標を中心とした予め設定された範囲であってもよい。図４は、探索範囲を６４×６４画素とする例を示している。

ここで、具体例を使ってステップＳ１０４の動作を説明する。図５は、背景に波線が描かれたｘ×ｙ画素の画像である。図５には、背景の波線に加えて、波線の手前で図面右から左に動く“Ｔ”の字が描かれている。この“Ｔ”の字は０．１秒間あたり８画素の速度で動いている。図６は、Ｓ１０４の動作を視認容易にするため、図５のブロックａ及びｂで示す破線部分をそれぞれ拡大した図である。中央の黒く塗り潰された部分が“Ｔ”の字の縦棒部分である。この例の場合、縦棒の幅は１０画素である。

まず、図６に示す基準フレームＦ［ｎ］のブロックａに着目する。ブロックａには、背景となった波線の一部が描かれている。ブロックａの画像は、参照フレームＦ［ｎ−１］中の同一座標の画像、すなわちブロックｅの画像と完全に一致している。そのため、動き探索部１４０は、ブロックａの類似部分をブロックｅの画像と判別する。

次に、基準フレームＦ［ｎ］のブロックｂに着目する。ブロックｂには、右から左へ移動する“Ｔ”の字の一部が描かれている。ブロックｂの画像は、Ｘ軸のプラス方向に８画素ほど移動した部分（ブロックｆ）にある参照フレームＦ［ｎ−１］の画像と完全に一致している。そのため、動き探索部１４０は、ブロックｂの類似部分をブロックｆの画像と判別する。

続いて、基準フレームＦ［ｎ］のブロックｃに着目する。ブロックｃには、一部が“Ｔ”の字で隠された背景が描かれている。ブロックｃの背景部分は、参照フレームＦ［ｎ−１］では“Ｔ”の字の陰面となっている。そのため、ブロックｃの背景部分の画像情報は、参照フレームＦ［ｎ−１］中には存在しない。しかしながら、ブロックｃは部分的に、参照フレームＦ［ｎ−１］のブロックｇの画像と一致している。そのため、動き探索部１４０は、ブロックｃの類似部分をブロックｇの画像と判別する。

最後に、基準フレームＦ［ｎ］のブロックｄに着目する。ブロックｄには、背景となった波線の一部が描かれている。ブロックｄと同一座標にある参照フレームＦ［ｎ−１］のブロックｇの画像は、背景の一部が“Ｔ”の字で隠されており、ブロックｄの画像とは完全には一致していない。しかしながら、ブロックｄとブロックｇの画像は、画像の大半（“Ｔ”の字以外の背景部分）が一致している。そのため、動き探索部１４０は、ブロックｄの類似部分をブロックｇの画像と判別する。図６の例では、背景が単純な波線のみであるが、より複雑な絵柄の背景の場合には、ブロックｄとブロックｇとの関係に関する評価値は、ブロックｃとブロックｇとの関係のように、背景画像が陰面となることにより画像の大部分が一致しない場合と比べれば高い。

なお、図６の例では、参照フレームＦ［ｎ−１］の類似部分の画像境界（ブロックｅ〜ブロックｇの画像境界）が基準フレームＦ［ｎ］のブロック境界と一致しているが、類似部分の画像境界は必ずしもブロック境界と一致していなくてもよい。

動き探索部１４０は、Ｓ１０４の探索結果に基づいて探索対象ブロックの動きベクトルを生成する（Ｓ１０５）。図７は、図６の画像を一次元形式で表現したものである。具体的には、図７は、図６に示す基準フレームＦ［ｎ］及び参照フレームＦ［ｎ−１］を、それぞれ、Ａ−Ａ’線、Ｂ−Ｂ’線で切り取った図である。図面の太線の部分は“Ｔ”字及び波線部分である。図７に示すように、ブロックａについてはブロックｅに向かう動きベクトルが生成され、ブロックｂについては、ブロックｆに向かう動きベクトルが生成される。また、ブロックｃ，ｄについてはブロックｇに向かう動きベクトルが生成される。

なお、動きベクトルの表現形式は特定の表現形式に限定されず、さまざまな表現形式が使用可能である。例えば、動きベクトルは座標形式で表現されてもよい。図７の例であれば、ブロックａ，ｄの類似部分は参照フレームＦ［ｎ−１］中の同じ座標位置にあるので、動きベクトルは（０，０）と表現される。また、ブロックｂ，ｃの類似部分はＸ軸のプラス方向へ８画素ほど移動した位置にあるので、動きベクトルは（＋８，０）と表現される。動き探索部１４０は、生成した動きベクトルをＳ１０４で算出した評価値ととともにＲＡＭに保存する。

続いて、動き探索部１４０は、基準フレームＦ［ｎ］の全てのブロックの探索が完了したか判別する（Ｓ１０６）。全てのブロックの探索が完了してない場合（Ｓ１０６：Ｎｏ）、動き探索部１４０は、全てのブロックの探索が完了するまでＳ１０３からＳ１０６までの処理を繰り返す。全てのブロックの探索が完了した場合（Ｓ１０６：Ｙｅｓ）、動き探索部１４０は、Ｓ１０７に進む。

動き探索部１４０は、全てのブロックの動きベクトルを基準フレームＦ［ｎ］のフレーム番号と評価値を関連付けて動きベクトル記憶領域１２２に保存し（Ｓ１０７）、処理を終了する。

次に、動き補償部１５０が実行する動き補償処理について説明する。図８は、動き補償部１５０のブロック図である。動き補償部１５０は、動き補償処理を実行することで、動きベクトル補間部１５１、動き補償画像生成部１５２、補間フレーム生成部１５３として機能する。なお、以下の説明では、理解を容易にするため、フレーム補間装置１００が補間フレームを挿入する映像は、例えばスロー再生により、フレーム間隔が０．１秒間隔となっているものとする。また、フレーム補間装置１００は、例えば図９に示すように、２枚の入力フレームの間に、等間隔に（すなわち０．０２５秒間隔に）、３枚の補間フレームを挿入するものとする。

動き補償部１５０は、制御部１１０から動き補償処理の開始が命令されると、処理を開始する。動き補償部１５０は、動き探索処理で生成された動きベクトルに基づいて、２枚の入力フレームの間に挿入する補間フレームを生成する。なお、以下の説明では、動き探索処理の開始命令と同時に、制御部１１０から、補間フレームの挿入対象となる２枚の入力フレームＦ［ｎ］及びＦ［ｎ−１］と、挿入する補間フレームＩ［ｎ］[ｍ]と、が指定されるものとする。ｍは、１以上の整数である。図９の場合、ｍ＝１〜３である。さらに、制御部１１０から補間フレームＩ［ｎ］[ｍ]の挿入位置が指定されるものとする。挿入位置は、例えば、２枚の入力フレームに対する相対的な時間位置Ｔとして指定される。図９１は、動きベクトルと補間動きベクトルの関係を示す図である。時間の進行方向を「順方向」、その反対方向を「逆方向」とする。以下では、補間フレームＩ［ｎ］［１］を例に説明する。補間フレームＩ［ｎ］［１］の挿入位置は、図１０に示すように、入力フレームＦ［ｎ−１］より順方向に０．０２５秒進んだ位置であるものとする。この場合、時間位置Ｔは０．２５（＝０．０２５秒／０．１秒）となる。

図１１は、動き補償部１５０の動作を説明するフローチャートである。動き補償部１５０は、最初に、動きベクトル補間処理を実行する（Ｓ２１０）。動きベクトル補間処理は、動きベクトル補間部１５１で実行される。動きベクトル補間部１５１は、動き探索処理で生成された動きベクトルに基づいて、補間フレームＩ［ｎ］[１]に補間動きベクトルを割り当てる。補間動きベクトルは２枚の入力フレームＦ［ｎ］，Ｆ［ｎ−１］と補間フレームＩ［ｎ］[１]との間の画像の動きを示す動きベクトルである。

図１２は、動きベクトル補間部１５１の動作を説明するフローチャートである。動きベクトル補間部１５１は、動きベクトル記憶領域１２２から、入力フレームＦ［ｎ］とＦ［ｎ−１］との間の動きベクトルを取得する。そして、取得した動きベクトルと、補間フレームＩ［ｎ］[１]の時間位置Ｔと、に基づいて、ブロック毎に、補間動きベクトルを算出する（Ｓ２１１）。補間動きベクトルは、逆方向動きベクトルＭＶａ及び順方向動きベクトルＭＶｂから構成される。逆方向動きベクトルＭＶａは、入力フレームＦ［ｎ−１］と補間フレームＩ［ｎ］[１]との間の動きベクトルである。また、順方向動きベクトルＭＶｂは、入力フレームＦ［ｎ］と補間フレームＩ［ｎ］[１]との間の動きベクトルである。

具体的には、動きベクトル補間部１５１は、下記式（１）及び式（２）に基づいて逆方向動きベクトルＭＶａ及び順方向動きベクトルＭＶｂを算出する。なお、下記の式において、ＭＶは入力フレームＦ［ｎ］とＦ［ｎ−１］との間の動きベクトルであり、Ｔは補間フレームＩ［ｎ］[１]の２枚の入力フレームに対する相対的な時間位置である。
ＭＶａ ＝ ＭＶ×Ｔ ・・・・・・・・（１）
ＭＶｂ ＝ −ＭＶ×（１−Ｔ） ・・・（２）

ここで、具体例を使って逆方向動きベクトルＭＶａと順方向動きベクトルＭＶｂとを説明する。図１３は、入力フレームＦ［ｎ］とＦ［ｎ−１］との間の動きベクトルに基づいて補間動きベクトルが算出される様子を示す図である。図７に示すように、ブロックｂの動きベクトルＭＶが（＋８，０）である場合、動きベクトル補間部１５１は、式（１）に基づいて、逆方向動きベクトルＭＶａ（＋２，０）を算出する。また、動きベクトル補間部１５１は、式（２）に基づいて順方向動きベクトルＭＶｂ（−６，０）を算出する。また、ブロックｃの動きベクトルＭＶは（＋８，０）であるので、動きベクトル補間部１５１は、逆方向動きベクトルＭＶａ（＋２，０）、順方向動きベクトルＭＶｂ（−６，０）を算出する。ブロックａ，ｄの動きベクトルＭＶは両方とも（０，０）であるので、動きベクトル補間部１５１は、逆方向動きベクトルＭＶａと順方向動きベクトルＭＶｂとを共に（０，０）と算出する。

動きベクトル補間部１５１は、Ｓ２１１で算出した補間動きベクトルを補間フレームＩ［ｎ］[１]に割り当てる（Ｓ２１２）。このとき、動きベクトル補間部１５１は、単位領域毎に、補間フレームＩ［ｎ］[１]に補間動きベクトルを割り当てる。単位領域は複数画素から構成されてもよいし、１画素から構成されていてもよい。以下の説明では、単位領域は１画素であるものとして説明する。

図１４は、補間動きベクトルが画素毎に補間フレームＩ［ｎ］[１]に割り当てられた様子を示す図である。補間フレームＩ［ｎ］[１]には、複数対の補間動きベクトルが割り当てられている画素（Ｑ領域にある画素）と、１つも補間動きベクトルが割り当てられていない画素（Ｐ領域にある画素）とを含む。以下の説明では、複数対の補間動きベクトルが割り当てられている画素を「衝突画素」、１つも補間動きベクトルが割り当てられていない画素を「穴あき画素」と呼ぶ。また、衝突画素から構成される領域を「衝突領域」、穴あき画素から構成される領域を「穴あき領域」と呼ぶ。さらに、衝突領域と穴あき領域を総称して「非通常領域」と呼ぶ。非通常領域は、衝突領域及び穴あき領域の双方の領域から構成されていてもよいし、衝突領域及び穴あき領域のいずれか一方の領域から構成されていてもよい。

動きベクトル補間部１５１は、各衝突画素について、割り当てられた複数対の補間動きベクトルの中から、いずれか１対の補間動きベクトルを選択する（Ｓ２１３）。このとき、動きベクトル補間部１５１は、動き探索部１４０が算出した評価値に基づいて補間動きベクトルを選択する。具体的には、動きベクトル補間部１５１は、評価値が最も大きい動きベクトルＭＶに基づいて生成された補間動きベクトルを衝突画素の補間動きベクトルとして選択する。

図１４の場合、衝突領域Ｑの画素それぞれに、「ブロックｃとブロックｇに向かう補間動きベクトル」及び「ブロックｄとブロックｇに向かう補間動きベクトル」の補間動きベクトルが割り当てられている。図６に示した例では、ブロックｄからブロックｇに向かう動きベクトルの評価値は、ブロックｃからブロックｇに向かう動きベクトルの評価値より大きい。そのため、動きベクトル補間部１５１は、「ブロックｄとブロックｇに向かう補間動きベクトル」を衝突領域Ｑの画素の補間動きベクトルとして選択する。

動きベクトル補間部１５１は、穴あき画素それぞれに補間動きベクトルを１対ずつ割り当てる（Ｓ２１４）。このとき、動きベクトル補間部１５１は、穴あき画素の周辺の、予め設定された範囲にある複数の画素に最も多く割り当てられている補間動きベクトルをそのまま穴あき画素の補間動きベクトルとする。例えば、動きベクトル補間部１５１は、穴あき画素を中心とした６３×６３画素の範囲にある複数の画素それぞれに割り当てられている補間動きベクトルを取得する。このとき、その範囲内の画素に補間動きベクトルが割り当たっていない場合にはその画素を無視し、補間動きベクトルの割り当たっている画素のみから補間動きベクトルを取得する。そして、動きベクトル補間部１５１は、取得した複数対の補間動きベクトルの中から、最も多く同じ値を持つ補間動きベクトルを抽出し、抽出した補間動きベクトルを穴あき画素の補間動きベクトルとする。

図１４の場合、穴あき領域Ｐの画素には補間動きベクトルが１つも割り当てられていない。一般的に、映像は背景部分の画像が最も多くなる。そのため、図１４の場合も、穴あき領域Ｐの画素周辺には、背景の画素が最も多くなると考えられる。この場合、背景部分は動いていないので、穴あき領域Ｐの画素周辺には、動きがないことを示す動きベクトル（０，０）の画素が最も多くなる。動きベクトル（０，０）からは、補間動きベクトルとして、順方向補間動きベクトルＭＶｂ（０，０）、逆方向補間動きベクトルＭＶａ（０，０）が生成される。動きベクトル補間部１５１は、穴あき領域Ｐの画素それぞれに、順方向補間動きベクトルＭＶｂ（０，０）、逆方向補間動きベクトルＭＶａ（０，０）を割り当てる。図１５は、動きベクトル補間処理により、補間フレームに補間動きベクトルが割り当てられた様子を示す図である。

Ｓ２１０の補間動きベクトルの補間処理が完了したら、動き補償部１５０は、動き補償画像生成処理を実行する（Ｓ２２０）。動きベクトル補間処理は、動き補償画像生成部１５２で実行される。動き補償画像生成部１５２は、動きベクトル補間処理で生成された補間動きベクトルに基づいて、動き補償画像を生成する。「動き補償画像」は補間フレーム生成処理で使用する画像であり、順方向動き補償画像と逆方向動き補償画像とから構成される。

図１６は、動き補償画像生成部１５２の動作を説明するフローチャートである。動き補償画像生成部１５２は、補間フレームＩ［ｎ］[１]から見て逆方向側にある入力フレームＦ［ｎ−１］の画像情報と逆方向補間動きベクトルＭＶａとに基づいて、逆方向動き補償画像を生成する（Ｓ２２１）。動き補償画像生成部１５２は、逆方向補間動きベクトルＭＶａの矢印の先にある画素を矢印の元の座標に貼り付けることにより逆方向動き補償画像を生成する。図１７に、逆方向動き補償画像が生成される様子を示す。この場合、生成される逆方向動き補償画像は例えば図１８に示されるような画像となる。１０画素であった“Ｔ”の字の縦棒の幅が衝突領域Ｑに向かって広がっていることが分かる。

動き補償画像生成部１５２は、補間フレームＩ［ｎ］[１]から見て順方向側にある入力フレームＦ［ｎ］の画像情報と順方向補間動きベクトルＭＶｂとに基づいて、順方向動き補償画像を生成する（Ｓ２２２）。動き補償画像生成部１５２は、順方向補間動きベクトルＭＶｂの矢印の先にある画素を矢印の元の座標に貼り付けることにより順方向動き補償画像を生成する。図１９に、順方向動き補償画像が生成される様子を示す。この場合、生成される順方向動き補償画像は例えば図２０に示されるような画像となる。１０画素であった“Ｔ”の字の縦棒の幅が穴あき領域Ｐに向かって大きく広がっていることが分かる。

Ｓ２２０の動き補償画像の生成が完了したら、動き補償部１５０は、補間フレーム生成処理を実行する（Ｓ２３０）。補間フレーム生成処理は、図８に示す補間フレーム生成部１５３で実行される。補間フレーム生成部１５３は、動き補償画像生成処理で生成された２枚の動き補償画像を平均することにより、２枚の入力フレームの間に挿入する補間フレームＩ［ｎ］[１]を生成する。

図２１は、補間フレーム生成部１５３の動作を説明するフローチャートである。補間フレーム生成部１５３は、最初に、基準重み係数Ｗｒを算出する（Ｓ２３１）。基準重み係数Ｗｒは、２枚の動き補償画像内の通常領域を平均する際に使用する重み係数である。「通常領域」は、補間動きベクトルが１対のみ割り当てられた通常画素から構成される。基準重み係数Ｗｒは、０〜１間の数値である。逆方向動き補償画像の重みを強める場合は、基準重み係数Ｗｒは０に近い値となり、順方向動き補償画像の重みを強める場合は、基準重み係数Ｗｒは１に近い値となる。補間フレーム生成部１５３は、補間フレームＩ［ｎ］[１]の挿入位置に基づき基準重み係数Ｗｒを算出する。具体的には、補間フレーム生成部１５３は、補間フレームＩ［ｎ］[１]の時間位置Ｔに基づき基準重み係数Ｗｒを算出する。本実施形態の場合、時間位置Ｔは０〜１間の数値となっているので、補間フレーム生成部１５３は、時間位置Ｔをそのまま基準重み係数Ｗｒとして算出する。

図２２は、図１８に示す逆方向動き補償画像と図２０に示す順方向動き補償画像とを、基準重み係数Ｗｒを使って平均した画像である。全ての領域を基準重み係数Ｗｒを使って平均した場合、本来あるはずのない残像が非通常領域（穴あき領域Ｐと衝突領域Ｑ）に色濃く現れることがある。そこで、Ｓ２３２〜Ｓ２３７において、補間フレーム生成部１５３は通常領域と非通常領域とで異なる重み係数を使って画像を平均する。

まず、補間フレーム生成部１５３は、補間フレームＩ［ｎ］[１]を構成する複数の画素の中から、未だ画素値が割り当てられていない画素を１つ選択する（Ｓ２３２）。

補間フレーム生成部１５３は、Ｓ２３２で選択された画素（以下、「選択画素」という。）が通常画素か否か判別する（Ｓ２３３）。選択画素が通常画素の場合（Ｓ２３３：Ｙｅｓ）、補間フレーム生成部１５３は、Ｓ２３６に進む。選択された画素が通常画素でない場合（Ｓ２３３：Ｎｏ）、すなわち、選択画素が衝突画素若しくは穴あき画素である場合、補間フレーム生成部１５３は、Ｓ２３４に進む。

選択画素が通常画素でない場合（Ｓ２３３：Ｎｏ）、補間フレーム生成部１５３は、選択画素が陰面領域である可能性の高さを示す確信度を算出する（Ｓ２３４）。陰面領域は、オブジェクトとその背後にある背景若しくはオブジェクトとが重なって、一時的にオブジェクトの背後にある背景若しくはオブジェクトが見えなくなっている。図６の例であれば、基準フレームＦ［ｎ］と参照フレームＦ［ｎ−１］の“Ｔ”字部分が陰面領域である。

具体的には、補間フレーム生成部１５３は、下記式（３）及び式（４）に基づき確信度Ａｐ若しくは確信度Ａｑを算出する。確信度Ａｐは選択画素が穴あき画素の場合の確信度であり、確信度Ａｑは選択画素が衝突画素の場合の確信度である。
Ａｐ ＝ Ｒｐ ・・・・・・・・（３）
Ａｑ ＝ Ｒｑ ・・・・・・・・（４）

このとき、Ｒｐは選択画素の近傍画素に占める穴あき画素の比率であり、Ｒｑは選択画素の近傍画素に占める衝突画素の比率である。近傍画素は、選択画素を基点にして決定される予め設定された範囲に位置する。図２３は、近傍画素の一例を示す図である。近傍画素は、選択画素を中心とした、例えば５×５画素の正方形の範囲にある２４画素である。図２３の場合、選択画素１周囲の２４画素のうち２１画素が穴あき画素であるので、Ｒｐは０．８７５（＝２１／２４）と算出される。また、選択画素２周囲の２４画素のうち１８画素が衝突画素であるので、Ｒｑは０．７５（＝１８／２４）と算出される。

続いて、補間フレーム生成部１５３は、算出した確信度Ａｐ若しくは確信度Ａｑに基づいて補正重み係数を算出する（Ｓ２３５）。補正重み係数は、２枚の動き補償画像の内の非通常領域を平均する際に使用する。補間フレーム生成部１５３は、基準重み係数Ｗｒに基づいて補正重み係数を算出する。具体的には、補間フレーム生成部１５３は、基準重み係数Ｗｒの値を基点にして順方向動き補償画像及び逆方向動き補償画像のいずれか一方の側に重みをシフトすることにより補正重み係数を算出する。

一般的に、穴あき領域Ｐは、背景が動く物体により隠されていく領域と考えられる。そのため、穴あき領域Ｐの画像を生成する場合は、逆方向側の画像Ｆ［ｎ−１］に基づいて画像を生成した方がより自然な画像が生成できると考えられる。一方で、衝突領域Ｑは、動く物体により隠されていた背景が現れてくる領域と考えられる。そのため、衝突領域Ｑの画像を生成する場合は、順方向側の画像Ｆ［ｎ］に基づいて画像を生成した方がより自然な画像が生成できると考えられる。そこで、補間フレーム生成部１５３は、選択画素が穴あき画素であった場合は、基準重み係数Ｗｒを基点にして逆方向動き補償画像の側に重みをシフトし、一方で、選択画素が衝突画素であった場合は、基準重み係数Ｗｒを基点にして順方向動き補償画像の側に重みをシフトする。

この場合、補間フレーム生成部１５３は、現れる残像の変化をなだらかにするため、基準重み係数Ｗｒを基点にして、値を０若しくは１に向けてリニアに変化させる。図２４は、確信度と重み係数との関係を示す図である。より具体的には、補間フレーム生成部１５３は、下記式（５）及び式（６）に基づき補正重み係数Ｗｐ若しくは補正重み係数Ｗｑを算出する。Ｗｐは、穴あき領域を平均する際に使用する補正重み係数であり、Ｗｑは衝突領域を平均する際に使用する補正重み係数を補正重み係数である。
Ｗｐ ＝Ｗｒ×（１−Ａｐ） ・・・・・・（５）
Ｗｑ ＝Ｗｒ×（１−Ａｑ）＋Ａｑ ・・・（６）

補間フレーム生成部１５３は、逆方向動き補償画像と順方向動き補償画像の同一座標の画素同士を重み付き平均することにより、補間フレームＩ［ｎ］[１]の選択画素の画素値Ｖを算出する（Ｓ２３６）。具体的には、補間フレーム生成部１５３は、下記式（７）〜式（９）に基づき補間フレームＩ［ｎ］[１]の選択画素の画素値Ｖを算出する。式（７）は選択画素が穴あき画素であった場合に使用され、式（８）は選択画素が衝突画素であった場合に使用される。また、式（９）は選択画素が通常画素であった場合に使用される。
Ｖ＝Ｖａ×（１−Ｗｐ）＋Ｖｂ×Ｗｐ・・・（７）
Ｖ＝Ｖａ×（１−Ｗｑ）＋Ｖｂ×Ｗｑ・・・（８）
Ｖ＝Ｖａ×（１−Ｗｒ）＋Ｖｂ×Ｗｒ・・・（９）

なお、Ｖａは、逆方向動き補償画像中の選択画素の画素値であり、Ｖｂは、順方向動き補償画像の選択画素の画素値である。画素値Ｖの算出が完了したら、補間フレーム生成部１５３は、画素値Ｖを補間フレームの選択画素に割り当てる。

続いて、補間フレーム生成部１５３は、全ての画素を平均したか判別する（Ｓ２３７）。全ての画素を平均していない場合（Ｓ２３７：Ｎｏ）、補間フレーム生成部１５３は、Ｓ２３２に戻り、全ての画素を平均するまでＳ２３２〜Ｓ２３７を繰り返す。全ての画素を平均した場合（Ｓ２３７：Ｙｅｓ）、補間フレーム生成部１５３は、Ｓ２３８に進む。

全ての画素を平均した場合（Ｓ２３７：Ｙｅｓ）、補間フレーム生成部１５３は、画素値を割り当てた補間フレームＩ［ｎ］[１]を補間フレーム記憶領域１２３に保存する（Ｓ２３８）。図１８と図２０に示す例の場合、補間フレーム記憶領域１２３に保存される画像は、図２５に示す画像となる。図２２に示した補正重み係数をシフトさせなかった場合の画像と比較して、非通常領域（穴あき領域Ｐと衝突領域Ｑ）の残像が薄くなる。

補間フレームの保存が完了したら、動き補償部１５０は、動き補償処理を終了する。制御部１１０は、補間フレーム記憶領域１２３に保存された補間フレームＩ［ｎ］[１]を、随時、外部の装置に送信する。

本実施形態によれば、通常領域と非通常領域とで異なる重みを使って画像を平均しているので、陰面領域に生じる不自然な残像、特に、動きのある物体と背景との境界付近に生じる不自然な残像を薄くできる。しかも、フレーム補間装置１００は、穴あき領域を平均する際に使用する重みを逆方向動き補償画像の側にシフトさせているので、陰面領域のうちの背景が隠されていく領域で自然な画像を生成できる。また、フレーム補間装置１００は、衝突領域を平均する際に使用する重みを順方向動き補償画像の側にシフトさせているので、陰面領域のうちの背景が現れてくる領域で自然な画像を生成できる。

また、フレーム補間装置１００は、選択画素の近傍画素に占める穴あき画素若しくは衝突画素の比率に基づいて補正重み係数を算出している。より具体的には、近傍画素に占める穴あき画素の比率に基づいて算出された確信度Ａｐ若しくは近傍画素に占める衝突画素の比率に基づいて算出された確信度Ａｑに基づいて補正重み係数を算出している。物体や背景の移動が完全な平行移動でない映像等、映像によっては小さな穴あき領域や衝突領域が画像中に点在することがある。選択画素が陰面領域の画素でなく画像中に点在する穴あき画素や衝突画素であった場合、確信度、すなわち上記比率は低い値となり、その結果、補正重み係数は基準重み係数に近い値となると考えられる。そのため、フレーム補間装置１００は、選択画素が画像中に点在する穴あき画素や衝突画素の場合、基準重み係数に近い重み係数で２枚の動き補償画像の選択画素同士を平均できるので、補間フレーム中に、周辺の画素値とは大きく異なる値の画素が唐突に発生することが少なくなる。その結果、フレーム補間装置１００は、より自然な補間フレームを生成できる。

なお、上述の実施形態は一例であり、種々の変更及び応用が可能である。例えば、上述の実施形態では、近傍画素に占める穴あき画素の比率Ｒｐをそのまま確信度Ａｐとして取得したが、確信度Ａｐの値は必ずしも比率Ｒｐと一致する値でなくてもよい。例えば、補間フレーム生成部１５３は、比率Ｒｐが予め設定された値ｓより大きな値であった場合は、選択画素が陰面領域の画素であるとみなして確信度Ａｐを１としてもよい。図２６は、近傍画素の比率と確信度との関係の一例を示す図である。そして、補間フレーム生成部１５３は、式（５）に基づいて、補正重み係数Ｗｐを算出する。これにより、選択画素が陰面領域の画素である可能性が高い場合は、逆方向補償画像の画素をそのまま補間フレームの画素とできるので、補間フレーム生成部１５３は、残像をさらに薄くできる。その結果、補間フレーム生成部１５３は、より自然な補間フレームを生成できる。

また、フレーム補間装置１００は、比率Ｒｐが予め設定された値ｄより小さな値であった場合は、選択画素が陰面領域の画素ではなく、画像に点在する穴あき画素であるとみなして確信度Ａｐを０としてもよい。そして、補間フレーム生成部１５３は、式（５）に基づいて、補正重み係数Ｗｐを算出する。これにより、選択画素が陰面領域の画素でなく画像中に点在する穴あき画素である可能性が高い場合は、基準重み係数Ｗｒを使用して算出された画素値を補間フレームの選択画素の値とすることができるので、選択画素の画素値をより周辺の画素値に近い値とすることができる。その結果、補間フレーム生成部１５３は、より自然な補間フレームを生成できる。

また、上述の実施形態では、近傍画素に占める衝突画素の比率Ｒｑをそのまま確信度Ａｑとして取得したが、確信度Ａｑの値は必ずしも比率Ｒｑと一致する値でなくてもよい。例えば、フレーム補間装置１００は、比率Ｒｑが予め設定された値ｓより大きな値であった場合は、選択画素が陰面領域の画素であるとみなして確信度Ａｐを１としてもよい。そして、補間フレーム生成部１５３は、式（６）に基づいて、補正重み係数Ｗｑを算出する。これにより、選択画素が陰面領域の画素である可能性が高い場合は、順方向補償画像の画素をそのまま補間フレームの画素とできるので、補間フレーム生成部１５３は、補間フレームに発生する残像をさらに薄くできる。その結果、補間フレーム生成部１５３は、より自然な補間フレームを生成できる。

また、フレーム補間装置１００は、比率Ｒｑが予め設定された値ｄより小さな値であった場合は、選択画素が陰面領域の画素ではなく、画像に点在する衝突画素であるとみなして確信度Ａｑを０としてもよい。そして、補間フレーム生成部１５３は、式（６）に基づいて、補正重み係数Ｗｑを算出する。これにより、選択画素が陰面領域の画素でなく画像中に点在する衝突画素である可能性が高い場合は、基準重み係数Ｗｒを使用して算出された画素値を補間フレームの選択画素の値とすることができるので、選択画素の画素値をより周辺の画素値に近い値とすることができる。その結果、補間フレーム生成部１５３は、より自然な補間フレームを生成できる。

また、上述の実施の形態では、近傍画素は選択画素を中心とした５×５画素の正方形の範囲にある画素であるものとしたが、近傍画素の範囲は５×５画素の正方形の範囲に限定されない。また、近傍画素の範囲は正方形の範囲に限定されず、近傍画素の範囲は、例えば選択画素を中心とした長方形や菱形等の四角形の範囲であってもよい。また、近傍画素の範囲は、四角形の範囲に限定されず、例えば、円形や楕円形の範囲であってもよい。また、選択画素の位置は、範囲の中心でなくもよい。例えば、選択画素は、範囲の端に位置していてもよい。

また、上述の実施形態では、補間フレーム生成部１５３は、選択画素が穴あき画素であった場合は逆方向動き補償画像の側に重みをシフトさせたが、シフト方向は逆方向側に限定されない。補間フレーム生成部１５３は、映像の性質に応じて、適宜、順方向動き補償画像の側に重みをシフトさせてもよい。

また、上述の実施形態では、補間フレーム生成部１５３は、選択画素が衝突画素であった場合は順方向動き補償画像の側に重みをシフトさせたが、シフト方向は順方向側に限定されない。補間フレーム生成部１５３は、映像の性質に応じて、適宜、逆方向動き補償画像の側に重みをシフトさせてもよい。

また、上述の実施形態では、補間フレームの生成に使用する入力フレームを補間フレームの直前及び直後の入力フレームＦ［ｎ−１］、Ｆ[ｎ]としたが、補間フレームの生成に使用する入力フレームは直前及び直後の入力フレームに限定されない。入力フレームは、補間フレームより２フレーム以上離れた位置にある入力フレームであってもよい。

また、上述の実施形態では、補間フレーム生成部１５３は、補間フレームの時間位置Ｔに基づいて基準重み係数Ｗｒを算出したが、補間フレーム生成部１５３は時間位置Ｔを使用せずに基準重み係数Ｗｒを算出してもよい。例えば、補間フレーム生成部１５３は基準重み係数Ｗｒを一律に０．５として、通常領域を一律に単純平均してもよい。

また、上述の実施形態では、単位領域を１画素の領域であるものとして説明したが、単位領域は複数画素から構成される領域であってもよい。この場合、穴あき画素、衝突画素、非通常画素は、それぞれ、穴あき単位領域、衝突単位領域、非通常単位領域と言い換えることができる。なお、穴あき単位領域は穴あき画素を含む概念であり、衝突単位領域は衝突画素を含む概念である。また、非通常単位領域は非通常画素を含む概念である。

また、上述の実施形態では、動き補償部１５０は、動き補償画像生成処理で動き補償画像（逆方向動き補償画像及び順方向動き補償画像）の生成が完了してから、補間フレーム生成処理を実行したが、動き補償部１５０は、動き補償画像の生成が完了する前に補間フレーム生成処理を実行してもよい。動き補償部１５０は、一定範囲の動き補償画像（例えば、１ブロック分の動き補償画像）の生成と一定範囲の補間フレーム（例えば、１ブロック分の補間フレーム）の生成とを繰り返すことにより補間フレームを生成してもよい。また、動き補償部１５０は、１画素分の動き補償画像の生成と１画素分の補間フレームの生成とを繰り返すことにより補間フレームを生成してもよい。

また、上述の実施形態では、補間動きベクトルは、逆方向補間動きベクトルＭＶａ及び順方向補間動きベクトルＭＶｂの１対の補間動きベクトルから構成されるものとして説明したが、補間動きベクトルは必ずしも１対の補間動きベクトルから構成されていなくてもよい。補間動きベクトルは、補間動きベクトルは逆方向補間動きベクトルＭＶａ及び順方向補間動きベクトルＭＶｂのいずれか１つの補間動きベクトルから構成されていてもよい。この場合、補間動きベクトルは、逆方向補間動きベクトルＭＶａ及び順方向補間動きベクトルＭＶｂのいずれか一方の補間動きベクトルの情報と動きベクトルＭＶの情報とに基づいて、随時、他方の補間動きベクトルを特定してもよい。

また、上述の実施形態では、フレーム補間装置１００が補間フレームを挿入する映像はスロー再生映像であるものとして説明したが、フレーム補間装置１００が補間フレームを挿入する映像はスロー再生映像に限定されない。例えば、フレーム補間装置１００が補間フレームを挿入する映像は通常再生速度の映像であってもよい。

また、上述の実施形態では、フレーム補間装置１００は生成した補間フレームを外部の装置に出力するよう構成されていたが、フレーム補間装置１００は再生機能を備え、生成した補間フレームと入力フレームとに基づいて生成された映像を表示装置に出力するよう構成されていてもよい。この場合、フレーム補間装置１００は、出力部１６０から映像信号を出力できるよう構成されていてもよいし、映像を表示する表示部を備え、表示部に映像を出力するよう構成されていてもよい。勿論、フレーム補間装置１００は、映像再生機能を備えずに、補間フレームを生成するだけの装置であってもよい。

なお、フレーム補間装置１００は、例えば、テレビ、レコーダ、パーソナルコンピュータ、固定電話機、携帯電話機、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、ゲーム機等の完成品として捉えることができる。また、フレーム補間装置１００は、完成品に搭載される部品、例えば、半導体、半導体基板等として捉えることもできる。

本実施形態に係るフレーム補間装置１００は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによってフレーム補間装置１００を構成してもよい。また、上記プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことが出来る。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…フレーム補間装置
１１０…制御部
１２０…記憶部
１２１…フレームメモリ領域
１２２…動きベクトル記憶領域
１２３…補間フレーム記憶領域
１３０…入力部
１４０…動き探索部
１５０…動き補償部
１５１…動きベクトル補間部
１５２…動き補償画像生成部
１５３…補間フレーム生成部
１６０…出力部

Claims (5)

1. ２枚のフレーム間の画像の動きを示す動きベクトルと前記２枚のフレームの間に挿入する補間フレームの時間位置とに基づいて、前記２枚のフレームと前記補間フレームとの間の画像の動きを示す補間動きベクトルを算出し、算出した前記補間動きベクトルを単位領域毎に前記補間フレームに割り当てる動きベクトル補間部と、
   前記２枚のフレームのうちの順方向側にあるフレームの画像情報と前記補間動きベクトルとに基づき生成される順方向動き補償画像と、前記２枚のフレームのうちの逆方向側にあるフレームの画像情報と前記補間動きベクトルとに基づき生成される逆方向動き補償画像と、を生成する動き補償画像生成部と、
   前記単位領域毎に１つの若しくは１対の前記補間動きベクトルが割り当てられた通常領域と、前記単位領域毎に複数の若しくは複数対の前記補間動きベクトルが割り当てられた衝突領域及び前記補間動きベクトルが割り当てられなかった穴あき領域の少なくとも一方の領域から構成される非通常領域と、で異なる重みで前記順方向動き補償画像及び前記逆方向動き補償画像の対応する領域同士を平均することにより前記補間フレームを生成する補間フレーム生成部と、を備える、
   フレーム補間装置。
2. 前記補間フレーム生成部は、
   前記通常領域を平均する際に使用する重み係数である基準重み係数の値を基点にして前記順方向動き補償画像及び前記逆方向動き補償画像のいずれか一方の側に重みをシフトすることにより算出される補正重み係数に基づいて、前記順方向動き補償画像の前記非通常領域と前記逆方向動き補償画像の前記非通常領域とを重み付き平均する、
   請求項１に記載のフレーム補間装置。
3. 前記非通常領域には、前記穴あき領域が含まれ、
   前記補間フレーム生成部は、前記基準重み係数の値を基点に前記逆方向動き補償画像の側に重みをシフトすることにより算出される前記補正重み係数に基づいて、前記順方向動き補償画像の前記穴あき領域と前記逆方向動き補償画像の前記穴あき領域とを重み付き平均する、
   請求項２に記載のフレーム補間装置。
4. 前記非通常領域には、前記衝突領域が含まれ、
   前記補間フレーム生成部は、前記基準重み係数の値を基点に前記順方向動き補償画像の側に重みをシフトすることにより算出される前記補正重み係数に基づいて、前記順方向動き補償画像の前記衝突領域と前記逆方向動き補償画像の前記衝突領域とを重み付き平均する、
   請求項２又は３に記載のフレーム補間装置。
5. フレーム間の画像の動きを示す動きベクトルと２枚のフレームの間に挿入する補間フレームの時間位置とに基づいて、前記２枚のフレームと前記補間フレームとの間の画像の動きを示す補間動きベクトルを算出し、算出した前記補間動きベクトルを単位領域毎に前記補間フレームに割り当てる動きベクトル補間ステップと、
   前記２枚のフレームのうちの順方向側にあるフレームの画像情報と前記補間動きベクトルとに基づき生成される順方向動き補償画像と、前記２枚のフレームのうちの逆方向側にあるフレームの画像情報と前記補間動きベクトルとに基づき生成される逆方向動き補償画像と、を生成する動き補償画像生成ステップと、
   前記単位領域１つにつき１つの若しくは１対の前記補間動きベクトルが割り当てられた通常領域と、前記単位領域１つにつき複数の若しくは複数対の前記補間動きベクトルが割り当てられた衝突領域及び前記補間動きベクトルが割り当てられなかった穴あき領域の少なくとも一方の領域から構成される非通常領域と、で異なる重みで前記順方向動き補償画像及び前記逆方向動き補償画像の対応する領域同士を平均することにより前記補間フレームを生成する補間フレーム生成ステップと、を有する、
   フレーム補間方法。

Images