JP2013157667A - 補間フレーム生成装置、方法及びプログラム - Google Patents

Abstract

【課題】前景物体による隠蔽が生じるオクルージョン領域を正確に補間し、画像の乱れのない補間フレーム（Ｉｍ）を生成すること。
【解決手段】オクルージョン領域内に位置する各画素について、オクルージョン領域外に位置する画素についての動きベクトルを候補ベクトルとして抽出し（５４）、抽出された候補ベクトルに対応する、互いに異なるフレーム上の画素の画素値間の差分に基づき、該候補ベクトルが、背景画素についての動きベクトルか否かを判定し、背景画素についての動きベクトルと判定された候補ベクトルを出力する（５５）。
【選択図】図１

Description

本発明は、映像信号に含まれる複数のフレームの画像を用いて、着目フレーム（以下、第１のフレームと呼ぶ）と、それよりも過去のフレーム（以下、第２のフレームと呼ぶ）の間に、新たに補間フレームを生成する装置及び方法に関するものである。本発明はまた、上記の方法をコンピュータに実行させるためのプログラムに関する。

液晶テレビなどのホールド型の画像表示装置は、１フレーム期間同じ画像を表示し続けており、動きがぼやけて見える問題がある。これに対し、フレーム間に、新たに生成した補間フレームを内挿し、表示フレーム数を増やすことで動きがぼやけて見えることを軽減する技術がある。また、解像度の低い複数のフレームから解像度の高いフレームを生成し、より高精細な映像を提供する技術がある。

これらを行うには、フレーム間の画素対応、すなわち、フレーム間における物体の動きを求める必要がある。フレーム間の動きを求める方法として、フレームを所定の大きさに分割し、ブロックごとの動きベクトルを求めるブロックマッチング法が一般的である。

ブロックマッチング法は、一方のフレームを所定の大きさのブロックに分割し、各ブロックについて他方のフレーム上で同じ大きさのブロックを移動させながら、それぞれのフレームのブロック間で、対応する画素の画素値の差分の絶対値の総和を求め、該総和が最小となる位置関係から動きベクトルを求めるものである。

ブロックマッチング法などで求めたフレーム間の動きを用いて補間フレームを生成するには、フレーム間の動きを補間フレーム上に再配置することが必要となる。この際に、前景物体の移動によって隠されていた背景が出現する領域（以下、オクルージョン領域と呼ぶ）には、フレーム間の動きが再配置されないという問題が生じる。

そこで、上記の動きが再配置されない領域の各画素の動きを、周辺の非オクルージョン領域の画素に再配置された動きから推定する必要がある。オクルージョン領域内の処理対象画素の動きを、周辺の非オクルージョン領域の各画素と処理対象画素の画素値の差分を重み係数とし、該各画素の動きの重み付き平均で推定する方法が提案されている（例えば特許文献１）。また、オクルージョン領域内の処理対象画素の動きを、周辺の非オクルージョン領域の各画素から２種類の動きを抽出し、上記の２種類の動きを処理対象画素の位置に平行移動し、移動した動きに対応する前後フレーム上の画素に再配置された動きの関係から推定する方法が提案されている（例えば特許文献２）。

特開２０１１−１８２１９３号公報 特開２０１０−０５６６２９号公報

しかし、特許文献１の従来技術では、処理対象画素との画素値の差分では局所的なノイズや同じ領域内での画素値の差に影響され正確な動きの推定はできない場合があるという課題があった。また、特許文献２などの従来技術では、補間フレームを挟む前後のフレームについて双方向での動き推定や全体の動きからの背景の動きの事前推定の必要があることに加え、事前に全体的な背景の動きを推定したとしてもオクルージョン領域周辺の局所的な背景の動きと異なることにより動き推定精度が低下するなどの課題があった。

本発明は、オクルージョン領域の動きの推定にあたり、ノイズや局所的なパターンの変化や動きの変化に影響されない正確な動き推定による補間フレーム生成装置及び方法を提供する。

本発明の補間フレーム生成装置は、
動画を構成する一連のフレームについて、着目する第１のフレームと前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成する補間フレーム生成装置において、
前記第１のフレームと第２のフレームの間の動きベクトルを推定する動き推定部と、
前記動き推定部で推定された動きベクトルを前記補間フレーム上に再配置し、前記補間フレーム上の各画素について動きベクトルが再配置されたか否かを示す情報と、再配置された動きベクトルを示す情報を、再配置情報として出力する動きベクトル再配置部と、
前記補間フレーム上の画素のうち、前記再配置情報により動きベクトルが再配置されたことが示されている画素をオクルージョン領域外に位置する画素と判定し、前記再配置情報により動きベクトルが再配置されなかったことが示されている画素をオクルージョン領域内に位置する画素と判定し、前記オクルージョン領域外に位置する画素についての動きベクトルに基づいて、前記オクルージョン領域内に位置する画素についての動きベクトルを補間により生成するオクルージョン領域補正部と、
前記オクルージョン領域補正部により生成された前記オクルージョン領域内の画素についての動きベクトルと、前記再配置部により生成された前記オクルージョン領域外の画素についての動きベクトルを用いて、補間フレーム上の各画素の画素値を求めることで補間フレームの画像を生成する補間フレーム生成部とを備え、
前記オクルージョン領域補正部は、
前記補間フレーム上のオクルージョン領域内に位置する各画素について、オクルージョン領域外に位置する画素についての動きベクトルを候補ベクトルとして抽出する動きベクトル候補抽出部と、
前記動きベクトル候補抽出部により抽出された候補ベクトルに対応する、互いに異なるフレーム上の画素の画素値間の差分に基づき、該候補ベクトルが、背景画素についての動きベクトルか否かを判定し、前記背景画素についての動きベクトルと判定された候補ベクトルを出力する動きベクトル選別部と
を有することを特徴とする。

なお、本発明は、上記の装置を用いて実施される方法としても成立し、該方法をコンピュータに実行させるプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。

本発明によれば、候補ベクトル選別部においてオクルージョン領域の各画素の動きベクトルを、周辺の非オクルージョン領域から適切な候補ベクトルを選別した上で推定することで、補間フレームのオクルージョン領域における画像の乱れを抑制することが可能となる。

本発明の実施の形態１の補間フレーム生成装置を表すブロック図である。 実施の形態１のオクルージョン領域補正部を表すブロック図である。 オクルージョン領域を示す図である。 動きベクトル候補の抽出を説明する図である。 候補ベクトルの選別を説明する図である。 候補ベクトル選別部の処理の流れを表すフローチャートである。 本発明の実施の形態２の補間フレーム生成装置を表すブロック図である。 動きベクトル候補の抽出を説明する図である。

実施の形態１．
以下、本発明の実施の形態１を説明する。
図１は、実施の形態１の補間フレーム生成装置のブロック図である。図示の補間フレーム生成装置は、映像入力端子１０と、フレームバッファ２０と、動き推定部３０と、動きベクトル再配置部４０と、オクルージョン領域補正部５０と、補間フレーム生成部６０と、補間フレーム出力端子７０とを備える。

外部から映像入力端子１０に映像信号（動画）を構成する一連のフレームの画像データが順次入力され、フレームバッファ２０に蓄積され、１フレーム期間後、及びＮフレーム期間（Ｎは２以上の整数）後に読み出される。映像入力端子１０に入力される画像データを第１のフレームの画像データＩ１と言い、１フレーム期間後、及びＮフレーム期間後にフレームバッファ２０から読み出される画像データをそれぞれ第２のフレームの画像データＩ２、第３のフレームの画像データＩ３と言う。なお、上記のＮは例えば２である。
以下では、「画像データ」を単に「画像」と言い、各フレームの画像を単に「フレーム」と言うことがある。
また、各フレームの画像の位置（ｘ，ｙ）における画素値をＩ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）で表す。ｘ及びｙは、画像の水平方向位置及び垂直方向位置を示す座標値である。

動き推定部３０は、映像入力端子１０より第１のフレームの画像Ｉ１、フレームバッファ２０より第２のフレームＩ２の画像を受け、
第２のフレームＩ２上の各画素について、第１及び第２のフレームＩ１、Ｉ２間の動きベクトルＶ２を推定し、出力する。

動きベクトル再配置部４０は、動き推定部３０より第２のフレームＩ２上の画像の各画素についての動きベクトルＶ２を受け、補間フレームＩｍに動きベクトルを再配置し、再配置された動きベクトルを示す情報を生成する。
この再配置は、第１及び第２のフレームＩ１、Ｉ２間における補間フレームＩｍの時間的位置（第１及び第２のフレームＩ１、Ｉ２との時間間隔）に応じて行われる。

後述のように、補間フレームＩｍ上のすべての画素について動きベクトルが再配置されるわけではなく、動きベクトル再配置部４０は、各画素について動きベクトルが再配置されたか否かを示す情報をも生成し、該情報と再配置された動きベクトルとを、再配置情報ＤＶａとして出力する。
再配置により定められた補間フレームＩｍ上の各画素の動きベクトルを符号Ｖａ（ｘ,ｙ）で示す。

オクルージョン領域補正部５０は、動きベクトル再配置部４０から、再配置情報ＤＶａを受け、映像入力端子１０から第１のフレームＩ１の画像を受け、フレームバッファ２０から第２及び第３のフレームＩ２、Ｉ３の画像を受け、補間フレームＩｍ上の画素のうち、動きベクトルが再配置されていない画素をオクルージョン領域内と画素と判断し、動きベクトルが再配置されている画素をオクルージョン領域外（非オクルージョン領域内）の画素と判断し、オクルージョン領域外の画素についての動きベクトルと、第１、第２及び第３のフレームＩ１、Ｉ２、Ｉ３の画素の画素値とに基づいて、オクルージョン領域内の画素についての動きベクトルを補間により生成する。
オクルージョン領域補正部５０で生成される、オクルージョン領域内の画素についての動きベクトルを符号Ｖｂ（ｘ,ｙ）で示す。

オクルージョン領域補正部５０は、オクルージョン領域内の画素については、補間により生成した動きベクトルＶｂ（ｘ，ｙ）を、補正後の動きベクトルＶｄ（ｘ，ｙ）として出力し、オクルージョン領域外の画素については、オクルージョン領域補正部５０に入力された再配置情報ＤＶａに含まれる、動きベクトルＶａ（ｘ，ｙ）を、そのまま補正後の動きベクトルＶｄ（ｘ、ｙ）として出力する。

なお、ここで言う「補正」は、補間フレームＩｍの全ての画素についての動きベクトルの集合に対する補正であって、この補正により、オクルージョン領域内の画素については、補間により動きベクトルＶｂ（ｘ，ｙ）が生成されるが、オクルージョン領域外の画素についての動きベクトルＶａ（ｘ，ｙ）には変更が加えられない。

補正後のオクルージョン領域外の画素についての動きベクトルＶｄ（ｘ,ｙ）＝Ｖａ（ｘ,ｙ）とオクルージョン領域内の画素についての動きベクトルＶｄ（ｘ,ｙ）＝Ｖｂ（ｘ,ｙ）は、所定の順序で出力される。

補間フレーム生成部６０は、オクルージョン領域補正部５０から補正後の動きベクトルＶｄ（ｘ,ｙ）を受け、映像入力端子１０から第１のフレームの画像Ｉ１を受け、フレームバッファ２０から第２のフレームの画像Ｉ２を受け、これらに基づいて補間フレームＩｍ上の各画素の画素値を決定することで、補間フレーム上の画像Ｉｍを生成し、補間フレーム出力端子７０より出力する。

なお、動き推定部３０は、第１及び第２のフレームＩ１、Ｉ２に加えて、フレームバッファ２０から他の（時間的に異なる）１枚以上のフレームの入力を受け、これを動き推定に用いることとしても良い。
同様に、オクルージョン領域補正部５０は、第１、第２及び第３のフレームＩ１、Ｉ２、Ｉ３に加えて、フレームバッファ２０より他の（時間的に異なる）１枚以上のフレームの入力を受けて、これらをオクルージョン領域における動きベクトルの補間に用いることとしても良く、補間フレーム生成部６０は、第１及び第２のフレームＩ１、Ｉ２に加えて、フレームバッファ２０より他の（時間的に異なる）１枚以上のフレームの入力を受けて、これらを補間フレームＩｍの生成に用いることとしても良い。

以下、簡単のため、動き推定部３０及び補間フレーム生成部６０への入力が第１及び第２のフレームＩ１、Ｉ２から成り、オクルージョン領域補正部５０への入力が第１、第２及び第３のフレームＩ１、Ｉ２、Ｉ３から成るものとして説明する。

図２はオクルージョン領域補正部５０の構成例を示すブロック図である。
図示のオクルージョン領域補正部５０は、動きベクトル入力端子５１と、フレーム画像入力端子５２ａ、５２ｂと、オクルージョン領域検出部５３と、動きベクトル候補抽出部５４と、候補ベクトル選別部５５と、動きベクトル決定部５６と、動きベクトル組合せ部５７と、動きベクトル出力端子５８とを有する。

動きベクトル再配置部４０から出力される再配置情報ＤＶａは、動きベクトル入力端子２１を介して、オクルージョン領域検出部５３、動きベクトル候補抽出部５４及び動きベクトル組合せ部５７に供給される。
映像入力端子１０に入力される第１のフレームＩ１の画像は、フレーム画像入力端子５２ａを介して候補ベクトル選別部５５に入力され、フレームバッファ２０から読み出される、第２及び第３のフレームＩ２、Ｉ３の画像は、フレーム画像入力端子５２ｂを介して候補ベクトル選別部５５に入力される。

オクルージョン領域検出部５３は、動きベクトル入力端子２１より再配置情報ＤＶａを受け、補間フレームＩｍの画像中のそれぞれの画素についての、上記の再配置情報ＤＶａを基にオクルージョン領域を検出し、補間フレームＩｍ上の各画素がオクルージョン領域に属するか否かを示す情報Ｄｐｃを出力する。

動きベクトル候補抽出部５４は、動きベクトル入力端子２１から、再配置情報ＤＶａを受けるとともに、オクルージョン領域検出部５３から、補間フレームＩｍ上の各画素がオクルージョン領域に属するか否かを示す情報Ｄｐｃを受け、再配置情報ＤＶａに含まれるオクルージョン領域外の画素についての動きベクトルＶａの中から、オクルージョン領域内の各画素についての動きベクトルの補間のための動きベクトルの候補（候補ベクトル）Ｖｃとして抽出する。

候補ベクトル選別部５５は、候補ベクトルＶｃから所定の条件を満たすもののみを選別して出力する。候補ベクトル選別部５５は、フレーム入力端子５２ａを介して、第１のフレームＩ１の画像を受け、フレーム入力端子５２ｂを介して、第２及び第３のフレームＩ２、Ｉ３の画像を受け、動きベクトル候補抽出部５４から、オクルージョン領域内の各画素についての候補ベクトルＶｃを受け、オクルージョン領域内の各画素についての候補ベクトルＶｃの各々が所定の条件を満たすか否かの判定を行い、該所定の条件を満たすもののみを選別して出力する。

動きベクトル決定部５６は、候補ベクトル選別部５５から出力される、オクルージョン領域内の各画素についての１又は２以上の動きベクトルの中から１つを選択して、当該画素についての動きベクトルＶｂ（ｘ，ｙ）として出力する。この処理は、オクルージョン領域外の画素について動きベクトルＶａに基づくオクルージョン領域内の画素についての動きベクトルＶｂの補間とも言える。

動きベクトル決定部５６から出力される、オクルージョン領域内の画素についての動きベクトルＶｂ（ｘ，ｙ）は、オクルージョン領域補正部５０に入力された再配置情報ＤＶａに含まれる、オクルージョン領域外の画素について動きベクトルＶａ（ｘ，ｙ）とともに、動きベクトル組合せ部５７に供給される。

動きベクトル組合せ部５７は、オクルージョン領域内の画素について、補間により求められた動きベクトルＶｂ（ｘ，ｙ）と、オクルージョン領域外の画素についての動きベクトルＶａ（ｘ，ｙ）とを組合せて補正後の動きベクトルＶｄ（ｘ，ｙ）を出力する。
この処理は、以下の式で表される。即ち、オクルージョン領域内の画素について
Ｖｄ（ｘ，ｙ）＝Ｖｂ〔ｘ，ｙ〕
オクルージョン領域外の画素については、
Ｖｄ（ｘ，ｙ）＝Ｖａ（ｘ，ｙ）
組合せにおいて、動きベクトルＶａ（ｘ，ｙ）、Ｖｂ（x、ｙ）は所定の順に並べ替えられる。
補正後の動きベクトルＶｄ（ｘ，ｙ）は、オクルージョン領域補正部５０の出力として補間フレーム生成部６０に供給される。

オクルージョン領域補正部５０のオクルージョン領域検出部５３、動きベクトル候補抽出部５４、候補ベクトル選別部５５、及び動きベクトル決定部５６による処理は、一般には、対応する画素のラスタ順に、例えば、画面上に行列を成すように配置された画素を上の行から下方へ、各行においては左の画素から右方へという順で行われる。動き推定部３０、動きベクトル再配置部４０、補間フレーム生成部５６の処理も同様の順序で行われる。また、オクルージョン領域補正部５０からの、補間フレームＩｍ上のそれぞれの画素についての動きベクトルＶｄ（ｘ，ｙ）の出力も、上記の順で行われる。

以下で本発明の実施の形態１の各部の処理をより詳細に説明する。
動き推定部３０における動きベクトルを求める手法について、ここでは一般的な第１及び第２のフレームＩ１、Ｉ２を入力とするブロックマッチング法について説明する。

ブロックマッチング法は、一方のフレームを所定の大きさの複数のブロックに分割し、ブロックごとの動きベクトルを求めるものである。ここでは第２のフレームＩ２を複数のブロックに分割するものとして説明する。分割されたブロックの各々（以下着目ブロックと呼ぶ）の動きを求めるに当たり、第１のフレームＩ１上に着目ブロックと同じ大きさで同じ形状のブロック（以下、参照ブロックと呼ぶ）を配置し、着目ブロックと参照ブロックのパターンの類似度を求める。類似度の定義は様々であるが、２つのブロックの対応する画素間の画素値（例えば輝度を表す画素値）の差分の絶対値の総和（以下、ＳＡＤと呼ぶ）を、所定の値を基準に極性を反転したもの（、例えば該所定の値から上記ＳＡＤを減算した値）を用いることが一般的である。極性を反転させるのは、値が大きいほど高い類似度を示すものとするためである。

着目ブロックに対して、参照ブロックの位置を変えながら各位置での類似度を求め、最も類似度が高い位置（類似度の最も高い参照ブロックの、着目ブロックに対する相対位置）を着目ブロックの動きベクトルとして求める。
参照ブロックの位置を、画像全体を網羅するように移動させれば、最も正確に動きベクトルを求めることができるが、画像のすべての位置に対して類似度を算出するには、膨大な演算が必要であるため、着目ブロックを中心とする一定の範囲で移動させるのが一般的である。
この処理を第２のフレームＩ２のすべてのブロックに対して繰り返すことで、第２のフレームＩ２上の各ブロックについての動きベクトル（ブロック単位の動きベクトル）を求めることができる。

動き推定部３０では次に、各ブロックの動きベクトルから、各画素についての動きベクトル（画素単位の動きベクトル）を求める。この処理を動きベクトルの細密化とも言う。
この場合、各ブロックの動きベクトルを当該ブロック内のすべての画素の動きベクトルとして用いても良く、各画素について、当該画素が属するブロックのみならず、当該ブロックの周辺に位置するブロックについての動きベクトルに基づいて、上記各画素についての動きベクトルを求めることとしても良く、さらに前後のフレームの画素値を参照して、上記各画素についての動きベクトルを求めることとしても良い。

なお、ブロック単位の動きベクトルを求める手法も、上記のブロックマッチング法に限定されるものではなく、他の手法でも良い。
また、画素単位の動きベクトルをブロック単位の動きベクトルから細密化により求めるのではなく、直接推定する手法を用いても良い。この場合、例えば、第２のフレームＩ２上の各画素（着目画素）を中心とする所定の大きさの領域（着目領域）と、第１のフレームＩ１上の同じ形状、同じ大きさの領域（参照領域）とのマッチングを行って、類似度が高い参照領域の着目領域に対する相対位置を上記着目画素についての動きベクトルとして推定する。

動きベクトル再配置部４０は、動きベクトル推定部３０から、第２のフレームＩ２上の各画素についての動きベクトルＶ２を受け、補間フレームＩｍ上の動きベクトルを求める。
この処理は、第２のフレームＩ２上の動きベクトルを補間フレームＩｍ上に移動（平行移動）させる処理であるので、再配置と呼ばれる。
簡単のため、補間フレームＩｍは第１のフレームＩ１及び第２のフレームＩ２の時間的に中間の位置にあり、動き推定部３０は、上記のように、第２のフレーム上の各画素について、第２のフレームＩ２から第１のフレームＩ１への動きベクトルを求めるものであるものとする。

この場合、第２のフレームＩ２上の各画素の動きベクトルＶ２は、式（１）に示すように第２のフレームＩ２上の各画素の動きベクトルを、動きベクトルの半分の値だけ平行移動することで補間フレームＩｍの位置へ再配置される。

式（１）において、Ｖａ（ａ，ｂ）は補間フレームＩｍ上の位置（ａ，ｂ）の動きベクトル、
Ｖ２（ａ，ｂ）は第２のフレームＩ２上の（ａ，ｂ）の動きベクトル、
Ｖ２ｘ（ａ，ｂ）は第２のフレームＩ２上の位置（ａ，ｂ）の動きベクトルＶ２（ａ，ｂ）のｘ成分、
Ｖ２ｙ（ａ，ｂ）は第２のフレームＩ２上の位置（ａ，ｂ）の動きベクトルＶ２（ａ，ｂ）のｙ成分を表す。

以下、動きベクトルの再配置について図３を参照して説明する。図３では、簡単のため画素の配列を１次元としている。
例えば、図３の第２のフレームＩ２上の画素Ｐ２１については動き推定部３０において第１のフレームＩ１上の画素Ｐ１１への動きベクトルＶ２（Ｐ２１）が推定されている。この動きベクトルＶ２（Ｐ２１）を、その値の半分だけ、即ち動きベクトルＶ２（Ｐ２１）と同じ方向に、その絶対値の半分の距離だけ平行移動させ、補間フレームＩｍ上の画素Ｐｍ１に再配置する。この再配置により、補間フレームＩｍ上の画素Ｐｍ１についての動きベクトルの値Ｖａ（Ｐｍ１）が
Ｖａ（Ｐｍ１）＝Ｖ２（Ｐ２１）
と推定される。

なお、第２のフレームＩ２上の２つ以上の動きベクトルが補間フレームＩｍ上の同一の画素に再配置された場合は、上記２つ以上の動きベクトルの一つを選択し、選択された動きベクトルを再配置後の動きベクトルとして用いる。例えば、動き推定部３０で動きベクトルＶ２を推定した際の類似度などに基づいて上記の選択を行う。例えば類似度の高い方（ＳＡＤが小さい方）の動きベクトルを選択する。

以上のように、動きベクトル再配置部４０による再配置は、第２のフレームＩ２と第１のフレームＩ１の間の動きベクトルを、該動きベクトルに沿う直線と補間フレームＩｍとの交点における動きベクトル（補間フレームＩｍ上の動きベクトル）として用いる処理であると言える。

動きベクトル再配置部４０は、補間フレームＩｍ上の各画素について上記のような再配置により動きベクトルが再配置された（割り当てられた）か否かを判定し、判定結果を示す情報と、動きベクトルが再配置された画素については、再配置された動きベクトルＶａ（ｘ，ｙ）を示す情報を生成し、これらを再配置情報ＤＶａとして出力する。

動きベクトル再配置部４０から出力される再配置情報ＤＶａは、オクルージョン領域補正部５０に供給される。

オクルージョン領域補正部５０は、先にも述べたように、動きベクトル再配置部４０から出力される再配置情報ＤＶａに基づいて、オクルージョン領域内の画素についての動きベクトルＶｂ（ｘ，ｙ）を補間により生成する。

以下、オクルージョン領域補正部５０の動作について図３を用いて説明する。
図３において、第２のフレームＩ２上に、右へ移動している前景物体ＦＧ２と左に動いている背景画素Ｐ２１、Ｐ２２ｂ、Ｐ２３ｂ、Ｐ２４ｂが示してある。これらのうち、背景画素Ｐ２２ｂ、Ｐ２３ｂ、Ｐ２４ｂは、前景物体ＦＧ２により隠蔽されており（覆われており）、その値は既知ではない。即ち、該値を示すデータは第２のフレームＩ２の画像を示すデータに含まれていない。前景物体ＦＧ２の左端に位置する画素（前景画素）Ｐ２５が、背景画素Ｐ２２ｂと重ねて示してあり、前景画素Ｐ２５の値は既知である。背景画素Ｐ２３ｂ、Ｐ２４ｂに重なる前景画素も存在するが、それらの図示は省略されている。

第２のフレームＩ２上の背景画素Ｐ２１、Ｐ２２ｂ、Ｐ２３ｂ、Ｐ２４ｂは、第１のフレームＩ１上では、符号Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４で示す位置へ移動しており、第２のフレームＩ２上の前景物体ＦＧ２は、第１のフレームＩ１上では符号ＦＧ１で示す位置へ移動し、前景物体ＦＧ２の左端の画素Ｐ２５は、第１のフレームＩ１上では符号Ｐ１５で示す位置へ移動している。

第２のフレームＩ２上の画素Ｐ２１、Ｐ２２ｂ、Ｐ２３ｂ、Ｐ２４ｂ、Ｐ２５は、補間フレームＩｍ上では、それぞれの中間の位置、即ち符号Ｐｍ１、Ｐｍ２、Ｐｍ３、Ｐｍ４、及びＰｍ５で示す位置に移動している。
第２のフレームＩ２上で前景物体ＦＧ２により隠蔽されていた画素Ｆ２２ｂ、Ｆ２３ｂ、Ｆ２４ｂに対応する（これらの画素の動き先に位置する）、補間フレームＩｍ上の画素Ｆｍ２ｂ、Ｆｍ３ｂ、Ｆｍ４ｂによってオクルージョン領域ＯＣＡが形成される。

動きベクトル再配置部４０によって、補間フレームＩｍ上の画素、例えば、背景画素Ｐｍ１及び前景物体ＦＧｍ上の各画素には動きベクトルが再配置されている。
例えば、画素Ｐ２１の動きベクトル（画素Ｐ１１に向かうもの）Ｖ２（Ｐ２１）が画素Ｐｍ１に再配置されて、補間フレームＩｍ上の再配置された動きベクトルＶａ（Ｐｍ１）となっており、画素Ｐ２５の動きベクトル（画素Ｐ１５に向かうもの）Ｖ２（Ｐ２５）が画素Ｐｍ５に再配置されて、補間フレームＩｍ上の再配置された動きベクトルＶａ（Ｐｍ５）となっている。

一方、第２のフレームＩ２上の背景画素Ｐ２２ｂ、Ｐ２３ｂ、Ｐ２４ｂは前景物体ＦＧ２によって隠蔽されているため、動き推定部３０において動き推定がされておらず、その結果、これらの背景画素Ｐ２２ｂ、Ｐ２３ｂ、Ｐ２４ｂに対応する補間フレームＩｍ上の画素Ｐｍ２、Ｐｍ３、Ｐｍ４には動きベクトルが再配置されていない。

このようにオクルージョン領域ＯＣＡでは、動きベクトル再配置部４０による動きベクトルの再配置処理後も動きベクトルが存在しない(再配置されていない)状態となる。
このことを利用し、オクルージョン領域検出部５３は、動きベクトル再配置部４０による動きベクトルの再配置処理を受けた後の画像において、動きベクトルが存在しない（再配置されていない）ことが再配置情報ＤＶａにより示されている画素を、オクルージョン領域ＯＣＡを構成する画素として検出する。

動きベクトル候補抽出部５４は、オクルージョン領域検出部５３が検出したオクルージョン領域の画素についての動きベクトルの補間のための候補となる動きベクトル（候補ベクトル）を、周辺の非オクルージョン領域（オクルージョン領域の外部）に位置する画素について動きベクトルから抽出する。

例えば、図３のオクルージョン領域ＯＣＡの画素Ｐｍ２、Ｐｍ３、Ｐｍ４の各々について、動きベクトル候補抽出部５４は、オクルージョン領域外に位置し、かつこれらの画素に可能な限り近い画素、例えば背景画素Ｐｍ１及び前景物体ＦＧｍ上の画素Ｐｍ５の２つの画素に再配置されている動きベクトルＶａ（Ｐｍ１）、Ｖａ（Ｐｍ５）をそれぞれ候補ベクトルＶｃとして抽出する。より詳しく言えば、上記２つの画素に再配置されている動きベクトルＶａ（Ｐｍ１）、Ｖａ（Ｐｍ５）を、画素Ｐｍ２のための第１及び第２の候補ベクトルＶｃ（Ｐｍ２）_１、Ｖｃ（Ｐｍ２）_２として抽出するとともに、画素Ｐｍ３のための第１及び第２の候補ベクトルＶｃ（Ｐｍ３）_１、Ｖｃ（Ｐｍ３）_２として抽出するとともに、画素Ｐｍ４のための第１及び第２の候補ベクトルＶｃ（Ｐｍ４）_１、Ｖｃ（Ｐｍ４）_２として抽出する。

２次元に拡張して考えると、図４に示すように、補間フレームＩｍ上のオクルージョン領域ＯＣＡ内に位置する補間対象画素の各々ＰＥ０を着目画素として、該着目画素ＰＥ０について、該オクルージョン領域ＯＣＡの外部（非オクルージョン領域内）に位置し、着目画素ＰＥ０にできるだけ近い画素、例えば、オクルージョン領域ＯＣＡ内の着目画素ＰＥ０に対し、垂直方向位置（ｙ座標）が同じで且つ着目画素ＰＥ０に最も近い左右の画素ＰＥ１及びＰＥ２、並びに水平方向位置（ｘ座標）が同じで且つ着目画素ＰＥ０に最も近い上下の画素ＰＥ３及びＰＥ４についての動きベクトルＶａ（ＰＥ１）、Ｖａ（ＰＥ２）、Ｖａ（ＰＥ３）、Ｖａ（ＰＥ４）を着目画素ＰＥ０のための候補ベクトルＶｃ（ＰＥ０）_１、Ｖｃ（ＰＥ０）_２、Ｖｃ（ＰＥ０）_３、Ｖｃ（ＰＥ０）_４として抽出する。

画素ＰＥ１（第１の画素）は、オクルージョン領域内の着目画素ＰＥ０と垂直方向位置が同じで、該着目画素よりも左側に位置する画素のうち、該着目画素に最も近い画素であり、画素ＰＥ２（第２の画素）は、オクルージョン領域内の着目画素ＰＥ０と垂直方向位置が同じで、該着目画素よりも右側に位置する画素のうち、該着目画素に最も近い画素であり、画素ＰＥ３（第３の画素）は、オクルージョン領域内の着目画素ＰＥ０と水平方向位置が同じで、該着目画素よりも上側に位置する画素のうち、該着目画素に最も近い画素であり、画素ＰＥ４（第４の画素）は、オクルージョン領域内の着目画素ＰＥ０と水平方向位置が同じで、該着目画素よりも下側に位置する画素のうち、該着目画素に最も近い画素である。

なお、上記の４つの画素のすべてを抽出することは必須ではなく、１つ以上の画素より動きベクトルを抽出すれば良く、１つも抽出できない場合は、事前に決定しておいた所定のベクトルを候補としても良い。ここで、所定のベクトルは例えばゼロベクトル（動きがないことを示す）ものであっても良い。

また、動きベクトルを抽出する画素は、上記のように、オクルージョン領域ＯＣＡの外部に位置して、水平方向位置又は垂直方向位置が同じであり、かつ着目画素に最も近い画素、例えば上記の４つの画素に限定されるものではなく、上記外部に位置して着目画素に最も近い画素、例えば上記の４つの画素の各々の周辺の画素を含めても良い。この点については、実施の形態２に関して後述する。

仮に着目画素を中心に所定の距離内の画素のうち非オクルージョン領域の画素を候補とする場合には、オクルージョン領域が広い場合に、上記の所定の距離内に非オクルージョン領域に属する画素がないことがあるが、上記のように、上下左右方向に位置する非オクルージョン領域の画素を参照することにより、オクルージョン領域が広い場合にも確実に非オクルージョン領域の画素の動きベクトルを抽出することができる。

次に、候補ベクトル選別部５５の処理を図５及び図６を参照して説明する。
図５は、図３と同様の図であるが、第３のフレームＩ３が示されている。図示の例では、第３のフレームＩ３と第２のフレームＩ２の時間的間隔は第１のフレームＩ１と第２のフレームＩ２の時間的間隔と同じとしている。
オクルージョン領域ＯＣＡには３つの画素Ｐｍ２、Ｐｍ３、Ｐｍ４が含まれ、オクルージョン領域ＯＣＡに隣接する非オクルージョン領域の画素Ｐｍ１、Ｐｍ５についての動きベクトルＶａ（Ｐｍ１）、Ｖａ（Ｐｍ５）が、オクルージョン領域ＯＣＡ内の画素の候補ベクトルＶｃ（Ｐｍ２）_１、Ｖｃ（Ｐｍ２）_２、Ｖｃ（Ｐｍ３）_１、Ｖｃ（Ｐｍ３）_２、Ｖｃ（Ｐｍ４）_１、Ｖｃ（Ｐｍ４）_２として、動きベクトル候補抽出部５４により抽出されているものとする。

図６は、候補ベクトル選別部５５における処理の手順を示す。
候補ベクトル選別部５５は、補間フレームＩｍ上の補間対象画素（即ち、動きベクトルが再配置されていない画素、言い換えるとオクルージョン領域内に位置する画素）Ｐｉを順に選択し（ステップＳ１０１）、選択した補間対象画素についての１又は２以上の候補ベクトルＶｃ（Ｐｉ）_ｊ（ｊ＝１、２、…）の一つを選択する（ステップＳ１０２）。
選択された候補ベクトルについての処理が開始されるとまず、ステップＳ１０３において、選択した候補ベクトルＶｃ（Ｐｉ）_ｊ（図５に示す例では、候補ベクトルＶｃ（Ｐｉ）_１＝Ｖａ（Ｐｍ１）、Ｖｃ（Ｐｉ）_２＝Ｖａ（Ｐｍ５）のいずれか）に沿う直線と第３及び第２のフレームＩ３、Ｉ２の交点に位置する第３及び第２フレーム上の画素の画素値の差分絶対値ＤＦ３２（ｘ，ｙ）を下記の式（２）により求める。

式（２）において、
Ｉ２（ａ，ｂ）は第２のフレームＩ２上の位置（ａ，ｂ）の画素の画素値、
Ｉ３（ａ，ｂ）は第３のフレームＩ３上の位置（ａ，ｂ）の画素の画素値、
Ｖａｘ（ａ，ｂ）、Ｖａｙ（ａ，ｂ）はそれぞれ補間フレームＩｍ上の位置（ａ，ｂ）に再配置された動きベクトルＶａ（ａ,ｂ）のｘ成分とｙ成分である。

例えば、選択した候補ベクトルＶｃが図５における補間フレームＩｍ上の画素Ｐｍ１についての動きベクトルＶａ（Ｐｍ１）であるときは、
ＤＦ３２（Ｐｍ１）＝｜Ｉ（Ｐ３１）−Ｉ（Ｐ２１）｜
が得られる。選択した候補ベクトルＶｃが補間フレームＩｍ上の画素Ｐｍ５についての動きベクトルＶａ（Ｐｍ５）であるときは、
ＤＦ３２（Ｐｍ５）＝｜Ｉ（Ｐ３５）−Ｉ（Ｐ２５）｜
が得られる。ただし、Ｉ（ｐ）は画素ｐの画素値を表す。

ステップＳ１０４では、選択した候補ベクトルＶｃ（Ｐｉ）_ｊ（図５に示す例では、候補ベクトルＶｃ（Ｐｉ）_１＝Ｖａ（Ｐｍ１）、Ｖｃ（Ｐｉ）_２＝Ｖａ（Ｐｍ５）のいずれか）に沿う直線と第２及び第１のフレームＩ２、Ｉ１の交点に位置する第２及び第１のフレームＩ２、Ｉ１上の画素の画素値の差分絶対値ＤＦ２１を下記の式（３）により求める。

式（３）で、
Ｉ２（ａ，ｂ）は第２のフレームＩ２上の位置（ａ，ｂ）の画素の画素値、
Ｉ１（ａ，ｂ）は第１のフレームＩ１上の位置（ａ，ｂ）の画素の画素値、
Ｖａｘ（ａ，ｂ）、Ｖａｙ（ａ，ｂ）はそれぞれ補間フレームＩｍ上の位置（ａ，ｂ）に再配置された動きベクトルＶａ（ａ，ｂ）のｘ成分とｙ成分である。

例えば、選択した候補ベクトルＶｃが図５における補間フレームＩｍ上の画素Ｐｍ１についての動きベクトルＶａ（Ｐｍ１）であるときは、
ＤＦ２１（Ｐｍ１）＝｜Ｉ（Ｐ２１）−Ｉ（Ｐ１１）｜
が得られる。選択した候補ベクトルＶｃが補間フレームＩｍ上の画素Ｐｍ５についての動きベクトルＶａ（Ｐｍ５）であるときは、
ＤＦ２１（Ｐｍ５）＝｜Ｉ（Ｐ２５）−Ｉ（Ｐ１５）｜
が得られる。ただし、Ｉ（ｐ）は画素ｐの画素値を表す。

式（２）及び式（３）では第１、第２及び第３のフレームＩ１、Ｉ２、Ｉ３上の単一の画素の画素値の差分を用いているが、各画素の周辺（例えば、各画素を中心とする所定の大きさの矩形領域）の画素値の差分の絶対値の総和を上記の差分ＤＦ３２、ＤＦ２１の代わりに求めても良い。

オクルージョン領域ＯＣＡに隣接する非オクルージョン領域にある背景画素（非オクルージョン領域内に位置し、オクルージョン領域との境界付近にある背景画素）は第２のフレームＩ２よりさらに過去の第３のフレームＩ３では前景物体に隠蔽されている可能性が高い。このため、第２のフレームＩ２上の画素値と第３のフレームＩ３上の画素値は大きく異なっていることが多い。すなわち、差分ＤＦ３２が大きい場合には、対応する候補ベクトルが背景画素についての動きベクトルである（当該候補ベクトルに沿う直線と、それぞれのフレームとの交点に位置する画素が背景画素である）と推定することができる。

そこで、ステップＳ１０５において、オクルージョン領域に隣接する非オクルージョン領域の画素Ｐｍ１、Ｐｍ５の各々について求めた差分ＤＦ３２（例えばＤＦ３２（Ｐｍ１）、ＤＦ３２（Ｐｍ５））と、差分ＤＦ２１（例えばＤＦ２１（ＤＦ２１（Ｐｍ１）、ＤＦ２１（Ｐｍ５））に所定の閾値ＴＨＲＥを加えたものを比較する。差分ＤＦ３２の方が大きければ、即ち
ＤＦ３２＞ＤＦ２１＋ＴＨＲＥ） （４）
が満たされれば、対応する候補ベクトル（当該差分ＤＦ３２、ＤＦ２１を求める際に用いられた画素を通過する直線に沿う候補ベクトル）が背景画素についての動きベクトルであると判断して、判断結果を記憶（登録）する（Ｓ１０６）。
そうでなければ、即ち
ＤＦ３２≦ＤＦ２１＋ＴＨＲＥ） （５）
が満たされれば、対応する候補ベクトル（当該差分ＤＦ３２、ＤＦ２１を求める際に用いられた画素を通過する直線に沿う候補ベクトル）が前景画素についての動きベクトルであると判断して、判断結果を記憶する（Ｓ１０７）。

例えば、選択した候補ベクトルＶｃが画素Ｐｍ１についての動きベクトルＶａ（Ｐｍ１）であるときは、
ＤＦ３２（Ｐｍ１）＞ＤＦ２１（Ｐｍ１）＋ＴＨＲＥ
となり、当該候補ベクトルＶｃは背景画素についての動きベクトルであると判断される（Ｓ１０６）。また、選択した候補ベクトルＶｃが画素Ｐｍ５についての動きベクトルＶａ（Ｐｍ５）であるときは、
ＤＦ３２（Ｐｍ５）≦ＤＦ２１（Ｐｍ５）＋ＴＨＲＥ
となり、当該候補ベクトルＶｃは前景画素についての動きベクトルであると判断される（Ｓ１０７）。

ステップＳ１０６又はステップＳ１０７の次に、ステップＳ１０８において、選択されている補間対象画素についての１又は２以上の候補ベクトルＶｃ（Ｐｉ）_ｊ（ｊ＝１、２、…）のすべてについて処理が終わったか否か、即ち選択されている補間対象画素について他の候補ベクトルがあるか否かの判断を行ない、まだ終わっていなければ、即ち他の候補ベクトルがあれば、ステップＳ１０２に戻り、次に、それまでに選択されていない候補ベクトルが選択されて、ステップＳ１０３以降の処理が行われる。
ステップＳ１０８ですべての候補ベクトルについて処理が終わったと判断されたときは、ステップＳ１０９に進む。

ステップＳ１０９では、背景画素についての動きベクトルと判断された候補ベクトルＶｃが、補間対象画素についての選別された候補ベクトルＶｃとして出力される。このようにして、選択されている補間対象画素についての候補ベクトルＶｃの選別が行われる。

ステップＳ１０９の次にステップＳ１１０において、補間フレームＩｍ上の補間対象画素（動きベクトルが再配置されていない画素）Ｐｉのすべてについて処理（ステップＳ１０１からステップＳ１０９までの補間処理）が終わったか否か、即ちまだ処理の終わっていない他の補間対象画素が有るか否かの判断が行なわれ、まだ終わっていなければ、即ち他の補間対象画素が有れば、ステップＳ１０１に戻り、次にまだ選択されていない補間対象画素を選択して、ステップＳ１０２以降の処理を行う。
すべての画素について処理が終わっていると判断されたら、当該補間フレーム上のすべての画素についての候補ベクトルの選別の処理を終了する。

以上の処理により、補間フレームＩｍ上の１又は２以上のオクルージョン領域内の各画素について、１つ又は２以上の候補ベクトルＶｃが選択されて、出力される。

オクルージョン領域は、前景物体によって隠蔽されていた領域が前景物体の移動によって出現した背景領域であるので、周辺の背景領域の動きをオクルージョン領域の動きと推定することが適切である。
同一フレーム上での画素値の差から、オクルージョン領域の画素の画素値が、候補ベクトルが割り当てられた画素のうちのどの画素の画素値と最も近いかによって候補ベクトルを選ぶことも考えられるが、このようにした場合、背景のパターンによっては画素値の差から同じ背景に属する画素であるかどうかの判定が難しい場合がある。

一方、動きベクトルに沿う直線上に位置する画素は、２つのフレームの双方で隠蔽がなければ、値が同一又は近い値である可能性が高く、一方２つのフレームの一方でのみ隠蔽があれば、値が大きく異なる可能性が高いため、上記のように、差分ＤＦ３２、ＤＦ２１による３フレーム間の画素値の変化（差分の絶対値相互の関係）用いることで、背景画素か否かの判定をより正確に行うことができる。

次に、動きベクトル決定部５６の動作について説明する。
動きベクトル決定部５６は、補間フレームＩｍ上の１又は２以上のオクルージョン領域内の各画素について、候補ベクトル選別部５５から出力された１又は２以上の候補ベクトルＶｃ（ｘ，ｙ）_１、Ｖｃ（ｘ，ｙ）_２、…の一つを、当該画素についての動きベクトルＶｂ（ｘ，ｙ）として出力する。

各画素について、１つの候補ベクトルＶｃ（ｘ，ｙ）が、候補ベクトル選別部５５から出力されている場合には、当該候補ベクトルＶｃ（ｘ，ｙ）を当該画素についての動きベクトル（補間された動きベクトル）Ｖｂ（ｘ，ｙ）として出力する。

各画素について、２つ以上の候補ベクトルＶｃ（ｘ，ｙ）_１、Ｖｃ（ｘ，ｙ）_２、…が、候補ベクトル選別部５５から出力されている場合には、それら候補ベクトルの一つを選択して当該画素についての動きベクトル（補間された動きベクトル）Ｖｂ（ｘ，ｙ）として出力する。
この選択に当たっては、例えばそれぞれの候補ベクトルＶｃ（ｘ，ｙ）_１、Ｖｃ（ｘ，ｙ）_２、…について候補ベクトル選別部５５で算出した差分絶対値ＤＦ３２が最大であった候補ベクトルＶｃ（ｘ，ｙ）_ｊを選択する。

代わりに、候補ベクトル選別部５５から出力されている候補ベクトルＶｃのうち、上記の式（５）が満たされ、その結果前景画素についての動きベクトルであると判断された候補ベクトルＶｃの平均値、中央値、最頻値などの代表値を求め、該代表値からの差（向きの差を考慮に入れた差、即ちベクトル差）が最も大きい候補ベクトルを選択することとしても良い。
（ここで、平均値、中央値、最頻値を求める場合には、それらの値の水平方向成分と垂直方向成分とを別々に求める。「差が最も大きいベクトル」を求める場合にも同様に、水平方向成分の差、垂直方向成分の差を別々に求めて、それら差を総合する（例えば、差の絶対値の和、或いは差の自乗の和を求める）。

動きベクトル決定部５６の出力Ｖｂ（ｘ，ｙ）は、動きベクトル組合せ部５７に供給される。オクルージョン補正部５０に入力された再配置情報ＤＶａも、動きベクトル組合せ部５７に供給される。動きベクトル組合せ部５７は、再配置情報ＤＶａのうちの各画素がオクルージョン領域内のものかどうかを示す情報を元に、再配置情報ＤＶａに含まれるオクルージョン領域外の画素についての動きベクトルＶａ（ｘ，ｙ）と、動きベクトル決定部５６から出力された、オクルージョン領域内の画素についての動きベクトルＶｂ（ｘ，ｙ）を組合せ、所定の順に並べて、補正後の補間フレームＩｍの動きベクトルＶｄ（ｘ，ｙ）として出力する。
動きベクトル組合せ部５７の出力は、オクルージョン領域補正部５０の出力として動きベクトル出力端子５８を介して補間フレーム生成部６０に供給される。

次に補間フレーム生成部６０の動作について説明する。
補間フレーム生成部６０は、映像入力端子１０から第１のフレームＩ１の画像を受け、フレームバッファ２０から第２のフレームＩ２の画像を受け、オクルージョン領域補正部５０から、補間フレームＩｍの各画素についての動きベクトルＶｄ（ｘ，ｙ）を受け、これらに基づいて、補間フレームＩｍの各画素の画素値を求め、これにより、補間フレームＩｍの画像を形成し、出力する。

補間フレームＩｍの各画素の値Ｉｍ（ｘ，ｙ）は、下記の式（６）に示すように、補間フレームＩｍ上の各画素についての動きベクトルＶｄ（ｘ，ｙ）を基に、第１及び第２のフレームＩ１、Ｉ２の画素を参照し、両画素の平均を補間フレームＩｍの画素とすることで求めることができる。

式（６）で、
Ｉｍ（ａ，ｂ），Ｉ１（ａ，ｂ），Ｉ２（ａ，ｂ）は、それぞれ補間フレームＩｍ、第１のフレームＩ１、第２のフレームＩ２の位置（ａ，ｂ）の画素の画素値、
Ｖｄｘ（ａ，ｂ）、Ｖｄｙ（ａ，ｂ）はそれぞれ補間フレームＩｍ上の位置（ａ，ｂ）の画素についての動きベクトルＶｄ（ａ,ｂ）のｘ成分とｙ成分である。
補間フレームＩｍのすべての画素の画素値を算出することで補間フレームＩｍの画像を生成することができる。

なお、補間フレームＩｍの画素値は、上記の式（６）のように第１及び第２のフレームＩ１、Ｉ２の画素値の平均を取らず、各フレームの画素値などから算出した係数に応じた重み付き平均を取っても良く、また、第１及び第２のフレームＩ１、Ｉ２の一方の値のみを用いても良い。とりわけ、オクルージョン領域内の画素は第２のフレームＩ２上では前景物体によって隠蔽されているため参照すべき画素が存在しないので、この場合第１のフレームＩ１の画素のみを用いて補間フレームＩｍの画素値を算出する方が良い。

以上のように、オクルージョン領域の動きベクトルを周辺の背景画素についての動きベクトルに基づいて決定し、決定された動きベクトルを用いて補間フレームＩｍの画像の画素の画素値を決定することによって、オクルージョン領域における補間フレームＩｍの画像の乱れを抑制することが可能となる。

実施の形態２．
以下、本発明の実施の形態２を説明する。
実施の形態２の補間フレーム生成装置の全体的構成は、実施の形態１に関し図１を参照して説明したのと同じであるが、実施の形態２では、図１のオクルージョン領域補正部５０の代わりに図７に示されるオクルージョン領域補正部５０ｂが用いられている。

図７に示されるオクルージョン領域補正部５０ｂは慨して図２に示されるオクルージョン領域補正部５０と同じであるが、探索範囲決定部５９が付加され、動きベクトル候補抽出部５４の代わりに動きベクトル候補ベクトル抽出部５４ｂが用いられている。

探索範囲決定部５９は、オクルージョン領域検出部５３から補間フレームＩｍ上の各画素がオクルージョン領域内に位置するか否かを示す情報Ｄｐｃを受け、この情報に基づいて、オクルージョン領域内の各画素についての動きベクトルの決定に用いる候補ベクトルを抽出するための探索範囲を決定し、決定した探索範囲を示す情報Ｄｒｓを出力する。

動きベクトル候補抽出部５４ｂは、オクルージョン領域検出部５３から補間フレームＩｍ上の各画素がオクルージョン領域内に位置するか否かを示す情報Ｄｐｃを受け、探索範囲決定部５９から、探索範囲を示す情報Ｄｒｓを受け、探索範囲内に位置する画素についての動きベクトルを候補ベクトルＶｃとして抽出する。

オクルージョン領域検出部５３、候補ベクトル選択部５５、及び動きベクトル決定部５６の動作は、図２の同一の符号で示す部材と同じである。但し、候補ベクトル選別部５５は、動きベクトル候補抽出部５４の出力の代わりに動きベクトル候補抽出部５４ｂの出力を入力とする。

以下、探索範囲決定部５９を設ける理由について説明する。
動きベクトル候補抽出部５４ｂは、実施の形態１の動きベクトル候補抽出部５４と同様に、図４に示すような４画素の動きベクトルを候補ベクトルとしても良いが、上記４画素に対して局所的に誤った動きベクトルが再配置されていた場合に後段の候補ベクトル選別部５５での選別の結果得られる動きベクトルの、本来あるべき値からの誤差が大きくなってしまう可能性が高まる。この傾向は、オクルージョン領域が広く、その反対側の境界相互間で動きベクトルの差が大きい場合に、著しくなる。
そこで、探索範囲決定部５９は、オクルージョン領域の反対側の境界相互間での動きベクトルの差に応じた範囲、従って，オクルージョン領域の大きさに応じた範囲で候補ベクトルを抽出するために、候補ベクトルの抽出のための探索範囲を決定する。

この探索範囲は、例えば、図８に示される４つの矩形の領域であり、それぞれの矩形の領域は、各オクルージョン領域内に位置する補間対象画素の各々を着目画素として、該着目画素について、当該オクルージョン領域の外部に位置し、かつ当該オクルージョン領域との境界に最も近い位置にある画素ＰＥ１、ＰＥ２、ＰＥ３、ＰＥ４が４つの辺のうち、着目画素に近い側の辺(着目画素と画素ＰＥ１、ＰＥ２、ＰＥ３又はＰＥ４を結ぶ線に垂直な一対の辺のうち、着目画素に近い側の辺)の中央に位置するものである。

矩形の領域の水平方向の辺の長さは、着目画素と垂直方向位置が同じで、オクルージョン領域の外側にある一対の画素ＰＥ１、ＰＥ２についての動きベクトルの水平方向成分の差の絶対値に応じて定められるものであり、より具体的には、上記の画素ＰＥ１、ＰＥ２についての動きベクトルの水平方向成分の差の絶対値が大きいほど長く定められ、矩形の領域の垂直方向の辺の長さは、着目画素と水平方向位置が同じで、オクルージョン領域の外側にある一対の画素ＰＥ３、ＰＥ４についての動きベクトルの垂直方向成分の差の絶対値に応じて定められるものであり、より具体的には、上記の画素ＰＥ３、ＰＥ４についての動きベクトルの垂直方向成分の差の絶対値が大きいほど長く定められる。

例えば、探索範囲は、下記の式（７Ａ）、（７Ｂ）によって算出されるＬｘ（ｘ，ｙ）及びＬｙ（ｘ，ｙ）をそれぞれ水平方向及び垂直方向の辺の長さとする矩形の領域とする。ただし、式（７Ａ）、（７Ｂ）で算出されるＬｘ（ｘ，ｙ）ないしはＬｙ（ｘ，ｙ）が１未満となる場合には、１にするなどの措置をとる。０の場合は探索範囲がなくなってしまうためである。

式（７Ａ）、式（７Ｂ）において、
Ｖａｘ（ａ，ｂ），Ｖａｙ（ａ，ｂ）はそれぞれ補間フレームＩｍ上の位置（ａ，ｂ）の画素の動きベクトルＶａ（ａ，ｂ）のｘ及びｙ成分、
ｈｌｘｐ、ｈｌｘｂはそれぞれ図８に示すように、オクルージョン領域内の着目画素と垂直方向位置が同じでｘ軸に沿う正の方向及び負の方向に位置し、着目画素に最も近い非オクルージョン領域の画素ＰＥ１、ＰＥ２と着目画素ＰＥ０との距離、
ｈｌｙｐ、ｈｌｙｂはそれぞれ図８に示すように、オクルージョン領域内の着目画素と水平方向位置が同じでｙ軸に沿う正の方向及び負の方向に位置し、着目画素に最も近い非オクルージョン領域の画素ＰＥ３、ＰＥ４と着目画素ＰＥ０との距離、
Ｗｘ，ＷｙはそれぞれＬｘ（ａ，ｂ）、Ｌｙ（ａ，ｂ）を求めるための重み係数である。

式（７Ａ）、（７Ｂ）で表される矩形の範囲は、図８において、画素ＰＥ１についての動きベクトルと画素ＰＥ２についての動きベクトルとの差の絶対値が大きいほど、水平方向の範囲が広く、画素ＰＥ３についての動きベクトルと画素ＰＥ４についての動きベクトルとの差の絶対値が大きいほど、垂直方向の範囲が広いものである。

なお、探索範囲決定部５９で決定する探索範囲は、矩形領域でなくとも、例えば、式（７Ａ）、（７Ｂ）で算出される値を長径及び短径の一方及び他方とする楕円など、他の形状であっても良く、要するに、探索範囲を構成する領域の各々の水平方向の寸法が、画素ＰＥ１についての動きベクトルと画素ＰＥ２についての動きベクトルとの差の絶対値に応じて定められ、探索範囲を構成する領域の各々の垂直方向の寸法が、画素ＰＥ３についての動きベクトルと画素ＰＥ４についての動きベクトルとの差の絶対値に応じて定められるものであれば良く、より具体的には、画素ＰＥ１についての動きベクトルと画素ＰＥ２についての動きベクトルとの差の絶対値が大きいほど、大きく、探索範囲を構成する領域の各々の垂直方向の寸法が、画素ＰＥ３についての動きベクトルと画素ＰＥ４についての動きベクトルとの差の絶対値が大きいほど大きいものであれば良い。

このように、非オクルージョン領域の動きベクトルを基に、候補ベクトルの探索範囲を決定することでオクルージョン領域の反対側の境界相互間の動きベクトルの差、従って、オクルージョン領域の大きさに応じた最適な候補ベクトルの抽出が可能となる。

動きベクトル候補抽出部５４ｂは、オクルージョン領域検出部５３によって検出されたオクルージョン領域内の各画素に対し、オクルージョン領域外の画素から補間対象画素の動きベクトルの補間のための動きベクトルの候補を抽出する。
この場合、図８に示すように、オクルージョン領域内の補間対象画素と水平方向位置または垂直方向位置が同じで補間対象画素と最も近い非オクルージョン領域の４つの画素についての動きベクトルに基づいて、探索範囲決定部５９が算出した探索範囲内の画素の動きベクトルを候補ベクトルとして抽出する。

なお、上記の実施の形態では、補間フレームＩｍが第１のフレームＩ１と第２のフレームＩ２の中間に位置する場合について説明したが、一般化して、第２のフレームＩ２から補間フレームＩｍまでの時間間隔ｔ２ｍの、第２のフレームＩ２から第１のフレームまでの時間間隔ｔ２１に対する比がαである場合には、動きベクトルの再配置は上記の式（１）の代わりに下式（１Ｂ）により行われる。

また、この場合、差分絶対値ＤＦ２１（ｘ，ｙ）は、上記の式（３）の代わりに、下記の式（３Ｂ）により求める。

また、この場合には、補間画素の画素値の算出は、上記の式（６）の代わりに、下式（６Ｂ）により行われる。

また、上記の実施の形態では、第３のフレームＩ３と第２のフレームＩ２の時間間隔ｔ３２が、上記の時間間隔ｔ２１と等しいものとしたが、一般化して、時間間隔ｔ３２の時間間隔ｔ２１に対する比がβであり、時間間隔ｔ２ｍの時間間隔ｔ２１に対する比がαである場合には、上記の式（２）の代わりに下記の式（２Ｂ）によりＤＦ３２を求める。

以上のように、非オクルージョン領域より候補ベクトルを抽出して、各候補ベクトルの画素値の時間的変化から補間のための候補ベクトルを選択し、オクルージョン領域の動きベクトルを補間することによって、オクルージョン領域における動きベクトルを適切に補間し、オクルージョン領域における画像の乱れを抑制した補間フレームＩｍを生成することができる。

以上本発明を補間フレーム生成装置として説明したが、上記の装置の各部における処理を実施するステップを有する補間フレーム生成方法もまた本発明の一部を成し、上記補間フレームの各ステップの処理をコンピュータに実行させるプログラムもまた本発明の一部を成す。

１０ 映像入力端子、 ２０ フレームバッファ、 ３０ 動き推定部、 ４０ 動きベクトル再配置部、 ５０、５０ｂ オクルージョン領域補正部、 ６０ 補間フレーム生成部、 ７０ 補間フレーム出力端子、 ５１ 動きベクトル入力端子、 ５２ａ、５２ｂ フレーム入力端子、 ５３ オクルージョン領域検出部、 ５４、５４ｂ 動きベクトル候補抽出部、 ５５ 候補ベクトル選別部、 ５６ 動きベクトル決定部、 ５８ 動きベクトル出力端子、 ５９ 探索範囲決定部。

Claims (13)

1. 動画を構成する一連のフレームについて、着目する第１のフレームと前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成する補間フレーム生成装置において、
   前記第１のフレームと第２のフレームの間の動きベクトルを推定する動き推定部と、
   前記動き推定部で推定された動きベクトルを前記補間フレーム上に再配置し、前記補間フレーム上の各画素について動きベクトルが再配置されたか否かを示す情報と、再配置された動きベクトルを示す情報を、再配置情報として出力する動きベクトル再配置部と、
   前記補間フレーム上の画素のうち、前記再配置情報により動きベクトルが再配置されたことが示されている画素をオクルージョン領域外に位置する画素と判定し、前記再配置情報により動きベクトルが再配置されなかったことが示されている画素をオクルージョン領域内に位置する画素と判定し、前記オクルージョン領域外に位置する画素についての動きベクトルに基づいて、前記オクルージョン領域内に位置する画素についての動きベクトルを補間により生成するオクルージョン領域補正部と、
   前記オクルージョン領域補正部により生成された前記オクルージョン領域内の画素についての動きベクトルと、前記再配置部により生成された前記オクルージョン領域外の画素についての動きベクトルを用いて、補間フレーム上の各画素の画素値を求めることで補間フレームの画像を生成する補間フレーム生成部とを備え、
   前記オクルージョン領域補正部は、
   前記補間フレーム上のオクルージョン領域内に位置する各画素について、オクルージョン領域外に位置する画素についての動きベクトルを候補ベクトルとして抽出する動きベクトル候補抽出部と、
   前記動きベクトル候補抽出部により抽出された候補ベクトルに対応する、互いに異なるフレーム上の画素の画素値間の差分に基づき、該候補ベクトルが、背景画素についての動きベクトルか否かを判定し、前記背景画素についての動きベクトルと判定された候補ベクトルを出力する動きベクトル選別部と
   を有することを特徴とする画像処理装置。
2. 前記互いに異なるフレームが、前記第１のフレーム及び第２のフレーム、並びに前記第２のフレームよりも時間的に前の第３のフレームであり、
   前記候補ベクトル選別部は、
   前記候補ベクトルに沿う直線と前記第３のフレームとの交点に位置する前記第３のフレーム上の画素、及び
   前記候補ベクトルに沿う直線と前記第２のフレームとの交点に位置する前記第２のフレーム上の画素の画素値間の第１の差分と、
   前記候補ベクトルに沿う直線と前記第２のフレームとの交点に位置する前記第２のフレーム上の画素、及び
   前記候補ベクトルに沿う直線と前記第１のフレームとの交点に位置する前記第１のフレーム上の画素の画素値間の第２差分とに基づいて、
   前記候補ベクトルが、背景画素についての動きベクトルか否かの判定を行う
   ことを特徴とする請求項１に記載の補間フレーム生成装置。
3. 前記候補ベクトル選別部は、
   前記第１の差分が、前記第２の差分に対し所定の値以上大きい場合に、当該候補を背景画素についての動きベクトルと判定する
   ことを特徴とする請求項２に記載の補間フレーム生成装置。
4. 前記動きベクトル候補抽出部は、
   前記オクルージョン領域の外部に位置する画素のうちで、
   前記オクルージョン領域内の着目画素と垂直方向位置が同じで、該着目画素よりも左側に位置し、該着目画素に最も近い第１の画素についての動きベクトル、
   前記オクルージョン領域内の着目画素と垂直方向位置が同じで、該着目画素よりも右側に位置し、該着目画素に最も近い第２の画素についての動きベクトル、
   前記オクルージョン領域内の着目画素と水平方向位置が同じで、該着目画素よりも上側に位置し、該着目画素に最も近い第３の画素についての動きベクトル、及び
   前記オクルージョン領域内の着目画素と水平方向位置が同じで、該着目画素よりも下側に位置し、該着目画素に最も近い第４の画素についての動きベクトル
   のうちの１つ以上を前記候補ベクトルとして抽出する
   ことを特徴とする請求項１乃至３のいずれかに記載の補間フレーム生成装置。
5. 前記オクルージョン領域補正部は、
   前記第１の画素についての動きベクトルと前記第２の画素についての動きベクトルとの差分と、前記第３の画素についての動きベクトルと前記第４の画素についての動きベクトルとの差分に基づいて探索範囲を決定する探索範囲決定部をさらに有し、
   前記動きベクトル候補抽出部は、前記探索範囲内の画素について動きベクトルを前記候補ベクトルとして抽出する
   ことを特徴とする請求項４に記載の補間フレーム生成装置。
6. 前記探索範囲は、それぞれ前記第１、第２、第３及び第４の画素を内部に含む第１、第２、第３及び第４の領域から成り、
   前記第１乃至第４の領域の各々の水平方向の寸法は、前記第１の画素についての動きベクトルと前記第２の画素についての動きベクトルとの差分の絶対値に応じた値に定められ、
   前記第１乃至第４の領域の各々の垂直方向の寸法は、前記第３の画素についての動きベクトルと前記第４の画素についての動きベクトルとの差分の絶対値に応じた値に定められる
   ことを特徴とする請求項５に記載の補間フレーム生成装置。
7. 動画を構成する一連のフレームについて、着目する第１のフレームと前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成する補間フレーム生成方法において、
   前記第１のフレームと第２のフレームの間の動きベクトルを推定する動き推定ステップと、
   前記動き推定ステップで推定された動きベクトルを前記補間フレーム上に再配置し、前記補間フレーム上の各画素について動きベクトルが再配置されたか否かを示す情報と、再配置された動きベクトルを示す情報を、再配置情報として出力する動きベクトル再配置ステップと、
   前記補間フレーム上の画素のうち、前記再配置情報により動きベクトルが再配置されたことが示されている画素をオクルージョン領域外に位置する画素と判定し、前記再配置情報）により動きベクトルが再配置されなかったことが示されている画素をオクルージョン領域内に位置する画素と判定し、前記オクルージョン領域外に位置する画素についての動きベクトルに基づいて、前記オクルージョン領域内に位置する画素についての動きベクトルを補間により生成するオクルージョン領域補正ステップと、
   前記オクルージョン領域補正ステップにより生成された前記オクルージョン領域内の画素についての動きベクトルと、前記再配置ステップにより生成された前記オクルージョン領域外の画素についての動きベクトルを用いて、補間フレーム上の各画素の画素値を求めることで補間フレームの画像を生成する補間フレーム生成ステップとを備え、
   前記オクルージョン領域補正ステップは、
   前記補間フレーム上のオクルージョン領域内に位置する各画素について、オクルージョン領域外に位置する画素についての動きベクトルを候補ベクトルとして抽出する動きベクトル候補抽出ステップと、
   前記動きベクトル候補抽出ステップにより抽出された候補ベクトルに対応する、互いに異なるフレーム上の画素の画素値間の差分に基づき、該候補ベクトルが、背景画素についての動きベクトルか否かを判定し、前記背景画素についての動きベクトルと判定された候補ベクトルを出力する動きベクトル選別ステップと
   を有することを特徴とする画像処理方法。
8. 前記互いに異なるフレームが、前記第１のフレーム及び第２のフレーム、並びに前記第２のフレームよりも時間的に前の第３のフレームであり、
   前記候補ベクトル選別ステップは、
   前記候補ベクトルに沿う直線と前記第３のフレームとの交点に位置する前記第３のフレーム上の画素、及び
   前記候補ベクトルに沿う直線と前記第２のフレームとの交点に位置する前記第２のフレーム上の画素の画素値間の第１の差分と、
   前記候補ベクトルに沿う直線と前記第２のフレームとの交点に位置する前記第２のフレーム上の画素、及び
   前記候補ベクトルに沿う直線と前記第１のフレームとの交点に位置する前記第１のフレーム上の画素の画素値間の第２差分とに基づいて、
   前記候補ベクトルが、背景画素についての動きベクトルか否かの判定を行う
   ことを特徴とする請求項７に記載の補間フレーム生成方法。
9. 前記候補ベクトル選別ステップは、
   前記第１の差分が、前記第２の差分に対し所定の値以上大きい場合に、当該候補を背景画素についての動きベクトルと判定する
   ことを特徴とする請求項８に記載の補間フレーム生成方法。
10. 前記動きベクトル候補抽出ステップは、
    前記オクルージョン領域の外ステップに位置する画素のうちで、
    前記オクルージョン領域内の着目画素と垂直方向位置が同じで、該着目画素よりも左側に位置し、該着目画素に最も近い第１の画素についての動きベクトル、
    前記オクルージョン領域内の着目画素と垂直方向位置が同じで、該着目画素よりも右側に位置し、該着目画素に最も近い第２の画素についての動きベクトル、
    前記オクルージョン領域内の着目画素と水平方向位置が同じで、該着目画素よりも上側に位置し、該着目画素に最も近い第３の画素についての動きベクトル、及び
    前記オクルージョン領域内の着目画素と水平方向位置が同じで、該着目画素よりも下側に位置し、該着目画素に最も近い第４の画素についての動きベクトル
    のうちの１つ以上を前記候補ベクトルとして抽出する
    ことを特徴とする請求項７乃至９のいずれかに記載の補間フレーム生成方法。
11. 前記オクルージョン領域補正ステップは、
    前記第１の画素についての動きベクトルと前記第２の画素についての動きベクトルとの差分と、前記第３の画素についての動きベクトルと前記第４の画素についての動きベクトルとの差分に基づいて探索範囲を決定する探索範囲決定ステップをさらに有し、
    前記動きベクトル候補抽出ステップは、前記探索範囲内の画素について動きベクトルを前記候補ベクトルとして抽出する
    ことを特徴とする請求項１０に記載の補間フレーム生成方法。
12. 前記探索範囲は、それぞれ前記第１、第２、第３及び第４の画素を内部に含む第１、第２、第３及び第４の領域から成り、
    前記第１乃至第４の領域の各々の水平方向の寸法は、前記第１の画素についての動きベクトルと前記第２の画素についての動きベクトルとの差分の絶対値に応じた値に定められ、
    前記第１乃至第４の領域の各々の垂直方向の寸法は、前記第３の画素についての動きベクトルと前記第４の画素についての動きベクトルとの差分の絶対値に応じた値に定められる
    ことを特徴とする請求項１１に記載の補間フレーム生成方法。
13. 請求項６乃至１２のいずれかに記載の方法の各ステップを、コンピュータに実行させるためのプログラム。

Images