JP2014027405A

JP2014027405A - フレーム補間装置及びプログラム

Info

Publication number: JP2014027405A
Application number: JP2012164897A
Authority: JP
Inventors: Toshie Misu; 俊枝三須; Kazuhisa Iguchi; 和久井口; Yasutaka Matsuo; 康孝松尾; Shunsuke Iwamura; 俊輔岩村; Shinichi Sakaida; 慎一境田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-07-25
Filing date: 2012-07-25
Publication date: 2014-02-06
Anticipated expiration: 2032-07-25
Also published as: JP6059899B2

Abstract

【課題】入力映像から補間画像を生成する際に、解像度の低下やフリッカを防止し、かつ、高周波成分を含む鮮鋭な輪郭像を得る。
【解決手段】フレーム補間装置１は、動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定するフレーム選択部１０と、前記動き推定元画像及び前記動き推定先画像間の動きベクトルである基準動きベクトルを求める動き推定部２０と、前記基準動きベクトルをスカラー倍して、前記動き補償元画像及び前記補間画像間の動きベクトルである補間動きベクトルを求める動き補償部３０と、前記複数組の動き補償元画像について前記補間動きベクトルにより小数精度で動き補償を行った複数の動き補償画像を重畳して補間画像を生成する画像重畳部４０と、を備える。
【選択図】図１

Description

本発明は、複数のフレームを参照して補間フレームを生成し、フレームを時間補間するフレーム補間装置及びそのプログラムに関する。

従来、画速（フレーム周波数）をより高いフレーム周波数へと変換するため、同一フレームを複数回提示する手法がある。例えば、フレーム周波数が３０Ｈｚの各フレームを２回ずつ提示することでフレーム周波数を６０Ｈｚに変換することができる。また、同一フレームを提示する回数を可変とした手法もある。例えば、２−３変換と称される手法では、フレーム周波数が２４Ｈｚの奇数番目のフレームを２回、偶数番目のフレームを３回提示することで、フレーム周波数が６０Ｈｚの映像を得ることができる。

また、補間フレームの時刻に隣接する２フレームの各画素値の平均、又は重み付き平均によって、補間フレームの画素値を決定する手法もある。

さらに、映像の動きベクトルを利用して動き補償を行うことで、よりスムーズな補間フレームを生成する手法が知られている（例えば、特許文献１参照）。

特許第３４９５４８５号公報

しかし、従来の同一フレームを複数回提示する手法では、映像の動きがぎこちなくなるという問題があった。また、平均や重み付き平均により補間フレームを生成する手法によれば、映像の動きのぎこちなさは改善するものの、補間フレームにおいて動物体が二重像となり、解像度が低下するという問題や、補間フレームと補間ではない元来のフレームとの画質の違いがフリッカのように見えてしまうという問題があった。

また、従来の特許文献１のような手法では、動きのぎこちなさや二重像は改善されるものの、動きが異なる被写体が同一ブロックに含まれている場合の動き補償誤差や、動き推定の精度の粗さによって生じる標本点の小数精度の誤差に起因して、動き補償に用いるブロックの境界が目立つことがある。動き補償を小数画素精度で行えば、標本点の小数精度の誤差は改善できるものの、小数画素精度の画素位置の移動（位相シフト）を行うディジタルフィルタの特性に起因して輪郭のぼやけやリンギングが生じることがある。

かかる事情に鑑みてなされた本発明の目的は、入力映像から補間画像を生成する際に、解像度の低下やフリッカを防止し、かつ、高周波成分を含む鮮鋭な輪郭像を得ることが可能なフレーム補間装置及びそのプログラムを提供することにある。

上記課題を解決するため、本発明に係るフレーム補間装置は、入力映像の補間画像を生成するフレーム補間装置であって、入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定するフレーム選択部と、前記動き推定元画像及び前記動き推定先画像間の動きベクトルである基準動きベクトルを求める動き推定部と、前記基準動きベクトルをスカラー倍して、前記動き補償元画像及び前記補間画像間の動きベクトルである補間動きベクトルを求める動き補償部と、前記複数組の動き補償元画像について前記補間動きベクトルにより小数精度で動き補償を行った複数の動き補償画像を重畳して前記補間画像を生成する画像重畳部と、を備えることを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動きベクトルを算出する際の類似度に応じて、前記動き補償画像を部分領域ごとに重み付けして重畳することを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き推定元画像、前記動き推定先画像、前記動き補償元画像、及び前記補間画像の時刻位置に応じて、前記動き補償画像を重み付けして重畳することを特徴とする。

さらに、本発明に係るフレーム補間装置において、画像重畳部は、前記動き補償画像を点拡がり関数により畳み込み演算した後に重畳して前記補間画像を生成することを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き補償画像を入力映像の解像度よりも高解像な画像とすることを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き補償画像を重畳した後、解像度を変換して前記補間画像を生成することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。

本発明によれば、補間フレームの１画素に対して複数の参照フレームの画素の画素値が影響を及ぼすため、解像度の低下やフリッカを防止でき、かつ補間フレームの被写体の輪郭が滑らかになる。また、参照フレームが空間方向の折り返し歪を含む場合には、位置合わせによる折り返し歪成分の位相回転が複数フレームの重ね合わせにより相殺されて輪郭のジャギー（がたつき）が軽減するとともに、高周波成分を含む鮮鋭な輪郭像を得ることができる。

本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。本発明の一実施形態に係るフレーム補間装置における選択制御部が参照するルックアップテーブルの例を示す図である。本発明の一実施形態に係るフレーム補間装置の動作の概要を説明するための図である。本発明の一実施形態に係るフレーム補間装置における画像重畳部の動作を示すフローチャートである。

以下、本発明によるフレーム補間装置の一実施形態について、図面を参照して詳細に説明する。本明細書では、ｆはフレーム番号を示し、Ｉ（ｆ）はフレーム番号ｆの画像を示す。また、フレーム時刻位置をフレーム番号で表す。

図１は、本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。図１に示すように、フレーム補間装置１は、フレーム選択部１０と、動き推定部２０と、動き補償部３０と、画像重畳部４０と、を備える。フレーム選択部１０は、フレーム記憶部１１と、入出力切換部１２と、選択制御部１３と、を有する。

フレーム補間装置１は、入力映像の複数の画像フレームから、フレーム時刻位置ｆ_ｑにおける補間画像を生成する。なお、フレーム時刻位置ｆ_ｑは整数時刻位置であっても、非整数時刻位置であっても構わない。例えば、ｆ_ｑ＝３．２５は、フレーム番号３の画像と、フレーム番号４の画像の各時刻を１：３に内分した時刻位置を指す。

フレーム選択部１０は、入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する。動き推定元画像とは、後述する動き推定部２０にて、動き推定の対象元となる画像フレームである。動き推定先画像とは、後述する動き推定部２０にて、動き推定の対象先となる画像フレームである。動き補償元画像とは、後述する画像重畳部４０にて、補間画像を生成するために重畳処理される画像フレームである。

フレーム記憶部１１は、入力映像の現時点以前のフレームを２時点以上記憶する。例えば、フレーム記憶部１１はリングバッファにより実現することができる。図１に示す例では、フレーム記憶部１１は、現時点（フレーム番号ｆ_ｔ−０）から過去６時点目（フレーム番号ｆ_ｔ−６）までの７フレームを記憶・出力可能としている。

入出力切換部１２は、例えばマトリックススイッチで構成され、各出力Ａ，Ｂ，Ｐが、入力０から入力６のうち一つを選択するよう動作する。つまり、入出力切換部１２の列１２１（出力Ａ）は、フレーム記憶部１１から動き推定元画像としてフレーム番号ｆ_ａの画像Ｉ（ｆ_ａ）を選択し、動き推定部２０に出力する。入出力切換部１２の列１２２（出力Ｂ）は、フレーム記憶部１１から動き推定先画像としてフレーム番号ｆ_ｂの画像Ｉ（ｆ_ｂ）を選択し、動き推定部２０に出力する。入出力切換部１２の列１２３（出力Ｐ）は、フレーム記憶部１１から動き補償元画像としてフレーム番号ｆ_ｐの画像Ｉ（ｆ_ｐ）を選択し、画像重畳部４０に出力する。

なお、入出力切換部１２は、複数の出力が一つの入力を選択しても構わないが、一つの出力が複数の入力を選択することは許されない。また、動き推定元画像のフレーム番号ｆ_ａと動き推定先画像のフレーム番号ｆ_ｂとは一致してはならないが、動き推定元画像のフレーム番号ｆ_ａと動き補償元画像のフレーム番号ｆ_ｐとは一致してもよく、また、動き推定先画像のフレーム番号ｆ_ｂと動き補償元画像のフレーム番号ｆ_ｐとが一致してもよい。

選択制御部１３は、入出力切換部１２の接点を制御する。選択制御部１３は、入出力切換部１２において閉じる接点の組み合わせパターンを複数通り試行する。例えば、選択制御部１３は、時分割的に接点の組み合わせパターンを変化させる。

選択制御部１３は、例えば、各出力が選択すべき入力を複数通りルックアップテーブルに記憶しておき、該ルックアップテーブルを順次参照することで入出力切換部１２において閉じる接点の組み合わせパターンを複数通り試行することができる。

図２は、選択制御部１３が参照するルックアップテーブルの例を示す図である。図２に示す例では、ｋ＝１〜１３の１３通りの組み合わせパターンを記憶している。ｋ＝１〜１２のパターンでは出力Ｐと出力Ａ、又は出力Ｐと出力Ｂとが共通の入力を選択し、Ｋ＝１３のパターンでは各出力が異なる入力を選択する。

また、選択制御部１３は、内部にカウンタを有し、出力Ａと出力Ｂとが同じ入力を選択する場合を除く複数の組み合わせを順次選択させてもよい。例えば、選択制御部１３は、以下の疑似コード（Ｃ＋＋言語の流儀にて記載）のように実装することができる。
for(int j = 0; j < nFrames; j++) {
Connect(B, j);
for(int i = 0; i < nFrames; i++) {
if(i == j) continue;
Connect(A, i);
MotionEstimation();
for(int m = 0; m < nFrames; m++) {
Connect(P, m);
MotionCompensation();
Overlay();
}
}
}

なお、関数Connect(s, t)により、出力sに対して入力tのみが選択されるように接点群を開閉すべく選択制御部１３が制御されるものとする。また、nFramesはフレーム記憶部１１の出力可能なフレーム時点数を表す自然数とする。図１の例では、nFrames=7である。また、MotionEstimation()、MotionCompensation()、及びOverlay()は、それぞれ後述する動き推定部２０、動き補償部３０、及び画像重畳部４０の動作を行う関数である。

図３は、フレーム補間装置の動作の概要を説明するための図である。以下、図３を参照して動き推定部２０、動き補償部３０、及び画像重畳部４０について説明する。なお、フレーム番号ｆ_ａ，ｆ_ｂ，ｆ_ｐ，及びｆ_ｑの時間の前後関係は任意である。

動き推定部２０は、選択制御部１３から入力された動き推定元画像Ｉ（ｆ_ａ）及び動き推定先画像Ｉ（ｆ_ｂ）の類似度に基づき、動き推定元画像Ｉ（ｆ_ａ）内の各領域が動き推定先画像Ｉ（ｆ_ｂ）内のどの領域に対応するかを求め、動き推定元画像Ｉ（ｆ_ａ）及び動き推定先画像Ｉ（ｆ_ｂ）間の動きベクトルｖ_ｎを動き補償部３０に出力する。

例えば、動き推定部２０は、動き推定元画像内のｎ番目（ｎは１≦ｎ≦Ｎなる自然数。Ｎは部分領域の総数であり自然数。）の部分領域（ブロック領域）Ｂ_ｎに対応する動き推定先画像Ｉ（ｆ_ｂ）内の領域を求め、その結果を動きベクトルｖ_ｎとする。動き推定元画像Ｉ（ｆ_ａ）及び動き推定先画像Ｉ（ｆ_ｂ）の類似度に基づく動きベクトルｖ_ｎの算出例を次式（１）〜（３）に示す。ここで、Ｉ（ｆ；ｘ）は、フレーム番号ｆの画像Ｉ（ｆ）の画像座標ｘ（ｘは２次元のベクトル）における画素値である。

式（１）は絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）の最小化、式（２）は二乗誤差和（ＳＳＤ；Sum of Squared Difference)の最小化、式(３)は正規化相互相関(ＮＣＣ;Normalized Cross Correlation）の最大化に基づく動きベクトルｖ_ｎの算出法である。

なお、画像の部分領域同士の類似度を評価する手法であれば、式（１）〜（３）に示す以外の尺度によって動きベクトルｖ_ｎを求めてもよい。また、図には示さないが、画像内の部分領域間の並進を表す動きベクトルｖ_ｎだけではなく、拡大率や回転角をも求めることや、アフィン変換や射影変換（ホモグラフィ）などの幾何変換によって対応付けを求めることを行ってもよい。

動き補償部３０は、動き推定元画像のフレーム番号ｆ_ａ、動き推定先画像のフレーム番号ｆ_ｂ、及び動き補償元画像のフレーム番号ｆ_ｐに基づき、動きベクトルｖ_ｎを用いて部分領域Ｂ_ｎを変換（典型的には並進）して部分領域Ｃ_ｎを算出し、画像重畳部４０に出力する。例えば、動き補償部３０は、次式（４）により部分領域Ｃ_ｎを算出する。

また、動き補償部３０は、次式（５）に示すように、動き推定元画像のフレーム番号ｆ_ａ、動き推定先画像のフレーム番号ｆ_ｂ、動き補償元画像のフレーム番号ｆ_ｐ、及び補間画像のフレーム時刻位置ｆ_ｑに基づく倍数によって動きベクトルｖ_ｎをスカラー倍してベクトルｕ_ｎを算出し、画像重畳部４０に出力する。

図３及び以下の説明において、選択制御部１３がｋ回目の選択をしたときの処理であることを識別するために上付きの（ｋ）を付して、動き推定元画像のフレーム番号をｆ_ａ ^（ｋ）、動き推定先画像のフレーム番号をｆ_ｂ ^（ｋ）、動き補償元画像のフレーム番号をｆ_ｐ ^（ｋ）、動きベクトルをｖ_ｎ ^（ｋ）、動きベクトルをスカラー倍したベクトルをｕ_ｎ ^（ｋ）、変換後の部分領域をＣ_ｎ ^（ｋ）というように記す。ここで、ｋは０以上Ｋ以下の整数であり、Ｋは自然数とする。

画像重畳部４０は、複数フレームの動き補償元画像Ｉ（ｆ_ｐ）に対して動きベクトルに基づく小数精度（入力映像の画素間隔よりも細かい精度）の動き補償を行い、小数精度の動き補償を行った画像同士を小数精度で位相を合わせて重ね合わせることにより補間画像を生成する。具体的には、画像重畳部４０は、積算画像Ｊ^（ｋ）、及び重み画像Ｗ^（ｋ）を用いて補間画像Ｈを生成するため、積算画像Ｊ^（ｋ）及び重み画像Ｗ^（ｋ）を格納するメモリを有する。

積算画像Ｊ^（ｋ）及び重み画像Ｗ^（ｋ）の解像度は共に、入力映像を構成する画像フレームの解像度と同じ、又はより高解像であるのが好適である。積算画像Ｊ^（ｋ）及び重み画像Ｗ^（ｋ）については、画像座標ｘが小数値を取り得るものとし、画像座標ｘにおける画素値をそれぞれＪ^（ｋ）（ｘ）及びＷ^（ｋ）（ｘ）と記す。入力映像を構成する画像フレームにおける画像座標ｘは、積算画像Ｊ^（ｋ）及び重み画像Ｗ^（ｋ）における画像座標ｘに対応させるものとする。例えば、入力映像を構成する画像フレームが水平Ｘ画素、垂直Ｙ画素である場合に、積算画像Ｊ^（ｋ）及び重み画像Ｗ^（ｋ）の解像度が水平Ｓ_ＸＸ画素、垂直Ｓ_ＹＹ画素である場合、積算画像Ｊ^（ｋ）及び重み画像Ｗ^（ｋ）は水平方向１／Ｓ_Ｘ画素刻み、垂直方向１／Ｓ_Ｙ画素刻みで標本化されるものとする。

図４は、画像重畳部４０の動作を示すフローチャートである。画像重畳部４０は、まず、すべての標本点位置（画像座標）ｘについて、Ｊ^（０）（ｘ）＝Ｗ^（０）（ｘ）＝０とおいて初期化を行う（ステップＳ１０１）。そして、選択制御部１３にて新たな動き推定元画像Ｉ（ｆ_ａ ^（ｋ））、動き推定先画像Ｉ（ｆ_ｂ ^（ｋ））、動き補償元画像Ｉ（ｆ_ｐ ^（ｋ））の組が選択されるごとに、ｋを１だけインクリメントする（ステップＳ１０２）。

繰り返しｋ番目（ｋ≧１）において、フレーム補間装置１は、フレーム番号ｆ_ａ ^（ｋ）の動き推定元画像Ｉ（ｆ_ａ ^（ｋ））と、フレーム番号ｆ_ｂ ^（ｋ）の動き推定先画像Ｉ（ｆ_ｂ ^（ｋ））と、フレーム番号ｆ_ｐ ^（ｋ）の動き補償元画像Ｉ（ｆ_ｐ ^（ｋ））とに基づき、積算画像Ｊ^{（ｋ−１）}に対して画素値を重畳することで、新たな積算画像Ｊ^（ｋ）を生成する（ステップＳ１０３）。

具体的には、選択制御部１３がｋ回目（ｋ≧１）の選択を行ったとき、画像重畳部４０は、次式（６）で表される演算を行う。式（６）中の

は畳み込み演算を表す。また、ｗ_ｎ ^（ｋ）は非負の重み値、ｈ（ｘ）は点拡がり関数（ＰＳＦ；Point Spread Function）を表す。

また、画像重畳部４０は、フレーム番号ｆ_ａ ^（ｋ）の動き推定元画像Ｉ（ｆ_ａ ^（ｋ））と、フレーム番号ｆ_ｂ ^（ｋ）の動き推定先画像Ｉ（ｆ_ｂ ^（ｋ））とに基づき、重み画像Ｗ^{（ｋ−１）}に対して画像重畳を行うことで、新たな重み画像Ｗ^（ｋ）を生成する（ステップＳ１０４）。

具体的には、選択制御部１３がｋ回目（ｋ≧１）の選択を行ったとき、画像重畳部４０は、次式（７）で表される演算を行う。

式（６），（７）における重み値ｗ_ｎ ^（ｋ）は定数（例えば１）であってもよいし、部分領域Ｃ_ｎごとに（すなわちｎに応じて）可変であってもよいし、選択制御部１３の選択パターンに応じて（すなわちｋに応じて）可変であってもよいし、ｎ及びｋの両方に関して可変であってもよい。

部分領域Ｃ_ｎごとに重み値ｗ_ｎ ^（ｋ）を変化させる方法としては、式（１）〜（３）で評価される画像の類似度の最適値（最小値又は最大値）に応じ、類似度が高い（誤差が小さい、又は相関が高い）ほど重みを大きくする方法がある。

また、選択制御部１３の選択パターンに応じて重み値ｗ_ｎ ^（ｋ）を変化させる方法としては、動き推定元画像のフレーム番号ｆ_ａ ^（ｋ）、動き推定先画像のフレーム番号ｆ_ｂ ^（ｋ）、動き補償元画像のフレーム番号ｆ_ｐ ^（ｋ）、及び補間画像のフレーム時刻位置ｆ_ｑの時間の間隔に応じて設定する方法がある。例えば、次式（８）に示すように、動き推定のフレーム間隔｜ｆ_ｐ ^（ｋ）−ｆ_ｑ｜や動き補償のフレーム間隔｜ｆ_ａ ^（ｋ）−ｆ_ｂ ^（ｋ）｜が短いほど重みが大きくなるよう設定することができる。

式（６）で用いられる点拡がり関数ｈ（ｘ）は、２次元単位インパルスであってもよいし、それ以外の関数であっても構わない。例えば、点拡がり関数ｈ（ｘ）として、打ち切りＳｉｎｃ関数やＬａｎｃｚｏｓ関数を用いることができる。例えば、点拡がり関数ｈ（ｘ）を、Ｌａｎｃｚｏｓ−３関数Ｌに基づき、次式（９）のように定義することができる。なお、Ｃはｈ（ｘ）の直流ゲインが１となるように正規化するための係数である。α及びβは、点拡がり関数の拡がり（すなわちカットオフ周波数）を調整するためのパラメータである。α及びβは、例えば正の定数とし、好ましくは１以下とする。例えば、α＝β＝０．８とする。

画像重畳部４０は、ｋ＝Ｋとなるまでの間、ステップＳ１０２〜ステップＳ１０４の処理を繰り返し行う（ステップＳ１０５）。そして、画像重畳部４０は、繰り返しＫ回目において、次式（１０）に示すように、画素ごとに積算画像Ｊ^（Ｋ）を重み画像Ｗ^（Ｋ）によって除することにより、補間画像Ｈ（ｆ_ｑ）を生成し、出力する（ステップＳ１０６）。

画像重畳部４０は、必要に応じて、式（１０）によって得られた画像の解像度を変換してから出力してもよい。例えば、画像重畳部４０は、入力映像の画像フレームの解像度と一致するよう補間画像Ｈ（ｆ_ｑ）の解像度を変換してもよい。また、画像重畳部４０は、補間画像Ｈ（ｆ_ｑ）を内挿補間などにより補間してさらに解像度を上げてもよい。

以上説明したように、フレーム補間装置１は、フレーム選択部１０により入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定し、動き推定部２０により動き推定元画像及び動き推定先画像間の動きベクトルである基準動きベクトルｖ_ｎを求め、動き補償部３０により基準動きベクトルをスカラー倍して、動き補償元画像及び補間画像間の動きベクトルである補間動きベクトルｕ_ｎを求め、画像重畳部４０により複数組の動き補償元画像について補間動きベクトルｕ_ｎにより小数精度で動き補償を行った複数の動き補償画像を重畳して補間画像を生成する。

このため、フレーム補間装置１によれば、補間フレームの１画素に対して複数の参照フレームの画素の画素値が影響を及ぼすため、補間フレームの被写体の輪郭が滑らかになる。また、参照フレームが空間方向の折り返し歪を含む場合には、位置合わせによる折り返し歪成分の位相回転が複数フレームの重ね合わせにより相殺されて輪郭のジャギー（がたつき）が軽減するとともに、高周波成分を含む鮮鋭な輪郭像を得ることができる。この輪郭像の鮮鋭化は、複数フレームの位置合わせを行って高域成分を復元する複数フレーム超解像技術でも同様の効果を得ることができるが、複数フレーム超解像技術は重ね合わせた複数フレームのうちあるフレーム時刻における鮮鋭化画像を生成するのに対し、本発明に係る方法では重ね合わせた複数フレームに含まれる時点はもちろん、含まれない時点（小数フレーム時点であっても構わない）における鮮鋭化画像をも生成し得る点で上位互換である。

ここで、画像重畳部４０は、動きベクトルを算出する際の類似度や、動き推定元画像、動き推定先画像、動き補償元画像、及び補間画像の時刻位置に応じて、動き補償画像を重み付けして重畳するのが好適である。これにより、動き推定の類似度や、補間画像の算出に用いる画像と補間画像との時間間隔に応じた信頼度の高低を重み付けにより反映することができるため、領域ごとに信頼性の高い画像重畳が可能となる。

また、画像重畳部４０は、動き補償画像を点拡がり関数により畳み込み演算した後に重畳して補間画像を生成するのが好適である。これにより、動き補償の結果、標本位置が完全に対応しない場合でも補間により値を補うことが可能となる。また、点拡がり関数の拡がり（例えば、標準偏差）の出力画像の画素間隔に応じて適切に設計すれば（例えば、標準偏差が０．５画素程度）、（入力画像が折り返し歪を含む場合には）超解像効果による先鋭化が可能となる。

また、画像重畳部４０は、前記重ね合わせ処理を、入力映像の解像度よりも高解像な画像上にスケーリングして実行するのが好適である。これにより、前記高解像な画像上における１画素間隔が、入力映像上における１画素未満の間隔に対応するため、入力映像の解像度を基準としたときの小数精度の重ね合わせ処理を実現することができる。また、小数精度の重ね合わせ処理を、入力映像の解像度と同じ又はそれ未満の画像上で行う場合には、小数精度の位相シフトを行うディジタルフィルタ処理が必要であるのに対し、本発明に係る方法のように入力映像の解像度よりも高解像な画像上で重ね合わせ処理を行う場合には前記ディジタルフィルタ処理を省略しても構わない。さらに、本発明に係る方法によれば、重ね合わせ処理を行った結果の画像は入力映像の解像度よりも高いため、単純な補間よりも高画質な画像拡大処理を兼務させることができる。

また、画像重畳部４０は、必要に応じて、動き補償画像を重畳した後、解像度を変換した画像を補間画像としてもよい。解像度を下げる場合にはオーバサンプリングの効果を生じるため、補間画像に折り返し歪が生じにくくなる。また、解像度を上げる場合には、重畳処理を行わずに解像度を上げる場合と比較して、必要となるメモリ容量を少なくすることができる。

なお、上述したフレーム補間装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、或いは分割したりすることが可能である。

このように、本発明によれば、複数の参照画像から高画質な補間画像を生成することができるので、補間画像を生成する任意の用途に有用である。

１フレーム補間装置
１０フレーム選択部
１１フレーム記憶部
１２入出力切換部
１２１，１２２，１２３マトリックススイッチの列
１３選択制御部
２０動き推定部
３０動き補償部
４０画像重畳部
１００，２００動き推定元画像
１０１，２０１動き推定先画像
１０２，２０２動き補償元画像
１０３，２０３補間画像の時刻位置
３００補間画像

Claims

入力映像の補間画像を生成するフレーム補間装置であって、
入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定するフレーム選択部と、
前記動き推定元画像及び前記動き推定先画像間の動きベクトルである基準動きベクトルを求める動き推定部と、
前記基準動きベクトルをスカラー倍して、前記動き補償元画像及び前記補間画像間の動きベクトルである補間動きベクトルを求める動き補償部と、
前記複数組の動き補償元画像について前記補間動きベクトルにより小数精度で動き補償を行った複数の動き補償画像を重畳して前記補間画像を生成する画像重畳部と、
を備えることを特徴とするフレーム補間装置。
前記画像重畳部は、前記動きベクトルを算出する際の類似度に応じて、前記動き補償画像を部分領域ごとに重み付けして重畳することを特徴とする、請求項１に記載のフレーム補間装置。
前記画像重畳部は、前記動き推定元画像、前記動き推定先画像、前記動き補償元画像、及び前記補間画像の時刻位置に応じて、前記動き補償画像を重み付けして重畳することを特徴とする、請求項１又は２に記載のフレーム補間装置。
前記画像重畳部は、前記動き補償画像を点拡がり関数により畳み込み演算した後に重畳して前記補間画像を生成することを特徴とする、請求項１から３のいずれか一項に記載のフレーム補間装置。
前記画像重畳部は、前記動き補償画像を入力映像の解像度よりも高解像な画像とすることを特徴とする、請求項１から４のいずれか一項に記載のフレーム補間装置。
前記画像重畳部は、前記動き補償画像を重畳した後、解像度を変換して前記補間画像を生成することを特徴とする、請求項１から５のいずれか一項に記載のフレーム補間装置。
コンピュータを、請求項１から６のいずれか一項に記載のフレーム補間装置として機能させるためのプログラム。