JP2008244846A - フレーム補間装置及びその方法 - Google Patents

Abstract

【課題】動画像のフレーム間に補間フレームを内挿し動画を滑らかにするフレーム補間装置１０を提供する。
【解決手段】フレーム補間装置１０は、動き推定部１２、歪みエネルギー計算部１４、破綻防止画像生成部１６、アルファマップ生成部１８、動き補償ワーピング部２０、アルファブレンディング部２２から構成される。入力された画像と推定されたフローに基づき、フローの信頼度を局所的に計算する。この信頼度をフローに従い補間フレームの時間位置にワーピングし０−１のアルファ値に変換しアルファマップを生成する。このアルファ値により動き補償画像と破綻防止画像をアルファブレンドすることにより局所的な画質劣化にも対応できる。
【選択図】 図１

Description

入力された動画像のフレーム間に補間画像（補間フレーム）を内挿し動画を滑らかにするフレーム補間装置及びその方法に関する。

特許文献１において、符号化された動画像をデコードする際に、フレーム内のフロー（動きベクトル）の分散、方向、ＤＣＴ係数などにより補間フレームを内挿する／しないを制御する技術が開示されている。
特開２００５−６２７５公報

上記背景技術では画面全体の統計量により、補間フレームを内挿する／しないを制御するため、画面内の局所的な画質劣化に対応することが難しい。

また、画面全体を内挿する／しないと切り替えるため、切り替えが頻繁に起こるとフリッカーとして視認されてしまい新たな画質劣化を生んでしまう。

そこで本発明は、動画像のフレーム間に補間フレームを内挿し動画を滑らかにするフレーム補間装置及びその方法を提供する。

本発明は、対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、（１）前記対象画像、（２）前記参照画像、または、（３）前記対象画像と前記参照画像との前記第１及び前記第２時間距離に応じた第３加重平均によって求められた時間加重平均画像、のいずれかを破綻防止画像として取得する破綻防止画像取得部と、前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、を有するフレーム補間装置である。

また、本発明は、対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、前記対象画像を前記参照画像に幾何変換するための前記対象画像のベクトル抽出領域毎のグローバルモーションベクトルを求め、前記ベクトル抽出領域毎のグローバルモーションベクトルに基づいて破綻防止画像を取得する破綻防止画像取得部と、前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、を有するフレーム補間装置である。

本発明によれば、動画像のフレーム間に補間フレームを内挿し、動画が滑らかになる。

以下、図面に基づいて本発明の実施形態のフレーム補間装置１０を説明する。

（実施形態１）
本発明の実施形態１のフレーム補間装置１０について、図１から図７に基づいて説明する。

本実施形態のフレーム補間装置１０は、動画像が入力されたときに、対象となるフレームとフレームの間に補間フレームを内挿し単位時間当たりのフレーム数を増加させて動画を滑らかにするものである。このとき、動画の解像度、大きさ、フレームレート、補間フレーム数にかかわらず本実施形態は適用可能である。

従来、フレーム間の動き推定によりフレーム間の動きベクトル（フロー）を求め、それに基づき動き補償を行い補間フレームを生成する方法が一般的であるが、フローの推定が誤った場合に画質劣化が発生するという問題があった。特許文献１では、フレーム全体のフローの分散などを見ることによりフレーム全体のフローの信頼度を推定し、それにより信頼度が低い場合には補間をしないという方法が開示されている。これにより信頼度が低い場合に画質劣化を抑えることができる。

しかし、特許文献１の技術はフレーム全体を対象としており、フレーム内の局所的な劣化には対応が困難である。そこで本実施形態では、フレーム内の局所的な劣化にも対応できるフレーム補間装置１０を提供する。

（１）フレーム補間装置１０の概要
本実施形態のフレーム補間装置１０を、図１のブロック図に従い説明する。

フレーム補間装置１０は、対象画像Ｉ_ｓｒｃ、参照画像Ｉ_ｄｓｔが入力されたときに、その間にピクセルレベルで補間フレームを生成する。

フレーム補間装置１０は、動き推定部１２、歪みエネルギー計算部１４、破綻防止画像生成部１６、アルファマップ生成部１８、動き補償ワーピング部２０、アルファブレンディング部２２から構成される。

各部１２〜２２の機能は、コンピュータに格納されたプログラムによっても実現できる。

フレーム補間装置１０は、図２に示すように、入力された画像と推定されたフローに基づき、フローの信頼度を局所的に計算する。この信頼度をフローに従い補間フレームの時間位置にワーピングし０−１のアルファ値に変換しアルファマップを生成する。このアルファ値により動き補償画像と破綻防止画像をアルファブレンドすることにより局所的な画質劣化にも対応できる。

（２）動き推定部１２
動き推定部１２におけるフロー推定方法は、一般に、ブロックマッチング法、オプティカルフロー法、Ｐｅｌ−ｒｅｃｕｒｓｉｖｅ法、ベイジアン法などがあるが、ここではブロックマッチング法によって求める方法を示す。しかしそれに限ったものではなく、オプティカルフロー法、Ｐｅｌ−ｒｅｃｕｒｓｉｖｅ法、ベイジアン法などを用いても良い。

まず、対象画像を以下のような予め設定された矩形領域のブロックに分割する。

Ｂ（ｉ）＝｛ｉ＋（ｘ，ｙ）^Ｔ｜０＝＜ｘ＜Ｍ_１，０＝＜ｙ＜Ｍ_２｝

ここで点ｉ∈Ｘはブロックの左上の点、Ｍ_１、Ｍ_２はブロックのｘサイズ、ｙサイズである。なお、Ｘ⊂Λ^２はフレームである。

動き探索の領域をＷ⊂Ｘとすると、差分二乗和基準（ＳＳＤ：Sum of Squared Difference）に従ったブロックマッチングアルゴリズムは以下のようになる。

ブロックマッチングではブロック内は同一のフローを持つと仮定される。つまり各画素のフローは

と表せる。

（３）歪みエネルギー計算部１４
次に、歪みエネルギー計算部１４について、図３のフローチャートに基づいて説明する。歪みエネルギー計算部１４は、ピクセル単位で歪みエネルギーを計算する。

（３−１）第１の歪みエネルギー
動きに沿ってフレーム間で輝度が一定であると仮定すると、

Ｉ_ｄｓｔ（ｘ＋ｕ（ｘ））＝Ｉ_ｓｒｃ（ｘ）

が成り立つ。つまり残差

ｄｐｔ（ｘ）＝Ｉ_ｄｓｔ（ｘ＋ｕ（ｘ））−Ｉ_ｓｒｃ（ｘ）

が小さいほどフローの信頼度が高いと考えることができる。よって残差の歪みエネルギー

Ｄ（ｘ）＝ｄｐｔ（ｘ）^２

により信頼度を定義することができる。

但し、一点（すなわち、１ピクセル）のみではノイズの影響を直接うけてしまい信頼度の信頼性が高くない。そこで周辺の残差を畳み込んだ

を第１の歪みエネルギーとし、これが小さいものほど信頼度が高いとする。ここでＮ（ｘ）⊂Ｘは点ｘの近傍点の集合である。すなわち、自点を含めた近傍９点や２５点などである。

（３−２）第２の歪みエネルギー
また、この第１の歪みエネルギー（残差エネルギー）が仮に小さくても、周辺フローが空間的にバラバラだと補間フレームは局所的に劣化している可能性が高い。そこで周辺フローの平滑化エネルギーを考える。

Ｖ（ｘ，ｓ）＝||ｕ（ｘ＋ｓ）−ｕ（ｘ）||^２

このエネルギーは互いのフローが近いベクトルを持つほど低いエネルギーとなる。つまり平滑化エネルギーが低いほど空間的には滑らかであり、そのフローは信頼できる。

（３−３）拡張された歪みエネルギー
先ほどの第１の歪みエネルギー（残差エネルギー）を第２の歪みエネルギー（平滑化エネルギー）を考慮して以下のように拡張する。

ここでλ＞＝０は残差か平滑化かどちらを重視するかのハイパーパラメータである。このエネルギーにより残差が小さく空間的に滑らかなフローが信頼性が高いと判定されるようになる。

なお、これらはｌ２ノルムで定義されたが、ｌ１ノルムつまり絶対値でも構わない。

Ｄ（ｘ）＝｜ｄｐｔ（ｘ）｜

Ｖ（ｘ，ｓ）＝｜ｕ（ｘ＋ｓ）−ｕ（ｘ）｜＋｜ｖ（ｘ＋ｓ）−ｖ（ｘ）｜

ここでｕ，ｖはベクトルｕのｘ座標、ｙ座標である。すなわち、

（ｕ（ｘ）＝（ｕ（ｘ），ｖ（ｘ）^Ｔ）

である。

（３−４）重み付けする場合
また、上記畳み込みは、周辺が動きに属する点で構成されている場合には問題ないが、そうではなく動きの境界を含む場合には歪みを発生させる。そこで以下のように画像の類似度により重み付けをしても良い。

第２式、右辺第１項が空間カーネルで空間にガウシアンの重み付けをしている。すなわち、中心ほど重みが大きい。右辺第２項が画素の類似度カーネルで、画素が近い点ほど大きな重みが設定されるようになっている。これにより、画素的に類似な領域だけ畳み込まれるため、動きの境界と画像の境界が重なっている限り、異なる動き領域を畳み込んでしまうことを防ぐことができる。

（４）破綻防止画像生成部１６
次に、破綻防止画像生成部１６について図４のフローチャートに基づいて説明する。

破綻防止画像生成部１６は、信頼できないフロー領域の代わりに内挿するフレーム情報として破綻防止画像を用いる。

この破綻防止画像となるフレーム情報としては、隣接フレームの時間加重平均画像を用いることができる。補間フレームの内挿時間位置を０＝＜ｔ＝＜１とすると

Ｉ_ｔ（ｘ）＝（１−ｔ）Ｉ_ｓｒｃ（ｘ）＋ｔＩ_ｄｓｔ（ｘ）

と計算できる。

この時間加重平均画像が視覚的にエントロピーが少なく画質的に良好だと考えられるが、対象画像Ｉ_ｓｒｃのみや参照画像Ｉ_ｄｓｔのみでももちろん構わない。

また、加重平均ではなく単なる平均

Ｉ_ｔ（ｘ）＝０．５Ｉ_ｓｒｃ（ｘ）＋０．５Ｉ_ｄｓｔ（ｘ）

でも構わない。

（５）アルファマップ生成部１８
次に、アルファマップ生成部１８について図５のフローチャートに基づいて説明する。

（５−１）アルファ値の計算
アルファマップ生成部１８は、アルファマップ、すなわち、信頼度マップを生成する。このアルファマップはアルファブレンドをする際の基準となる各点の係数のマップであり、この係数であるアルファ値（信頼度）は０−１の範囲の値を取るものとし、対象画像と同じサイズを持つ。

前記歪みエネルギーＵ（ｘ）は０以上の実数として定義されており、歪みエネルギーが小さいほどそのフローの信頼度が高い。信頼度が高い領域はフローによる動き補償画像を優先してアルファブレンディングしたいので、つまり歪みエネルギーが小さいものはアルファ値を１に近くし、逆であれば０に近くしたい。

そこで以下のような正規分布関数により、前記歪みエネルギーＵ（ｘ）を０−１の範囲のアルファ値へ変換を行うことができる。

他にもロジスティック写像

を用いることもできる。ここでａ＞０、ｂ＞０は変換の形状を決めるパラメータである。

（５−２）位置のシフト
歪みエネルギーは対象画像と同じ時間位置で計算されているため、アルファマップとするには位置をシフトする必要がある。位置はフローによってシフトする。補間フレームの内挿時間位置を０＝＜ｔ＝＜１とすると補間位置は

シフトによってアルファ値が重なってしまう部分も出てくる。この場合はアルファ値の高い方を優先する。これはアルファ値が高い方がフローの信頼度が高いからである。

また、整数化オペレータによって切り捨てが起こっているので、それを保証するためにｘ軸とｙ軸に局所的な繰り返しを行っても良い。

（６）動き補償ワーピング部２０
次に、動き補償ワーピング部２０について図６のフローチャートに基づいて説明する。

動き補償ワーピング部２０は、フローによって対象画像、参照画像をワーピングして動き補償する。

フローによってシフトする方法はアルファマップ生成部１８と同様である。点ｘに対する対象画像、参照画像の画素値は

Ｉ_１＝Ｉ_ｓｒｃ（ｘ）

Ｉ_２＝Ｉ_ｄｓｔ（ｘ＋ｕ（ｘ））

となる。補間フレームの内挿時間位置を０＝＜ｔ＝＜１とすると時間の加重平均により補間画素値は

Ｉ_ｍｃ＝（１−ｔ）Ｉ_１＋ｔＩ_２

と計算できる。これが動き補償画像Ｉ_ｍｃとなる。

アルファマップ生成部１８と同様に、シフトした結果によって画素が重なってしまう領域もありうる。この場合は先ほどと同様にアルファ値を比較すると良い。

また、穴が空いてしまう部分も発生する可能性があるが、小さな穴に関してはフィルタリング処理で埋めてしまうことができる。また大きな穴に関しては前記破綻防止画像で埋めることができる。

（７）アルファブレンディング部２２
次に、アルファブレンディング部２２について図７のフローチャートに基づいて説明する。

アルファブレンディング部２２では、動き補償画像、破綻防止画像をアルファマップに従って合成する。

合成は一般的なアルファブレンディングの手順に従う。

Ｉ＝α（ｘ）Ｉ_ｍｃ（ｘ）＋（１−α（ｘ））Ｉ_ｔ（ｘ）

により最終的な補間画素値を決定することにより、対象画像と参照画像との間に補間されるフレーム補間画像が生成される。

（８）効果
本実施形態のフレーム補間装置１０は、動画像が入力されたときに、対象となるフレームとフレームの間に補間フレームを内挿し単位時間当たりのフレーム数を増加させて動画を滑らかにする。特に、フレーム内の局所的な劣化にも対応することができる。

（実施形態２）
次に、実施形態２のフレーム補間装置１０について図８及び図９に基づいて説明する。

実施形態１のフレーム補間装置１０では、ピクセル単位で歪みエネルギーを計算する構成であったが、そのままでは計算量が大きすぎる場合もありうる。そこで本実施形態のフレーム補間装置１０ではブロック単位で簡易的に歪みエネルギーを計算する。

本実施形態のフレーム補間装置１０は、歪みエネルギー計算部１４以外は実施形態１と同様であるので、説明は省略する。

歪みエネルギー計算部１４は、ブロック単位で歪みエネルギーを計算する。対象画像を以下のような予め設定された矩形領域のブロックに分割する。

Ｂ（ｉ）＝｛ｉ＋（ｘ，ｙ）^Ｔ｜０＝＜ｘ＜Ｍ_１，０＝＜ｙ＜Ｍ_２｝

ここで点ｉ∈Ｘはブロックの左上の点、Ｍ_１、Ｍ_２はブロックのｘサイズ、ｙサイズである（Ｘ⊂Λ^２はフレーム）。残差エネルギーは以下のようなブロック単位のＳＡＤ（Sum of Absolute Difference）で行う。

ここでは絶対値差分和を用いたが、二乗和でも良い。

平滑化エネルギーは周辺のブロックのフローとの差分で計算する。

ここでも絶対値の和でも良い。周辺のブロック分の総和により平滑化エネルギーとする。

これらにより

という線形結合を歪みエネルギーと定義できる。これはブロック単位で計算される。ここでＮは周辺を表す。例えば、周辺４ブロックなどである。

（実施形態３）
次に、実施形態３のフレーム補間装置１０について図１０に基づいて説明する。

本実施形態では、図１０のブロック図に示すように、画像信号が符号化されて伝送され、それを復号器２４によりデコードして補間フレームを内挿する。なお、このときには、動き推定部１２でフローを求めず、復号器２４からのフローを直接利用する。

（実施形態４）
次に、実施形態４のフレーム補間装置１０について図１１から図１５に基づいて説明する。

実施形態１ではアルファブレンディングによって誤りフローによる補間フレームの破綻を防止する。しかし、図１１に示すように、フローの推定結果が低精度で、誤りフローを多数含んでいる場合に問題が発生する。このフローに対するアルファマップを図１２に示す。誤りフローの周辺でアルファ値が低くなっていることが確認できる。

しかし、実施形態１では、破綻防止画像として時間加重平均画像を用いるため、このように画面内（特に同じ動き領域内）にアルファ値の高い領域と低い領域が混在してしまうと、動き補償画像と時間加重平均画像が混在することになり、その混在領域がフリッカーとして視認されてしまう。

しかしながらアルファ値の低い領域のフローは低信頼であるから、動き補償画像をそのまま使うことはできない。一方、時間加重平均画像を挿入してもフリッカーとして視認されてしまう。ここでの問題は動き補償画像と時間加重平均画像間の、動きに対する「差」であると考えられる。つまり時間加重平均画像よりも動き補償画像に近い画像を破綻防止画像としてアルファブレンドする必要がある。

ここで問題なのは、同じような動きをしている中に、時間加重平均画像が突然入ってしまうことである。この「同じような動き」というのは画面内のグローバルモーション（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ）によって抽出できる。グローバルモーションとは画面内で支配的な動きのことである。つまりグローバルモーションから低信頼領域補償画像を生成し、これをアルファブレンディングの対象とすればよい。時間加重平均画像は静止のグローバルモーションと捉えることもできるので、アルファブレンディングからの拡張とも考えられる。

（１）フレーム補間装置１０の概要
本実施形態のフレーム補間装置１０を、図１３のブロック図に従い説明する。

フレーム補間装置１０は、動き推定部１２、歪みエネルギー計算部１４、破綻防止画像生成部１６、アルファマップ生成部１８、動き補償ワーピング部２０、アルファブレンディング部２２、グローバルモーション抽出部２６、第２歪みエネルギー計算部２８、第２アルファマップ生成部３０、第２動き補償ワーピング部３２から構成される。

本実施形態は、基本的にはアルファブレンディングの拡張であるため実施形態１と同様であり、ここでは実施形態１とは異なる部分の説明する。

なお、本実施形態では、以下の記述を用いることとする。

（２）グローバルモーション抽出部２６
まず、グローバルモーション抽出部２６について図１４のフローチャートと図１５に基づいて説明する。

グローバルモーションは２次元平面から２次元平面への幾何変換によってモデル化できる。幾何変換の代表はアフィン変換である。これは並進、回転、拡大、せん断変形（正方形を菱形に変形する）を表すことのできる幾何変換である。最もよく使われる幾何変換であるが、自由度が６であるため多少複雑である。そこでここでは並進のみを考慮した幾何変換を考える。２次元フローを一つで表現でき自由度は２である。

ある領域内の代表フローを決定することで得られる。代表フローは平均値やメディアン値によって算出する。

与えられたフローフィールドから任意の数（Ｋ個）のグローバルモーションｕ_ｋ ⁻（但し、ｋ＝１，．．．，Ｋである）を抽出する問題は、シンプルにはｋ−ｍｅａｎｓ法によって解くことができる。ｋ−ｍｅａｎｓ法はフィールドをＫ個にクラスタリングするアルゴリズムである。

このとき各クラスタの平均値は、

と計算できる。ここでＮｕｍ（）は要素数を数えるオペレータである。右肩の添え字ｔはイテレーションを表す。

次に平均からの距離が最小となるクラスタを決定し、ラベル更新する。

ｋ−ｍｅａｎｓ法では数１４の数式、数式１５の数式を任意の回数繰り返す。なお、数回で収束するが、１回で収束する場合もある。

初期ラベルの与え方は色々考えられる。例えばランダムにｋ＝１，・・・，Ｋを割り当てるというのも一つの方法である。ここでは図１５に示すように、対象画像のクラスタリング（これもｋ−ｍｅａｎｓ法による）の結果を初期ラベルにする方法を行う。まず、対象画像のブロック内平均を取る。

によりラベリングを行いラベルを更新する。次に

により各クラスタの平均値を算出する。

これら数１７の数式、数式１８の数式を数回繰り返す。そして対象画像クラスタリングの結果をフロークラスタリングの初期値に設定する。

ここでＴはｋ−ｍｅａｎｓ法のイテレーション回数である。

ラベルｚ（ｉ）を計算した後、平均値もしくはベクトルメディアン値によってグローバルモーションを決定する。

（３）第２アルファマップ生成部３０
第２アルファマップ生成部３０は、グローバルモーションｕ_ｋ ⁻（但し、ｋ＝１，．．．，Ｋである）に応じたアルファマップを生成する。フレーム内の全点がグローバルモーションｕ_ｋ ⁻で構成されているとして（フレーム全体が一様なフローを持つとする）、実施形態１と同じようにアルファマップ生成を行う。その結果をα（ｘ）（但し、ｋ＝１，．．．，Ｋである）とする。

また、実施形態１で説明した時間加重平均画像に対するアルファマップも生成する。これは、グローバルモーションｕ_ｋ ⁻＝（０，０）^Ｔとしたとき（すなわち、静止したとき）のアルファマップを生成し、α_ｔ（ｘ）とする。

（４）第２動き補償ワーピング部３２
第２動き補償ワーピング部３２は、グローバルモーションｕ_ｋ ⁻（但し、ｋ＝１，．．．，Ｋである）に応じた動き補償ワーピング画像を生成する。フレーム内の全点がグローバルモーションｕ_ｋ ⁻で構成されているとして（フレーム全体が一様なフローを持つとする）、実施形態１の動き補償ワーピングを行う。

その結果をＩ_ｋ（ｘ）（但し、ｋ＝１，．．．，Ｋである）とする。

（４）アルファブレンディング部２２
アルファブレンディング部２２は、動き補償ワーピング画像Ｉ_ｍ（ｘ）、グローバルモーションワーピング画像Ｉ_ｋ（ｘ）（但し、ｋ＝１，．．．，Ｋである）、時間加重平均画像Ｉ_ｔ（ｘ）をアルファブレンディングする。

アルファブレンディングとして成り立つためには重み係数の総和が１になるように設計しなければならない。そのようなモデルとして

を考えることができる。

もし、Ｋ＝０とすれば実施形態１のアルファブレンディングと等価となっている。このことから、本実施形態は、実施形態１のアルファブレンディングの拡張と見ることができる。右辺第２項はグローバルモーションワーピング画像のそれぞれのアルファ値による加重平均となっており、アルファ値の高いグローバルモーションワーピング画像が優先される設計となっている。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変更例１
上記実施形態では、動き補償画像及び時間加重平均画像は、それぞれ補間画像の時間位置で加重平均を行った。

しかし、上記各実施形態のフレーム補間装置を実装するときに、フレームの間の時間方向で量子化するとこの補間画像の時間位置に量子化できない場合がある。そのときは、前記補間画像の時間位置に最も近い時間において加重平均を行う。

（２）変更例２
上記実施形態では、アルファマップ計算部１８では、アルファマップを生成してから、補間フレームの時間位置に移動させたが、これに代えて、補間フレームの時間位置に各領域の歪みエネルギーを移動させてから、アルファマップを生成してもよい。

本発明の実施形態１のフレーム補間装置１０のブロック図である。 実施形態１の概念フローチャートである。 実施形態１の歪みエネルギー計算フローチャートである。 実施形態１の破綻防止画像生成フローチャートである。 実施形態１のアルファマップ生成フローチャートである。 実施形態１の動き補償ワーピングフローチャートである。 実施形態１のアルファブレンディングフローチャートである。 実施形態２のフレーム補間画像のブロック図である。 実施形態２の歪みエネルギー計算フローチャートである。 実施形態３のフレーム補間画像のブロック図である。 低い精度のフローの説明図である。 低い精度のフローから生成したアルファマップである。 実施形態４のフレーム補間装置のブロック図である。 ｋ−ｍｅａｎｓクラスタリングのフローチャートである。 グローバルモーション抽出の説明図である。

符号の説明

１０ フレーム補間装置１０
１２ 動き推定部
１４ 歪みエネルギー計算部
１６ 破綻防止画像生成部
１８ アルファマップ生成部
２０ 動き補償ワーピング部
２２ アルファブレンディング部

Claims (12)

1. 対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、
   前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、
   前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、
   前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、
   前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、
   （１）前記対象画像、（２）前記参照画像、または、（３）前記対象画像と前記参照画像との前記第１及び前記第２時間距離に応じた第３加重平均によって求められた時間加重平均画像、のいずれかを破綻防止画像として取得する破綻防止画像取得部と、
   前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、
   を有するフレーム補間装置。
2. 対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、
   前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、
   前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、
   前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、
   前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、
   前記対象画像を前記参照画像に幾何変換するための前記対象画像のベクトル抽出領域毎のグローバルモーションベクトルを求め、前記ベクトル抽出領域毎のグローバルモーションベクトルに基づいて破綻防止画像を取得する破綻防止画像取得部と、
   前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、
   を有するフレーム補間装置。
3. 前記歪みエネルギー計算部は、
   前記対象領域の前記歪みエネルギーと、前記各対象領域の周囲にあるそれぞれの周囲領域の前記歪みエネルギーを求め、
   前記対象領域の前記歪みエネルギーと前記周囲領域の前記歪みエネルギーとの第４加重平均を求めて、前記対象領域の前記歪みエネルギーとする、
   請求項１または２記載のフレーム補間装置。
4. 前記対象領域の画素値と、前記周囲領域の画素値との差分が大きい程に、前記第４加重平均における前記周囲領域の前記歪みエネルギーの重みを小さくする、
   請求項３記載のフレーム補間装置。
5. 前記歪みエネルギー計算部は、
   前記各対象領域の周囲にある周囲領域の動きベクトルをそれぞれ求め、
   前記対象領域の動きベクトルと、前記周囲領域の動きベクトルとの差分に基づいて平滑化エネルギーを求め、
   前記歪みエネルギーに前記平滑化エネルギーを加算する、
   請求項１または２記載のフレーム補間装置。
6. 前記歪みエネルギー計算部は、
   前記対象領域の周囲にある周囲領域の動きベクトルを求め、
   前記対象領域の動きベクトルと、前記周囲領域の動きベクトルとの差分に基づいて平滑化エネルギーを求め、
   前記歪みエネルギーに前記平滑化エネルギーを加重平均する、
   請求項１または２記載のフレーム補間装置。
7. 前記歪みエネルギー計算部は、
   前記対象領域の画素値と、前記周囲領域の画素値との差分が大きい程に、前記加重平均における前記平滑化エネルギーの重みを小さくする、
   請求項６記載のフレーム補間装置。
8. 前記重み計算部は、
   前記歪みエネルギーと前記重みとが一対一に対応し、
   前記重みが０から１となる単調減少関数に基づいて前記歪みエネルギーを変換する、
   請求項１または２記載のフレーム補間装置。
9. 対象画像と参照画像との間に補間画像を内挿するフレーム補間方法において、
   前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定ステップと、
   前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算ステップと、
   前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算ステップと、
   前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成ステップと、
   （１）前記対象画像、（２）前記参照画像、または、（３）前記対象画像と前記参照画像との前記第１及び前記第２時間距離に応じた第３加重平均によって求められた時間加重平均画像、のいずれかを破綻防止画像として取得する破綻防止画像取得ステップと、
   前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間ステップ、
   を有するフレーム補間方法。
10. 対象画像と参照画像との間に補間画像を内挿するフレーム補間方法において、
    前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定ステップと、
    前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算ステップと、
    前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算ステップと、
    前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成ステップと、
    前記対象画像を前記参照画像に幾何変換するための前記対象画像のベクトル抽出領域毎のグローバルモーションベクトルを求め、前記ベクトル抽出領域毎のグローバルモーションベクトルに基づいて破綻防止画像を取得する破綻防止画像取得ステップと、
    前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間ステップ、
    を有するフレーム補間方法。
11. コンピュータによって実行されるプログラムであって、当該コンピュータを請求項１から請求項８までのいずれか一項に記載のフレーム補間装置として機能させるプログラム。
12. コンピュータによって実行されるプログラムであって、請求項９から請求項１０までのいずれか一項に記載のフレーム補間方法を当該コンピュータに実行させるためのプログラム。

Images