JP2010141437A - フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 - Google Patents

Abstract

【課題】スクロール等の特定シーン時や、低フレームレートの画像再生時でも、良好な画質のフレーム補間を実現する。
【解決手段】重み付け選択処理部３０３は、シーン検出結果信号がスクロールシーンの検出を示すフレームで静止判定信号が静止領域を示さないブロックについては、相関計算部３０１の出力をベクトル中心重み付加部３０５に接続する。静止判定信号が静止領域を示すブロック、又はシーン検出結果信号がスクロールシーンを検出していないフレームについては、探索中心重み付加部３０４に接続する。ブロック内の複数の動きベクトル候補の相関値に対して、ベクトル中心重み付加部３０５は、画面内平均動きベクトルに近いほど選択され易い重み付けを行い、探索中心重み付加部３０４は、ブロックの探索中心から動かない状態を示すものほど選択され易い重み付けを行って、それぞれ動きベクトル候補の中から１つの動きベクトル候補を選択して出力する。
【選択図】図４

Description

以下に開示する技術は、２つの映像フレームの間に、実在しない映像フレームを補間によって生成するフレーム補間技術、及びそれを用いたフレームレート変換技術に関する。

薄型テレビに用いられるディスプレイの１つである液晶ディスプレイ（ＬＣＤ）においては、ＣＲＴ（Cathode Ray Tube）やプラズマディスプレイのようにディスプレイに一瞬の画像を描画するインパルス表示とは異なり、次の映像フレームが来るまでの間、描画を続けるホールド表示が用いられる。

このホールド表示では、映像中の動体に対して、眼球の追従による動き補間と、位置の変わらないホールド表示との間のアンマッチによって、モーションジャダといわれる現象が発生する。また、近年始まったワンセグ放送では、フレームレートが１５ｆｐｓ程度と、現行のアナログ放送よりも低いレートになっていることから、動きの不自然さが目立つことがある。

この問題を解決するには、映像フレームの間に中間フレームを作成し、動きを補間した映像を見せることが効果的である。この動きの補間の様子を図１８に示す。時刻ｔ−１におけるフレーム１８０１と時刻ｔにおけるフレーム１８０３から画面内の動きベクトルを求め、例えば、１／２時刻後の動きを補償することで、ちょうど真ん中の時刻ｔ−１／２における補間フレーム１８０２が生成される。これにより、映像の画質向上を図ることができる。

ところが、動きベクトル探索には膨大な計算量を必要とし、特に大きな動き、すなわち、フレーム補間の効果が顕著となるような映像を補間するとなると、現実的な時間で探索が終わらない。そこで、動きに一定の特徴のあるものだけを補間することでフレーム補間を実現する、シーン選別型のフレーム補間が現実的に有効な方法として提案されている（例えば、下記の特許文献１及び２を参照）。

図１９は、このようなシーン選別型のフレーム補間装置の構成例を示している。シーン選別部１９０１は、動きベクトル探索部１９０２が求めた動きベクトルから特徴あるシーンか否かを判定し、補間制御信号を補間画像生成部１９０３に出力する。この補間制御信号は、特徴あるシーンが検出されたとき、ＯＮ（有効）となり、それ以外の場合はＯＦＦ（無効）となる。補間画像生成部１９０３は、補間制御信号がＯＮのときのみ、動きベクトルから補間フレームを生成する。

動きに一定の特徴のあるシーンの１つとしては、等速なスクロールシーンが挙げられる。この場合、画面内のベクトルの向きが揃っていること、という条件を満たす必要がある。しかしながら、合成テロップのように、画面内に停止している部分があると、そのベクトル０成分によりシーン選別から外れてしまうことがある。また、空や水面のように、画面のアクティビティが低い部分では、動きベクトルがばらつくために、シーン選別にかかりにくくなる。シーン選別が不能になると、補間フレームの有無の切り替わりにより、動画としての不自然さがかえって目立つようになる。
特開平１１−１１２９４０号公報 特開２０００−１３４５８５号公報

上述のように、従来のシーン選別型のフレーム補間では、ターゲットとするシーンをいかに検出するかが課題である。これに対する一つの解決手段として、フレーム画像の領域を静止領域と動領域に分けて動きベクトルの探索を行う手法が考えられる。これにより、空や海といったのっぺりとした部分でも正しい動きベクトルの検出が行える一方、映像中に停止部分があった場合に、そこがスクロール方向にずれて補間されることを防ぐことができる。

一方、前述したフレームレートが１５ｆｐｓ程度の低レートでかつ小さい画面で視聴が行われるワンセグ放送では、上述のようなシーン選別型のフレーム補間では効果が分かりにくい場合が多い。即ち、シーンが検出されないようなフレームではフレーム補間が行われない結果、ワンセグ放送等の低フレームレートでは、かなりぎこちない映像表示となってしまう。

このため、ワンセグ放送等が対象の場合、誤補間による映像の破綻はある程度許容しつつも動きの滑らかさを改善する目的で、常時動作型のフレーム補間を用いることが考えられる。常時動作型のフレーム補間装置は、例えば図１９に示される構成において、シーン選別部１９０１のブロックをなくした構成として実現できる。この場合、動きベクトル探索部１９０２では、静止領域と動領域に分けて動きベクトルの探索が行われ、動領域では、画面内平均動きベクトルに対応した重み付け処理が施されて、最終的な動きベクトルが決定される。

しかし、このような常時動作型のフレーム補間方式では、特定のシーンを含まないようなフレームにおいて動領域が検出された場合に、映像中の様々な動きがただ一つの平均動きベクトルの方向に引っ張られる結果となる。そして、この誤った補間処理によって、再生映像において不自然さが増幅されてしまうという問題点を有していた。

これを防ぐためには、動領域に対して画面内平均動きベクトルに対応した重み付け処理をやめればよいが、今度は画面スクロール等の特定のシーンを含むようなフレームにおいて動領域が検出された場合に、映像ののっぺりした部分を適切に補間することができないという問題が起こり、画質が劣化してしまう。

このように、いずれのフレーム補間方式もそれぞれ一長一短があり、決定打となる方式がなかった。

以下に開示する技術が解決する課題は、スクロール等の特定シーン時であってもそうでないときであっても、また、低フレームレートの画像再生時でも、良好な画質を実現することにある。

以下に開示する態様は、入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間装置、方法、又はプログラム、或いは、そのフレーム補間技術を用いたフレームレート変換装置、映像再生装置、又は映像表示装置を前提とする。

画面内平均動きベクトル計算部（１１１２）は、映像フレーム毎に、画面内の動きベクトルを平均して、画面内平均動きベクトルを計算する。
シーン検出制御部（１１０２）は、映像フレーム毎に、その映像フレーム内の動きが一様であるシーンを検出する。

相関計算部（３０１）は、現在の映像フレーム内の各ブロックに対する複数の動きベクトル候補のそれぞれについて、その現在の映像フレームと前の映像フレームとの相関値を計算する。

静止判定部（３０２）は、現在の映像フレーム内の各ブロックが静止領域か否かを判定する。
探索中心重み付加部（３０４）は、各ブロック内の複数の動きベクトル候補の各相関値に対して、その各ブロックの探索中心から動かない状態を示すものほど選択され易くなるような重み付けを行った上で、複数の動きベクトル候補の中から１つの動きベクトル候補を算出する。

ベクトル中心重み付加部（３０５）は、各ブロック内の複数の動きベクトル候補の各相関値に対して、画面内平均動きベクトルに近いほど選択され易くなるような重み付けを行った上で、複数の動きベクトル候補の中から１つの動きベクトル候補を算出する。

重み付け選択処理部（３０３）は、現在の映像フレーム内の各ブロック毎に、シーン検出制御部によるシーン検出結果と静止判定部による判定結果に基づいて、探索中心重み付加部又はベクトル中心重み付加部の何れかを選択し、相関計算部が出力する相関値を与える。この重み付け選択処理部は例えば、シーン検出制御部がシーンを検出し、かつ静止判定部が静止領域を判定していないときに、ベクトル中心重み付加部を選択し、シーン検出制御部がシーンを検出していないとき、又は静止判定部が静止領域を判定しているときに、探索中心重み付加部を選択する。

最終選定部（３０６）は、探索中心重み付加部又はベクトル中心重み付加部が算出する動きベクトルを選択して出力する。

常時補間型フレーム補間において、シーン解析結果に応じてベクトル重み付け方法を動的に変更することで、シーンの検出されていない映像でベクトルが画面の動きにつられて変動することを防ぎ、かつシーンの検出された場合ではベクトルの検出を画面内平均にそろえることが可能となる。

この結果、常時補間動作時であってもシーン適応型補間が動作するモードを内包させることができ、常時補間型フレーム補間による画質とシーン適応型フレーム補間の画質を両立することが可能となる。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
図１は、フレーム補間装置の実施形態の構成例を示している。このフレーム補間装置は、シーン選別部１０１、記憶部１０２、動きベクトル探索部１０３、補間ベクトル生成部１０４、及び補間画像生成部１０５を備える。

動きベクトル探索部１０３は、２つの入力映像フレームの間で、所定サイズのブロック（矩形領域）を用いたブロックマッチングを行い、マッチング結果から動体の動きベクトルを求める。得られた動きベクトルは、シーン選別部１０１及び補間ベクトル生成部１０４に出力される。

シーン選別部１０１は、画面内で動きベクトルの統計処理を行うことで、フレーム毎に補間効果のあるシーンかどうかを判定し、シーン検出結果信号を動きベクトル探索部１０
３に出力する。このシーン検出結果信号は、補間効果のあるシーンが検出されたときにＯＮ（有効）となり、それ以外の場合はＯＦＦ（無効）となる。補間効果のあるシーンとは、例えば、縦横等の一定の方向に等速でスクロールしているようなシーンである。

このシーン選別の過程で、シーン選別部１０１は、画面内の平均動きベクトルを計算し、記憶部１０２に格納する。例えば、画面全体がスクロールしている場合は、画面内平均動きベクトルは、そのスクロール速度に一致する。動きベクトル探索部１０３は、記憶部１０２に保持された過去の画面内平均動きベクトルを取り出し、それを参照動きベクトルとして用いて、上記マッチング結果から動きベクトルを求める。

補間ベクトル生成部１０４は、動きベクトル探索部１０３が求めた動きベクトルから、各画素をどこから補間するかを示す補間ベクトルを生成し、補間画像生成部１０５に出力する。補間ベクトルは、補間フレームの画像を得るために、参照画素を計算する際に用いられるベクトルである。

例えば、２つの入力映像フレームの中間に補間フレームを生成する場合には、補間ベクトルは、動きベクトルの１／２の大きさを持つベクトルに相当する。しかし、必ずしも画面全体を探索することができないため、周辺部分については画面内平均動きベクトルを用いて補間ベクトルを生成したり、近傍の動きベクトルを用いて補間ベクトルを生成したりする。

補間画像生成部１０５は、補間ベクトルから補間フレームを生成する。
画面内平均動きベクトルは、記憶部１０２に保持され、次の時刻での動きベクトル探索において、シーン検出結果信号がＯＮのときに、予測ベクトルとして参照される。シーンが検出されているときには、予測ベクトルの近傍が最適な動きベクトルの候補となり、次の時刻における探索結果も、この予測ベクトルの近傍から得られる可能性が高くなる。結果として、シーン検出時には、画面内のすべての動きベクトルが平均動きベクトルに揃ってきて、次の映像フレームでもシーン選別が有効に作用するように帰還がかかる。

図２は、画面内平均動きベクトルの求め方の一例を示している。通常、１つの映像フレームの画面は、所定サイズのブロックを用いて複数のブロック領域に分割され、ブロック毎に動きベクトルが求められる。この例では、画面の水平方向及び垂直方向をそれぞれｘ軸及びｙ軸として、画面がＮｘ×Ｎｙ個のブロックに分割され、ブロック座標（ｉ，ｊ）における動きベクトルは、ｍｖ（ｉ，ｊ）と表記される（ｉ＝０，１，．．．，Ｎｘ−１，ｊ＝０，１，．．．，Ｎｙ−１）。Ｎｘ及びＮｙは、それぞれ水平方向及び垂直方向のブロック数を表す。

画面内平均動きベクトルｍｖａｖｅａｌｌは、下記数１式及び数２式として示されるように、水平方向におけるＮｘ個のｍｖ（ｉ，ｊ）の平均値ｍｖａｖｅ（ｊ）をライン毎に計算し、得られたＮｙ個のｍｖａｖｅ（ｊ）の平均値を計算することで、求められる。

図３は、動きベクトル探索部１０３の構成例を示している。動きベクトル探索部１０３は、相関計算部３０１、静止判定部３０２、重み付け選択処理部３０３、探索中心重み付加部３０４、ベクトル中心重み付加部３０５、及び最終選定部３０６を含み、相関計算部３０１及び静止判定部３０２は、第１ステップの処理を実行し、重み付け選択処理部３０３、探索中心重み付加部３０４、ベクトル中心重み付加部３０５、及び最終選定部３０６は、第２ステップの処理を実行する。

相関計算部３０１は、遅延画像信号が示す１フレーム前の映像フレーム３１１と、現在の画像信号が示す映像フレーム３１２との相関をフレームを分割したブロック単位で検出し、ブロック毎に複数の動きベクトル候補を出力する。

静止判定部３０２は、ブロック内における映像の変化度と、静止状態を示す動きベクトル候補に基づいて、そのブロックが静止領域か否かを判定し、静止判定信号を出力する。
重み付け選択処理部３０３は、シーン選別部１０１からのシーン検出結果信号と、静止判定部３０２からの静止判定信号を入力する。そして、重み付け選択処理部３０３は、図４（ａ）に示されるように、シーン検出結果信号がスクロールシーンの検出を示すフレームで、静止判定信号が静止領域を示さないブロックについては、相関計算部３０１の出力をベクトル中心重み付加部３０５に接続する。また、重み付け選択処理部３０３は、図４（ａ）に示されるように、シーン検出結果信号がスクロールシーンの検出を示すフレームで、静止判定信号が静止領域を示すブロックについては、相関計算部３０１の出力を探索中心重み付加部３０４に接続する。更に、重み付け選択処理部３０３は、図４（ｂ）に示されるように、シーン検出結果信号がスクロールシーンを検出していないフレームについては、静止領域／動領域のブロックにかかわらず、相関計算部３０１の出力を探索中心重み付加部３０４に接続する。

ベクトル中心重み付加部３０５は、スクロールシーンが検出されたフレームであって静止領域でないブロックについて、以下の処理を実行する。即ち、ベクトル中心重み付加部３０５は、ブロック内の複数の動きベクトル候補の相関値（類似度）に対して、画面内平均動きベクトルに近いほど選択され易くなるような重み付けを行った上で、複数の動きベクトル候補の中から１つの動きベクトル候補を選択する。

探索中心重み付加部３０４は、スクロールシーンが検出されないフレームのブロック、又はスクロールシーンが検出されたフレームであって静止領域であるブロックについて、以下の処理を実行する。即ち、探索中心重み付加部３０４は、ブロック内の複数の動きベクトル候補の相関値（類似度）に対して、ブロックの探索中心から動かない状態を示すものほど選択され易くなるような重み付けを行った上で、複数の動きベクトル候補の中から１つの動きベクトル候補を選択する。最終選定部３０６は、ベクトル中心重み付加部３０５又は探索中心重み付加部３０４のうち動作したほうから出力される動きベクトルを選択して出力する。

相関計算部３０１は、図５に示すように、映像フレーム３１２の現画像と映像フレーム３１１の参照画像５１１の間の類似度計算を行って、計算結果を出力する。この類似度計算では、現画像内のｎ×ｍ画素からなるブロック５０１に対応する、参照画像５１１内のブロック５０２に対して、動きベクトル候補５１２により位置オフセットを付加し、ブロ
ック５０３を求める。そして、ブロック５０１とブロック５０３のマッチングを行い、動きベクトル候補５１２に対する類似度を計算する。図５では、動きベクトル候補（−２，−１）に対するパターンマッチングが行われる様子を示している。

一般には、ブロック内の画素値の差分絶対値をｎ×ｍ個の全画素について総和した値が、類似度として求められる。従って、類似度が小さいほどブロック５０１とブロック５０３がよく一致していることを表す。

このように、サーチ候補内（横±Ｓｘ，縦±Ｓｙ）の全ての動きベクトル候補のそれぞれにについて同様の計算が繰り返し実行され、（２×Ｓｘ＋１）×（２×Ｓｙ＋１）からなる類似度テーブルが得られる。
静止判定部３０２は、ブロック内における映像の変化度と、静止状態を示す動きベクトル候補の類似度を用いて、ブロック毎に動きがあるか否かを判定する。

図６（ａ）及び（ｂ）は、探索中心重み付加部３０４及びベクトル中心重み付加部３０５においてそれぞれ、サーチ候補内（横±Ｓｘ，縦±Ｓｙ）の各動きベクトル候補の類似度に対して付加される重み値の等高線を、同心円で概念的に示した図である。類似度は小さいほどそれに対応する動きベクトル候補が選択され易いことを示している。このため、重み値が小さいほどそれが付加された動きベクトル候補が選択され易くなり、逆に、重み値が大きいほどそれが付加された動きベクトル候補が選択されにくくなる。図６（ａ）及び（ｂ）では、同心円の中心の重み値が最も小さく、外縁部に向かう同心円ほどそれに対応する重み値は大きくなる。探索中心重み付加部３０４における重み付けは、図６（ａ）に示されるように、ブロックの探索中心から動かない状態を示す動きベクトル候補ほど、その類似度に小さな重み値が付加され、その動きベクトル候補が選択され易くなる。一方、ベクトル中心重み付加部３０５における重み付けは、図６（ｂ）に示されるように、シーン選別部１０１（図１）にて算出される画面内平均動きベクトルと同じ動きベクトル候補に対して、その類似度に最も小さな重み値が付加される。そして、画面内平均動きベクトルに対応する位置を中心とする同心円に沿って、重み付けが行われる。つまり、ベクトル中心重み付加部３０５における重み付けでは、重み付けの中心が、画面内平均動きベクトルの方向へオフセットされる。この結果、ブロック内の複数の動きベクトル候補に対して、画面内平均動きベクトルに近いほど選択され易くなるような重みが付加されることになる。

前述したように、重み付け選択処理部３０３によって、ベクトル中心重み付加部３０５は、スクロールシーンが検出されたフレーム内の静止領域でないブロックに対して動作する。このため、スクロールシーンのフレーム内の動領域の各ブロックについて決定される動きベクトルは、全体的な傾向として、スクロールの方向及び速度に対応した画面内平均動きベクトルの方向及び大きさに揃うことになる。

一方、重み付け選択処理部３０３によって、探索中心重み付加部３０４は、スクロールシーンが検出されないフレームのブロック、又はスクロールシーンのフレーム内の静止領域であるブロックに対して動作する。このため、これらの各ブロックについて決定される動きベクトルは、あまり大きな動きが起こらないことを前提とする基準で決定され、動きベクトルの大きな抽出誤りが起こらないように制御されることになる。

図７（ａ）及び（ｂ）はそれぞれ、図６（ａ）及び（ｂ）の基準に対応して具体的に設定される重み値の具体例を示す図である。
図７（ａ）及び（ｂ）の例では、動きベクトルの探索範囲が（±２，±２）であるものとする。この場合、相関計算部３０１は、静止状態を示す動きベクトル候補（０，０）を中心とする、２５（＝５×５）個の動きベクトル候補について類似度を計算し、類似度値
テーブル７０１を出力する。類似度値テーブル７０１において、水平方向は動きベクトル候補のｘ成分を表し、垂直方向は動きベクトル候補のｙ成分を表す。そして、セル（ｘ，ｙ）に記された値は、動きベクトル候補（ｘ，ｙ）について得られた類似度を表している。

ベクトル中心重み付加部３０５及び探索中心重み付加部３０４はそれぞれ、類似度値テーブル７０１と同じサイズの重み値テーブル７０２（ａ）及び７０２（ｂ）を用意し、それぞれの動きベクトル候補に対する重み値を設定する。

図７（ａ）では、図６（ａ）の基準に従って、探索範囲の原点（０，０）の重み値が“０”とされ、そこから遠ざかるにつれて同心円状に値が大きくなる重みが設定される。
一方、図７（ｂ）では、前の時刻で求められた画面内平均動きベクトルを例えば（＋１，０）とすれば、それに対応する座標（＋１，０）の重み値が“０”とされ、そこから遠ざかるにつれて同心円状に値が大きくなる重みが設定される。

探索中心重み付加部３０４は、類似度値テーブル７０１の各セルの類似度と重み値テーブル７０２（ａ）の各セルの重み値とを加算し、得られた値が最小となる動きベクトル候補を動きベクトルとして選択する。この結果、類似度の最小値“１７６”＋重み値“１００”に対応する候補（−１，０）が動きベクトルとして選択される。

一方、ベクトル中心重み付加部３０５は、類似度値テーブル７０１の各セルの類似度と重み値テーブル７０２（ｂ）の各セルの重み値とを加算し、得られた値が最小となる動きベクトル候補を動きベクトルとして選択する。類似度値テーブル７０１の計算結果のみを用いた場合、類似度の最小値“１７６”に対応する候補（−１，０）が動きベクトルとして選択されるが、重み値テーブル７０２を加算してから動きベクトルを選択すれば、画面内平均動きベクトルと同じ（＋１，０）を選択することができる。

次に、静止判定部３０２による静止判定処理の具体例について説明する。図８は、８×８個の画素からなるブロックにおける各画素の輝度値を示している。この例では、直線８０１を境として輝度値が大きく変化しており、この直線８０１上に急峻なエッジが存在することが分かる。図９は、このブロックの動きベクトルを（±２，±２）の探索範囲で探索したときの類似度値テーブルを示している。この例では、動きベクトル候補（０，０）の類似度“６１”が最小であることが分かる。この場合、以下の２つの方法のいずれかにより、静止判定が行われる。

第１の静止判定処理では、ブロック内における画素値の分散を変化度計算に用いる。画素値として輝度値を用いた場合、ブロック内の全画素についての総和演算をΣと記すと、変化度は、次式により求められる。
この変化度が十分大きく、かつ、動きベクトル候補（０，０）の類似度が最小、かつ、動きベクトル候補（０，０）の類似度が十分小さいときに、そのブロックは静止していると判定される。変化度は、所定の閾値より大きければ、十分大きいと判定され、類似度は、所定の閾値より小さければ、十分小さいと判定される。

これらの閾値は、実験により決定することが可能である。例えば、画素値の誤差をＥとし、ブロックの画素数をｎ×ｍとすると、類似度の閾値Ｔ１はＥ×ｎ×ｍに設定され、変化度の閾値Ｔ２はＴ１の２倍程度に設定される。

第２の静止判定処理では、探索範囲内における類似度の最大値と最小値の差を変化度計算に用いる。この場合、変化度は、次式により求められる。

この変化度が十分大きく、かつ、動きベクトル候補（０，０）の類似度が最小、かつ、動きベクトル候補（０，０）の類似度が十分小さいときに、そのブロックは静止していると判定される。この場合、例えば、類似度の閾値Ｔ１としては上述した値が設定され、変化度の閾値Ｔ２はＴ１の３倍程度に設定される。

図８及び図９に示した例では、直線８０１上の急峻なエッジのために数３式の変化度は十分大きくなり、数４式の変化度は９８４−６１＝９２３となるから、やはり十分大きくなる。さらに、動きベクトル候補（０，０）の類似度“６１”は探索範囲内で最小であり、かつ、十分小さい値である。従って、いずれの静止判定処理においても、このブロックは静止していると判定される。

図１０は、補間画像生成部１０５により生成される補間ベクトルを示している。映像フレーム３１１と映像フレーム３１２の真ん中に補間フレーム１００１を生成する場合、補間画像生成部１０５は、まず、動きベクトル１０１１の１／２の大きさを持つベクトル１０１２を生成し、さらにそのベクトル１０１２の始点をずらすことで補間ベクトル１０１３を生成する。

図１１は、シーン選別部１０１の構成例を示している。シーン選別部１０１は、特徴量計算部１１０１及びシーン検出制御部１１０２を含み、特徴量計算部１１０１は、ばらつき計算部１１１１及び画面内平均動きベクトル計算部１１１２を含む。

画面内平均動きベクトル計算部１１１２は、図２に示した方式により、１フレーム分の動きベクトルから画面内平均動きベクトルｍｖａｖｅａｌｌを計算し、記憶部１０２に格納するとともに、ばらつき計算部１１１１及びシーン検出制御部１１０２に出力する。ばらつき計算部１１１１は、画面内平均動きベクトルｍｖａｖｅａｌｌを用いて、次式により動きベクトルのばらつきΔを計算する。

上式では、動きベクトルｍｖ（ｉ，ｊ）の水平方向における平均値ｍｖａｖｅ（ｊ）とｍｖａｖｅａｌｌの差分からばらつきΔを求めているが、ｍｖａｖｅ（ｊ）の代わりに、動きベクトルｍｖ（ｉ，ｊ）の垂直方向における平均値ｍｖａｖｅ（ｉ）を用いてもよい。さらに、ｍｖａｖｅ（ｊ）から求めたばらつきと、ｍｖａｖｅ（ｉ）から求めたばらつきの和を、ばらつきΔとして用いてもよい。

シーン検出制御部１１０２は、ばらつきΔをｍｖａｖｅａｌｌの大きさで割った商を判定値として用い、判定値が十分小さいとき、画面内の動きが一様である、すなわち、補間効果のあるシーンが検出されたと判定し、シーン検出結果信号をＯＮにする。具体的には、判定値が所定の閾値より小さいとき、シーン検出結果信号をＯＮにし、判定値が閾値以上のとき、シーン検出結果信号をＯＦＦにする。なお、ばらつきΔそのものを判定値として用いてもよい。

以上説明したように、実施形態によるフレーム補間装置は、スクロールシーンが検出されたフレームであって静止領域でないブロックについては、過去の画面内平均動きベクトルを保持しておき、現時刻での動きベクトル探索において、それに基づき重み付けをかけるように制御する。これにより、スクロールシーンのフレーム内の動領域の各ブロックについては、全体的な傾向として、スクロールの方向及び速度に良く追従する補間処理が実行される。一方、フレーム補間装置は、スクロールシーンが検出されないフレームのブロック、又はスクロールシーンが検出されたフレームであって静止領域であるブロックについては、あまり大きな動きが起こらないことを前提とする基準で動きベクトルが決定される。このため、動きベクトルの大きな抽出誤りが起こらないように制御される。

このようにして、スクロールシーン等が存在する動領域に限定して動きベクトルのばらつきを抑えることが可能となる。また、スクロールシーン等を含まない映像又は映像中の静止領域においては、低フレームレートの映像であっても、大きく破綻することのないフレーム補間が行われることにより、再生画像のぎこちない動きをなくすことが可能となる。かつこの場合に、映像中の様々な動きがただ一つの画面内平均動きベクトルの方向に引っ張られて不自然さが増幅されてしまうといった状況の発生を防ぐことが可能となる。

図１２は、フレーム補間装置の他の実施形態の構成例を示した図である。図１の構成との違いは、テロップ検出部１２０１を有し、記憶部１０２から動きベクトル探索部１０３へは、画面内平均動きベクトルの代わりにライン毎平均動きベクトルが与えられる点である。テロップ検出部１２０１は、動きベクトル探索部１０３から出力される動きベクトルより、スクロールテロップを検出する。そして、テロップ検出部１２０１は、スクロールテロップを検出すると、スクロールテロップのラインに対応するライン毎平均動きベクトルとして、スクロール方向とスクロール速度とで決定される動きベクトルを設定する。その他のラインについては、静止状態を示す動きベクトルをライン毎平均動きベクトルとして設定する。また、シーン選別部１０１にてシーンが検出された場合には、ライン毎平均動きベクトルとして、一様な画面内平均動きベクトルが設定される。このようにして設定されたライン毎平均動きベクトルが、記憶部１０２を介して動きベクトル探索部１０３内のベクトル中心重み付加部３０５（図３参照）に与えられることにより、より精度の高い重み付けが可能となる。

図１３は、実施形態のフレーム補間装置を利用したフレームレート変換装置の構成例を示している。このフレームレート変換装置は、フレーム補間装置１３０１、遅延器１３０２、及びスイッチ１３０３を備え、入力映像のフレームレートを向上させる。

遅延器１３０２は、連続して入力される映像フレーム１３１１及び１３１２を、一定時間だけ遅延させて出力する。フレーム補間装置１３０１は、現時刻の映像フレーム１３１２と、遅延器１３０２から出力される前の時刻の映像フレーム１３１１から、補間フレーム１３１３を生成する。スイッチ１３０３は、遅延器１３０２から出力される映像フレームと、フレーム補間装置１３０１から出力される補間フレーム１３１３を交互に選択して出力する。これにより、映像フレーム１３１１、補間フレーム１３１３、及び映像フレーム１３１２の順に、それぞれのフレームがフレームレート変換装置から出力される。

図１４は、図１３のフレームレート変換装置を利用した映像再生装置の構成例を示している。この映像再生装置は、映像データ記憶装置１４０１、デコード装置１４０２、フレームレート変換装置１４０３、及びディスプレイ１４０４を備える。デコード装置１４０２は、映像データ記憶装置１４０１に保存された映像データをデコードして、映像フレームを出力する。フレームレート変換装置１４０３は、映像フレーム間に補間フレームを挿入し、ディスプレイ１４０４は、それらのフレームを時系列に画面上に表示する。

図１５は、図１３のフレームレート変換装置を利用した映像表示装置の構成例を示している。この映像表示装置は、映像データ受信機１５０１、フレームレート変換装置１４０３、及びディスプレイ１５０２を備える。映像データ受信機１５０１は、通信ネットワークから映像フレームを受信し、フレームレート変換装置１４０３は、映像フレーム間に補間フレームを挿入し、ディスプレイ１５０２は、それらのフレームを時系列に画面上に表示する。

ところで、フレーム補間装置１３０１及びフレームレート変換装置１４０３の処理をソフトウェアにより実装する場合、図１６に示すような情報処理装置（コンピュータ）が用いられる。図１６の情報処理装置は、ＣＰＵ（中央処理装置）１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、外部記憶装置１６０５、媒体駆動装置１６０６、及びネットワーク接続装置１６０７を備え、それらはバス１６０８により互いに接続されている。

メモリ１６０２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラム及びデータを格納する。ＣＰＵ１６０１は、メモリ１６０２を利用してプログラムを実行することにより、フレーム補間処理及びフレームレート変換処理を行う。

この場合、入力される映像フレームは、処理対象のデータとしてメモリ１６０２に格納され、探索された動きベクトルは、処理結果のデータとしてメモリ１６０２に格納される。また、記憶部１０２は、メモリ１６０２に対応し、シーン選別部１０１、動きベクトル探索部１０３、補間ベクトル生成部１０４、及び補間画像生成部１０５は、メモリ１６０２に格納されたプログラムに対応する。

入力装置１６０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置１６０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。

外部記憶装置１６０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１６０５に、プログラム及びデータを格納しておき、必要に応じて、それらをメモリ１６０２にロードして使用する。

媒体駆動装置１６０６は、可搬記録媒体１６０９を駆動し、その記録内容にアクセスする。可搬記録媒体１６０９は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１６０９にプログラム及びデータを格納しておき、必要に応じて、それらをメモリ１６０２にロードして使用する。

ネットワーク接続装置１６０７は、ＬＡＮ（local area network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、必要に応じて、プログラム及びデータを外部の装置からネットワーク接続装置１６０７を介して受け取り、それらをメモリ１６０２にロードして使用する。

図１７は、図１６の情報処理装置にプログラム及びデータを提供する方法を示している。可搬記録媒体１６０９や外部装置１７０１のデータベースに格納されたプログラム及びデータは、情報処理装置１７０２のメモリ１６０２にロードされる。外部装置１７０１は、そのプログラム及びデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置１７０２に送信する。ＣＰＵ１６０１は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。

フレーム補間装置の実施形態の構成図である。 画面内平均動きベクトルの求め方を示す図である。 動きベクトル探索部の構成図である。 重み付加部の選択動作を示す図である。 映像フレーム間の類似度計算を示す図である。 重み付けの種類を示す図である。 重み値の具体例を示す図である。 ブロック内における各画素の輝度値を示す図である。 類似度値テーブルを示す図である。 補間ベクトルを示す図である。 シーン選別部の構成図である。 フレーム補間装置の他の実施形態の構成図である。 フレームレート変換装置の構成図である。 映像再生装置の構成図である。 映像表示装置の構成図である。 情報処理装置の構成図である。 プログラム及びデータの提供方法を示す図である。 動きの補間を示す図である。 シーン選別型のフレーム補間装置の構成図である。

符号の説明

１０１、１９０１ シーン選別部
１０２ 記憶部
１０３、１９０２、２１０１ 動きベクトル探索部
１０４ 補間ベクトル生成部
１０５、１９０３、２１０３ 補間画像生成部
３０１ 相関計算部
３０２ 静止判定部
３０３ 重み付け選択処理部
３０４ 探索中心重み付加部
３０５ ベクトル中心重み付加部
３０６ 最終選定部
３１１、３１２、１３１１、１３１２、１３１３ 映像フレーム
５０１、５０２、５０３ ブロック
５１１ 参照画像
５１２ 動きベクトル候補
７０１、１１１１、１１１３ 類似度値テーブル
７０２、１１１２、１１１４ 重み値テーブル
８０１ 直線
１００１、１８０２、１３１３ 補間フレーム
１０１１ 動きベクトル
１０１２ ベクトル
１０１３ 補間ベクトル
１１０１ 特徴量計算部
１１０２ シーン検出制御部
１１１１ ばらつき計算部
１１１２ 画面内平均動きベクトル計算部
１２０１ テロップ検出部
１３０１ フレーム補間装置
１３０２ 遅延器
１３０３ スイッチ
１４０１ 映像データ記憶装置
１４０２ デコード装置
１４０３ フレームレート変換装置
１４０４、１５０２ ディスプレイ
１５０１ 静止領域除外部
１５０１ 映像データ受信機
１６０１ ＣＰＵ
１６０２ メモリ
１６０３ 入力装置
１６０４ 出力装置
１６０５ 外部記憶装置
１６０６ 媒体駆動装置
１６０７ ネットワーク接続装置
１６０８ バス
１７０１ 外部装置
１７０２ 情報処理装置
１８０１、１８０３ フレーム
２００１ 大領域
２００２ 中領域
２００３ 小領域
２１０２ 動きベクトルメモリ

Claims (7)

1. 入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間装置であって、
   映像フレーム毎に、画面内の動きベクトルを平均して、画面内平均動きベクトルを計算する画面内平均動きベクトル計算部と、
   映像フレーム毎に、該映像フレーム内の動きが一様であるシーンを検出するシーン検出制御部と、
   現在の映像フレーム内の各ブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算する相関計算部と、
   前記現在の映像フレーム内の各ブロックが静止領域か否かを判定する静止判定部と、
   前記各ブロック内の複数の動きベクトル候補の各相関値に対して、該各ブロックの探索中心から動かない状態を示すものほど選択され易くなるような重み付けを行った上で、前記複数の動きベクトル候補の中から１つの動きベクトル候補を算出する探索中心重み付加部と、
   前記各ブロック内の複数の動きベクトル候補の各相関値に対して、前記画面内平均動きベクトルに近いほど選択され易くなるような重み付けを行った上で、前記複数の動きベクトル候補の中から１つの動きベクトル候補を算出するベクトル中心重み付加部と、
   前記現在の映像フレーム内の各ブロック毎に、前記シーン検出制御部によるシーン検出結果と前記静止判定部による判定結果に基づいて、前記探索中心重み付加部又は前記ベクトル中心重み付加部の何れかを選択し、前記相関計算部が出力する相関値を与える重み付け選択処理部と、
   前記探索中心重み付加部又は前記ベクトル中心重み付加部が算出する動きベクトルを選択して出力する最終選定部と、
   を含むことを特徴とするフレーム補間装置。
2. 前記重み付け選択処理部は、
   前記シーン検出制御部が前記シーンを検出し、かつ前記静止判定部が静止領域を判定していないときに、前記ベクトル中心重み付加部を選択し、
   前記シーン検出制御部が前記シーンを検出していないとき、又は前記静止判定部が静止領域を判定しているときに、前記探索中心重み付加部を選択する、
   ことを特徴とする請求項１に記載のフレーム補間装置。
3. 請求項１又は２のいずれかに記載のフレーム補間装置を備えたフレームレート変換装置。
4. 映像データ記憶装置と請求項３に記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ記憶装置から出力される映像データの補間を行うことで、フレームレートを変換することを特徴とする映像再生装置。
5. 映像データ受信機と請求項３に記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ受信機が受信した映像データの補間を行うことで、フレームレートを変換することを特徴とする映像表示装置。
6. 入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間方法であって、
   映像フレーム毎に、画面内の動きベクトルを平均して、画面内平均動きベクトルを計算する画面内平均動きベクトル計算ステップと、
   映像フレーム毎に、該映像フレーム内の動きが一様であるシーンを検出するシーン検出制御ステップと、
   現在の映像フレーム内の各ブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算する相関計算ステップと、
   前記現在の映像フレーム内の各ブロックが静止領域か否かを判定する静止判定ステップと、
   前記各ブロック内の複数の動きベクトル候補の各相関値に対して、該各ブロックの探索中心から動かない状態を示すものほど選択され易くなるような重み付けを行った上で、前記複数の動きベクトル候補の中から１つの動きベクトル候補を算出する探索中心重み付加ステップと、
   前記各ブロック内の複数の動きベクトル候補の各相関値に対して、前記画面内平均動きベクトルに近いほど選択され易くなるような重み付けを行った上で、前記複数の動きベクトル候補の中から１つの動きベクトル候補を算出するベクトル中心重み付加ステップと、
   前記現在の映像フレーム内の各ブロック毎に、前記シーン検出制御ステップによるシーン検出結果と前記静止判定ステップによる判定結果に基づいて、前記探索中心重み付加ステップ又は前記ベクトル中心重み付加ステップの何れかを選択し、前記相関計算ステップが出力する相関値を与える重み付け選択処理ステップと、
   前記探索中心重み付加ステップ又は前記ベクトル中心重み付加ステップが算出する動きベクトルを選択して出力する最終選定ステップと、
   を含むことを特徴とするフレーム補間方法。
7. 入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間処理を実行するコンピュータに、
   映像フレーム毎に、画面内の動きベクトルを平均して、画面内平均動きベクトルを計算する画面内平均動きベクトル計算ステップと、
   映像フレーム毎に、該映像フレーム内の動きが一様であるシーンを検出するシーン検出制御ステップと、
   現在の映像フレーム内の各ブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算する相関計算ステップと、
   前記現在の映像フレーム内の各ブロックが静止領域か否かを判定する静止判定ステップと、
   前記各ブロック内の複数の動きベクトル候補の各相関値に対して、該各ブロックの探索中心から動かない状態を示すものほど選択され易くなるような重み付けを行った上で、前記複数の動きベクトル候補の中から１つの動きベクトル候補を算出する探索中心重み付加ステップと、
   前記各ブロック内の複数の動きベクトル候補の各相関値に対して、前記画面内平均動きベクトルに近いほど選択され易くなるような重み付けを行った上で、前記複数の動きベクトル候補の中から１つの動きベクトル候補を算出するベクトル中心重み付加ステップと、
   前記現在の映像フレーム内の各ブロック毎に、前記シーン検出制御ステップによるシーン検出結果と前記静止判定ステップによる判定結果に基づいて、前記探索中心重み付加ステップ又は前記ベクトル中心重み付加ステップの何れかを選択し、前記相関計算ステップが出力する相関値を与える重み付け選択処理ステップと、
   前記探索中心重み付加ステップ又は前記ベクトル中心重み付加ステップが算出する動きベクトルを選択して出力する最終選定ステップと、
   を実行させるためのプログラム。