JP2008011439A - 補間画像生成装置 - Google Patents

Abstract

【課題】 入力動画の画像間の補間画像をより効果的に生成する補間画像生成装置を提供する。
【解決手段】 第１の画像を保持するフレームメモリと、前記フレームメモリに保持された第１の画像から動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部から出力された動きベクトル値を保持し出力する保持出力部と、前記保持出力部の出力または動きベクトル検出部の出力から補間フレームを作成する補間フレーム作成部とを備えたことを特徴とする補間画像生成装置。
【選択図】 図１

Description

本発明は、入力動画の画像間の補間画像を生成する補間画像生成装置に関する。

近年、陰極管線（以下、ＣＲＴ）の他に液晶ディスプレイ（以下、ＬＣＤ）や様々なディスプレイ上で動画を表示する機会が増えてきている。これらのディスプレイは、その表示方法によって、ホールド型表示装置と、インパルス型表示装置に分けられる。ＬＣＤのようなホールド型表示装置では、表示された動画のあるフレームが１フレーム期間保持されて表示される。そのため、観察者が動体を滑らかに追従しながら観察している場合でも、動体は、フレーム期間毎に不連続に動いていくため、観察者の滑らかな視線の移動と表示されている動体の不連続な動きとのずれにより、動画はぼけて観察者に認識される。これは一般にホールド効果による動画劣化と言われている。

一方、動画は、その用途に応じて様々なフレームレートを有している。一方、ディスプレイもまた様々なフレームレートを有しており、動画のフレームレートは、表示するディスプレイに応じて変換する必要がある。例えば映画は、秒間２４コマ（２４ｆｐｓ）であり、一般に使われる６０Ｈｚのリフレッシュレートを有するディスプレイに表示するためには、２−３プルダウン（pull down）変換が使われる。これは、同じコマを２コマ、３コマと表示することにより単純にフレームレートを変換するものである。しかし、上記のような方法では、動画のコマ数が不十分なため、動きが不自然に不連続となりぎくしゃくした印象を受ける。

上記のような問題を解決するためには、動画の動きに応じた新たな補間フレームを作成し内挿することにより、フレーム数を増やす必要がある。この補間フレームを作成する手段としては、例えばＭＰＥＧ（Motion Picture Experts Group）で用いられているようなブロックマッチングによりブロックの動きベクトルを求め、それを用いて、内挿する補間フレームを作成する方法、また、ブロックを基準とした動きベクトル探索の後に、更に動きベクトル探索が探索範囲外に出る場合の補正処理に関し、探索範囲内の動きに制限する方法等がある（特許文献１参照）。しかしこの方法においては、ブロックマッチング演算部１１により求められた動きという記載があるが、ブロックマッチング演算部１１の求める動きに関しては明確に記されておらず効果程度については疑問であった。
特開２００３−３０９８２２号公報

本発明は、入力動画の画像間の補間画像をより効果的に生成する補間画像生成装置を提供することを目的とする。

上記課題を解決するために、第１の画像を保持するフレームメモリと、前記フレームメモリに保持された第１の画像から動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部から出力された動きベクトル値を保持し出力する保持出力部と、前記保持出力部の出力または動きベクトル検出部の出力から補間フレームを作成する補間フレーム作成部とを備えたことを特徴とする。

本発明によれば、入力動画の画像間の補間画像をより効果的に生成する補間画像生成装置が得られる。

以下、本発明の実施例を説明する。

本発明による実施例１を図１乃至図１０を参照して説明する。図１は、本発明による第１の実施形態の補間画像生成装置１のブロック構成図である。外部からの映像信号はフレームメモリ２へ入力されるよう構成されている。動きベクトル検出部３はフレームメモリ２に蓄積された映像信号から動きベクトル検出する機能を持つ。動きベクトル検出部３で動きベクトルを検出した場合は、補間フレーム生成部４が検出した動きベクトルで補間フレームを生成するよう構成されている。動きベクトル検出範囲外により動きベクトル検出ができなかった場合は、動きベクトル検出部３から制御部５へ伝達して、フレームメモリ２の第1参照フレームを出力することができるよう構成されている。過去フレームの動きベクトル値保持部６は過去フレームの動きベクトルの値を保持し出力する機能を有している。制御部５がフレームメモリ２の第1参照フレームまたは補間フレーム生成部4の出力を切替えて補間画像生成装置１の外部のＬＣＤ８へ出力するようスイッチ７を制御するように構成されている。

図２は、動きベクトル検出部３のブロック回路例である。
この補間フレーム生成装置によると、フレームメモリ２から読み出される入力動画は複数の動き推定部、例えば３つの動き推定部１１，１２，１３の入力ポートに入力されるよう構成されている。動き推定部１１，１２，１３の出力ポートは補間方式選択部１４の入力ポートに接続されている。補間方式選択部１４の出力ポートは補間フレーム作成部４の入力ポートに接続されていると共に過去フレームの動きベクトル値保持部５の入力ポートにも接続されている。補間方式選択部１４の出力ポートから以下に述べる動きベクトルが出力されるよう構成されている。

図２の動きベクトル検出部の動きベクトル作成方法を図３の模式図を参照して説明する。図３では、入力画像が時間方向に対してＮ−１フレーム、Ｎフレーム、Ｎ＋１フレームの順に配列されている。先ず、入力動画（ビデオ画像）のＮフレーム（Ｎは自然数）とＮ＋１フレームとの間の時間的に中間位置に補間フレームＩを生成する例について説明する。これは、例えば３０ｆｐｓの入力動画を６０ｆｐｓの動画に変換する場合や、６０ｆｐｓの入力動画を１２０ｆｐｓの動画に変換する場合である。

入力動画は、複数の異なる動き推定部１１，１２，１３に入力される。図２は、入力動画が３種類の動き推定部１１，１２，１３に入力される構成を示しているが、動き推定部の数は、特に３個に限定されるものではない。動き推定部１１，１２，１３は、それぞれのフレーム補間アルゴリズムにより、Ｎフレームを補間フレーム位置とした場合の候補補間フレームを生成する。なお、補間フレーム位置は、最終的に求める補間フレームＩの前後のフレームであれば良く、Ｎ＋１フレームでも構わない。

生成された複数の候補補間フレームは、補間方式選択部１４に入力される。補間方式選択部１４は、入力された候補補間フレームとこの候補補間フレームを生成するために用いられた入力フレーム（以下、参照フレーム）との相関を求め、画素毎にフレーム補間方式を選択する（本実施形態では、Ｎフレームが参照フレームである）。動き補償部１５は、得られたブロック毎又は画素毎のフレーム補間方式に基づき補間フレームＩを生成する。

図４のフローチャートを参照して補間フレーム生成方法を説明する。このフローチャートはＮフレームを参照フレームとして、ＮフレームとＮ＋１フレーム間の補間フレームＩを生成する場合を示している。入力フレームは、ステップＳ１１において、まず複数の画素により構成されるブロック（参照ブロック：ＢＲ（ｉ）、ｉはブロック番号）に分割される。ブロックはどのような形でも良いが、例えば、垂直画素数、水平画素数がそれぞれ１６画素の正方形の領域である。

ステップＳ１２では、それぞれの参照ブロック位置における候補補間ブロック（ＢＩ（ｉ、ｎ）、ｎは動き推定番号）を作成する。ステップＳ１３では、全ての動き推定を行ったかが判定される。この判定がＮＯであると、ステップＳ１４で動き推定番号ｎが１つインクリメントされ、ステップＳ１２に処理が戻る。判定がＹＥＳであると、ステップ１５において、参照ブロックＢＲ（ｉ）と候補補間ブロックＢＩ（ｉ、ｎ）の相関演算を行い、得られた相関値より、参照ブロックＢＲ（ｉ）の画素毎のフレーム補間方式をステップＳ１２で行った動き推定方法より選択する。

ステップＳ１６において、参照ブロックＢＲ（ｉ）の画素毎のフレーム補間方式に基づいて補間フレームＩの動き補償を行う。この後、ステップＳ１７で全てのブロックの動き推定が行われたかが判定され、この判定がＮＯであると、ブロック番号が１つインクリメントされ、処理はステップＳ１２に戻る。判定がＹＥＳであると、処理は終了し、入力フレーム全体に対する補間フレームを出力する。

次に、図２の各部について説明する。複数の動き推定部１１，１２，１３では、それぞれのフレーム補間方式を用いて、Ｎフレーム位置に入力動画の補間フレームを生成する。フレーム補間方式としては様々な構成が考えられるが、例えば、後方探索、前方探索、前後方平均の３種類の方式を採用している。後方探索とは、図５に示すように、Ｎフレーム上の参照ブロックに対し、Ｎ−１フレーム上で最も相関の高いブロック位置（動きベクトル）を求める方法であり、ＮフレームからＮ−１フレームへのいわゆるブロックマッチングである。相関の大小の基準となる相関値としては、絶対値差分和（Sum of Absolute Difference： ＳＡＤ）、高相関画素に対応する一致画素数和（Sum of Agreement Pixels： ＳＡＰ）等が考えられる。ＳＡＤは、以下の式により求めることができる。

ここでｘはフレームにおける画素の位置、Ｂはブロック内画素位置の集合、Ｎはフレーム数、ｄは動きベクトルを表し、ｆ（ｘ，Ｎ）は、対象画素の輝度成分を表している。すなわち（１）式においてＳＡＤが最小となるｄがＮフレームからＮ−１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。また、ＳＡＰは以下の式により求めることができる。

（２）、（３）式は、ブロック内の輝度成分の絶対値差分が閾値Ｔｈより小さい画素数を求めている。すなわち（２）、（３）式においてＳＡＰが最大となるｄがＮフレームからＮ−１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。

前方探索とは、基本的な探索方法は、後方探索と同様であるが、図６に示すように、ＮフレームからＮ＋１フレームを探索し、ブロック間の相関の高い動きベクトルを求める探索方法である。

前後方平均とは、図７に示すように、参照ブロックと同じ位置のＮ−１フレームとＮ＋１フレームの平均を求める方法である。得られた平均ブロックが候補補間ブロックとなる。

補間方式選択ステップＳ１５では、動き推定ステップＳ１２で得られた各候補補間ブロックと参照ブロックの相関演算を行い、参照ブロック位置における各画素のフレーム補間方式を、動き推定ステップＳ１２においていずれかにするかが選択される。フレーム補間のための動きベクトルの選択方法としては、例えば、各候補補間ブロックと参照ブロックとの画素毎の絶対値差分を求め、絶対値差分が最も値の小さい方法が選択される。動き補償ステップＳ１６では、補間方式選択ステップＳ１５で求めた補間方式選択ブロック及び動きベクトルに基づき動き補償を行う。

図８は、本実施例のフローチャートである。以下、前方探索のイメージで説明するが先に挙げた３種類の方式のうちの他の２方式でも同様である。映像信号をフレームメモリ２へ入力し動きベクトル検出部３はフレームメモリ２に蓄積された映像信号から動きベクトルを検出する（ステップＳ２１）。次の制御部５での判定（ステップＳ２２）において動きベクトル検出部３で動きベクトルを検出できなかったと判定された場合は続いて、次に述べる過去フレームの動きベクトルは似たベクトル値で連続かの判定（ステップＳ２３）を制御部５は行う。ステップＳ２２で動きベクトルを検出できた場合は、検出した動きベクトルにより補間フレームを作成、出力する（ステップＳ２４）。また、ステップＳ２３で過去フレームの動きベクトルは似たベクトル値で連続と判定できなかった場合は、第１参照フレームの動きベクトルを使い、補間フレームを生成、出力する（ステップＳ２５）。ステップＳ２３で過去フレームの動きベクトルは似たベクトル値で連続と判定できた場合は、動きベクトル検出不可能直前の過去の補間フレームの動きベクトルを、現補間フレームの動きベクトルとして補間フレームを生成、出力する（ステップＳ２６）。

図９は、2次元ベクトル平面における動きベクトルの検出範囲を示す図である。
過去の補間フレームのベクトル値の保持方法について説明する。例えば、過去の補間フレームのベクトル値の保持する個数はいくつであってもよい。例えば、予め動き検出範囲のベクトルをいくつかのグループに分けておき、同じグループに存在するベクトル（図９のベクトルＡ，Ｂ，Ｃ）の数を保持しておく。グループとはベクトルが近いもので、また複数グループあるものとする。例えば、図９においてはベクトル検出範囲を垂直、水平各６区分した６×６の直方体の範囲を夫々グループとしている。

新たな動きベクトルが検出不可能の場合（図９のベクトルＤ）は、過去の補間フレームのベクトルが近傍（例えば（４）式による）のベクトルにある一定値（今の例では３以下）以上存在する（過去フレームの動きベクトルは似たベクトル値で連続との判定の例）場合は検出不可能になったベクトルＤの代わりに、補間フレームの直前の補間フレームのベクトル（ベクトルＣ）を用いて補間フレームを作成する。

図１０は、画像表示における動きベクトルと補間フレームのイメージ比較例である。
従来例相当（ａ）では、補間フレームCF_2において、動き検出範囲以上の速い速度で動くものに対して動きベクトル検出が不可能な場合、過去の補間フレームCF_1で検出した動きベクトルVb_1をゼロの動きベクトルとしていた。

本実施例（ｂ）では、補間フレームCF_2において、動き検出範囲以上の速い速度で動くものに対して動きベクトル検出が不可能な場合、過去の補間フレームCF_1で検出した動きベクトルVb_1をVb_2の動きベクトルとする。

実際の物体の動き（ｃ）の補間フレームCF_2と比較すると、従来例よりも本提案の動きベクトル値のほうがより近いベクトル値を取得できていることがわかる。
本実施例では過去の動きベクトルを監視しておき、ある領域において動きベクトルの検出範囲外により動きベクトルを検出できなかった場合は、この領域の検出不可能になる直前の動きベクトルを補間フレームの動きベクトルとして採用する。こうすることにより、実際の動きに近いベクトルになるので、従来に比べてより滑らかな動画を出力することができる。

本発明による実施例２を図１乃至図７及び図１１、図１２を参照して説明する。実施例１と共通する部分は説明を省略する。
ある領域において動きベクトル検出が検出範囲外でできない場合、この領域の周囲のブロックの過去の補間フレームのベクトルで自分の方向に向いている動きベクトルを現補間フレームの動きベクトルとする。

図１１は、本実施例のフローチャートである。映像信号をフレームメモリ２へ入力し動きベクトル検出部３はフレームメモリ２に蓄積された映像信号から動きベクトルを検出する（ステップＳ３１）。次の制御部５での判定（ステップＳ３２）において動きベクトル検出部３で動きベクトルを検出できなかったと判定された場合は続いて、次に述べる直前の過去の補間フレームの中に現ブロックの上下左右に自分の方向に向いているベクトルがあるかの判定（ステップＳ３３）を制御部５は行う。ステップＳ３２で動きベクトルを検出できた場合は、検出した動きベクトルにより補間フレームを作成、出力する（ステップＳ３４）。また、ステップＳ３３で直前の過去の補間フレームの中に現ブロックの上下左右に自分の方向に向いているベクトルがあると判定できなかった場合は、第１参照フレームの動きベクトルを使い、補間フレームを生成、出力する（ステップＳ３５）。ステップＳ３３で過去フレームの動きベクトルは似たベクトル値で連続と判定できた場合は、動きベクトル検出不可能直前の上下左右に位置するブロックの動きベクトルを現ブロックの現補間フレームの動きベクトルとして補間フレームを生成、出力する（ステップＳ３６）。

例えば前記領域の上下左右の８領域の動きベクトルのうち自分の方向に向いているもののなかから最も前記領域の中心に近いと予測されるものを選定する。
図１２は、処理イメージの例である。実施例１の図１０と比較すると、現ブロックの隣接ブロックの情報を用いていることが異なる。
補間フレーム生成部が検出した動きベクトルで補間フレームを生成する。動きベクトル検出範囲外で動きベクトル検出できなかった場合は、動きベクトル検出部から制御部へ伝達して、フレームメモリの第1参照フレームを出力する。しかし、第1参照フレームを出力すると動きベクトルが０になるため、実際の動きと異なるため、実際の動きに近い滑らかな動画を出力することができない。

本提案により、動きベクトルが検出できない場合においても、実際の動きに近い動きベクトル補間フレームを作成することが可能となる。
過去フレームの動きベクトルを保持しておくことにより、動きベクトル範囲外の動きに対してもより実際の動きに近い値で補間フレームを生成することが可能となる。

なお、この発明は上記実施例に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この発明の一実施例を示すブロック構成図。 同実施例の一部の詳細を示すブロック回路例。 同実施例の補間処理を説明するための図。 フレーム補間処理を示すフローチャート。 高相関ブロック位置を求める方法を説明する図１。 高相関ブロック位置を求める方法を説明する図２。 高相関ブロック位置を求める方法を説明する図３。 同実施例に用いられる処理フローチャート。 同実施例の動きベクトルの検出範囲を示す図。 同実施例の画像表示における動きベクトルと補間フレームのイメージ比較例。 他の実施例に用いられる処理フローチャート。 同実施例の画像表示における動きベクトルと補間フレームのイメージ比較例。

符号の説明

１…補間画像生成装置、２…フレームメモリ、３…動きベクトル検出部、４…補間フレーム作成部、５…制御部、６…過去フレームの動きベクトル値保持部、７…スイッチ、８…ＬＣＤ。

Claims (4)

1. 入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成装置において、
   前記第１の画像を保持するフレームメモリと、
   前記フレームメモリに保持された第１の画像から動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部から出力された動きベクトル値を保持し出力する保持出力部と、
   前記保持出力部に保持されている過去の動きベクトル若しくは前記動きベクトル検出部の出力の何れか一方を選択し選択された動きベクトルを用いて補間フレームを作成する補間フレーム作成部とを
   備えたことを特徴とする補間画像生成装置。
2. 前記補間フレーム作成部は前記動きベクトル検出部の動きベクトル検出ができない場合に前記保持出力部の出力を用いて補間フレーム作成を行うことを特徴とする請求項１記載の補間画像生成装置。
3. 前記保持出力部は動きベクトル検出不可能直前の過去の補間フレームの動きベクトルを出力することを特徴とする請求項２記載の補間画像生成装置。
4. 前記保持出力部は動きベクトル検出不可能直前の当該ブロックの上下左右に位置するブロックの動きベクトルを出力することを特徴とする請求項２記載の補間画像生成装置。

Images