JP2008236402A - 補間画像生成装置及び補間画像生成方法 - Google Patents

Abstract

【課題】 入力動画の画像間の補間画像をより効果的に生成する補間画像生成装置を提供する。
【解決手段】 入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間画像生成装置であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル探索手段と、前記動きベクトル対象画素の前記動きベクトルに対する不一致を判定する一致判定手段と、前記一致判定手段により不一致と判定された画素の対称性を判定し画素毎の動きベクトルを検出する不一致判定手段と、前記検出した動きベクトルと画素毎の動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成手段とを備えたことを特徴とする補間画像生成装置。
【選択図】 図４

Description

本発明は、入力動画の画像間の補間画像を生成する補間画像生成装置及び補間画像生成方法に関する。

近年、陰極管線（以下、ＣＲＴ）の他に液晶ディスプレイ（以下、ＬＣＤ）や様々なディスプレイ上で動画を表示する機会が増えてきている。これらのディスプレイは、その表示方法によって、ホールド型表示装置と、インパルス型表示装置に分けられる。ＬＣＤのようなホールド型表示装置では、表示された動画のあるフレームが１フレーム期間保持されて表示される。そのため、観察者が動体を滑らかに追従しながら観察している場合でも、動体は、フレーム期間毎に不連続に動いていくため、観察者の滑らかな視線の移動と表示されている動体の不連続な動きとのずれにより、動画はぼけて観察者に認識される。これは一般にホールド効果による動画劣化と言われている。

一方、動画は、その用途に応じて様々なフレームレートを有している。一方、ディスプレイもまた様々なフレームレートを有しており、動画のフレームレートは、表示するディスプレイに応じて変換する必要がある。例えば映画は、秒間２４コマ（２４ｆｐｓ）であり、一般に使われる６０Ｈｚのリフレッシュレートを有するディスプレイに表示するためには、２−３プルダウン（pull down）変換が使われる。これは、同じコマを２コマ、３コマと表示することにより単純にフレームレートを変換するものである。しかし、上記のような方法では、動画のコマ数が不十分なため、動きが不自然に不連続となりぎくしゃくした印象を受ける。

上記のような問題を解決するためには、動画の動きに応じた新たな補間フレームを作成し内挿することにより、フレーム数を増やす必要がある。この補間フレームを作成する手段としては、例えばＭＰＥＧ（Motion Picture Experts Group）で用いられているようなブロックマッチングによりブロックの動きベクトルを求め、それを用いて、内挿する補間フレームを作成する方法があり、この補間フレームの作成方法が種々工夫されてきている。

例えば、特許文献１に記載されている方法は、補償フレーム間差分絶対値なるものを画素毎に閾値と比較して、小さい画素の第１領域と大きい画素の第２領域とに分ける。次に第１の領域の画素値と参照ブロック中の対応画素値を平均化して補間フレームを構成する。次に第２の領域のフレームは遮蔽・出現を判定し基準領域が属さないフレームを再探索する。

しかしこの方法は、２種の領域の遮蔽・出現という限定された処理モデルにより再探索を行う方法であり、再探索の回数を増やそうとすると処理ブロック構成が煩雑となり対して効果が逓減するものであるという問題があった。
特開２０００−２２４５９３号公報（９頁、図３）

本発明は、入力動画の画像間の補間画像をより効果的に生成する補間画像生成技術を提供することを目的とする。

上記課題を解決するために、本発明の入力されるフレーム画像を用いて入力フレーム画像間に位置する新たな補間フレームを作成する補間画像生成装置は、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル探索手段と、前記動きベクトル対象画素の前記動きベクトルに対する不一致を判定する一致判定手段と、前記一致判定手段により不一致と判定された画素の対称性を判定し画素毎の動きベクトルを検出する不一致判定手段と、前記検出した動きベクトルと画素毎の動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成手段とを備えたことを特徴とする。

本発明によれば、入力動画の画像間の補間画像をより効果的に生成する補間画像生成技術が得られる。

以下、本発明の実施例を説明する。

本発明による実施例１を図１乃至図５を参照して説明する。図１は、本発明による第１の実施形態の補間画像生成装置１のブロック構成図である。補間画像生成装置１は、フレームメモリ２、動きベクトル探索部３、一致判定部４、不一致判定部５、補間画像作成部６、およびこれらを制御する制御部７とを含む。各部はそれぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。

外部からの映像信号はフレームメモリ２へ入力されるよう構成されている。動きベクトル探索部３は外部からの映像信号とフレームメモリ２に蓄積された映像信号から動きベクトルを検出する機能を持つ。動きベクトル探索部３は、入力画像信号における例えば連続する２フレームから、動きベクトルを後述のブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。動きベクトル探索部３で動きベクトルを検出した場合は、次段の一致判定部４と不一致判定部５による後述の処理を経て、補間フレーム生成部６が検出した動きベクトルで補間フレームを生成するよう構成されている。

図１の動きベクトル探索部３の動きベクトル検出等に関し図２の模式図を参照してまず簡単に説明する。図２では、入力画像が時間方向に対してＮ−１フレーム、Ｎフレーム、Ｎ＋１フレームの順に配列されている。先ず、入力動画（ビデオ画像）のＮフレーム（第1参照フレーム、Ｎは自然数）とＮ＋１フレームとの間の時間的に中間位置に補間フレームＩを生成する例について説明する。これは、例えば３０ｆｐｓの入力動画を６０ｆｐｓの動画に変換する場合もあるが、ここでは６０ｆｐｓの入力動画を１２０ｆｐｓの動画に変換する場合について以下に述べる。

補間画像作成部６は、動きベクトル探索部３の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。

なお、図１の構成に関して、動きベクトル検出範囲外等により動きベクトル検出ができなかった場合は、動きベクトル探索部３から制御部７へ検出ができなかったことを伝達して、制御部７の指示により例えば簡単にはフレームメモリ２の第1参照フレームを外部のＬＣＤ８へ出力することができるよう構成されている。

さてフレーム補間方式としては、例えば、後方探索、前方探索、前後方平均の３種類の方式が考えられるがここでは前方探索を採用している。前方探索とは、Ｎフレーム上の参照ブロックに対し、Ｎ＋１フレーム上で最も相関の高いブロック位置（動きベクトル）を求める方法であり、ＮフレームからＮ＋１フレームへのいわゆるブロックマッチングである。相関の大小の基準となる相関値としては、絶対値差分和（Sum of Absolute Difference： ＳＡＤ）、高相関画素に対応する一致画素数和（Sum of Agreement Pixels： ＳＡＰ）等が考えられる。ＳＡＤは、以下の式により求めることができる。

ここでｘはフレームにおける画素の位置、Ｂはブロック内画素位置の集合、Ｎはフレーム数、ｄは動きベクトルを表し、ｆ（ｘ，Ｎ）は、対象画素の輝度成分を表している。すなわち（１）式においてＳＡＤが最小となるｄがＮフレームからＮ＋１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。また、ＳＡＰは以下の式により求めることができる。

（２）、（３）式は、ブロック内の輝度成分の絶対値差分が閾値Ｔｈより小さい画素数を求めている。すなわち（２）、（３）式においてＳＡＰが最大となるｄがＮフレームからＮ＋１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。

図３はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
ブロックマッチングを用いた動きベクトルの検出方法としては、前フレーム内画像ブロックを後フレーム内で単にシフトしてＳＡＤを求める方法の他に、図３のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法（シンメトリックサーチ）がある。

すなわち図３の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。すなわち画像ブロックどうしが類似しているか否かを、注目画像ブロック探索範囲４０内と各画像ブロック探索範囲４２内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。

互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、この動きベクトル（大きさと方向を含む）は、図３では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。

図４は本実施例の一致判定部４と不一致判定部５に関わるフローチャートである。
まず一致判定部４では動きベクトル探索部３で探索されたベクトルＶ１に対して、過去フレームと現フレームの画素差分値を求め閾値ＴＨＲ＿ＭＦＬ１と比較し（ステップＳ１）、閾値より小さければ一致と判定して不一致フィルタを０に（ステップＳ２）、小さくなければ不一致と判定して不一致フィルタに１を（ステップＳ３）設定する。一致と判定した場合はベクトルをＶ１を割当て（ステップＳ４）、ブロックの全画素の不一致フィルタの作成終了と判定するまで（ステップＳ５）これらの処理を繰返す。

この一致判定において不一致フィルタの作成が終了した後に、不一致対称点の検出と第２候補ベクトルの割当を追加する。図４の下半分の破線で囲った部分である。
不一致判定部５では、不一致フィルタ上の対称な点に不一致点があるか判定し（ステップＳ６）、ある場合は、ベクトルの第２候補であるベクトルＶ２に対して過去フレームと現フレームの画素差分値が閾値ＴＨＲ＿ＭＦＬ２より小さいか判定し（ステップＳ７）小さければ、一致画素と判定して不一致フィルタに０を（ステップＳ８）、ベクトル値をＶ２に（ステップＳ９）設定する。閾値ＴＨＲ＿ＭＦＬ２より小さくなければ不一致フィルタに１を（ステップＳ１０）設定する。ブロックの全画素の不一致フィルタの作成終了と判定するまで（ステップＳ１１）これらの処理を繰返す。

図５は図４のフローチャートによるフレーム補間処理を示す一例である。ベクトル探索部のベクトルがＶ１（ここでは図の見易さのため簡単に＝０とする）、黒色の縦棒のベクトルがＶ２、黒色の縦棒の背景のベクトルがＶ１のときの、不一致フィルタの生成、不一致対称点の検出と第２ベクトル候補の割当、補間画像の生成について示す。

不一致フィルタＦＬＴは、ベクトルＶ１の画素差分値をみることにより図５のようにＦ１，Ｆ２に関して生成される。例えば一致判定部４のハードウエアで出力され制御部７で管理しているマクロブロック上の点で表現され、次には不一致判定部５へと渡される。

不一致対称点の検出は、１０列２行の画素からなるマクロブロック上例えば行方向２画素離れた点で検出する場合、画素[x-1],[x]が不一致対称点を持つ画素として検出され、ベクトル第２候補のベクトルＶ２に対して画素差分値が閾値ＴＨＲ＿ＭＦＬ２より小さければ本来割当てられていたベクトルＶ１を、ベクトルＶ２に割り当てる。ここでは不一致対称点を２画素離れた場所として設定しているが複数個の任意に離れた場所の組合せや、水平以外に、垂直、任意の斜め方向などを設定しても構わない。ベクトルは第３候補以下も、同様にして容易に設定可能である。対称点の探索はシンメトリックサーチと馴染みがよい処理である。

図５のように補間フレームＩの生成時には過去フレームと現フレームの黒い縦棒の間に、ベクトルＶ２で移動した黒い棒ＢＡＲが生成される。
不一致対称点検出とベクトルの第２候補以下の割当を可能にすることにより、本来の動きに近いベクトルにより補間フレームを生成することができる。
一つのマクロブロック内に複数の動きを持つ物体が存在して、ベクトル候補を１つに絞る場合、不適切なベクトルが検出され、補間フレームを生成する可能性がある。従来の回路では一致判定部で一度、一致と判定され誤ったベクトルが割り当てられると、後段の不一致判定部における正しいベクトルへの変更ができなかった。

本実施例では一致判定部において、一度、一致と判定されベクトルＶ１が割当られた場合でも不一致フィルタ上で不一致画素が対称な場所に存在していれば、ベクトルの第２候補Ｖ２に対して画素差分が閾値より小さければ一致でＶ２を割当、閾値より大きければ不一致と再判定することができるよう構成しているので、本来の物体により適切なベクトルで補間フレームを生成できる可能性が高くなる。

効果として一致判定部において、一度一致と判定された場合でも、不一致画素が対称な点に存在している場合には、第２候補のベクトルの割当や、不一致と判定して不一致処理部で処理することができる。よって、本来の物体の動きにより近いベクトルで補間フレームを生成することができる。

動きベクトル探索部３はブロックマッチングなどで動きベクトルを求め、ＳＡＤ値の極小点の最小値をもつベクトルをベクトル第１候補をベクトルＶ１だけでなく、２番目に小さいものをベクトルの第２候補をベクトルＶ２というようにベクトルの候補を複数個出力することもできる。

一致判定部４は、不一致フィルタの生成を行い、不一致判定部５は、不一致フィルタの不一致の画素に対して上下左右のブロックのベクトルに対して画素差分値を取得して最小値を持つブロックのベクトルをベクトルとして割り当てる。補間画像作成部６では求めたベクトルによって補間フレームを生成する。

本実施例では以上のように、ブロックマッチングで求めた第１のベクトル候補に対して、画素差分が閾値以上ならば不一致、閾値未満ならば一致と判定する。不一致と判定され、且つ、不一致フィルタで不一致点が対称ならば、第２のベクトル候補に対して画素差分値が閾値より小さければ、第２のベクトル候補を割り当てる。

なお、この発明は上記実施例に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この発明の一実施例を示すブロック構成図。 同実施例の補間処理を説明するための図。 同実施例のブロックマッチング処理を説明するための図。 同実施例のフレーム補間処理を示すフローチャート。 同実施例のフレーム補間処理を説明するための図。

符号の説明

１…補間画像生成装置、２…フレームメモリ、３…動きベクトル探索部、４…一致判定部、５…不一致判定部、６…補間画像作成部、７…制御部、８…ＬＣＤ。

Claims (4)

1. 入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間画像生成装置であって、
   前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル探索手段と、
   前記動きベクトル対象画素の前記動きベクトルに対する不一致を判定する一致判定手段と、
   前記一致判定手段により不一致と判定された画素の対称性を判定し画素毎の動きベクトルを検出する不一致判定手段と、
   前記検出した動きベクトルと画素毎の動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成手段とを
   備えたことを特徴とする補間画像生成装置。
2. 前記一致判定手段は、画素値どうしの差分絶対値を算出し、該差分絶対値が所定の閾値以上ならば不一致と判定し、この閾値未満なら一致と判定し前記ブロックマッチング処理による動きベクトルを該画素に割当てることを特徴とする請求項１記載の補間画像生成装置。
3. 前記不一致判定手段は、画素値どうしの差分絶対値を算出し、該差分絶対値が所定の閾値以上ならば不一致と判定しこの閾値未満なら一致と判定することを特徴とする請求項１記載の補間画像生成装置。
4. 入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間画像生成方法であって、
   前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル探索工程と、
   前記動きベクトル対象画素の前記動きベクトルに対する不一致を判定する一致判定工程と、
   前記一致判定工程において不一致と判定された画素の対称性を判定し画素毎の動きベクトルを検出する不一致判定工程と、
   前記検出した動きベクトルと画素毎の動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成工程とを
   有することを特徴とする補間画像生成方法。

Images