JP2005191969A

JP2005191969A - 補間画像生成方法および装置

Info

Publication number: JP2005191969A
Application number: JP2003431434A
Authority: JP
Inventors: Masahiro Baba; 雅裕馬場; Sunao Mishima; 直三島; Takeshi Ito; 伊藤　　剛
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-12-25
Filing date: 2003-12-25
Publication date: 2005-07-14
Anticipated expiration: 2023-12-25
Also published as: JP4354799B2

Abstract

【課題】ブロック歪の抑制された補間フレームの作成方法を提供する。
【解決手段】入力動画の第１のフレームと第２のフレームの間の補間フレームを生成する補間フレーム生成方法において、第１フレームを複数の画素により構成される複数の参照領域に分割するステップＳ１１と、各参照領域の位置に異なる補間方式で補間を行って補間方式にそれぞれ対応する複数の候補補間領域を生成するステップＳ１２と、各候補補間領域と参照領域との相関を求めるステップＳ１５と、相関に基づき、参照領域内の画素毎に異なる補間方式のうちの１つを選択するステップＳ１５と、画素毎に選択された補間方式に基づいて第１のフレームと第２のフレームの間の補間フレームを生成するステップとを含む。
【選択図】図３

Description

本発明は、入力動画の画像間の補間画像を生成する補間画像生成方法および装置に関する。

近年、冷陰極管線（以下、ＣＲＴ）や液晶ディスプレイ（以下、ＬＣＤ）、有機エレクトロルミネッセンスディスプレイ（以下、ＥＬディスプレイ）と様々なディスプレイ上で動画を表示する機会が増えてきている。これらのディスプレイは、その表示方法によって、ホールド型表示装置と、インパルス型表示装置に分けられる。ＬＣＤやＥＬディスプレイのようなホールド型表示装置では、表示された動画のあるフレームが１フレーム期間保持されて表示される。そのため、観察者が動体を滑らかに追従しながら観察している場合でも、動体は、フレーム期間毎に不連続に動いていくため、観察者の滑らかな視線の移動と表示されている動体の不連続な動きとのずれにより、動画はぼけて観察者に認識される。これは一般にホールド効果による動画劣化と言われている。

一方、動画は、その用途に応じて様々なフレームレートを有している。一方、ディスプレイもまた様々なフレームレートを有しており、動画のフレームレートは、表示するディスプレイに応じて変換する必要がある。例えば映画は、秒間２４コマ（２４ｆｐｓ）であり、一般に使われる６０Ｈｚのリフレッシュレートを有するディスプレイに表示するためには、２−３プルダウン（pull down）変換が使われる。これは、同じコマを２コマ、３コマと表示することにより単純にフレームレートを変換するものである。しかし、上記のような方法では、動画のコマ数が不十分なため、動きが不自然に不連続となりぎくしゃくした印象を受ける。

上記のような問題を解決するためには、動画の動きに応じた新たな補間フレームを作成し内挿することにより、フレーム数を増やす必要がある。この補間フレームを作成する手段としては、例えばＭＰＥＧ（Motion Picture Experts Group）で用いられているようなブロックマッチングによりブロックの動きベクトルを求め、それを用いて、内挿する補間フレームを作成する方法、また、ブロックを基準とした動きベクトル探索の後に、更に画素レベルでブロック基準の動きベクトル周辺を探索することにより、より細かい動きに対応できる方法等がある（特許文献参照）。
特開平１１−１１２９４０号

しかし、例えばＭＰＥＧで用いられている動き推定では、ブロックを基準として動きベクトルを探索しているため、作成された補間フレームにブロック歪が発生する。また、画素レベルの探索を用いた方法においても、ブロックを基準として得られた動きベクトル周辺を画素レベルで探索するために、ブロック内部に複数の動きが含まれている場合には、十分に正しい動きベクトルを探索することが困難となる。

本発明は上記課題に鑑みてなされたものであり、ブロック内部の複数の動きにも対応可能であり、ブロック歪の抑制された補間画像の作成方法を提供する。

本発明の一局面は、入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成方法において、前記第１画像を複数の画素により構成される複数の参照領域に分割するステップと、前記各参照領域の位置に異なる補間方式で補間を行って前記補間方式にそれぞれ対応する複数の候補補間領域を生成するステップと、前記各候補補間領域と前記参照領域との相関を求めるステップと、前記相関に基づき、前記参照領域内の画素毎に異なる補間方式のうちの１つを選択するステップと、画素毎に選択された補間方式に基づいて前記第１の画像と前記第２の画像の間の補間画像を生成するステップとを備えたことを特徴とする補間画像生成方法を提供する。

本発明の他の局面は、入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成装置において、前記第１画像を複数の画素により構成される複数の参照領域に分割する分割部と、前記各参照領域の位置に異なる補間方式で補間を行って前記補間方式にそれぞれ対応する複数の候補補間領域を生成する候補生成部と、前記各候補補間領域と前記参照領域との相関を求める相関部と、前記相関に基づき、前記参照領域内の画素毎に異なる補間方式のうちの１つを選択する選択部と、選択された補間方式に基づいて前記第１の画像と前記第２の画像の間の補間画像を生成する補間画像生成部とを備えたことを特徴とする補間画像生成装置を提供する。

本発明によれば、ブロック歪の抑制された補間画像を求めることが可能となる。

（第１の実施形態）
以下、図面を参照して本発明の第１の実施形態の補間画像生成装置に関する画像補間方式、例えばフレーム補間方式について説明する。

図１に本発明による第１の実施形態のフレーム補間方式を実施する補間フレーム生成装置のブロック回路を示す。この補間フレーム生成装置によると、フレームメモリ（図示せず）から読み出される入力動画は複数の動き推定部、例えば３つの動き推定部１１，１２，１３の入力ポートに入力される。動き推定部１１，１２，１３の出力ポートは補間方式選択部１４の入力ポートに接続される。補間方式選択部１４の出力ポートは動き補償部１５の入力ポートに接続される。動き補償部１５の出力ポートから補間フレームが出力される。

図１の補間フレーム生成装置を用いた補間方法を図２を参照して説明する。図２では、入力画像が時間方向に対してＮ−１フレーム、Ｎフレーム、Ｎ＋１フレームの順に配列されている。先ず、入力動画（ビデオ画像）のＮフレーム（Ｎは自然数）とＮ＋１フレームとの間の時間的に中間位置に補間フレームＩを生成する例について説明する。これは、例えば３０ｆｐｓの入力動画を６０ｆｐｓの動画に変換する場合や、６０ｆｐｓの入力動画を１２０ｆｐｓの動画に変換する場合である。

入力動画は、複数の異なる動き推定部１１，１２，１３に入力される。図１は、入力動画が３種類の動き推定部１１，１２，１３に入力される構成を示しているが、動き推定部の数は、特に３個に限定されるものではない。動き推定部１１，１２，１３は、それぞれのフレーム補間アルゴリズムにより、Ｎフレームを補間フレーム位置とした場合の候補補間フレームを生成する。なお、補間フレーム位置は、最終的に求める補間フレームＩの前後のフレームであれば良く、Ｎ＋１フレームでも構わない。

生成された複数の候補補間フレームは、補間方式選択部１４に入力される。補間方式選択部１４は、入力された候補補間フレームとこの候補補間フレームを生成するために用いられた入力フレーム（以下、参照フレーム）との相関を求め、画素毎にフレーム補間方式を選択する（本実施形態では、Ｎフレームが参照フレームである）。動き補償部１５は、得られた画素毎のフレーム補間方式に基づき補間フレームＩを生成する。

図３のフローチャートを参照して補間フレーム生成方法を説明する。このフローチャートはＮフレームを参照フレームとして、ＮフレームとＮ＋１フレーム間の補間フレームＩを生成する場合を示している。入力フレームは、ステップＳ１１において、まず複数の画素により構成されるブロック（参照ブロック：Ｂ_Ｒ（ｉ）、ｉはブロック番号）に分割される。ブロックはどのような形でも良いが、本実施形態では、垂直画素数、水平画素数がそれぞれ１６画素の正方形の領域とした。

ステップＳ１２では、それぞれの参照ブロック位置における候補補間ブロック（Ｂ_Ｉ（ｉ、ｎ）、ｎは動き推定番号）を作成する。ステップＳ１３では、全ての動き推定を行ったかが判定される。この判定がＮＯであると、ステップＳ１４で動き推定番号ｎが１つインクリメントされ、ステップＳ１２に処理が戻る。判定がＹＥＳであると、ステップ１５において、参照ブロックＢ_Ｒ（ｉ）と候補補間ブロックＢ_Ｉ（ｉ、ｎ）の相関演算を行い、得られた相関値より、参照ブロックＢ_Ｒ（ｉ）の画素毎のフレーム補間方式をステップＳ１２で行った動き推定方法より選択する。

ステップＳ１６において、参照ブロックＢ_Ｒ（ｉ）の画素毎のフレーム補間方式に基づいて補間フレームＩの動き補償を行う。この後、ステップＳ１７で全てのブロックの動き推定が行われたかが判定され、この判定がＮＯであると、ブロック番号が１つインクリメントされ、処理はステップＳ１２に戻る。判定がＹＥＳであると、処理は終了し、入力フレーム全体に対する補間フレームを出力する。

次に、図１の各部について詳細に説明する。

複数の動き推定部１１，１２，１３では、それぞれのフレーム補間方式を用いて、Ｎフレーム位置に入力動画の補間フレームを生成する。フレーム補間方式としては様々な構成が考えられるが、本実施形態においては、後方探索、前方探索、前後方平均の３種類の方式を採用している。後方探索とは、図４に示すように、Ｎフレーム上の参照ブロックに対し、Ｎ−１フレーム上で最も相関の高いブロック位置（動きベクトル）を求める方法であり、ＮフレームからＮ−１フレームへのいわゆるブロックマッチングである。相関の大小の基準となる相関値としては、絶対値差分和（Sum of Absolute Difference：ＳＡＤ）、高相関画素に対応する一致画素数和（Sum of Agreement Pixels：ＳＡＰ）等が考えられる。ＳＡＤは、以下の式により求めることができる。

ここでｘはフレームにおける画素の位置、Ｂはブロック内画素位置の集合、Ｎはフレーム数、ｄは動きベクトルを表し、ｆ（ｘ，Ｎ）は、対象画素の輝度成分を表している。すなわち（１）式においてＳＡＤが最小となるｄがＮフレームからＮ−１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。また、ＳＡＰは以下の式により求めることができる。

（２）、（３）式は、ブロック内の輝度成分の絶対値差分が閾値Ｔｈより小さい画素数を求めている。すなわち（２）、（３）式においてＳＡＰが最大となるｄがＮフレームからＮ−１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。

前方探索とは、基本的な探索方法は、後方探索と同様であるが、図５に示すように、ＮフレームからＮ＋１フレームを探索し、ブロック間の相関の高い動きベクトルを求める探索方法である。

前後方平均とは、図６に示すように、参照ブロックと同じ位置のＮ−１フレームとＮ＋１フレームの平均を求める方法である。得られた平均ブロックが候補補間ブロックとなる。この方法は、静止画に対して有効な手段である。

補間方式選択ステップＳ１５では、動き推定ステップＳ１２で得られた各候補補間ブロックと参照ブロックの相関演算を行い、参照ブロック位置における各画素のフレーム補間方式を、動き推定ステップＳ１２においていずれかにするかが選択される。フレーム補間方式の選択方法としては、例えば、各候補補間ブロックと参照ブロックとの画素毎の絶対値差分を求め、絶対値差分が最も値の小さい方式がその画素のフレーム補間方式として選択される。例えば、図７に示すように参照ブロックと候補補間ブロックとの絶対値差分演算を各画素について行い、差分ブロックを求める。次に各画素の差分値の比較を行い、最も差分が小さい補間方式を、その画素の補間方式として選択し、最終的に補間方式選択ブロックを求める。即ち、図７において、後方探索、前方探索、前後方平均の補間方式でそれぞれ得られた候補補間ブロック１，２，３と参照ブロックとが画素毎に画素値が比較される。後方探索の候補補間ブロック１に対応する差分ブロックでは、中央部に差分ゼロが集中し、この部分の相関が高いことを示している。前方探索の候補補間ブロック２に対応する差分ブロックでは、上部に差分ゼロが集中し、この上部の相関が高いことを示している。前後方平均の候補補間ブロック３に対応する差分ブロックでは、下部に差分ゼロが集中し、この下部の相関が高いことを示している。このことから、それぞれの部分に応じて最適な補間方式が選択される。これにより、全体的に相関の高い（差分ゼロの）補間ブロックが生成される。

動き補償ステップＳ１６では、補間方式選択ステップＳ１５で求めた補間方式選択ブロック及び動きベクトルに基づき動き補償を行う。動き補償方式としては様々に考えられるが、本実施形態においては、動きベクトルに従い、対象領域を補間フレーム上に貼り付ける方式とした。動き補償方式を以下に詳細に説明する。

上記補間方式選択ステップＳ１５で求めた補間方式選択ブロックに従い、参照ブロックを各補間方式の領域に分割する。本実施形態では、後方探索領域、前方探索領域、前後方平均領域に分割される。このうち、後方探索領域、前方探索領域については、それぞれの動きベクトルがＮフレームからＮ−１フレーム及びＮフレームからＮ＋１フレームとして求められているため、スケール変換を行う。

後方探索領域については、図８に示すように、ＮフレームからＮ−１フレームへの動きベクトルとして求められているため、動きベクトルの向きを反転し、またＮフレームからＮ＋０．５フレーム（補間フレーム）への動きベクトルとするため、大きさを１／２にする。後方探索時の動きベクトルをＭＶ_Ｐ、動き補償の動きベクトルをＭＶ_ＩＰとすると、ＭＶ_ＩＰは以下の式で表される。

前方探索領域については、図９に示すようにＮフレームからＮ＋１フレームへの動きベクトルとして求められているため、ＮフレームからＮ＋０．５フレーム（補間フレーム）への動きベクトルとするため、大きさを１／２にする。後方探索時の動きベクトルをＭＶ_Ｆ、動き補償の動きベクトルをＭＶ_ＩＦとすると、ＭＶ_ＩＦは以下の式で表される。

上記のように、各動きベクトルをスケール変換し動き補償の動きベクトルを求めた後、参照ブロック上の画素を動きベクトルに従い補間フレーム上に貼り付ける。Ｎフレームの位置Ｘの画素をＰ（Ｘ，Ｎ）、後方探索領域をＢ_Ｐ、前方探索領域をＢ_Ｆ、前後方平均領域をＢ_Ａとすると、各領域は、補間フレームＰ（Ｘ，Ｎ＋０．５）上に、以下の式に従い貼り付けられる。

なお、上記は、Ｎフレーム上の画素を補間フレーム上に貼り付ける構成であるが、動きベクトルが指し示すＮ＋１フレーム上の画素を補間フレーム上に貼り付ける構成でもよく、この場合は、以下の式に従って貼り付けられる。

このように貼り付けを行った場合、貼り付けた領域同士が重なったり、貼り付けた領域間に隙間が発生したりする恐れがあるが、重なった領域は、重なった領域の平均もしくは、後から重ねられた領域が常に上書きする構成とすればよく、隙間領域に関しては、動きが割り当てられなかった領域と考えることができるため、Ｎフレームの対象位置画素を貼り付ければよい。

上記のような領域の重なりや隙間の発生しない貼り付け方法としては、動きベクトルの始点を固定し、終点を１／２位置に変換したＮ＋１フレーム上の画素を補間フレーム上に貼り付ける構成がある。この場合は、以下の式に従って貼り付けられる。

以上のような処理を、全ての参照ブロックに対して行うことにより補間フレームを求めることができる。この補間フレームを、入力動画に時間多重することにより、入力動画のフレームレートを２倍にすることができる。

以上、本実施形態によれば、動き推定のために分割された領域（ブロック）に複数の動きを割り当てることができるため、ブロック歪の抑制された補間フレームを求めることが可能となる。

（第２の実施形態）
本発明による第２の実施形態の補間フレーム生成方法の基本的な構成は、第１の実施形態と同様である。しかし、本実施形態では、複数の動き推定ステップ１回で得られた補間方式選択ブロックにおいて選択された補間方式による候補補間ブロックの対象画素と参照ブロックの対象画素との相関演算を参照ブロックの画素毎に行う。候補補間ブロックを高相関領域と低相関領域に分割し、低相関領域に対して更に動き推定を行うことにより、より高精度に補間フレームを求める。

第２の実施形態の全体のフローを図１０に示す。図１０は、第１の実施形態と同様に、Ｎフレームを参照フレームとして、ＮフレームとＮ＋１フレーム間の補間フレームＩを生成する場合のフローを示している。第１の実施形態と同様に、入力フレームは、複数の画素により構成されるブロック（参照ブロック：Ｂ_Ｒ（ｉ）、ｉはブロック番号）に分割される（ステップＳ２１）。本実施形態では、垂直画素数、水平画素数がそれぞれ１６画素の正方形の領域をブロックとした。

ステップＳ２２では、参照ブロックと同じサイズの低相関ブロックを生成し、全ての要素を「低相関」とする。本実施形態では、参照ブロックが垂直画素数、水平画素数それぞれ１６画素の正方形の領域であるため、低相関ブロックも垂直画素数、水平画素数それぞれ１６画素の正方形の領域となる。低相関ブロックとは、参照ブロックと補間ブロックの画素毎の相関を求め、相関の高い画素に相対する位置の低相関ブロックの要素を「高相関」とし、相関の低い画素に相対する位置の低相関ブロックの要素を「低相関」とするブロックである。詳細は、高相関判定ステップで述べる。なお、低相関ブロックは、各要素に高相関／低相関の情報が保持できればよいため、各要素１ビットの情報が保持できるものでよい。

繰り返し回数設定ステップＳ２３では、以下の動き推定ステップＳ２４から動き補償ステップＳ２９までの処理の繰り返し回数が設定される。すなわち、本実施形態では、複数の動き推定ステップＳ２４の１回で得られた補間方式選択ブロックにおいて選択された補間方式による候補補間ブロックの対象画素と参照ブロックの対象画素の相関演算を参照ブロックの画素毎に行う。これにより、候補補間ブロックを高相関領域と低相関領域に分割し、低相関領域に対して更に動き推定を行う再帰的な処理を行う。この再帰的処理の繰り返し回数が設定される。例えば、繰り返し回数を２と設定すれば、以下の処理は２回繰り返される。本実施形態では、繰り返し回数は、２と設定した。

動き推定ステップＳ２４では、第１の実施形態と同様に前方探索、後方探索、前後方平均の候補補間ブロックを求める。ただし、本実施形態においては、低相関ブロックにおいて「低相関」となっている画素のみを利用して相関演算や、平均処理を行う。例えば、ＳＡＤを相関値としている場合は、低相関ブロックの「低相関」領域をＢ_Ｄとすると、

により相関を求めることができる。なお、１回目の再帰的処理においては、低相関ブロックの全ての要素が「低相関」であるため、第１の実施形態と同様な動作となる。ステップＳ２４の後に全ての動き推定が行われたかが判定され（Ｓ２５）、この判定がＮＯであると、動き推定部番号ｎが１つインクリメントされ、再度、ステップＳ２４が実行される。ステップＳ２５での判定がＹＥＳであると、補間方式選択ステップＳ２７が実行される。補間方式選択ステップＳ２７では、低相関ブロックにおいて「低相関」である要素に対し、複数の候補補間ブロックと参照ブロックの相関演算を画素毎に行い、参照ブロック上の画素位置における補間方式を選択する。

図１１は、本実施形態における差分ブロックの生成方法を模式的に示している。まず、参照ブロック及び候補補間ブロック（図１１では、後方探索による候補補間ブロック）の「高相関」領域に低相関ブロックによってマスクが掛けられる。次に、マスクがけされた参照ブロック及び候補補間ブロックの「低相関」領域に対して画素毎に参照ブロックと候補補間ブロック間の絶対値差分が求められ、差分ブロックを生成する。

以上の処理を、全ての補間ブロックに対して行うことにより、「高相関」領域にマスクがかけられた複数の差分ブロックが求められる。上記方法により求められた複数の差分ブロックから、図１２に示すように、差分ブロックの「低相関」領域に対してのみ、第１の実施形態と同様に画素毎に各差分ブロックの絶対値差分の値を比較し、最も値が小さくなる補間方式をその画素の補間方式として選択する。図１２では、前方探索及び後方探索の差分ブロックから補間方式選択ブロックを求めている。なお、本実施形態では、補間方式選択ブロックは、各要素（各画素）の補間方式及び、選択された絶対値差分の値の最小値が保持される。この最小値は、次の高相関判定ステップで使われる。

高相関判定ステップＳ２８では、補間方式判定ブロックの各要素の絶対値差分の最小値から、参照ブロックと選択された補間方式による候補補間ブロックとの高相関判定を画素毎に行い、低相関ブロックを求める。例えば、１回目の再帰的処理により、図１３のように補間方式選択ブロックが得られた場合を考える。図１３は、第１の実施形態と同様に、前方探索、後方探索、前後方平均により候補補間ブロックを求めた場合の補間方式選択ブロックの生成方法を表している。１回目の再帰的処理では、低相関ブロックの要素は全て「低相関」であるため、全ての画素について差分ブロックを求め、最小値選択を行う。補間方式選択ブロックに対して、上記のように各画素の補間方式及び差分最小値が保持される。

次に、高相関の判定について説明する。高相関判定は各画素の最小値が所定の値（閾値）に対して大小比較される。すなわち最小値が閾値より小さければ、相関が高いと判断し「高相関」とする。最小値が閾値より大きければ、相関が低いとして「低相関」とする。

図１４は、閾値を５とし、補間方式選択ブロックの最小値が５以下の画素を「高相関」とし、５より大きい画素を「低相関」とした場合の動作を示している。このように、ブロックを「高相関」領域と「低相関」領域を分割することにより、次の再帰的処理により、「低相関」領域に対しては、より正しい動きを求めることが可能となる。

動き補償ステップＳ２９では、高相関判定ステップＳ２８で得られた低相関ブロックにおいて、高相関と判断された領域について、第１の実施形態と同様に動き補償を行い、補間フレームを生成する。例えば、第１の実施形態の（６）〜（８）式は、低相関ブロックの高相関領域をＢ_Ｇとすると、以下の式となる。

ステップＳ３０では、繰り返し番号Ｉｔｅが繰り返し回数に達したかが判定される。この判定がＮＯであると、Ｉｔｅが１つインクリメントされ（Ｓ３１）、処理はステップＳ２４に戻る。ステップＳ３０での判定がＹＥＳであると、全てのブロックの動き推定が行われたかが判定される。この判定がＮＯであると、ブロック番号が１つインクリメントされ（Ｓ３３）、処理はステップＳ２２に戻る。ステップＳ３２の判定がＹＥＳであると、処理は終了する。

上記実施形態において、高相関領域に対して貼り付けを行った場合、第１の実施形態と同様に、貼り付けた領域同士が重なったり、貼り付けた領域間に隙間が発生したりする恐れがある。しかしながら、重なった領域は、重なった領域の平均もしくは、後から重ねられた領域が常に上書きされる構成とすればよい。隙間領域は、動きが割り当てられなかった領域と考えることができるため、隙間領域にはＮフレームの対象位置画素を貼り付ければよい。

更に、本実施形態では、繰り返し回数設定ステップＳ３０で設定された回数の再帰的処理を行っても「低相関」領域として、補間方式が選択されない画素が発生する可能性がある。このような領域については、空間的に周辺の画素の平均や中間値（メディアン処理）を割り当てればよい。

以上のような処理を、全ての参照ブロックに対して行うことにより、１回の再帰的処理は終了し、この再帰的処理を、繰り返し回数設定ステップＳ３０で求めた繰り返し回数行うことにより、補間フレームを求めることができる。この補間フレームを、入力動画に時間多重することにより、入力動画のフレームレートを２倍にすることができる。

（第３の実施形態）
本発明による第３の実施形態の補間フレーム生成方法の基本的な構成は、第２の実施形態と同様であるが、補間方式選択ステップにおいて、第２の実施形態では、候補補間ブロックと参照ブロックの画素毎の相関を比較し補間方式を選択していたのに対し、本実施形態では、候補補間ブロックと参照ブロックの相関を比較し、画素毎の補間方式を選択することが特徴である。

本実施形態によるフレーム補間方式の全体のフローは、第２の実施形態（図１０）と同様である。また、本実施形態は、第２の実施形態と異なる構成は、補間方式選択ステップのみであるため、ここでは、補間方式選択ステップについて説明する。

補間方式選択ステップ（図１０のＳ２７）では、まず、低相関ブロックを用いて補間方式選択ブロックに「低相関」領域を設定する。図１５にその動作が模式的に示されている。図１５は、１回目の再帰的処理の動作であり、そのため、低相関ブロックは、すべての要素が「低相関」領域である。この場合、図１５に示すように補間方式選択ブロックは、すべての要素に対し「低相関」領域に設定される。２回目の再帰的処理では、低相関ブロックは、「高相関」領域と「低相関」領域に分割されているため、図１６に示すように補間方式選択ブロックは、「高相関」領域と「低相関」領域に分割され、補間方式選択ブロックに「低相関」領域が設定される。

次に、第２の実施形態と同様の方法により、差分ブロックを求める。本実施形態では、図１７のように前方探索、後方探索、前後方平均により差分ブロックが求められたとする。求められたそれぞれの差分ブロックの要素（画素）毎に絶対値差分と閾値との比較を行い、差分ブロックを「高相関」領域と「低相関」領域に分割する。すなわち、絶対値差分が閾値より小さい場合は、相関が高いため「高相関」とし、絶対値差分が閾値より大きい場合は、相関が低いため「低相関」とする。

図１７では、１０以下を「高相関」領域とし、１０より大きい場合を「低相関」領域としている。それぞれの差分ブロックを「高相関」領域と「低相関」領域に分割した後、各差分ブロックにおける「高相関」の数を求める。差分ブロックの「高相関」の数が多い差分ブロックから、補間方式選択ブロックの「低相関」領域に差分ブロックの「高相関」領域の補間方式を設定する。例えば図１７の場合、前方探索による差分ブロックの「高相関」数が７、後方探索による差分ブロックの「高相関」数が６、前後方平均による差分ブロックの「高相関」数が５であるため、前方探索、後方探索、前後方平均による差分ブロックの順で、補間方式選択ブロックに補間方式を設定する。その結果、最終的に図１７の右下に示される補間方式選択ブロックが得られる。

最後に、求められた補間方式選択ブロックを用いて、低相関ブロックを更新する。すなわち、図１８のように、補間方式選択ブロックの「低相関」領域を低相関ブロックの「低相関」領域に設定し、その他の領域を「高相関」領域に設定する。得られた低相関ブロック及び補間方式選択ブロックを用いて、第２の実施形態と同様に動き補償ステップを行い、補間フレームを求める。

上記のように補間方式を選択する場合、入力動画のノイズ等の影響による補間方式の誤選択を低減することが可能となる。例えば、図１９のような差分ブロックが得られた場合、ブロック全体の高相関は、前方探索によるブロックの方が相関が高いが、各画素の相関を見ると、後方探索の一つの画素が前方探索に比べ、絶対値差分の値が小さい。そのため、例えば画素毎に相関を比較し、補間方式を選択する方法では、図１９のように、全体としては前方探索が選択されるが、一つの画素に後方探索が選択されることとなる。しかし、後方選択における参照ブロックのブロック全体の高相関度は低く、一つの画素のみが高相関しているとは考えにくい。すなわち、後方探索が選択された画素は、ノイズ等による補間方式の誤選択の可能性が高い。しかし、本実施形態のように、各画素の補間方式を選択した場合、前方探索による差分ブロックの「高相関」数は１６となり、前方探索の補間方式がまず補間方式選択ブロックに設定されることとなる。このとき、全ての画素の絶対値差分は閾値より小さい値であるため、補間方式選択ブロックの全ての画素の補間方式は前方探索として設定され、上記のような補間方式の誤選択が低減される。

上記実施形態では、探索は参照フレームの前後のフレームに対して行われているが、前後フレーム以外のフレームを探索対象としてもよい。また、上記実施形態では、画像補間方式はフレーム補間方式として説明したがフィールド間の補間を行うフィールド補間にも適用できる。

本発明による第１の実施形態のフレーム補間方式を実施する補間フレーム生成装置のブロック回路を示す。図１の補間フレーム生成装置を用いた補間処理を説明するための図である。フレーム補間処理を示すフローチャートである。Ｎフレームの参照ブロックに対してＮ−１フレーム上で高相関ブロック位置を求める方法を説明する図である。ＮフレームからＮ＋１フレームを探索し、相関の高い動きベクトルを求める探索方法を説明する図である。参照ブロックと同じ位置のＮ−１フレームとＮ＋１フレームの平均を求める方法を説明する図である。参照ブロックと各候補補間ブロックの各画素について差分ブロックを求める方法を説明する図である。後方探索領域での動きベクトルを求める方法を説明する図である。前方探索領域での動きベクトルを求める方法を説明する図である。本発明の第２の実施形態に従った補間フレーム生成方法を説明するフローチャート図である。差分ブロックの生成方法を模式的に示す図である。前方探索及び後方探索の差分ブロックから補間方式選択ブロックを求める方法を説明する図である。補間方式選択ブロックの生成方法を説明する図である。「高相関」領域と「低相関」領域とを分割してフレーム補間を行う方法を説明する図である。図１０の補間方式選択ステップを説明するための図である。図１０の補間方式選択ステップを説明するための図である。図１０の補間方式選択ステップを説明するための図である。図１０の補間方式選択ステップを説明するための図である。図１０の補間方式選択ステップを説明するための図である。

符号の説明

１１〜１３…動き推定部、１４…補間方式選択部、１５…動き補償部

Claims

入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成方法において、
前記第１の画像を複数の画素により構成される複数の参照領域に分割するステップと、
前記各参照領域の位置に異なる補間方式で補間を行って前記補間方式にそれぞれ対応する複数の候補補間領域を生成するステップと、
前記各候補補間領域と前記参照領域との相関を求めるステップと、
前記相関に基づき、前記参照領域内の画素毎に異なる補間方式のうちの１つを選択するステップと、
画素毎に選択された補間方式に基づいて前記第１の画像と前記第２の画像の間の補間画像を生成するステップと、
を備えたことを特徴とする補間画像生成方法。
前記複数の領域は、水平、垂直方向に複数の画素から構成される四角形のブロック領域であることを特徴とする請求項１記載の補間画像生成方法。
前記候補補間領域を生成するステップは、第２の画像と、前記第１の画像を基準として時間的に前記第２の画像の反対側にある第３の画像とを用いて補間を行うステップを含むことを特徴とする請求項１または２記載の補間画像生成方法。
前記相関値を求めるステップは、複数の前記候補補間領域と前記参照領域との絶対値差分を画素毎に求めることを含み、前記選択するステップは、画素毎に、前記絶対値差分が最小となる前記候補補間領域を生成した補間方式を、当該画素の補間方式として決定することを特徴とする請求項１または２記載の補間画像生成方法。
前記候補補間領域を生成するステップは、前方向動き検出の結果に基づいて候補補間領域を作るステップ、後方向動き検出の結果に基づいて候補補間領域を作るステップおよび前後の画像の平均により候補補間領域を作るステップのうち少なくとも１つを含むことを特徴とする請求項１または２記載の補間画像生成方法。
前記相関を求めるステップは、複数の前記候補補間領域と前記参照領域との絶対値差分を画素毎に求めるステップを含み、前記選択するステップは、前記候補補間領域毎の画素毎に、前記相関値を求めるステップで求められた前記絶対値差分と所定の閾値とを比較し、前記候補補間領域毎の前記絶対値差分が前記閾値より小さい高相関画素の数を求めるステップと、前記高相関画素の数が最も多い前記候補補間領域から順に、画素毎に前記候補補間領域を生成した補間方式を当該画素の補間方式として選択されることを特徴とする請求項１または請求項２記載の補間画像生成方法。
前記相関を求めるステップは、複数の前記候補補間領域と前記参照領域との絶対値差分を画素毎に求めるステップを含み、前記選択するステップは、画素毎に、複数の前記候補補間領域の前記絶対値差分の最小値と所定の閾値とを比較し、前記最小値が所定の値未満の場合は、前記候補補間領域を生成した補間方式を当該画素の補間方式として選択し、前記最小値が所定の値以上の場合は、対応する画素を低相関画素とすることにより、前記候補補間領域に低相関領域を設定するステップを含み、前記低相関領域について、再度、前記相関を求めるステップおよび前記選択するステップを行うことを特徴とする請求項１または２記載の補間画像生成方法。
入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成装置において、
前記第１画像を複数の画素により構成される複数の参照領域に分割する分割部と、
前記各参照領域の位置に異なる補間方式で補間を行って前記補間方式にそれぞれ対応する複数の候補補間領域を生成する候補生成部と、
前記各候補補間領域と前記参照領域との相関を求める相関部と、
前記相関に基づき、前記参照領域内の画素毎に異なる補間方式のうちの１つを選択する選択部と、
選択された補間方式に基づいて前記第１の画像と前記第２の画像の間の補間画像を生成する補間画像生成部と、
を備えたことを特徴とする補間画像生成装置。
前記複数の領域は、水平、垂直方向に複数の画素から構成される四角形のブロック領域であることを特徴とする請求項８記載の補間画像生成装置。
前記候補生成部は、第２の画像と、前記第１の画像を基準として時間的に前記第２の画像の反対側にある第３の画像とを用いて補間を行うことを特徴とする請求項８または９記載の補間画像生成装置。
前記相関部は、複数の前記候補補間領域と前記参照領域との絶対値差分を画素毎に求める算出部を含み、前記選択部は、画素毎に、前記絶対値差分が最小となる前記候補補間領域を生成した補間方式を、当該画素の補間方式として選択することを特徴とする請求項８または９記載の補間画像生成装置。
前記候補生成部は、前方向動き検出の結果に基づいて候補補間領域を作る生成部、後方向動き検出の結果に基づいて候補補間領域を作る生成部および前後の画像の平均により候補補間領域を作る生成部の少なくとも１つを含むことを特徴とする請求項８または９記載の補間画像生成装置。
前記相関部は、複数の前記候補補間領域と前記参照領域との絶対値差分を画素毎に求める第１算出部を含み、前記選択部は、前記候補補間領域毎の画素毎に、前記第１算出部で求められた前記絶対値差分と所定の閾値とを比較する比較部と、前記候補補間領域毎の前記絶対値差分が前記閾値より小さい高相関画素の数を求める第２算出部とを含み、前記高相関画素の数が最も多い前記候補補間領域から順に、画素毎に前記候補補間領域を生成した補間方式を当該画素の補間方式として選択することを特徴とする請求項８または９記載の補間画像生成装置。
前記相関部は、複数の前記候補補間領域と前記参照領域との絶対値差分を画素毎に求める第１算出手段を含み、前記選択部は、画素毎に、複数の前記候補補間領域の前記絶対値差分の最小値と所定の閾値とを比較する比較手段と、前記最小値が所定の値未満の場合は、前記候補補間領域を生成した前記補間方式を当該画素の補間方式として選択する選択手段と、前記最小値が所定の値以上の場合は、対応する画素を低相関画素とすることにより、前記候補補間領域に低相関領域を設定する設定手段とを含み、前記相関部および前記選択部は前記低相関領域について、再度、算出および選択を行うことを特徴とする請求項８または９記載の補間画像生成装置。