JP2011040836A - フレーム補間装置及びフレーム補間方法 - Google Patents

Abstract

【課題】補間画像の画面端領域の動きベクトルの誤検出を低減する技術を提供する。
【解決手段】入力される映像信号の過去フレームと現在フレームからフレーム補間処理を行いこのフレーム補間処理の結果である補間フレームの各ブロックにおける複数のブロックマッチング結果を出力する動きベクトルマッチング部と、前記複数のブロックマッチング結果から前後フレームお互いに最も類似している画像ブロックの組み合わせを検出し一つの動きベクトルを絞り込んで検出ベクトルとして決定する検出ベクトル決定部と、画面端に位置する画面端領域の内側に隣接する参照領域の前記検出ベクトルの参照性を判定する参照領域ベクトルの参照性決定部と、画面端領域の動きベクトルとしてこの画面端領域の内側に隣接する参照領域の前記参照性があるベクトルを用いる最終ベクトル部とを備えたことを特徴とするフレーム補間装置。
【選択図】 図６

Description

本発明は、フレーム補間装置、フレーム補間方法に関する。

液晶ＴＶ等において、動画像のフレームを補間して補間画像を作成することが一般に行われている。そして補間画像を作成する際には、画面の上下或いは左右端近傍領域に対して、動きベクトルが大きくなるとベクトルの誤検出の可能性が高くなり、補間画像の破綻が発生しやすくなる。

対して特許文献１にある従来のフレーム補間方法では、画面の上下端部近傍領域に対しては、動きベクトルの上下方向成分のみを0とし、左右端部近傍領域に対しては動きベクトルの左右方向成分のみを0とするように、動きベクトルの上下、左右成分を独立に切り替えるように動作する。しかし、水平または垂直高速文字スクロールなどの場合においては、検出された動きベクトル値と正しいベクトル値でベクトル値のズレが発生しやすいことが問題である。

特開２００８−１１８５０５号公報

本発明は、補間画像の画面端領域の動きベクトルの誤検出を低減する技術を提供することを目的とする。

上記課題を解決するために、本発明のフレーム補間装置は、入力される映像信号の過去フレームと現在フレームからフレーム補間処理を行いこのフレーム補間処理の結果である補間フレームの各ブロックにおける複数のブロックマッチング結果（べクトル候補）を出力する動きベクトルマッチング部と、前記複数のブロックマッチング結果から最小SAD値がある一つの動きベクトルを絞り込んで検出ベクトルとして決定する検出ベクトル決定部と、画面端に位置する画面端領域の内側に隣接する参照領域の前記検出ベクトルの参照性を判定しまたは画面端領域の動きベクトルとしてこの画面端領域の内側に隣接する参照領域の前記参照性があるベクトルを用いる画面端領域の動きベクトルの切り替え部と、前記置き替えられた検出ベクトルを用いてフレーム補間するフレーム補間部とを備えたことを特徴とする。

本発明によれば、補間画像の画面端領域の動きベクトルは誤検出の誤検出を低減する技術が得られる。

この発明の一実施形態を示すブロック構成図。 同実施形態の補間フレーム作成装置１を示すブロック構成図。 ブロックマッチング処理の一例を説明するための図。 マクロブロックのサイズ及びその探索範囲の具体例。 ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフ。 実施形態の動きベクトル検出部３の構成例を示すブロック図。 同実施形態の一画面の左右端における画面端領域と参照領域イメージの一例。 同実施形態の動きベクトル検出部３の動作を示すフローチャート。 従来の動きベクトル検出部の構成例を示すブロック図。 従来の動きベクトル検出部の動作を示すフローチャート図。

本発明による実施形態を図１乃至図９を参照して説明する。
図１は、本発明の一実施形態に係わる映像記録・再生装置の構成を示すブロック図である。
初めに、図１の放送記録装置１０は、一例として、チューナ等をソースとして記録機能を有するデジタルテレビジョンである。しかしながら、チューナ等と記録機能とをもったハードディスクレコーダも同様に好適である。

従って、以下の図１を用いた実施形態の説明においては、記録機能をもったデジタルテレビジョンとして詳細に説明を行なうが、図１からディスプレイ２６を分離することにより、全く同様の機能をもったハードディスクレコーダとしての説明と解釈することが可能である。

図１において、デジタルテレビジョンである放送記録装置１０は、２種類のディスクドライブを有する。第1のメディアとしてハードディスクＨを駆動するハードディスクドライブ部１８と、第２のメディアとしてビデオファイルを構築できる情報記録媒体である光ディスクＤを回転駆動し、情報の読み書きを実行する光ディスクドライブ部１９を有している。又、制御部４７は、全体の動作を司るべくデータバスＢを介して各部に接続されている。しかし、本発明を実施する場合において、光ディスクドライブ部１９は必ずしも必要な構成ではない。

又、図１の放送記録装置１０は、録画側を構成するエンコーダ部２１と、再生側を構成するＭＰＥＧデコーダ部２３と、装置本体の動作を制御する制御部４７とを主たる構成要素としている。放送記録装置１０は、入力側のセレクタ１６と出力側のセレクタ１７とを有しており、入力側のセレクタ１６には、ＬＡＮ等の通信部１１と、いわゆる衛星放送（ＢＳ／ＣＳ）デジタル／アナログチューナ部１２と、いわゆる地上波デジタル／アナログチューナ部１３とが接続され、エンコーダ部２１に信号を出力する。又、ＢＳ／ＣＳデジタル／アナログチューナ部１２には衛星アンテナが、地上波デジタル／アナログチューナ部１３には地上波アンテナが接続されている。又、放送記録装置１０は、エンコーダ部２１と、エンコーダ部２１の出力を受け、データ編集等の所望のデータ処理を行う信号編集部２０、信号編集部２０に接続されるハードディスクドライブ部１８、光ディスクドライブ部１９を有している。更に、放送記録装置１０は、ハードディスクドライブ部１８、光ディスクドライブ部１９からの信号を受けてデコードするＭＰＥＧデコーダ部２３と、エンコーダ部２１、バッファ部２２、ＭＰＥＧデコーダ部２３、多重化部２８、分離部２９、関連コンテンツ制御部４２、予約録画部・番組表生成部４３、制御部４７を有している。これらの各部は、データバスＢを介して制御部４７に接続されている。更に、セレクタ部１７の出力は、ディスプレイ２６に供給されるか、外部装置との通信を行うインタフェース部２７を介して、外部装置に供給される。ディスプレイ２６は通常音声等出力用のスピーカを伴っている。

更に、放送記録装置１０は、データバスＢを介して制御部４７に接続され、ユーザの操作やリモコンＲの操作を受ける操作部３２を有している。ここで、リモコンＲは、放送記録装置１０の本体に設けられる操作部３２とほぼ同等の操作を可能とするものであり、ハードディスクドライブ部１８や光ディスクドライブ部１９の記録再生指示や、編集指示、又、チューナの操作、予約録画の設定等、各種設定が可能である。

ここで、放送記録装置１０は、上記した受信動作を含むその全ての動作を制御部４７により統括的に制御されている。この制御部４７は、ＣＰＵ等を内蔵しており、操作部３２からの操作情報を受信し、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部４７は、その内部にある図示せぬメモリ部を利用していてこのメモリ部は、ＣＰＵが実行する制御プログラムを格納したＲＯＭと、該ＣＰＵに作業エリアを提供するＲＡＭと、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。そしてこの制御部４７は、コンテンツを音声映像処理部２４によりセレクタ部１７を経由して映像表示及び音声再生することを可能にするよう構成されている。

図２は本発明によるフレーム補間装置である補間フレーム作成装置１の一実施形態を示すブロック構成図である。この補間フレーム作成装置１は図１の音声映像処理部２４の補間フレーム作成機能を表したものである。６０フレーム／秒の入力信号はフレームメモリ２、動きベクトル検出部３へ送られる。動きベクトル検出部３は過去フレームと現在フレームから、動きベクトルを検出して、この検出した動きベクトルを補間フレーム作成部５へ出力する。補間フレーム作成部５では、動きベクトル検出部３から入力された動きベクトルから、過去フレームと現在フレームとの間の補間フレームを作成する。

補間フレーム作成部５で作成された補間フレームは非補間フレームの間に挿入されて出力画像信号として、図１のディスプレイ２６に対応する表示装置であるパネル７へ導かれる。制御部６は上述の補間フレーム作成装置１の各部の動作を司るように構成されている。

図３は動きベクトル候補検出の為のブロックマッチング処理の一例を説明するための図である。即ちブロックマッチングを用いた動きベクトル候補の検出方法としては、補間フレーム２１内の挿入位置を中心して、それを挟む前後2枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値(SAD: Sum of Absolute Difference)を求め、あるＳＡＤ値以内となる方向を該ブロックの動きベクトル候補とする方法等が知られている。

図３に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図３の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対称の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。類似している（ＳＡＤがある範囲内）画像ブロックどうしを結ぶベクトルを補間画像ブロック４１の動きベクトル候補と決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。

この動きベクトル候補（大きさと方向を含む）は、図３では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。

図３に示す方法では、補間フレームの挿入位置を中心としそれを挟む前後２枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値（ＳＡＤ）を求め、このＳＡＤ値がある範囲内となる方向を該ブロックの動きベクトル候補とする。

次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
図４はマクロブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図３に示したブロックマッチング処理に適用することができる。ここでは、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。

図４において、ＭＢはマクロブロック、ＭＳＲはマクロブロックＭＢの探索範囲である。マクロブロックＭＢのサイズは、図４の内側実線に示すように例えば６４画素×４画素である。このマクロブロックＭＢを前フレーム２０上では水平方向に−１６画素〜＋１６画素、垂直方向に−２画素〜＋２画素シフトする。同時にこのマクロブロックＭＢを後フレーム２２上で水平方向に＋１６画素〜−１６画素、垂直方向に＋２画素〜−２画素シフトする。

つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここではマクロブロックＭＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上でマクロブロックＭＢを例えば＋１２画素シフトした場合は、後フレーム２２上でマクロブロックＭＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従ってマクロブロックＭＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＭＳＲは、ここでは共に９６画素×８画素である。

ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。

以下、動きベクトル検出部３によるブロックマッチング処理動作を説明する。
図５はブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向物体移動のブロックマッチング処理のみについて述べる。

この場合、物体を含む前フレーム内の注目画像ブロック４３を、後フレーム２２における探索範囲内の中心画像ブロック４４の位置から、１画素単位でシフトすると、図５のように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトル候補の一つが検出される。従って、ここでは注目画像ブロック４１の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック４３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック４１の探索範囲内位置を示す。

図６は図２の構成の動きベクトル検出部３の構成例を示すブロック図である。動きベクトル検出部３は、動きベクトルマッチング部６２と検出ベクトル決定部６３と参照領域ベクトルの参照性決定部６４と最終ベクトル決定部６５と画面端領域と参照領域決定部６６とから構成されている。動きベクトル検出部３は、後述の検出方法により、画面端領域および動きベクトルの参照領域を算出する。入力信号に対して動きベクトルマッチング部６２で各ブロックにおける複数の動きベクトル候補を検出する。この検出された動きベクトル候補のうち前後フレームお互いに最も類似な組み合わせを検出し一つのベクトルを絞り込んで検出ベクトルとして検出ベクトル決定部６３で決定する。互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルでＳＡＤ値が最小となる、補間画像ブロック４１の動きベクトルとして決定される。この決定された動きベクトルと、画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、上述の極小点ＰＳ０が十分に小さいといった判定により決定されるものである。画面端領域と参照領域決定部６６でブロックマッチングサーズ及び探索範囲により参照領域と画面端領域を決める。参照領域ベクトルの参照性決定部６４で参照できるベクトルの範囲基づいて参照領域の動きベクトルを参照できるかと判定し、最終ベクトル決定部６５で画面端領域に含まれる動きベクトルは参照領域の動きベクトルの参照性により、参照領域のベクトルで置き換える。

図９は図２に関して従来の動きベクトル検出部の構成例を示すブロック図である。図６と同等なブロックは同じ符号を付している。動きベクトル検出部は、動きベクトルマッチング部６２と検出ベクトル決定部６３と最終ベクトル決定部９５と画面端領域決定部９６とから構成されている。 図１０は図９の実施形態の動きベクトル検出部の動作のフローチャートを示している。入力信号に対して動きベクトルマッチングを行い、画面の上下端に対して、動きベクトル上下方向成分のみを0とし、或いは左右端に対して、左右方向成分のみを0にするように、上下または左右成分を独立に切り替えるものである。 図７は一画面の左右端における画面端領域と参照領域イメージの一例である。注目画素が左右端にあるときに以下の処理を行う。即ち画面端領域と参照領域決定部６６では、制御部６など外部よりＭＢとＭＳＲのサイズに基づいて設定入力された設定領域情報や入力画像信号に含まれる同期信号に基づいて、有効画像の端部（ここでは、表示画面の端部）の領域判定を行う。画面端領域は、例えば図７で示すように、表示画面の左右端から一定距離をもった領域ａとする。通常、動きベクトルの長さは回路規模を抑えるため、ベクトル探索範囲で制限されている。従って、この画面端領域ａは、画面端部からの距離が、動きベクトル検出部３で検出可能な動きベクトル長の上限以下とすれば良い。図７ではこの画面端領域ａを該当ＭＳのＭＳＲ（探索範囲）が画面外画素を含む画素領域で表現している。また参照領域は、該当ＭＳのＭＳＲ（探索範囲）が画面外画素を含まない画素領域であり例えば図７で示すように、画面端領域ａの内側領域ｂとする。なお画面上下端領域の動きベクトルは水平位置が同じ参照領域の動きベクトルが参照できる場合は参照領域のベクトルで置き換える（上下端の例は図７のｃに相当）。

図８は図２の本実施形態の動きベクトル検出部３の動作のフローチャートを示している。上記検出方法により、画面端領域と参照領域を判定する。ブロックマッチングなどで、動きベクトルを検出する。このときの動きベクトルの補間位置が画面端領域に含まれれば、該当位置の動きベクトルでは参照できる参照領域の動きベクトルのみで置き換える。前述の極小点ＰＳ０が十分に小さいといった判定がされなかった等何らかの理由で参照領域の動きベクトルが参照できず場合、または該当位置が画面端領域外では参照領域の動きベクトルを使わずに検出されたベクトルそのまま出力する。以上をより詳しく述べると次のようになる。

まず画面端領域と参照領域の範囲を算出する（ステップＳ１０）。
次に探索範囲内で動きベクトルを検出する（ステップＳ２０）。
ステップＳ２０で検出された上記動きベクトルの該当位置は画面端領域内か判定する（ステップＳ３０）。この該当位置が画面端領域内と判定されなかった場合はステップＳ６０へ進む。

ステップＳ３０で動きベクトルの該当位置が画面端領域内と判定された場合は、 画面端領域の内側の参照領域の動きベクトルは参照できるか判定する（ステップＳ４０）。この動きベクトルが参照できると判定されなかった場合はステップＳ６０へ進む。

ステップＳ４０で参照領域の動きベクトルは有効と判定された場合は参照領域の動きベクトルで置き換えて処理を終了する（ステップＳ５０）。
ステップＳ３０で動きベクトルの該当位置が画面端領域内と判定されなかった場合またはステップＳ４０で画面端領域の内側の参照領域の動きベクトルが参照できると判定されなかった場合は、探索範囲内で検出した動きベクトルをそのまま出力し、処理を終了する（ステップＳ６０）。

なおフローチャートの変形として、画面端領域の内側に隣接する参照領域の動きベクトルが有効であれば、画面端領域の動きベクトルを求めずにこの参照領域の動きベクトルとするのも好適である。

従来の技術では画面の上下端部近傍領域に対しては、動きベクトルの上下方向成分のみを0とし、左右端部近傍領域に対しては動きベクトルの左右方向成分のみを0とするように、動きベクトルの上下、左右成分を独立に切り替えるように動作している。しかし、問題は水平または垂直高速文字スクロールなどでは、正しいベクトルと検出された動きベクトルのズレが発生することである。

本実施形態では表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域に対しては、参照領域の垂直或いは水平動きベクトルの参照性を判定することにより、端部の動きベクトルは参照領域の参照できる動きベクトルのみで置き換えることで、両端ベクトルの誤検出の可能性が小さくなり、有効画像端部近傍で発生する補間画像の乱れや歪みを低減できる。あるいは、水平または垂直高速文字スクロールなどでは、画面端部のベクトルは実際の動きにほぼ同じベクトルで出力が可能で、画面端の補間効果が良くなる。

効果として動きベクトルは誤検出の可能性が小さくなり、または誤差成分を減らすことで、補間画像端の補間効果は従来のより良くなる。特に水平方向、または垂直方向の動きが大きい場合で、本実施形態では画面の上下或いは左右端領域に対して、正しい動きベクトルを出力が可能で補間画像は良い補間効果が出る。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

１…補間フレーム作成装置、２…フレームメモリ、３…動きベクトル検出部、５…補間フレーム作成部、６…制御部、７…パネル、６２…動きベクトルマッチング部、６３…検出ベクトル決定部、６４…参照領域ベクトルの参照性決定部、６５…最終ベクトル決定部、６６…画面端領域と参照領域決定部、９５…最終ベクトル決定部、９６…画面端領域決定部。

Claims (6)

1. 入力される映像信号の過去フレームと現在フレームからフレーム補間処理を行いこのフレーム補間処理の結果である補間フレームの各ブロックにおける複数のブロックマッチング結果を出力する動きベクトルマッチング部と、
   前記複数のブロックマッチング結果から前後フレームお互いに最も類似している画像ブロックの組み合わせを検出し一つの動きベクトルを絞り込んで検出ベクトルとして決定する検出ベクトル決定部と、
   画面端に位置する画面端領域の内側に隣接する参照領域の前記検出ベクトルの参照性を判定する参照性決定部と、
   画面端領域の動きベクトルとしてこの画面端領域の内側に隣接する参照領域の前記参照性があるベクトルを用いる最終ベクトル部と、
   前記置き替えられた検出ベクトルを用いてフレーム補間するフレーム補間部とを備えたことを特徴とするフレーム補間装置。
2. 前記最終ベクトル部は、前記参照領域の前記検出ベクトルの参照性に基づいて前記画面端領域の動きベクトルを前記参照領域の前記検出ベクトルで置き換えることを特徴とする請求項１に記載のフレーム補間装置。
3. 補間画像を表示する表示装置を更に加えたことを特徴とする請求項１に記載のフレーム補間装置。
4. 入力される映像信号の過去フレームと現在フレームから動きベクトルを検出し、フレームの画面端領域と参照領域を決定し、参照領域の動きベクトルの参照性を判定し、画面端領域の動きベクトルを前記参照領域の前記参照性があるベクトルへ置き換えることを特徴とするフレーム補間方法。
5. 前記画面端領域と前記参照領域を決定する画面端領域と参照領域の決定部を更に備えたことを特徴とする請求項１に記載のフレーム補間装置。
6. 前記参照領域のベクトルの参照性を判定する参照領域ベクトルの参照性決定部を更に備えたことを特徴とする請求項１に記載のフレーム補間装置。

Images