JP2013030839A

JP2013030839A - 動きベクトル導出装置および方法

Info

Publication number: JP2013030839A
Application number: JP2011163538A
Authority: JP
Inventors: Kunio Yamada; 邦男山田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-07-26
Filing date: 2011-07-26
Publication date: 2013-02-07
Anticipated expiration: 2031-07-26
Also published as: JP5824937B2

Abstract

【課題】あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出する。
【解決手段】動きベクトル導出部１４は、二つの画像フレーム内の対応するブロック間の動きベクトルを導出する。候補ベクトル生成部２０は、動きベクトルの計算対象ブロックについて複数の候補ベクトルを生成する。ブロックテクスチャ抽出部２２は、候補ベクトルが生成された画像フレーム内のブロックテクスチャを抽出する。輝度差計算部３０は、抽出された複数のブロックテクスチャについて、ブロックテクスチャを構成する画素の隣接画素間の輝度差の累積値を計算する。動きベクトル選択部２６は、累積値の最大値が残りの累積値よりも所定倍以上の大きさであるとき、最大値が得られたブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択する。
【選択図】図４

Description

本発明は、動画像内の連続するフレーム間で動きベクトルを求める技術に関する。

液晶パネルを使用した薄型表示装置が大画面化すると、残像によるぼやけやぶれなどが目立つようになるという問題が生じる。これに対処するには、薄型表示装置で再生される動画像のフレームレートを高めることが有効である。一般的なフレームレート変換技術では、ある時点のフレームと時間的に一つ前または後のフレームとの間で、所定の大きさのブロック単位で動きベクトルを導出し、導出した動きベクトルを利用した動き補償によって両フレームの中間フレームを作成する。フレームレート変換後に滑らかな動画像を実現するためには、動きベクトルを正確に求めることが重要である。

一般的に、動きベクトルの導出は、両フレーム内のブロック間でブロックマッチングを実行して、輝度値の絶対値誤差または二乗誤差が最小となるブロックのペアを探索し、このペア同士を結ぶベクトルを動きベクトルとして採用するという手順で行われる。しかしながら、実用上は、複数のブロックのペアにおける輝度値の絶対値誤差または二乗誤差が同程度の大きさになることが多い。このような場合に、単に誤差が最小であるという理由で動きベクトルを決定してしまうと、フレーム間の連続性の観点からは不適切な動きベクトルを選択してしまうことがある。

ブロックマッチングのみに基づき動きベクトルを決定するのではなく、隣接ブロック間での動きベクトルの相関性を利用してより正確な動きベクトルを選択する技術も知られている。例えば、特許文献１には、入力される映像信号の現在フレームの基準ブロックの位置が、動作量が少ない映像領域と隣接した事物の境界領域であるか否かに基づき、基準ブロックの動作ベクトルをメディアンフィルタリングする動作ベクトル検出装置が開示されている。

特開２０１０−１６６１５３号公報

特許文献１に記載の技術では、基準ブロックの複数の動作ベクトル間で大きさが中位のものを選択して他のものは考慮されないので、正しい動きベクトルが棄却されてしまうおそれがある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出する技術を提供することにある。

本発明の一態様は、時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出するベクトル導出装置である。この装置は、動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出するブロックテクスチャ抽出部と、前記ブロックテクスチャ抽出部で抽出された複数のブロックテクスチャのそれぞれについて、ブロックテクスチャを構成する画素の隣接画素間の輝度差の累積値を計算する輝度差計算部と、前記累積値の最大値が残りの累積値よりも所定倍以上の大きさであるとき、最大値が得られたブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、を備える。

この態様によると、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合に、対象ブロックの場所でオブジェクトの交差が発生しているとみなし、手前側に位置するオブジェクトに対応する動きベクトルを選択することができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出することができる。

本発明の一実施形態に係るフレームレート変換装置の概略構成を示すブロック図である。被補間フレームを作成する方法を説明する図である。被補間フレームにおいてオブジェクトが交差する場合を示す図である。動きベクトル導出部の詳細な構成を示すブロック図である。ブロックテクスチャを示す図である。本実施形態における動きベクトル導出のフローチャートである。

図１は、本発明の一実施形態に係るフレームレート変換装置１０の概略構成を示すブロック図である。この構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

フレームレート変換装置１０は、入力される動画像のフレームレートを変換して出力する装置である。本実施形態では、入力動画像のフレームレートを二倍に変換して出力する倍速変換について説明する。

フレーム選択部１２は、動画像から時間的に連続する二つのフレームを取り出す。この二つのフレームのうち時間的に後のものを「現フレーム」、時間的に前のものを「遅延フレーム」と呼ぶ。フレーム選択部１２は、所定のタイミングで一フレームずつずらしながら二つのフレームを連続的に動画像から取り出し、動きベクトル導出部１４に順次出力する。

動きベクトル導出部１４は、入力された現フレームと遅延フレームをそれぞれ所定の大きさのブロック（例えば、１６×１６画素のマクロブロック）に分割する。続いて、動きベクトル導出部１４は、現フレームと遅延フレームとの間で周知のブロックマッチングを実行し、ブロック毎に一つの動きベクトルを導出する。導出された各ブロックの動きベクトルは被補間フレーム作成部１６に供給される。

被補間フレーム作成部１６は、動きベクトル導出部１４により供給された動きベクトルを使用して周知の動き補償を行い、現フレームと遅延フレームの中間の被補間フレームを作成する。

図２は、被補間フレームを作成する方法を説明する図である。図中、Ｆ１が現フレーム、Ｆ２が遅延フレームであり、二つのフレームＦ１とＦ２の中間時点の被補間フレーム３を作成することを考える。フレームレート変換装置１０から出力される動画像では、フレームＦ２、Ｆ３、Ｆ１の順に再生される。

動きベクトル導出部１４は、被補間フレームＦ３を所定のサイズのブロックに分割する。被補間フレーム内のあるブロック（ブロックＢ３）の左上隅の座標（ｘ、ｙ）を通過する直線を考え、この直線が現フレームＦ１および遅延フレームＦ２上でそれぞれ左上隅を通過するブロックＢ１およびブロックＢ２の間でブロックマッチングを実行する。このブロックマッチングを現フレームＦ１および遅延フレームＦ２の全体にわたり実行し、ブロック間の類似性を評価するために各ブロックに対して輝度差の絶対値の総和を計算する。図２の例において、現フレームＦ１上で左上隅の座標が（ｘ＋ｉ，ｙ＋ｊ）であるブロックＢ１と、遅延フレームＦ２上で左上隅の座標が（ｘ−ｉ，ｙ−ｊ）であるブロックＢ２とでブロックマッチングを実行した場合、両者を結ぶ動きベクトルは（ｉ，ｊ）で表される。

動きベクトル（ｉ，ｊ）が最適と判定された場合、被補間フレーム作成部１６は、遅延フレームＦ２におけるブロックＢ２（または現フレームＦ１におけるブロックＢ１）のテクスチャを、被補間フレームＦ３におけるブロックＢ３に入れ込む。このような処理を被補間フレームＦ３内の全ブロックについて繰り返すことで、被補間フレームＦ３を作成することができる。

なお、ブロックマッチングおよび被補間フレームの作成は当業者にとって周知であるため、これ以上の詳細な説明は省略する。

動画像内に移動するオブジェクトが複数存在する場合には、被補間フレームＦ３の作成位置でオブジェクトの交差が発生することがある。図３に示すように、オブジェクトＣ１がフレーム内を左上から右下方向に移動し、オブジェクトＣ２がフレーム内を左下から右上方向に移動するとき、被補間フレームＦ３の中央付近で両オブジェクトが交差することになる。オブジェクトＣ１、Ｃ２を含むブロックの動きベクトルがそれぞれ求められたとしても、被補間フレームＦ３においていずれのオブジェクトが手前側に位置するかの情報を得ることはできない。

そこで、本実施形態では、被補間フレームにおいてオブジェクトの交差が発生したと考えられる場合に、手前側に位置するオブジェクトに対応する動きベクトルを選択できるようにする。

図４は、動きベクトル導出部１４の詳細な構成を示すブロック図である。動きベクトル導出部１４は、候補ベクトル生成部２０、ブロックテクスチャ抽出部２２、平均色計算部２４、動きベクトル選択部２６、色成分処理部２８および輝度差計算部３０を含む。

候補ベクトル生成部２０は、現フレームと遅延フレームとを受け取り、被補間フレーム内のブロック毎に図２で説明したブロックマッチングを実行する。そして、マッチングを実行した現フレームのブロックと遅延フレームのブロックの組合せ毎に、輝度差の絶対値の総和（または輝度差の二乗和）を計算し、この総和が十分に小さくなるブロックの組合せを選び出し、それぞれの動きベクトルを求める。「十分に小さくなるブロックの組合せを選び出し」とは、例えば総和が所定のしきい値以下となるブロックの組合せを選び出すか、または輝度値の絶対値の総和が小さい順にソートしたときに先頭からｉ番目の値をＡ_ｉで表すとき、（Ａ_ｉ−Ａ_ｉ−１）／（Ａ_ｉ＋１）が所定値（例えば１／１００）以下になる場合に、Ａ_ｉまでの全てのブロックの組合せを選び出すことを言う。選び出されたブロックの組合せについて求められた動きベクトルを「候補ベクトル」と呼ぶ。

本実施形態では、候補ベクトル生成部２０により生成された候補ベクトルが二つ以上存在する場合を想定している。これ以外の場合、例えばあるブロックの組合せにおける輝度差の総和の最小値が、二番目に小さい値の１／１００である場合のように、最小値が際だって小さいときには、候補ベクトルを生成せずに、輝度差の総和が最小であるブロックの組合せから動きベクトルを直接求めれば十分である。

ブロックテクスチャ抽出部２２は、候補ベクトル生成部２０により生成された候補ベクトルに対応する遅延フレーム内の複数のブロックをそれぞれ抽出する。以下、これらを「抽出ブロックテクスチャ」と呼ぶ。図５は、抽出ブロックテクスチャを示す。なお、テクスチャはｎ×ｎ画素のサイズであるとする。

輝度差計算部３０は、抽出ブロックテクスチャのそれぞれについて、隣接する画素間の輝度差の累積値Ｚを次式のように計算する。
（式１）

ここで、Ｙ（ｉ，ｊ）は画素（ｉ，ｊ）の輝度値を表す。

一方、平均色計算部２４は、抽出ブロックテクスチャのそれぞれについて、テクスチャを構成する全画素のＲ値、Ｇ値、Ｂ値の平均値であるＶ_Ｒ、Ｖ_Ｇ、Ｖ_Ｂを計算する。色成分処理部２８は、抽出ブロックテクスチャのそれぞれについて、（Ｖ_Ｒ−Ｖ_Ｂ）を計算する。

動きベクトル選択部２６は、輝度差計算部３０によって計算された抽出ブロックテクスチャの輝度差累積値Ｚを比較する。そして、輝度差累積値Ｚの最大値が残りのものよりも所定倍以上（例えば、二倍以上）大きい場合、対応する抽出ブロックテクスチャについて求められた候補ベクトルを対象ブロックの動きベクトルとして選択する。

輝度差累積値Ｚの最大値が残りのものより所定倍未満の場合、動きベクトル選択部２６は、色成分処理部２８で計算された（Ｖ_Ｒ−Ｖ_Ｂ）が大きい方の抽出ブロックテクスチャについて求められた候補ベクトルを対象ブロックの動きベクトルとして選択する。

上記のようにする理由は、以下の知見に基づく。すなわち、輝度差累積値Ｚが大きい抽出ブロックテクスチャの動きベクトルを選択するのは、順光環境下では近景側のオブジェクトの方が遠景側のオブジェクトよりも高精細であるため、高域を多く含む確率が高いと考えられるからである。また、（Ｖ_Ｒ−Ｖ_Ｂ）が最大である方の抽出ブロックテクスチャの動きベクトルを選択するのは、空気中の光の散乱のため、遠景側のオブジェクトは近景側のオブジェクトよりも青色にシフトする可能性が高いので、遠景側にあるほど（Ｖ_Ｒ−Ｖ_Ｂ）が小さくなると考えられるからである。
このように、被補間フレームにおけるオブジェクトの前後関係を考慮に入れて、対象ブロックの動きベクトルを選択することができる。

図６は、本実施形態における動きベクトル導出のフローチャートである。まず、候補ベクトル生成部２０が、現フレームと遅延フレーム内のブロック間のブロックマッチングを行って、複数の候補ベクトルを生成する（Ｓ１０）。ブロックテクスチャ抽出部２２は、候補ベクトル生成部２０で選び出された複数のブロックの組合せのうち、遅延フレーム内のブロックのテクスチャをそれぞれ抽出する（Ｓ１２）。輝度差計算部３０は、抽出ブロックテクスチャのそれぞれについて、隣接する画素間の輝度差の累積値Ｚを計算する（Ｓ１４）。平均色計算部２４は、抽出ブロックテクスチャのそれぞれについて、テクスチャを構成する全画素のＲ値、Ｇ値、Ｂ値の平均値であるＶ_Ｒ、Ｖ_Ｇ、Ｖ_Ｂを計算する（Ｓ１６）。色成分処理部２８は、抽出ブロックテクスチャのそれぞれについて、（Ｖ_Ｒ−Ｖ_Ｂ）を計算する（Ｓ１８）。

動きベクトル選択部２６は、輝度差計算部３０によって計算された、抽出ブロックテクスチャの輝度差累積値Ｚを比較する（Ｓ２０）。そして、輝度差累積値Ｚの最大値が残りのものよりも所定倍以上（例えば、二倍以上）大きい場合（Ｓ２２のＹ）、対応する抽出ブロックテクスチャについて求められた候補ベクトルを対象ブロックの動きベクトルとして選択する（Ｓ２４）。輝度差累積値Ｚの最大値が残りのものより所定倍未満の場合（Ｓ２２のＮ）、動きベクトル選択部２６は、色成分処理部２８で計算された（Ｖ_Ｒ−Ｖ_Ｂ）が最大の抽出ブロックテクスチャについて求められた候補ベクトルを対象ブロックの動きベクトルとして選択する（Ｓ２６）。

以上説明したように、本実施形態によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、被補間フレーム内のあるブロックについて動きベクトルの候補が複数存在する場合、対象ブロックの場所でオブジェクトの交差が発生しているとみなし、手前側に位置するオブジェクトに対応する候補ベクトルを対象ブロックの動きベクトルとして選択されるようにした。これにより、被補間フレームにおいて誤った動きベクトルが使用される可能性が低くなり、フレームレート変換後にも正確な動画像を得ることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態では、現フレームと遅延フレームとの中間時点の被補間フレームを生成する場合について説明したが、同様の手法により、現フレームと遅延フレームを二等分、三等分（またはそれ以上）する複数の被補間フレームを作成できることは当業者であれば明らかである。

実施の形態では、フレームレート変化において被補間フレームを作成する場合の動きベクトルの導出に本発明を適用することを説明したが、本発明の方法を動画像符号化時の動きベクトルの導出にも適用することができる。本発明の方法を用いて導出された動きベクトルを動画像符号化に用いることで、符号量は通常の手法よりも増大する可能性はあるものの、画質を向上させることができる。

１０フレームレート変換装置、１２フレーム選択部、１４動きベクトル導出部、１６被補間フレーム作成部、２０候補ベクトル生成部、２２ブロックテクスチャ抽出部、２４平均色計算部、２６動きベクトル選択部、２８色成分処理部、３０輝度差計算部。

特開２００５−０３３７８８号公報

Claims

時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する装置であって、
動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、
前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出するブロックテクスチャ抽出部と、
前記ブロックテクスチャ抽出部で抽出された複数のブロックテクスチャのそれぞれについて、ブロックテクスチャを構成する画素の隣接画素間の輝度差の累積値を計算する輝度差計算部と、
前記累積値の最大値が残りの累積値よりも所定倍以上の大きさであるとき、最大値が得られたブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、
を備えることを特徴とする動きベクトル導出装置。
前記複数のブロックテクスチャのそれぞれについて、ブロックテクスチャを構成する画素のＲ成分およびＢ成分の平均値を計算する平均色計算部と、
前記Ｒ成分の平均値から前記Ｂ成分の平均値を減算した差分値を求める色成分処理部と、をさらに備え、
前記動きベクトル選択部は、前記累積値の最大値が残りの累積値よりも所定倍未満の大きさであるとき、前記差分値が最大であるブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択することを特徴とする請求項１に記載の動きベクトル導出装置。
時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する方法であって、
動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成し、
前記候補ベクトルが生成された画像フレーム内のブロックをブロックテクスチャとして抽出し、
抽出された複数のブロックテクスチャのそれぞれについて、ブロックテクスチャを構成する画素の隣接画素間の輝度差の累積値を計算し、
前記累積値の最大値が残りの累積値よりも所定倍以上の大きさであるとき、最大値が得られたブロックテクスチャから生成された候補ベクトルを前記対象ブロックの動きベクトルとして選択する
ことを特徴とする動きベクトル導出方法。