JP2009542080A - 大域的動き推定方法 - Google Patents

Abstract

大域的動き推定において、入力ビデオ信号のフレーム(FR1,FR2,FR3,FR4)のプロファイル(Prof1,Prof2,Prof3,Prof4)を決定する。各プロファイルは、フレームの第１方向のピクセル毎に値を有し、この値は、フレームの第２方向のピクセルを組み合わせることによって得られる。プロファイルを第１シフト値(Δx₁₂,Δx₂₃,Δx₃₄)で更新して、更新したプロファイル(Prof1’,Prof3’,Prof3’)を得て、更新したプロファイルどうしを整合して第２シフト値(Δx’12,Δx’23)を得る。第１シフト値は０のシフト値であることが好ましい。この更新は、プロファイルの１つを第１シフト値だけシフトしてシフトしたプロファイルを得て、このシフトしたプロファイルから他のプロファイルを減算することによって実行することができる。第２方向が垂直方向である場合には、プロファイルは、水平方向のピクセル毎に、垂直方向に結合した（例えば平均した）ピクセル値を備えることができる。

Description

（発明の分野）
本発明は、大域的（グローバル）動き推定のための方法及び装置に関するものである。

（発明の背景）
動き推定全般、特に大域的動き推定は、ビデオ処理のうちの一般的な行動分野である。大域的動き推定は通常、時間的補間及びカメラ安定化のような広範なアルゴリズムを可能にする技術として役立つ。大域的動き推定は時として、ブロック／ピクセル精度の動き推定の費用効果的な代替法として用いられる。

大域的動き推定における基本的問題は、大域的動きと大域的でない動きとを区別することである。大域的動き推定は、画像中の全ての動きが少数のパラメータに集約されることを仮定する。大域的動き推定のこうした仮定が成り立たない際には、大域的動き推定は信頼性のない結果を出す、というのは、大域的動き推定は単純な答えを出すように設計されているからであり、単純な答えは、例えば１つ以上の独立して移動するオブジェクト（物体）を伴う大域的動きのシーンは説明できない。

まだ満足に解決されていない問題は、大域的動き推定を用いて、前景（フォアグラウンド）オブジェクトの存在中に背景（バックグラウンド）の動きを確実に見出すことができるか否か、大域的動き推定を用いて、この前景オブジェクトの動き推定することができるか否か、及び動きが大域的である時点を知る方法に関するものである。

本発明の目的はとりわけ、改善された大域的動き推定方法を提供することにある。本発明は独立請求項に規定される。有利な好適例は、従属請求項に規定される。

本発明による大域的動き推定では、入力ビデオ信号のフレームのプロファイル（特徴値）を測定する。各プロファイルは、フレームの第１方向のピクセル毎の値を含み、この値はフレームの第２方向のピクセルを組み合わせることによって得られる。これらのプロファイルを第１シフト値で更新して更新プロファイルを得て、更新プロファイルを整合（マッチング）して第２シフト値を得る。第１または第２シフト値は０のシフト値であることが好ましい。このことは、字幕、あるいはフレーム間で静止したままであるスクリーン上の他のグラフィックスのような静的構造を除去する際に特に有利である。０のシフト値は、本発明の方法の１つの段階で自動的に適用することができ、あるいは、本発明の方法は、プロファイルに０のシフト値を適用する前に、シフト値の値０においてプロファイル間の差に極小値が存在するかをテストすることができる。より一般的には、第１シフト値は、互いに異なるフレームのプロファイルどうしを整合することによって得られる。上記更新は、これらのプロファイルの１つをこのシフト値だけシフトして、シフトしたプロファイルを得て、シフトしたプロファイルから他のプロファイルを減算することにより実行することができる。上記第２方向が垂直方向であれば、プロファイルは、水平方向のピクセル毎の、垂直方向に結合した（例えば平均した）ピクセル値で構成することができる。異なるシフト値の値において、更新したプロファイルの対を同様の方法で比較して、最小の誤差を生じさせるシフト値を見出すことができる。

本発明の１つの様態は、単純な大域的動き推定を反復的方法で用いて、前景オブジェクトの存在中に背景の動きを確実に推定し、そしてビデオ中の前景オブジェクトの動きも推定する、即ち、より大きい背景に加えて前景オブジェクトを見出す方法を提供する。

本発明の他の様態は、大域的動き推定によって見出される解の品質を定量化する方法を提供し、これにより、解が大域的である度合い、あるいは追加的な前景オブジェクトが顕著に存在する度合いを判断することができる。

本発明の好適例では、プロファイル整合を適用する。水平位置毎に別個に、垂直方向に平均したピクセル値（従って、全てのビデオラインの平均）を定める。この方法で、フレーム毎の水平プロファイルを生成する。こうした水平プロファイルを用いて、１つのフレームのプロファイルを他のフレームのプロファイルに対して比較することによって、例えば、可能なシフト値毎に絶対差の平均値を定めることによって水平シフト値を検出することができ、最小の差が生じるシフト値が（主（メイン））水平シフト値を表す。同様の方法で、ラインの全ピクセルを水平方向に平均することによって垂直プロファイルを得ることができ、この垂直プロファイルを用いて、垂直シフト値または垂直の動き成分を検出することができる。従って、水平及び垂直の動き成分を得るために、本発明の方法を２回実行する。平均の代わりに、加算のような他の演算を用いることができることは明らかである。

本発明の１つの様態によれば、二次シフト値を決定するために、最適なシフト値におけるプロファイルを減算することによって残差を計算し、こうして最初の解をデータから除去する。そして、主（メイン）シフト値を決定するために用いたのと同じ整合手順を用いて残差プロファイルを整合することによって、二次シフト値を見出すことができる。

一旦、二次シフト値を決定すると、元のプロファイルをこの二次シフト値で更新し、再び主シフト値を推定する。このようにして、主シフト値をより正確に推定することができる、というのは、データはもはや二次シフト値に影響されていないからである。

好適例では、０の動き成分（字幕のような静的構造）を最初に除去し、その後に背景の動きを確実に検出することができる。静的構造はＴＶ画像に共通の問題であり、追加的演算コストが限られていると思われる際には、０のシフト値の存在を常にチェックすることが推奨される。そして、第２段階の大域的動き推定は、フレームの差のプロファイルを整合することになる。

演算を施すフレームは、映像信号中で互いに直接隣接するものとすることができる。例えば、入力ビデオ信号が１、２、３...と番号付けしたフレームを有する場合には、本発明の方法は、フレーム１と２、フレーム２と３、等に演算を施すことができる。しかし、演算を施されるフレームは、例えば４フレーム毎、またはフレーム毎のように、入力ビデオ信号中でより広い間隔をおくことができる。演算を施すフレームの時間間隔は、本発明の方法を実行するために利用可能なリソース、及び推定する動きの速さのような要素に基づく。

本発明の機能はソフトウェア、ハードウェア、あるいはこれらの組み合わせによって実現することができる。本発明は、いくつかの区別される要素から成るハードウェアによって、そして適切にプログラムされたプロセッサによって実現することができる。従って、本発明の他の態様は、コンピュータまたはプロセッサによって実行されると本発明の方法を実現する命令（コード）を具えたソフトウェアを提供する。このソフトウェアは、電子メモリデバイス、ハードディスク、光ディスク、または他の機械可読の記憶媒体によって目に見える形で実現することができ、あるいはネットワーク接続を経由して処理装置にダウンロードすることができる。

本発明のこれら及び他の態様は、以下に説明する非限定的な実施例を参照すれば明らかになる。

互いに１０ピクセルだけシフトした２つのフレームの、ライン平均ピクセル値のプロファイルを示す図である。 図１の２つのプロファイル間の整合誤差を示す図である。 現実のシーンにおいて連続する２つのフレームのプロファイルを示す図である。 図３の場合について、整合誤差をピクセルシフト値の関数として示す図である。 図３に示すプロファイルの残差を示す図である。 整合誤差を、図５の残差プロファイルのピクセルシフト値の関数として示す図である。 反復的整合手順のブロック図である。 信頼性の評価基準を示す図である。

図１に、互いに１０ピクセルだけシフトした２つのフレームについての、ライン平均（１ライン分を平均した）ピクセル値のプロファイル（ライン平均ＬＡ対ピクセル番号ＰＩ）を示す。第１フレームは点線で表し、第２フレームは実線で表す。これらの曲線は、水平方向の１０ピクセルのシフト以外は同一である。

図２に、図１の２つのプロファイル間の整合誤差（マッチングエラー）ＭＥを（差の絶対平均として）、第１フレームから第２フレームへの水平ピクセルシフト値ＰＳの関数として示す。正確に１０ピクセルのピクセルシフト値（Δｘ）において整合誤差が０になる。さらに、マッチング誤差は明確に鋭いプロファイル、従って整合誤差の明らかな大域的な最小値を示す。

図３に、右向きに移動する背景ＢＧ、及び静止した前景ＦＧを有して字幕の高コントラストのエッジが前に出ている現実のシーン中の２つの連続するフレーム（点線で示すフレームＦＲｎ、及び実線で示すフレームＦＲｎ＋１）のプロファイル（ライン平均ＬＡ対ピクセル番号ＰＩ）を示す。この場合には、プロファイルのいくつかの部分は一致し（水平方向の動きがないことを示す）、他の部分では一致せず約１０ピクセルだけシフトしていることがわかる。ここでは、大域的な（水平方向の）動きに対する１つだけではなく少なくとも２つの解が存在する。

図４に、図３の場合についての、整合誤差ＭＥをピクセルシフト値ＰＳの関数として示す。なお、この曲線は２つの極小値：即ち、背景の動きによって生じた＋１０ピクセルの所の大域的極小値（ＢＧ）、及び静止した前景によって生じた０ピクセルの所の局所的極小値（ＦＧ）を示す。従って、図２とは対照的に、このプロファイルは単一の鋭く明確な極小値を規定しない。

図５に、図３に示すプロファイルの残差（ライン平均した差分ＤＩＦ−ＬＡ対ピクセル番号ＰＩ）を示す。Δｘ＝０のシフト値における第１の解は、連続するフレームのプロファイルの減算をすることによって除外されている。点線は２つのフレーム、例えばフレームＦＲｎ及びフレームＦＲｎ＋１の残差のプロファイルを示し、実線は次のフレーム対、即ちフレームＦＲｎ＋１及びフレームＦＲｎ＋２の残差のプロファイルを示す。なお、図３のプロファイルとは対照的に、これらの残差のプロファイルどうしは形状が非常に類似し、水平方向のシフトのみが異なる。

図６に、整合誤差ＭＥを、図５の残差プロファイルのピクセルシフト値ＰＳの関数として示す。図４と比較すれば、シフト値Δｘ＝０における解はプロファイルから除外されている。ここで残差の整合は、約１０ピクセルのΔｘの所の明確な極小値における第２の解を明らかに示す。図２の「純然たる」大域的動きについての理想的な整合誤差も参照されたい。

図７は、反復的整合手順のフローチャートを示す。連続するフレームＦＲ１、ＦＲ２、ＦＲ３、ＦＲ４が、プロファイル（Ｐｒｏｆ１／Ｐｒｏｆ２／Ｐｒｏｆ３／Ｐｒｏｆ４）の計算（「プロファイルを計算」）の初期入力の役割をする。次に、これらのプロファイルをシフト／整合演算Ｓ／Ｍで比較して、最適な整合及びこれに対応するシフト値Δｘ１２、Δｘ２３、及びΔｘ３４を生成する。上から３行目では、プロファイルを更新する演算（「プロファイルを更新」）においてこれらのプロファイルを更新し：即ち、これらのプロファイルは最適なシフト値Δｘ１２、Δｘ２３、Δｘ３４だけシフトした後に互いに減算する。最後に、更新したプロファイルを、２回目のシフト／整合演算Ｓ／Ｍにおいて比較して第２の解、従って第２組の最適なシフト値Δｘ’１２、Δｘ’２３を生成する。理論的には、この処理は全ての解を見出すまで反復することができる。追加的な反復毎に、プロファイルを更新する演算（「プロファイルを更新」）及びシフト／整合演算（Ｓ／Ｍ）の行を更に追加することによって、ブロック図を下方に拡張する。

信頼性の評価基準を適用して、解（即ち極小値）の品質を定量化し、本発明が提案する方法から生じる大域的動きベクトルを受け入れるか切り捨てるかを決定することができる。信頼性の評価基準は、大域的極小値が明確である（即ち、極小値が「鋭いくぼみ」であるか？）場合に信頼性が高く、かつ局所的極小値が顕著でないことを表現する。信頼性の評価基準を例示するために、図８に、整合誤差（ＭＥ）対ピクセルシフト値（ＰＳ）のグラフを示す。第１に、（シフト値ＰＳ＝１０ピクセルに位置する）大域的極小値から±ｄの値だけオフセットしたピクセルシフト値における応答の高さを調べる。極小値が鋭く定まっている場合には、これらの±ｄの点における垂直距離Δｙ１、Δｙ２が大きいはずである。第２に、他のあらゆる極小値の高さ（Δｙ３）を調べる。これらの他の局所的極小値の高さは大きいはずである。これら３つの値の最小値を範囲［０...１］に再マッピングして、０は「信頼性がない」、１は「十分信頼性がある」という信頼性の評価基準を生み出すことができる。あるいはまた、他のいくつかの演算を、これらの値の１つ以上に基づいて実行することもできる。この例では、局所的極小値が過度に顕著である（即ち、Δｙ３が小さ過ぎる）際に信頼性が低い。

信頼性の評価基準は、シフト値を選択するために使用することもできる。シフト／整合演算中に、図４に示すような、可能なシフト値の範囲についての整合誤差の値が得られる。整合誤差対シフト値のグラフは複数の可能な極小値を有し得る。信頼性の評価基準は可能な極小値毎に計算することができ、信頼性の評価基準を用いて、「最良」品質の極小値、及びこの極小値に対応するシフト値を選択することができる。そして、その後にプロファイルを更新する際に、このシフト値を用いる。

本発明の好適な実施例は次のように要約することができる。シフトすることによってプロファイルを整合し、このことは最小の整合誤差における第１の解を生じさせる。それから、第１の解だけシフトした後に、プロファイルどうしを減算することによってプロファイルを更新する。そして、更新したプロファイルをシフトすることによって、最小の整合誤差における第２の解を得る。両方の解の品質を、信頼性の評価基準（「極小値が明確な極小値であるか？」）を用いて計算する。この方式は、支配的な（ピクセル数の多い）背景シーン中の前景オブジェクトを見出すことを可能にし、このことは例えば、カメラがオブジェクト／俳優を追跡し、従ってカメラ画像上では静止しているが、捕捉したビデオ上に背景の移動が生じている際にしばしば発生する。

その特別な場合には、上記アルゴリズムはまず、０のシフト値を有するプロファイルを減算する（即ち、静的構造を除外する）ことによってプロファイルを更新する。そして、更新したプロファイルをシフトすることによって整合させて、何らかの解を見出す。信頼性の評価基準を用いて、両方の解の品質を計算する。この特別な場合は、意味のある、より容易な場合である。静的構造はＴＶ画像に共通の問題であり、追加的演算コストが限られていると思われる際には、０のシフト値の存在を常にチェックすることが推奨される。よって、ＴＶ画像はゼロシフトの存在を常にチェックすることが推奨される。まず０のシフト値を適用することが好ましいが、静的構造を除去するために、０のシフト値は代わりに、プロファイルを更新する第２段階で用いることもできる。

図７のフローチャートでは、本発明の方法は下向きに進んで、第１、第２、第３、等のシフト値を決定する。各段階において、更新したプロファイルを用いる。本発明の代案実施例では、一旦第２シフト値を決定すると、元のプロファイル（即ちプロファイルＦＲ１、ＦＲ２、ＦＲ３）を第２シフト値で更新する。即ち、元のプロファイル１つを第２シフト値だけシフトし、そして元のプロファイルの他のものから減算する。このことは二次的な動き（第２シフト値）を除去する効果を有する。そして、この演算から生じた更新したプロファイルを、シフト値を変化させて比較して、更新したプロファイル間の差の極小値を与えるシフト値を特定する。この極小値は、大域的動きによる主たるシフト値を表すはずである。この実施例は、更新されたプロファイル中のデータがもはや二次的な動きの影響を受けていないので、主たるシフトをより高い精度で特定することができるという利点を有する。

なお、上述した実施例は本発明を限定するものではなく例示するものであり、当業者は請求項の範囲を逸脱することなしに多くの代案実施例を設計することが可能できる。「フレーム」の概念は「フィールド」の概念を含む。この指定を用いてテレビ受像機または他のビデオ信号処理装置内で使用されるビデオプロセッサをプログラムして、エンハンスト（拡張）ビデオ信号を得ることができる。こうしたエンハンストビデオ信号は、入力ビデオ信号に比べて増加した１秒当りのフィールド数を有するか、あるいはインタレース入力ビデオ信号のノンインタレース版であるか、あるいはフィルムからビデオへの信号変換によって生じるアーティファクトを除去するための処理を施されているか、あるいは手持ちカメラの意図しない動きを補償されていることがある。「備えている」等は、請求項中に挙げた以外の要素またはステップの存在を排除するものではない。各要素は複数存在し得る。本発明は、いくつかの区別される要素を備えたハードウェア、及び／または適切にプログラムしたプロセッサによって実現することができる。いくつかの手段を挙げた装置の請求項では、これらの手段のいくつかはハードウェアの同一アイテムによって具体化することができる。単に、互いに異なる従属請求項中に特定の方策が挙げられていることは、これらの手段の組合せを有利に用いることができないことを示すものではない。

Claims (14)

1. 大域的動き推定の方法において、
   入力ビデオ信号のフレームのプロファイルを決定するステップであって、前記プロファイルの各々が、前記フレームの第１方向のピクセル毎の値を備え、この値は、前記フレームの第２方向のピクセルを組み合わせることによって得られるステップと、
   前記プロファイルの１つを、前記第１方向のピクセルのシフト量を表現する第１シフト値だけシフトし、前記シフトしたプロファイルから他の前記プロファイルを減算することによって前記プロファイルを更新するステップと、
   前記更新したプロファイルどうしを比較して、前記更新したプロファイル間の差の極小値を生じさせる少なくとも１つの第２シフト値を得るステップと
   を備えていることを特徴とする大域的動き推定方法。
2. 請求項１に記載の方法において、さらに
   前記フレームの前記プロファイルを、１つのフレームのプロファイルを他のフレームのプロファイルに対してシフトすることによって比較して、前記プロファイル間の差の極小値を生じさせる少なくとも１つの第１シフト値を決定するステップと、
   前記プロファイルを更新する際に、前記決定した第１シフト値の１つを用いるステップと、
   を備えていることを特徴とする方法。
3. 請求項１または２に記載の方法において、さらに、前記フレームの前記プロファイルを比較する際に得られたシフト値の信頼性の評価基準を計算するステップを備えている方法。
4. 請求項３に記載の方法において、前記信頼性の評価基準が、少なくとも、
   前記シフト値の位置における応答の鋭さ、
   他の極小値
   の少なくとも一方に基づくことを特徴とする方法。
5. 請求項３または４に記載の方法において、さらに、前記信頼性の評価基準を用いて、前記シフト値の品質を定量化するステップを備えていることを特徴とする方法。
6. 請求項２〜５のいずれかに記載の方法において、さらに、複数の可能な前記第１シフト値を決定した場合に、前記可能な第１シフト値毎の前記信頼性の評価基準を用いて、前記プロファイルを更新するステップにおいて使用する前記第１シフト値を選択するステップを備えていることを特徴とする方法。
7. 請求項１〜６のいずれかに記載の方法において、さらに
   前記プロファイルを前記第２シフト値で更新して第２更新プロファイルを得るステップと、
   前記第２更新プロファイルどうしを比較して、前記第１シフト値のより良好な推定値を得るステップと
   を備えていることを特徴とする方法。
8. 請求項１〜６のいずれかに記載の方法において、さらに、前記比較するステップ及び前記更新するステップを反復的に実行して他のシフト値を識別するステップを備えていることを特徴とする方法。
9. 請求項１〜８のいずれかに記載の方法において、前記第１シフト値または前記第２シフト値が０のシフト値であることを特徴とする方法。
10. 請求項１〜９のいずれかに記載の方法において、前記第２方向が垂直方向であり、前記プロファイルが、水平方向のピクセル毎に、垂直方向に結合したピクセル値を備えていることを特徴とする方法。
11. 請求項１〜１０のいずれかに記載の方法において、さらに、
    入力ビデオ信号のフレームの第２組のプロファイルを決定することによって前記方法を実行するステップであって、前記第２組のプロファイルの各々が、前記フレームの前記第２方向のピクセル毎の値を備え、この値は、前記フレームの前記第１方向のピクセルを組み合わせ、前記第２組のプロファイルを用いて前記プロファイルを比較するステップ及び前記プロファイルを更新するステップを実行することによって得られるステップを備えていることを特徴とする方法。
12. 請求項１〜１１のいずれかに記載の方法を実行するようにプログラムされていることを特徴とするビデオプロセッサ。
13. エンハンストビデオ信号を得るための請求項１２に記載のビデオプロセッサと、
    前記エンハンストビデオ信号を表示するためのディスプレイと
    を備えていることを特徴とするテレビ受像機。
14. 請求項１〜１１のいずれかに記載の方法を実行することを特徴とするソフトウェア。

Images