JP2011060282A - 動き領域の非線形スムージングを用いた動き検出方法およびシステム - Google Patents

Abstract

【課題】複雑ではない、動きベクトルフィールドの非線形拡散フィルタイリング方法およびシステムを提供する。
【解決手段】非線形拡散フィルタにおける局所的重みは、データ適合であり、本発明の一実施形態によると、対称境界は明示的に検出されないが、空間コヒーレンスが対象境界において実行されるように算出される。したがって、本発明に係る方法およびシステムは、対象境界を越えて動きベクトルフィールドをスムージングせずに動きベクトルフィールドをスムージングする。本発明に係る第二形態によると、低信頼値の動きベクトルが減少し、高信頼値の動きベクトルが増加する。本発明に係る他の形態によると、動き検出方法およびシステムは、本発明に係る非線形拡散フィルタリングの方法およびシステムを内蔵する。
【選択図】図２

Description

本発明の実施形態は、概して、動き検出のための方法およびシステムに関する。具体的には、動き領域スムージングを用いた動き検出のための方法およびシステムに関する。

オプティカルフロー検出および変位検出とも呼ばれる動き検出では、ビデオシーケンス中の異なるビデオフレーム（画像）における領域と領域との対応が検出される。カメラの動きに加え、ビデオシーケンスとして撮像された実際のシーンでのオブジェクトの動きは、ビデオフレームにおける視覚パターンの動きとなる。実際の動き検出の目標は、あるフレームから別のフレームまでの視覚パターンの２次元（２Ｄ）の動きを検出し、検出した２Ｄの動きを実際の３次元（３Ｄ）シーンの動きの投影であるように構成することにある。局所動き検出とは、例えば１画素または小ブロックの画素などの小さい画像領域の動きベクトルの検出を指す。小ブロックの例としては、２×２、４×４、８×８、および少ない画素数を含む他のブロックなどが挙げられる。動き領域とは、全画像またはビデオフレームに渡る全画素または画素ブロックの動きベクトル群のことである。検出された動き領域は、例えばビデオ処理、ビデオコーディング、コンピュータビジョン、ならびに他の映像および画像処理分野などの様々な分野での用途に利用されている。用途の一例として、動き補正ビデオコーディング、動き補正ビデオフィルタリング、および動き補正フレーム補間が挙げられる。

動き検出方法の重要な種類として、勾配法による動き検出が挙げられる。勾配法による動き検出において、局所動きは、動きベクトルが検出される画素位置に隣接した隣接部において実質的に一定であるようにモデル化される。隣接部は、局所分析ウィンドウ、分析ウィンドウ、またはウィンドウと呼ばれる。ウィンドウ中の画素データにおける、時空間勾配とも呼ばれる時空間微分値は、その時空間微分値に関する動きに対応する動きベクトル、変位ベクトルまたは他のパラメータを算出するために検出および使用される。

他の重要な動き検出方法の種類は、ブロックマッチングである。ブロックマッチングでは、既定の領域において候補の画素ブロックの中から検索することによって、１フレームにおける画素ブロックが他のフレームにおける画素ブロックと照合される。

殆どの動きモデルに使用される仮定は、全ての画像位置に適用できるわけではない。そのため、理論上および実際上、動き検出は極めて困難な課題とされる。例えば、画素または画素ブロックの色、輝度、明度は、ある動画フレームから次の動画フレームまで維持されるという基本的な仮定は、そのシーンにおける実際の対象は３Ｄの特性を有しているため、およびそれら対象に対する光の照射のために適用できないこともある。さらに、動きモデルを限定するにはデータが不十分である場合、例えば、色または輝度関数が局所的に極めてフラットまたは１次元的である場合、つまり開口問題と証される問題が生じた場合に対する確かな解決策は得られていない。加えて、ある画像に現れている領域が他の画像に現れないことがある。これの現象は、遮断、例えば背面領域はその前面で動く対象によって遮られたり、遮られなかったりすることが原因である。

分析ウィンドウ内に複数の対象が存在する可能性があることから、勾配法による動き検出アプローチに関する問題が生じる可能性がある。複数の対象の各々が、撮像されたシーン内において、異なる動きをしている可能性があることから、局所における動きは、隣接部において実質的に一定であるようにモデル化される。分析ウィンドウ内に複数の動きが存在すると、検出対象の動きベクトルまたは他の動きパラメータを正確に検出できないことがある。

加えて、分析ウィンドウ内のデータは、例えばカメラノイズ、圧縮ノイズ、または他のノイズにより、１つ以上のノイズ成分を含んでいる可能性がある。分析ウィンドウ内のデータにノイズが含まれていると、動きベクトルまたは他の動きパラメータを正確に検出できない可能性がある。上記問題は、正確に動き検出ができるほど分析ウィンドウが大きくない場合に特に顕著となる。

上記または他の問題を軽減するために、動きベクトルフィールドの検出に対して正規化が行われることがある。検出を制限するために、正規化は、例えば、空間コヒーレンスの仮定を用いて行われる。空間コヒーレンスは、実世界の面が空間的な広がりをもち、同一面上の領域は、同じまたはほぼ同じ動きで動くという概念に基づいている。空間コヒーレンスの概念により、動きの平滑性が制限される。しかし、空間コヒーレンスの仮定は、運動境界においては当てはまらない。当該運動境界は、対象境界と重なっていることが多く、それによって、特に運動境界において平滑すぎる動き領域が生じる。

運動境界において動き領域を過剰にスムージングすることなく動き領域の空間コヒーレンスを向上させるとともに、明白な重複の検出を必要としない、計算効率の高い動き検出システムおよび方法が必要とされている。

本発明に係る一実施形態は、動き領域の非線形拡散フィルタリング方法およびシステムを含む。

本発明に係る一形態によると、フィルタサポートにおける各画素位置でのデータ適合フィルタの重みは、フィルタサポートにおける位置の画素値と、フィルタサポートの中心位置の画素値との差に基づいて求められる。

本発明に係る他の形態によると、フィルタサポートにおける各画素位置でのデータ適合フィルタの重みは、フィルタサポートにおける上記画素位置での動きベクトルの信頼度値に基づく。

本発明に係る他の形態によると、データ適合フィルタの重みは、本発明に係る上記形態の１つに基づいて求められた複数のデータ適合フィルタの重みの組み合わせである。

本発明に係る一実施形態では、動き検出方法およびシステムは、本発明に係る一形態に基づく、動き領域の非線形拡散フィルタリングを含む。

添付の図面を参照し、以下の本発明の詳細な説明を考慮すれば、本発明に係る上記および他の目的、特徴および利点を容易に理解することができる。

本発明によれば、運動境界において動き領域を過剰にスムージングすることなく動き領域の空間コヒーレンスを向上させることができる。

二値化された区分的定数関数である関数的関係を示す図である。 ある位置の画素値とフィルタサポートにおける中心位置での画素値との差に基づきデータ適合型の重みを検出することを含む、本発明に係る実施形態の一例を示すフローチャートである。 三値化された区分的定数関数である関数的関係を示す図である。 ある位置での動きベクトルの信頼度値に基づき当該位置でのデータ適合型の重みを検出することを含む、本発明に係る実施形態の一例を示すフローチャートである。 ある位置の画素値とフィルタサポートにおける中心位置での画素値との差に基づき第一データ適合型の重みを検出すること、および、ある位置での動きベクトルの信頼度値に基づき当該位置での第二データ適合型の重みを検出することを含む本発明に係る実施形態の一例を示すフローチャートである。当該位置での第一データ適合型の重みおよび当該位置での第二データ適合型の重みは、組み合わされて当該位置でのフィルタの重みを形成する。 画像のマルチスケール表示を示す図である。 本発明の実施形態に基づく非線形拡散フィルタリングを含むマルチスケール動き検出を有する本発明に係る実施形態の一例を示すフローチャートである。 動きベクトルフィールドをフィルタリングするシステムを示す図である。

図面を参照することによって、本発明に係る実施形態をよく理解することができるであろう。当該図面では、同様の部材には同様の番号を付して表す。上述した図面は、本詳細な説明の一部として明示的に組み込まれている。

図面において概説および図示された本発明に係る構成要素を種々に異なる形態に配置および設計してもよいことが容易にわかる。したがって、本発明に係る方法およびシステムの実施形態についてのより詳細な説明は、本発明の範囲を制限する意図はなく、本発明の好適な実施形態を例示しているに過ぎない。

本発明に係る実施形態の要素は、ハードウエア、ファームウエアおよび／またはソフトウエアに統合される。本願に開示された実施形態の一例は、これらの形態のうちの１つを説明しているに過ぎず、当業者であれば、本発明の範囲を逸脱せずに、これらの要素をいずれかの形態にて実行できることがわかる。

一例として、本発明に係る一実施形態を単一チャネル画像に基づいて説明する。本発明に係るこれらの実施形態の説明は、本発明の範囲を限定するものではなく、当業者であれば理解できるように、本発明は、マルチチャネル、色および他の非単一チャネル画像に関する同様に効果的な実施形態を含み得る。さらに、本願に記載された本発明に係る実施形態の一例は、単一の変位ベクトルに基づいて説明される。本発明に係るこれらの実施形態の説明は、本発明の範囲を限定するものではなく、本発明は、当業者であれば理解できるように、アフィン運動や他のモデルなどの他の動きモデルに関する同様に効果的な実施形態を含み得る。

動き検出では、現行画像における注目２Ｄ領域が、動きベクトル、変位ベクトルまたは他の動きパラメータによって参照画像における対応の２Ｄ領域に関連付けされる。説明のために、現行画像をｆ（ｘ，ｙ）と表し、参照画像をｇ（ｘ，ｙ）と表す。ｘおよびｙは、画像内の画素位置の座標を表す。画素値ｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）は、階調値、輝度値、または画像に関する他の値を表す。現行画像および参照画像という２つの画像は、ビデオシーケンスにおける２つのフレームである。現行画像における領域は、画像における、単一画素位置に関連する領域、複数の画素位置である矩形ブロックに関連する領域、または任意形状に関連する領域である。局所動き検出は、例えば単一画素または小ブロック画素などの小さい画像領域における動きベクトルを検出する。現行画像における各画像領域、画素、ブロックまたは領域と、動きベクトルとを関連付ける。全ての画像領域に関する全ての動きベクトルを動きベクトルフィールド、動き領域、変位領域または変位ベクトルフィールドと称する。また、画像における２Ｄ移動をフローまたはオプティカルフローと称する。

現行画像と参照画像との違いは、主に、撮像されたシーン内の対象の動きによるものとみなされる。したがって、対象がそのシーンの動きの投影に従って変位している可能性があっても、第一画像において見られた対象の一部が第二画像においても見られる可能性が高い。

ビデオ符号化、映像処理、および他のビデオ用途など実際に広く実施および使用されている方法の１種として、ブロックマッチングがある。ブロックマッチングでは、現行画像を矩形ブロックに分け、参照画像における最もマッチするブロックを検索することによって、各ブロックについての動きベクトルを検出する。

周知の方法の他のものとして、勾配法による動き検出が挙げられる。勾配法による動き検出は、また、差動動き検出またはオプティカルフロー検出とも呼ばれる。これらの方法では、動きベクトル、オプティカルフローベクトルまたは変位ベクトルを、時空間画像微分、または画像差に基づいて算出する。ブロックマッチングは最良の動きベクトルを検索する処理を含むが、勾配法による技術では動きベクトルを直接計算することが可能である。

動き検出は粗密（coarse-to-fine）法にて実行されてもよい。この場合、粗動領域が最初に検出され、続いて高解像度化が繰り返される。当該手法は、マルチスケール動き検出、多重解像度動き検出、階層動き検出、またはピラミッドベース動き検出とも呼ばれる。画像解像度を落とした状態で粗検出を行う。その後、所望の解像度まで解像度を順次上げ、各解像度での追加のディテールを加えていくことによって、低解像度の動き領域を高解像度化する。ブロックベースの動き検出技術および勾配法による動き検出技術は、共に、階層的な方法を含むように改良されてきた。

本発明の実施形態を説明するために、以下の表記を用いる。現行の２Ｄ画像またはビデオフレームをｆ（ｘ，ｙ）と表し、参照の２Ｄ画像またはビデオフレームをｇ（ｘ，ｙ）と表す。現行画像において（ｉ，ｊ）と表された位置に関する動きベクトルをＶ（ｉ,ｊ）＝（ｕ(ｉ,ｊ),ｖ(ｉ,ｊ)）^Tとし、これを変位ベクトルまたは動きベクトルと呼ぶ。ｕおよびｖは、それぞれ水平成分および垂直成分である。（ｉ，ｊ）への依存度を便宜上省略し、動きベクトルをＶ＝(ｕ,ｖ) ^Tと表す場合もある。

本発明に係る一実施形態として、現行フレームを受信する構成としてもよい。また、動きフィールドを、動き領域スムージングシステム、動き検出システム、または他のいずれかの映像処理システムにおける動き領域フィルタにて受信する構成としてもよい。一実施形態として、動きベクトルフィールドが現行フレームにおける位置に関連付けられ、当該動きベクトルフィールドにおける各位置が現行フレームにおける位置に対応する構成としてもよい。一実施形態として、動き領域は、注目する複数の位置での動きベクトルの初期検出を含む構成としてもよい。他の実施形態では、動き領域は、注目する複数の位置での粗密検出を用いた動きベクトルの中間検出を含む。注目する位置を（ｉ，ｊ）と表す。

本発明に係る実施形態に基づき、動き領域をフィルタリングする。これらの実施形態は、動き領域における各位置について求められた重みを用いて行われる、ウィンドウ中心位置での動きベクトルフィールドのフィルタリングを含む。これらの実施形態は、以下のように、局所的な重み付け平均化を含む非線形拡散フィルタの使用を含む。

このとき、Ω_iｊは、注目する位置（ｉ，ｊ）の隣接部である。当該隣接部は、注目する位置に関する局所ウィンドウ、またはフィルタサポートとも呼ばれる。局所ウィンドウは、注目する位置の周りの領域（隣接部）の特性（例えば画素値のバラツキなど）から、注目する位置の動きベクトルフィールドパラメータを算出する。動きベクトルフィールドのフィルタリングに使用される局所ウィンドウは、動きベクトルの初期検出に使用される局所ウィンドウとは異なっていてもよい。

一実施形態として、ウィンドウの中心が、注目の位置（ｉ，ｊ）にほぼ位置するようにウィンドウを配置する構成としてもよい。したがって、ウィンドウの中心は（ｉ，ｊ）の近傍にあるので、（ｉ，ｊ）をウィンドウの中心位置（ウィンドウ中心位置）と称することもできる。座標指数（ｍ,ｎ）は、ウィンドウ内の位置を表す。フィルタ係数ｗ（ｍ,ｎ）は、本発明の実施形態に従って動きベクトルフィールドの領域内の位置について求められた重みであり、データ適合型の重みである。

本発明に係る一実施形態として、上記重みは、例えば０．０≦ｗ（ｍ,ｎ）≦１．０の範囲であるという構成としてもよい。

本発明に係る一実施形態として、位置（ｍ,ｎ）での重みは、画素値ｆ（ｍ,ｎ）の差（絶対差）、および

に基づくウィンドウ中心部での画素値ｆ（ｉ,ｊ）に基づくものであってもよい。関数Ｆ_１（・）は、ｆ（ｉ,ｊ）とｆ（ｍ,ｎ）との間絶対差が増大するのに応じて減少する。一実施形態では、画素値ｆ（ｉ,ｊ）は、現行フレーム上の対応位置における画素値であり、画素値ｆ（ｍ,ｎ）は、現行フレーム上の対応ウィンドウ中心位置における画素値である。結果得られた重みは、絶対差が小さい場合、１．０の近似値であるが、絶対差が大きくなるにつれ、より小さく、負ではない値まで減少する。図１は、そのような関数１０を表す。

図１に示す関数１０の一例では、上記重み付けは、第一値および第二値を含む、二値化された区分的定数関数Ｆ_１（Δ）に基づく。このとき、

に基づき、

であり、Ｔ_Δは、絶対差の所定の閾値基準であり、ｃ_１は、０．０≦ｃ_１≦１．０である０から１までの閉区間における既定の固定の重みである。例えば、一実施形態では、ｃ_１＝０．０であり、他の実施形態では、ｃ_１＝０．２０である。実施形態の一例では、Ｔ_Δは、Ｔ_Δ＝２０であるように選択される。他の実施形態は、多値化された区分的定数関数Ｆ_１（・）を有する。各区分において一定な関数Ｆ_１（・）を有する本発明に係る実施形態では、計算費用および計算リソースは、動き領域フィルタリングの従来技術よりもずっと少ない。

本発明に係るデータ適合型の重み付けの実施形態では、画素の輝度や明度がゆっくりと変化する領域における動き領域に対してスムージングを行う。対象境界の近傍では、画素の輝度や明度は大きく変化するので、画像において視認可能なエッジが生じる。本発明に係る実施形態では、中心位置の画素値とは大きく異なる画像輝度または明度を有する、フィルタサポートにおける位置は、極めて小さい重みで重み付けされる。したがって、これらの位置の動きベクトルは、局所重み付け平均化にはあまり役立たない。したがって、本発明に係る実施形態に基づいてフィルタリングされた動き領域は、フィルタが対象境界を横断するスムージングを実質的に避けるので、対象境界に沿って鋭角をもつ。対象境界は動き境界と一致することが多く、そのため、本発明に係る実施形態に基づいてフィルタリングされた動き領域は鋭角の動き境界を維持する。

図２を参照しながら、本発明に係る実施形態について説明する。これらの実施形態では、動き領域フィルタを備えたコンピュータシステムが現行フレームまたは現行画像を受け取る（１８）。コンピュータシステムは、入力動きベクトルフィールドも受け取る（２０）。この入力動きベクトルフィールドは現行フレームに関連付けされたものであり、該動きベクトルフィールドにおける各位置が現行フレームにおける位置に対応する。動き領域にフィルタリングされていない位置が残っているかどうかを算出する（２２）。フィルタリングされていない位置がない場合（２３）、フィルタリングを終了する（２４）。フィルタリングされていない位置が残っている場合（２５）、次の位置を求め（２６）、当該位置が現行位置となる。

に従って、フィルタサポートにおける全ての位置（すわなち、各位置）（動きベクトルフィールドにおける領域内の各位置）に関して、重みが算出される（２８）。そして、現行位置の動き領域は、局所重み付け平均化フィルタ（すなわち、領域の各位置に関して算出された重み）

および

に基づき、ウィンドウ中心位置にてフィルタリングされる（３０）。動き領域にフィルタリングされていない位置が残っているかについてさらに算出する（２２）。

本発明に係るデータ適合型の重み付けの他の実施形態では、位置（ｍ,ｎ）の重み（第一の重み）は、（ｍ,ｎ）での動きベクトルに対する信頼度に基づいて算出される。本実施形態では、信頼度は、動きベクトルフィールドにおける各動きベクトルについて、コンピュータシステムに供給される。本発明の実施形態として、加重関数が、ウィンドウ中の信頼度が高い動きベクトルを、１．０に近似の重みで重み付けする構成であってもよい。一方、ウィンドウ中の信頼度が低い動きベクトルは、加重関数により、０．０に近似の重みで重み付けされる。

また、ある位置における動きベクトルについての信頼度は、第一関数と同様に、動き補正画素エラーに基づくという構成にしてもよい。信頼度値は、各動きベクトルにおける信頼の検出結果を示す値である。動き補正画素エラーは、（既知の画素データから）他の特定時点での画素データを検出するために動き補正を実行する場合に生じるゆがみである。動き補正された画素データは、概して、動き検出処理の一部として自動的に計算される。動き検出アルゴリズムの多くは、

として表される輝度は一定であるという条件に拘束されている。このとき、この条件は、位置（ｉ,ｊ）での輝度または明度が現行画像および参照画像に実質的に保たれているという前提に基づく。一次関数の輝度一定の条件

は、利得係数αおよび切片βが参照画像に適用されると想定して輝度一定の条件を緩和することにより得られる。

本発明に係る一実施形態として、位置（ｍ,ｎ）での動き補正画素エラーは、現行画像ｆ（ｍ,ｎ）における画素輝度もしくは明度と、参照画像ｇ（ｍ+ｕ（ｍ,ｎ）,ｎ+ｖ（ｍ,ｎ））における動き補正画素値との差を計算することによって算出される構成としてもよい。本発明に係る一実施形態として、ε（ｍ,ｎ）として表される局所補正エラーを、

に基づいて算出する構成としてもよい。他の実施形態として、

に基づいて算出する構成としてもよい。一実施形態として、動き補正画素値は、サブ画素補間を必要とする構成としてもよい。

他の実施形態として、位置（ｍ,ｎ）の局所動き補正エラーε（ｍ,ｎ）は、当該位置に隣接する小隣接部の局所平均として計算される構成としてもよい。本発明に係る一実施形態では、例えば、小隣接部は、（ｍ,ｎ）に中心を置く３×３領域である。小隣接部の他の例として、画素位置（ｍ,ｎ）に中心を置く矩形の画素領域（現行フレームにおける複数の画素）、画素位置（ｍ,ｎ）に中心を置く正方形の画素領域、画素位置（ｍ,ｎ）に中心を置く対称の画素領域および他の領域などが挙げられる。これらの実施形態では、ε（ｍ,ｎ）は、

に基づいて算出され、Ｒ_ｍ,ｎは、画素位置（ｍ,ｎ）における隣接部を表す。

他の実施形態として、ある動きベクトルを隣接部に関するものとし、ε（ｍ,ｎ）を

に基づいて算出する構成としてもよい。

本発明に係るいくつかの実施形態では、ある位置における動きベクトルに対する信頼度は、当該位置において算出された局所動き補正エラーに関する。信頼度および平均動き補正画素エラー（ＡＭＥ）値に基づいて、重みを算出する。ＡＭＥは、この位置における局所ウィンドウよりも大きいエリアにわたって算出される。一実施形態として、ＡＭＥは全フレームにわたって算出されるという構成としてもよい。概して、ＡＭＥはある領域にわたって

に基づいて算出される。上記領域は、Ｒで表され、Ｎ画素を含む。あるいは、補正画素エラーの他の集約尺度をより大きい領域にわたって算出し、使用してもよい。

一実施形態では、

に基づいて、局所重み付け関数が決定される。このとき、関数Ｆ_２（・）は、ＡＭＥより小さいε値に応じて増加する。図３は、当該関数の一例３２を示す。本実施形態では、重みは、

に基づいた区分的定数関数（第二関数的関係）Ｆ_２（・）に基づく。Ｋ_１およびＫ_２は、既定の固定パラメータ値であり、ｃ_２は第２値であり、ｃ_３は第３値であり、既定の固定の重みである。一実施形態では、Ｋ_１≦Ｋ_２であり、例えば、Ｋ_１＝０．４およびＫ_２＝０．８である。一実施形態では、０．０≦ｃ_３≦ｃ_２≦１．０であり、例えば、ｃ_２＝０．２およびｃ_３＝０．０である。他の実施形態では、重みは、３つの異なる値以外からなる区分的定数関数Ｆ_２（・）に基づく。区分的定数関数により、計算費用を安く、必要な処理リソースを極めて少なく、かつ効果的にすることができる。したがって、本発明の実施形態に係るフィルタリングによれば、信頼度に基づき重みが算出され、ＡＭＥ値により、平均エラーＡＭＥよりも大きいエラーを有する動きベクトルが減少する。一方、ＡＭＥ値により、ＡＭＥよりも小さいエラーを有する動きベクトルが増加する。ＡＭＥ平均値の使用によって、ビデオシーケンスに存在する全レベルのノイズに対して全面的に対応可能なフィルタリングを行うことができる。

図４を参照しながら本発明に係る実施形態を説明する。これらの実施形態では、動き領域フィルタを備えたコンピュータシステムが現行フレームまたは現行画像を受け取る（３６）。コンピュータシステムは、参照フレームまたは画像を受け取る（３８）。コンピュータシステムは、入力動き領域を受け取る（４０）。動き領域にフィルタリングされていない位置が残っているかについて算出する（４２）。フィルタリングされていない位置がない場合（４３）、フィルタリングを終了する（４４）。フィルタリングされていない位置が残っている場合（４５）、次の位置が取得され（４６）、それが現行位置となる。ｗ_２（ｍ,ｎ）＝Ｆ_２（ε（ｍ,ｎ）,ＡＭＥ）に従って、フィルタサポート内の全ての位置について、重みが算出される（４８）。現行位置での動き領域は、

および

という局所重み付け平均化フィルタに基づきフィルタリングされる（５０）。動き領域においてフィルタリングされていない位置が残っているかについてさらに算出する（４２）。

本発明に係る実施形態では、重みは、ｗ_１（ｍ,ｎ）（領域内のある位置のための第一の重みとしての実施形態）、およびｗ_２（ｍ,ｎ）（領域内のある位置のための第二の重みとしての実施形態）の組み合せである。本実施形態では、ウィンドウ中心位置での動きベクトルフィールドのフィルタリングは、領域における各位置について算出された重みの組み合わせを使用する。この組み合わせにおいても、各重みが０．０〜１．０の閉区間内であり、動きベクトル値においてより信頼度が高い動きベクトルにより大きい重みで重み付けされる点は維持されている。実施形態の一例では、当該組み合わせは、
ｗ（ｍ,ｎ）＝ｗ_１（ｍ,ｎ）・ｗ_２（ｍ,ｎ）
に基づいて形成される。本実施形態では、ある位置の第一の重みと領域におけるある位置の第二の重みとを乗算する。他の実施形態では、組み合わせは、

に従って形成される。

本実施形態では、当該領域における位置の第一の重みおよび当該領域における位置の第二の重みのうちの最小値が算出される。

図５を参照しながら、本発明に係る実施形態を説明する。これらの実施形態では、動き領域フィルタを備えたコンピュータシステムが現行フレームまたは画像を受け取る（６０）。当該コンピュータシステムが参照フレームまたは画像を受け取る（６２）。当該コンピュータシステムが入力動き領域を受け取る（６４）。動き領域にフィルタリングされていない位置が残っているかについて算出する（６６）。フィルタリングされていない位置がない場合（６７）、フィルタリングは停止する（６８）。フィルタリングされていない位置が残っている場合（６９）、次の位置が取得され（７０）、それが現行位置となる。第一の重みは、フィルタサポート内において、

に従って、全ての位置（ｍ,ｎ）について算出される（７２）。第二の重みは、ｗ_２（ｍ,ｎ）＝Ｆ_２（ε（ｍ,ｎ）,ＡＭＥ）に従って、全ての位置（ｍ,ｎ）について算出される（７４）。重みは組み合わされ（７６）、現行位置での動き領域は、局所重み付け平均化フィルタ

および

に基づきフィルタリングされる（７８）。式中、ｗ（ｍ,ｎ）は組み合わされた重みを表す。動き領域においてフィルタリングされていない位置が残っているかどうかをさらに算出する（６６）。

また、さらに別の重みを組み合わせて、組み合わせの重みを形成してもよい。

一実施形態において、局所重み付け平均化フィルタは、純粋な非再帰型フィルタ（non-recursive filter）であり、このとき、各出力動きベクトルは、入力動き領域のみからの動きベクトルから計算される。他の実施形態では、局所重み付け平均化フィルタは、因果的再帰型フィルタ（causal recursive filter）である。この場合、出力動きベクトルは、フィルタリングされたフィルタサポートにおける位置についての出力動き領域ではなく、フィルタリングされていないフィルタサポートにおける位置についての入力動き領域を用いて計算される。これは、インプレースフィルタリングと呼ばれる。また、局所重み付け平均化フィルタは、この分野において公知である技術および手法に従って実現することも可能である。

本発明は、動き検出方法およびシステムを有する実施形態として実施することができる。これらの実施形態のいくつかは、図６に示されているような一般的なマルチスケール動き検出方法またはシステムに基づいて説明することができるものである。階層的動き検出方法またはシステムとも呼ばれるマルチスケールでは、ビデオフレームの画像データの表現には、ピラミッド型表現８０が使用される。ピラミッド型表現８０は、最大解像度のフレーム８２と、フレーム８２に対応し、フレーム８２より順次より低い解像度を有する複数のフレーム（８８、８６、８４）を有する。マルチスケール動き検出方法またはシステムにおいて、現行フレームｆ（ｘ，ｙ）のピラミッド型表現、および参照フレームｇ（ｘ,ｙ）のピラミッド型表現が生成される。最小解像度（例えば８８）での初期動き領域を検出することによって、動き検出処理を実行する。初期の粗い動き領域は、ピラミッドのスケールまたはレベルにおける画像データを用いて、順次より高い解像度（例えば８６、８４、８２）にて高解像度化および高品質化される。あるレベルにおける高解像度化工程は、前レベルにおいて高解像度化された動き領域の検出を使用し、最新の、または増分の動きベクトルを計算する。動き検出方法に応じて、様々な方法によって前スケールからの情報が使用される。最大解像度において動き領域が計算されるまで、高解像度化工程は継続される。本発明に係る実施形態では、マルチ解像度の動き検出方法またはシステムは、本願に記載された本発明に係る実施形態に基づく動き領域フィルタリングを含む。

図７を参照しながら、本発明に係る実施形態を説明する。これらの実施形態では、動き領域検出器を備えたコンピュータシステムは、現行フレームまたは現行画像を受け取る（９０）。当該コンピュータシステムは、参照フレームまたは参照画像を受け取る（９２）。現行フレームおよび参照フレームが前処理される（９４、９６）。前処理として、例えば、色変換および他の画像正規化処理が挙げられる。また、前処理を実行しない構成としてもよい。現行フレームのピラミッド型表現、および参照フレームのピラミッド型表現が生成される（１００）。ピラミッド表示におけるレベルの数は、予め決定してもよく、入力フレームの特性に基づいて決定してもよい。例えば、最大解像度を１９２０×１０８０画素とし、第一低解像度を９６０×５４０画素とし、第二低解像度を４８０×２７０画素とし、最小解像度を２４０×１３５画素にする。図６に示されたピラミッドレベルの数、および上述した実施形態は例示のみを目的とし、ピラミッド型表現のレベル数は、これらの例において示されたものよりも少なくても多くてもよいことは理解されよう。次に、未処理のレベルが残っているかどうかを算出する（１０２）。未処理のレベルがない場合（１０３）、検出を終了する（１０４）。未処理のレベルが残っている場合（１０５）、次のレベルでの処理に必要な情報が取得され（１０６）、それが現行レベルとなる。そして、現行レベルにおいて、動き領域が検出される。この場合、動きベクトルフィールドの検出が現行フレームにおよび参照フレームに関して実行される。この場合、動きベクトルフィールドでの各動きベクトルが、現行フレームでの位置、および参照フレームでの位置に対応する。最も粗いレベルでは、初期動き検出領域が検出される。次のレベルにおいては、動き領域のアップデートを検出してもよいし、動き領域をより高い解像度で検出してもよい。現在計算されている動き領域に非線形分散を実行し（１１０）、当該動き領域に未処理のレベルが残っているかをさらに算出する（１０２）。現行フレームおよび参照フレームに対応する元の輝度データまたは元色データを使って、非線形拡散におけるデータ適合フィルタリングの重みを算出する。さらに各動きベクトルにおける信頼度の検出結果を使用して非線形拡散ステップを行ってもよい。一実施形態として、各動きベクトルにおける信頼度値を、動き検出中に作成（算出）する構成としてもよい。

本発明に係る一実施形態では、既定レベルでの動き検出は、ＵＳ特許出願第１２／５４３,５９７（発明の名称：ビデオシーケンスにおける動き検出方法およびシステム 出願日：２００９年８月１９日）に記載の方法およびシステムに従って実行される。当該文献の全文は、参照により本願に含まれる。他の動き検出方法およびシステムとして、ブロックマッチング法およびシステム、勾配法を用いた方法およびシステム、例えばLucas and Kanadeによる方法およびシステム、位相相関方法およびシステム、ならびに、マルチスケールフレーム処理に使用される従来技術が挙げられる。例えば、ブロックマッチング方法およびシステムは、予め処理された低解像度のスケールからの動きベクトルを用いて、現行レベルにおいて最もマッチング率の高い動きベクトルの検索を開始する。また、この場合、開始した検出に基づき、検索領域を限定する。勾配法を用いた方法またはシステムでは、動き領域の前検出は、現行フレームまたは参照フレームのいずれかを調整させるために使用され、現行フレームまたは参照フレームが互いに等しくなるように構成される。次の動き検出ステップでは、フレームの一つの画像データの代わりに上記調整された画像を使用して増分動きベクトルを算出する。

本発明に係る一実施形態として、非線形拡散フィルタリングを、各レベルにおいて複数回実行する構成としてもよい。例えば、各レベルにおいて既定の回数、非線形拡散フィルタリングを実行する構成としてもよい。または、各レベルにおいて非線形拡散フィルタリングは、スムージングされた動き領域が第一基準に達するまで、または既定の回数を超えるまで実行されてもよい。

本発明に係る一実施形態として、単一スケールにおいて複数回動き検出が実行され、当該スケールにおける連続する動き領域は、それぞれ、前回求められた動き領域に基づく構成としてもよい。

図２、４、５および７のチャートは具体的な実行順序を表すが、実行順序は図示したものと異なっていてもよいことを理解されたい。例えば、ブロックの実行順序を、図示された順序から変更してもよい。また、さらなる例として、図において連続して示された２つ以上のブロックを同時に実行する、または部分的に同時に実行する構成にしてもよい。当業者であれば、本願に記載された様々な論理関数を実行できるソフトウエア、ハードウエアおよび／またはファームウエアを当業者が作成できることは理解できる。

本発明に係る一実施形態では、動きベクトルフィールドにおける位置に対応する現行フレームにおける位置が、現行フレームにおける複数の画素に関する。

本発明に係る一実施形態では、第一関数的関係は、区分的定数関数である。

本発明に係る一実施形態では、当該領域における位置の第二の重みは、絶対差が基準に適合する場合、第一値を有し、当該領域における位置の第二の重みは、絶対差が基準に適合しない場合、第二値を有する。

本発明に係る一実施形態では、第二関数的関係は、区分的定数関数である。

本発明に係る一実施形態では、フィルタリングは非再帰型フィルタリングである。

本発明に係る一実施形態では、フィルタリングは因果的再帰型フィルタリングである。

本発明に係る一実施形態では、動きベクトルフィールドにおける動きベクトルに対応する現行フレームにおける位置は、現行フレームにおける複数の画素に関するものである。

本発明に係る一実施形態は、さらに、動きベクトルフィールドにおける領域の各位置について第二の重みを算出するステップと、当該領域における位置の第二の重みと当該領域における位置の第一の重みとを組み合わせるステップとを含む。上記領域における位置に関する第二の重みは、現行フレームにおける対応する位置における画素値と、現行フレームにおける対応するウィンドウ中心位置おける画素値との絶対差に基づく第二関数的関係に基づいている。上記領域における各位置について算出された第一の重みを用いてウィンドウ中心位置において動きベクトルフィールドをフィルタリングするステップは、上記領域における各位置について算出された組み合わせの重みを使用するステップを含む。

本発明に係る一実施形態では、動きベクトルフィールドにおける動きベクトルに対応する現行フレームにおける位置は、現行フレームにおける複数の画素に関する。

図８は、本発明に係る方法に使用する画像処理装置（システム２００）を示す。画像処理装置は、第一受信部１２０、第二受信部１３０、算出部１４０、およびフィルタリング部１５０を有する。部１２０、１３０、１４０および１５０は、画像処理装置の主制御部１６０に収容されている。画像処理装置は主制御部１６０における処理に使用する複数の情報または値を記憶しているメモリ１７０をさらに有する。

第一受信部１２０は、現行フレーム３１０を受信する。第二受信部１３０は、動きベクトルフィールド３２０を受信する。動きベクトルフィールド３２０は、現行フレーム３１０に関し、現行フレーム３１０において、動きベクトルフィールド３２０における各画素位置が現行フレーム３１０における画素位置に対応する。

算出部１４０は、動きベクトルフィールドにおける領域の各画素位置の重みを算出する。領域の中心は、ウィンドウ中心位置に置かれている。領域における画素位置のための重みは、現行フレームにおける対応する画素位置における画素値と、現行フレームにおいて対応するウィンドウ中心領域における画素値との絶対差に応じて変化する関数的関係に基づく。

フィルタリング部１５０は、領域における各画素について算出された重みを用いてウィンドウ中心位置にて動きベクトルをフィルタリングする。

上述の明細書に使用した用語および表現は、説明のために使用しており、本発明を限定するものではない。そして、当該用語および表現を使用することによって図示および説明された特徴に対する均等物またはその一部分に対する均等物を除外する意図はなく、本発明の範囲は下記請求項のみにより規定および限定されるものである。

Claims (17)

1. 動きベクトルフィールドのフィルタリング方法であって、
   ａ）現行フレームを受け取るステップと、
   ｂ）上記現行フレームの動きベクトルフィールドであって、上記動きベクトルフィールドにおける各画素位置が上記現行フレームにおける画素位置に対応している動きベクトルフィールドを受け取るステップと、
   ｃ）上記動きベクトルフィールドの領域における各画素位置の重みを算出するステップであって、
   ｉ）上記領域の中心をほぼウィンドウ中心位置とし、
   ｉｉ）上記領域における画素位置の重みを、上記現行フレームにおける対応する画素位置の画素値と、上記現行フレームにおける対応するウィンドウ中心位置の画素値との絶対差に依存する関数的関係に基づいて算出するステップと、
   ｄ）上記領域における各画素位置について算出した上記重みを用いて上記ウィンドウ中心位置にて上記動きベクトルフィールドをフィルタリングするステップとを含むフィルタリング方法。
2. ａ）上記絶対差が基準に適合する場合、上記領域における上記画素位置の上記重みは第一値を有し、
   ｂ）上記絶対差が基準に適合しない場合、上記領域における上記画素位置の上記重みは第二値を有し、
   ｃ）上記絶対差が閾値よりも小さい場合、上記絶対差が上記基準に適合し、
   ｄ）上記第一値は１であり、
   ｅ）上記第二値は０〜１の閉区間内の一定値であることを特徴とする請求項１に記載のフィルタリング方法。
3. 上記関数的関係は、区分的定数関数であることを特徴とする請求項１に記載のフィルタリング方法。
4. 上記絶対差が増大する場合、上記関数的関係の上記重みが減少することを特徴とする請求項１に記載のフィルタリング方法。
5. 上記フィルタリングは、非再帰型フィルタリングであることを特徴とする請求項１に記載のフィルタリング方法。
6. 上記フィルタリングは、因果的再帰型フィルタリングであることを特徴とする請求項１に記載のフィルタリング方法。
7. 上記動きベクトルフィールドにおける画素位置に対応する、上記現行フレームにおける画素位置は、上記現行フレームにおける複数の画素に関するものであることを特徴とする請求項１に記載のフィルタリング方法。
8. 動きベクトルフィールドのフィルタリング方法であって、
   ａ）動きベクトルフィールドを受け取るステップと、
   ｂ）上記動きベクトルフィールドにおける各動きベクトルの信頼度値を受け取るステップと、
   ｃ）上記動きベクトルフィールドの領域における各画素位置の第一の重みを算出するステップであって、
   ｉ）上記領域の中心をほぼウィンドウ中心位置とし、
   ｉｉ）上記領域における画素位置の第一の重みを、上記画素位置での上記動きベクトルの上記信頼度値に依存する第一関数的関係に基づき算出するステップと、
   ｄ）上記領域における各画素位置について算出した上記第一の重みを用いて、上記ウィンドウ中心位置にて上記動きベクトルフィールドをフィルタリングするステップとを含むフィルタリング方法。
9. 上記信頼度値は、動き検出処理の間に計算されることを特徴とする請求項８に記載のフィルタリング方法。
10. 上記動きベクトルフィールドに関連付けされた現行フレームであって、上記動きベクトルフィールドにおける各画素位置が上記現行フレームにおける画素位置に対応している現行フレームを受け取るステップと、
    上記動きベクトルフィールドに関連付けられた参照フレームであって、上記動きベクトルフィールドにおける各動きベクトルが上記参照フレームにおける画素位置に対応している参照フレームを受け取るステップと、
    上記現行フレームおよび上記参照フレームにおいて、上記領域よりも広いエリアにわたって平均動き補正エラーを算出するステップとをさらに含み、
    上記動きベクトルフィールドにおける各動きベクトルの信頼度値を受け取るステップは、上記領域における各画素位置での動き補正エラーを計算するステップを含み、
    上記領域における画素位置の上記第一の重みを、上記画素位置での上記動き補正エラー、および上記平均動き補正エラーを用いて計算することを特徴とする請求項８に記載のフィルタリング方法。
11. ａ）上記画素位置での上記動き補正エラーおよび上記平均動き補正エラーが第一基準に適合する場合、上記領域における上記画素位置の上記第一の重みが第一値を有し、
    ｂ）上記画素位置での上記動き補正エラーおよび上記平均動き補正エラーが第二基準に適合する場合、上記領域における上記画素位置の上記第一の重みが第二値を有し、
    ｃ）上記画素位置での上記動き補正エラーおよび上記平均動き補正エラーが上記第一基準および上記第二基準に適合しない場合、上記領域における上記画素位置の上記第一の重みが第三値を有し、
    ｄ）上記第一値は１であり、
    ｅ）上記第二値および上記第三値は０〜１の閉区間内の所定の一定値であり、上記第三値は上記第二値よりも大きいことを特徴とする請求項１０に記載のフィルタリング方法。
12. ａ）上記動きベクトルフィールドにおける上記領域の各画素位置の第二の重みを算出するステップであって、上記領域における画素位置の第二の重みを、現行フレームにおける対応する画素位置に関する画素値と上記現行フレームにおける対応するウィンドウ中心位置に関する画素値との絶対差に依存する第二関数的関係に基づき算出するステップと、
    ｂ）上記領域における画素位置の上記第一の重みと、上記領域における画素位置の上記第二の重みとを組み合わせるステップとをさらに含み、
    ｃ）上記領域における各画素位置について算出した上記第一の重みを用いて、上記ウィンドウ中心位置にて上記動きベクトルフィールドをフィルタリングするステップは、上記領域における各画素位置について算出された上記組み合わせの重みを用いて行われることを特徴とする請求項８に記載のフィルタリング方法。
13. 上記領域における画素位置の上記第一の重みと、上記領域における画素位置の上記第二の重みと組み合わせるステップは、上記領域における画素位置の上記第一の重みを上記領域における画素位置の上記第二の重みとの乗算を行うことを含むことを特徴とする請求項１２に記載のフィルタリング方法。
14. 上記領域における画素位置の上記第一の重みと、上記領域における画素位置の上記第二の重みとを組み合わせるステップは、上記領域における画素位置の上記第一の重みおよび上記領域における画素位置の上記第二の重みのうちの最小値を算出することを含むことを特徴とする請求項１２に記載のフィルタリング方法。
15. 動きベクトルフィールドの検出方法であって、
    ａ）現行フレームを受け取るステップと、
    ｂ）参照フレームを受け取るステップと、
    ｃ）上記現行フレームおよび上記参照フレームの動きベクトルフィールドであって、上記動きベクトルフィールドにおける各画素位置が、上記現行フレームにおける画素位置、および上記参照フレームにおける画素位置に対応している動きベクトルフィールドを検出するステップと、
    ｄ）上記動きベクトルフィールドの領域における各画素位置の重みを算出するステップであって、
    ｉ）上記領域の中心をほぼウィンドウ中心位置とし、
    ｉｉ）上記領域における画素位置の重みを、上記現行フレームにおける対応する画素位置の画素値と、上記現行フレームにおける対応するウィンドウ中心位置の画素値との絶対差に依存する関数的関係に基づいて算出するステップと、
    ｅ）上記領域における各画素位置について算出された上記重みを用いて上記ウィンドウ中心位置にて上記動きベクトルフィールドをフィルタリングするステップとを含む検出方法。
16. 動きベクトル領域の検出方法であって、
    ａ）現行フレームを受け取るステップと、
    ｂ）参照フレームを受け取るステップと、
    ｃ）上記現行フレームおよび上記参照フレームの動きベクトルフィールドであって、上記動きベクトルフィールドにおける各画素位置が、上記現行フレームにおける画素位置、および上記参照フレームにおける画素位置に対応している動きベクトルフィールドを検出するステップと、
    ｄ）上記動きベクトルフィールドにおける各動きベクトルの信頼度値を受け取るステップと、
    ｅ）上記動きベクトルフィールドの領域における各画素位置の第一の重みを算出するステップであって、
    ｉ）上記領域の中心をほぼウィンドウ中心位置とし、
    ｉｉ）上記領域における画素位置の第一の重みを、上記画素位置での上記動きベクトルの上記信頼度値に依存する第一関数的関係に基づき算出するステップと、
    ｆ）上記領域における各画素位置について算出した上記第一の重みを用いて、上記ウィンドウ中心位置での上記動きベクトルフィールドをフィルタリングするステップとを含む検出方法。
17. 動きベクトルフィールドをフィルタリングするシステムであって、
    ａ）現行フレームを受信する第一受信部と、
    ｂ）上記現行フレームの動きベクトルフィールドであって、上記動きベクトルフィールドにおける各画素位置が上記現行フレームにおける画素位置に対応している動きベクトルフィールドを受信する第二受信部と、
    ｃ）上記動きベクトルフィールドの領域における各画素位置の重みを算出する算出部であって、
    ｉ）上記領域の中心をほぼウィンドウ中心位置とし、
    ｉｉ）上記領域における画素位置の重みを、上記現行フレームにおける対応する画素位置の画素値と、上記現行フレームにおける対応するウィンドウ中心位置の画素値との絶対差に依存する関数的関係に基づき算出する算出部と、
    ｄ）上記領域における各画素位置について算出された上記重みを用いて、上記ウィンドウ中心位置にて上記動きベクトルフィールドをフィルタリングするフィルタリング部とを有するシステム。

Images