JP2012501011A - 画像解析方法及びシステム - Google Patents

Abstract

複数の画素から成る画像を解析する方法及びシステムは、画素のサブセットを識別し、各識別画素に対して、識別画素を囲む画素の局所パッチ（２０、３０）を定義し（２１０）、局所パッチの画素をビンにグループ化する（２１４）ことを含む。局所パッチを複数のサブパッチ（２２、３２、３４）に分割し、各サブパッチに対して、本方法は、各サブパッチの画素を幾つ各ビンへ入れるかを決定して、中間ベクトルを作成し（２１８）、中間ベクトルを連結して特徴ベクトルを形成し、局所パッチを記述する（２２０）ことを含む。
【選択図】図４

Description

画像を表示することは、３Ｄモデリング、モーショントラッキング、対応マッチング、画像認識／分類／検索等の多くの画像／映像解析及び合成アプリケーションや、コンピュータビジョンにおける他のアプリケーションにおいて、基本的な問題である。画像表示は、包括的方法と局所的方法とに分類できる。例えば、画像を（全体として）包括的強度ヒストグラムで包括的に表示できる。しかしながら、そうしたヒストグラムは、画像の外観を十分明瞭に特徴付けられないことが多い。局所的方法の例は、まばらな局所的特徴によって画像表示を行なうもので、画像を多数のパーツ（部品）又はパッチ（片）に分解し、画像をこれらの局所的特徴の集まり（群）として記述する。

画像処理及び解析では、一般に、「特徴（ｆｅａｔｕｒｅ）」は、特定の処理又は解析タスクに関連する一片の情報のことをいう。局所的特徴は、典型的には、検出子及び記述子という２つの構成要素を有する。検出子は、更なる処理及び解析用の特徴を識別する。通常、検出子は画像全体から極めて特徴的な画素の小サブセットを選択するだけである。記述子は、特徴ベクトルを使用して、検出点を中心とするパッチの局所的画像コンテンツを特徴付ける。それゆえ、特徴検出子は、画像コンテンツについて情報を提供する安定且つ確実な画像位置を選択しようと試み、記述子は、特徴ベクトル（通常元のパッチより遥かに低次元）を使った特有の方法で局所パッチについて記述する。局所的特徴の全体的な有用性は、検出（局所化）の信頼性や確度、記述の弁別性によって影響を受ける。

高度なアプリケーションを確実に動作させるために、様々な幾何学的変化及び／又は光度変化に対して不変（ロバスト）であるように局所的特徴を設計するのが望ましい。例えば、局所的特徴によっては、カメラ回転に対して不変になるように設計される場合がある、即ち、カメラが回転しても、検出された特徴点と共に該特徴点の記述子も、変化しない、又は僅かの変化にとどまる。

多くの既知の局所的特徴は、多くの幾何学的変化に対して不変になるように設計されているが、その殆どは、複雑な光度変化（画素輝度変化）に対して不変になるようには設計されていない。しかしながら、複雑な（例えば、非線形及び空間的に変化する）輝度変化は、多くの実際の状況ではしばしば発生する。例えば、画像の画素強度は、照明光源の位置、オブジェクト表面反射率の特性、オブジェクト表面法線、カメラ捕捉パラメタによって影響を受ける。これらの何れかが変化すると、フレーム間の対応するパッチで複雑に画素強度が変化することになる可能性がある。また、照明光源に対するオブジェクトの相対位置の変化や、オブジェクト自体の変形によっても、結果的に対応する画像強度に変化を齎す可能性がある。

画素強度の変化は、強度が一定であることを前提とする高度なビジョンアプリケーションにおいて問題を起こす場合がある。一般に、既知の種類の動き推定アルゴリズムでは、画素強度が、変化しない又はフレーム全体で単純に変化するだけであることが求められる。しかしながら、実際は、捕捉パラメタの変化が元で、画素値に著しい変化が起こる場合がある。既知の局所的特徴方法の中には、線形の輝度変化に対して不変であると主張するものがある。しかしながら、通常、輝度変化はより複雑で、線形モデルでは多くのアプリケーションで不十分である。例えば、マルチフレームのコンピュータ写真撮影のアプリケーションでは、多数の画像フレームを、大きく異なる捕捉パラメタで捕捉するかも知れない。

こうした理由等で、本発明に対するニーズがある。

複数の画素から成る画像を解析する方法及びシステムの実施形態について開示する。画素のサブセットを識別し、識別された各識別画素に対して、識別画素を囲む画素の局所パッチを定義し、局所パッチの画素を多数のビンにグループ化する。局所パッチを複数のサブパッチに分割し、各サブパッチに対して、本方法は、各サブパッチの画素を幾つ各ビンへ入れるかを決定して、中間ベクトルを作成し、中間ベクトルを連結して特徴ベクトルを形成し、局所パッチを記述する。

更に、輝度変化に対して不変な（検出した）局所的特徴をマッチングすることで、フレーム間の動きを推測して、それらを正確に且つ確実に登録できる。画像フレームを正確に登録したなら、画像安定化、画像マッチング、ダイナミックレンジ向上等の多くの用途が可能になる。

以下の図面を参照すれば、本発明の実施形態を、一層よく理解できるであろう。図面の要素は必ずしも互いに正確な縮尺ではない。同一参照番号は対応する同様の部分を指す。

本発明の実施形態による画像解析システムについて概念的に説明したブロック図である。 本発明の実施形態による画像解析方法について説明したフローチャートである。 図２で説明した方法の更なる態様を示すフローチャートである。 図２で説明した方法の更なる態様を示すフローチャートである。 本発明の実施形態による画像の局所パッチ及びサブパッチについて説明している。 本発明の実施形態による、別の画像の局所パッチ及びサブパッチについて説明している。 本発明の実施形態による、別の画像の局所パッチ及びサブパッチについて説明している。

以下の詳細な説明では、本明細書の一部を構成し、本発明を実施することができる具体的な実施形態を例示する添付図について言及する。これに関して、記述する図面（複数可）の向きを参照して、「上側」、「下側」、「正面」、「背面」、「前方」、「後方」等の方向に関する用語を用いる。本発明の実施形態の構成要素は多数の異なる向きに配置できるため、方向に関する用語は、例示の目的で用い、決して限定するものではない。当然ながら、本発明の範囲から逸脱することなく、他の実施形態を利用してもよく、構造的又は論理的変更を行ってもよい。それゆえ、以下の詳細な説明は、限定の意味に解釈されるべきではなく、本発明の範囲は、添付のクレームによって規定されるものとする。

図１は、開示した実施形態による画像解析用システム１０を、概念的に説明したブロック図である。このシステムは、適切にプログラムしたプロセッサ１２を含むコンピュータシステムで、実装できる。デジタル電子回路（例えば、特定用途向け集積回路（ＡＳＩＣ）又はデジタルシグナルプロセッサ（ＤＳＰ））において、又はコンピュータハードウェア、ファームウェア、デバイスドライバ若しくはソフトウェアにおいて等、任意の適当なコンピューティング環境又はデータ処理環境を、使用できる。実施形態によっては、複数のモジュールの機能を単一のデータ処理コンポーネントに組み込む。実施形態によっては、１つ又は複数のモジュール夫々の各機能を、多数のデータ処理コンポーネントの各セットで実行する。

開示した画像解析方法を具現化するソフトウェアプログラム１４を、プロセッサ１２によってアクセス可能とする。プログラム１４を、システム１０に不可欠な記憶媒体に含む、或は離れた場所に置いて、例えば、ネットワークでアクセス可能にしてもよい。プログラム命令とデータを具体的に実施するのに適当な記憶媒体は、例えば、ＲＡＭや、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイスといった半導体記憶装置や、内蔵ハードディスク、リムーバブルハードディスクといった磁気ディスクや、光磁気ディスクや、ＤＶＤ-ＲＯＭ／ＲＡＭや、ＣＤ-ＲＯＭ／ＲＡＭ等の、あらゆる形のコンピュータ可読なメモリを含む。

プロセッサ１２は、画像１６へのアクセス手段を更に有し、該画像はメモリに保存でき、又はカメラ若しくは他の撮像装置で提供できる。画像１６を複数の画素で構成し、システム１０を、単調に増減するようにのみ制約する場合に輝度変化に対して概して不変となる解析方法を実行するよう動作可能にする。本開示では、単調増加とは、出力画素強度を、入力画素強度が高い程、明るくすることを意味する。つまり、ｉ_a＞ｉ_bであればｆ（ｉ_a） ＞ｆ（ｉ_b）とし、ｆ（ ）は輝度変化関数（即ち、Ｉ_out＝ｆ（Ｉ_in））である。このカテゴリのいくつかの例は、輝度変化の二乗（Ｉ_out＝Ｉ² _in）、及び輝度変化の平方根（Ｉ_out＝(Ｉ_in）となる。輝度変化モデルが単調であれば、画素強度順位及び画素強度の空間極値の位置は変化しないままとなる。

図２では、開示した解析方法の実施形態に含まれる主なプロセスについて、極めて大まかに説明しており、画像１６における特徴を検出し（ブロック１００）、その特徴を記述する（ブロック２００）ことを含んでいる。例示的実施形態では、特徴を局所的な強度極値で局所化する。従って、特徴を検出すること１００には、輝度強度極値である画像１６を構成する画素のサブセットを識別することを含む。この開示では、「強度極値」は、強度面の導関数がその点でゼロとなる点とする。

従って、画像の画素毎に、画素強度が極値であるか否か確認するために検査する。実施形態によっては、画素を、画像の部分、例えば、候補画素の近傍内で、強度が最大又は最小かを決定するために検査する。これには、検査対象の画素と当該画像部分の他の画素と比較することを伴ってもよい。例えば、該部分を、候補点を中心したウィンドウとすることができる。ある実施形態では、この部分を、３×３又は５×５画素ウィンドウとする。ウィンドウの大きさは、特定のアプリケーションに応じて、ユーザが選択できるパラメタとする。一般に、ウィンドウを小さくする程、大きくするより検出数が多くなる。画素強度極値の位置は、輝度における如何なる単調な変化に対しても不変である。画像ノイズに対処するために、実施形態によっては、極値をチェックする前に、事前の平滑化処理を行なう。図３は、事前の平滑化処理１０１及び極値検出１１０を含み、結果的に特徴位置を識別１１２する特徴検出プロセスの詳細について説明している。

図４では、特徴記述プロセス２００の１実施形態の更なる態様について説明している。識別した画素夫々に対して、ブロック２１０では、局所パッチを定義する。特定の実施形態では、局所パッチは、識別した画素を囲む幾つかの予め定義した画素数「ｄ」を含む。例えば、局所パッチを、所定の高さ及び幅の矩形、又は所定の直径の円形とすることができる。矩形又は円形の局所パッチの中心を、典型的には、識別した画素に置く。

前述したように、画素強度の順位は、単調な輝度変化を通して変化しないままである。しかしながら、１枚の局所パッチ全体での全画素を単純に順位付けし、順位の完全なリストでパッチを表示すると、高次元過ぎる（未加工パッチと同じ）表示となる可能性がある。次元数を減らすためにヒストグラムを使用して、順位列を表示できるが、パッチ全体の画素順位のヒストグラムを簡単にすると、構造的情報が失われ、取るに足らないヒストグラムとなってしまう。

ブロック２１４では、局所パッチの画素を多数のビンにグループ分けし、パッチの各画素をビン番号でラベル付けする。各ビンは、（ａ）を（ｂ）より大きいとした場合、ビン（ａ）の全画素の強度がビン（ｂ）の全画素の強度以上になるように、所定画素数を有する。例えば、局所パッチに４００画素と、５つのビン（夫々同じ大きさ）がある場合、各ビンは８０画素を有し、ビン（ｉ）には、（ｉ-１）＊８０＋１とｉ＊８０の間（即ち、ビン１：順位１〜８０、ビン２：８１〜１６０、ビン３：１６１〜２４０、ビン４：２４１〜３２０、ビン５：３２１〜４００）で順位付けされた画素強度を含む。実施形態によっては、局所パッチの画素を、ブロック２１２で説明したように、画素輝度強度に従ってまず順位付けした後に、ビンにグループ分けし、ラベル付けする。

局所パッチ内の構造情報を捕捉するために、ブロック２１６でサブパッチに分割し、該サブパッチは、実施形態によっては、所定画素数を有する。局所パッチと同様に、サブパッチを分割するには様々な方法がある。１つのアプローチを、例えば、図５に示すが、図５では、矩形の局所パッチ２０を、Ｎ１ｘＮ２の小矩形２２に分割している。図６に示す別のアプローチでは、検出した画素を中心とした半径ｄ／２を有する円形の局所パッチ３０を含んでいる。円形局所パッチ３０を、所定数のパイ部分３２に角度分割して、サブパッチを作成している。パイ型のサブパッチ構成でも、記述子の回転を不変にできるが、若干径方向情報を損失する可能性がある。パイ型サブパッチ分割に基づくより高度な構成では、図７で説明するように、円形を更に分割して、空間をＮ個のサブパッチ３４に離散化する。

ブロック２１８では、各サブパッチにおいて各ビンに画素を幾つ入れるかを決定することで、中間的ベクトルを作成する。輝度強度順位のヒストグラムを各サブパッチに関して作る。従って、システム１０は、各サブパッチにおける各画素がどのビン（ｋ個の選択肢中）に入るかを計算し、ｋ個のビン夫々に入る画素数を数える。各ビンが元の画素強度の範囲ではなく、順位の範囲を表すことに注意されたい。各サブパッチのヒストグラムを、ｋ次元の中間ベクトルで表し、各次元は、幾つの画素を順位のビンに入るかを示す。実施形態によっては、ガウス重み付け法によって、局所パッチの中心に近い画素程重く重み付けし、中心から遠い画素程軽く重み付けする。

強度順位ヒストグラムをＮ個のサブパッチ夫々に作成した後、ブロック２２０でこれらｋ次元のベクトルを連結して、Ｎｘｋ次元ベクトルを形成し、ブロック２２２で局所パッチに関する記述子を作成する。連結の順序は、所定の順序に従ってもよい。例えば、この連結を水平方向のサブパッチから開始して、反時計回りの順序で旋回して行なってもよい。図７で説明したようなサブパッチ角度／円形分割を組み合わせた構成を使用した場合、この順序を内側から外側経路へと続けてもよい。最終的に、特徴ベクトルを、パッチにおける画素数で正規化して、記述子をパッチにおける画素総数とは無関係にできる。

以上、本明細書では、特定の実施形態を例示、説明してきたが、当然ながら、当業者は、様々な変形例及び／又は同等な実施例を、本発明の範囲を逸脱することなく、図示及び記述した特定の実施形態と置き換えてもよい。本出願は、本明細書で記載した特定の実施形態の如何なる適合例や変更例も包含するものとする。従って、本発明は、クレーム又はその同等物によってのみ限定されるものとする。

Claims (15)

1. 複数の画素から成り、各画素が輝度強度を有する画像（１６）を解析する方法であって、前記方法は、
   前記画素のサブセットを識別し、
   前記識別された前記画素である各識別画素に対して、
   前記識別画素を囲む画素の局所パッチを定義し（２１０）、
   前記局所パッチの画素を多数のビンにグループ化し（２１４）、
   前記局所パッチを複数のサブパッチに分割し（２１６）、各サブパッチに対して、
   各サブパッチの画素を幾つ各前記ビンへ入れるかを決定して、中間ベクトルを作成し（２１８）、
   前記中間ベクトルを連結して特徴ベクトルを形成し、前記局所パッチを記述する（２２０）こと、
   を含む、方法。
2. 前記画素の前記サブセットを識別することは、輝度強度に関して空間的局所極値である画素を識別することを含む、請求項１に記載の方法。
3. 輝度強度に関して空間的局所極値である前記画素を識別することは、前記候補画素の近傍内で最大又は最小輝度である画素を識別することを含む、請求項２に記載の方法。
4. 前記候補画素の前記近傍は、検査する候補画素を囲む予め定義した画素列を備える、請求項３に記載の方法。
5. 前記局所パッチは、前記識別画素を囲む予め定義した画素数を含む、請求項１に記載の方法。
6. 前記局所パッチ（２０）を矩形とする、請求項１に記載の方法。
7. 前記矩形の局所パッチは、所定の高さ及び幅を有する、請求項６に記載の方法。
8. 前記局所パッチ（２０）を小矩形（２２）に分割して、サブパッチを作成する、請求項６に記載の方法。
9. 前記局所パッチ（３０）を円形とする、請求項１に記載の方法。
10. 前記局所パッチ（３０）を所定数のパイ部分（３２）に角度分割して、前記サブパッチを作成する、請求項９に記載の方法。
11. 前記局所パッチ（３０）を所定数の部分に角度分割及び円形分割して、前記サブパッチ（３４）を作成する、請求項９に記載の方法。
12. 輝度強度で前記局所パッチの前記画素を順位付けすることを更に備える、請求項１に記載の方法。
13. 前記特徴ベクトルを、予め定義した順序で連結する、請求項１に記載の方法。
14. 複数の画素を備える画像（１６）を受付けるよう動作可能なプロセッサ（１２）であって、
    前記画素のサブセットを識別し、
    前記識別された前記画素である各識別画素に対して、
    前記識別画素を囲む画素の局所パッチを定義し（２１０）、
    前記局所パッチの画素を多数のビンにグループ化し（２１４）、
    前記局所パッチを複数のサブパッチに分割し（２１６）、各サブパッチに対して、
    各サブパッチの画素を幾つ各前記ビンへ入れるかを決定して、中間ベクトルを作成し（２１８）、
    前記中間ベクトルを連結して特徴ベクトルを形成し、前記局所パッチを記述する（２２０）ことを備える方法を実行するようプログラムされた前記プロセッサを備える、画像を解析するシステム。
15. 実行する際に、
    前記画素のサブセットを識別し、
    前記識別された前記画素である各識別画素に対して、
    前記識別画素を囲む画素の局所パッチを定義し（２１０）、
    前記局所パッチの画素を多数のビンにグループ化し（２１４）、
    前記局所パッチを複数のサブパッチに分割し（２１６）、各サブパッチに対して、
    各サブパッチの画素を幾つ各前記ビンへ入れるかを決定して、中間ベクトルを作成し（２１８）、
    前記中間ベクトルを連結して特徴ベクトルを形成し、前記局所パッチを記述する（２２０）ことを備える方法を実行するプログラム（１４）を保存するコンピュータ可読な記憶媒体。

Images