JP2014507722A - 一般化されたロバストなマルチチャンネル特徴検出器 - Google Patents

Abstract

方法は、マルチチャンネル画像の局所的な領域内で、局所最適な色に対する局所検索を実行する段階と、前記マルチチャンネル画像の前記局所的な領域をシングル−チャンネル成分に射影する段階と、及びシングル−チャンネル検出器を前記射影された局所的な領域に適用する段階とを含む。

Description

開示された技術は、一般的に集積回路やシステムに関し、特に、コンピュータビジョン、画像特徴の検出、及び画像認識技術や画像認識アプリケーションのためのデバイスやシステムに関する。

モバイル拡張現実（ＭＡＲ：Mobile Augmented Reality）は、今日のコンピュータ、スマートフォン、ゲーム端末、ホームエンターテイメントシステムにおいて重要な技術である。ＭＡＲを用いるアプリケーションのいくつかの例には、景色に注目すること（例えばバーチャル旅行）、対象物を認定すること（例えば買い物）、ビデオゲームやテレビジョンを制御するジェスチャーを認識することを含む。画像認識処理は、一般的に（１）画像特徴や注目点の認定、（２）クエリや対象画像からの画像特徴と、データベースの画像からの画像特徴との比較、を必要とする。上手くＭＡＲを実装するには、一般的に、画像スケーリング、回転、シフト、彩度や画像ノイズの変化を含む一連の条件のもとで、キーとなる画像特徴が確実に検出されることが要求される。

注目点や画像特徴の例として、エッジ、ブロブ（blob）（例えば内部構造を持たない画像領域）、うね（ridge）（例えば線形に連結したブロブ）、大規模空間にあるブロブ、角、十字形、領域やエッジやうねの結合、が含まれる。現在の特徴検出器は、人間の視覚やいくつかのカラーモデルをエミュレートすることに基づいてグレー値の不変量や光学測定の不変量を用いる。カラーモデルは、例えば、ガウス（Gaussian）やクベルカムンク（kubelka-Munk）や他の光学測定の手法などがある。“画像”が、人間の“色”を直接的に表せないチャンネルのセットであるという場合がある。例えば、図１は、グレースケールと、カラーと、スペクトロゾナル（spectrozonal）画像（条件付チャンネルをカラーにマッピングした画像）を示す。

図２は、ジェット推進研究所のＡＳＴＥＲ（Advanced Spaceborn Thermal Emission and Reflection Radiometer）ギャラリーからのアリゾナ森林火災のスペクトロゾナル画像の一例である。例えば、その左の画像は、植物を赤として表示するようＲＧＢにおけるバンド３，２，１を表示する。大きな暗い部分は、焼かれた森を表し、小さな煙の羽状のものは、活発な火が燃えているところのエッジと見ることが出来る。その右の画像は、ＳＷＩＲ（short-wave infrared）バンド８を、バンド３に代用したものである。明るい赤の点は、燃えている火を表す。その火は、ＳＷＩＲ波長領域は煙を通して貫通する能力を有するので視認できる。

現在のシステムにおいても、チャンネルは、マイクロ波の彩度チャンネルだけでなく、レーダー／レーザーチャンネル（例えばドップラー周波数シフト）や、超音波の距離計チャンネルや異なるＺセンサータイプにも対応付けされうる。例えば、図３は、マイクロソフト社のＫｉｎｅｃｔ Ｚセンサー深さマップの一例を説明する。しかしながら、光学測定方法は、上記で議論したチャンネルタイプに対して適切ではない。なぜなら、方向と速度値の分配は、可視のスペクトルの領域電磁界パワーの分配とは著しく異なるからである。

例えばＳＵＲＦやＳＩＦＴのような現在の技術は、必要な予備ステップとして、マルチチャンネル（例えばカラー）の入力画像をシングルチャンネル（例えばグレースケール）の入力画像に変換することを用いる。このような予備ステップにより重要な画像情報を失う。いくつかの現在の技術では、その画像のカラーマップを用いようとする。しかし、そのような技術では、或る中間段階で、画像を特別なシングルチャンネル表現に変換するか、重要な広域のスカラー値により画像特徴を局所化しようとするかのいずれかにより、完全な画像のスペクトルデータを使うことができない。

本発明では、マルチチャンネル画像の局所的な領域内で、局所的な最適色に対する局所的な検索を実行する段階と、
前記マルチチャンネル画像の前記局所的な領域をシングル−チャンネル成分に射影する段階と、及び
シングル−チャンネル検出器を前記射影された局所的な領域に適用する段階とを含む方法が提供される。

開示された技術の実施例は、図面や参照符号が引用する同様の要素において、限定的なものではなく、一例として説明される。
図１は、グレースケールと、カラーと、スペクトロゾナル（spectrozonal）画像（条件付チャンネルをカラーにマッピングした画像）を示す。 図２は、ジェット推進研究所のＡＳＴＥＲ（Advanced Spaceborn Thermal Emission and Reflection Radiometer）ギャラリーからのアリゾナ森林火災のスペクトロゾナル画像の一例である。 図３は、マイクロソフトのＫｉｎｅｃｔ Ｚセンサー深さマップの一例を説明する。 図４は、付加情報を生成しないグレースケール画像のカラー化におけるシングルチャネル画像の異なる表現を示す。 ＲＧＢベクトル｛５、−７，３｝を（１１／１６）π回転させた色における同等の色空間変換を説明する。。 図６は、グレースケール化が画像特徴を破壊するオイラーテストの例である。 図７は、色盲テストの例を示す。 図８は、図７に示す色盲テストに対するヘッセ行列に基づく検出器の決定要素を説明する。 図９は、他のチャンネル中の強−明度の鞍部の部分に位置するいくつかのチャンネルにおける弱−明度のブロブを説明する。 図１０は、ブロブに対して応答しない異なるスケールに対する現在のマルチチャンネル検出器の応答を説明する。 図１１は、大きいスケールでブロブを検出する一般的な検出器における異なるスケールに対するシングル−チャンネル検出器の応答を説明する。 図１２は、マルチチャンネル検出器がシングル−チャンネル検出器よりも優れていることを証明する一例を説明する。 図１３は、鞍部でのブロブが認識された場合に異なるスケールに対して鞍部シーンでのブロブのマルチチャンネル検出器の応答を説明する。 図１４は、異なるスケールに対する色盲テストのマルチチャンネル検出器のカラー反応を説明する。 図１５は、全てのブロブが認識されず、色盲テストが通用しないテスト画像に対するカラーＳＩＦＴ結果の一例を説明する。 図１６は、オイラーテストが通用しないテスト画像に対するカラーＨａｒｒｉｓ検出器の結果の一例を説明する。 図１７は、オイラーテストが通用しないテスト画像に対する拡張されたカラーＨａｒｒｉｓ検出器の結果の一例を説明する。 図１８は、開示された技術の実施例が実装され得るシステム１８００の一例を説明する。

画像特徴検出のための多くの周知の画像認識アルゴリズムは、明度のみ又はいくつかの特定の色モデルを用いる。これらの方法は、多くのケースで有効である。しかし、完全な画像（full image）の情報をこのように変換することは、方法による制限のせいで検出性能が落ちてしまうことが示されている。

開示された技術の実施例は、任意の数のチャンネルに対するマルチチャンネル注目点検出器の構成に対して正規の手法の実装を含む。その手法の実装は、自然のデータにもかかわらず、これらの追加チャンネルからの情報を使うことで達成される利点を最大にする。或る実装は、ここに説明される技術に基づく、一般化ロバストマルチチャンネル（ＧｒｏＭ：Generalized Robust Multichannel）特徴検出器として呼ばれ得る。また、或る実装は、従来方法との相違点を強調するための一連の説明図を含む。

マルチチャンネル画像をシングル−チャンネル画像に削減することで、実施例では、自然画像において良い結果が得られるだろう。しかしながら、生まれつきの色盲のせいで、そのような検出器から注目点が隠れてしまうことがあり得る。例えば、色成分の結合を行う現在の方法では、画像におけるスケールやチャンネルのオフセットを変更した後に、情報源から情報を著しく失ってしまう傾向にある。開示された技術の実装は、全ての色成分からの情報を利用して、空間的及びスペクトラム的な位置の両方で注目点を認識することで、そのような弊害を避ける。例えば、（後述する）図６は、ブロブ交差の検出のためのテストであるオイラーベン図を示す。そのような手法は、３チャンネルの視覚画像だけでなく、より多くの次元や任意の自然情報源にも用いられ得る。この情報源には、例えば、深さマップや、ドップラーシフトや、個体密度などがある。

ブロブ注目点の位置に加え、ここに記載された技術は、例えばエッジやうねのような何れのタイプにも拡張し得る。この場合に、色部分空間条件に対応する修正が適用され得る。

マルチチャンネル注目点検出器の特徴
Ａ．共通の必要条件
この節は、理想の一般化された注目点検出器やマルチチャンネル検出器のため、特に周知のシングル−チャンネル検出器のアルゴリズムを拡張する目的のための共通な必要条件を定義する。

１）平凡画像
平凡画像（例えば不変画像）に対して、その画像の値は、空間係数に依存せず、検出器φにより検出される注目点のセットは空にされるべきである：

平凡なチャンネルは、αＲＧＢ画像内の未使用（例えば不変）のα−チャンネルを取り除く場合に、マルチチャンネル画像において容易に取り除かれ得る。

２）一定の不変部分
非平凡画像Ｊは、非平凡画像Ｉのオフセット変換値と、一定のスケーリング結果とから与えられる：

もし、その検出器φが、画像Ｉの中で注目点Ｐを検出したら、画像Ｊの中にも同じセットが検出されるべきである。

３）シングル−チャンネル画像の表現に対する適合性
マルチチャンネル画像Ｊ＝｛Ｊ_１，Ｊ_２，．．．，Ｊ_Ｎ｝は、それぞれ均一にスケーリングされた１からＮまでのチャンネルの非平凡シングル−チャンネル画像のマップと、それぞれのチャンネルの変換オフセットで与えられる。ここで、少なくとも１つの非平凡チャンネルが存在する。例えば、図４は、付加情報を生成しないグレースケール画像のカラー化におけるシングル−チャンネル画像の異なる表現を示す。

画像Ｉの中でシングルチャンネル検出器φ_１により検出された注目点と、マルチチャンネル画像Ｊ（例えば画像Ｉの複製）の中でマルチチャンネル検出器φ_Ｎにより検出された注目点のセットは、対応するものであるべきである：

所定の画像表現に対して、対応するマルチチャンネル画像で“ｇｈｏｓｔ”な検出をしなければ、同様の検出器は同様の結果を生むはずである。ホワイトボックス検出器のテストは、そのようなタイプの弱点を確認することを可能にする。特徴検出器の客観性からシングルチャンネル画像とマルチチャンネル画像の同等物は、線形依存のチャンネル数を減らすことを可能にする。

４）非シングルチャンネル変換の不変性
Ｍ−チャンネル画像Ｊ＝｛Ｊ_１，Ｊ_２，．．．，Ｊ_Ｍ｝は、チャンネル変換マトリクスＫ_Ｍ，Ｎ＝（Ｋ_ｉ，ｊ）を用いて新しいチャンネル（例えば“色”）成分のＮ−チャンネル画像Ｉ＝｛Ｉ_１，Ｉ_２，．．．，Ｉ_Ｎ｝への変換と、チャンネルオフセットベクトルＣ_Ｍ＝（ｃ_ｉ）により与えられる：

例えば、図５は、ＲＧＢベクトル｛５、−７，３｝を（１１／１６）π回転させた色における同等の色空間変換を説明する。

ランク（Ｋ_Ｍ，Ｎ）＝Ｎであり、変換が可逆であれば、画像Ｉと画像Ｊで検出された注目点のセットは、同等となるべきである。

Ｍ＞Ｎであれば、画像Ｊは線形依存チャンネルを有する。線形依存チャンネルを有するそれぞれの画像に対して、線形非依存チャンネルを有する画像を生成する変換が存在する。例えば、チャンネルの線形非依存成分が削減される。全チャンネルにおいてシングル−チャンネル検出器により検出される注目点のセットの集合が、マルチチャンネル検出器により検出された点の超集合か同等物であるとういう前提は、次の例で説明されるように真ではない。

図６は、グレースケーリングが画像特徴を破壊した場合のオイラーベン図の一例である。エッジ検出器は、所定の画像内の全てのエッジを検出し得る。各チャンネルのエッジのセットの全ての集合は、フルカラー画像検出器で検出されるエッジの集合と同等である。しかし、ブロブの各チャンネル検出器は、“自身の”チャンネル内の注目点のみを検出することができ、全ての共通部分や派生物の集合内のブロブを見つけることはできない。異なるチャンネルからの情報を用いる“共同の”検出器のみが、そのような注目点を全て検出し得る。

或る色成分変換は、このダイアグラムにおける全ての部分集合（例えば、基本セット、共通部分、集合）を新しい色成分に対応付けることができる。ここで、各部分集合の“色”は、それぞれのチャンネルに対応付けられる。また、新しいチャンネル毎に別々のシングル−チャンネル検出器により検出される注目点のセットの集合は、単純なケースの場合、全体のマルチチャンネル注目点セットと同等である。

５）削減された成分への変換
ランク（Ｋ_Ｍ，Ｎ）＜Ｎを有するチャンネルの変換は、検出器の観点からは初期画像と同等ではない。その初期画像は、新しい成分と直交するチャンネルで検出される注目点を有する。これは、“色盲”効果として呼ばれ得る。図７は、色盲テストの一例を示す図である。図８は、図７に示す色盲テストに対するヘッセ行列に基づく検出器の応答の決定要素を説明する。図８は、カラーパターンがグレースケールでは認識されないことを実証する。

６）分離基準
画像が空間領域の小部分（fragments）に分かれるなら、小部分で検出された注目点のセットの集合は、画像全体で検出された注目点のセットの部分集合であるべきである。

画像の小部分は、画像全体と比べて、注目点検出を強調するチャンネルの特有な変換を用いることが可能である。特有な変換を用いる拡張された小部分で注目点が検出されるならば、この注目点は、画像全体でも検出されるべきである。注目点検出器の推定（例えば検出の拡張）は、空間内で局所的になされるべきである。例えば、カメラフラッシュが或る画像で用いられたならば、コントラスト、輝度、光スペクトルは、近距離の対象物と長距離の対象物とで異なってくるだろう。従って、広域のチャンネル統計は、一般的にこのケースでは効果的ではない。
Ｂ．現在の画像特徴検出器
注目点検出のためのアルゴリズムは、一般的に、空間領域のフィルターカーネルで畳み込み演算を適用する。そのとき、このアルゴリズムは、こう配（gradients）、ラプラシアンを計算したり、局所的な極値を検出したりすることで、スカラー値としての結果の応答を分析する。

検出器でのカラー画像に対するスカラー値へのカラー応答のマッピングは、下記に説明するとおり様々な欠点がある。色盲テスト（図７、８参照）に関して、（例えばガウシアンの差やＬｏＧの近似値や、ガウスのラプラシアン値（Laplacian of Gaussian）を用いる）ＳＩＦＴ検出器や、（ヘッセ行列式を用いる）ＳＵＲＦ検出器は、スカラー値のみを用いる。ＳＩＦＴやＳＵＲＦの画像処理の前に、カラー画像は、グレースケールに変換される。これらのアルゴリズムは、図７や図８に示すような色盲テスト画像では注目点を検出することができない。

ヘッセ行列値のための正値性基準に基づくマルチチャンネル検出器は、チャンネルにおけるベクトル値の内積に伴うスカラーの積を変更する。微分演算子の使用のおかげで、この手法は、異なるチャンネルからの信号内の定数成分を不変にする。しかし、その信号における値の範囲は不変ではない。

この基準の欠点を実証するため、特別なカラー画像を撮ることが可能である。このカラー画像は、図９で説明される例で示されるように、或るチャンネルにおける弱−明度のブロブが他のチャンネルにおける強−明度の鞍部に位置する。図９は、薄い（弱）緑のブロブと濃い（強）非対象の赤い鞍部と、二つの関連付けられた画像特徴とを示す。現在のマルチチャンネル検出器は、この特徴（例えば弱ブロブ）を認識することができない。しかし、そのシングル−チャンネルの検出器の類似品では、この特徴を認識することができる。ＲＧＢの例に対して、現在の検出器は次の結果を得る：

この式は、鞍部に対応する濃いＬ_ｘ，ｙ成分を有する。それらの成分は、ブロブに対応する弱の正値を抑圧し、その結果が負値になる。しかし、ヘッセ行列に基づく検出器は、正値のみを検索する。一般的な明度のシングル−チャンネル検出器は、これらの特徴を認識することが可能である。例えば、図１０は、ブロブに対して応答がない、異なるスケールに対する現在のマルチチャンネル検出器の応答を説明する。図１１は、大きいスケールでは一般的な検出器が検出する、異なるスケールに対するシングル−チャンネル検出器の応答を説明する。従って、このマルチチャンネル検出器は信頼できない。

他の現在の検出器は、各チャンネルに対するヘッセのマルチチャンネル成分を独立的に計算する。そのような手法では、ガウスカーネルの微分係数に従う畳み込みの演算子が、画像に適用される。この演算子の線形性のため、画像チャンネルの線形結合と同等になってしまう。その結果、その手法は、潜在的に色盲となる。言い換えると、この線形結合により、一定の領域内で悪化し得る画像が存在する。また、これらの画像タイプに対して、特徴を失うことを覚悟して線形結合をすべきである。

一般化されたロバストなマルチチャンネル（ＧＲｏＭ）画像特徴検出器
最善の信号にシフトすることは、異なる検出器の方法の使用を要求する。信号をスケーリングしたり、可能であれば転置したりすることは、絶対的な閾値の使用を制限する。局所的な極値検索の使用は好ましい。濃い鞍部に位置する薄いブロブのテスト（例えば図９と図９に関連する上記説明）は、そのような注目点を区別することができる普遍的なカラーモデルがないことを明らかにする。それゆえ、各注目点に対して、（例えば上記条件６）に従った）局所的な検索は、注目点に対する最適色を検出するために信号成分にも実行されるべきである。マルチチャンネル検出の処理は、次の処理に減らすことができる。“局所的な最適色”の検索（例えば最大化問題の的確な解）、マルチチャンネル成分からシングル−チャンネル成分への局所的な領域の変換、及びその局所的な領域内におけるシングル−チャンネル検出器の適用の処理である。

“カラー”は、シングルチャンネル（例えばグレースケールへの変換）に対するチャンネル値の射影を定めるベクトルを表す。シングル−チャンネル検出器の応答機能は、最適に（又はおおよその（部分最適な）検索の解のために“異なる”）“カラー”を選択するための方法を定義する。ヘッセマトリックスのチャンネル値の計算は、或る“最適なブロブカラー”に変換されたガウスカーネルでの畳み込み演算であり、ブロブに対するそのようなヘッセマトリックスＨの固有値λ_１とλ_２は、両方とも正値（又は両方とも負値、符号はそれほど重要ではない）であるべきある。また、固有値の和（Ｔｒ（Ｈ））に対する固有値差の割合は、できるだけ（例えば最も非対称なブロブ）最小化すべきである。この割合は、（例えば“ブロブの真円度ｑ”と比較される）円錐断面の離心率εに相当するものになりうる。

離心率εは、現在の点を、ブロブ（ε＜１）、うね（ε＝１）、鞍部（ε＞１）というように分類することを支援することができる。この点での基準となるブロブ検出は、選択された“最善のカラー”ベクトルにマルチチャンネル“カラー”を射影するラプラシアン演算子（Ｔｒ（Ｈ））の局所的な最大化である。或る実施例において、ブロブ検出器に対するＧＲｏＭに基づくアルゴリズムは、以下のアルゴリズム１に示される。ここで、“最善のブロブカラー”ｕは、非ブロブ要素が離心率因子により抑圧されたラプラシアン演算子である。

アルゴリズム１−ＧＲｏＭアルゴリズム
１．“局所的に”異なる色を計算
１．１．点（ｘ_０、ｙ_０）でのヘッセ行列のテンソルを計算

１．２．“最善のブロブカラー”を計算

ここで、Ｈ_ｉとＬ_ｉは、ｉ番目のチャンネルのみで計算される或る点（ｘ、ｙ）での、ヘッセ行列とラプラス演算子をそれぞれ定義する。

２．（ｘ_０、ｙ_０）（ｕへの最大射影）での極限点に対するテスト

ラプラス演算子に基づくマルチチャンネル検出器の性能は、共同作用のテストにより明らかにされ得る。マルチチャンネル画像は、異なるチャンネルで交差するブロブを有する。この交差は、画像内の新しい特徴を生成する。ＲＧＢからグレースケール、例えば３０％の赤、５９％の緑、１１％の青に変換することができる。図６のオイラーベン図は別として、しかしながら、そのような変換は、重要な情報を失い、黒カラーは、初期明度の１１％を符号化する。マルチチャンネル検出器は、例えば図１２に見られるようにシングル−チャンネル検出器よりもさらに画像特徴を検出することができる。このテストは次のことを表す。初期の色空間からグレースケールの色空間への対応関係である、悪化されたマトリックスが使用されれば、シングル−チャンネル検出器の特徴は、変換された画像内では認識されないだろう。

逆に、開示された技術の実施例では、例えば図６の画像内の注目点や、例えば図９（例えば図１３参照）の薄いブロブも全て検出することが可能な検出器を含んでもよい。そのような検出器は、上手く色盲テストにも通用する（例えば、その検出器は、図１４により説明された応答をする）。ここまで記載されたようなＧＲｏＭ画像特徴検出器は、“依然として他のカラーブロブ検出器”ではなく、むしろ、マルチチャンネル検出器の開発に対する方法である。或る実施例では、ＧＲｏＭ画像特徴検出器は、例えば、Ｈａｒｒｉｓ−Ｓｔｅｐｈｅｎｓ検出器の応答Ｒを最大化するための他の“最善カラー”検索アルゴリズムを用いてもよい。

画像特徴検出器に対するいくつかの一般的な手法は、３つの組（ｘ，ｙ，σ）として画像特徴を定めることを含む。ここで、ｘとｙは空間係数であり、σはスケールである。この３つの組に対して、（ｘ，ｙ）に位置する画像特徴は、その周辺領域Ｓ_σ（ｘ，ｙ）の全ての点の間で、重要な尺度の最大値を有する。その重要な尺度は、カラーについての情報をスカラー値に“畳み込む”。また、この尺度は広範囲であるため、点（ｘ，ｙ）に依存しない。開示された技術の或る実施例では、４つの組（ｘ，ｙ，σ，ｖ）として画像特徴を定めることを含んでもよい。ここで、ｖは、点（ｘ，ｙ）に位置する“局所的な”カラーの特徴である。ｖは、セットＳ_σ，ｖ（ｘ，ｙ）内の（ｘ，ｙ）で尺度を最大化させるために選択されてもよい。グレースケールの領域Ｓ_σ，ｖ（ｘ，ｙ）は、Ｓ_σ（ｘ，ｙ）からｖにカラーの点を射影するときに与えられてもよい。

その問題に対する一般的なカラーレス手法は、或るスカラーの尺度によりグレースケール領域内で優位である点としての画像特徴を定めることである。最近の試みでは、同じスカラー尺度によりカラー領域で優位な点の画像特徴を定めてもよい。しかし、開示された技術の実施例では、スカラー尺度により色空間における“局所的な”グレースケール面に射影されたカラー領域に優位な点としての画像特徴を定めることを含んでもよい。このように画像特徴を定めることで、“自然な”マルチチャンネル（例えばカラー）になる。また、対応する画像特徴検出器は、完全な画像の情報を用いることができ、現在の検出器よりも画像特徴をもっと検出することが可能になる。

開示された技術により取り組まれた現在の画像特徴検出器の欠点
例えば、カラーＳＩＦＴや、カラーＨａｒｒｉｓなどの現在のカラー検出器と違って、開示された技術に従うＧＲｏＭ画像特徴検出器は、上述した強−明度の鞍部にある弱−明度のブロブ（例えば図９参照）や、オイラーベン図（例えば図６参照）や、色盲テスト（例えば図７参照）のようなテスト画像にも上手く機能する。

カラーＳＩＦＴ検出器は、ブロブ検出器である。図１５は、注目点に対するカラーＳＩＦＴを視認化する表記を用いる。図１５は、全てのブロブが認識されず、色盲テストが通用しないテスト画像に対するカラーＳＩＦＴ結果の一例を説明する。結果的に、カラーＳＩＦＴ検出器は、このテストケースを満たさない。

カラーＨａｒｒｉｓ検出器は、コーナー検出器である。カラーＨａｒｒｉｓ検出器には２つのバージョンがある。その２つは、一般的な検出器と、拡張された検出器である。図１６は、オイラーテストが通用しないテスト画像に対するカラーＨａｒｒｉｓ検出器の結果の一例を説明する。図１６によれば、その検出器は、ブロブコーナー検出のおかげで、鞍部と色盲テストには上手く機能するかもしれないが、オイラーベン図には上手く機能しない。拡張されたカラーＨａｒｒｉｓ検出器は、図１７に見られるように、同じ振る舞い／同じ欠点を有する。

図１８は、開示された技術の実施例が実装され得るシステム１８００の一例を説明する。システム１８００は、ラップトップコンピュータのようなコンピューティングデバイス、携帯情報端末やタブレットコンピュータのようなモバイルデバイス、またスマートフォンのような通信デバイスを含んでもよいが、これに限定されるものではない。システム１８００は、ハウジング１８０２、ハウジング１８０２に結合されるディスプレイ１８０４、ハウジング１８０２に結合されるカメラ１８０６、ハウジング１８０２内のプロセッサ１８０８、及びハウジング１８０２内のメモリ１８１０を含む。プロセッサ１８０８は、ビデオプロセッサや他のタイプのプロセッサを含んでもよい。カメラ１８０６は、プロセッサ１８０８に送るための入力画像を提供してもよい。メモリ１８１０は、プロセッサ１８０８により入力画像に実行された処理結果である出力画像を記憶してもよい。プロセッサ１８０８は、上述した様々な画像処理操作の組み合わせを実質的に実行してもよい。

ここに開示された技術は、様々なハードウェア・アーキテクチャーに組み入れられてもよい。例えば、開示された技術の実施例は、１つ以上のマイクロチップ、マザーボードを使用して相互に連結した集積回路、グラフィックス及び／又はビデオプロセッサ、マルチコアプロセッサ、ハードワイヤードロジック、メモリデバイスにより記憶され、マイクロプロセッサにより実行されるソフトウェア、ファームウェア、特定用途向け集積回路（ＡＳＩＣ）、及び／又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）のいずれか、又は任意のコンビネーションとして実装されてもよい。ここに使用されるような用語「ロジック」は、例として、ソフトウェア、ハードウェアあるいはその任意のコンビネーションを含んでもよい。

特定の実施例は、ここに説明され記述された。しかし、広範囲に渡る代替案や、実装に相当するものが、開示された技術の実施例の範囲から逸脱せずに、開示され記述された特定の実施例の代わりとなることは、当業者によって認識されるだろう。

このアプリケーションは、ここに記述され説明された実施例の如何なる応用又はバリエーションもカバーするように意図される。それゆえ、開示された技術の実施例は、次の請求項及びその均等物によってのみ制限されることが明白に意図される。

Claims (23)

1. マルチチャンネル画像の局所的な領域内で、局所的な最適色に対する局所的な検索を実行する段階と、
   前記マルチチャンネル画像の前記局所的な領域をシングル−チャンネル成分に射影する段階と、及び
   シングル−チャンネル検出器を前記射影された局所的な領域に適用する段階とを含む方法。
2. 前記局所的な最適色は、チャンネル値の射影をシングルチャンネルに定めるベクトルを含む請求項１記載の方法。
3. 前記実行する段階は、
   前記マルチチャンネル画像内の複数の注目点それぞれに対して前記局所的な検索を実行する段階を含む請求項１記載の方法。
4. 前記局所的な検索を実行する段階は、
   局所的に異なる色を計算する段階を含む請求項１記載の方法。
5. 前記局所的に異なる色を計算する段階は、
   以下の式を用いて点（ｘ_０，ｙ_０）でヘッセ行列のマトリックスＨを計算する段階を含む請求項４記載の方法。
   

   
6. 前記ヘッセ行列のマトリックスＨの固有値λ_１及びλ_２は、両方とも正値である請求項５記載の方法。
7. 前記ヘッセ行列のマトリックスＨの固有値λ_１及びλ_２は、両方とも負値である請求項５記載の方法。
8. 命令を記憶したコンピュータ読取可能な記録媒体であって、前記命令は、プロセッサにより実行されるとき、前記プロセッサに、
   マルチチャンネル画像の局所的な領域内で、局所的な最適色に対する局所的な検索を実行させ、
   前記マルチチャンネル画像の前記局所的な領域をシングル−チャンネル成分に射影させ、及び
   シングル−チャンネル検出器を前記射影された局所的な領域に適用させる記録媒体。
9. 前記局所的な最適色は、チャンネル値の射影をシングルチャンネルに定めるベクトルを含む請求項８記載の記録媒体。
10. 前記実行する処理は、
    前記マルチチャンネル画像内の複数の注目点それぞれに対して前記局所的な検索を実行する処理を含む請求項８記載の記録媒体。
11. 前記局所的な検索を実行する処理は、
    局所的に異なる色を計算する処理を含む請求項８記載の記録媒体。
12. マルチチャンネル画像を受け取る入力ポートと、及び
    マルチチャンネル画像の局所的な領域内で、局所的な最適色に対する局所的な検索を実行し、
    前記マルチチャンネル画像の前記局所的な領域をシングル−チャンネル成分に射影し、及び
    シングル−チャンネル検出器を前記射影された局所的な領域に適用するビデオプロセッサと
    を備える装置。
13. 前記局所的な最適色は、チャンネル値の射影をシングルチャンネルに定めるベクトルを含む請求項１２記載の装置。
14. 前記実行する処理は、
    前記マルチチャンネル画像内の複数の注目点それぞれに対して前記局所的な検索を実行する処理を含む請求項１２記載の方法。
15. 前記局所的な検索を実行する処理は、
    局所的に異なる色を計算する処理を含む請求項１２記載の装置。
16. ハウジングと、
    前記ハウジングに結合されるディスプレイと、
    前記ハウジングに結合されるカメラと、
    前記ハウジング内にあるメモリと、及び
    前記ハウジング内にあるプロセッサと備え、
    前記プロセッサは、
    マルチチャンネル画像の局所的な領域内で、局所的な最適色に対する局所的な検索を実行し、
    前記マルチチャンネル画像の前記局所的な領域をシングル−チャンネル成分に射影し、
    シングル−チャンネル検出器を前記射影された局所的な領域に適用し、
    前記適用された結果の出力画像を前記ディスプレイに表示させ、及び
    前記メモリに前記出力画像を記憶させる携帯型コンピューティングデバイス。
17. 前記局所的な最適色は、チャンネル値の射影をシングルチャンネルに定めるベクトルを含む請求項１６記載の携帯型コンピューティングデバイス。
18. 前記実行する処理は、
    前記マルチチャンネル画像内の複数の注目点それぞれに対して前記局所的な検索を実行する処理を含む請求項１６記載の携帯型コンピューティングデバイス。
19. 前記局所的な検索を実行する処理は、
    局所的に異なる色を計算する処理を含む請求項１６記載の携帯型コンピューティングデバイス。
20. カラー領域Ｓ_σ，ｖ（ｘ，ｙ）の各点で重要な尺度の最大値を有する点（ｘ，ｙ）に位置する画像特徴の局所的な色であるｖを含む、４つの組（ｘ，ｙ，σ，ｖ）で画像内の画像特徴を定める段階と、及び
    グレースケールの領域Ｓ_σ，ｖ（ｘ，ｙ）は如何にＳ_σ（ｘ，ｙ）からｖに点の色を射影するかに基づいて、前記グレースケールの領域を定める段階と
    を含む方法。
21. 命令を記憶したコンピュータ読取可能な記録媒体であって、前記命令は、プロセッサにより実行されるとき、前記プロセッサに、
    カラー領域Ｓ_σ，ｖ（ｘ，ｙ）の各点で重要な尺度の最大値を有する点（ｘ，ｙ）に位置する画像特徴の局所的な色であるｖを含む、４つの組（ｘ，ｙ，σ，ｖ）で画像内の画像特徴を定めさせ、及び
    グレースケールの領域Ｓ_σ，ｖ（ｘ，ｙ）は如何にＳ_σ（ｘ，ｙ）からｖに点の色を射影するかに基づいて、前記グレースケールの領域を定めさせる記録媒体。
22. マルチチャンネル画像を受け取る入力ポートと、及び
    カラー領域Ｓ_σ，ｖ（ｘ，ｙ）の各点で重要な尺度の最大値を有する点（ｘ，ｙ）に位置する画像特徴の局所的な色であるｖを含む、４つの組（ｘ，ｙ，σ，ｖ）で画像内の画像特徴を定め、及び
    グレースケールの領域Ｓ_σ，ｖ（ｘ，ｙ）は如何にＳ_σ（ｘ，ｙ）からｖに点の色を射影するかに基づいて、前記グレースケールの領域を定めるビデオプロセッサと
    を備える装置。
23. ハウジングと、
    前記ハウジングに結合されるディスプレイと、
    前記ハウジングに結合されるカメラと、
    前記ハウジング内にあるメモリと、及び
    前記ハウジング内にあるプロセッサと備え、
    前記プロセッサは、
    カラー領域Ｓ_σ，ｖ（ｘ，ｙ）の各点で重要な尺度の最大値を有する点（ｘ，ｙ）に位置する画像特徴の局所的な色であるｖを含む、４つの組（ｘ，ｙ，σ，ｖ）で画像内の画像特徴を定め、
    グレースケールの領域Ｓ_σ，ｖ（ｘ，ｙ）は如何にＳ_σ（ｘ，ｙ）からｖに点の色を射影するかに基づいて、前記グレースケールの領域を定め、
    前記定められた結果の出力画像を前記ディスプレイに表示させ、及び
    前記メモリに前記出力画像を記憶させる携帯型コンピューティングデバイス。

Images