JP2015207280A - 目標識別方法及び目標識別装置 - Google Patents

Abstract

【課題】本発明は目標識別方法及び装置を提供する。【解決手段】該方法は既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別する目標識別方法であり、所定のサンプリング方式によって前記目標領域に対してサンプリングを行い、複数の目標サンプリングポイントを取得し；前記目標サンプリングポイントの特徴空間内の安定度を表す、前記目標サンプリングポイントの安定性ウェイトを計算し；安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得し；及び、前記目標画像領域の加重特徴記述と前記サンプル画像領域の加重特徴記述モデルから前記目標画像領域を識別することであって、前記サンプル画像領域の加重特徴記述モデルは安定性ウェイトを有するサンプルサンプリングポイントから取得したものである、ことを含む。【選択図】図１

Description

本発明はデジタル画像処理分野に関し、具体的には、本発明は目標識別方法及び目標識別装置に関する。

近年、目標識別は次第にコンピュータビジョンの活発な研究分野となっている。目標識別はコンピュータに目標の類別の自動感知、追跡工程の維持、追跡ロスト後の自動回復等の核心的処理能力を提供するため、例えば人体活動（行為）分析などの、ハイレベルな応用へのサービス提供が可能になる。

現在、目標識別に関しては活発な研究がなされているが、依然として解消すべき公知の問題が存在している。例えば、リアルシーンでの目標識別は局部特徴への要求が比較的高いため、これらの特徴は付近の物体の干渉や遮断などの要素に影響されないことが求められている。具体的には、目標識別に用いる特徴は通常、光の照射の変化、視角変化、遮断とひずみなどの要素の影響を受けやすい。

すでに前記問題は意識されているが、多くの従来の研究は依然として特定の応用シーンに集中するか、広範囲にわたるアルゴリズムの研究に集中している。例えば、一つの面では、例えば顔の識別、ジェスチャーの識別、歩容の識別など具体的応用において特徴に影響を及ぼす前記要素について多くの研究がなされているが、これらの具体的応用は往々にして応用シーンに基づいて決まる先験的知識を必要とし（例えば、顔の識別応用では、既知の鼻、目などの器官の顔の中の相対位置などを必要とする）、これはこれらの方法の汎用性と普及能力を損ねうる。別の面においては、汎用の機械学習アルゴリズムに偏った研究が存在するが、それは主に高次元データと分類器の間の複雑な組み合わせと再構築に注目しているが、ある程度前記挑戦を無視している（即ち、識別アルゴリズムは光の照射の変化、視角変化、遮断、ひずみなどの要素にとても敏感である）。以上より、画像処理に関する目標識別アルゴリズムの性能は依然として不十分であり、これは目標識別結果に基づいて実行する必要のある後続工程（例えば、追跡回復など）の正確性にさらに影響を与えることは明らかである。

例えば、現在、目標識別（即ち、目標類別の判定）と追跡回復を最終目的とする技術ソリューションの中では、特徴点検出とマッチングソリューションが代表的なもののひとつである。このソリューションは主に、特徴点検出アルゴリズム（例えば、スケール不変特徴量変換（SIFT）アルゴリズム）を用いて既知の類別のサンプル画像領域内の特徴点と未知の類別の目標画像領域内の特徴点を検出し、特徴点マッチングによって目標画像領域を識別することを含む。

しかしながら、該技術ソリューションにおいて、特徴点はアルゴリズムによって検出したものであるため、特徴点の数が往々にして非常に少ない。このため、非常に少ない特徴点だけが検出された場合、目標画像領域（撮影目標と称することもある）に対する表現が制限を受け、マッチング結果の信頼度もこれに応じて低くなってしまうという問題が存在する。

本発明の目的は、上述のような問題を解決することができる目標識別方法及び目標識別装置を提供することにある。

前記技術問題を解決するために、本発明の一つの面によれば、既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別するのに用いる方法が提供され、該方法は、所定のサンプリング方式によって前記目標領域に対してサンプリングを行い、複数の目標サンプリングポイントを取得し；前記目標サンプリングポイントの安定性ウェイトを計算し、前記安定性ウェイトは前記目標サンプリングポイントの特徴空間内の安定度を表し；安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得し；そして、前記目標画像領域の加重特徴記述と前記サンプル画像領域の加重特徴記述モデルから前記目標画像領域を識別し、前記サンプル画像領域の加重特徴記述モデルは安定性ウェイトを有するサンプルサンプリングポイントから取得したものである、ことを含む。

また、本発明の別の面においては、既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別するのに用いる装置が提供され、該装置は、所定のサンプリング方式によって前記目標画像領域に対してサンプリングを行い、複数の目標サンプリングポイントを取得するのに用いる目標サンプリングユニット；前記目標サンプリングポイントの安定性ウェイトを計算するのに用い、前記安定性ウェイトは前記目標サンプリングポイントの特徴空間内の安定度を表すのに再利用するウェイト計算ユニット；安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得するのに用いる記述取得ユニット；及び、前記目標画像領域の加重特徴記述と前記サンプル画像領域の加重特徴記述モデルに基づいて前記目標画像領域を識別するのに用い、前記サンプル画像領域の加重特徴記述モデルは安定性ウェイトを有するサンプルサンプリングポイントから取得したものである目標識別ユニットを含む目標識別装置を提供する。

本発明の実施例は、十分な特徴点によって対象をしっかりと表す能力を有し、同時にその中の重要な点により注目することで、ウェイトを有する特徴点を処理可能な識別アルゴリズムによって、加重特徴点に基づく識別工程を可能にする加重特徴点に基づく目標識別方法を提供する。このほか、本発明の実施例では、双眼カメラを使用して視差情報を撮像できるため、3D空間情報を十分に使用できる。このため、従来技術と比べ、本発明の実施例は比較的高い識別精度を有し、またリアルシーンでの各種要素（例えば、光の照射や遮断など）による特徴点の各種劣化に対してさらにロバストである。

本発明のその他特徴とメリットは以降の明細書の中で詳しく説明し、また、一部は明細書から自明であり、または本発明を実施することで理解できる。本発明の目的とその他メリットは、明細書、請求項及び図面の中で特に指摘している構造から実現可能で、取得可能である。

図面は、本発明へのさらなる理解に供するとともに、明細書の一部を成し、本発明の実施例と共に本発明の説明に用いるが、本発明を限定するものではない。
本発明の実施例の目標識別方法の全体フローチャートである。 図2Ａは、従来技術のサンプル画像領域内で特徴点を取得する概念図である。図2Bは、従来技術の目標画像領域内で特徴点を取得する概念図である。 図3Ｂは、従来技術の目標画像領域内で特徴点を取得する概念図である。図3Bは、本発明の実施例の目標画像領域内で特徴点を取得する概念図である。 本発明の第一実施例の目標サンプリングポイントのスケール安定性ウェイトを計算するステップの具体的フローチャートである。 本発明の第二実施例の目標サンプリングポイントの空間安定性ウェイトを計算するステップの具体的フローチャートである。 本発明の第三実施例の目標サンプリングポイントの組合せ安定性ウェイトを計算するステップの具体的フローチャートである。 本発明の第一実施例の目標サンプリングポイントにスケール不変特徴記述とスケール安定性測定を行う原理概念図である。 本発明の第二実施例の目標サンプリングポイントに空間安定性測定を行う原理概念図である。 ステレオカメラ設置の概念図である。 水平投影図の中で目標サンプリングポイントの高さを計算する概念図である。 本発明の実施例のサンプル画像領域の加重特徴記述モデルを取得するステップの具体的フローチャートである。 本発明の実施例のサンプルサンプリングポイントにスケール不変特徴記述を実行する原理概念図である。 図10Ａは、従来技術のK平均法クラスタリングの原理概念図である。図10Bは、本発明の実施例の加重K平均法クラスタリングの原理概念図である。 本発明の実施例の特徴空間内の最小距離投票の原理概念図である。 本発明の実施例の目標画像領域の加重特徴記述を取得するステップの具体的なフローチャートである。 本発明の実施例の目標画像領域を識別するステップの原理概念図である。 従来技術に基づく特徴点検出とマッチング方法を追跡回復工程に応用するときの追跡効果概念図である。 本発明の実施例の目標識別方法を追跡回復工程に応用するときの追跡効果概念図である。 本発明の実施例の目標識別装置の機能構成ブロック図である。 本発明の実施例の目標識別に用いるシステムの機能構成図である。 本発明の実施例の目標識別に用いるハードウェアシステムの全体ハードウェアブロック図である。

図面を参考に本発明の各実施例を詳細に説明する。ここで、図面においては、基本的に同一または類似の構造と機能を有する構成要素には同一の図面記号を与え、これらに関する重複記述は割愛する。

以下、簡潔に本出願の主な考え方を説明する。

従来技術における技術問題、即ち、少数の特徴点だけが検出される状況を解決するため、本出願は所定のサンプリング方式に基づいて直接特徴点の数を増やすことができる新しい目標識別方法を提出する。このように、特徴点の数が増えるため、目標画像領域の表現はより豊富になり、ある程度マッチング結果の信頼度を向上することができる。

しかしながら、本発明者はさらなる研究から、サンプリングされる位置を直接増やすことで特徴点を増やす前記方法に依然として一定の副作用があることに気付いた。即ち、これらサンプリングポイントはサンプリングされたものであり、キーポイント検出アルゴリズムを使用して検査されたものではないため、これらサンプリングポイントの質（ここで、質とは該サンプリングポイントの特徴空間内での安定性を指す）は保証しがたい。つまり、これらの特徴点は例えば光の照射、視角変化、遮断やひずみなどの現実要素の影響を簡単に受け、特徴点の特徴空間内での安定性が各々異なるようになり、依然として最終的に満足のいく識別結果を取得することができなくなってしまう。

そのため、本出願ではさらに、各特徴点の特徴空間内の安定性を確定し、ウェイトの概念を用いてこれらの安定性の異なる特徴点を不均等に処理し、これらの特徴点の安定性の違いを反映することで、安定性の強い特徴点の識別工程への影響をより大きくし、安定性の低い特徴の識別工程への影響をより少なくすることにより、識別工程の正確性を最大限保証することを提案している。

言い換えると、本出願では、これらの特徴点の安定性における違いを表現するため、各特徴点にウェイト概念を導入し、該ウェイトは特徴点の特徴空間内の安定性（または信頼性ともいう）によって変化する。それに応じて、本出願ではさらに比較的高い質を有する（即ち、特徴空間内において比較的高い安定性を有する）特徴点（比較的低い質を有さない特徴点）をリアルシーンの中の目標識別工程により多く応用できるように、ウェイトを有する特徴点を区別して処理することで、加重特徴点に基づく目標識別工程を可能にしたアルゴリズムを提案している。

以下、図1から図13を参考に本発明の実施例の既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別するのに用いる目標識別方法の全体プロセス例を説明する。

図1は本発明の実施例の目標識別方法の全体フローチャートである。

図1に示しように、該目標識別方法は以下を含む。

ステップS110では、所定のサンプリング方式によって目標画像領域に対してサンプリングを行う。

まず、ユーザがコンピュータを使って目標画像領域に対する識別操作を実現したいとき、関心のある画像または画像シーケンスを取得し、入力データとする。該関心のある画像または画像シーケンスは未知類別の目標画像領域を含むことができる。言い換えると、該関心のある画像または画像シーケンスはそれ自体が未知類別の目標画像領域でもよい。

例えば、該関心のある画像または画像シーケンスが撮像装置（例えば、カメラ）から受信したグレースケール画像と対応する深度画像（または視差画像または視差図と称す）からなる画像対のシーケンスでもよい。具体的には、該視差画像は双眼距離測定原理に基づき、特定のカメラを利用して採集したものでよい。

言うまでもなく、いかなる従来の視差画像取得方法もすべて本発明に用いることができる。例えば該視差画像は専門の視差撮影カメラが直接撮影したものでもよい。言い換えると、双眼カメラ、多眼カメラ、ステレオカメラからグレースケール画像を撮影し、前記グレースケール画像から対応する視差画像を計算して取得することもできる。具体的には、例えば、検出する対象（または目標と称す）が道路上の対象、例えば車両や歩行者の場合、車載双眼カメラから左画像と右画像を撮影し、そのうち左画像（または右画像）をここでのグレースケール画像とし、左画像と右画像からここでの視差画像を計算して取得できる。
ここで、１実施例では、例えば現地にあるカメラからグレースケール画像と視差画像を取得してもよい。または、他の実施例では、例えば有線ネットワークまたは無線ネットワークを利用して遠隔に位置するカメラからグレースケール画像と対応する視差画像を取得することができる。また、関連する画像撮影装置（例えばカメラ）は必ずしも車両に設置する必要はなく、例えば、必要に応じて道路沿いの建築物か、検出対象を撮影するのに適した他の位置に設置してもよい。

ここでの視差画像は必ず複数のカメラから得ることに限定しているわけではなく、一台のカメラから時間領域に基づいて得ることもできる。例えば、一台のカメラがある時刻に撮影した一枚の画像を左画像とし、それから次の時刻に、該カメラが少し位置を移動した後に撮影した別の画像を右画像とし、このようにして取得した左画像と右画像に基づいて視差画像を計算して得ることができる。

また、上記ではグレースケールを例に説明してきたが、当業者であれば、カメラの撮影パラメータとコンピュータの計算性能などのパラメータが許す場合、カラー図（またはカラー画像と称す）を該グレースケールの代わりに使用してもよいことは理解できる。

続いて、関心のある画像または画像シーケンスの取得後は、該画像または画像シーケンスから識別すべき目標画像領域を抽出することができる。

例えば、該目標画像領域は関心のある画像または画像シーケンス内で事前に検出した識別すべき目標を含む画像領域でもよい。ここでは、識別応用の用途に応じて、該目標は一般対象または特定対象でよく、該一般対象は例えば本、机、またはグレードの異なる車など（例えば、小型車とトラック）を指すことができ、特定対象は例えば人、動物などである。

それから、事前にその類別を知っているサンプル画像領域から前記目標画像領域の類別を識別できるように、抽出した目標画像領域内にて特徴点を抽出し、それによって該目標画像領域が前記複数のサンプル画像領域内のあるサンプル画像領域に対応するかどうかを判断する。

以下、理解しやすくするため、まず、図2Aと図2Bを参考に従来技術に基づく目標識別方法の中の特徴点取得工程及びその技術問題を説明する。

図2Aは従来技術のサンプル画像領域内で特徴点を取得する概念図で、図2Bは従来技術の目標画像領域内で特徴点を取得する概念図である。

典型的に、前述したように、従来技術に基づく目標識別方法は特徴点検出とマッチングソリューションを含むことができる、該ソリューションのなかでは、検出器を使用して既知の類別のサンプル画像領域と未知の類別の目標画像領域内でそれぞれ特徴点を検出し、特徴点のマッチングによって目標画像領域の類別を識別することができる。

しかしながら、背景技術にて説明したように、該従来ソリューションには、特徴点が検出アルゴリズムから検出したものであるため、特徴点の数が往々にして非常に少ないという技術問題が存在する。

具体的には、図2Aと図2Bを参考にすることで、サンプル画像領域と目標画像領域内で検出した特徴点の個数が非常に少なく、その数はそれぞれわずか15個前後に過ぎず、それにより画像内の目標（即ち、人）の表現が不十分であることが見て取れる。特に、図2Aに示すように、SIFT演算子を検出器として使用する場合、図面の記号1の示す丸囲み領域内はわずか5つの特徴点しか検出できない。

このほか、本発明者はさらに、従来ソリューションにはもう一つの技術問題が存在することに気付いた。即ち、目標画像領域内で照射の変化、視角変化、遮断、ひずみなどが起きた場合、サンプル画像領域と目標画像領域の間に、実際には対になることができる特徴点が存在しないことも起こりうるが、たとえそうだとしても、特徴点検出とマッチングソリューションでは、特徴点のマッチング処理は依然として行われ、間違ったマッチング結果を取得しているのである。

具体的には、図2Aを観察することで、図2Aに示すサンプル画像領域の中で、後方にいる人の襟もとのところで特徴点を一つ検出し、それが図面の記号2で示す円領域内にあることを表していることがわかる。しかしながら、さらに図2Bを観察すると、該特徴点は前方にいる人と後方にいる人の間の相対運動によって前方にいる人に遮断され、よって図2Bに示す目標画像領域には既に存在しないことがわかる。このとき、このソリューションは必ずサンプル画像領域と目標画像領域の間で特徴点マッチングを行う必要があるため、二つの画像領域の間に実際には対となる特徴点がないにもかかわらず、依然として目標画像領域の中から間違った特徴点（例えば、それは図面記号2’で示す円領域内にある）を選択し、サンプル画像領域内の該特徴点2とマッチングを行うことで、エラーが生じてしまう。

前記技術問題にから、該従来ソリューションを採用して得た識別結果の信頼度はおそらく高くはない。

従来ソリューションの第一技術問題、即ち少数の特徴点だけが検出される状況に対して、本発明の実施例の目標識別方法では、ある決まったサンプリング方式に基づいて直接特徴点の数を増やすことができることを提案する。特徴点の数が増えるため、目標画像領域に対する表現はより豊かになり、それによってある程度マッチング結果の信頼度が向上する。

以下、図3Aと図3Bを参考に、従来技術と比較する方法で本発明の実施例の目標識別方法の中の特徴点取得工程とその有益な効果を説明する。

図3Aは、従来技術の目標画像領域内で特徴点を取得する概念図であり、図3Bは、本発明の実施例の目標画像領域内で特徴点を取得する概念図である。

目標画像領域をより豊富に表し、識別結果の信頼度を高めるために、本出願では、所定のサンプリング方式に基づいて目標識別領域に対してサンプリングを行い、直接取得したサンプリングポイントを特徴点とし、特徴点の数を増やすことができる。例えば、サンプリングポイントの位置をユーザ定義、またはランダムに設定するなどのサンプリング方式によって前記画像または画像シーケンスの中で直接特徴点を増やすことができる。説明しやすくするため、以下、ユーザ定義のサンプリングの中の均等サンプリングを例に説明を行う。

例えば、図3Bに示すように、目標画像領域の寸法から所定のサンプリング間隔を選択し、これによって該目標画像領域内でM×N個のサンプリングポイントを取得し、その中のMは垂直方向の中のサンプリングポイントの個数を表し、Nは水平方向の中のサンプリングポイントの個数を表し、MとNは正整数である。均等サンプリングを採用しているため、該目標画像領域内では、垂直方向の中の各二つのサンプリングポイントの間の間隔は同じであり、同時に水平方向の中の各二つのサンプリングポイントの間の間隔も同じである。

言うまでもなく、図3Aと比べ、図3Bでは、特徴点の数が大幅に増加しているため、目標画像領域内の表現はより豊かになり、それによってある程度、その後の識別結果の信頼度が向上する。

説明が必要なのは、該サンプリング操作は目標画像領域に対して行うものであるため、ここではわかりやすくするため、該目標画像領域のサンプリングポイントを目標サンプリングポイントと称する。このほか、後続ステップでは実際にはサンプリングポイントを特徴点として使用しているため、該目標サンプリングポイントを目標特徴点と称すこともできる。

ステップS120では、目標サンプリングポイントの安定性ウェイトを計算する。

目標画像領域に対するサンプリングによって目標特徴点の数を直接増やした後、本発明者はさらに、本発明では、特徴点はサンプリングによって直接得られるものであり（これは弱い条件である）、キーポイント検出器を使用してアルゴリズムによって検査して得られるものではなくなったため、これらの特徴点の質（ここでは、質は該サンプリングポイントの特徴空間内の安定性を指す）は保証しがたいことに気付いた。

具体的には、従来技術の特徴点検出とマッチングソリューションでは、目標画像領域内の特徴点はキーポイント検出器によって検出したものである。つまり、厳格な計算条件によって得たものであるため、最も安定した点である。反対に、本発明の実施例の目標識別方法では、前記ステップS110で得た目標画像領域内の特徴点は検出器から得たものではなく、ユーザ定義またはランダムなサンプリングによって得たものであるため（本実施例では、前記特徴点は均等サンプリングによって得たものである）、それらは特徴空間内で同等の安定性がない。

前記状況を考慮し、以下の潜在問題、即ち特徴空間内の安定性の異なる特徴点を均等に処理するとき、最終的な識別結果に誤差が出てくる可能性を回避するため、好適には、本出願では、各特徴点の特徴空間内の安定性を確定し、特徴空間内の安定性の意味においては、より安定した特徴点は対象識別工程にとってより重要であるため、それに比較的大きなウェイトを与え、反対に、より不安定な特徴点は対象識別工程にとってより重要ではないため、それに比較的小さなウェイトを与え、それによって識別工程の正確性を最大限保証している。

そのため、サンプリングポイントの特徴空間内の安定度を確定する必要がある。例えば、様々な異なる次元の中で該特徴点の特徴空間内の安定性を測ることができる。

本発明の第一実施例では、例えば、該特徴点の特徴空間内の安定性は前記特徴点のスケール空間内の安定度でもよい。

例えば、戻って図3Aと図3Bを参考にすると、仮に図3Aに示す目標画像領域内の特徴点はスケール不変アルゴリズム（例えば、スケール不変特徴量変換（SIFT）アルゴリズム、ロバスト性のある特徴の加速化（SURF）アルゴリズム、アフィンスケール不変特徴量変換（ASIFT）アルゴリズム）から検出したものであるとすると、これらの特徴点はスケール上最も安定した点である。つまり、それらは同じスケール安定性を有している。反対に、図3Bに示す目標画像領域内の特徴点はスケール不変アルゴリズムから検出したものではないため、これらの特徴点がすべてスケール不変の限定条件を満たしているとは限らず、そのためそれらはスケール上同じように安定しているわけではない。

具体的には、図3Aと図3Bを同時に参照すれば、図3Bでは、一部サンプリングによって得た特徴点（例えば下方の矢印Kの指し示す点）は図3Aの中のSIFTアルゴリズムから検出した特徴点とちょうど重なり合うとき、これらの特徴点は必然的に別の特徴点（例えば矢印Jの指し示す点）に比べてスケール空間内でより安定し、それに応じて、前者に対してより高いウェイトを与えなければならない。

そのため、第一実施例では、これらの特徴点のスケール空間内の安定性の違いを表すため、各特徴点に対して一つのスケール安定性ウェイトを使用でき、前記スケール安定性ウェイトは前記目標サンプリングポイントのスケール空間内の安定度を表し、特徴点のスケール安定性によって変化し、その後の識別工程において、これらの異なる特徴点を不均等に処理できるようにしている。

以下、図4Aを参考に、本発明の第一実施例の目標サンプリングポイントのスケール安定性ウェイトを計算するステップの具体的なプロセス例を説明する。

図4Aは、本発明の第一実施例の目標サンプリングポイントのスケール安定性ウェイトを計算するステップの具体的なフローチャートである。

図4Aを参考に、目標サンプリングポイントのスケール安定性ウェイトを計算するステップは具体的に以下を含む。

ステップS1210で、目標画像領域の原画像を取得する。

目標サンプリングポイントに対してスケール不変記述及びスケール安定性測定を行い、各サンプリングポイントの第一種類型のウェイト（即ち、スケール安定性ウェイト）を取得し、目標画像領域の原画像を一枚取得でき、例えば、前記原画像はグレースケール画像またはカラー画像を含むことができる。

例えば、該原画像は前記ステップS110で得たものであるが、他の操作にて得たものでもよい。

ステップS1220では、原画像に基づいて目標サンプリングポイントにスケール不変性特徴記述とスケール安定性測定を行い、目標サンプリングポイントのスケール安定性ウェイトを取得する。

以下、図5を参考に、本発明の第一実施例の目標サンプリングポイントにスケール不変特徴記述とスケール安定性測定を行うステップの具体的操作例を説明する。

図5は、本発明の第一実施例の目標サンプリングポイントにスケール不変特徴記述とスケール安定性測定を行う原理概念図である。

該目標サンプリングポイントにスケール不変特徴記述とスケール安定性測定を行うステップは以下を含む。

サブステップ1では、まず前記原画像に反復ガウスフィルタリングを行い、前記原画像のスケール空間を生成する。

例えば、図5を参考にすると、一枚の原画像（グレースケールまたはカラー）を定めた後、本方法は該原画像に反復ガウスフィルタリングを施し一群の画像を取得し、前記一群の画像の中の各画像はある特定のガウスフィルタリング反復回数に対応する。図5では、該回数はIで表し、Iは整数である。例えば、I＝0で表す関連画像はガウスフィルタリングを施していない原画像であり、I＝1で表す関連画像はガウスフィルタリングを1回施した原画像であり、I＝2で表す関連画像はガウスフィルタリングを2回施した原画像であり、以下類推する。

この一群の画像は画像処理技術において原画像のスケール空間と称される。スケール空間の画像における意義の解釈は以下のように説明できる。この一群の画像の中、各ガウスフィルタリング後の画像にダウンサンプリングを行えば（サンプリング間隔は該画像のガウスフィルタリング回数に関係し、例えばI＝0の画像はダウンサンプリングを行わず、I＝1の画像の各二つの画素にサンプリングを一回行い、I＝2の画像の各四つの画素にサンプリングを一回行い、以下類推する）、画像ピラミッドを形成できる。該画像ピラミッドでは、ダウンサンプリングしたことにより各画像の寸法が異なり、ダウンサンプリングした回数が多ければ多いほど、該画像の寸法は小さくなる。該画像ピラミッドは本質的には該対象の異なる距離（即ち、異なるスケール）にて撮影された画像と等価である。

しかしながら、説明が必要なのは、本目標識別方法では、目標サンプリングポイントにスケール不変性特徴記述を行う工程で、ダウンサンプリングは疎かにされ、反復ガウスフィルタリング操作だけが採用され、これによってこれらの画像が同じ大きさの寸法を有することを保証している。また、図5に示すように、前記一群の画像の中の各画像はすべて依然としてM×N個のサンプリングポイントを含んでいる。

サブステップ2では、前記原画像のスケール空間を生成後、各目標サンプリングポイントに対して、前記スケール空間のスケール軸に沿って、前記目標サンプリングポイントにスケール不変性特徴記述を施し、前記目標サンプリングポイントに対応する異なるスケール内の特徴記述集合を生み出す。

例えば、この一群の画像について言うと、スケール不変特徴記述子を利用して同じサンプリング位置のスケール軸に沿った各画素点（即ちサンプリングポイント）を記述でき、またそれを抽出して、あの位置に関するサンプリングポイントの特徴集合を取得する。

スケール不変特徴量変換はコンピュータビジョンを用いたアルゴリズムで、画像内の局部性特徴を検出、記述するのに用い、局部画像特徴の記述と検出が物体の識別を助けることができる。該特徴記述は物体上のある局部外観の関心点に基づき、画像の大きさや回転とは無関係であるため、これらの特徴点は光線、ノイズ、わずかな視覚変化に対する許容度がかなり高い。

例えば、本実施例では、該スケール不変特徴記述アルゴリズムはスケール不変特徴量変換（SIFT）アルゴリズムを採用できる。しかしながら、説明が必要なのは、本発明はこれに限るものではなく、該スケール不変特徴量変換（SIFT）は、ロバスト性のある特徴の加速化（SURF）アルゴリズム、アフィンスケール不変特徴量変換（ASIFT）アルゴリズムなどを含むことができることである。

サブステップ3では、各サンプリングポイントに対して特徴記述集合を取得後、前記特徴記述集合の中の複数の特徴記述の凝集度を計算し、前記凝集度は前記目標サンプリングポイントの前記スケール空間内のスケール安定性を表すことができる。

説明が必要なのは、ここでは潜在的な仮説、即ちスケール空間内の安定したサンプリングポイントの特徴記述は該スケール変化に関してできる限り不変を保つという仮説が存在することである。つまり、前記特徴記述集合の中の複数の特徴記述の凝集度が高ければ高いほど、前記目標サンプリングポイントの前記スケール空間内のスケール安定性が強くなる。

典型的には、複数の特徴記述の凝集度はバリアンスσ2で表すことができ、該バリアンスσ²が大きければ大きいほど、複数の特徴記述の間は分散し、該バリアンスσ²が小さければ小さいほど、複数の特徴記述の間は凝集する。

さらに、以下の等式（1）が成立することを証明でき、これらの特徴記述の二つの間の平均平方距離
（外１）

は求めることができるものであるため、続いて平均平方距離
（外２）

をあるサンプリングポイントの特徴記述集合の凝集度の測定とすることができる。

ここで、
（外３）

は各二つの特徴記述間の距離平方の平均値であり、nは特徴記述の次元数、
（外４）

はk番目の特徴成分のバリアンスである。例えば、SIFTアルゴリズムを採用した場合、n＝128となる。

前記等式（1）から、特徴記述集合の中では、各二つに特徴記述間の距離平方を計算し、取得したすべての各二つの特徴記述間の距離平方に対して平均値を求め、前記特徴記述集合の中の各二つの特徴記述間の距離平方の平均値
（外５）

を取得し、それによって複数の特徴記述の凝集度を取得する。

サブステップ4では、複数の特徴記述の凝集度を取得後、前記凝集度に基づいて前記目標サンプリングポイントにスケール安定性ウェイトを分配し、前記スケール安定性ウェイトは前記凝集度と正比例している。

前記仮定からわかるように、等式（1）の中の平均平方距離が大きくなればなるほど、該目標サンプリングポイントの複数の特徴記述間は分散し、スケール安定性が低くなり、これに応じて、この位置に対応するウェイトも小さくなる。反対に、等式（1）の中の平均平方距離が小さくなればなるほど、該目標サンプリングポイントの複数の特徴記述間は凝集し、スケール安定性が高くなり、これに応じて、この位置に対応するウェイトも大きくなる。

そのため、平均平方距離を取得後、前記距離平方の平均値から前記目標サンプリングポイントにスケール安定性ウェイトを分配し、前記スケール安定性ウェイトは前記距離平方の平均値と反比例する。

例えば、あるサンプリングポイントの特徴記述集合の凝集度の測定とするには、これらの特徴記述同士の平均平方距離
（外６）

の逆数から第一種類型のウェイトW₁（即ち、目標サンプリングポイントのスケール安定性ウェイト）を定義できる。

具体的には、以下の等式（2）から目標サンプリングポイントのスケール安定性ウェイトを定義する。

ここで、W₁は目標サンプリングポイントのスケール安定性ウェイトである。

このように、形成されたスケール空間の中から、各目標サンプリングポイントに対して前記のサブステップ2から4を実行すると、目標サンプリングポイントのスケール安定性ウェイトを取得できる。

また、本発明の第二実施例では、例えば、該特徴点の特徴空間内の安定性は前記特徴点の三次元空間内の安定度でもよい。

該従来ソリューションの第二技術問題（即ち、遮断発生時、実践中に互いに対になる特徴点がないにもかかわらず、依然としてサンプル画像領域と目標画像領域で直接特徴点マッチング処理を実施し、間違ったマッチング結果を導いてしまう状況）の分析工程について、本発明者は、実際の応用の違いによって、目標画像領域内で、一部特徴点は別の点よりも遮断をより受けにくくなりうる、つまり、三次元空間内ではより安定することに気付いた。

例えば、通常、双眼カメラ（特に、監視用の双眼カメラ）は往々にして比較的高い位置に配置され、俯角を有して下向きに「俯瞰」することで、場面を監視し、同時に遮断を引き起こす障害物は往々にして地面上に置かれているため、特徴点の遮断は目標の三次元（3D）ワールド座標系における比較的低い箇所の部位で起こりうる。つまり、比較的低い位置の特徴点の三次元空間内の安定性はより悪くなることになる。

具体的には、図3Bの観察からわかるように、後方にいる人にとって、その襟もと部分にある特徴点は言うまでもなくその頭部にある特徴点よりも簡単に前方にいる人の遮断を受ける。反対に、三次元（3D）ワールド座標系の上部近くにある特徴点はより遮断を受けにくいため、三次元空間ではより安定する。

そのため、第二実施例では、これらの特徴点の三次元空間内の安定性の違いを表すため、各特徴点に対して空間安定性ウェイトを使用し、前記空間安定性ウェイトは目標サンプリングポイントの三次元空間内の安定度を表し、特徴点の空間の信頼性によって変化し、その後の識別工程においてこれらの異なる特徴点を不均等に処理できる。

以下、図4Bを参考に、本発明の第二実施例の目標サンプリングポイントの空間安定性ウェイトを計算するステップの具体的プロセス例を説明する。

図4Bは、本発明の第二実施例の目標サンプリングポイントの空間安定性ウェイトを計算するステップの具体的なフローチャートである。

図4Bを参考に、目標サンプリングポイントの空間安定性ウェイトを計算するステップは以下を含む。

ステップS1230で、目標画像領域の視差画像を取得する。

目標サンプリングポイントに対して空間安定性測定を行い、各サンプリングポイントの第二種累計のウェイト（即ち、空間安定性ウェイト）を取得するため、目標画像領域の視差画像一枚を取得できる。

同様に、該視差画像は前記ステップS110で取得したものでもよく、またその他操作、例えば双眼カメラ類の撮像装置から取得したものでもよい。

ステップS1240では、視差画像から目標サンプリングポイントの実際の高さを計算し、目標サンプリングポイントの空間安定性ウェイトを取得する。

例えば、取得した深度（または視差）画像（または画像シーケンス）から目標サンプリングポイント点の3Dワールド座標系（WCS）における座標を計算し、それらの3D空間の信頼性を測定し、各サンプリングポイントの第二種類型のウェイトを取得する。

以下図6を参考に、本発明の第二実施例の目標サンプリングポイントに空間安定性測定を行うステップの具体的操作例を説明する。

図6は、本発明の第二実施例の目標サンプリングポイントに空間安定性測定を行う原理概念図である。

サブステップ1では、各目標サンプリングポイントに対して、前記目標サンプリングポイントの前記視差画像内の画素高度座標を確定する。

例えば、一枚の視差画像を取得後、まず目標サンプリングポイントの前記視差画像内の画素高度座標、つまり、該目標サンプリングポイントの画像座標系における高度座標を確定する。

サブステップ2では、前記視差画像、前記画素高度座標、前記目標画像領域を取得するのに用いる撮像装置の内部パラメータから目標サンプリングポイントの三次元ワールド座標系におけるワールド高度座標を計算し、前記ワールド高度座標は前記目標サンプリングポイントの実際の高度を表す。

画素高度座標を確定後、深度または視差画像及びカメラの内部パラメータ行列を利用して、サンプリングポイントの3Dワールド座標系（WCS）における座標を計算し、その三次元空間の信頼性を測定できる。ここで指摘すべきは、本実施例では、計算量を減らし、システム資源を節約するため、三次元座標の高度成分（即ち、図6の「y」成分）を計算するだけでよく、幅と深度成分を考慮しない。

つまり、カメラと撮影対象の間の距離が既知の場合、撮影対象の実際の物理高度はカメラの画像内の画素高度の間に一定の換算関係がある。カメラと撮影対象の間の距離は視差が表わす。

以下、図7Aと図7Bを参考に、各目標サンプリングポイントに対応する実際の高度を如何にして計算するかを説明する。

図7Aは、ステレオカメラ設置の概念図であり、図7Bは、水平投影図の中で目標サンプリングポイントの高さを計算する概念図である。

図7Aと図7Bを参考に、カメラと視差値dを定めた場合、対象からカメラまでの距離またはいわゆる深度Zは以下の等式（3）から計算できる。

そのうち、Zは目標サンプリングポイントP（X,Y,Z）の深度で、dは目標サンプリングポイントの視差値、x_lとx_rはそれぞれ左画像と右画像の中の目標サンプリングポイントに対応する水平座標、fはレンズの長さで、bは基線距離で、図7に示す通りである。

水平投影図、即ち図7Bからわかるように、目標サンプリングポイントに対応する実際の高度は以下の等式（4）から計算できる。

そのうち、Hは目標サンプリングポイントに対応する実際の高度、Zは目標サンプリングポイントP（X,Y,Z）の深度、fはレンズの長さで、さらにhは視差画像内の画素高度である。

このように、前記の等式（3）と等式（4）から、目標サンプリングポイントに対応する実際の高度分布状況を取得できる。

サブステップ3では、前記ワールド高度座標系に基づいて前記目標サンプリングポイントに空間安定性ウェイトを分配し、空間安定性ウェイトは前記ワールド高度座標系と正比例している。

各目標サンプリングポイントの3Dワールド高度座標系における高度成分を取得後、該高度成分とマイナス関係の第二種類型のウェイトW₂（即ち、目標サンプリングポイントの空間安定性ウェイト）を取得でき、該空間安定性ウェイトを目標サンプリングポイントに付与する。

具体的には、以下の等式（5）から目標サンプリングポイントの空間安定性ウェイトを定義する。

そのうち、W₂は目標サンプリングポイントの空間安定性ウェイトで、yは目標サンプリングポイントに対応する実際の高度、y_maxはその目標（本実施例では、該目標は人）の3D WCS内の最大高度（即ち、人の身長）である。また、y_maxは対象の違いによって変化する。

前述したように、ここでの潜在的な仮定は、遮断は目標体の比較定低い部位にてより発生する可能性があり、これは図6に示すように、双眼カメラは通常高いところにぶら下がり、俯角を有して下向きに俯瞰して画像または画像シーケンスを記録し、それによって場面を監視し、同時に遮断を引き起こす障害物が通常地面に配置してあることである。

このように、形成した三次元空間の中、各目標サンプリングポイントに対して前記のサブステップ1からサブステップ3を実施すると、各目標サンプリングポイントの空間安定性ウェイトを取得できる。つまり、このような方式から、目標サンプリングポイントの空域の信頼性は高度または高度分布によって第二種類型のウェイトとして測定される。

説明が必要なのは、以上例を示して特徴点の遮断が目標の三次元（3D）ワールド座標系における比較的低い部位にて容易に発生しうることを説明してきたが、本発明はこれに限るものではないということである。例えば、撮像装置は比較的低い箇所に配置されることもでき、仰角を有して上向きに「仰ぎ見」て、それによって場面を監視し、同時に遮断を引き起こす障害物も空中に吊り下げることができる。言うまでもなく、このとき、特徴点の遮断は目標の三次元（3D）ワールド座標系における比較的高い部位でより発生しうる。同じ道理で、撮像装置が人の視野に水平な位置に配置され、「目の高さで正視」して場面を監視し、同時に遮断を引き起こす障害物は手で持つことで空中に浮いている。言うまでもなく、このとき、特徴点の遮断は目標の三次元（3D）ワールド座標系における真ん中の部位でより発生しうる。言い換えると、垂直方向での遮断を除き、撮像装置の設置位置によって決まり、特徴点の遮断は目標の三次元（3D）ワールド座標系における水平方向内のある一部分（例えば、左寄り、右寄り、または真ん中）でより発生しやすい。

また、以上では目標サンプリングポイントのスケール空間と三次元空間内の安定度から特徴点の質を説明したが、本発明はそれに限るものではない。例えば、その他実施例では、該特徴点の質は前記特徴点の輝度空間、色彩空間、解像度空間などその他の次元における安定度でもよい。言い換えると、該特徴点の質は、前記特徴点の様々な異なる次元の特徴空間内の安定性の組合せでもよい。

また、本発明の第三実施例では、例えば、該特徴点の特徴空間内の安定性は前記特徴点の異なる特徴空間内の安定度の組合せでもよい。

そのため、第三実施例では、これらの特徴点の異なる特徴空間内の安定度の違いを総合的に表すため、各特徴点に対して組み合わせた安定性ウェイトを使用できる。

以下、図4Cを参考に、本発明の第三実施例の目標サンプリングポイントの組合せ安定性ウェイトを計算するステップの具体的なプロセス例を説明する。

図4Cは、本発明の第三実施例の目標サンプリングポイントの組合せ安定性ウェイトを計算するステップの具体的フローチャートである。

図4Cを参考に、目標サンプリングポイントの組合せ安定性ウェイトを計算するステップは具体的に以下を含む。

ステップS1250では、目標サンプリングポイントの異なる特徴空間に関する安定性ウェイトを取得する。

例えば、様々な異なる次元において該目標サンプリングポイント（または目標特徴点）の特徴空間愛の安定性を測定し、安定性の違いに応じて該目標画像領域内の二次元（2D）目標サンプリングポイントに異なる安定性ウェイトを分配できる。特徴空間の次元は異なっているが、基本的な考え方は、より安定した特徴点に比較的大きなウェイトを付与し、反対により安定しない特徴点に比較的小さなウェイトを付与することにある。

例えば、前記安定性ウェイトは前記第一実施例の中で取得した前記目標サンプリングポイントのスケール空間内の安定度を表すスケール安定性ウェイト、前記第二実施例の中で取得した前記目標サンプリングポイントの三次元空間内の安定度を表す空間安定性ウェイト、及び/または前記目標サンプリングポイントの輝度空間、色彩空間、解像度空間などのその他次元内の安定度を表すその他安定性ウェイトでもよい。

ステップS1260では、異なる安定性ウェイトを組み合わせ、組合せ安定性ウェイトを形成する。

各目標サンプリングポイントに関して異なる安定性ウェイトを取得後、それらの組合せから該サンプリングポイントの最終ウェイト（Wと記す）を取得でき、該サンプリングポイントの重要度の総合測定として、総合加重の特徴点を取得する。

相変わらず前記第一実施例にて取得した前記目標サンプリングポイントのスケール空間内の安定度を表すスケール安定性ウェイトW₁、及び前記第二実施例の中で取得した前記目標サンプリングポイントの三次元空間内の安定度を表す空間安定性ウェイトW₂を例にとると、前記二つのウェイトはそれぞれスケール安定性と空域の信頼性を表すため、識別と追跡回復の意味では、比較的高いスケール安定性及び/または比較的大きな空域信頼性の位置は比較的低いスケール安定性及び/または比較的小さな空域信頼性の位置よりも重要である。そのため、この二つのウェイトを合併することで、画像位置（即ち、サンプリングポイント）にとって、その全体重要度を測定することができた。

例えば、この二つのウェイトの合併について以下の等式（6）から組合せウェイトを定義できる。

しかしながら、説明が必要なのは、本発明はこれに限るものではないということである。例えば、この二つのウェイトの合併は、W＝W₁＋W₂など他の方式を含むが、これに限らない。ここでの基本的な原理実現は直接的で明確なもので、即ち、価値ある点が識別と追跡回復にとってより大きな影響を及ぼすことを保証しさえすればよい。

以下、図1に戻り、引き続き本発明の実施例の既知の類別のサンプル画像領域から未知の類別の目標画像領域を識別するのに用いる目標識別方法の全体プロセス例を説明する。

ステップS130では、サンプル画像領域の加重特徴記述モデルを取得する。

総合加重の特徴点を取得後、該目標識別方法では、さらに加重（即ち総合ウェイトW）特徴点の処理に用いる識別技術を実行し、その重要度から不均等に、非対等に各目標特徴点を処理する。このため、その後のステップの中で、既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別できるように、サンプル画像領域の加重特徴記述モデルを取得できる。

安定性ウェイトを有するサンプルサンプリングポイントから上記サンプル画像領域の加重特徴記述モデルを取得できる。

以下、図8を参考に、本発明の実施例のサンプル画像領域の加重特徴記述モデルを取得するステップの具体的プロセス例を説明する。

図8は、本発明の実施例のサンプル画像領域の加重特徴記述モデルを取得するステップの具体的フローチャートである。

図8を参考に、該サンプル画像領域の加重特徴記述モデルを取得するステップは以下を含む。

ステップS1310では、各サンプル画像領域に対して、所定のサンプリング方式からサンプル画像領域に対してサンプリングを行い、複数のサンプルサンプリングポイントを取得する。

まず、基準となる少なくとも一つのサンプル画像領域を取得し、各サンプル画像領域内で所定のサンプリング間隔を有するサンプリング操作を行い、その特徴点を取得できる。

例えば、ステップS110と同じサンプリング方式に基づいて該サンプル画像領域にサンプリングを行う。好適には、サンプル画像領域に対するサンプリング間隔は目標画像領域に対するサンプリング間隔と対応する。つまり、サンプリング間隔は画像の関心のある領域の大きさに対応し、その後のサンプル画像領域の加重特徴記述モデルの生成工程（例えば、クラスタリングとベクトル化）が同じサンプリング量を有することを保証する。

具体的には、サンプル画像領域の寸法から所定のサンプリング間隔を選択し、目標画像領域内と同じであることを保証し、サンプル画像領域内で同様にM×N個のサンプリングポイントを取得する。

説明しなければならないのは、該サンプリング操作はサンプル画像領域に対して行うものであるため、ここではわかりやすさから、該サンプル画像領域内のサンプリングポイントをサンプルサンプリングポイントと称すことができる。また、その後のステップの中で実際ではサンプリングポイントを特徴点として使用しているため、該サンプルサンプリングポイントをサンプル特徴点と称してもよい。

ステップS1320では、サンプルサンプリングポイントの安定性ウェイトを計算する。

各サンプル画像領域に対してそのサンプルサンプリングポイントを取得後、さらに各サンプル画像領域に対して、各サンプルサンプリングポイントの安定性ウェイトを計算し、前記安定性ウェイトは前記サンプルサンプリングポイントの特徴空間内の安定度を表す。

例えば、ステップS120と同じサンプリング方式に基づいて各サンプル画像領域に対して、その中に含まれる各サンプルサンプリングポイントの安定性ウェイトを計算できる。つまり各サンプルサンプリングポイントの安定性ウェイトは該特徴点のスケール空間、三次元空間、輝度空間、色彩空間、解像度空間などの次元内の安定度、またはその任意の組合せでよく、目標サンプリングポイントの安定性ウェイトと同じ次元を有してさえいればよい。

ステップS1330であ、安定性ウェイトを有するサンプルサンプリングポイントからサンプル画像領域の加重特徴記述モデルを生成する。

サンプルサンプリングポイントの安定性ウェイトを取得後、加重識別方法に基づいてサンプル画像領域の加重特徴記述モデルを生成できる。例えば、該加重識別方法は加重BoF法（Bag of words）、加重距離測定法、加重K 近傍法（KNN）アルゴリズムなどを採用できる。

理解しやすくするため、以下、加重BoF法を例に説明する。

加重BoF方法からサンプル画像領域の加重特徴記述モデルを生成するステップは以下を含むことができる。

サブステップ1では、すべてのサンプルサンプリングポイントにスケール不変特徴記述を施し、前記サンプル画像領域に対応する同一スケール内の特徴記述集合を生成し、すべてのサンプル画像領域の特徴記述集合内の特徴記述を組み合わせることで、特徴空間を形成する。

例えば、まず、各サンプル画像領域について、すべてのサンプルサンプリングポイントにスケール不変特徴記述を施し、前記サンプル画像領域に対応する同一スケール内の特徴記述集合を生成し、前記特徴記述集合内の各特徴記述は前記サンプル画像領域内の各サンプルサンプリングポイントに対応し、前記サンプルサンプリングポイントの安定性ウェイトを有する。

以下、図9を参考に、本発明の実施例のサンプルサンプリングポイントにスケール不変特徴記述を実行するサブステップの具体的操作例を説明する。

図9は、本発明の実施例のサンプルサンプリングポイントにスケール不変特徴記述を実行する原理概念図である。

説明しやすくするため、図9では比較的基準的な少なくとも一つのサンプル画像領域として二つのラベル、それぞれ類別Aと類別Bの二つの類別ラベルを有し、そのうち類別Aのサンプル画像領域はID＝73の枠内に現れ、類別Bのサンプル画像領域はID＝78の枠内に現れると仮定する。また、ステップS120とS1320にて計算した目標サンプリングポイントとサンプルサンプリングポイントの安定性ウェイトがスケール安定性ウェイトと空間安定性ウェイトを含み、公式（6）に示す組合せ安定性ウェイトであると仮定する。

このとき、例えば、類別Aと類別Bの二つのサンプル画像領域内の各サンプル画像領域に対して、その後、前記二つのウェイトを組み合わせた特徴点を特徴池に入れられように、その中の各サンプルサンプリングポイントにスケール不変特徴記述を行うことができる。

具体的には、各訓練サンプル画像の原画像（即ち、スケール空間内のI＝0に対応する、即ちガウスフィルタリングしていない画像）のすべてのサンプリングポイントにスケール不変記述を行い、すべてのサンプリング位置にあるスケール不変記述を特徴空間に入れ、特徴記述集合を形成することができる。

それから、すべてのサンプル画像領域の特徴記述集合内の特徴記述を組み合わせることで、特徴空間を形成できる。

類別Aと類別Bのサンプル画像領域に関する二つの特徴記述集合を取得後、二つの特徴記述集合の中の全ての特徴記述を組み合わせ、図9右側の大きな円に示すように、一つの総体的な特徴空間を形成する。さらに正確に言えば、ここでのすべての類別ラベル（例えば、図9の中の類別Aと類別B）は一時的に取り除かれ、特徴空間内の特徴記述だけが残っている。

別の面においては、前記ステップS1320の操作のより、特徴空間では、各特徴記述に対して、スケール安定性と空域信頼性を組み合わせたウェイトが存在し、それは特徴空間の安定性を反映している。つまり、それは加重識別工程での重要度を反映している。

また、図9に示すように、前記ステップS1310では、その後のクラスタリングとベクトル化のために同じサンプリング量を保証できるように、サンプル画像領域と目標画像領域内のサンプリング間隔（記述を取得するための位置）と二枚の画像内の関心領域の大きさは対応している。

サブステップ2では、前記特徴記述の安定性ウェイトから前記特徴空間内で前記特徴記述に加重クラスタを行い、複数のクラスタ中心を形成する。

例えば、特徴空間生成後、特徴空間内の全ての特徴記述に加重K平均法クラスタリングを行う。

説明が必要なのは、該加重K平均法クラスタリングは普通のK平均法クラスタリングとは異なり、このとき特徴空間内の各特徴点は異なるウェイトを有しているため、これらの点のクラスタ中心に影響を及ぼすということである。

以下、図10Aと図10Bを参考に、従来技術と比較する形で本発明の実施例の加重クラスタリング操作を説明する。

図10Aは、従来技術のK平均法クラスタリングの原理概念図であり、図10Bは、本発明の実施例の加重K平均法クラスタリングの原理概念図である。

図10Aでは、各特徴点は加重の概念を有していない（あるいは、各特徴点の加重値はすべて1である）ため、複数の特徴点のクラスタ中心はこれらの特徴点の重心である。

これに対して、図10Bでは、各特徴点は加重の概念を有している（あるいは、各特徴点の加重値は異なりうる）ため、複数の特徴点のクラスタ中心はこれらの特徴点の簡単な重心ではなく、これらの特徴点の加重重心である。

具体的には、以下の等式（7）のように複数の特徴点のクラスタ中心（または重心と称す）を定義できる。

ここで、c_jは、複数の特徴点の重心、x_iは特徴記述操作後に取得した高次元特徴記述（例えば、SIFTアルゴリズムを採用した場合、128次元の特徴ベクトルである）、w_iはx_i特徴記述の加重で、またSは特徴空間を表す。

さらに、前記等式（7）の正確性は下記の等式（8）から証明できる。

ここで、var（X,Y,Z）は特徴点のバリアンス、cは特徴空間Sの任意の位置、x_iは特徴記述操作後に取得した高次元特徴記述、w_iはx_i特徴記述の加重で、またSは特徴空間を表す。

等式（8）に示すように、これらの特徴点のバリアンスvar（X,Y,Z）はこのcから計算できる。また、cに等式（7）のc_jを付与されたとき、var（X,Y,Z）が最小値をとることを証明できるため、これは等式（8）と等式（7）でそれぞれ定義した重心とバリアンスの必然性を説明している。

そのため、続いて、等式（7）と（8）でそれぞれ定義した重心とバリアンスを利用してK平均法クリアランスアルゴリズムを調整し、加重K平均法クリアランスアルゴリズムとして、このアルゴリズムが加重した特徴点を処理できるようにする。

サブステップ3では、各サンプル画像領域内の各サンプルサンプリングポイントに対して、前記クラスタ中心と前記サンプルサンプリングポイントに対応する特徴記述の前記特徴空間内の距離から前記サンプルサンプリングポイントをエンコードする。

例えば、各訓練サンプル内のサンプリングされた位置（即ち、サンプルサンプリングポイント）について、特徴空間内の最小距離からある特定のビジュアルワードに属していると判定される。即ち、各サンプルサンプリングポイントはすべて特徴空間内の最小距離の投票からどのビジュアルワードに属しているかが決定できる。最終的に、すべての画像のサンプリングされた位置がエンコードされる。

以下、図11を参考に、本発明の実施例の特徴空間内の最小距離投票操作を説明する。

図11は、本発明の実施例の特徴空間内の最小距離投票の原理概念図である。

具体的には、図11を参考に、特徴池（即ち、特徴空間）内の重要性ウェイトを有する特徴記述に加重K平均法クラスタリングを施した後、クラスタ中心（即ち、前記の加重特徴点の加重重心）を取り囲むようにある点の集まりができる。例えば、これらの点の集まりは、図9では、右側に表示する特徴空間の大きな円の中の三つの小さな円1、2、3に示す通りであり、同様に、図11では、左側の三つの矩形1、2、3に示す通りである。そのうち、円と矩形は異なる集まり（または集合と称す）を表しているに過ぎず、その具体的な形状とは無関係である。

BoFアルゴリズムでは、クラスタ中心はビジュアルワードと称することもでき、また点の集まりはコードブックと称することもでき、該コードブックはすべてのビジュアルワードを含むことができる。画像処理の視点から述べると、ビジュアルワードの意味は特定の極めて小さな「局部テクスチャ」として概ね理解されればよい。当然のことながら、異なる類別にある対象は同一の極めて小さな「局部テクスチャ」を有する可能性があり、このような局部テクスチャが、異なる類別の対象に対して異なる空間分布または統計特徴を有してさえいればよい。

また、BoFアルゴリズムの枠組から、クラスタ中心はこの中心点の周囲を取り囲む点の集まりをうまく代表することができるため、特徴空間内にてあるサンプルサンプリングポイントの特徴記述と最小距離を有するクラスタ中心を使用して前記サンプルサンプリングポイントをエンコードすることができる。

そのため、コードブックに基づいて、サンプル画像領域内の各サンプリングされた位置は特徴空間内の最小距離からある特定のビジュアルワードに属していると判定される。例えば、図11の右側に示すように、既知類別のサンプル画像領域では、各サンプルサンプリングポイントは最小距離投票からどのビジュアルワードに属するかを決定できる。つまり、前記クラスタ中心1、2、3と各サンプルサンプリングポイントに対応する特徴記述の前記特徴空間内の距離から該サンプルサンプリングポイントをエンコードし、新たなサンプル画像領域を形成し、そのうち各サンプルサンプリングポイントに対応する画素は可能な値1、2、3の中から再度値をとる。

サブステップ4では、各サンプル画像領域のエンコード結果にベクトル化を行うことで、前記サンプル画像領域の前記加重特徴記述モデルを生成する。

例えば、各サンプル画像領域のサンプリングされた点が前記エンコードされた後、この画像は分類に適した一次元（1D）ベクトルとなるように、さらにエンコードされる。このような2Dコードから1Dコードに変換する工程はもとの2Dコードの類別可分性を最大限マイニングし、その工程をベクトル化と呼ぶことができる。

本発明の実施例では、各種可能なベクトル化ソリューションが存在し、統計コードブックのヒストグラム、水平スキャニングカスケード、及びビジュアルワードの空間分布情報を保持した空域エンエンコードソリューションなどを含むが、これに限らない。

ステップS140では、安定性ウェイトを有する目標サンプリングポイントから目標画像領域の加重特徴記述を取得する。

例えば、ステップS130で形成したサンプル画像領域の加重特徴記述モデルとステップS120で取得した目標サンプリングポイント安定性ウェイトから、目標画像領域の加重特徴記述を取得する。

以下、図12を参考に、本発明の実施例の目標画像領域の加重特徴記述を取得するステップの具体的プロセス例を説明する。

図12は、本発明の実施例の目標画像領域の加重特徴記述を取得するステップの具体的フローチャートである。

図12を参考に、目標画像領域の加重特徴記述を取得するステップは以下を含む。

ステップS1410では、前記目標画像領域内の全ての目標サンプリングポイントにスケール不変特徴記述を施すことで、前記目標画像領域に対応する同一スケール内の特徴記述集合を生成し、前記目標画像領域の特徴記述集合の中の特徴記述を前記特徴空間内に追加する。

例えば、まず、前記目標画像領域内の全ての目標サンプリングポイントにスケール不変特徴記述を施すことで、前記目標画像領域に対応する同一スケール内の特徴記述集合を生成し、前記特徴記述集合の中の各特徴記述は前記目標画像領域内の各目標サンプリングポイントに対応し、かつ前記目標サンプリングポイントの安定性ウェイトを有する。

具体的には、ステップS1330のサブステップ1と同じように、未知類別の目標画像領域に対して、その中の各目標サンプリングポイントにスケール不変特徴記述を行い、前記目標画像領域に対応する同一スケール内の特徴記述集合を生み出す。

それから、図9に示すように、前記目標画像領域の特徴記述集合内の特徴記述を前記特徴空間内に追加する。

ステップS1420では、前記目標領域内の各目標サンプリングポイントに対して、前記クラスタ中心と前記目標サンプリングポイントに対応する特徴記述の前記特徴空間内の距離から前記目標サンプリングポイントをエンコードする。

具体的にはステップS1330のサブステップ2によってクラスタ中心（即ち、ビジュアルワード）を取得後、ステップS1330のサブステップ3と同じように、各目標サンプリングポイントは特徴空間内の最小距離の投票からどのビジュアルワードに属するか決定できる。最終的に、図11に示すように、すべての画像のサンプリングされた位置がエンコードされる。

ステップS1430では、前記目標画像領域のエンコード結果にベクトル化を行うことで、前記目標画像領域の前記加重特徴記述を生成する。

具体的には、ステップS1330のサブステップ4と同じように、例えば、目標画像領域に対して分類に適した一次元（1D）ベクトルとなるようにさらにエンコードする。

ステップS150では、目標画像領域の加重特徴記述とサンプル画像領域の加重特徴記述モデルから目標画像領域を識別する。

目標画像領域の加重特徴記述とサンプル画像領域の加重特徴記述モデル取得後、加重（即ち、総合ウェイト）特徴点の処理に用いる識別技術を実行し、目標画像領域がいったいどのサンプル画像領域に属するか確定できる。

前述したように、このような加重する識別工程は加重BoF、加重距離測定法、加重K 近傍法（KNN）アルゴリズムなどを採用し、加重特徴記述とサンプル画像領域の加重特徴記述モデルの間のベクトル距離から実現できる。

以下、図13を参考に、本発明の実施例の目標画像領域を識別するステップの具体的な操作例を説明する。

図13は、本発明の実施例の目標画像領域を識別するステップの原理概念図である。

理解しやすくするため、以下、引き続き加重BoF法を例に説明する。加重BoF法では、各サンプル画像領域のエンコード結果にベクトル化を行うことで、前記サンプル画像領域の前記加重特徴記述モデルを生成し、また前記目標画像領域のエンコード結果にベクトル化を行うことで、前記目標画像領域の前記加重特徴記述モデルを生成後、サンプル画像モデルを使用して分類器を訓練し、また目標画像領域の前記加重特徴記述を訓練の完了した分類器に入力することにより、最終的な識別結果が得られる。

具体的には、訓練サンプルを使用して意思決定モデルを確立し、該モデルを用いてテスト画像に判別式意思決定を行う。意思決定モデルは各種分類器（例えばランダムフォレスト、サポートベクターマシン（SVM）、AdaBoostなど）及び各種距離測定を含むが、これに限らない。

例えば、図13に示すように、ステップS1330のサブステップ4でステップS1320のサブステップ3で取得したサンプル特徴空間内の最小距離投票結果にベクトル化を行った後、サンプルの類別ラベル（例えば、図9の中の類別Aと類別B）を回復し、類別ラベルを有するベクトル化結果を入力として使用し、分類器を訓練する。それから、ステップS140で取得した未知類別の目標画像領域の加重特徴記述を訓練の完了した分類器に入力し、それによって最終的な識別結果を取得する。

以上から分かるように、本発明の実施例は、十分な特徴点から対象を十分に表すことのできる能力を有し、同時にその中の重要な点により注目することができ、それによってウェイトを有する特徴点を処理可能な識別アルゴリズムを用いた、加重特徴点に基づく識別プロセスが可能になる、加重特徴点に基づく目標識別方法を提供する。また、本発明の実施例では双眼カメラを使用して視差情報を捕捉できるため、十分に3D空間情報を使用できる。そのため、従来技術に比べ、本発明の実施例は比較的高い識別精度を有することができ、さらにリアルシーンの各種要因（例えば光の照射や遮断など）による特徴点の各種劣化に対してよりロバストである。

このほか、説明が必要なのは、以上の文章では本発明の実施例の目標識別方法を単純な目標識別シーンに応用する（即ち、既知類別の少なくとも一つのサンプル画像領域に基づいて未知類別の目標画像領域を識別する）状況のみを説明しているが、本発明はこれに限らない。例えば、好適には、該目標識別方法は目標追跡の工程（特に、追跡回復工程）にも応用できる。

以下、図14Aと図14Bを参考に、本発明の実施例の目標識別方法を追跡回復工程に応用した場合の、従来技術と比較した性能向上について説明する。

図14Aは、従来技術に基づく特徴点検出とマッチング方法を追跡回復工程に応用するときの追跡効果概念図であり、図14Bは、本発明の実施例の目標識別方法を追跡回復工程に応用するときの追跡効果概念図である。

図14Aに示すように、該画像シーケンスには計4つの被追跡対象が存在する（人を含むが、これに限らない）。具体的には、第516フレームの中で、左から右の順序で、この4つの被追跡対象はそれぞれ識別子（ID）57、53、78、73を付与される。

具体的には、図14Aから、色の濃い境界ボックス内の対象（ID＝78）は第516フレームと第517フレームにて追跡される状態にあるが、第518フレームでは追跡装置にロストされていることがわかる。このような追跡ロストはおそらく追跡装置自体のアルゴリズムが原因で起こったものであり、また該対象が例えば照射の変化、視角の変化、遮断とひずみなどの要素の影響を受けて起きた可能性もある。

このとき、該追跡装置に検出器または検出メカニズムが存在する場合、次に続く若干のフレーム、追跡ロストが発生した付近の領域で、この対象が再度検出される可能性がある。

以上に述べたように、特徴点検出とマッチング方法では、特徴点が少なく、誤った特徴マッチングが存在する可能性があるなどの技術問題の制約を受け、図14Aに示すように、追跡ロスト発生後、実際には同じ対象であったとしても、再検出した対象は以前追跡した対象と関連付けを確立できない。このとき、対象の唯一性を表す新たな身分（例えば新しいID＝85）がこの「新しい」検出した対象に付与され、第520フレームの薄い色の境界ボックスに示すように、全く新しく場面内に出現した対象と同じである。このような状況では、対象身分の一致性は損なわれる。つまり、同じ対象の身分が変更させられるのである。

そのため対象の身分を維持するため（その目的は複雑な応用の推進、複数の対象の追跡と人の行為分析を含む）、本発明の実施例の目標識別方法を使用できる。

図14Bに示したように、該画像シーケンスでは依然として4つの被追跡対象が存在し、そのIDはそれぞれ57、53、78、73である。具体的には、図14Aと同様に、図14Bから、色の濃い境界ボックス内の対象（ID＝78）は第516フレームと第517フレームにて追跡される状態にあるが、第518フレームでは追跡装置にロストされていることがわかる。

しかしながら、従来技術と異なり、本発明の実施例の目標識別方法を使用することで、追跡ロスト発生後、新たに再検出した対象について、効率よく素早く新たに検出した対象（依然として濃い色の枠内に出現）の身分を回復できる。つまり、該追跡ロストの対象に対してその最初のID＝78を再割り当てし、追跡装置に短期記憶があるかのように、一時的に中断したとしても、依然として新たに検出した対象が実際は以前追跡していた対象と同じであることを思い出すことができる。このような場合、対象の一致性は維持され、さらに複雑な応用（複数の対象の追跡及び人の行為の分析など）も可能となる。

そのため、図14Aの追跡ロスト概念図と図14Bの追跡回復概念図を比較することで、本発明の実施例の目標識別方法の必要性、及び追跡回復方法に応用する有益な効果を十分に説明することができる。

また、本発明の実施例の目標識別方法は以下の代替方法と比べ、明らかな有益な効果を有している。該代替方法は、異なるスケール空間内で直接訓練サンプルを取得し、それから直接これらの訓練サンプルを分類器に入力して訓練を行うことを含む。このような状況では、訓練サンプルはすでに十分な識別対象/追跡対象に用いる異なるスケール上の情報を含み、これらの情報は分類器が自動的、内在的に学習できるため、スケール空間内で各点の重量を測定する必要はない。しかしながら、説明が必要なのは、前記代替方法は理想的な実験条件においてのみ成立できるが、実際の応用では、訓練サンプルは往々にしてリアルタイムにオンラインで獲得するものであるため、異なるスケールを含みにくく、そのため前記代替ソリューションはリアルシーンではほぼ実現できないことである。典型的な例はまさに追跡回復工程である。

また、前述したように、本発明の実施例の目標識別方法を使用することで、追跡ロスト箇所の有限時間と空間領域内で訓練サンプルをサンプリングするだけでよく、それによってシステム資源を十分に節約し、追跡回復の効率を向上できることに注意すべきである。

本発明の実施例はまた目標識別装置から実施できる。以下、図15を参考に本発明の実施例の加重特徴点に基づく目標識別装置の機能構成ブロック図を説明する。

図15は、本発明の実施例の目標識別装置の機能構成ブロック図である。

図15に示すように、該目標識別装置100は既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別するのに用い、
所定のサンプリング方式によって前記目標画像領域に対してサンプリングを行い、複数のサンプリングポイントを取得するのに用いる目標サンプリングユニット110、
前記目標サンプリングポイントの安定性ウェイトを計算するのに用い、前記安定性ウェイトは前記目標サンプリングポイントの特徴空間内の安定度を表すウェイト計算ユニット120、
安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得するのに用いる記述取得ユニット140、及び
前記目標画像領域の加重特徴記述と前記サンプル画像領域の加重特徴記述モデルに基づいて前記目標画像領域を識別するのに用いる目標識別ユニット150を含む。

任意で、該目標識別装置100は、さらに安定性ウェイトを有するサンプルサンプリングポイントから前記サンプル画像領域の加重特徴記述モデルを取得するのに用いるモデル取得ユニット130を含むこともできる。

前記目標サンプリングユニット110、ウェイト計算ユニット120、モデル取得ユニット130、記述取得ユニット140、目標識別ユニット150の具体的な機能と操作は前記図1から図13を参考に説明した加重特徴点に基づく目標識別方法にて詳しく説明しているため、ここでは重複説明を省略する。

説明が必要なのは、前記目標識別装置100の部材はソフトウェアプログラムで実現できることである。例えば、汎用コンピュータの中のCPUにRAMやROMなどとその中で運行するソフトウェアコードを組み合わせて実現する。ソフトウェアプログラムは例えばフラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、光ディスクなどの記憶媒体に記憶でき、運行時に例えばランダムアクセスメモリRAMにロードしてCPUが実行する。また、汎用コンピュータのほか、特定用途向け集積回路とソフトウェアの間の協同から実現することもできる。前記集積回路は例えばMPU（マイクロプロセッサー）、DSP（デジタル信号処理器）、FPGA（現場プログラム可能ゲートアレイ）、ASIC（特定用途向け集積回路）などの中の少なくとも一つによって実現することを含む。このような汎用コンピュータまたは特定用途向け集積回路などは例えば特定位置（例えば、車両）に積載でき、カメラが撮影して取得した二次元画像及び/または立体画像を分析し目標を識別するために、特定位置に積載した道路と道路関連の対象画像形成に用いるカメラなどの画像形成設備と通信を行う。また、該記目標識別装置100の各部材は例えば特定の現場プログラム可能ゲートアレイ、特定用途向け集積回路などの専用のハードウェアを用いて実現することもできる。また、目標識別装置100の各部材はソフトウェアとハードウェアの組み合わせを利用して実現することもできる。

また、本発明は目標識別システムからも実現できる。以下、図16を参考に、本発明の実施例の加重特徴点に基づく目標識別システムの機能構造を説明する。

図16は本発明の実施例の目標識別に用いるシステムの機能構造図である。

図16に示すように、該目標識別システム200は、例えば単眼カメラ、双眼カメラ、多眼カメラなどの対象の画像形成に用いる画像形成設備210、画像形成設備210が撮影した画像を分析し、目標を識別するのに用いる目標識別設備220を含み、該目標識別設備220は例えば図15に示す目標識別装置100の配置を利用して実現する。

具体的には、該目標識別システム200の入力はグレースケールと対応する視差画像であり、例えば特定位置に取り付けた双眼カメラが撮影して取得できる。該入力が目標識別設備を経た後、目標識別結果として出力し、出力形式は様々な形でよく、例えばモニター上に識別した目標を出力する可視形式、またはマイク形式で音声提示する、または文章形式で目標識別結果情報を出力するなどである。

本発明はさらに目標識別に用いるハードウェアシステムから実施できる。以下、図17を参考に、本発明の実施例の加重特徴点に基づく目標識別に用いるハードウェアシステムを説明する。

図17は、本発明の実施例の目標識別に用いるハードウェアシステムの全体ハードウェアブロック図である。

図17に示すように、該目標識別システム300は、外部から例えばグレースケール画像、視差画像、カメラ設置情報などの関連情報を入力するのに用い、例えばキーボード、マウス、そして通信ネットワーク及びそれに連結する遠隔入力設備などを含み、かつ対象の画像形成に用いる画像形成設備、及び形成した画像に画像デコードを行うデコード設備などを含む入力設備310、前述の本発明の実施例の目標識別方法を実施するか、または前記の目標識別装置として実施するのに用い、例えばコンピュータの中央処理器またはその他の処理能力を有するチップなどを含み、例えばインターネットのネットワーク（未図示）に接続でき、処理工程の必要性に応じて処理後の結果を遠隔送信ができる処理設備320、外部に上記目標識別工程で取得した結果を出力するのに用い、例えばモニター、プリンタ、そして通信ネットワーク及びそれに連結する遠隔出力設備などを含む出力設備330、そして、揮発性または非揮発性の方式で前記目標識別工程に関わった例えば目標の左右位置、目標の上部と目標位置などのデータを記憶するのに用い、例えばランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、ハードディスク、または半導体メモリなどの各種揮発性または非揮発性メモリを含む記憶設備340を備えることができる。

以上、本発明の各実施例を説明した。しかしながら、当業者であれば、本発明の原理と精神から逸脱していない場合、これらの実施例に色々な修正、組合せ、副次的組合せを行うことができ、また、このような修正は本発明の範囲内に含まれることを理解していなければならない。

Claims (18)

1. 既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別する目標識別方法であって、
   所定のサンプリング方式によって前記目標領域に対してサンプリングを行い、複数の目標サンプリングポイントを取得し、
   前記目標サンプリングポイントの特徴空間内の安定度を表す、前記目標サンプリングポイントの安定性ウェイトを計算し、
   安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得し、及び
   前記目標画像領域の加重特徴記述と前記サンプル画像領域の加重特徴記述モデルから前記目標画像領域を識別することであって、前記サンプル画像領域の加重特徴記述モデルは安定性ウェイトを有するサンプルサンプリングポイントから取得したものである、ことを含む、ことを特徴とする目標識別方法。
2. 前記目標サンプリングポイントの安定性ウェイトの計算ステップが、
   前記目標画像領域における、グレースケール画像またはカラー画像を含む原画像を取得し、及び
   前記原画像に基づいて前記目標サンプリングポイントにスケール不変性特徴記述とスケール安定性測定を行うことにより、前記目標サンプリングポイントのスケール空間内の安定度を表す、前記目標サンプリングポイントのスケール安定性ウェイトを取得することを含む、ことを特徴とする請求項1の方法。
3. 前記原画像に基づいて前記目標サンプリングポイントにスケール不変性特徴記述とスケール安定性測定を行い、前記目標サンプリングポイントのスケール安定性ウェイトを取得するステップが、
   前記原画像に反復ガウスフィルタリングを行い、前記原画像のスケール空間を生成し、及び
   各目標サンプリングポイントに対して、
   前記スケール空間のスケール軸に沿って、前記目標サンプリングポイントにスケール不変性特徴記述を施すことにより、前記目標サンプリングポイントに対応する異なるスケール内の特徴記述集合を生成し、
   前記特徴記述集合の中の複数の特徴記述の凝集度を計算し、前記凝集度は前記目標サンプリングポイントの前記スケール空間におけるスケール安定性を表し、及び
   前記凝集度に基づいて前記目標サンプリングポイントにスケール安定性ウェイトを分配し、前記スケール安定性ウェイトは前記凝集度と正比例していることを含む、ことを特徴とする請求項2の方法。
4. 前記目標サンプリングポイントの安定性ウェイトを計算するステップが、
   前記目標画像領域内の視差画像を取得し、及び
   前記視差画像に基づいて前記目標サンプリングポイントの実際の高さを計算し、前記目標サンプリングポイントの空間安定性ウェイトを取得し、前記空間安定性ウェイトは前記目標サンプリングポイントの三次元空間内の安定度を表すことを含む、ことを特徴とする請求項1の方法。
5. 前記視差画像に基づいて前記目標サンプリングポイントの実際の高さを計算し、前記目標サンプリングポイントの空間安定性ウェイトを取得するステップが、
   各目標サンプリングポイントに対して、
   前記目標サンプリングポイントの前記視差画像内の画素高度座標を確定し、
   前記視差画像、前記画素高度座標、前記目標画像領域を取得するのに用いる撮像装置の内部パラメータに基づいて目標サンプリングポイントの三次元ワールド座標系におけるワールド高度座標を計算し、前記ワールド高度座標は前記目標サンプリングポイントの実際の高度を表し、及び
   ワールド高度座標に基づいて前記目標サンプリングポイントに空間安定性ウェイトを分配し、前記空間安定性ウェイトは前記ワールド高度座標と正比例していることを含む、ことを特徴とする請求項4の方法。
6. 前記目標サンプリングポイントの安定性ウェイトを計算するステップが、
   前記目標サンプリングポイントのスケール安定性ウェイトを取得し、前記スケール安定性ウェイトは前記目標サンプリングポイントのスケール空間内の安定度を表し、
   前記目標サンプリングポイントの空間安定性ウェイトを取得し、前記空間安定性ウェイトは前記目標サンプリングポイントの三次元空間内の安定度を表し、及び
   前記スケール安定性ウェイトと前記空間安定性ウェイトを組合せ、組合せ安定性ウェイトを形成することを含む、ことを特徴とする請求項1の方法。
7. 各サンプル画像領域に対して、
   前記所定のサンプリング方式によって前記サンプル画像領域に対してサンプリングを行い、複数のサンプルサンプリングポイントを取得し、
   前記サンプルサンプリングポイントの安定性ウェイトを計算し、前記安定性ウェイトは前記サンプルサンプリングポイントの特徴空間内の安定度を表し、及び
   前記安定性ウェイトを有するサンプルサンプリングポイントから、前記サンプル画像領域の前記加重特徴記述モデルを生成することをさらに含む、ことを特徴とする請求項1の方法。
8. 前記安定性ウェイトを有するサンプルサンプリングポイントから前記サンプル画像領域の前記加重特徴記述モデルを生成するステップが、
   各サンプル画像領域に対して、すべてのサンプルサンプリングポイントにスケール不変特徴記述を施すことで、前記サンプル画像領域に対応する同一スケール内の特徴記述集合を生成し、前記特徴記述集合の中の各特徴記述は前記サンプル画像領域内の各サンプルサンプリングポイントに対応し、かつ前記サンプルサンプリングポイントの安定性ウェイトを有し、すべてのサンプル画像領域の特徴記述集合内の特徴記述を組み合わせることで特徴空間を形成し、
   前記特徴記述の安定性ウェイトに基づいて前記特徴空間内にて前記特徴記述に対して加重クラスタを行うことで、複数のクラスタ中心を形成し、
   各サンプル画像領域内の各サンプルサンプリングポイントに対して前記クラスタ中心と、前記サンプルサンプリングポイントに対応する特徴記述の前記特徴空間内の距離から、前記サンプルサンプリングポイントにエンコードを行い、及び
   各サンプル画像領域のエンコード結果にベクトル化を行うことで、前記サンプル画像領域の前記加重特徴記述モデルを生成することを含む、ことを特徴とする請求項7の方法。
9. 前記安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得するステップが、
   前記目標画像領域内の全ての目標サンプリングポイントにスケール不変特徴記述を施すことで、前記目標領域に対応する同一スケール内の特徴記述集合を生成し、前記特徴記述集合の各特徴記述は前記目標画像領域内の各目標サンプリングポイントに対応し、かつ目標サンプリングポイントの安定性ウェイトを有し、前記目標画像領域の特徴記述集合内の特徴記述を前記特徴空間内に追加し、
   前記目標領域内の各目標サンプリングポイントに対して、前記クラスタ中心と、目標サンプリングポイントに対応する特徴記述の前記特徴空間内の距離から、前記目標サンプリングポイントにエンコードを行い、及び
   各目標画像領域のエンコード結果にベクトル化を行うことで、前記目標画像領域の前記加重特徴記述を生成することを含む、ことを特徴とする請求項8の方法。
10. 既知の類別の少なくとも一つのサンプル画像領域から未知の類別の目標画像領域を識別する装置目標識別装置であって、
    所定のサンプリング方式によって前記目標画像領域に対してサンプリングを行い、複数のサンプリングポイントを取得する目標サンプリングユニット、
    前記目標サンプリングポイントの特徴空間内の安定度を表す、前記目標サンプリングポイントの安定性ウェイトを計算するウェイト計算ユニット、
    安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得する記述取得ユニット、及び
    前記目標画像領域の加重特徴記述と、安定性ウェイトを有するサンプルサンプリングポイントから取得した前記サンプル画像領域の加重特徴記述モデルに基づいて、前記目標画像領域を識別する目標識別ユニットを含む、ことを特徴とする目標識別装置。
11. 前記ウェイト計算ユニットが、
    前記目標画像領域における、グレースケール画像またはカラー画像を含む原画像を取得し、及び
    前記原画像に基づいて前記目標サンプリングポイントにスケール不変性特徴記述とスケール安定性測定を行うことにより、前記目標サンプリングポイントのスケール空間内の安定度を表す、前記目標サンプリングポイントのスケール安定性ウェイトを取得することを行う、ことを特徴とする請求項10の装置。
12. 前記原画像に基づいて前記目標サンプリングポイントにスケール不変性特徴記述とスケール安定性測定を行い、前記目標サンプリングポイントのスケール安定性ウェイトを取得することが、
    前記原画像に反復ガウスフィルタリングを行い、前記原画像のスケール空間を生成し、及び
    各目標サンプリングポイントに対して、
    前記スケール空間のスケール軸に沿って、前記目標サンプリングポイントにスケール不変性特徴記述を施すことにより、前記目標サンプリングポイントに対応する異なるスケール内の特徴記述集合を生成し、
    前記特徴記述集合の中の複数の特徴記述の凝集度を計算し、前記凝集度は前記目標サンプリングポイントの前記スケール空間におけるスケール安定性を表し、及び
    前記凝集度に基づいて前記目標サンプリングポイントにスケール安定性ウェイトを分配し、前記スケール安定性ウェイトは前記凝集度と正比例していることを含む、ことを特徴とする請求項11の装置。
13. 前記ウェイト計算ユニットが、
    前記目標画像領域内の視差画像を取得し、及び
    前記視差画像に基づいて前記目標サンプリングポイントの実際の高さを計算し、前記目標サンプリングポイントの空間安定性ウェイトを取得し、前記空間安定性ウェイトは前記目標サンプリングポイントの三次元空間内の安定度を表すことを行う、ことを特徴とする請求項10の装置。
14. 前記視差画像に基づいて前記目標サンプリングポイントの実際の高さを計算し、前記目標サンプリングポイントの空間安定性ウェイトを取得することが、
    各目標サンプリングポイントに対して、
    前記目標サンプリングポイントの前記視差画像内の画素高度座標を確定し、
    前記視差画像、前記画素高度座標、前記目標画像領域を取得するのに用いる撮像装置の内部パラメータに基づいて目標サンプリングポイントの三次元ワールド座標系におけるワールド高度座標を計算し、前記ワールド高度座標は前記目標サンプリングポイントの実際の高度を表し、及び
    ワールド高度座標に基づいて前記目標サンプリングポイントに空間安定性ウェイトを分配し、前記空間安定性ウェイトは前記ワールド高度座標と正比例していることを含む、ことを特徴とする請求項13の装置。
15. 前記ウェイト計算ユニットが、
    前記目標サンプリングポイントのスケール安定性ウェイトを取得し、前記スケール安定性ウェイトは前記目標サンプリングポイントのスケール空間内の安定度を表し、
    前記目標サンプリングポイントの空間安定性ウェイトを取得し、前記空間安定性ウェイトは前記目標サンプリングポイントの三次元空間内の安定度を表し、及び
    前記スケール安定性ウェイトと前記空間安定性ウェイトを組合せ、組合せ安定性ウェイトを形成することを行う、ことを特徴とする請求項10の装置。
16. 各サンプル画像領域に対して、
    前記所定のサンプリング方式によって前記サンプル画像領域に対してサンプリングを行い、複数のサンプルサンプリングポイントを取得し、
    前記サンプルサンプリングポイントの安定性ウェイトを計算し、前記安定性ウェイトは前記サンプルサンプリングポイントの特徴空間内の安定度を表し、及び
    前記安定性ウェイトを有するサンプルサンプリングポイントから、前記サンプル画像領域の前記加重特徴記述モデルを生成するモデル取得ユニットをさらに含む、ことを特徴とする請求項10の装置。
17. 前記安定性ウェイトを有するサンプルサンプリングポイントから前記サンプル画像領域の前記加重特徴記述モデルを生成することが、
    各サンプル画像領域に対して、すべてのサンプルサンプリングポイントにスケール不変特徴記述を施すことで、前記サンプル画像領域に対応する同一スケール内の特徴記述集合を生成し、前記特徴記述集合の中の各特徴記述は前記サンプル画像領域内の各サンプルサンプリングポイントに対応し、かつ前記サンプルサンプリングポイントの安定性ウェイトを有し、すべてのサンプル画像領域の特徴記述集合内の特徴記述を組み合わせることで特徴空間を形成し、
    前記特徴記述の安定性ウェイトに基づいて前記特徴空間内にて前記特徴記述に対して加重クラスタを行うことで、複数のクラスタ中心を形成し、
    各サンプル画像領域内の各サンプルサンプリングポイントに対して前記クラスタ中心と、前記サンプルサンプリングポイントに対応する特徴記述の前記特徴空間内の距離から、前記サンプルサンプリングポイントにエンコードを行い、及び
    各サンプル画像領域のエンコード結果にベクトル化を行うことで、前記サンプル画像領域の前記加重特徴記述モデルを生成することを含む、ことを特徴とする請求項16の装置。
18. 前記安定性ウェイトを有する目標サンプリングポイントから前記目標画像領域の加重特徴記述を取得することが、
    前記目標画像領域内の全ての目標サンプリングポイントにスケール不変特徴記述を施すことで、前記目標領域に対応する同一スケール内の特徴記述集合を生成し、前記特徴記述集合の各特徴記述は前記目標画像領域内の各目標サンプリングポイントに対応し、かつ目標サンプリングポイントの安定性ウェイトを有し、前記目標画像領域の特徴記述集合内の特徴記述を前記特徴空間内に追加し、
    前記目標領域内の各目標サンプリングポイントに対して、前記クラスタ中心と、目標サンプリングポイントに対応する特徴記述の前記特徴空間内の距離から、前記目標サンプリングポイントにエンコードを行い、及び
    各目標画像領域のエンコード結果にベクトル化を行うことで、前記目標画像領域の前記加重特徴記述を生成することを含む、ことを特徴とする請求項17の装置。

Images