JP2012526335A - 物体認識方法、物体認識装置、自律移動ロボット - Google Patents

Abstract

短時間で良好な物体認識を行う。本発明に係る物体認識方法は、予め作成した物体モデルを用いて、観測場面に含まれる対象物体を認識する物体認識方法であって、観測場面の距離画像を生成し、距離画像から注目点を検出し、注目点を含む領域の特徴量である第１の特徴量を抽出するし、第１の特徴量と、物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行い、マッチング処理結果に基づいて、観測場面の座標系に第２の特徴量を射影するための変換行列を計算し、変換行列に基づいて、物体モデルに対して対象物体を認識する。

Description

本発明は物体認識方法及び物体認識装置に関し、特に、距離画像ベースのオンライン物体認識方法、物体認識装置、自律移動ロボットに関する。

サービスロボティクスを目的とした物体認識方法が開発されている。環境を自立的に移動する自律移動ロボットは、周囲の環境に存在する物体と高度な相互作用を実現するため、その物体が何であるかを認識するスキルを必要とする。非特許文献１乃至３と特許文献１に、従来の物体認識技術が開示されている。

非特許文献１には、視覚ベースの物体認識技術が開示されている。非特許文献１では、通常のカメラにより撮像した画像を用いて、ＳＩＦＴ特徴に基づいて物体を認識する。非特許文献１に開示された物体認識技術によれば、短時間で物体認識を行うことができる。また、部分的な遮蔽に対してもロバストな物体認識を実現することができる。

非特許文献２には、輪郭ベースの物体認識技術が開示されている。非特許文献２では、１枚の距離画像を用いて、物体全体に対する２００次元の特徴ベクトルに基づいて物体を認識する。非特許文献２では、特徴ベクトルを使用した物体の学習と分類を、サポートベクターマシーンによって行う。非特許文献２に開示された物体認識技術によれば、高速に物体認識を行うことができる。

非特許文献３には、スピンイメージ（３次元特徴）を利用した物体認識技術が開示されている。非特許文献３では、物体表面における法線方向に従って物体の３次元データの点群から抽出した高次元の特徴量に基づいて、物体を認識する。ここで、３次元データの点の大半は、レーザセンサから取得される。非特許文献３に開示された物体認識技術によれば、視点に依存せずに（即ち、物体を見る姿勢方向に関わらず）、認識を行うことができる。

また、特許文献１には、三次元位置センサと距離センサとを併用して、基準面を認識する三次元位置検出装置が開示されている。

特開平９−１７８４１８号公報

D.G. Lowe, Object recognition from local scale-invariant features. In Proc. Of the Int. Conf on Computer Vision (ICCV), Krekyra, Greece, 1999. Stefan Stiene, Kai Lingemann, Andreas N"uchter, and Joachim Hertzberg. Contour-based object detection in range images. In 3DPVT '06: Proceedings of the Third International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06), pages 168-175, Washington, DC, USA, 2006. IEEE Computer Society. Andrew E. Johnson, and Martial Hebert, Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 21, NO.5, MAY 1999.

物体検出及び認識の問題の全ては、実世界に応用するために対処せねばならないという多数の観点から構成される。物体認識を困難する主な理由は、高次元の探索空間が、実時間での総当りの計算を許していないためである。この高次元の問題は、（略１５０．０００個の走査点からなる）環境モデルと、検出される物体と、の両方を処理する際の大量のデータに起因する。

非特許文献１に開示された物体認識技術は、物体のテクスチャに強く影響を受けるという問題点がある。例えば、物体の表面が真っ白である場合や、太陽光等によりサチュレーションを起こしてしまった場合などには、認識が困難となる。

非特許文献２に開示された物体認識技術は、物体の輪郭（シルエット）を認識に利用するために、わずかな遮蔽に対しても強く影響を受けるという問題点がある。これは、物体が少しでも遮蔽される場合には、シルエットが大きく相違して見えてしまうためである。また、非特許文献２に開示された物体認識技術は、物体情報の全てを利用するものではないため（即ち、輪郭情報のみを使用しているため）、最適ではない結果となる場合がある（即ち、認識が上手くいかないことがある）。さらには、非特許文献２に開示された物体認識技術は、距離画像において、物体と床との境界を区別するために、床情報を抽出する必要があるなどの問題がある。

非特許文献３に開示された物体認識技術は、（不連続な領域の）注目する領域において法線が非常に不安定となる。このため、安定な法線を得るために、長いＣＰＵ時間を必要とするという問題点がある。また、注目点の抽出について開示されていない。

特許文献１に開示された三次元位置検出装置は、２つの計測点を用いて基準面を検出している。従って、認識対象を平面に限定しているために、任意の物体を認識してその位置を同定することができないという問題がある。

従って、本発明は、上述した課題を解決して、短時間で良好な物体認識が可能な物体認識方法、物体認識装置、自律移動ロボットを提供することを目的とする。

本発明に係る第１の態様の物体認識方法は、予め作成した物体モデルを用いて、観測場面に含まれる対象物体を認識する物体認識方法であって、前記観測場面の距離画像を生成するステップと、前記距離画像から注目点を検出するステップと、前記注目点を含む領域の特徴量である第１の特徴量を抽出するステップと、前記第１の特徴量と、前記物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行うステップと、前記マッチング処理結果に基づいて、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列を計算するステップと、前記変換行列に基づいて、前記物体モデルに対して前記対象物体を認識するステップと、を有する。

観測場面の距離画像を生成して、距離画像から検出した注目点の特徴量を用いて物体モデルとのマッチングを行うことで、観測場面と物体モデルとの間のマッチング処理を、２次元データである距離画像において行うため、短時間で物体認識処理を行うことができる。また、観測場面の距離画像から注目点を検出して、物体モデルとの間でマッチングを行うことで、部分的に遮蔽されている対象物体に対してもロバストである。

また、レーザセンサを使用して、前記観測場面の３次元の点群を生成するステップを更に有し、前記生成した３次元の点群から前記距離画像を生成するようにしてもよい。これにより、３次元の点群から生成した距離画像を用いて認識処理を行うため、サチュレーションなどによる問題を回避することができる。また、対象物体の全ての情報を含む３次元の点群を用いて距離画像の生成を行うことで、任意の方向からのマッチングを実現することができる。

さらにまた、レーザセンサを使用して、前記観測場面の３次元の点群を生成するステップと、前記観測場面の３次元の点群から、前記対象物体に含まれる線の特徴量である第３の特徴量を抽出するステップを更に有し、前記マッチング処理を行うステップは、前記第３の特徴量と、前記物体モデルの線の特徴量である第４の特徴量と、のマッチング処理を行い、前記変換行列を計算するステップは、前記マッチング処理結果に基づいて、前記観測場面の座標系に前記第３の特徴量を射影するための変換行列を計算するようにしてもよい。

また、前記変換行列の妥当性を検証するステップを更に有し、前記変換行列を計算するステップは、前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、前記変換行列の妥当性を検証するステップは、各前記変換行列に基づいて前記第２の特徴量を前記観測場面に射影して、当該射影した前記第２の特徴量と前記第１の特徴量との間の類似度に基づくスコアを計算し、当該計算したスコアに応じて、各前記変換行列の妥当性を検証するようにしてもよい。

さらにまた、前記変換行列の妥当性を検証するステップは、前記対象物体を含む局所領域ごとに前記複数の変換行列を分類し、前記局所領域ごとに、前記スコアに応じて１の変換行列を選択するようにしてもよい。

また、前記変換行列の妥当性を検証するステップは、前記局所領域ごとに選択した変換行列に基づいて前記第２の特徴量を配置した場合に、当該配置した第２の特徴量の物体モデルの間の衝突を検出し、当該検出した衝突状況に応じて、前記局所領域ごとに選択した変換行列の妥当性を検証するようにしてもよい。

さらにまた、前記変換行列の妥当性を検証するステップは、前記複数の変換行列のうち、前記スコアが所定の閾値を下回る変換行列を棄却するようにしてもよい。

また、前記変換行列の妥当性を検証するステップを更に有し、前記変換行列を計算するステップは、前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、前記変換行列の妥当性を検証するステップは、前記複数の変換行列のうち、束縛されている回転成分を有する変換行列を棄却するようにしてもよい。

さらにまた、前記変換行列の妥当性を検証するステップを更に有し、前記変換行列を計算するステップは、前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、前記変換行列の妥当性を検証するステップは、各前記変換行列に基づいて前記第２の特徴量を配置した場合に、当該配置した第２の特徴量から距離画像を生成し、当該生成した距離画像と、前記観測場面の距離画像から抽出した前記対象物体を含む部分の距離画像と、の類似度に応じて、各前記変換行列の妥当性を検証するようにしてもよい。

また、前記対象物体であると認識された物体モデルを、前記変換行列に基づいて前記観測場面の座標系に配置した状態で出力するステップを更に有するようにしてもよい。

本発明に係る第２の態様の物体認識装置は、予め作成した物体モデルを用いて、観測場面に含まれる対象物体を認識する物体認識装置であって、前記観測場面の距離画像を生成する距離画像生成手段と、前記距離画像から注目点を検出する注目点検出手段と、前記注目点を含む領域の特徴量である第１の特徴量を抽出する領域特徴抽出手段と、前記第１の特徴量と、前記物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行い、当該マッチング処理結果に基づいて、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列を計算して、当該変換行列に基づいて、前記物体モデルに対して前記対象物体を認識するマッチング・検証処理手段と、を備える。

本発明に係る第３の態様の自律移動ロボットは、環境に存在する物体の認識結果を用いて地図情報を作成し、当該作成した地図情報を参照して自律的に移動する自律移動ロボットであって、観測場面の距離画像を生成する距離画像生成手段と、前記距離画像から注目点を検出する注目点検出手段と、前記注目点を含む領域の特徴量である第１の特徴量を抽出する領域特徴抽出手段と、前記第１の特徴量と、予め作成した物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行い、当該マッチング処理結果に基づいて、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列を計算して、当該変換行列に基づいて、前記物体モデルに対して前記観測場面に含まれる対象物体を認識するマッチング・検証処理手段と、を備える。

本発明によれば、短時間で良好な物体認識が可能な物体認識方法、物体認識装置、自律移動ロボットを提供することができる。

実施の形態１に係る物体認識システムを示す構成図である。 実施の形態１に係る物体認識の処理動作を概略的に示すフローチャートである。 実施の形態１に係る点群の生成処理及び特徴量抽出処理を示すフローチャートである。 実施の形態１に係る点群の画像（下図）と、距離画像（上図）の一例を示す図である。 実施の形態１に係る距離画像（左図）と、パッチの画像（右図）の一例を示す図である。 実施の形態１に係るチェアの物体モデルの一例を示す画像である。 実施の形態１に係る観測場面についての、モデルの生成処理及び特徴量抽出処理を示すフローチャートである。 実施の形態１に係る特徴量のマッチング処理及び変換行列の検証処理の詳細を示すフローチャートである。 実施の形態１に係るフィルタリング処理の詳細を示すフローチャートである。 実施の形態１に係るテーブルの物体モデルの点群と、線の特徴と、を含む画像である。 実施の形態１に係る距離画像の一例を示す図である。 実施の形態１に係る実際の実験の設定を示す画像である。 実施の形態１に係る物体集合に対する認識率を示す表である。 実施の形態１に係る物体までの距離と認識率の関係を示すグラフである。 部分的に閉塞された対象物を含む点群の画像（左側）及び距離画像（右側）を示す図である。 図１５に示されている状況における対象物（事務用椅子及びテーブル）に対する認識結果を示す表である。

実施の形態１
＜構成＞
本発明は、距離画像を用いて、オンライン（リアルタイム）で物体認識を行う物体認識技術に関する。本発明は、例えば、環境を自律的に移動する自律移動ロボットに対して適用することができる。以下、図面を参照して本発明の実施の形態について説明する。

まず、図１を参照して、本実施の形態１に係る物体認識装置のシステム構成について説明する。点群生成部１０１は、観測場面に含まれる物体の、３次元の点群を生成する。３次元の点群は、レーザセンサを使用して生成することができる。３次元の点群とは、ｘ、ｙ、ｚ軸の各値を保持する３次元のデータ点の集合である。後述するように、対象物体を検出する際には、観測場面から実際に取得した物体の３次元の点群と、３次元の点群の物体モデルと、に基づいて、物体を認識することができる。尚、本実施の形態１では、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）の原理により物体までの距離測定データを取得するレーザレンジセンサを使用することで、カメラを使用した場合に発生するサチュレーションの問題を回避する。

距離画像生成部１０２は、生成した３次元の点群から、観測場面の距離画像と、物体モデルの距離画像を生成する。

注目点検出部１０３は、距離画像から注目点を検出する。領域特徴抽出部１０４は、注目点を含む領域の特徴量であるパッチを抽出する。また、線特徴抽出部１０５は、３次元の点群から、物体の線の特徴を抽出する。

物体モデル記憶部１０６は、予め作成した対象物体の物体モデルを記憶する。物体モデルは、対象物体の３次元の点群などから構成される。

マッチング・検証処理部１０７は、観測場面の特徴量と、物体モデルの特徴量について、マッチング及び検証処理を行う。具体的には、まず、マッチング・検証処理部１０７は、観測場面からのパッチと、物体モデルの特徴量との間でマッチング処理を行う。そして、マッチング処理結果に基づいて、観測場面の座標系に物体モデルの特徴量を射影するための変換行列を計算する。次いで、変換行列の妥当性を検証し、妥当でない変換行列を棄却する。最終的に、マッチング・検証処理部１０７は、検証した変換行列に基づいて、物体モデルに対して対象物体を認識する。

＜処理動作＞
次に、図２乃至図１１を参照して、本発明に係る物体認識処理動作について説明する。図２は、本発明に係る物体認識処理動作を概略的に示すフローチャートである。図２において、ステップＳ１００は、１つの物体モデルについての、点群の生成処理及び特徴量の抽出処理を示している。ステップＳ２００は、実際の観測場面についての、点群の生成処理及び特徴量の抽出処理を示している。

ステップＳ１００は、観測場面の新たな３次元スキャンが取得された場合に、このスキャンデータから、対応する距離画像を計算する。次いで、この距離画像から、領域の特徴（Ａｒｅａ Ｆｅａｔｕｒｅ）の集合と、線の特徴（Ｌｉｎｅ Ｆｅａｔｕｒｅ）の集合を抽出する。ステップＳ１００における処理は物体認識処理に先立って予め実行され、複数の物体についての点群や特徴量が物体モデル記憶部１０６に記憶される。観測場面の物体認識を行う場合には、ステップＳ２００は、ステップＳ１００と同様にして、実際の観測場面についての、距離画像の生成と、特徴量の抽出を行う。

ステップＳ３００は、観測場面における特徴量と物体モデルの特徴量とをマッチングし、マッチングにより得られる変換行列の検証を行う。物体認識の結果として、物体モデルを観測場面に配置して表示する。このため、位置合わせ（ｐｏｔｅｎｔｉａｌ ａｌｉｇｎｍｅｎｔ）の初期集合を決定する。候補となる位置合わせとは、物体モデルを観測場面の座標の位置及び姿勢へと変換するための変換行列である。観測場面における特徴量と、対応する物体モデルの特徴量とを利用してマッチングを行い、マッチング結果から変換行列を計算する。さらに、計算した変換行列について、その検証を行う。特徴マッチング及び変換行列の検証に際しては、ＧＯＯＤＳＡＣという手法に似た手法の手続きを使用して、各変換行列に付与するスコア関数に基づいて、解（変換行列）を順位付けする。不要な解をフィルタリングした後に、最終的な認識結果として、決定された変換行列に基づいて各物体を位置合わせした状態で、各物体モデルが観測場面に表示される。

次に、図３を参照して、ステップＳ１００における処理の詳細について説明する。図３は、１つの物体について、点群の生成処理及び特徴量の抽出処理を示すフローチャートである。まず、ステップＳ１０１は、レーザレンジセンサから取得した２次元の距離測定値を、ＰＴＵ（パンチルトユニット：センサを回転・揺動させる機構。）の姿勢情報に基づいてマージすることで、点群を生成する。次いで、ステップＳ１０２は、それぞれ異なる方位から取得した、それぞれ物体の部分的な点群である複数の点群をマージすることで、物体モデルの点群を生成する。次いで、ステップＳ１０３は、物体モデルの点群から生成する全ての距離画像から、線又は領域の特徴の集合を生成する。また、これら現実の３次元データから取得した点群と、距離画像と、注目点と、特徴量と、を１つの物体の物体モデルとして、複数の物体の物体モデルからなる物体モデルの集合を物体モデル記憶部１０６に記憶する。

距離画像は、３次元場面を２次元的に表現する視覚表示である。距離画像の各画素のグレー値は、その画素に対する光線の向きにおける、最も近い物体までの距離値に比例する。距離画像は、公知の技術を用いて生成することができる。例えば、ｚバッファを実装することで、３次元スキャンから距離画像を効率的に計算することができる。図４は、点群の画像（下図）と、当該点群から生成された距離画像（上図）の一例を示している。図４の下図に示す点群の画像は観測場面を示しており、ロボットと、何人かの人間と、認識された２つのチェアと、を描画している。図では、ロボットの前後方向の前方をｘ軸正方向、左右方向の左方向をｙ軸正方向、上下方向の上方向をｚ軸正方向とする、ロボットの座標系を定めている。尚、図４の上図に示す距離画像では、物体までの距離が近いほど、画素のグレー色を濃くして描画している。

距離画像の全ての点（画素）を認識処理に用いては、オンラインで物体検出を行うためには、あまりに計算的な要求が厳しいものとなる。このため、距離画像の全ての画素を使用する代わりに、距離画像から注目点の集合を抽出する。注目点は公知の技術を用いて抽出することができる。例えば、ハリス検出を利用して注目点を抽出することができる。そして、各注目点について、注目点を中心とする周囲の領域に含まれる画素の集合を、距離画像の小さなパッチとして生成し、そのパッチを、注目点における領域の特徴として抽出する。ここでは、注目点を中心とする、６×６画素分のサイズの画素からなる領域をパッチとして定める。

尚、パッチの生成処理に際して、ある程度のスケール不変性を実行させるために、ここでは、パッチの中心における画素の距離値を基準として、パッチに含まれる他の画素の距離値をシフトさせることで、実世界におけるパッチのサイズを固定して利用する。具体的に説明すると、それぞれ異なる距離に対応するパッチの見方を同じにするためには、パッチに含まれる画素の距離値を用いて、各画素の距離値を正規化する必要がある。このため、例えば、パッチの中心の画素の距離値が１．０ｍである場合には、そのパッチに含まれる他の全ての画素の距離値から１．０ｍを減算する。これにより、実世界において同一のサイズのウィンドウに基づいて、全てのパッチを生成する。

図５は、距離画像（左図）と、当該距離画像におけるパッチの画像（右図）の一例を示している。図５の右図に示すパッチは、図５の左図に示す距離画像における、中央の人間の頭部に位置する注目点を中心とする画素の集合である（即ち、左図において、矩形により囲んだ人間の頭部に相当する範囲を示すパッチである。）。また、図５の右図に示すパッチは、パッチに含まれる各画素の距離値を補間した、低解像度の画像である。

上述したように、物体モデルは、物体の距離画像から抽出された特徴の集合として与えられ、物体の距離画像は、異なる視点から物体をスキャンすることで取得した点群から生成されたものである。図６は、チェアの物体モデルの一例を示す画像である。図６は、チェアの点群モデル（左図）と、当該点群から生成された、異なる視点からの複数のチェアの距離画像（右図）とを示している。

次に、図７を参照して、ステップＳ２００における処理の詳細について説明する。図７は、現在の観測場面について、点群の生成処理及び特徴量の抽出処理を示すフローチャートである。まず、ステップＳ２０１は、レーザレンジセンサから取得した２次元の距離測定値を、ＰＴＵの姿勢情報に基づいてマージすることで、点群を生成する。ステップＳ２０２は、点群から距離画像を生成する。ステップＳ２０３は、ハリス検出を用いて、注目点を検出する。ステップＳ２０４は、距離画像から領域の特徴（パッチ）を抽出する。また、ステップＳ２０５は、点群から線の特徴を抽出する。尚、ステップＳ２０５における線の特徴の抽出処理は、詳細は後述する。

次に、図８を参照して、ステップＳ３００における処理の詳細について説明する。図８は、特徴量のマッチング処理及び変換行列の検証処理の詳細を示すフローチャートである。図８に示すように、ステップＳ３００（Ａ）は特徴量のマッチング処理を行い、ステップＳ３００（Ｂ）は変換行列の計算処理を行い、ステップ３００（Ｃ）は変換行列のフィルタリング処理を行う。

まず、ステップ３００（Ａ）が行う、特徴量のマッチング処理について説明する。特徴マッチングは、距離画像の小さなパッチを特徴ベクトルとして扱い（ここでは、６×６画素の３６要素からなるベクトル）、特徴空間において、最近傍の特徴ベクトルを探索することで行う。具体的には、実際の観測場面における特徴ベクトルをｆ_ｓ，ｉとし、物体モデルにおける特徴ベクトルをｆ_ｍ，ｊとして、これらディスクリプタベクトル間のユークリッド距離ｄ（ｆ_ｓ，ｉ，ｆ_ｍ，ｊ）を計算する。この距離に基づいて、所定の閾値ｄ_ｍａｘを下回る全ての特徴ベクトルのペア＜ｆ_ｓ，ｉ，ｆ_ｍ，ｊ＞により与えられる、候補となる対応の集合Ｃ＝｛Ｃ_ｉ，ｊ｝（Ｃ_ｉ，ｊ＝＜ｆ_ｓ，ｉ，ｆ_ｍ，ｊ＞）を作成する。

ステップＳ３０１＿１は、物体モデルの距離画像における特徴ベクトルと、実際の観測場面の距離画像の特徴ベクトルとを使用して特徴マッチングを行う。ステップＳ３０１＿２は、線の特徴に関して、物体モデルと実際の観測場面の特徴ベクトル間のマッチングを行う。尚、線の特徴に関しては、後述する。

ディスクリプタベクトル間の最近傍点検索を高速に実行する手法としては、公知の手法を適用することができる。例えば、比較対象となる全ての特徴記述ベクトルをｋｄ木に格納し、Ｌｏｗによって提案された高次元ベクトルを扱うためのbest-bins-first技術（非特許文献１参照）とを組み合わせることで、最近傍点検索を高速に実行することができる。

次に、ステップ３００（Ｂ）が行う、変換行列の計算処理について説明する。上述したように、距離画像は３次元スキャンの全ての情報を含んでいるため、物体モデルの距離画像を、現在の観測場面の距離画像に合わせることができる。さらに、物体モデルにおける特徴量と、観測場面における特徴量との間の、少なくとも３組の正確な対応が既知であれば、物体モデルと観測場面との間の３次元変換行列を計算することができる。

ステップＳ３０２＿１は、距離画像からの３の対応から（即ち、物体モデルの距離画像から抽出した３個の注目点と、観測場面の距離画像から抽出した３個の注目点と、の間の対応を使用して）、変換行列を計算する。ステップＳ３０２＿２は、１の距離画像と１の線の特徴とから（即ち、物体モデルの距離画像と観測場面の距離画像とからそれぞれ１個ずつ抽出した注目点同士の対応と、物体モデルと観測場面とからそれぞれ１本ずつ抽出した線の特徴同士の対応とから）、変換行列を計算する。ステップＳ３０２＿３は、１のコーナーから（即ち、物体モデルと観測場面からそれぞれ抽出したコーナーの特徴同士の対応から）、変換行列を計算する。以下では、ステップ３０２＿１の処理を例に説明する。

尚、特徴マッチングの結果から変換行列を計算するに際しては、決定的ＲＡＮＳＡＣを使用して、誤った特徴マッチを棄却することが好ましい。同一の箇所から来た２つの画像パッチが、両者が類似しているためにマッチした場合に、誤った特徴マッチが起こる。決定的ＲＡＮＳＡＣは、特徴マッチングの質（ディスクリプタベクトル間のユークリッド距離に関して）についても考慮し、ランダムサンプリングしないＲＡＮＳＡＣである。また、通常のＲＡＮＳＡＣとは異なり、決まった順番で特徴ベクトルを評価するため、決定的（deterministic）なＲＡＮＳＡＣとして表記する。尚、ここで、再び上述したＧＯＯＤＳＡＣを利用するものとしてもよい。

以下、変換行列の計算処理について具体的に説明する。標記を単純にするため、Ｃ（特徴ベクトルのペアの集合）の要素を単にｃと言い、添字のｉとｊを無視する。候補となる物体の姿勢（即ち、現在の観測場面の点群と物体モデルの点群との間の変換行列。）は、３組の対応から決定される。従って、候補となる変換行列の個数は、｜Ｃ｜^３に比例する。ここでは、まず、ディスクリプタベクトルの距離に基づいて対応を整列し、距離が小さいものからｎ個の対応のみを考慮することで、変換行列を求める際の計算的な要求を制限する。整列された後に順序付けられたｎ個の対応の集合を、Ｃ'＝｛Ｃ'_１，…，Ｃ'_ｎ｝として示す。これにより、ディスクリプタベクトル間の距離がより小さな対応（即ち、より類似した特徴ベクトルのペア）から、順に処理を行うことができる。

次に、変換行列を計算するため、（ディスクリプタベクトル間の距離に従って）ベストな対応の３組を取得する。しかし、変換行列を計算する際に、低いディスクリプタベクトル間の距離を持った対応のうち、一つの対応が誤ったマッチングである場合には、単純に距離に従って対応の３組を選択するものとしては、探索が終了しないことがある。具体的に説明すると、例えば５個の注目点について、それら注目点の対応が距離に基づいて整列されている場合を想定し、各対応ｃを単に１，２，３，４，５と表記する。距離が低い順に対応の３組を単純に取得した場合には、（１，２，３），（１，２，４），（１，２，５），（１，３，４），（１，３，５），（１，４，５），（２，３，４），（２，３，５），（２，４，５），（３，４，５），…の順番で選択される。ここで、対応１が誤ったマッチングであった場合には、最初の６回（（１，２，３），〜，（１，４，５））は、間違った対応の３組を計算することになり、最適解に辿りつくまでに時間を要する。これに対して、以下に説明するループ構造に従って決定される順序で選択した場合には、（１，２，３），（１，２，４），（１，３，４），（２，３，４），（１，２，５），（１，３，５），（２，３，５），（１，４，５），（２，４，５），（３，４，５），…の順番となり、対応１を含んだ対応の３組が連続しないため、無駄な計算を長時間せずに済む。

従って、以下のループ構造によって決定された順序で、整列した対応の集合Ｃ'から、対応の３組（ｃ_ｉ，ｃ_ｊ，ｃ_ｋ）が選択される。これによって、配列（ｃ'_１，ｃ'_２，ｃ'_３），（ｃ'_１，ｃ'_２，ｃ'_４），（ｃ'_１，ｃ'_３，ｃ'_４），（ｃ'_２，ｃ'_３，ｃ'_４），（ｃ'_１，ｃ'_２，ｃ'_５），…を生成する。
＜ループ構造＞
ＦＯＲ（ｋ＝３；ｋ・｜Ｃ｜；ｋ＝ｋ＋１）｛
ＦＯＲ（ｊ＝２；ｊ・ｋ；ｊ＝ｊ＋１）｛
ＦＯＲ（ｉ＝１；ｉ＜ｊ；ｉ＝ｉ＋１）｛
ｔｒｉｐｌｅ＝（ｃ_ｉ，ｃ_ｊ，ｃ_ｋ）
・・・
｝
｝
｝

上述したようにして生成した対応の３組（ｃ'_ａ，ｃ'_ｂ，ｃ'_ｃ）は、変換行列Ｔ_ａｂｃを計算するために使用される。後述するステップＳ３００（Ｃ）は、この候補となる変換行列の検証処理を行う。

次に、図９を参照して、ステップＳ３００（Ｃ）が行うフィルタリング処理の詳細について説明する。図９は、不要な変換行列のフィルタリング処理の詳細を示すフローチャートである。ステップＳ３００（Ｃ）は、ステップＳ３００（Ｂ）で計算した、候補となる変換行列全てに対してフィルタリング処理を行い、個数を減少させる。以下、各ステップＳ３０３〜Ｓ３０７について説明する。

ステップＳ３０３は、物体モデルの特徴量の副集合を、候補となる全ての変換行列に基づいて現在の観測場面に投影することで、スコア関数を計算する。そして、計算したスコア関数を使用して、候補となる変換行列の全てを検証する。即ち、スコア関数を使用して、候補となる変換行列が、観測場面にどの程度適合するのかを判断する。

スコア関数は、変換された物体モデルの注目点が、観測場面において対応する点にどの程度マッチするかに基づく。この目的のため、物体モデルの注目点の集合から、いくつかの一様に分布した点を選択する。選択したこれらの点は変換を検証するために使用される。また、選択した点の個数は、通常は、上述したマッチング処理手続で使用される物体モデルの注目点の個数より少ないために、検証のスコア付けは効率的に実行される。即ち、上述したように、対応の３組を用いて候補となる変換行列を算出しているため、他の注目点に関しても、その算出した変換行列が妥当であるか否かを検証する必要がある。このため、算出した変換行列に基づいて、物体モデルのいくつかの注目点を観測場面に変換し、それら変換した点と、観測場面の点との間の距離に基づいて、変換行列を評価する。

以下、スコア関数について具体的に説明する。Ｖ^ｍ＝｛ｖ_ｍ１，ｖ_ｍ１，…，ｖ_ｍｎ｝を、３次元の物体モデルにより表現された注目点のうち、検証する点の集合とする。即ち、Ｖ^ｍは、変換する物体モデルの姿勢が、観測場面の物体にマッチするか否かを評価するために使用する。変換行列Ｔ_ａｂｃを使用して、Ｖ^ｍの各注目点の姿勢を、（観測場面をスキャンした際の）スキャンの基準座標に投影することで、Ｖ^Ｓ＝｛ｖ_ｓ１，ｖ_ｓ２，…，ｖ_ｓｎ｝を算出する。即ち、Ｖ^ｍの注目点の姿勢に対して、変換行列Ｔ_ａｂｃを乗算することで得た位置姿勢を、Ｖ^Ｓの注目点の位置姿勢とする。そして、Ｖ^Ｓの注目点の位置姿勢を使用して、観測場面の距離画像からパッチを抽出し、抽出したパッチを、Ｖ^ｍの物体モデルのパッチとマッチングする。このマッチングの結果が良好である場合には、観測場面に対して精度の良い変換行列であると判断することができる。観測場面に対してふさわしい変換行列Ｔ_ａｂｃである場合には、物体モデルの多くの点Ｖ^ｍが、観測場面における点Ｖ^Ｓに対応する（即ち、ディスクリプタベクトル同士が一致する。）。この事実によって、対応する特徴記述ベクトル（即ち、パッチ）間のユークリッド距離ｄ（ｖ_ｍｉ，ｖ_ｓｉ）に基づいて、以下に示すスコア関数を定義する。
ｓｃｏｒｅ（Ｔ_ａｂｃ）＝Σ_{ｉ ｍａｘ}（０，１−ｄ（ｖ_ｍｉ，ｖ_ｓｉ）／ｄ_ｍａｘ）

上述したスコア関数において、ｄ_ｍａｘはステップ３００（Ａ）で説明した値と同一の値である。ｍａｘ（ａ，ｂ）は、ａかｂのうち、いずれか大きな値を出力する関数である。スコア関数の値域は、０からｎの範囲となる。スコア関数は、ｖ_ｍｉと_，ｖ_ｓｉとが類似するほど、大きなスコア値を出力する。スコア値が大きいほど、変換行列Ｔ_ａｂｃが観測場面に良好にマッチする変換であることを示す。ステップ３０３は、候補となる変換行列全てについてスコアを計算し、所定の閾値を下回るスコアを持つ全ての変換を棄却する。スコアの計算は対応の３組ごとに行い、現在の変換行列のスコアを計算した後に、続く対応の３組についての手続きを繰り返す。試行の最大回数に到達した場合に、探索は停止される。

このように、本発明に係るアプローチは、候補となる変換行列を計算するために、対応の３組のみを必要とする。このため、部分的な遮蔽についても扱うことができる。そして、ステップ３０３は、所定の閾値よりも大きなスコアを持つ全ての変換について、観測場面において、物体の候補となる姿勢を返す。

さらに、上述したステップＳ３０３の処理に先立ち、無効だと思われる対応の３組を事前に捨てることで、候補となる変換行列の計算コストを減少させることができる。例えば、観測場面における３つの注目点の間の相対距離が、物体モデルにおける対応する注目点の相対距離に類似するか否かを確認することがとても有効であると考えている。即ち、観測場面における３つの注目点が形成する三角形について、物体モデルにおける類似する三角形を形成する３点を探索し、これら３つの点の相対距離が互いに類似するか否かに基づいて、不要な３つの注目点を捨てる。）。また、例えば、同一線上に３つの注目点がある場合には、当該注目点の対応は使用せずに、所定の閾値よりも大きな相対距離を持つ注目点のみ使用する。

上述した注目点の特徴（パッチ）を用いた処理によれば、複雑な形状については上手く動作する。しかし、テーブルやボックスのようなわずかに区別可能な点を備えた大きな構造物については、顕著な特徴の欠如のために、ハリス検出では、その特徴を検出することが困難である。このような種類の物体に対処するために、物体モデルと観測場面から、線の特徴についてもそれぞれ抽出する。例えば、図１０に、テーブルの物体モデルの点群と、当該点群から抽出した線の特徴と、を含む画像を示す。

線ベースの物体を認識する場合には、線の特徴から変換を決定する。まず、ステップ３０１＿２は、マッチングにより、平行でない２本の線の特徴の間の、２つの対応を求める。線の特徴の間の対応とは、物体モデルと観測場面に、それぞれ平行でない線が２本ずつある場合に、線の両端同士の対応のことを示す。そして、ステップＳ３０２＿３は、２本の線の特徴の間に対応が与えられた場合に、ステップＳ３０２＿１と概念的に同様のアプローチにより、候補となる変換行列を計算する。より具体的には、全ての候補となるコーナー（線分の端部や、デスクなどの端部）の対応についてループして処理を繰り返し、候補となる変換行列を計算する。スコアは、上述したようにして、検証の点から再び計算される。

ステップＳ３０４は、候補となる変換行列に対して、３次元空間における方向フィルタリング（ｏｒｉｅｎｔａｔｉｏｎ ｆｉｌｔｅｒｉｎｇ）処理を行う。方向フィルタリング処理とは、束縛されている回転成分を有する全ての変換行列を取り除くことを示す。例えば、認識対象の物体がデスクである場合には、デスクの状態としては、脚により立てた状態や、ひっくり返して床に置いてある状態など、全ての候補となる変換行列が考えられる。実際の観測場面においては、デスクはひっくり返しては置かない、などの拘束条件を定めることで、不要な変換行列を効率よく削除することができる。このため、例えばデスクの場合には、ヨー軸周り以外の回転成分（即ち、２次元でない回転成分）を持つ変換行列を削除することで、不要な変換行列をフィルタリングする。

ステップＳ３０５は、空間クラスタリングを通して、類似する配置へと変換する変換行列のフィルタリングを行うことで、各クラスタ（観測場面において、検出対象とする物体が存在する領域）でベストな変換行列のみを残す。クラスタとは、観測場面において、認識対象とする各物体がそれぞれ存在する局所的な領域である。通常、ステップＳ３０４までの処理は、とても類似した配置による、多くの物体の事例を返す（即ち、類似した位置・姿勢へと変換する多くの変換行列が出力される）。これは、変換行列を計算するために使用した異なる３組の対応からもたらされ、多くの物体の事例は、観測場面における同じ認識対象の物体から全て生じる。従って、局所的な領域において見られる、変換行列に基づく全ての物体について、最もスコアが高い解（変換行列）のみを保持することで、類似する不要な解を取り除く。

ステップＳ３０６は、近傍解の間の衝突検出の有無に応じて、候補となる変換行列を検証する。２つの近傍解が衝突する場合には、変換行列に基づいて配置された物体モデルが、衝突する可能性がある。これは、例えば、変換行列に基づいて配置されたデスクとチェアが互いに衝突するような場合や、デスクが床にめり込んでいるような状態などを意味する。このため、ステップＳ４０１は、物体モデルの点群に対して、所定の境界範囲を定めるｂｏｕｎｄｉｎｇ ｂｏｘを事前に計算することで、衝突を確認する。衝突の確認は例えば、ｋｄ木に格納された、低い解像度の物体モデルの点群を使用することで、効率的に実行することができる。具体的には、ｋｄ木にｂｏｕｎｄｉｎｇ ｂｏｘを事前に格納しておき、変換行列に基づいて配置された各物体モデルと、格納したｂｏｕｄｉｎｇ ｂｏｘとの衝突判定により行うことができる。

ステップＳ４０２は、衝突が発見されなかった場合に、その変換行列を妥当とする。一方で、ステップＳ４０３は、衝突が発見された場合に、更に、その変換行列について確認する。具体的には、ｂｏｕｄｉｎｇ ｂｏｘを一旦解除した後に、物体モデルの点群から副集合を抽出して、衝突チェックのために、点群のレベルで最近傍探索を行う。即ち、ｂｏｕｄｉｎｇ ｂｏｘによる衝突判定と比べて、点群のレベルで、より詳細に衝突確認を行う。

ステップＳ３０７は、解を誤って検出してしまうこと（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）を回避するために、変換行列に基づいて配置される物体モデルからの距離画像と、観測場面の距離画像とを比較する。変換行列が妥当である場合には、変換行列に基づく物体モデルの距離画像と、観測場面の距離画像の対応する部分とが類似するためである。

以下、ステップＳ３０７の処理についてより具体的に説明する。まず、ステップＳ５０１は、変換行列に基づいて配置される、物体モデルの低い解像度の距離画像を計算する。計算した距離画像は、仮想的なカメラ姿勢での距離画像である。ステップＳ５０２は、観測場面から、検出したい物体を含む部分を抽出して、その部分の距離画像を計算する。ステップＳ５０３は、計算した２つの副画像同士を画素単位で比較し、（ある誤差境界内での）一致するエリアのパーセントを計算する。この計算値が、所定の類似度の閾値を上回る変換行列を、最終的な変換行列として決定する。そして、その変換行列により決定される姿勢での、観測場面における物体の存在を出力する。

図１１は、ステップＳ５０３の比較に使用する距離画像の一例を示す。図１１では、物体がチェアである場合に、変換行列に基づいて配置された物体モデルの副画像（左図）と、観測場面のチェア部分の副画像（中央図）と、類似度を計算するために使用した左図と中央図とを重ね合わせた図と（右図）を示している。尚、中央図の画像の右上に見られる黒い部分は、観測場面における物体の前面の遮蔽物である。また、右図の画像では、左図と中央図とで大きく異なる部分が、青色によって描画されている（例えば、右図において、画像の右上の黒色部分に相当する。）。図に示す例では、約８０％の一致となったために、正確な変換行列であるものとして受け入れられた。

ステップＳ３００（Ｃ）までの処理を経て、最終的には、求められた変換行列に基づく姿勢と位置で、観測場面に物体モデルが配置された状態で出力される。即ち、変換行列に基づいて配置された物体モデルの点群が、観測場面の点群のデータに重ねて表示される。このような認識結果が、観測場面における各物体に対してそれぞれ１つずつ出力される。

以下、本発明の効果について説明する。
＜認識率＞
まず、図１２及び図１３を参照して、本発明に係る物体認識方法及び物体認識装置を使用した場合の、物体の認識率について説明する。図１２は、実際の実験の設定を示す画像である。図１３は、図１２に示した実験設定での、物体集合に対する認識率を示す表である。

図１２の上側の画像は、実験を行った環境を示す画像である。環境は、物体の集合（画像中、左から、モニター、ファン、ボックス、パイオニアロボット、ウッドチェア、オフィスチェア、デスクの順に配置。）と、実験に使用した、物体を走査するロボットとを含んでいる。ロボットの前方上部には、観測場面をスキャンするためのレーザレンジセンサが搭載されている。レーザレンジセンサは、水平方向にレーザを照射して物体までの距離を測定する。ＰＴＵを使用してセンサをピッチ方向に揺動させることで、ロボットの前方領域に存在する物体までの距離を測定することができる。

図１２の下側の画像は、上側の画像（実験環境）に対応する３次元の点群の画像を示している。３次元の点群は、上述した環境に存在する各物体の３次元の点群を含んでいる。尚、図１２の下側の画像において、本発明に係る物体認識方法によって認識された物体に対しては、その３次元の点群をマークして示している。すなわち、本発明による出力結果（認識された物体とその姿勢情報）に従って、図１２の下側の画像中に該当する物体を配置して示している。図１２の中央の画像は、下側の画像（実験環境の３次元点群）から生成した距離画像を示している。距離画像は、レーザレンジセンサによるスキャン範囲の形状に応じて、奥行き方向に向けて扇形の形状となる。

図１３に示すように、本発明に係る物体認識方法及び物体認識装置を使用した場合には、物体の良好な認識率が得られていることが分かる。図１３は、図１２に示す環境において、観測場面中の各物体に対応して、各物体（モニター、ファン、ボックス、パイオニアロボット、ウッドチェア、オフィスチェア、デスク）の物体モデルが正確に検出された回数を示している。例えば、実際の観測場面でのボックスは、物体モデルのボックスとして８回、物体モデルのオフィスチェアとして２回検出されたことを示す。

＜認識と距離＞
図１４は、物体までの距離と物体の認識率の関係を示すグラフである。各距離の段階について、物体の異なる視点から５回の走査を行った。図に示すように、物体の認識率は、物体までの距離に依存する。以下、その理由について説明する。距離画像は、レーザレンジセンサから取得された点群から計算される。当該センサは固定された角度分解能を有しているため、点群の密度は強く距離に依存する。距離画像の最大解像度は、取得された点群の密度に直接影響される。即ち、距離画像のパッチは、パッチに含まれるピクセルの合計数よりも少ない個数の測定点を用いて描画される。従って、距離画像のパッチを満たすためには補間が必要となり、補間は認識のロバスト性に明らかに影響する。

以下、より具体的に説明する。物体までの距離が遠くなるほど、距離画像の画素に対応する実世界の範囲は大きなものとなる（即ち、距離画像の画素が荒くなる。）。例えば、図５に示した距離画像の例を用いて説明すると、人間の頭の部分に相当するパッチは、実世界ではその面積は比較的小さい。しかし、人間の後方の壁などの部分に相当するパッチは、実世界ではその面積はかなり大きい。距離画像から生成するパッチは、壁の部分に相当するパッチの画素は、疎なものとなってしまう。これは、レーザレンジセンサは放射状にスキャンを行うために、物体までの距離が遠くなるほど、レーザが実際に照射されていない部分が拡大するためである。換言すると、距離画像には距離測定値を取得できなかった画素を含んだパッチが存在する。従って、距離測定値が取得できなかった画素については補間が必要となる。しかし、補間は、実際には存在しなかったデータを追加することであるために、明らかに認識のロバスト性に影響を与えてしまう。

尚、点群の取得手段としては、市販のレーザレンジセンサを用いることができる。例えば、株式会社ＳＩＣＫ社製のレーザセンサ（型式「ＬＭＳ ２９１」）を用いた場合には、角度センサ解像度は、補間走査モードを使用して、横方向に最大で０．２５°である。図１４に示したように、当該レーザレンジセンサを用いた場合には、センサ解像度の結果として、物体までの距離が５ｍを超えた時点で、認識率の減少が始まる。

＜認識への遮蔽の影響＞
次に、図１５及び図１６を参照して、本発明に係る物体認識方法及び物体認識装置を使用した場合の、認識への遮蔽の影響について説明する。図１５は、部分的に遮蔽された物体を含む点群の画像（左図）と距離画像（右図）を示している。図１６は、図１５に示した状況での、物体（オフィスチェアとテーブル）に対する認識結果を示す表である。図１６に示す表は、異なる可視率（Visibility）に対する、物体の認識の成功回数（それぞれ１０回のスキャンのうちで正しく認識できた回数。）を示している。

本発明に係る認識技術では、マッチング処理の際には、物体の全体が観測可能であることは必要としない。すなわち、マッチング処理では、いくつかの注目点について、その注目点からパッチを生成し、パッチ同士を比較することで物体を検出するために、物体の相当部分の遮蔽に対してもロバストな認識を実現することができる。図１５と図１６から分かるように、物体の観測可能な構造にも依存するが、２５％から５０％の遮蔽がある場合においても、認識が実現できる。例えば、可視率が５０％を下回ったにもかかわらず、オフィスチェアを正確に認識することができた。このことから、非特許文献２に開示される認識技術では、シルエットの一部分の遮蔽に強く影響を受けていたが、本発明に係る認識技術は、遮蔽に対してもロバストである。

＜認識に要求される処理時間：データ収集処理＞
次に、本発明に係る物体認識方法及び物体認識装置を使用した場合の、認識に要求される処理時間について説明する。まず、スキャンデータの収集処理に要する処理時間について説明する。

本発明に係る認識技術では、点群を取得するための１回のスキャンには、１３秒の処理時間を必要とする（即ち、１方向の距離画像を生成するために、１３秒の処理時間を要する。）。そして、複数の方向からスキャンを行うことで、物体モデルを生成する。この処理時間は、レーザレンジセンサが二次元の走査装置であるという事実と、観測場面から適切な情報を得るために密度の高い点群を必要とするという事実とに起因する。密度の低い点群を取得することで、点群の取得処理を迅速化することは可能である。しかし、密度の低い点群では、本発明に係る認識技術の総合的なロバスト性を失ってしまう。現時点では、同程度の精度で同一の量の点群をより短時間で取得可能なハードウェアは存在していない。

＜認識に要求される処理時間：認識処理＞
次に、認識処理に要する処理時間について説明する。本発明に係る認識技術では、２．４ＧＨｚのＣＰＵを搭載したコンピュータを使用した場合に、７つの認識対象物体に対して、取得された点群から物体を検出するために、１．５秒から３秒の処理時間を必要とする。従って、本発明に係る認識技術は、３次元の点群から距離画像を生成し、２次元の距離画像を使用して特徴量のマッチング処理行うことで、短時間で物体認識を行うことができる。

さらに、補足的な効果として、認識された物体を有効に利用することができる。例えば、自己位置推定と地図作成を同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）において、認識した物体を地図上に配置していくことにより、高次元の世界モデルを構築しながら、（動的な）物体についてのよりロバストなマッピングを実現させることができる。

その他の実施の形態
上述した実施の形態では、レーザレンジセンサの測定値から３次元の点群を生成するものとして説明したが本発明はこれに限定されない。すなわち、通常のカメラを使用して、３次元の点群を生成するものとしてもよい。

また、上述した実施の形態では、３次元の点群から距離画像を生成するものとして説明したが本発明はこれに限定されない。すなわち、距離画像を撮像可能なカメラを使用して、距離画像を直接取得するものとしてもよい。３次元カメラやステレオカメラを使用する場合には、その出力は既に距離画像であるために、３次元の点群を生成するステップは省略することができる。

また、上述した実施の形態では、複数のフィルタリング処理を通して、候補となる変換行列を削減するものとして説明したが本発明はこれに限定されない。例えば、ステップＳ３０６、ステップＳ３０７における処理を実行することで、認識の精度をより向上させることができるが、これらの処理は必須ではなく、省略してもよい。

また、上述した物体認識機能は、例えば、ロボットに搭載されたコンピュータやロボットとは別に設けられたコンピュータにより実現される。このコンピュータは、例えば、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ、ハードディスク等の補助記憶装置、ＣＤ−ＲＯＭ等の可搬型記憶媒体が挿入される記憶媒体駆動装置、入力手段や出力手段を備えている。ＲＯＭ、補助記憶装置、可搬型記憶媒体等の記憶媒体には、オペレーティングシステムと協働してＣＰＵ等に命令を与え、アプリケーションプログラムを記録することができ、ＲＡＭにロードされることによって実行される。このアプリケーションプログラムは、本発明に係る物体認識方法を実現する特有の物体認識プログラムを含む。物体認識プログラムによる物体認識は、中央処理装置がアプリケーションプログラムをＲＡＭ上に展開した上で当該アプリケーションプログラムに従った処理を補助記憶装置に格納されたデータを読み出し、また格納を行なうことにより、実行される。

尚、本発明は上述した各実施の形態に限定されず、趣旨を逸脱しない範囲で適宜変更することが可能である。

本発明は、予め作成した物体モデルを用いて、観測場面に含まれる対象物体を認識する物体認識方法、物体認識装置、自律移動ロボットに関し、特に、距離画像ベースの物体認識技術に利用することができる。

１０１ 点群生成部、
１０２ 距離画像生成部、
１０３ 注目点検出部、
１０４ 領域特徴抽出部、
１０５ 線特徴抽出部、
１０６ 物体モデル記憶部、
１０７ マッチング・検証処理部

Claims (21)

1. 予め作成した物体モデルを用いて、観測場面に含まれる対象物体を認識する物体認識方法であって、
   前記観測場面の距離画像を生成するステップと、
   前記距離画像から注目点を検出するステップと、
   前記注目点を含む領域の特徴量である第１の特徴量を抽出するステップと、
   前記第１の特徴量と、前記物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行うステップと、
   前記マッチング処理結果に基づいて、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列を計算するステップと、
   前記変換行列に基づいて、前記物体モデルに対して前記対象物体を認識するステップと、
   を有する物体認識方法。
2. レーザセンサを使用して、前記観測場面の３次元の点群を生成するステップを更に有し、
   前記生成した３次元の点群から前記距離画像を生成する
   ことを特徴とする請求項１に記載の物体認識方法。
3. レーザセンサを使用して、前記観測場面の３次元の点群を生成するステップと、
   前記観測場面の３次元の点群から、前記対象物体に含まれる線の特徴量である第３の特徴量を抽出するステップを更に有し、
   前記マッチング処理を行うステップは、
   前記第３の特徴量と、前記物体モデルの線の特徴量である第４の特徴量と、のマッチング処理を行い、
   前記変換行列を計算するステップは、
   前記マッチング処理結果に基づいて、前記観測場面の座標系に前記第３の特徴量を射影するための変換行列を計算する
   ことを特徴とする請求項１に記載の物体認識方法。
4. 前記変換行列の妥当性を検証するステップを更に有し、
   前記変換行列を計算するステップは、
   前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、
   前記変換行列の妥当性を検証するステップは、
   各前記変換行列に基づいて前記第２の特徴量を前記観測場面に射影して、当該射影した前記第２の特徴量と前記第１の特徴量との間の類似度に基づくスコアを計算し、当該計算したスコアに応じて、各前記変換行列の妥当性を検証する
   ことを特徴とする請求項１に記載の物体認識方法。
5. 前記変換行列の妥当性を検証するステップは、
   前記対象物体を含む局所領域ごとに前記複数の変換行列を分類し、前記局所領域ごとに、前記スコアに応じて１の変換行列を選択する
   ことを特徴とする請求項４に記載の物体認識方法。
6. 前記変換行列の妥当性を検証するステップは、
   前記局所領域ごとに選択した変換行列に基づいて前記第２の特徴量を配置した場合に、当該配置した第２の特徴量の物体モデルの間の衝突を検出し、当該検出した衝突状況に応じて、前記局所領域ごとに選択した変換行列の妥当性を検証する
   ことを特徴とする請求項５に記載の物体認識方法。
7. 前記変換行列の妥当性を検証するステップは、
   前記複数の変換行列のうち、前記スコアが所定の閾値を下回る変換行列を棄却する
   ことを特徴とする請求項４に記載の物体認識方法。
8. 前記変換行列の妥当性を検証するステップを更に有し、
   前記変換行列を計算するステップは、
   前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、
   前記変換行列の妥当性を検証するステップは、
   前記複数の変換行列のうち、束縛されている回転成分を有する変換行列を棄却する
   ことを特徴とする請求項１に記載の物体認識方法。
9. 前記変換行列の妥当性を検証するステップを更に有し、
   前記変換行列を計算するステップは、
   前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、
   前記変換行列の妥当性を検証するステップは、
   各前記変換行列に基づいて前記第２の特徴量を配置した場合に、当該配置した第２の特徴量から距離画像を生成し、当該生成した距離画像と、前記観測場面の距離画像から抽出した前記対象物体を含む部分の距離画像と、の類似度に応じて、各前記変換行列の妥当性を検証する
   ことを特徴とする請求項１に記載の物体認識方法。
10. 前記対象物体であると認識された物体モデルを、前記変換行列に基づいて前記観測場面の座標系に配置した状態で出力するステップを更に有する
    ことを特徴とする請求項１に記載の物体認識方法。
11. 予め作成した物体モデルを用いて、観測場面に含まれる対象物体を認識する物体認識装置であって、
    前記観測場面の距離画像を生成する距離画像生成手段と、
    前記距離画像から注目点を検出する注目点検出手段と、
    前記注目点を含む領域の特徴量である第１の特徴量を抽出する領域特徴抽出手段と、
    前記第１の特徴量と、前記物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行い、当該マッチング処理結果に基づいて、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列を計算して、当該変換行列に基づいて、前記物体モデルに対して前記対象物体を認識するマッチング・検証処理手段と、
    を備える物体認識装置。
12. レーザセンサを使用して、前記観測場面の３次元の点群を生成する点群生成手段を更に備え、
    前記距離画像生成手段は、
    前記点群生成手段により生成した３次元の点群から前記距離画像を生成する
    ことを特徴とする請求項１１に記載の物体認識装置。
13. レーザセンサを使用して、前記観測場面の３次元の点群を生成する点群生成手段と、
    前記観測場面の３次元の点群から、前記対象物体に含まれる線の特徴量である第３の特徴量を抽出する線特徴抽出手段と、を更に備え、
    前記マッチング・検証処理手段は、
    前記第３の特徴量と、前記物体モデルの線の特徴量である第４の特徴量と、のマッチング処理を行い、当該マッチング処理結果に基づいて、前記観測場面の座標系に前記第３の特徴量を射影するための変換行列を計算する
    ことを特徴とする請求項１１に記載の物体認識装置。
14. 前記マッチング・検証処理手段は、
    前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、当該計算した各変換行列に基づいて前記第２の特徴量を前記観測場面に射影して、当該射影した前記第２の特徴量と前記第１の特徴量との間の類似度に基づくスコアを計算し、当該計算したスコアに応じて、各前記変換行列の妥当性を検証する
    ことを特徴とする請求項１１に記載の物体認識装置。
15. 前記マッチング・検証処理手段は、
    前記対象物体を含む局所領域ごとに前記複数の変換行列を分類し、前記局所領域ごとに、前記スコアに応じて１の変換行列を選択する
    ことを特徴とする請求項１４に記載の物体認識装置。
16. 前記マッチング・検証処理手段は、
    前記局所領域ごとに選択した変換行列に基づいて前記第２の特徴量を配置した場合に、当該配置した第２の特徴量の物体モデルの間の衝突を検出し、当該検出した衝突状況に応じて、前記局所領域ごとに選択した変換行列の妥当性を検証する
    ことを特徴とする請求項１５に記載の物体認識装置。
17. 前記マッチング・検証処理手段は、
    前記複数の変換行列のうち、前記スコアが所定の閾値を下回る変換行列を棄却する
    ことを特徴とする請求項１４に記載の物体認識装置。
18. 前記マッチング・検証処理手段は、
    前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、当該計算した複数の変換行列のうち、束縛されている回転成分を有する変換行列を棄却する
    ことを特徴とする請求項１１に記載の物体認識装置。
19. 前記マッチング・検証処理手段は、
    前記マッチング処理により求めた前記第１の特徴量と前記第２の特徴量との対応から、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列であって、候補となる複数の変換行列を計算し、当該計算した各変換行列に基づいて前記第２の特徴量を配置した場合に、当該配置した第２の特徴量から距離画像を生成し、当該生成した距離画像と、前記観測場面の距離画像から抽出した前記対象物体を含む部分の距離画像と、の類似度に応じて、各前記変換行列の妥当性を検証する
    ことを特徴とする請求項１１に記載の物体認識装置。
20. 前記マッチング・検証処理手段は、
    前記対象物体であると認識された物体モデルを、前記変換行列に基づいて前記観測場面の座標系に配置した状態で出力する
    ことを特徴とする請求項１１に記載の物体認識装置。
21. 環境に存在する物体の認識結果を用いて地図情報を作成し、当該作成した地図情報を参照して自律的に移動する自律移動ロボットであって、
    観測場面の距離画像を生成する距離画像生成手段と、
    前記距離画像から注目点を検出する注目点検出手段と、
    前記注目点を含む領域の特徴量である第１の特徴量を抽出する領域特徴抽出手段と、
    前記第１の特徴量と、予め作成した物体モデルの距離画像の領域の特徴量である第２の特徴量と、のマッチング処理を行い、当該マッチング処理結果に基づいて、前記観測場面の座標系に前記第２の特徴量を射影するための変換行列を計算して、当該変換行列に基づいて、前記物体モデルに対して前記観測場面に含まれる対象物体を認識するマッチング・検証処理手段と、
    を備える自律移動ロボット。