JP2014056464A - 物体認識装置、物体認識方法及び物体認識プログラム - Google Patents

Abstract

【課題】物体認識の処理効率を向上させること。
【解決手段】物体認識装置は、対象物の距離点データを取得する距離点取得手段と、距離点データから対象物に含まれる平面を検出する平面検出手段と、距離点データから対象物に含まれるエッジ素を検出するエッジ素検出手段と、対象モデルに含まれる平面及びエッジ素と平面を所定角度ステップで回転させて生成した参照テンプレート画像群と対象モデルの基準座標に対する各平面の同次変換行列とを記憶する記憶手段と、対象モデルの中から検出された平面と略同一面積の平面を検出する類似面検出手段と、対象物の入力テンプレート画像を生成するテンプレート生成手段と、入力テンプレート画像の平面に対応する対象モデルの参照テンプレート画像の平面を検出し対応付けるマッチング手段と、対象モデル全体を対象物の座標系に再配置する再配置手段と、再配置された対象モデルを評価する評価手段と、を備える。
【選択図】図１

Description

本発明は、対象物とその対象モデルとのマッチングを行うことで物体認識を行う物体認識装置、物体認識方法及び物体認識プログラムに関するものである。

近年、家庭内のサービスロボットなどにおいて様々な対象物の認識が行われている。この場合、対象物とセンサとの相対位置関係は多様であり探索空間が膨大となることが想定され、より効率的に物体認識を行うことが要望される。

これに対し、例えば、対象物の距離データから対象物の平面部分とエッジを抽出し、抽出された複数の平面部分から任意の平面部分を選択してその方程式を算出し、算出した平面にエッジ部分を投影してエッジ画像を生成し、予めデータベースに記憶したモデルデータを順次回転させマッチングすることで対象物の位置姿勢を特定する物体検出装置が知られている（特許文献１参照）。

国際公開第２００９／０２８４８９号

しかしながら、上記特許文献１に係る物体検出装置においては、上記マッチングを行う際にモデルデータ全体を回転させる必要があるため、処理効率が低下する虞がある。

本発明は、このような問題点を解決するためになされたものであり、物体認識の処理効率を向上させた物体認識装置、物体認識方法及び物体認識プログラムを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、対象物の距離点データを取得する距離点取得手段と、前記距離点取得手段により取得された前記距離点データに基いて、前記対象物に含まれる平面を検出する平面検出手段と、前記距離点取得手段により取得された前記距離点データに基いて、前記対象物に含まれるエッジ素を検出するエッジ素検出手段と、対象モデルに含まれる平面及びエッジ素と、前記平面を所定角度ステップで回転させて生成した複数のテンプレート画像からなる参照テンプレート画像群と、対象モデルの基準座標に対する各平面の同次変換行列と、を記憶する記憶手段と、前記記憶手段に記憶された対象モデルに含まれる平面の中から、前記平面検出手段により検出された平面と略同一面積の平面を検出する類似面検出手段と、前記類似面検出手段により検出された平面と、前記エッジ素検出手段により検出されたエッジ素と、に基づいて、前記対象物の入力テンプレート画像を生成するテンプレート生成手段と、前記記憶手段に記憶された対象モデルの参照テンプレート画像群と、前記テンプレート生成手段により生成された前記対象物の入力テンプレート画像と、を比較して、該入力テンプレート画像の平面に対応する前記対象モデルの参照テンプレート画像の平面を検出し対応付けるマッチング手段と、前記記憶手段に記憶された各平面の同次変換行列を用いて、前記マッチング手段により検出された参照テンプレート画像の平面と、対応するテンプレート画像の平面と、の間の同次変換行列を算出し、該算出した同次変換行列に基いて前記対象モデル全体を対象物の座標系に再配置する再配置手段と、前記再配置手段により再配置された対象モデルを評価する評価手段と、を備えることを特徴とする物体認識装置である。
この一態様において、前記類似面検出手段により検出された平面に属する距離点群に対して主成分分析を行い、分散が最大となる方向の第１主成分ベクトルと、分散が２番目に大きくなる方向の第２主成分ベクトルと、を含む平面に近似する平面近似手段を更に備えていてもよい。
この一態様において、前記類似面検出手段により検出された平面と、該平面との距離が所定閾値以下となる前記エッジ素検出手段により検出されたエッジ素と、を対応付けるエッジ素対応付手段を更に備えていてもよい。
この一態様において、前記エッジ素対応付手段により各平面に対応付けされた各エッジ素を、前記平面近似手段により近似された平面へ正射影し、該正射影した平面上に各エッジ素を配置する正射影処理手段を更に備えていてもよい。
この一態様において、前記テンプレート生成手段は、前記正射影処理手段により各エッジ素が配置された各平面に対する前記テンプレート画像を２値化画像として生成してもよい。
この一態様において、前記テンプレート生成手段により生成されたテンプレート画像を、前記平面近似手段により近似された平面の法線周りに所定角度ステップで回転させた、複数の前記テンプレート画像からなる前記参照テンプレート画像群を生成する参照テンプレート群生成手段を更に備えていてもよい。
この一態様において、前記評価手段は、前記再配置手段により再配置された対象モデル全体の平面及びエッジ素と、前記平面検出手段により検出された平面及びエッジ素検出手段により検出されたエッジ素と、をマッチングして評価値を算出し、算出した評価値を所定閾値以上であるか否かを判定してもよい。
この一態様において、前記記憶手段は、前記平面検出手段により検出された前記対象モデルの平面と、前記エッジ素検出手段により検出された対象モデルのエッジ素と、前記参照テンプレート群生成手段により生成された対象モデルの参照テンプレート画像群と、対象モデルの基準座標に対する各平面の同次変換行列と、を記憶してもよい。
この一態様において、前記平面検出手段は、前記距離点取得手段により取得された前記距離点データにおいて、法線の類似度を評価することで同一面に属する距離点群を平面として検出してもよい。
この一態様において、前記エッジ素検出手段は、前記距離点取得手段により取得された前記距離点データにおいて、エッジ検出フィルタを用いてエッジと判定したピクセルに対応する距離点群をエッジ素として検出してもよい。
他方、上記目的を達成するための本発明の一態様は、対象物の距離点データを取得するステップと、前記取得された前記距離点データに基いて、前記対象物に含まれる平面を検出するステップと、前記取得された前記距離点データに基いて、前記対象物に含まれるエッジ素を検出するステップと、対象モデルに含まれる平面及びエッジ素と、前記平面を所定角度ステップで回転させて生成した複数のテンプレート画像からなる参照テンプレート画像群と、対象モデルの基準座標に対する各平面の同次変換行列と、を記憶するステップと、前記記憶された対象モデルに含まれる平面の中から、前記検出された平面と略同一面積の平面を検出するステップと、前記検出された略同一面積の平面と、前記検出されたエッジ素と、に基づいて、前記対象物の入力テンプレート画像を生成するステップと、前記記憶された対象モデルの参照テンプレート画像群と、前記生成された対象物の入力テンプレート画像と、を比較して、該入力テンプレート画像の平面に対応する前記対象モデルの参照テンプレート画像の平面を検出し対応付けるステップと、前記記憶手段に記憶された同次変換行列を用いて、前記検出された参照テンプレート画像の平面と、対応するテンプレート画像の平面と、の間の同次変換行列を算出し、該算出した同次変換行列に基いて前記対象モデル全体を対象物の座標系に再配置するステップと、前記再配置された対象モデルを評価するステップと、を含むことを特徴とする物体認識方法であってもよい。
この一態様において、対象物モデルの距離点データを取得するステップと、前記取得された前記距離点データに基いて、前記対象物モデルに含まれる平面を検出するステップと、前記取得された前記距離点データに基いて、前記対象物モデルに含まれるエッジ素を検出するステップと、前記検出された対象モデルの平面と、前記エッジ素検出手段により検出された対象モデルのエッジ素と、を対応付けるステップと、前記検出された対象モデルの各平面に属する距離点群に対して平面近似を行うステップと、前記各平面に対応付けされた各エッジ素を、前記近似された平面へ正射影し近似平面上に各エッジ素を配置するステップと、前記各エッジ素が配置された各平面に基いて、テンプレート画像を夫々生成するステップと、前記生成された各テンプレート画像を、前記近似された平面の法線周りに所定角度ステップで回転させた、複数のテンプレート画像からなる参照テンプレート画像群を生成するステップと、前記検出された各平面における基準座標系を夫々設定し、前記対象モデルにおけるモデル基準座標から見た各平面の同次変換行列を算出するステップと、前記検出された対象モデルに含まれる平面及びエッジ素と、前記生成した参照テンプレート画像群と、前記算出した同次変換行列と、を記憶するステップと、を更に含んでいてもよい。
また、上記目的を達成するための本発明の一態様は、取得された対象物の距離点データに基いて、前記対象物に含まれる平面を検出する処理と、前記取得された対象物の距離点データに基いて、前記対象物に含まれるエッジ素を検出する処理と、対象モデルに含まれる平面の中から、前記検出された平面と略同一面積の平面を検出する処理と、前記検出された略同一面積の平面と、前記検出されたエッジ素と、に基づいて、前記対象物の入力テンプレート画像を生成する処理と、対象モデルに含まれる平面を所定角度ステップで回転させて生成した複数のテンプレート画像からなる参照テンプレート画像群と、前記生成された対象物の入力テンプレート画像と、を比較して、該入力テンプレート画像の平面に対応する前記対象モデルの参照テンプレート画像の平面を検出し対応付ける処理と、前記検出された参照テンプレート画像の平面と、対応するテンプレート画像の平面と、の間の同次変換行列を算出し、該算出した同次変換行列を用いて前記対象モデル全体を対象物の座標系に再配置する処理と、前記再配置された対象モデルを評価する処理と、をコンピュータに実行させること特徴とする物体認識プログラムであってもよい。

本発明によれば、物体認識の処理効率を向上させた物体認識装置、物体認識方法及び物体認識プログラムを提供することができる。

本発明の一実施の形態に係る物体認識装置の概略的なシステム構成を示すブロック図である。 本発明の一実施の形態に係る物体認識装置による物体認識方法において対象モデルを認識するフローを示すフローチャートである。 エッジ素検出部により検出されるエッジ素の一例を示す図である。 テンプレート画像生成部により生成される入力テンプレート画像の一例を示す図である。 参照テンプレート群生成部により生成される参照テンプレート画像群の一例を示す図である。 同次変換行列算出部により設定されるモデル基準座標系の一例を示す図である。 本発明の一実施の形態に係る物体認識方法における対象物の認識方法のフローを示すフローチャートである。 ガウシアンフィルタ画像と入力テンプレート画像とラスタ走査の座標値との関係の一例を示す図である。 参照テンプレート画像の座標系から見た入力テンプレート画像の回転ずれ、および位置ずれを示す図である。 設定される座標系の一例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。
本発明の一実施の形態に係る物体認識装置は、例えば、特徴的な絵柄模様や特徴的な形状も無く無地で単純な直方体形状（冷蔵庫、タンス、棚など）物体でも高精度に認識することができるものである。

図１は、本発明の一実施の形態に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施の形態に係る物体認識装置１は、対象物及び対象モデルの距離点データを取得する距離画像センサ２と、対象物及び対象モデルを構成する平面を検出する平面検出部３と、対象物及び対象モデルを構成するエッジ素を検出するエッジ素検出部４と、エッジ素と平面とを対応付けるエッジ素対応付部５と、平面を近似する平面近似部６と、エッジ素を平面に正射影し配置する正射影処理部７と、対象物の入力テンプレート画像を生成するテンプレート画像生成部８と、参照テンプレート画像群を生成する参照テンプレート群生成部９と、平面の同次変換行列を算出する同次変換行列算出部１０と、対象モデルの情報を記憶するモデル記憶部１１と、対象モデルの平面と類似する平面を検出する類似面検出部１２と、入力テンプレート画像と参照テンプレート画像群とのマッチングを行うテンプレートマッチング部１３と、対象モデルの各平面及びエッジ素を再配置するモデル再配置部１４と、マッチングの評価値を算出する面エッジ素マッチング部１５と、マッチングの評価値を評価するマッチング評価部１６と、を備えている。

物体認識装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。

ところで、従来の物体認識装置において、対象物のエッジ画像と対象モデルのテンプレート画像とのマッチングを行う場合、対象モデルのテンプレート画像全体を回転および位置移動させてマッチングを行っている。

これに対し、本実施の形態に係る物体認識装置１においては、対象モデルを複数の平面（平面は低曲率面を含む）及びエッジ素の集合として表現し、対象モデルにおける各平面の同次変換行列（位置関係）を予め算出し記憶する。そして、対象モデルの各平面と対象物の各平面とマッチングして類似する平面を検出し、算出した同次変換行列に基いて対象モデル内の平面及びエッジ素を再配置する。最後に再配置した対象モデル全体と対象物全体とをマッチングし評価を行う。これにより、物体認識の処理効率を向上させることができる。

物体認識装置１は、最初に、認識する対象物の対象モデルを予め認識し、その認識した対象モデルの情報をモデル記憶部１１に予め記憶させる。そして、物体認識装置１は、モデル記憶部１１に記憶された対象モデルの情報を用いて、実際の対象物を認識する。

図２は、本実施の形態に係る物体認識装置による物体認識方法において対象モデルを認識するフローを示すフローチャートである。

距離画像センサ２は、距離点取得手段の一具体例であり、対象モデルとなる家具などの対象物を計測し、対象モデルの参照データ（距離点群）を取得する（ステップＳ１０１）。距離画像センサ２としては、例えば、カメラなどを用いて１ピクセルのＲＧＢ（カラー）及び距離値が検出できる、Ｋｉｎｅｃｔ（登録商標）などの距離センサが用いられているが、これに限らず、任意の距離センサを用いることが可能である。

平面検出部３は、平面検出手段の一具体例であり、距離画像センサ２により取得された参照データにおいて、同一平面に属する距離点群（３次元距離情報の集合）をラベリング（グルーピング）して対象モデルに含まれる平面を検出する（ステップＳ１０２）。

平面検出部３は、距離画像センサ２により取得された距離点群の中から、例えば、Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ手法に基いた（１）式を用いて法線の類似度を評価することで、同一面に属する距離点群に同一ラベルを付与する。ここで、Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ手法とは、例えば、ある点を始点とし、ある点と近傍点との関係が閾値以上の類似性を有する場合、それらの近傍点に対して、ある点と同一ラベルを付与して領域を拡張していく手法である。
なお、上記（１）式において、ｎ_１はある点の法線ベクトルであり、ｎ_２は近傍点の法線ベクトルであり、Ｃ_Thresholdは類似度の閾値である。

エッジ素検出部４は、エッジ素検出手段の一具体例であり、距離画像センサ２により取得された参照データにおいて、エッジ素を検出し、各エッジ素の３次元中心位置ｘと３次元方向ベクトルｎとを夫々算出する（図３）（ステップＳ１０３）。

エッジ素検出部４は、距離画像センサ２により取得された参照データにおいて、例えば、Ｓｏｂｅｌフィルタ（空間１次微分を計算し輪郭を検出するフィルタ）などのエッジ検出フィルタを用いて、エッジ素を検出する。エッジ素検出部４は、エッジ検出フィルタによりエッジと判定したピクセルに対応する距離点群を、エッジ点群として検出する。

エッジ素検出部４は、例えば、エッジ点群を含む空間をボクセルで区切り、ボクセルで区切られたエッジ点群の平均をそのエッジ素の３次元中心位置ｘとして算出する。また、エッジ素検出部４は、ボクセルで区切られたエッジ点群に対して主成分分析を行い、第１主成分（分散が最大となる方向）を、そのエッジ素の３次元方向ベクトルｎとして算出する。

エッジ素対応付部５は、エッジ素対応付手段の一具体例であり、平面検出部３により検出された平面と、その平面の内部もしくは周囲にありエッジ素検出部４により検出されたエッジ素と、を対応付ける（ステップＳ１０４）。エッジ素対応付部５は、例えば、ある平面に属する距離点群とあるエッジ素の３次元中心位置ｘとの距離が所定閾値以下の場合、その平面とエッジ素とを対応付ける。

平面近似部６は、平面近似手段の一具体例であり、平面検出部３により検出された各平面に属する距離点群に対して平面近似を行い、その近似した平面の平面方程式（ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０）を導出する（ステップＳ１０５）。

平面近似部６は、例えば、平面検出部３により検出された各平面に属する距離点群に対して主成分分析を行い、第１主成分ベクトル（距離点群の分散が最大となる方向のベクトル）と第２主成分ベクトル（距離点群の分散が２番目に大きい方向のベクトル）とを含む平面に近似する。

正射影処理部７は、正射影処理手段の一具体例であり、エッジ素対応付部５により各平面に対応付けされた各エッジ素を、平面近似部６により近似された平面へ正射影し、正射影した近似平面上に各エッジ素を配置する（ステップＳ１０６）。

テンプレート画像生成部８は、テンプレート生成手段の一具体例であり、正射影処理部７により各エッジ素が配置された各平面からテンプレート画像を夫々生成する（ステップＳ１０７）。テンプレート画像生成部８は、例えば、図４に示すように、椅子の背凭れ部の平面におけるエッジ素の部分を「１」とし、その他の部分を「０」とした２値化画像をテンプレート画像として生成する。

参照テンプレート群生成部９は、参照テンプレート群生成手段の一具体例であり、テンプレート画像生成部８により生成された各テンプレート画像を、平面近似部６により近似された平面の法線周りに所定角度ステップで回転させた、複数のテンプレート画像からなる参照テンプレート画像群を生成する（ステップＳ１０８）。参照テンプレート群生成部９は、例えば、図４に示すようなテンプレート画像を、その平面の法線軸周りに回転変換し、図５に示すような複数の参照テンプレート画像群を生成する。

同次変換行列算出部１０は、平面検出部３により検出された各平面におけるモデル基準座標系を夫々設定する。そして、同次変換行列算出部１０は、対象モデルにおけるモデル基準座標（対象モデルの原点）から見た各平面の相対的位置関係を示す同次変換行列を算出する（ステップＳ１０９）。ここで、例えば、各平面に属する距離点群の平均を各平面のモデル基準座標系の原点位置とする。また、各平面のモデル基準座標系の姿勢として、例えば、各平面の近似平面の法線方向がモデル基準座標系のＺ軸方向と一致し、Ｘ軸及びＹ軸が成す平面が近似平面と一致している。

例えば、同次変換行列算出部１０は、図６に示すように、対象モデルの椅子に対して、平面検出部３により検出された各平面（座面、背凭れ面）において、モデル基準座標系Ｃ_ｍｓ１、Ｃ_ｍｓ２を夫々設定し、モデル基準座標Ｃ_ｍｏに対する各平面の同次変換行列を算出する。

モデル記憶部１１は、記憶手段の一具体例であり、平面検出部３により検出された各平面と、エッジ素検出部４により検出された各エッジ素と、同次変換行列算出部１０により算出された各平面の同次変換行列と、参照テンプレート群生成部９により生成された各平面の参照テンプレート画像群と、を対応付けて対象モデル毎に記憶する（ステップＳ１１０）。モデル記憶部１１は、例えば、磁気ディスク装置、光ディスク装置、ＲＡＭなどで構成されている。

次に、物体認識装置１は、上述のようにしてモデル記憶部１１に予め記憶した対象モデルの各平面、各エッジ素、各平面の同次変換行列、各平面の参照テンプレート画像群、を用いて実際の対象物の認識を行う。図７は、本実施の形態に係る物体認識方法における対象物の認識方法のフローを示すフローチャートである。

距離画像センサ２は、周辺環境を計測し、対象物の入力データ（距離点群）を取得する（ステップＳ２０１）。

平面検出部３は、Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ手法などを用いて、距離画像センサ２により取得された対象物の入力データにおいて、同一平面に属する距離点群をラベリングして対象物に含まれる平面を検出する（ステップＳ２０２）。

エッジ素検出部４は、距離画像センサ２により取得された対象物の入力データにおいて、エッジ検出フィルタを用いてエッジと判定したピクセルに対応する距離点群をエッジ素として検出する（ステップＳ２０３）。

類似面検出部１２は、類似面検出手段の一具体例であり、モデル記憶部１１に記憶された対象モデルに含まれる各平面と略同一面積の平面のみを、平面検出部３により検出された複数の平面の中から検出する（ステップＳ２０４）。このように類似する平面のみを検出することで、探索空間を低減でき処理速度を向上させることができる。類似面検出部１２は、例えば、距離点群を含むバウンティングボックス（bounding box）と略同一面積の平面を類似平面として検出してもよい。

エッジ素対応付部５は、類似面検出部１２により検出された平面と、その平面の内部もしくは周囲にありエッジ素検出部４により検出されたエッジ素と、を対応付ける（ステップＳ２０５）。

平面近似部６は、類似面検出部１２により検出された各平面に属する距離点群に対して主成分分析を行い、その各平面を第１主成分ベクトルと第２主成分ベクトルとを含む平面に近似する（ステップＳ２０６）。

正射影処理部７は、エッジ素対応付部５により各平面に対応付けされた各エッジ素を、平面近似部６により近似された各平面へ正射影し、その正射影した各平面に各エッジ素を配置する（ステップＳ２０７）。

テンプレート画像生成部８は、正射影処理部７により各エッジ素が配置された各平面を含む入力テンプレート画像を夫々生成する（ステップＳ２０８）。

テンプレートマッチング部１３は、マッチング手段の一具体例であり、モデル記憶部１１に記憶された対象モデルの参照テンプレート画像群と、テンプレート画像生成部８により生成された入力テンプレート画像と、をマッチングして、対象物の入力テンプレート画像の平面に対応する対象モデルの参照テンプレート画像の平面を検出し対応付ける（ステップＳ２０９）。

テンプレートマッチング部１３は、例えば、ガウシアンフィルタを含む下記（２）式に基いて、入力テンプレート画像に類似する参照テンプレート画像を検出する。なお、下記（２）式において、入力テンプレート画像をＴ_ｉとし、参照テンプレート画像群のうちｋ番目の参照プレート画像にガウシアンフィルタを適用した画像を_ｋＧ_ｒｅｆとし、各画像の幅をＭとし、各画像の高さをＮとし、画素値をｕ＝（ｕ、ｖ）とし、ラスタ走査の探索座標をｕ_０＝（ｕ_０、ｖ_０）とする。

テンプレートマッチング部１３は、上記（２）式において、評価値Ｅを最大化するｋ（何番目の参照テンプレート画像）と、ラスタ走査の探索座標ｕ_０と、を下記（３）式に基いて算出する。

例えば、ｋ番目のガウシアンフィルタ画像ｋＧｒｅｆと、入力テンプレート画像Ｔ_ｉと、ラスタ走査の座標値ｕ_０と、の関係は、図８に示すようになっている。テンプレートマッチング部１３は、評価値Ｅを最大化するｋ番目の参照テンプレート画像を、入力テンプレート画像に対応する参照テンプレート画像として検出する。

モデル再配置部１４は、再配置手段の一具体例であり、テンプレートマッチング部１３により検出された参照テンプレート画像の平面と対応する入力テンプレート画像の平面との間の同次変換行列を算出する。そして、モデル再配置部１４は、算出した同次変換行列を用いて、全平面及びエッジ素を含む対象モデル全体を入力データの基準座標系（以下、入力データ座標系と称す）に再配置する（ステップＳ２１０）。

モデル再配置部１４は、例えば、参照テンプレート画像の座標系から見た入力テンプレート画像の回転ずれθと、位置ずれｕ_ｄｉｆｆと、を算出する（図９）。また、モデル再配置部１４は、算出した入力テンプレート画像の位置ずれｕ_ｄｉｆｆに対応するピクセル数で距離値を算出し、算出した距離値に基いて３次元空間の位置ずれｐ_ｄｉｆｆを算出する。

ここで、各テンプレート画像を所定角度ステップで回転させて参照テンプレート画像群を生成しているため、モデル再配置部１４は、入力テンプレート画像の回転ずれθを上記所定角度（刻み角度）に基いて離散的に算出することができる。なお、所定角度の離散化を無視できる位に細かくする方法も考えられるが、その分、参照テンプレート画像が多くなりマッチングに時間が掛かる。そこで、上記算出した入力データ座標系から見た対象モデルの同次変換行列を初期値として用い、例えば、ＩＣＰ（Iterative Closest Point）法で詳細に位置合せを行う方法も考えられる。ＩＣＰ法で詳細に位置合せを行うことで、参照テンプレート画像を生成するときの刻み角度を粗くすることができる。

モデル再配置部１４は、モデル記憶部１１に記憶された同次変換行列に上記算出した回転ずれθと位置ずれｐ_ｄｉｆｆとを適用する。これにより、モデル再配置部１４は、下記（４）式に示すように、入力データ座標系（ワールド座標系）から見た対象モデルのモデル基準座標系の同次変換行列（_ｍｏ ^ｗＲ、_ｍｏ ^ｗｔ）を算出できる。

なお、上記（４）式におけるｍｏ、ｍｓ、ｗ、ｉｓの座標系Ｃ_ｍｏ、Ｃ_ｍｓ、Ｃ_ｗ、Ｃ_ｉｓは、例えば図１０に示すように設定される。モデル再配置部１４は、モデル基準座標系の同次変換行列（_ｍｏ ^ｗＲ、_ｍｏ ^ｗｔ）を対象モデルに含まれる平面のモデル基準座標系と、エッジ素のモデル基準座標系とに適用することで、対象モデル全体を入力データ座標系に再配置することができる。

面エッジ素マッチング部１５は、評価手段の一具体例であり、モデル再配置部１４により再配置された対象モデル全体の平面及びエッジ素と、入力データの平面及びエッジ素とをマッチングして評価値を算出する（ステップＳ２１１）。面エッジ素マッチング部１５は、例えば、下記（５）式を用いて、モデル再配置部１４により再配置された対象モデル全体の平面及びエッジ素と、入力データの平面及びエッジ素とのマッチング評価値Ｃを算出する。
Ｃ＝αＣ_{ｓｕｒｆａｃｅ}＋βＣ_{ｅｄｇｅｌ} （５）式

なお、上記（５）式において、Ｃ_{ｓｕｒｆａｃｅ}は平面のマッチング評価値であり、Ｃ_{ｅｄｇｅｌ}はエッジ素のマッチング評価値であり、α及びβは重み係数である。一般に、エッジ素の数は平面の数よりも多くなる為、平面のマッチング評価値Ｃ_{ｓｕｒｆａｃｅ}の重み係数αをエッジ素のマッチング評価値Ｃ_{ｅｄｇｅｌ}の重み係数βよりも大きく設定している。

上記（５）式におけるは平面のマッチング評価値Ｃ_{ｓｕｒｆａｃｅ}およびエッジ素のマッチング評価値Ｃ_{ｅｄｇｅｌ}を、下記（６）式を用いて算出することができる。

なお、上記（６）式において、平面のマッチング評価値Ｃ_{ｓｕｒｆａｃｅ}を算出する場合は、ｎを平面の法線、ｘを対象モデルの平面の中心座標、ｘ_{ｉｎｐｕｔ}を入力データ（対象物）の平面の中心座標、Ｘ_{ｉｎｐｕｔ}を入力データの平面の集合、ｎを対象モデルの平面の法線、ｎ_{ｉｎｐｕｔ}を入力データのｄを最小にするｘ_{ｉｎｐｕｔ}に対応する平面の法線とする。

一方、上記（６）式において、エッジ素のマッチング評価値Ｃ_{ｅｄｇｅｌ}を算出する場合は、ｎをエッジ素検出部４により算出されたエッジ素の３次元方向ベクトル、ｘをエッジ素検出部４により算出された対象モデルのエッジ素の中心座標、ｘ_{ｉｎｐｕｔ}を入力データ（対象物）のエッジ素の中心座標、Ｘ_{ｉｎｐｕｔ}を入力データのエッジ素の集合、ｎを対象モデルのエッジ素の方向、ｎ_{ｉｎｐｕｔ}を入力データのｄを最小にするｘ_{ｉｎｐｕｔ}に対応するエッジ素の方向、とする。

マッチング評価部１６は、評価手段の一具体例であり、面エッジ素マッチング部により算出されたマッチング評価値と所定閾値とを比較する。そして、マッチング評価部１６は、算出されたマッチング評価値が所定閾値以上の場合、対象物に対する対象モデルを発見したと判定する。

以上、本実施の形態に係る物体認識装置１において、最初に入力データの平面及びエッジ素と対象モデルの平面及びエッジ素とのマッチングを行う。そして、そのマッチング結果を用いて入力データ全体と対象モデル全体とのマッチングを行う。これにより、例えば、従来、平面の外枠の強いエッジに起因した誤ったマッチングを防止することができる。したがって、物体の認識精度を向上し物体認識の処理効率を向上させることができる。

また、従来、ヒンジ部の開閉を認識するためにドアの開き角度に応じて複数のモデルテンプレートが必要となっていた。これに対し、本実施の形態に係る物体認識装置１によれば、ヒンジ部の拘束情報を対象モデルに含めることができ、モデル再配置の時に、例えばヒンジ角度（ドア開閉角度）を変化させてマッチングさせるなど、可動部の情報を有効に用いてマッチングを行うことも可能となる。したがって、探索空間を低減でき処理速度を向上させることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

また、本発明は、例えば、図２及び図７に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 物体認識装置
２ 距離画像センサ
３ 平面検出部
４ エッジ素検出部
５ エッジ素対応付部
６ 平面近似部
７ 正射影処理部
８ テンプレート画像生成部
９ 参照テンプレート群生成部
１０ 同次変換行列算出部
１１ モデル記憶部
１２ 類似面検出部
１３ テンプレートマッチング部
１４ モデル再配置部
１５ 面エッジ素マッチング部
１６ マッチング評価部

Claims (13)

1. 対象物の距離点データを取得する距離点取得手段と、
   前記距離点取得手段により取得された前記距離点データに基いて、前記対象物に含まれる平面を検出する平面検出手段と、
   前記距離点取得手段により取得された前記距離点データに基いて、前記対象物に含まれるエッジ素を検出するエッジ素検出手段と、
   対象モデルに含まれる平面及びエッジ素と、前記平面を所定角度ステップで回転させて生成した複数のテンプレート画像からなる参照テンプレート画像群と、対象モデルの基準座標に対する各平面の同次変換行列と、を記憶する記憶手段と、
   前記記憶手段に記憶された対象モデルに含まれる平面の中から、前記平面検出手段により検出された平面と略同一面積の平面を検出する類似面検出手段と、
   前記類似面検出手段により検出された平面と、前記エッジ素検出手段により検出されたエッジ素と、に基づいて、前記対象物の入力テンプレート画像を生成するテンプレート生成手段と、
   前記記憶手段に記憶された対象モデルの参照テンプレート画像群と、前記テンプレート生成手段により生成された前記対象物の入力テンプレート画像と、を比較して、該入力テンプレート画像の平面に対応する前記対象モデルの参照テンプレート画像の平面を検出し対応付けるマッチング手段と、
   前記記憶手段に記憶された各平面の同次変換行列を用いて、前記マッチング手段により検出された参照テンプレート画像の平面と、対応するテンプレート画像の平面と、の間の同次変換行列を算出し、該算出した同次変換行列に基いて前記対象モデル全体を対象物の座標系に再配置する再配置手段と、
   前記再配置手段により再配置された対象モデルを評価する評価手段と、
   を備えることを特徴とする物体認識装置。
2. 請求項１記載の物体認識装置であって、
   前記類似面検出手段により検出された平面に属する距離点群に対して主成分分析を行い、分散が最大となる方向の第１主成分ベクトルと、分散が２番目に大きくなる方向の第２主成分ベクトルと、を含む平面に近似する平面近似手段を更に備えることを特徴とする物体認識装置。
3. 請求項２記載の物体認識装置であって、
   前記類似面検出手段により検出された平面と、該平面との距離が所定閾値以下となる前記エッジ素検出手段により検出されたエッジ素と、を対応付けるエッジ素対応付手段を更に備えることを特徴とする物体認識装置。
4. 請求項３記載の物体認識装置であって、
   前記エッジ素対応付手段により各平面に対応付けされた各エッジ素を、前記平面近似手段により近似された平面へ正射影し、該正射影した平面上に各エッジ素を配置する正射影処理手段を更に備えることを特徴とする物体認識装置。
5. 請求項４記載の物体認識装置であって、
   前記テンプレート生成手段は、前記正射影処理手段により各エッジ素が配置された各平面に対する前記テンプレート画像を２値化画像として生成することを特徴する物体認識装置。
6. 請求項２乃至５のうちいずれか１項記載の物体認識装置であって、
   前記テンプレート生成手段により生成されたテンプレート画像を、前記平面近似手段により近似された平面の法線周りに所定角度ステップで回転させた、複数の前記テンプレート画像からなる前記参照テンプレート画像群を生成する参照テンプレート群生成手段を更に備えることを特徴とする物体認識装置。
7. 請求項１乃至６のうちいずれか１項記載の物体認識装置であって、
   前記評価手段は、前記再配置手段により再配置された対象モデル全体の平面及びエッジ素と、前記平面検出手段により検出された平面及びエッジ素検出手段により検出されたエッジ素と、をマッチングして評価値を算出し、算出した評価値を所定閾値以上であるか否かを判定することを特徴とする物体認識装置。
8. 請求項１乃至７のうちいずれか１項記載の物体認識装置であって、
   前記記憶手段は、前記平面検出手段により検出された前記対象モデルの平面と、前記エッジ素検出手段により検出された対象モデルのエッジ素と、前記参照テンプレート群生成手段により生成された対象モデルの参照テンプレート画像群と、対象モデルの基準座標に対する各平面の同次変換行列と、を記憶することを特徴とする物体認識装置。
9. 請求項１乃至８のうちいずれか１項記載の物体認識装置であって、
   前記平面検出手段は、前記距離点取得手段により取得された前記距離点データにおいて、法線の類似度を評価することで同一面に属する距離点群を平面として検出することを特徴とする物体認識装置。
10. 請求項１乃至９のうちいずれか１項記載の物体認識装置であって、
    前記エッジ素検出手段は、前記距離点取得手段により取得された前記距離点データにおいて、エッジ検出フィルタを用いてエッジと判定したピクセルに対応する距離点群をエッジ素として検出することを特徴とする物体認識装置。
11. 対象物の距離点データを取得するステップと、
    前記取得された前記距離点データに基いて、前記対象物に含まれる平面を検出するステップと、
    前記取得された前記距離点データに基いて、前記対象物に含まれるエッジ素を検出するステップと、
    対象モデルに含まれる平面及びエッジ素と、前記平面を所定角度ステップで回転させて生成した複数のテンプレート画像からなる参照テンプレート画像群と、対象モデルの基準座標に対する各平面の同次変換行列と、を記憶するステップと、
    前記記憶された対象モデルに含まれる平面の中から、前記検出された平面と略同一面積の平面を検出するステップと、
    前記検出された略同一面積の平面と、前記検出されたエッジ素と、に基づいて、前記対象物の入力テンプレート画像を生成するステップと、
    前記記憶された対象モデルの参照テンプレート画像群と、前記生成された対象物の入力テンプレート画像と、を比較して、該入力テンプレート画像の平面に対応する前記対象モデルの参照テンプレート画像の平面を検出し対応付けるステップと、
    前記記憶手段に記憶された同次変換行列を用いて、前記検出された参照テンプレート画像の平面と、対応するテンプレート画像の平面と、の間の同次変換行列を算出し、該算出した同次変換行列に基いて前記対象モデル全体を対象物の座標系に再配置するステップと、
    前記再配置された対象モデルを評価するステップと、
    を含むことを特徴とする物体認識方法。
12. 請求項１１記載の物体認識方法であって、
    対象物モデルの距離点データを取得するステップと、
    前記取得された前記距離点データに基いて、前記対象物モデルに含まれる平面を検出するステップと、
    前記取得された前記距離点データに基いて、前記対象物モデルに含まれるエッジ素を検出するステップと、
    前記検出された対象モデルの平面と、前記エッジ素検出手段により検出された対象モデルのエッジ素と、を対応付けるステップと、
    前記検出された対象モデルの各平面に属する距離点群に対して平面近似を行うステップと、
    前記各平面に対応付けされた各エッジ素を、前記近似された平面へ正射影し近似平面上に各エッジ素を配置するステップと、
    前記各エッジ素が配置された各平面に基いて、テンプレート画像を夫々生成するステップと、
    前記生成された各テンプレート画像を、前記近似された平面の法線周りに所定角度ステップで回転させた、複数のテンプレート画像からなる参照テンプレート画像群を生成するステップと、
    前記検出された各平面における基準座標系を夫々設定し、前記対象モデルにおけるモデル基準座標から見た各平面の同次変換行列を算出するステップと、
    前記検出された対象モデルに含まれる平面及びエッジ素と、前記生成した参照テンプレート画像群と、前記算出した同次変換行列と、を記憶するステップと、
    を更に含むことを特徴とする物体認識方法。
13. 取得された対象物の距離点データに基いて、前記対象物に含まれる平面を検出する処理と、
    前記取得された対象物の距離点データに基いて、前記対象物に含まれるエッジ素を検出する処理と、
    対象モデルに含まれる平面の中から、前記検出された平面と略同一面積の平面を検出する処理と、
    前記検出された略同一面積の平面と、前記検出されたエッジ素と、に基づいて、前記対象物の入力テンプレート画像を生成する処理と、
    対象モデルに含まれる平面を所定角度ステップで回転させて生成した複数のテンプレート画像からなる参照テンプレート画像群と、前記生成された対象物の入力テンプレート画像と、を比較して、該入力テンプレート画像の平面に対応する前記対象モデルの参照テンプレート画像の平面を検出し対応付ける処理と、
    前記検出された参照テンプレート画像の平面と、対応するテンプレート画像の平面と、の間の同次変換行列を算出し、該算出した同次変換行列を用いて前記対象モデル全体を対象物の座標系に再配置する処理と、
    前記再配置された対象モデルを評価する処理と、
    をコンピュータに実行させること特徴とする物体認識プログラム。