JP2017091202A - 物体認識方法及び物体認識装置 - Google Patents

Abstract

【課題】従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図る。
【解決手段】物体モデル５１ｂのエッジ５２ｂの角度の相対関係及び当該エッジ５２ｂの位置の相対関係を示す情報を記録し、画像を取得し、画像からエッジ５２を抽出し、抽出されたエッジ５２の角度を検出し、検出された角度の中から、記録された角度の相対関係との一致率が閾値以上である角度を検索して当該角度に対応する物体モデルを抽出し、検索された角度に対応するエッジ５２の位置を検出し、検出された位置の中から、記録された位置の相対関係との一致率が閾値以上である位置を検索して当該位置に対応する物体モデルを抽出し、抽出された物体モデルの中から、検索された角度及び位置と記録された角度及び位置の相対関係との一致率が総合的に高いものを物体５１として認識する。
【選択図】図１

Description

この発明は、画像から抽出したエッジ（ライン）を鍵として物体の認識を行う物体認識方法及び物体認識装置に関するものである。

生産工程を効率化する手段として、バラ積み状態で置かれた物体（部品等）を自動で認識してロボットに把持させるビンピッキング技術が注目されており、近年、様々な方法が提案されている（例えば特許文献１−３参照）。このようなビンピッキング技術において、従来の物体認識では、モデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等を用いている。

特開２０１５−４４２７４号公報 特開２０１２−２４５６０２号公報 特開２０１４−２８４１５号公報

しかしながら、従来のモデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等による物体認識では、画像平面内での回転及び移動も考慮して物体の位置及び姿勢を特定する必要がある。そのため、解空間が広く、膨大な回数の試行及び投票を繰り返す必要があり、現状では時間短縮が難しい上に認識率も高くない。

また、局所濃淡画像と距離画像を併用した高速化手法も提案されているが、濃淡特徴が強く現れている物体にしか対応できず、更に、画像平面内における回転も含めて物体の姿勢を変更した膨大な数の実画像モデルを作成する必要がある等実用上の問題がある。

また、従来の物体認識手法では、対称形状の物体を用いたり、物体同士が複雑に絡み合うことのない条件で用いたりしていることが多い。それに対して、バラ積み状態での物体認識では、物体の重なり及び絡みによる画像処理の難しさ、物体の位置及び姿勢を推定するための探索の困難さを有している。

この発明は、上記のような課題を解決するためになされたもので、従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図ることができる物体認識方法及び物体認識装置を提供することを目的としている。

この発明に係る物体認識方法は、モデル情報記録部が、仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録ステップと、画像取得部が、画像を取得する画像取得ステップと、エッジ抽出部が、画像取得部により取得された画像からエッジを抽出するエッジ抽出ステップと、角度検出部が、エッジ抽出部により抽出されたエッジの角度を検出する角度検出ステップと、角度判定部が、角度検出部により検出された角度の中から、モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定ステップと、位置検出部が、角度判定部により検索された角度に対応するエッジの位置を検出する位置検出ステップと、位置判定部が、位置検出部により検出された位置の中から、モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定ステップと、物体認識部が、角度判定部及び位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置とモデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識ステップとを有するものである。

また、この発明に係る物体認識装置は、仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録部と、画像を取得する画像取得部と、画像取得部により取得された画像からエッジを抽出するエッジ抽出部と、エッジ抽出部により抽出されたエッジの角度を検出する角度検出部と、角度検出部により検出された角度の中から、モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定部と、角度判定部により検索された角度に対応するエッジの位置を検出する位置検出部と、位置検出部により検出された位置の中から、モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定部と、角度判定部及び位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置とモデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識部とを有するものである。

この発明によれば、上記のように構成したので、従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図ることができる。

この発明の実施の形態１に係る物体認識装置の構成例を示す図である。 この発明の実施の形態１に係る物体認識装置の動作例を示すフローチャートである。 図３Ａ、図３Ｂは、取得画像の一例を示す図である。 この発明の実施の形態１における仮想カメラでの三次元モデルの撮影の一例を示す図である。 図５Ａ〜図５Ｃは、この発明の実施の形態１における仮想カメラで三次元モデルが撮影されて生成された物体モデルの一例を示す図である。 この発明の実施の形態１におけるモデル情報記録部に記録される物体モデルのエッジから見た投影点の方向を説明する図である。 図７Ａ、図７Ｂは、この発明の実施の形態１における角度検出部による角度検出例を示す図である。 この発明の実施の形態１における角度判定部による角度判定例を示す図である。 図９Ａ、図９Ｂは、この発明の実施の形態１における位置検出部による位置検出例を示す図である。 この発明の実施の形態１における位置判定部による位置判定例を示す図である。 図１１Ａ、図１１Ｂは、この発明の形態１における三次元位置姿勢推定部による画像内回転角度に基づく物体姿勢の推定例を示す図である。 図１２Ａ、図１２Ｂは、この発明の形態１における三次元位置姿勢推定部による画像内位置に基づく物体姿勢の補正例を示す図である。 この発明の実施の形態２に係る物体認識装置の構成例を示す図である。 この発明の実施の形態２に係る物体認識装置の動作例を示すフローチャートである。 この発明の実施の形態２における特徴点抽出部により抽出される特徴点の一例を示す図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る物体認識装置１の構成例を示す図である。
物体認識装置１は、画像から抽出したエッジ５２を鍵として物体５１を認識する機能と、認識した物体５１の三次元空間における位置及び姿勢を推定する機能とを有するものである。この物体認識装置１は、モデル情報記録部１０１、画像取得部１０２、エッジ抽出部１０３、角度検出部１０４、角度判定部１０５、位置検出部１０６、位置判定部１０７、物体認識部１０８、画像内回転角度位置推定部１０９及び三次元位置姿勢推定部１１０を備えている。なお、物体認識装置１は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。

モデル情報記録部１０１は、物体モデル５１ｂのエッジ５２ｂの角度の相対関係及び当該エッジ５２ｂの位置の相対関係を示す情報を記録するものである。なお、位置の相対関係については、同一の角度のエッジ５２ｂ毎に記録を行う。
ここで、物体モデル５１ｂは、仮想カメラ５０ｂによって物体５１の三次元モデル５１ａが様々な姿勢（画像平面内における回転及び移動以外の姿勢）で撮影されて生成された投影像である。また、仮想カメラ５０ｂとしては、実際に物体認識を行う際に物体５１の撮影に用いられるカメラ５０と同一の焦点距離を有するものを用いる。

また、モデル情報記録部１０１は、物体モデル５１ｂのエッジ５２ｂの角度（基準軸からの絶対角度）、及び、当該物体モデル５１ｂに対応する三次元モデル５１ａが撮影された際の当該三次元モデル５１ａの仮想カメラ５０ｂからの距離及び三次元空間における姿勢を示す情報も記録している。また、モデル情報記録部１０１は、物体５１の三次元モデル５１ａの三次元空間における任意の点（端、重心、中央の点等）を物体５１の三次元空間における位置を表現するための基準点として設定し、画像上の物体モデル５１ｂへの基準点の投影点５３ｂを算出して、同一の角度のエッジ５２ｂ毎に、当該エッジ５２ｂから見た基準点の画像上における投影点５３ｂの方向を示す情報も記録している。
このモデル情報記録部１０１は、ＨＤＤ、ＤＶＤ、メモリ等によって構成される。

画像取得部１０２は、画像を取得するものである。この際、画像取得部１０２は、例えばバラ積み状態の物体（部品等）５１をカメラ５０で撮影した画像を取得する。

エッジ抽出部１０３は、画像取得部１０２により取得された画像からエッジ５２を抽出するものである。この際、エッジ抽出部１０３は、上記画像からハフ変換又はその他のラインセグメント抽出法によりエッジ５２を抽出する。

角度検出部１０４は、エッジ抽出部１０３により抽出されたエッジ５２の角度を検出するものである。またこの際、角度検出部１０４は、検出した角度のうち、値の近いものを同一の角度としてまとめる。

角度判定部１０５は、角度検出部１０４により検出された角度の中から、モデル情報記録部１０１に記録された角度の相対関係との一致率（評価値）が閾値以上である角度を検索し、当該検索した角度に対応する物体モデル５１ｂを当該モデル情報記録部１０１から抽出するものである。

位置検出部１０６は、角度判定部１０５により検索された角度に対応するエッジ５２の位置を検出するものである。この際、位置検出部１０６は、角度判定部１０５により検索された同一の角度毎に、対応するエッジ５２を投影軸（当該角度方向に対する垂線）５４に画像平面内で投影した位置を、上記エッジ５２の位置として検出する。

位置判定部１０７は、位置検出部１０６により検出された位置の中から、モデル情報記録部１０１に記録された位置の相対関係との一致率（評価値）が閾値以上である位置を検索し、当該検索した位置を持つ物体モデル５１ｂを当該モデル情報記録部１０１から抽出するものである。

物体認識部１０８は、角度判定部１０５及び位置判定部１０７により抽出された物体モデル５１ｂの中から、当該角度判定部１０５及び当該位置判定部１０７により検索された角度及び位置とモデル情報記録部１０１に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体５１として認識するものである。この際、物体認識部１０８は、例えば、角度の一致率（評価値）と位置の一致率（評価値）との合計が最も高い物体モデル５１ｂを物体５１として認識する。

画像内回転角度位置推定部１０９は、物体認識部１０８により認識された物体５１のエッジ５２の角度及びエッジ５２の位置から、当該物体５１の画像平面内における物体モデル５１ｂに対する回転角度及び画像平面内における位置を推定するものである。この際、画像内回転角度位置推定部１０９は、物体認識部１０８により認識された物体５１のエッジ５２の角度を、モデル情報記録部１０１に記録された物体モデル５１ｂの対応するエッジ５２ｂの角度と比較し、そのずれ量から当該物体５１の画像平面内における物体モデル５１ｂに対する回転角度を推定する。また、モデル情報記録部１０１に記録された投影点５３ｂの方向を示す情報から、物体認識部１０８により認識された物体５１での、同一の角度のエッジ５２毎の投影点５３の方向の交点を算出し、その交点から画像平面内での物体５１の位置を推定する。

三次元位置姿勢推定部１１０は、画像内回転角度位置推定部１０９により推定された物体５１の回転角度及び位置、及び、物体認識部１０８により物体５１と認識された物体モデル５１ｂに関するモデル情報記録部１０１に記録された対応する三次元モデル５１ａの仮想カメラ５０ｂからの距離及び三次元空間における姿勢から、当該物体５１の三次元空間における位置及び姿勢を推定するものである。

この際、三次元位置姿勢推定部１１０は、モデル情報記録部１０１に記録された物体モデル５１ｂに対応する三次元モデル５１ａと仮想カメラ５０ｂとの撮影時の三次元位置関係を参照し、画像内回転角度位置推定部１０９により推定された物体５１の画像平面内における位置から、三次元空間における当該物体５１の位置を推定する。

更に、モデル情報記録部１０１に記録された物体モデル５１ｂに対応する三次元モデル５１ａを撮影した際の三次元空間における姿勢（仮想カメラ５０ｂから見た三次元モデル５１ａの姿勢）を画像内回転角度位置推定部１０９により推定された回転角度だけカメラ軸周りに回転する。次いで、推定した物体５１の三次元空間における位置に対応する姿勢の回転補正を行う。この一連の座標変換により、物体５１の三次元空間における姿勢を推定する。

次に、上記のように構成された物体認識装置１の動作例について、図２〜１２を用いて説明する。以下では、図３に示す形状の物体５１を認識する場合を例に説明を行う。
従来のモデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等による物体認識では、物体５１の三次元空間内での位置及び姿勢の変化に対応する大量の投影モデルを用意し、図３に示すような画像平面（カメラ５０で撮影した実際の物体５１の画像）内での物体５１の見かけの回転及び移動に対しても照合を行うため、探索空間が増大する。そこで、本発明では、画像平面内で物体５１が回転又は移動している場合であっても、見た目がほぼ同じであれば同じ物体モデル５１ｂを使って照合及び認識することで、探索空間の増大を回避する。すなわち、物体５１の見た目が変わらない場合には、物体５１の投影像を構成するエッジの角度の相対関係及びエッジの位置の相対関係はほぼ変わらないことを利用する。

なお、画像を撮影するカメラ５０と認識対象である物体５１との距離が近すぎるとカメラ５０の奥行き方向の投影ひずみが増大するため、本発明はカメラ５０と物体５１との距離を適切に離して使用する。

本発明では、事前に、図４に示すように仮想カメラ５０ｂによって物体５１の三次元モデル５１ａが様々な姿勢（画像平面内における回転及び移動以外の姿勢）で撮影されて、図５に示すような投影像（物体モデル５１ｂ）が生成される。そして、図６に示すように、モデル情報記録部１０１（モデル情報記録ステップ）では、物体モデル５１ｂのエッジ５２ｂの角度の相対関係及び当該エッジ５２ｂの位置の相対関係を示す情報を記録している。この際、エッジ５２ｂの角度の相対関係については、上記物体モデル５１ｂが持つ複数のエッジ５２ｂに対して基準軸からの角度を求め、それらの角度（θ_０，θ_１，・・・，θ_ｉ）を角度分布（図８の上段に示す角度分布）として集めて記録する。また、エッジ５２ｂの位置の相対関係については、上記物体モデル５１ｂが持つ複数のエッジ５２ｂに対して、同一の角度毎に、当該エッジ５２ｂを投影軸（当該角度方向に対する垂線）に投影した位置を求め、それらの位置（Ｐ_ｉ，ｊ）を位置分布（図１０の上段に示す位置分布）として集めて記録する。

また、モデル情報記録部１０１では、物体モデル５１ｂのエッジ５２ｂの角度（基準軸からの絶対角度）、及び、当該物体モデル５１ｂに対応する三次元モデル５１ａが撮影された際の当該三次元モデル５１ａの仮想カメラ５０ｂからの距離及び三次元空間における姿勢を示す情報も記録している。更に、モデル情報記録部１０１では、物体５１の三次元モデル５１ａの三次元空間における任意の点（端、重心、中央の点等）を物体５１の三次元空間における位置を表現するための基準点として設定し、画像上の物体モデル５１ｂへの基準点の投影点５３ｂを算出して、同一の角度のエッジ５２ｂ毎に、当該エッジ５２ｂから見た基準点の画像上における投影点５３ｂの方向を示す情報も記録している。

このモデル情報記録部１０１に記録される各種情報は、ＣＡＤ等で設計された物体５１の三次元モデル５１ａのデータを用いて、当該三次元モデル５１ａの姿勢を画像平面内における回転及び移動以外の姿勢に様々に変えることで、自動生成される。
また、ＣＡＤ等による設計データでは、物体モデル５１ｂが持つ全てのエッジ５２ｂを示すデータが含まれているが、本発明の物体認識で用いるエッジ５２ｂとしては、基本的には、カメラ５０により撮影される画像から見える範囲のエッジ５２ｂのみでよい。また、物体認識で用いるエッジ５２ｂの本数は、適宜変更可能である。

そして、物体認識装置１の動作例では、図２に示すように、まず、画像取得部１０２は、画像を取得する（ステップＳＴ２０１、画像取得ステップ）。以下では、画像取得部１０２は、バラ積み状態の物体５１がカメラ５０により撮影された画像を取得するものとする。

次いで、エッジ抽出部１０３は、画像取得部１０２により取得された画像からエッジ５２を抽出する（ステップＳＴ２０２、エッジ抽出ステップ）。この際、エッジ抽出部１０３は、画像取得部１０２により取得された画像に対して、ハフ変換又はその他のラインセグメント抽出法によって、画像中に存在する全てのエッジ５２を抽出する。このエッジ抽出としては従来から知られている手法を用いることができ、その説明を省略する。また、バラ積み状態では広い画像領域を探索する必要があるため、画像に探索窓を設けて、それを掃引しながら探索を行うようにしてもよい。

次いで、角度検出部１０４は、エッジ抽出部１０３により抽出されたエッジ５２の角度を検出する（ステップＳＴ２０３、角度検出ステップ）。すなわち、抽出されたエッジ５２に対して基準軸からの角度を求める。またこの際、角度検出部１０４は、検出した角度のうち、値の近いものを同一の角度としてまとめる。

図７は１つの物体５１が撮影された画像でのエッジ５２の角度検出を示している。図７Ａの例では、角度検出部１０４は、エッジ抽出部１０３により抽出されたエッジ５２の基準軸に対する角度（θ_０’，θ_１’，・・・，θ_ｉ’）をそれぞれ検出する。また、図７Ｂの例は、図７Ａの例に対して物体５１が回転している場合を示しており、角度検出部１０４は、エッジ抽出部１０３により抽出されたエッジ５２の基準軸に対する角度（θ_０’’，θ_１’’，・・・，θ_ｉ’’）をそれぞれ検出する。

なお、バラ積み状態では、１つの画像内又は探索窓内に複数の物体５１が存在しているため、それらの物体５１のエッジ５２の基準軸に対する角度を全て検出する。

次いで、角度判定部１０５は、角度検出部１０４により検出された角度の中から、モデル情報記録部１０１に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデル５１ｂを当該モデル情報記録部１０１から抽出する（ステップＳＴ２０４、角度判定ステップ）。

ここで、図７に示すように、角度検出部１０４により検出される角度自体は、画像平面内における物体５１の回転によって変化する（θ_ｉ’≠θ_ｉ’’）。しかしながら、角度の相対関係（Δθ_ｉ＝θ_ｉ’−θ_ｉ−１’＝θ_ｉ’’−θ_ｉ−１’’）は変化しない。そこで、図８に示すように、モデル情報記録部１０１で上記角度の相対関係をテンプレート（角度分布）として記録し、画像から検出された角度をテンプレートと照らし合わせることで、上記角度の相対関係と一致率の高い角度を検索し、その検索した角度に対応する物体モデル５１ｂを抽出する。なお図８において、上段がモデル情報記録部１０１に記録された角度分布であり、下段が角度検出部１０４により検出された角度の角度分布（図７Ａに対応）である。

このように、本発明では、物体５１が持つ各エッジ５２がどのような角度（傾き）で含まれているかという関係性を用い、更にそれを角度の相対関係の分布としてマッチングを行う。これにより、物体５１の画像平面内における回転及び移動毎に物体モデル５１ｂを用意する必要がなくなり、従来手法の課題であった探索空間の増大を防ぎ、認識処理を高速化することができる。

次いで、位置検出部１０６は、角度判定部１０５により検索された角度に対応するエッジ５２の位置を検出する（ステップＳＴ２０５、位置検出ステップ）。この際、位置検出部１０６は、角度判定部１０５により検索された同一の角度毎に、対応するエッジ５２を投影軸（当該角度方向に対する垂線）５４に画像平面内で投影した位置を、上記エッジ５２の位置として検出する。

図９は図７と同じ画像を用いた場合でのエッジ５２の位置検出を示している。この図９Ａでは、位置検出部１０６は、同一の角度（θ_ｉ’）毎に、対応するエッジ５２を投影軸５４に投影し、その位置（Ｐ_ｉ，ｊ’）を求める。また、図９Ｂでは、位置検出部１０６は、同一の角度（θ_ｉ’’）毎に、対応するエッジ５２を投影軸５４に画像平面内で投影し、その位置（Ｐ_ｉ，ｊ’’）を求める。

次いで、位置判定部１０７は、位置検出部１０６により検出された位置の中から、モデル情報記録部１０１に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル５１ｂを当該モデル情報記録部１０１から抽出する（ステップＳＴ２０６、位置判定ステップ）。

ここで、図９に示すように、位置検出部１０６により検出される位置自体は、画像平面内における物体５１の回転又は移動によって変化する。しかしながら、位置の相対関係（エッジ５２間の距離）は変化しない。そこで、図１０に示すように、モデル情報記録部１０１で上記位置の相対関係をテンプレート（位置分布）として記録し、画像から検出された位置をテンプレートと照らし合わせることで、上記位置の相対関係と一致率の高い位置を検索し、その検索した位置に対応する物体モデル５１ｂを抽出する。なお図１０において、上段がモデル情報記録部１０１に記録された位置分布であり、下段が位置検出部１０６により検出された位置の位置分布（図９Ａに対応）である。

エッジ５２の位置を投影軸５４への投影で求めることで、エッジ５２の位置分布は回転に依らない特徴量となる。そして、画像平面内における物体５１の回転に依らない特徴量を用いることで、探索空間を減らすことができる。また、角度判定部１０５により角度の相対関係と対応がとれたエッジ５２を用いて位置判定を行うので、探索回数を少なくすることができる。

なお、バラ積み状態等のように物体５１の配置される高さ（カメラ５０からの距離）が変わる場合には、画像上での物体５１の見かけの大きさが変化することになる。そこで、位置判定部１０７では、モデル情報記録部１０１で記録した位置の相対関係の倍率を変えながら、マッチングを行うようにしてもよい。

次いで、物体認識部１０８は、角度判定部１０５及び位置判定部１０７により抽出された物体モデル５１ｂの中から、当該角度判定部１０５及び当該位置判定部１０７により検索された角度及び位置とモデル情報記録部１０１に記録された角度及び位置の相対関係の一致率が総合的に高いものを物体５１として認識する（ステップＳＴ２０７、物体認識ステップ）。この際、物体認識部１０８は、例えば、角度の一致率（評価値）と位置の一致率（評価値）との合計が最も高い物体モデル５１ｂを物体５１として認識する。

次いで、画像内回転角度位置推定部１０９は、物体認識部１０８により認識された物体５１のエッジ５２の角度及びエッジ５２の位置から、当該物体５１の画像平面内における物体モデル５１ｂに対する回転角度及び位置を推定する（ステップＳＴ２０８、画像内回転角度位置推定ステップ）。この際、画像内回転角度位置推定部１０９は、物体認識部１０８により認識された物体５１のエッジ５２の角度を、モデル情報記録部１０１に記録された物体モデル５１ｂの対応するエッジ５２ｂの角度と比較し、そのずれ量から当該物体５１の画像平面内における物体モデル５１ｂに対する回転角度を推定する。また、モデル情報記録部１０１に記録された投影点５３ｂの方向を示す情報から、物体認識部１０８により認識された物体５１での、同一の角度のエッジ５２毎の投影点５３の方向の交点を算出し、その交点から画像平面内での物体５１の位置を推定する。

次いで、三次元位置姿勢推定部１１０は、画像内回転角度位置推定部１０９により推定された物体５１の回転角度及び位置、及び、物体認識部１０８により物体５１と認識された物体モデル５１ｂに関するモデル情報記録部１０１に記録された対応する三次元モデル５１ａの仮想カメラ５０ｂからの距離及び三次元空間における姿勢から、当該物体５１の三次元空間における位置及び姿勢を推定する（ステップＳＴ２０９、三次元位置姿勢推定ステップ）。

この三次元位置姿勢推定ステップでは、三次元位置姿勢推定部１１０は、まず、モデル情報記録部１０１に記録された物体モデル５１ｂに対応する三次元モデル５１ａと仮想カメラ５０ｂとの撮影時の三次元位置関係を参照し、画像内回転角度位置推定部１０９により推定された物体５１の画像平面内における位置から、三次元空間における当該物体５１の位置を推定する。

次いで、物体５１の三次元空間における姿勢を推定するために、まず、図１１に示すように、モデル情報記録部１０１に記録された物体モデル５１ｂに対応する三次元モデル５１ａを撮影した際の三次元空間における姿勢（仮想カメラ５０ｂから見た三次元モデル５１ａの姿勢）を画像内回転角度位置推定部１０９により推定された回転角度だけカメラ軸周りに回転（座標変換）することで、物体５１が画像内で回転して置かれることを考慮して三次元モデル５１ａの姿勢を補正する。なお、図１１Ａは、物体５１の見た目の姿勢に合わせるために三次元モデル５１ａをカメラ軸周りに回転（座標変換）する様子を示す。その様子を投影画像上で示したのが図１１Ｂであり、三次元空間と投影画像との対応関係を示している。

更に、図１２に示すように、推定した物体５１の三次元空間における位置に対応する姿勢の回転補正（座標変換）を行う。これは、物体５１がカメラ５０に対して様々な位置に置かれることを考慮して、カメラ５０の正面からの位置のずれの分だけ姿勢を補正することを意味する。なお、図１２Ａは、位置のずれに対応する回転補正（座標変換）の様子を示す。その様子を投影画像上で示したのが図１２Ｂであり、三次元空間と投影画像との対応関係を示している。

このように、三次元モデル５１ａを撮影したときの三次元空間における姿勢を出発点にして、カメラ５０からの物体５１の見た目に合わせるように行った一連の座標変換（カメラ軸周りの回転及び位置ずれの補正）の結果として、物体５１の三次元空間における姿勢を推定することができる。

また、位置判定部１０７において、モデル情報記録部１０１で記録した位置の相対関係の倍率を変えてマッチングを行った場合には、三次元位置姿勢推定部１１０は、その倍率を考慮して物体５１のカメラ５０からの距離を算出し、物体５１の三次元空間における位置及び姿勢を推定する。

以上のように、この実施の形態１によれば、二段階に分けて物体５１の認識処理を行う。すなわち、一段階目では、物体モデル５１ｂのエッジ５２ｂの角度の相対関係をテンプレートとして用い、画像から得たエッジ５２の角度の中から並びが近い物体モデル５１ｂを候補として抽出する。二段階目では、物体モデル５１ｂのエッジ５２ｂの位置の相対関係をテンプレートとして用い、一段階目で候補として抽出したエッジ５２の位置の中から並びが近い物体モデル５１ｂを抽出する。このように、画像平面内で物体５１が回転又は移動しても、見た目が同じであれば同一の物体５１として認識することで、画像平面内における物体５１の回転及び移動に依らない効率的な物体認識を実現することができる。よって、従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図ることができる。
また、一段階目の角度マッチングにおいて一致率が高いものは位置マッチングへ進むが、一致率が低いものは位置マッチングへは進まないため、従来よりも高速な物体認識が可能となる。

本発明により、画像平面内で物体５１が回転又は移動している場合も含めて、高速に解空間の探索が可能になる。また、画像平面内の物体５１が物体モデル５１ｂの持つ特徴とどの程度一致しているかを元に物体５１の存在可能性を算出するため、バラ積み状態等のように物体５１同士が絡んで配置される場合や画像にノイズが含まれる場合等への対応能力が高まる。

実施の形態２．
図１３はこの発明の実施の形態２に係る物体認識装置１の構成例を示す図である。この図１３に示す実施の形態２に係る物体認識装置１は、図１に示す実施の形態１に係る物体認識装置１に特徴点抽出部１１１を追加したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。

特徴点抽出部１１１は、画像取得部１０２により取得された画像から特徴点（円弧、円、楕円等）５５の位置を抽出するものである。
また、モデル情報記録部１０１では、物体モデル５１ｂの特徴点の位置を上記位置の相関関係に含めて記録する。
また、位置判定部１０７は、位置検出部１０６により検出された位置及び特徴点抽出部１１１により抽出された位置の中から、モデル情報記録部１０１に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル５１ｂを当該モデル情報記録部１０１から抽出する。

次に、実施の形態２に係る物体認識装置１の動作例について図１４を用いて説明する。図１４に示す実施の形態２に係る物体認識装置１の動作例は、図２に示す実施の形態１に係る物体認識装置１の動作例に、ステップＳＴ１４０１を追加し、ステップＳＴ２０６の動作をステップＳＴ１４０２に変更したものである。それ以外のステップは同様であり、その説明を省略する。

なお、モデル情報記録部１０１（モデル情報記録ステップ）では、事前に、仮想カメラ５０ｂにより投影された物体モデル５１ｂのエッジ５２ｂの角度の相対関係、及び、当該エッジ５２ｂの位置と特徴点の位置の相対関係を示す情報を記録している。この際、エッジ５２ｂの位置と特徴点の位置の相対関係については、上記物体モデル５１ｂが持つ複数のエッジ５２ｂに対して、同一の角度毎に、当該エッジ５２ｂ及び特徴点を投影軸（当該角度方向に対する垂線）に投影した位置を求め、それらの位置を位置分布として集めて記録する。

また、モデル情報記録部１０１では、物体モデル５１ｂのエッジ５２ｂの角度（基準軸からの絶対角度）、及び、当該物体モデル５１ｂに対応する三次元モデル５１ａの撮影時の仮想カメラ５０ｂからの距離及び三次元空間における姿勢を示す情報も記録している。更に、モデル情報記録部１０１では、物体５１の三次元モデル５１ａの三次元空間における任意の点（端、重心、中央の点等）を物体５１の三次元空間における位置を表現するための基準点として設定し、画像上の物体モデル５１ｂへの基準点の投影点５３ｂを算出して、同一の角度のエッジ５２ｂ毎に、当該エッジ５２ｂから見た基準点の画像上における投影点５３ｂの方向を示す情報も記録している。
なお、モデル情報記録部１０１は、画像平面内における回転及び移動以外の物体モデル５１ｂの姿勢毎に、上記情報の記録を行う。

またステップＳＴ１４０１（特徴点抽出ステップ）では、特徴点抽出部１１１が、画像取得部１０２により取得された画像から特徴点５５の位置を抽出する。この特徴点５５の抽出手法は従来手法を用いることができ、その説明を省略する。

またステップＳＴ１４０２（位置判定ステップ）では、位置判定部１０７が、位置検出部１０６により検出された位置及び特徴点抽出部１１１により抽出された位置の中から、モデル情報記録部１０１に記録されたエッジ５２ｂの位置及び特徴点の位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル５１ｂを当該モデル情報記録部１０１から抽出する。この際、図１５に示すように、特徴点抽出部１１１により抽出された特徴点５５を、同一の角度のエッジ５２毎に投影軸５４に投影した位置を求め、マッチングを行う。

ここで、位置検出部１０６により検出されるエッジ５２の位置及び特徴点抽出部１１１により抽出される特徴点５５の位置自体は、画像平面内における物体５１の回転又は移動によって変化する。しかしながら、その位置の相対関係（エッジ５２及び特徴点５５間の距離）は変化しない。そこで、モデル情報記録部１０１で上記位置の相対関係をテンプレートとして記録し、画像から検出された位置をテンプレートと照らし合わせることで、上記位置の相対関係と一致率の高い位置を検索し、その検索した位置に対応する物体モデル５１ｂを抽出する。

以上のように、この実施の形態２によれば、特徴点抽出部１１１が、画像から特徴点５５を抽出し、位置判定部１０７が、位置検出部１０６により検出された位置及び特徴点抽出部１１１により抽出された位置の中から、モデル情報記録部１０１に記録されたエッジ５２ｂの位置及び特徴点の位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル５１ｂを当該モデル情報記録部１０１から抽出するように構成したので、実施の形態１に対し、認識対象である物体５１に特徴点５５がある場合には、この特徴点５５を鍵として位置マッチングを行うことができ、認識の効率化及び高速化を更に向上することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 物体認識装置
１０１ モデル情報記録部
１０２ 画像取得部
１０３ エッジ抽出部
１０４ 角度検出部
１０５ 角度判定部
１０６ 位置検出部
１０７ 位置判定部
１０８ 物体認識部
１０９ 画像内回転角度位置推定部
１１０ 三次元位置姿勢推定部
１１１ 特徴点抽出部

Claims (7)

1. モデル情報記録部が、仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録ステップと、
   画像取得部が、画像を取得する画像取得ステップと、
   エッジ抽出部が、前記画像取得部により取得された画像からエッジを抽出するエッジ抽出ステップと、
   角度検出部が、前記エッジ抽出部により抽出されたエッジの角度を検出する角度検出ステップと、
   角度判定部が、前記角度検出部により検出された角度の中から、前記モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定ステップと、
   位置検出部が、前記角度判定部により検索された角度に対応するエッジの位置を検出する位置検出ステップと、
   位置判定部が、前記位置検出部により検出された位置の中から、前記モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定ステップと、
   物体認識部が、前記角度判定部及び前記位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置と前記モデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識ステップと
   を有する物体認識方法。
2. 前記角度検出ステップにおいて、前記角度検出部は、検出した角度のうち、値の近いものを同一の角度としてまとめる
   ことを特徴とする請求項１記載の物体認識方法。
3. 前記位置検出ステップにおいて、前記位置検出部は、前記角度判定部により検索された同一の角度毎に、対応するエッジを当該角度方向に対する垂線に投影した位置を、前記エッジの位置として検出する
   ことを特徴とする請求項２記載の物体認識方法。
4. 前記モデル情報記録ステップにおいて、前記モデル情報記録部は、物体モデルに対応する三次元モデルが撮影された際の当該三次元モデルの仮想カメラからの距離及び三次元空間における姿勢を示す情報を記録し、
   画像内回転角度位置推定部が、前記物体認識部により認識された物体のエッジの角度及びエッジの位置から、当該物体の画像平面内における前記物体モデルに対する回転角度及び画像平面内における位置を推定する画像内回転角度位置推定ステップと、
   三次元位置姿勢推定部が、前記画像内回転角度位置推定部により推定された物体の回転角度及び位置と、前記物体認識部により物体と認識された物体モデルに関する前記モデル情報記録部に記録された対応する三次元モデルの仮想カメラからの距離及び三次元空間における姿勢から、当該物体の三次元空間における位置及び姿勢を推定する三次元位置姿勢推定ステップとを有する
   ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の物体認識方法。
5. 特徴点抽出部が、前記画像取得部により取得された画像から特徴点の位置を抽出する特徴点抽出ステップを有し、
   前記モデル情報記録ステップにおいて、前記モデル情報記録部は、前記物体モデルの特徴点の位置を前記位置の相関関係に含めて記録し、
   前記位置判定ステップにおいて、前記位置判定部は、前記位置検出部により検出された位置及び前記特徴点抽出部により抽出された位置の中から、前記モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する
   ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の物体認識方法。
6. 前記モデル情報記録ステップにおいて、前記モデル情報記録部は、画像平面内での回転及び移動以外の前記物体モデルの姿勢毎に、前記情報を記録する
   ことを特徴とする請求項１から請求項５のうちのいずれか１項記載の物体認識方法。
7. 仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録部と、
   画像を取得する画像取得部と、
   前記画像取得部により取得された画像からエッジを抽出するエッジ抽出部と、
   前記エッジ抽出部により抽出されたエッジの角度を検出する角度検出部と、
   前記角度検出部により検出された角度の中から、前記モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定部と、
   前記角度判定部により検索された角度に対応するエッジの位置を検出する位置検出部と、
   前記位置検出部により検出された位置の中から、前記モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定部と、
   前記角度判定部及び前記位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置と前記モデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識部と
   を有する物体認識装置。

Images