JP2017091202A - 物体認識方法及び物体認識装置 - Google Patents
物体認識方法及び物体認識装置 Download PDFInfo
- Publication number
- JP2017091202A JP2017091202A JP2015220314A JP2015220314A JP2017091202A JP 2017091202 A JP2017091202 A JP 2017091202A JP 2015220314 A JP2015220314 A JP 2015220314A JP 2015220314 A JP2015220314 A JP 2015220314A JP 2017091202 A JP2017091202 A JP 2017091202A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- unit
- model
- edge
- information recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図る。
【解決手段】物体モデル51bのエッジ52bの角度の相対関係及び当該エッジ52bの位置の相対関係を示す情報を記録し、画像を取得し、画像からエッジ52を抽出し、抽出されたエッジ52の角度を検出し、検出された角度の中から、記録された角度の相対関係との一致率が閾値以上である角度を検索して当該角度に対応する物体モデルを抽出し、検索された角度に対応するエッジ52の位置を検出し、検出された位置の中から、記録された位置の相対関係との一致率が閾値以上である位置を検索して当該位置に対応する物体モデルを抽出し、抽出された物体モデルの中から、検索された角度及び位置と記録された角度及び位置の相対関係との一致率が総合的に高いものを物体51として認識する。
【選択図】図1
【解決手段】物体モデル51bのエッジ52bの角度の相対関係及び当該エッジ52bの位置の相対関係を示す情報を記録し、画像を取得し、画像からエッジ52を抽出し、抽出されたエッジ52の角度を検出し、検出された角度の中から、記録された角度の相対関係との一致率が閾値以上である角度を検索して当該角度に対応する物体モデルを抽出し、検索された角度に対応するエッジ52の位置を検出し、検出された位置の中から、記録された位置の相対関係との一致率が閾値以上である位置を検索して当該位置に対応する物体モデルを抽出し、抽出された物体モデルの中から、検索された角度及び位置と記録された角度及び位置の相対関係との一致率が総合的に高いものを物体51として認識する。
【選択図】図1
Description
この発明は、画像から抽出したエッジ(ライン)を鍵として物体の認識を行う物体認識方法及び物体認識装置に関するものである。
生産工程を効率化する手段として、バラ積み状態で置かれた物体(部品等)を自動で認識してロボットに把持させるビンピッキング技術が注目されており、近年、様々な方法が提案されている(例えば特許文献1−3参照)。このようなビンピッキング技術において、従来の物体認識では、モデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等を用いている。
しかしながら、従来のモデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等による物体認識では、画像平面内での回転及び移動も考慮して物体の位置及び姿勢を特定する必要がある。そのため、解空間が広く、膨大な回数の試行及び投票を繰り返す必要があり、現状では時間短縮が難しい上に認識率も高くない。
また、局所濃淡画像と距離画像を併用した高速化手法も提案されているが、濃淡特徴が強く現れている物体にしか対応できず、更に、画像平面内における回転も含めて物体の姿勢を変更した膨大な数の実画像モデルを作成する必要がある等実用上の問題がある。
また、従来の物体認識手法では、対称形状の物体を用いたり、物体同士が複雑に絡み合うことのない条件で用いたりしていることが多い。それに対して、バラ積み状態での物体認識では、物体の重なり及び絡みによる画像処理の難しさ、物体の位置及び姿勢を推定するための探索の困難さを有している。
この発明は、上記のような課題を解決するためになされたもので、従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図ることができる物体認識方法及び物体認識装置を提供することを目的としている。
この発明に係る物体認識方法は、モデル情報記録部が、仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録ステップと、画像取得部が、画像を取得する画像取得ステップと、エッジ抽出部が、画像取得部により取得された画像からエッジを抽出するエッジ抽出ステップと、角度検出部が、エッジ抽出部により抽出されたエッジの角度を検出する角度検出ステップと、角度判定部が、角度検出部により検出された角度の中から、モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定ステップと、位置検出部が、角度判定部により検索された角度に対応するエッジの位置を検出する位置検出ステップと、位置判定部が、位置検出部により検出された位置の中から、モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定ステップと、物体認識部が、角度判定部及び位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置とモデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識ステップとを有するものである。
また、この発明に係る物体認識装置は、仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録部と、画像を取得する画像取得部と、画像取得部により取得された画像からエッジを抽出するエッジ抽出部と、エッジ抽出部により抽出されたエッジの角度を検出する角度検出部と、角度検出部により検出された角度の中から、モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定部と、角度判定部により検索された角度に対応するエッジの位置を検出する位置検出部と、位置検出部により検出された位置の中から、モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定部と、角度判定部及び位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置とモデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識部とを有するものである。
この発明によれば、上記のように構成したので、従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図ることができる。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係る物体認識装置1の構成例を示す図である。
物体認識装置1は、画像から抽出したエッジ52を鍵として物体51を認識する機能と、認識した物体51の三次元空間における位置及び姿勢を推定する機能とを有するものである。この物体認識装置1は、モデル情報記録部101、画像取得部102、エッジ抽出部103、角度検出部104、角度判定部105、位置検出部106、位置判定部107、物体認識部108、画像内回転角度位置推定部109及び三次元位置姿勢推定部110を備えている。なお、物体認識装置1は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
実施の形態1.
図1はこの発明の実施の形態1に係る物体認識装置1の構成例を示す図である。
物体認識装置1は、画像から抽出したエッジ52を鍵として物体51を認識する機能と、認識した物体51の三次元空間における位置及び姿勢を推定する機能とを有するものである。この物体認識装置1は、モデル情報記録部101、画像取得部102、エッジ抽出部103、角度検出部104、角度判定部105、位置検出部106、位置判定部107、物体認識部108、画像内回転角度位置推定部109及び三次元位置姿勢推定部110を備えている。なお、物体認識装置1は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
モデル情報記録部101は、物体モデル51bのエッジ52bの角度の相対関係及び当該エッジ52bの位置の相対関係を示す情報を記録するものである。なお、位置の相対関係については、同一の角度のエッジ52b毎に記録を行う。
ここで、物体モデル51bは、仮想カメラ50bによって物体51の三次元モデル51aが様々な姿勢(画像平面内における回転及び移動以外の姿勢)で撮影されて生成された投影像である。また、仮想カメラ50bとしては、実際に物体認識を行う際に物体51の撮影に用いられるカメラ50と同一の焦点距離を有するものを用いる。
ここで、物体モデル51bは、仮想カメラ50bによって物体51の三次元モデル51aが様々な姿勢(画像平面内における回転及び移動以外の姿勢)で撮影されて生成された投影像である。また、仮想カメラ50bとしては、実際に物体認識を行う際に物体51の撮影に用いられるカメラ50と同一の焦点距離を有するものを用いる。
また、モデル情報記録部101は、物体モデル51bのエッジ52bの角度(基準軸からの絶対角度)、及び、当該物体モデル51bに対応する三次元モデル51aが撮影された際の当該三次元モデル51aの仮想カメラ50bからの距離及び三次元空間における姿勢を示す情報も記録している。また、モデル情報記録部101は、物体51の三次元モデル51aの三次元空間における任意の点(端、重心、中央の点等)を物体51の三次元空間における位置を表現するための基準点として設定し、画像上の物体モデル51bへの基準点の投影点53bを算出して、同一の角度のエッジ52b毎に、当該エッジ52bから見た基準点の画像上における投影点53bの方向を示す情報も記録している。
このモデル情報記録部101は、HDD、DVD、メモリ等によって構成される。
このモデル情報記録部101は、HDD、DVD、メモリ等によって構成される。
画像取得部102は、画像を取得するものである。この際、画像取得部102は、例えばバラ積み状態の物体(部品等)51をカメラ50で撮影した画像を取得する。
エッジ抽出部103は、画像取得部102により取得された画像からエッジ52を抽出するものである。この際、エッジ抽出部103は、上記画像からハフ変換又はその他のラインセグメント抽出法によりエッジ52を抽出する。
角度検出部104は、エッジ抽出部103により抽出されたエッジ52の角度を検出するものである。またこの際、角度検出部104は、検出した角度のうち、値の近いものを同一の角度としてまとめる。
角度判定部105は、角度検出部104により検出された角度の中から、モデル情報記録部101に記録された角度の相対関係との一致率(評価値)が閾値以上である角度を検索し、当該検索した角度に対応する物体モデル51bを当該モデル情報記録部101から抽出するものである。
位置検出部106は、角度判定部105により検索された角度に対応するエッジ52の位置を検出するものである。この際、位置検出部106は、角度判定部105により検索された同一の角度毎に、対応するエッジ52を投影軸(当該角度方向に対する垂線)54に画像平面内で投影した位置を、上記エッジ52の位置として検出する。
位置判定部107は、位置検出部106により検出された位置の中から、モデル情報記録部101に記録された位置の相対関係との一致率(評価値)が閾値以上である位置を検索し、当該検索した位置を持つ物体モデル51bを当該モデル情報記録部101から抽出するものである。
物体認識部108は、角度判定部105及び位置判定部107により抽出された物体モデル51bの中から、当該角度判定部105及び当該位置判定部107により検索された角度及び位置とモデル情報記録部101に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体51として認識するものである。この際、物体認識部108は、例えば、角度の一致率(評価値)と位置の一致率(評価値)との合計が最も高い物体モデル51bを物体51として認識する。
画像内回転角度位置推定部109は、物体認識部108により認識された物体51のエッジ52の角度及びエッジ52の位置から、当該物体51の画像平面内における物体モデル51bに対する回転角度及び画像平面内における位置を推定するものである。この際、画像内回転角度位置推定部109は、物体認識部108により認識された物体51のエッジ52の角度を、モデル情報記録部101に記録された物体モデル51bの対応するエッジ52bの角度と比較し、そのずれ量から当該物体51の画像平面内における物体モデル51bに対する回転角度を推定する。また、モデル情報記録部101に記録された投影点53bの方向を示す情報から、物体認識部108により認識された物体51での、同一の角度のエッジ52毎の投影点53の方向の交点を算出し、その交点から画像平面内での物体51の位置を推定する。
三次元位置姿勢推定部110は、画像内回転角度位置推定部109により推定された物体51の回転角度及び位置、及び、物体認識部108により物体51と認識された物体モデル51bに関するモデル情報記録部101に記録された対応する三次元モデル51aの仮想カメラ50bからの距離及び三次元空間における姿勢から、当該物体51の三次元空間における位置及び姿勢を推定するものである。
この際、三次元位置姿勢推定部110は、モデル情報記録部101に記録された物体モデル51bに対応する三次元モデル51aと仮想カメラ50bとの撮影時の三次元位置関係を参照し、画像内回転角度位置推定部109により推定された物体51の画像平面内における位置から、三次元空間における当該物体51の位置を推定する。
更に、モデル情報記録部101に記録された物体モデル51bに対応する三次元モデル51aを撮影した際の三次元空間における姿勢(仮想カメラ50bから見た三次元モデル51aの姿勢)を画像内回転角度位置推定部109により推定された回転角度だけカメラ軸周りに回転する。次いで、推定した物体51の三次元空間における位置に対応する姿勢の回転補正を行う。この一連の座標変換により、物体51の三次元空間における姿勢を推定する。
次に、上記のように構成された物体認識装置1の動作例について、図2〜12を用いて説明する。以下では、図3に示す形状の物体51を認識する場合を例に説明を行う。
従来のモデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等による物体認識では、物体51の三次元空間内での位置及び姿勢の変化に対応する大量の投影モデルを用意し、図3に示すような画像平面(カメラ50で撮影した実際の物体51の画像)内での物体51の見かけの回転及び移動に対しても照合を行うため、探索空間が増大する。そこで、本発明では、画像平面内で物体51が回転又は移動している場合であっても、見た目がほぼ同じであれば同じ物体モデル51bを使って照合及び認識することで、探索空間の増大を回避する。すなわち、物体51の見た目が変わらない場合には、物体51の投影像を構成するエッジの角度の相対関係及びエッジの位置の相対関係はほぼ変わらないことを利用する。
従来のモデルテンプレートを用いた画像マッチング又は一般化ハフ変換による投票手法等による物体認識では、物体51の三次元空間内での位置及び姿勢の変化に対応する大量の投影モデルを用意し、図3に示すような画像平面(カメラ50で撮影した実際の物体51の画像)内での物体51の見かけの回転及び移動に対しても照合を行うため、探索空間が増大する。そこで、本発明では、画像平面内で物体51が回転又は移動している場合であっても、見た目がほぼ同じであれば同じ物体モデル51bを使って照合及び認識することで、探索空間の増大を回避する。すなわち、物体51の見た目が変わらない場合には、物体51の投影像を構成するエッジの角度の相対関係及びエッジの位置の相対関係はほぼ変わらないことを利用する。
なお、画像を撮影するカメラ50と認識対象である物体51との距離が近すぎるとカメラ50の奥行き方向の投影ひずみが増大するため、本発明はカメラ50と物体51との距離を適切に離して使用する。
本発明では、事前に、図4に示すように仮想カメラ50bによって物体51の三次元モデル51aが様々な姿勢(画像平面内における回転及び移動以外の姿勢)で撮影されて、図5に示すような投影像(物体モデル51b)が生成される。そして、図6に示すように、モデル情報記録部101(モデル情報記録ステップ)では、物体モデル51bのエッジ52bの角度の相対関係及び当該エッジ52bの位置の相対関係を示す情報を記録している。この際、エッジ52bの角度の相対関係については、上記物体モデル51bが持つ複数のエッジ52bに対して基準軸からの角度を求め、それらの角度(θ0,θ1,・・・,θi)を角度分布(図8の上段に示す角度分布)として集めて記録する。また、エッジ52bの位置の相対関係については、上記物体モデル51bが持つ複数のエッジ52bに対して、同一の角度毎に、当該エッジ52bを投影軸(当該角度方向に対する垂線)に投影した位置を求め、それらの位置(Pi,j)を位置分布(図10の上段に示す位置分布)として集めて記録する。
また、モデル情報記録部101では、物体モデル51bのエッジ52bの角度(基準軸からの絶対角度)、及び、当該物体モデル51bに対応する三次元モデル51aが撮影された際の当該三次元モデル51aの仮想カメラ50bからの距離及び三次元空間における姿勢を示す情報も記録している。更に、モデル情報記録部101では、物体51の三次元モデル51aの三次元空間における任意の点(端、重心、中央の点等)を物体51の三次元空間における位置を表現するための基準点として設定し、画像上の物体モデル51bへの基準点の投影点53bを算出して、同一の角度のエッジ52b毎に、当該エッジ52bから見た基準点の画像上における投影点53bの方向を示す情報も記録している。
このモデル情報記録部101に記録される各種情報は、CAD等で設計された物体51の三次元モデル51aのデータを用いて、当該三次元モデル51aの姿勢を画像平面内における回転及び移動以外の姿勢に様々に変えることで、自動生成される。
また、CAD等による設計データでは、物体モデル51bが持つ全てのエッジ52bを示すデータが含まれているが、本発明の物体認識で用いるエッジ52bとしては、基本的には、カメラ50により撮影される画像から見える範囲のエッジ52bのみでよい。また、物体認識で用いるエッジ52bの本数は、適宜変更可能である。
また、CAD等による設計データでは、物体モデル51bが持つ全てのエッジ52bを示すデータが含まれているが、本発明の物体認識で用いるエッジ52bとしては、基本的には、カメラ50により撮影される画像から見える範囲のエッジ52bのみでよい。また、物体認識で用いるエッジ52bの本数は、適宜変更可能である。
そして、物体認識装置1の動作例では、図2に示すように、まず、画像取得部102は、画像を取得する(ステップST201、画像取得ステップ)。以下では、画像取得部102は、バラ積み状態の物体51がカメラ50により撮影された画像を取得するものとする。
次いで、エッジ抽出部103は、画像取得部102により取得された画像からエッジ52を抽出する(ステップST202、エッジ抽出ステップ)。この際、エッジ抽出部103は、画像取得部102により取得された画像に対して、ハフ変換又はその他のラインセグメント抽出法によって、画像中に存在する全てのエッジ52を抽出する。このエッジ抽出としては従来から知られている手法を用いることができ、その説明を省略する。また、バラ積み状態では広い画像領域を探索する必要があるため、画像に探索窓を設けて、それを掃引しながら探索を行うようにしてもよい。
次いで、角度検出部104は、エッジ抽出部103により抽出されたエッジ52の角度を検出する(ステップST203、角度検出ステップ)。すなわち、抽出されたエッジ52に対して基準軸からの角度を求める。またこの際、角度検出部104は、検出した角度のうち、値の近いものを同一の角度としてまとめる。
図7は1つの物体51が撮影された画像でのエッジ52の角度検出を示している。図7Aの例では、角度検出部104は、エッジ抽出部103により抽出されたエッジ52の基準軸に対する角度(θ0’,θ1’,・・・,θi’)をそれぞれ検出する。また、図7Bの例は、図7Aの例に対して物体51が回転している場合を示しており、角度検出部104は、エッジ抽出部103により抽出されたエッジ52の基準軸に対する角度(θ0’’,θ1’’,・・・,θi’’)をそれぞれ検出する。
なお、バラ積み状態では、1つの画像内又は探索窓内に複数の物体51が存在しているため、それらの物体51のエッジ52の基準軸に対する角度を全て検出する。
次いで、角度判定部105は、角度検出部104により検出された角度の中から、モデル情報記録部101に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデル51bを当該モデル情報記録部101から抽出する(ステップST204、角度判定ステップ)。
ここで、図7に示すように、角度検出部104により検出される角度自体は、画像平面内における物体51の回転によって変化する(θi’≠θi’’)。しかしながら、角度の相対関係(Δθi=θi’−θi−1’=θi’’−θi−1’’)は変化しない。そこで、図8に示すように、モデル情報記録部101で上記角度の相対関係をテンプレート(角度分布)として記録し、画像から検出された角度をテンプレートと照らし合わせることで、上記角度の相対関係と一致率の高い角度を検索し、その検索した角度に対応する物体モデル51bを抽出する。なお図8において、上段がモデル情報記録部101に記録された角度分布であり、下段が角度検出部104により検出された角度の角度分布(図7Aに対応)である。
このように、本発明では、物体51が持つ各エッジ52がどのような角度(傾き)で含まれているかという関係性を用い、更にそれを角度の相対関係の分布としてマッチングを行う。これにより、物体51の画像平面内における回転及び移動毎に物体モデル51bを用意する必要がなくなり、従来手法の課題であった探索空間の増大を防ぎ、認識処理を高速化することができる。
次いで、位置検出部106は、角度判定部105により検索された角度に対応するエッジ52の位置を検出する(ステップST205、位置検出ステップ)。この際、位置検出部106は、角度判定部105により検索された同一の角度毎に、対応するエッジ52を投影軸(当該角度方向に対する垂線)54に画像平面内で投影した位置を、上記エッジ52の位置として検出する。
図9は図7と同じ画像を用いた場合でのエッジ52の位置検出を示している。この図9Aでは、位置検出部106は、同一の角度(θi’)毎に、対応するエッジ52を投影軸54に投影し、その位置(Pi,j’)を求める。また、図9Bでは、位置検出部106は、同一の角度(θi’’)毎に、対応するエッジ52を投影軸54に画像平面内で投影し、その位置(Pi,j’’)を求める。
次いで、位置判定部107は、位置検出部106により検出された位置の中から、モデル情報記録部101に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル51bを当該モデル情報記録部101から抽出する(ステップST206、位置判定ステップ)。
ここで、図9に示すように、位置検出部106により検出される位置自体は、画像平面内における物体51の回転又は移動によって変化する。しかしながら、位置の相対関係(エッジ52間の距離)は変化しない。そこで、図10に示すように、モデル情報記録部101で上記位置の相対関係をテンプレート(位置分布)として記録し、画像から検出された位置をテンプレートと照らし合わせることで、上記位置の相対関係と一致率の高い位置を検索し、その検索した位置に対応する物体モデル51bを抽出する。なお図10において、上段がモデル情報記録部101に記録された位置分布であり、下段が位置検出部106により検出された位置の位置分布(図9Aに対応)である。
エッジ52の位置を投影軸54への投影で求めることで、エッジ52の位置分布は回転に依らない特徴量となる。そして、画像平面内における物体51の回転に依らない特徴量を用いることで、探索空間を減らすことができる。また、角度判定部105により角度の相対関係と対応がとれたエッジ52を用いて位置判定を行うので、探索回数を少なくすることができる。
なお、バラ積み状態等のように物体51の配置される高さ(カメラ50からの距離)が変わる場合には、画像上での物体51の見かけの大きさが変化することになる。そこで、位置判定部107では、モデル情報記録部101で記録した位置の相対関係の倍率を変えながら、マッチングを行うようにしてもよい。
次いで、物体認識部108は、角度判定部105及び位置判定部107により抽出された物体モデル51bの中から、当該角度判定部105及び当該位置判定部107により検索された角度及び位置とモデル情報記録部101に記録された角度及び位置の相対関係の一致率が総合的に高いものを物体51として認識する(ステップST207、物体認識ステップ)。この際、物体認識部108は、例えば、角度の一致率(評価値)と位置の一致率(評価値)との合計が最も高い物体モデル51bを物体51として認識する。
次いで、画像内回転角度位置推定部109は、物体認識部108により認識された物体51のエッジ52の角度及びエッジ52の位置から、当該物体51の画像平面内における物体モデル51bに対する回転角度及び位置を推定する(ステップST208、画像内回転角度位置推定ステップ)。この際、画像内回転角度位置推定部109は、物体認識部108により認識された物体51のエッジ52の角度を、モデル情報記録部101に記録された物体モデル51bの対応するエッジ52bの角度と比較し、そのずれ量から当該物体51の画像平面内における物体モデル51bに対する回転角度を推定する。また、モデル情報記録部101に記録された投影点53bの方向を示す情報から、物体認識部108により認識された物体51での、同一の角度のエッジ52毎の投影点53の方向の交点を算出し、その交点から画像平面内での物体51の位置を推定する。
次いで、三次元位置姿勢推定部110は、画像内回転角度位置推定部109により推定された物体51の回転角度及び位置、及び、物体認識部108により物体51と認識された物体モデル51bに関するモデル情報記録部101に記録された対応する三次元モデル51aの仮想カメラ50bからの距離及び三次元空間における姿勢から、当該物体51の三次元空間における位置及び姿勢を推定する(ステップST209、三次元位置姿勢推定ステップ)。
この三次元位置姿勢推定ステップでは、三次元位置姿勢推定部110は、まず、モデル情報記録部101に記録された物体モデル51bに対応する三次元モデル51aと仮想カメラ50bとの撮影時の三次元位置関係を参照し、画像内回転角度位置推定部109により推定された物体51の画像平面内における位置から、三次元空間における当該物体51の位置を推定する。
次いで、物体51の三次元空間における姿勢を推定するために、まず、図11に示すように、モデル情報記録部101に記録された物体モデル51bに対応する三次元モデル51aを撮影した際の三次元空間における姿勢(仮想カメラ50bから見た三次元モデル51aの姿勢)を画像内回転角度位置推定部109により推定された回転角度だけカメラ軸周りに回転(座標変換)することで、物体51が画像内で回転して置かれることを考慮して三次元モデル51aの姿勢を補正する。なお、図11Aは、物体51の見た目の姿勢に合わせるために三次元モデル51aをカメラ軸周りに回転(座標変換)する様子を示す。その様子を投影画像上で示したのが図11Bであり、三次元空間と投影画像との対応関係を示している。
更に、図12に示すように、推定した物体51の三次元空間における位置に対応する姿勢の回転補正(座標変換)を行う。これは、物体51がカメラ50に対して様々な位置に置かれることを考慮して、カメラ50の正面からの位置のずれの分だけ姿勢を補正することを意味する。なお、図12Aは、位置のずれに対応する回転補正(座標変換)の様子を示す。その様子を投影画像上で示したのが図12Bであり、三次元空間と投影画像との対応関係を示している。
このように、三次元モデル51aを撮影したときの三次元空間における姿勢を出発点にして、カメラ50からの物体51の見た目に合わせるように行った一連の座標変換(カメラ軸周りの回転及び位置ずれの補正)の結果として、物体51の三次元空間における姿勢を推定することができる。
また、位置判定部107において、モデル情報記録部101で記録した位置の相対関係の倍率を変えてマッチングを行った場合には、三次元位置姿勢推定部110は、その倍率を考慮して物体51のカメラ50からの距離を算出し、物体51の三次元空間における位置及び姿勢を推定する。
以上のように、この実施の形態1によれば、二段階に分けて物体51の認識処理を行う。すなわち、一段階目では、物体モデル51bのエッジ52bの角度の相対関係をテンプレートとして用い、画像から得たエッジ52の角度の中から並びが近い物体モデル51bを候補として抽出する。二段階目では、物体モデル51bのエッジ52bの位置の相対関係をテンプレートとして用い、一段階目で候補として抽出したエッジ52の位置の中から並びが近い物体モデル51bを抽出する。このように、画像平面内で物体51が回転又は移動しても、見た目が同じであれば同一の物体51として認識することで、画像平面内における物体51の回転及び移動に依らない効率的な物体認識を実現することができる。よって、従来構成に対して、簡易な手法で、物体認識の効率化及び高速化を図ることができる。
また、一段階目の角度マッチングにおいて一致率が高いものは位置マッチングへ進むが、一致率が低いものは位置マッチングへは進まないため、従来よりも高速な物体認識が可能となる。
また、一段階目の角度マッチングにおいて一致率が高いものは位置マッチングへ進むが、一致率が低いものは位置マッチングへは進まないため、従来よりも高速な物体認識が可能となる。
本発明により、画像平面内で物体51が回転又は移動している場合も含めて、高速に解空間の探索が可能になる。また、画像平面内の物体51が物体モデル51bの持つ特徴とどの程度一致しているかを元に物体51の存在可能性を算出するため、バラ積み状態等のように物体51同士が絡んで配置される場合や画像にノイズが含まれる場合等への対応能力が高まる。
実施の形態2.
図13はこの発明の実施の形態2に係る物体認識装置1の構成例を示す図である。この図13に示す実施の形態2に係る物体認識装置1は、図1に示す実施の形態1に係る物体認識装置1に特徴点抽出部111を追加したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
図13はこの発明の実施の形態2に係る物体認識装置1の構成例を示す図である。この図13に示す実施の形態2に係る物体認識装置1は、図1に示す実施の形態1に係る物体認識装置1に特徴点抽出部111を追加したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
特徴点抽出部111は、画像取得部102により取得された画像から特徴点(円弧、円、楕円等)55の位置を抽出するものである。
また、モデル情報記録部101では、物体モデル51bの特徴点の位置を上記位置の相関関係に含めて記録する。
また、位置判定部107は、位置検出部106により検出された位置及び特徴点抽出部111により抽出された位置の中から、モデル情報記録部101に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル51bを当該モデル情報記録部101から抽出する。
また、モデル情報記録部101では、物体モデル51bの特徴点の位置を上記位置の相関関係に含めて記録する。
また、位置判定部107は、位置検出部106により検出された位置及び特徴点抽出部111により抽出された位置の中から、モデル情報記録部101に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル51bを当該モデル情報記録部101から抽出する。
次に、実施の形態2に係る物体認識装置1の動作例について図14を用いて説明する。図14に示す実施の形態2に係る物体認識装置1の動作例は、図2に示す実施の形態1に係る物体認識装置1の動作例に、ステップST1401を追加し、ステップST206の動作をステップST1402に変更したものである。それ以外のステップは同様であり、その説明を省略する。
なお、モデル情報記録部101(モデル情報記録ステップ)では、事前に、仮想カメラ50bにより投影された物体モデル51bのエッジ52bの角度の相対関係、及び、当該エッジ52bの位置と特徴点の位置の相対関係を示す情報を記録している。この際、エッジ52bの位置と特徴点の位置の相対関係については、上記物体モデル51bが持つ複数のエッジ52bに対して、同一の角度毎に、当該エッジ52b及び特徴点を投影軸(当該角度方向に対する垂線)に投影した位置を求め、それらの位置を位置分布として集めて記録する。
また、モデル情報記録部101では、物体モデル51bのエッジ52bの角度(基準軸からの絶対角度)、及び、当該物体モデル51bに対応する三次元モデル51aの撮影時の仮想カメラ50bからの距離及び三次元空間における姿勢を示す情報も記録している。更に、モデル情報記録部101では、物体51の三次元モデル51aの三次元空間における任意の点(端、重心、中央の点等)を物体51の三次元空間における位置を表現するための基準点として設定し、画像上の物体モデル51bへの基準点の投影点53bを算出して、同一の角度のエッジ52b毎に、当該エッジ52bから見た基準点の画像上における投影点53bの方向を示す情報も記録している。
なお、モデル情報記録部101は、画像平面内における回転及び移動以外の物体モデル51bの姿勢毎に、上記情報の記録を行う。
なお、モデル情報記録部101は、画像平面内における回転及び移動以外の物体モデル51bの姿勢毎に、上記情報の記録を行う。
またステップST1401(特徴点抽出ステップ)では、特徴点抽出部111が、画像取得部102により取得された画像から特徴点55の位置を抽出する。この特徴点55の抽出手法は従来手法を用いることができ、その説明を省略する。
またステップST1402(位置判定ステップ)では、位置判定部107が、位置検出部106により検出された位置及び特徴点抽出部111により抽出された位置の中から、モデル情報記録部101に記録されたエッジ52bの位置及び特徴点の位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル51bを当該モデル情報記録部101から抽出する。この際、図15に示すように、特徴点抽出部111により抽出された特徴点55を、同一の角度のエッジ52毎に投影軸54に投影した位置を求め、マッチングを行う。
ここで、位置検出部106により検出されるエッジ52の位置及び特徴点抽出部111により抽出される特徴点55の位置自体は、画像平面内における物体51の回転又は移動によって変化する。しかしながら、その位置の相対関係(エッジ52及び特徴点55間の距離)は変化しない。そこで、モデル情報記録部101で上記位置の相対関係をテンプレートとして記録し、画像から検出された位置をテンプレートと照らし合わせることで、上記位置の相対関係と一致率の高い位置を検索し、その検索した位置に対応する物体モデル51bを抽出する。
以上のように、この実施の形態2によれば、特徴点抽出部111が、画像から特徴点55を抽出し、位置判定部107が、位置検出部106により検出された位置及び特徴点抽出部111により抽出された位置の中から、モデル情報記録部101に記録されたエッジ52bの位置及び特徴点の位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデル51bを当該モデル情報記録部101から抽出するように構成したので、実施の形態1に対し、認識対象である物体51に特徴点55がある場合には、この特徴点55を鍵として位置マッチングを行うことができ、認識の効率化及び高速化を更に向上することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1 物体認識装置
101 モデル情報記録部
102 画像取得部
103 エッジ抽出部
104 角度検出部
105 角度判定部
106 位置検出部
107 位置判定部
108 物体認識部
109 画像内回転角度位置推定部
110 三次元位置姿勢推定部
111 特徴点抽出部
101 モデル情報記録部
102 画像取得部
103 エッジ抽出部
104 角度検出部
105 角度判定部
106 位置検出部
107 位置判定部
108 物体認識部
109 画像内回転角度位置推定部
110 三次元位置姿勢推定部
111 特徴点抽出部
Claims (7)
- モデル情報記録部が、仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録ステップと、
画像取得部が、画像を取得する画像取得ステップと、
エッジ抽出部が、前記画像取得部により取得された画像からエッジを抽出するエッジ抽出ステップと、
角度検出部が、前記エッジ抽出部により抽出されたエッジの角度を検出する角度検出ステップと、
角度判定部が、前記角度検出部により検出された角度の中から、前記モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定ステップと、
位置検出部が、前記角度判定部により検索された角度に対応するエッジの位置を検出する位置検出ステップと、
位置判定部が、前記位置検出部により検出された位置の中から、前記モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定ステップと、
物体認識部が、前記角度判定部及び前記位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置と前記モデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識ステップと
を有する物体認識方法。 - 前記角度検出ステップにおいて、前記角度検出部は、検出した角度のうち、値の近いものを同一の角度としてまとめる
ことを特徴とする請求項1記載の物体認識方法。 - 前記位置検出ステップにおいて、前記位置検出部は、前記角度判定部により検索された同一の角度毎に、対応するエッジを当該角度方向に対する垂線に投影した位置を、前記エッジの位置として検出する
ことを特徴とする請求項2記載の物体認識方法。 - 前記モデル情報記録ステップにおいて、前記モデル情報記録部は、物体モデルに対応する三次元モデルが撮影された際の当該三次元モデルの仮想カメラからの距離及び三次元空間における姿勢を示す情報を記録し、
画像内回転角度位置推定部が、前記物体認識部により認識された物体のエッジの角度及びエッジの位置から、当該物体の画像平面内における前記物体モデルに対する回転角度及び画像平面内における位置を推定する画像内回転角度位置推定ステップと、
三次元位置姿勢推定部が、前記画像内回転角度位置推定部により推定された物体の回転角度及び位置と、前記物体認識部により物体と認識された物体モデルに関する前記モデル情報記録部に記録された対応する三次元モデルの仮想カメラからの距離及び三次元空間における姿勢から、当該物体の三次元空間における位置及び姿勢を推定する三次元位置姿勢推定ステップとを有する
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の物体認識方法。 - 特徴点抽出部が、前記画像取得部により取得された画像から特徴点の位置を抽出する特徴点抽出ステップを有し、
前記モデル情報記録ステップにおいて、前記モデル情報記録部は、前記物体モデルの特徴点の位置を前記位置の相関関係に含めて記録し、
前記位置判定ステップにおいて、前記位置判定部は、前記位置検出部により検出された位置及び前記特徴点抽出部により抽出された位置の中から、前記モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する
ことを特徴とする請求項1から請求項4のうちのいずれか1項記載の物体認識方法。 - 前記モデル情報記録ステップにおいて、前記モデル情報記録部は、画像平面内での回転及び移動以外の前記物体モデルの姿勢毎に、前記情報を記録する
ことを特徴とする請求項1から請求項5のうちのいずれか1項記載の物体認識方法。 - 仮想カメラにより物体の三次元モデルが撮影されて生成された投影像である物体モデルの、エッジの角度の相対関係及び当該エッジの位置の相対関係を示す情報を記録するモデル情報記録部と、
画像を取得する画像取得部と、
前記画像取得部により取得された画像からエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの角度を検出する角度検出部と、
前記角度検出部により検出された角度の中から、前記モデル情報記録部に記録された角度の相対関係との一致率が閾値以上である角度を検索し、当該検索した角度に対応する物体モデルを当該モデル情報記録部から抽出する角度判定部と、
前記角度判定部により検索された角度に対応するエッジの位置を検出する位置検出部と、
前記位置検出部により検出された位置の中から、前記モデル情報記録部に記録された位置の相対関係との一致率が閾値以上である位置を検索し、当該検索した位置に対応する物体モデルを当該モデル情報記録部から抽出する位置判定部と、
前記角度判定部及び前記位置判定部により抽出された物体モデルの中から、当該角度判定部及び当該位置判定部により検索された角度及び位置と前記モデル情報記録部に記録された角度及び位置の相対関係との一致率が総合的に高いものを物体として認識する物体認識部と
を有する物体認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015220314A JP2017091202A (ja) | 2015-11-10 | 2015-11-10 | 物体認識方法及び物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015220314A JP2017091202A (ja) | 2015-11-10 | 2015-11-10 | 物体認識方法及び物体認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017091202A true JP2017091202A (ja) | 2017-05-25 |
Family
ID=58769005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015220314A Pending JP2017091202A (ja) | 2015-11-10 | 2015-11-10 | 物体認識方法及び物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017091202A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019211981A (ja) * | 2018-06-04 | 2019-12-12 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
WO2020003510A1 (ja) | 2018-06-29 | 2020-01-02 | 富士通株式会社 | 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置 |
WO2021045481A1 (ko) * | 2019-09-04 | 2021-03-11 | 삼성전자 주식회사 | 물체 인식 시스템 및 방법 |
-
2015
- 2015-11-10 JP JP2015220314A patent/JP2017091202A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019211981A (ja) * | 2018-06-04 | 2019-12-12 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
JP7178803B2 (ja) | 2018-06-04 | 2022-11-28 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
WO2020003510A1 (ja) | 2018-06-29 | 2020-01-02 | 富士通株式会社 | 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置 |
WO2021045481A1 (ko) * | 2019-09-04 | 2021-03-11 | 삼성전자 주식회사 | 물체 인식 시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5771413B2 (ja) | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 | |
US9177404B2 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
JP5715833B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
JP6044293B2 (ja) | 3次元物体認識装置および3次元物体認識方法 | |
JP4709668B2 (ja) | 3次元物体認識システム | |
JP4951498B2 (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
CN108345821B (zh) | 面部追踪方法及设备 | |
WO2016016496A2 (es) | Procedimiento para identificar el gesto de una mano | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
CN110111389B (zh) | 一种基于slam的移动增强现实跟踪注册方法和系统 | |
EP3624060A1 (en) | Information processing device, information processing method, and program | |
WO2022237048A1 (zh) | 位姿获取方法、装置、电子设备、存储介质及程序 | |
JP5093591B2 (ja) | 三次元位置姿勢計測方法および装置 | |
US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
JP2014102810A (ja) | 被写体認識装置、被写体認識方法および被写体認識プログラム | |
JP2009129237A (ja) | 画像処理装置及びその方法 | |
JP2017091202A (ja) | 物体認識方法及び物体認識装置 | |
JP2017097578A (ja) | 情報処理装置及び方法 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
JP2013196268A (ja) | 対象物検出装置および対象物検出方法 | |
JP2019012497A (ja) | 部位認識方法、装置、プログラム、及び撮像制御システム | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
JP2014106856A (ja) | 画像認識方法および画像認識装置 | |
KR101482850B1 (ko) | 손 모양 인식 방법 및 그 장치 |