JP2011238105A - ワーク種別判別装置、及び、ワーク種別判別方法 - Google Patents

ワーク種別判別装置、及び、ワーク種別判別方法 Download PDF

Info

Publication number
JP2011238105A
JP2011238105A JP2010110163A JP2010110163A JP2011238105A JP 2011238105 A JP2011238105 A JP 2011238105A JP 2010110163 A JP2010110163 A JP 2010110163A JP 2010110163 A JP2010110163 A JP 2010110163A JP 2011238105 A JP2011238105 A JP 2011238105A
Authority
JP
Japan
Prior art keywords
workpiece
data
image
unit
creating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010110163A
Other languages
English (en)
Inventor
Masakazu Kawano
正和 川野
Daisuke Asami
大輔 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010110163A priority Critical patent/JP2011238105A/ja
Publication of JP2011238105A publication Critical patent/JP2011238105A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】同一のラインで多品種のワークをラフな姿勢で配置して搬送する場合でも、搬送工程の後工程でワークを取出すためのワーク位置の算出とワーク種別の判別とを短い処理時間で行うことのできる、ワーク種別判別装置、及び、ワーク種別判別方法を提供する。
【解決手段】ワーク種別判別装置10でワークWの車種を判別する方法は、モデル作成工程(ステップS11)と、姿勢計測用データ作成工程(ステップS12)と、車種判別用データ作成工程(ステップS13)と、撮影工程(ステップS14)と、ワーク位置算出工程(ステップS15)と、データ限定工程(ステップS16)と、車種判別工程(ステップS17)と、取出工程(ステップS18)と、を備える。
【選択図】図3

Description

本発明は、ワーク種別判別装置、及び、ワーク種別判別方法に関し、詳しくは、位置決め精度の低い多品種のワークの種別を判別する技術に関する。
従来、自動車等の製造過程において、同一のラインで多品種のワークを搬送する搬送機が用いられている。このような搬送機においては、製造コストを低減させる観点から、ワークの位置決め精度を低くして、即ち、ワークをラフな姿勢で搬送機に配置して搬送する方法が用いられている。
一方、搬送工程の後工程で取出しロボットがワークを取出す際に、ワークにおける取出しロボットに把持される箇所が、ワークの種別(適用される車種)ごとに異なる場合があることから、ワークの位置を算出するとともに、ワークの種別を判別する必要がある。このため、ワークの搬送が終わった段階で、ワーク及びワークにおける判別部をカメラ等の撮影手段によって撮影し、ワークの種別を判別し、ワークの位置を算出する技術が用いられている。具体的には、撮影手段で撮影されたワーク(判別部)の画像と、予め登録されたワークの画像とを照合することにより、ワークの種別を判別し、ワークの位置を算出するのである。
しかし、前記の如くワークをラフな姿勢で搬送機に配置して搬送している場合は、撮影手段で撮影されるワークの姿勢が毎回異なるため、撮影されたワークの画像と、予め登録されたワークの画像とを正確に照合することが困難であった。つまり、撮影されたワークの画像と、予め登録されたワークの画像と、のマッチング評価値が低くなり、ワークの種別を正しく判別することができない可能性があったのである。
前記の問題を解決するために、ワークの3次元モデルをCADデータとして作成し、該3次元モデルを複数の位置から撮影した画像データベースを用いる技術が知られている(例えば、特許文献1参照)。
前記特許文献に記載の技術を用いる場合は、撮影手段で撮影されたワークの画像と、ピラミッドレベル型データベースとして作成した前記画像データベースと、を照合することにより、ワークの種別を判別する。これにより、撮影されたワークの姿勢に対応して、画像データベースからワークの画像を選択することができるのである。即ち、撮影手段で撮影されるワークの姿勢が毎回異なっていても、撮影されたワークの画像と、画像データベースから選択したワークの画像と、のマッチング評価値が下がることを防止できるため、ワークの種別を正しく判別することができるのである。
特開2009−93611号公報
前記特許文献に記載の技術を用いる際には、ピラミッドレベル型データベースとして作成する前記画像データベースにおいて、3次元モデルを複数の位置から撮影する角度の許容範囲が大きい場合は、画像データベースからワークの画像を選択するための処理時間が長くなるという課題がある。
一方、前記従来技術を同一のラインで多品種のワークを搬送する搬送機に用いる場合は、搬送工程の後工程でワークを取出すためには、前記の如くワークの位置の算出と、ワークの種別の判別とをそれぞれに行わなければならない。このため、ワークの位置(姿勢)についての照合作業と、ワークの種別についての照合作業と、のそれぞれが必要となる。
これらのことから、3次元モデルを複数の位置から撮影する角度の許容範囲が大きい場合には、撮影手段で撮影されたワークの画像と、画像データベースから選択したワークの画像と、の照合を行う際に処理時間が長くなることがあった。つまり、撮影角度の許容範囲の拡大に伴って、ワークの位置(姿勢)についての照合作業に必要な処理時間と、ワークの種別についての照合作業に必要な処理時間と、のそれぞれがともに長くなるため、最終的にワークの種別を判別するためのサイクルタイムが延びるという問題があったのである。
そこで本発明は、上記現状に鑑み、同一のラインで多品種のワークをラフな姿勢で配置して搬送する場合でも、搬送工程の後工程でワークを取出すためのワーク位置の算出とワーク種別の判別とを短い処理時間で行うことのできる、ワーク種別判別装置、及び、ワーク種別判別方法を提供するものである。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、請求項1においては、ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成手段と、前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成手段と、前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成手段と、前記ワークを、前記判別部とともに撮影する、撮影手段と、前記姿勢計測用データと、前記撮影手段で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出手段と、前記判別用データを、前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定する、データ限定手段と、前記データ限定手段で限定した前記判別用データと、前記撮影工程で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別手段と、を備えるものである。
請求項2においては、ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成手段と、前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成手段と、前記ワークを、前記判別部とともに撮影する、撮影手段と、前記姿勢計測用データと、前記撮影手段で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出手段と、前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定して、前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成手段と、前記判別用データと、前記撮影手段で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別手段と、を備えるものである。
請求項3においては、ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成工程と、前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成工程と、前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成工程と、前記ワークを、前記判別部とともに撮影する、撮影工程と、前記姿勢計測用データと、前記撮影工程で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出工程と、前記判別用データを、前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定する、データ限定工程と、前記データ限定工程で限定した前記判別用データと、前記撮影工程で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別工程と、を備えるものである。
請求項4においては、ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成工程と、前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成工程と、前記ワークを、前記判別部とともに撮影する、撮影工程と、前記姿勢計測用データと、前記撮影工程で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出工程と、前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定して、前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成工程と、前記判別用データと、前記撮影工程で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別工程と、を備えるものである。
本発明の効果として、以下に示すような効果を奏する。
本発明により、同一のラインで多品種のワークをラフな姿勢で配置して搬送する場合でも、搬送工程の後工程でワークを取出すためのワーク位置の算出とワーク種別の判別とを短い処理時間で行うことができる。
第一実施形態に係るワーク種別判別装置の概略図。 同じくワーク種別判別装置のブロック構成図。 同じくワーク種別判別装置でワークの種別を判別するフローチャートを示した図。 同じくワーク種別判別装置における各種データの作成手順を示した図。 姿勢計測用データの作成方法を説明した図。 撮影したワークの画像と姿勢計測用データとの照合方法を示した図。 車種判別用データを限定する方法を示した図。 車種判別用データを限定する方法を説明した図。 撮影した車種判別部の画像と限定した車種判別用データとの照合方法を示した図。 第二実施形態に係るワーク種別判別装置のブロック構成図。 同じくワーク種別判別装置でワークの種別を判別するフローチャートを示した図。 同じくワーク種別判別装置における姿勢計測用データの作成手順を示した図。 同じくワーク種別判別装置における車種判別用データの作成方法を示した図。 同じくワーク種別判別装置における車種判別用データの作成方法を説明した図。 第三実施形態に係るワーク種別判別装置の概略図。
次に、発明の実施の形態を説明する。
なお、本発明の技術的範囲は以下の実施例に限定されるものではなく、本明細書及び図面に記載した事項から明らかになる本発明が真に意図する技術的思想の範囲全体に、広く及ぶものである。
[ワーク種別判別装置10]
まず始めに、本発明の第一実施形態に係るワーク種別判別装置10の概略について、図1及び図2を用いて説明する。
本実施形態に係るワーク種別判別装置10は図1に示す如く、汎用型の電子計算機11、及び、該電子計算機11に内蔵される制御手段12とフィールドネットワーク通信機器等によりそれぞれ電気的に接続された、入力手段31、出力手段32、撮影手段33、取出手段34を主な要素として備える。さらに図2に示す如く、電子計算機11はその内部に、制御手段12とそれぞれ電気的に接続された記憶手段13、工程制御手段15、及び、各種の演算を行う演算手段17を備えている。
前記の各種手段について、例えば、入力手段31としては、電子計算機11に接続されたキーボードやマウス等が用いられる。入力手段31からは、ワークWの初期データや演算プログラム等が入力される。出力手段32としては、電子計算機11に接続されたモニタ等が用いられる。出力手段32では、演算手段17による演算結果等が出力される。
撮影手段33としては、図1中の矢印Aに示す方向にワーク搬送機71の上で搬送されたワークWの撮影を行うものとして、CCDカメラが用いられる。ここで、ワークWの判定精度を高めるためには、撮影手段33として画素数の高いCCDカメラを用いることが望ましい。撮影手段33は、アナログカメラ又はデジタルカメラの何れについても用いることが可能である。
なお、ワーク搬送機71の上で搬送されるワークWは、図1に示す如く、種別(本実施形態においては、適用される車種)ごとに形状が異なっている。そして、ワークWは後述するように判別部である車種判別部Wjを備えており、この車種判別部WjによってワークWの種別である車種が判別可能に構成されている(図4参照)。また、ワーク搬送機71においては、それぞれのワークWはラフな姿勢で配置されており、ワークWごとにその配置される姿勢が少しずつ異なっている。
取出手段34としては、ワーク搬送機71で搬送が終了したワークWの取出しを行うものとして多関節ロボットが用いられる。多関節ロボットの他には、直交ロボットを用いることも可能である。なお、本実施形態に係るワーク種別判別装置10におけるワークWの車種を判別するという目的は、取出手段34を配設しない構成でも達成することが可能である。本実施形態に係るワーク種別判別装置10においては取出手段34を備えることにより、車種を判別した後に、その車種情報に基づいてワークWをワーク搬送機71から取出す構成としている。
制御手段12や工程制御手段15としては、電子計算機11に接続されている前記各手段の動作や作業工程を制御する制御盤等が用いられる。なお、工程制御手段15を電子計算機11の外部に別途設ける構成にすることも可能である。また、取出手段34の制御盤を電子計算機11の外部に別途設ける構成にすることも可能である。
記憶手段13や演算手段17としては、電子計算機におけるRAMやROM等からなる記憶部や、CPUからなる演算処理部等が用いられる。演算手段17には画像処理を行う画像処理ボードが配設される。
記憶手段13には、ワークWに関するCAD(Computer Aided Design)データの情報や、その他演算処理を実行するためのプログラム等が格納される。
演算手段17は、後述するように、モデル作成手段21と、姿勢計測用データ作成手段22と、判別用データ作成手段である車種判別用データ作成手段23と、ワーク位置算出手段24と、データ限定手段25と、種別判別手段である車種判別手段26と、を備える。
[ワーク種別判別方法]
次に、上記の如く構成されたワーク種別判別装置10において、ワークWの種別である車種を判別する方法を、図3から図9を用いて説明する。
本実施形態に係るワーク種別判別装置10でワークWの車種を判別する方法は、図3に示す如く、モデル作成工程(ステップS11)と、姿勢計測用データ作成工程(ステップS12)と、判別用データ作成工程である車種判別用データ作成工程(ステップS13)と、撮影工程(ステップS14)と、ワーク位置算出工程(ステップS15)と、データ限定工程(ステップS16)と、種別判別工程である車種判別工程(ステップS17)と、取出工程(ステップS18)と、を備える。以下、各工程について順に説明する。
まず、モデル作成工程(ステップS11)においては図4中の矢印a及び矢印bに示す如く、モデル作成手段21が、ワークWの3次元モデルMを、前記ワークWにおける車種判別部Wjの3次元モデルMjとともに、CADデータとして作成する。具体的には、モデル作成手段21が、予め記憶手段13に記憶されていたワークWの画像に基づいて、ワークWの3次元モデルM及び車種判別部Wjの3次元モデルMjを作成するのである。
この際、それぞれのCADデータにおける座標系はともに、基準点からの緯度λ、経度φ、距離dで表される同一の球座標系(λ、φ、d)が用いられる(図5及び図8参照)。本実施形態においては、球座標系の基準点はワークWにおける車種判別部Wjの位置としている。
なお、本実施形態で用いる座標系は、ワークWの3次元モデルMと車種判別部Wjの3次元モデルMjとが同じであれば、球座標系に限定されるものではない。即ち、x座標、y座標、z座標からなるxyz直交座標系を用いて、それぞれの3次元データを作成することも可能である。
次に、姿勢計測用データ作成工程(ステップS12)においては図4中の矢印cに示す如く、姿勢計測用データ作成手段22が、ワークWの3次元モデルMに基づいて、ワークWを複数の位置pから撮影した画像データベースである姿勢計測用データを作成する。具体的には図5に示す如く、CADデータであるワークWの3次元モデルMの球座標系(λ、φ、d)において、多数の位置p(撮影視点)ごとに、3次元モデルMを撮影した場合の2次元の画像データを作成する。そして、このようにして作成された画像データのデータベースを、姿勢計測用データとするのである。作成した姿勢計測用データは、記憶手段13に記憶される。
前記姿勢計測用データを作成する際は、先行技術文献として記載した特許文献1である、「特開2009−93611号公報」に記載の技術を用いることが可能である。即ち、画像データベースである姿勢計測用データを、画像データが粗く分類された上位の階層から、下位の階層となるに従って、細分化して枝分れしていくように階層化されたピラミッドレベル型データベースとして作成することができる。ただし、姿勢計測用データは前記ピラミッドレベル型データベースに限定されるものではなく、例えばそれぞれの位置pからの画像データを階層化しない方法を採用することも可能である。
次に、車種判別用データ作成工程(ステップS13)においては姿勢計測用データ作成工程(ステップS12)と同様に、図4中の矢印dに示す如く、車種判別用データ作成手段23が、車種判別部Wjの3次元モデルMjに基づいて、車種判別部Wjを複数の位置pから撮影した画像データベースである車種判別用データ(判別用データ)を作成する。この場合においても、座標系は姿勢計測用データと同じ球座標系(λ、φ、d)が用いられる。作成した車種判別用データは、記憶手段13に記憶される。
次に、撮影工程(ステップS14)においては、撮影手段33が、ワークWを車種判別部Wjとともに撮影する。
次に、ワーク位置算出工程(ステップS15)においては、図6に示す如く、ワーク位置算出手段24が、記憶手段13に記憶されている姿勢計測用データと、撮影手段33で撮影したワークWの画像と、を照合することにより、ワークWを撮影した位置pfの座標(λ1、φ1、d1)を算出する。詳細には、姿勢計測用データとして記憶されているワークWの3次元モデルMに関する画像データのうち、撮影手段33で撮影したワークWの画像と最も近似する画像データにおけるワークWを撮影した位置pの座標(λ、φ、d)を、ワークWを撮影した位置(以下、単に「ワークWの位置」と表現する)pf(λ1、φ1、d1)とするのである。
より具体的には、本実施形態において撮影手段33の位置は定められているため、ワークWと撮影手段33との相対的な位置関係が定まれば、ワークWの位置が求められる。つまり、ワークWを基準として撮影手段33で撮影した位置pf(λ1、φ1、d1)を求めることにより、逆算的にワークWが配置されている位置を求めることが可能となるのである。
なお、姿勢計測用データを、前記の如く階層化されたピラミッドレベル型データベースとして作成していた場合は、撮影したワークWの画像と最も近似する画像データを短い探索経路で求めることができるため、本工程における処理を簡略化することができる。即ち、本工程における処理時間を短縮することが可能となる。
次に、データ限定工程(ステップS16)においては、図7中の矢印eに示す如く、データ限定手段25が、記憶手段13に記憶されている車種判別用データを、ワーク位置算出工程で算出したワークWの位置pf(λ1、φ1、d1)に対応する画像データの周辺のみに限定する。具体的には、車種判別用データは、CADデータである車種判別部Wjの3次元モデルMjの球座標系(λ、φ、d)において、多数の位置pj(撮影視点)ごとに、3次元モデルMを撮影した場合の画像データのデータベースとして記憶されている。この車種判別用データを、図8に示す如く、ワークWの位置pf(λ1、φ1、d1)に対応する画像データの周辺のみに限定して記憶手段13に記憶するのである。車種判別用データを限定する際には、例えばワークWの位置pf(λ1、φ1、d1)を中心とした所定の半径寸法の範囲内に存在する車種判別用データに限定することが行われる。この際に、車種判別用データは姿勢計測用データと同じ球座標系(λ、φ、d)を用いているため、ワークWの位置pf(λ1、φ1、d1)をそのまま利用することが可能となる。
次に、車種判別工程(ステップS17)においては、図9に示す如く、車種判別手段26が、データ限定工程で限定した車種判別用データと記撮影工程で撮影した車種判別部Wjの画像と、を照合することにより、ワークWの車種を判別する。詳細には、車種判別用データとして限定して記憶されている車種判別部Wjの3次元モデルMjに関する画像データのうち、撮影手段33で撮影した車種判別部Wjの画像と最も近似する画像データの車種が、ワークWの車種であると判断するのである。
この際、前記データ限定工程で車種判別用データを限定しているため、撮影した車種判別部Wjの画像と最も近似する画像データを短時間で求めることができる。つまり、車種判別用データを限定しない構成と比較して、本工程における処理を簡略化することができ、処理時間を短縮することが可能となるのである。
次に、取出工程(ステップS18)においては、車種判別工程(ステップS17)で判断されたワークWの車種に基づいてワークWを把持する箇所を決定する。そして、取出手段34が撮影手段33に対してワークWの位置pf(λ1、φ1、d1)に対応する箇所に位置するワークWを把持し、ワークWを取出すのである。
上記の如く、本実施形態に係るワーク種別判別装置10においては、車種判別用データをワーク位置算出工程で算出したワークWの位置(λ1、φ1、d1)の周辺におけるデータのみに限定して、ワークWの種別についての照合作業を行う構成としている。これにより、ワークWの車種の判別処理を簡略化することができ、処理時間を短縮することが可能となる。詳細には、3次元モデルを複数の位置から撮影する角度の許容範囲が大きく、ワークの位置(姿勢)についての照合作業に必要な処理時間が長くなった場合であっても、ワークの種別についての照合作業に必要な処理時間が延びることを防止できるのである。即ち、同一のラインで多品種のワークWをラフな姿勢で配置して搬送する場合でも、搬送工程の後工程でワークWを取出すための、ワークWの位置の算出とワークWの種別の判別とを短い処理時間で行うことが可能となるのである。
なお、本実施形態に係るワーク種別判別装置10で行うワーク種別判別方法については、電子計算機11にモデル作成工程(ステップS11)から取出工程(ステップS18)までの手順を実行させるためのプログラムを作成し、該プログラムを電子計算機11で実行することにより行うことも可能である。また、前記プログラムは電子計算機11で読取可能な記録媒体に記録することも可能である。
[第二実施形態]
次に、本発明の第二実施形態に係るワーク種別判別装置110について、図10を用いて説明する。なお、以下の実施形態に係るワーク種別判別装置の説明において、既出の第一実施形態と相違する部分を中心に説明することとし、既出の実施形態と共通する部分については同符号を付してその説明を省略する。
図10に示す如く、本実施形態に係るワーク種別判別装置110においては、前記実施形態と同様に、汎用型の電子計算機11と、該電子計算機11に内蔵される制御手段12にフィールドネットワーク通信機器等によりそれぞれ電気的に接続された、入力手段31と、出力手段32と、撮影手段33と、取出手段34と、を主な要素として備える。さらに、電子計算機11はその内部に、制御手段12とそれぞれ電気的に接続された記憶手段13、工程制御手段15、及び、各種の演算を行う演算手段117を備えている。
演算手段117は、モデル作成手段121と、姿勢計測用データ作成手段122と、判別用データ作成手段である車種判別用データ作成手段123と、ワーク位置算出手段124と、種別判別手段である車種判別手段126と、を備える。
次に、上記の如く構成されたワーク種別判別装置110において、ワークWの種別である車種を判別する方法を、図11から図14を用いて説明する。
本実施形態に係るワーク種別判別装置110でワークWの車種を判別する方法は、図11に示す如く、モデル作成工程(ステップS21)と、姿勢計測用データ作成工程(ステップS22)と、撮影工程(ステップS23)と、ワーク位置算出工程(ステップS24)と、判別用データ作成工程である車種判別用データ作成工程(ステップS25)と、種別判別工程である車種判別工程(ステップS26)と、取出工程(ステップS27)と、を備える。以下、各工程について順に説明する。
まず、モデル作成工程(ステップS21)においては、前記第一実施形態と同様に、図12中の矢印a及び矢印bに示す如く、モデル作成手段121が、ワークWの3次元モデルMを、前記ワークWにおける車種判別部(判別部)Wjの3次元モデルMjとともに、CADデータとして作成する。この際、それぞれのCADデータにおける座標系はともに、基準点からの緯度λ、経度φ、距離dで表される同一の球座標系(λ、φ、d)が用いられる(図14参照)。
次に、姿勢計測用データ作成工程(ステップS22)においても前記第一実施形態と同様に、図12中の矢印cに示す如く、姿勢計測用データ作成手段122が、ワークWの3次元モデルMに基づいて、ワークWを複数の位置pから撮影した画像データベースである姿勢計測用データを作成する。具体的には、CADデータであるワークWの3次元モデルMの球座標系(λ、φ、d)において、多数の位置p(撮影視点)ごとに、3次元モデルMを撮影した場合の2次元の画像データを作成する。そして、このようにして作成された画像データのデータベースを、姿勢計測用データとするのである。作成した姿勢計測用データは、記憶手段13に記憶される。
次に、撮影工程(ステップS23)においては、撮影手段33が、ワークWを車種判別部Wjとともに撮影する。
次に、ワーク位置算出工程(ステップS24)においては、前記第一実施形態と同様に、ワーク位置算出手段124が、記憶手段13に記憶されている姿勢計測用データと、撮影手段33で撮影したワークWの画像と、を照合することにより、ワークWを撮影した位置(以下、単に「ワークWの位置」と表現する)pfの座標(λ2、φ2、d2)を算出するのである。
次に、車種判別用データ作成工程(ステップS25)においては、図13中の矢印dに示す如く、車種判別用データ作成手段123が、ワーク位置算出工程で算出したワークWの位置に対応する画像データの周辺のみに限定して、車種判別部Wjの3次元モデルMjに基づいて、車種判別部Wjを複数の位置から姿勢計測用データと同じ球座標系(λ、φ、d)で撮影した画像データベースである車種判別用データを作成する。具体的には、図14に示す如く、ワークWの位置pf(λ2、φ2、d2)に対応する画像データの周辺のみに限定して撮影した画像データベースである車種判別用データ(判別用データ)を作成するのである。このように車種判別用データを作成する際には、例えばワークWの位置pf(λ2、φ2、d2)を中心とした所定の半径寸法の範囲内における位置のみに限定して車種判別用データを作成することが行われる。この際に、車種判別部Wjの3次元モデルMjのCADデータにおける座標系は、姿勢計測用データと同じ球座標系(λ、φ、d)を用いているため、ワークWの位置pf(λ2、φ2、d2)をそのまま利用することが可能となる。作成した車種判別用データは、記憶手段13に記憶するのである。
このように、本実施形態に係る車種判別用データ作成工程で作成された車種判別用データは、ワークWの位置pf(λ2、φ2、d2)に対応する画像データの周辺のみに限定されたものであるため、データ容量を小さくすることができる。つまり、車種判別用データを作成する際に、ワークWの位置pfの座標(λ2、φ2、d2)を用いて、姿勢計測用データよりも撮影する角度の許容範囲(基準点からの緯度λ、経度φの幅)を小さく設定しているのである。これにより車種判別用データのデータ容量を下げることができるため、車種判別工程におけるメモリ使用量を下げると同時に処理時間を短くすることが可能となるのである。
次に、車種判別工程(ステップS26)においては、前記第一実施形態と同様に、車種判別手段126が、車種判別用データ作成工程で作成した車種判別用データと記撮影工程で撮影した車種判別部Wjの画像と、を照合することにより、ワークWの種別(本実施形態においては車種)を判別する。詳細には、車種判別用データとして記憶されている車種判別部Wjの3次元モデルMjに関する画像データのうち、撮影手段33で撮影した車種判別部Wjの画像と最も近似する画像データの車種が、ワークWの車種であると判断するのである。
次に、取出工程(ステップS27)においては、車種判別工程(ステップS26)で判断されたワークWの車種に基づいてワークWを把持する箇所を決定する。そして、取出手段34が撮影手段33に対してワークWの位置pf(λ2、φ2、d2)に対応する箇所に位置するワークWを把持し、ワークWを取出すのである。
上記の如く、本実施形態に係るワーク種別判別装置110においては、車種判別用データを、ワークWの位置pf(λ2、φ2、d2)に対応する画像データの周辺のみに限定して作成するため、データ容量を小さくすることができる。即ち、車種判別用データのデータ容量を下げることができるため、車種判別におけるメモリ使用量を下げると同時に処理時間を短くすることが可能となるのである。
なお、本実施形態に係るワーク種別判別装置110で行うワーク種別判別方法については、電子計算機11にモデル作成工程(ステップS21)から取出工程(ステップS27)までの手順を実行させるためのプログラムを作成し、該プログラムを電子計算機11で実行することにより行うことも可能である。また、前記プログラムは電子計算機11で読取可能な記録媒体に記録することも可能である。
[第三実施形態]
次に、本発明の第三実施形態に係る組付部の位置算出方法について、図15を用いて説明する。
本実施形態に係るワーク種別判別装置210と、前記第一実施形態に係るワーク種別判別装置10と、の違いは、撮影手段及びその制御装置を、姿勢計測用と車種判別用の2個ずつ備える点である。具体的には図15に示す如く、ワーク種別判別装置210は、電子計算機211・311と、それぞれの電子計算機211・311に電気的に接続された、入力手段231・331と、出力手段232・332と、撮影手段233・333と、取出手段34と、を主な要素として備えるのである。
本実施形態においては、電子計算機211、入力手段231、出力手段232、及び、撮影手段233を、姿勢計測用とし、電子計算機311、入力手段331、出力手段332、及び、撮影手段333を、車種判別用としている。即ち、第一実施形態における演算手段17(モデル作成手段21、姿勢計測用データ作成手段22、車種判別用データ作成手段23、ワーク位置算出手段24、データ限定手段25、車種判別手段26)は、その役割に応じて、ワークWの姿勢計測に必要なものは電子計算機211の演算手段に、ワークWの車種判別に必要なものは電子計算機311の演算手段に備えられるのである。
本実施形態においては上記の如く、撮影手段及びその制御装置について、姿勢計測用と車種判別用の2個ずつ配設することにより、姿勢計測と車種判別に関する作業を分担することが可能となる。即ち、それぞれの作業の処理時間を短縮することができるのである。
10 ワーク種別判別装置
11 電子計算機
17 演算手段
33 撮影手段
W ワーク

Claims (4)

  1. ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成手段と、
    前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成手段と、
    前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成手段と、
    前記ワークを、前記判別部とともに撮影する、撮影手段と、
    前記姿勢計測用データと、前記撮影手段で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出手段と、
    前記判別用データを、前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定する、データ限定手段と、
    前記データ限定手段で限定した前記判別用データと、前記撮影工程で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別手段と、を備える、
    ことを特徴とする、ワーク種別判別装置。
  2. ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成手段と、
    前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成手段と、
    前記ワークを、前記判別部とともに撮影する、撮影手段と、
    前記姿勢計測用データと、前記撮影手段で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出手段と、
    前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定して、前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成手段と、
    前記判別用データと、前記撮影手段で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別手段と、を備える、
    ことを特徴とする、ワーク種別判別装置。
  3. ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成工程と、
    前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成工程と、
    前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成工程と、
    前記ワークを、前記判別部とともに撮影する、撮影工程と、
    前記姿勢計測用データと、前記撮影工程で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出工程と、
    前記判別用データを、前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定する、データ限定工程と、
    前記データ限定工程で限定した前記判別用データと、前記撮影工程で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別工程と、を備える、
    ことを特徴とする、ワーク種別判別方法。
  4. ワークの3次元モデルを、前記ワークが備える判別部の3次元モデルとともに、CADデータとして作成する、モデル作成工程と、
    前記ワークの3次元モデルに基づいて、前記ワークを複数の位置から撮影した画像データベースである姿勢計測用データを作成する、姿勢計測用データ作成工程と、
    前記ワークを、前記判別部とともに撮影する、撮影工程と、
    前記姿勢計測用データと、前記撮影工程で撮影した前記ワークの画像と、を照合することにより、前記ワークの位置を算出する、ワーク位置算出工程と、
    前記ワーク位置算出手段で算出した前記ワークの位置に対応する画像データの周辺のみに限定して、前記判別部の3次元モデルに基づいて、前記判別部を複数の位置から前記姿勢計測用データと同じ座標軸で撮影した画像データベースである判別用データを作成する、判別用データ作成工程と、
    前記判別用データと、前記撮影工程で撮影した前記判別部の画像と、を照合することにより、前記ワークの種別を判別する、種別判別工程と、を備える、
    ことを特徴とする、ワーク種別判別方法。
JP2010110163A 2010-05-12 2010-05-12 ワーク種別判別装置、及び、ワーク種別判別方法 Pending JP2011238105A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010110163A JP2011238105A (ja) 2010-05-12 2010-05-12 ワーク種別判別装置、及び、ワーク種別判別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010110163A JP2011238105A (ja) 2010-05-12 2010-05-12 ワーク種別判別装置、及び、ワーク種別判別方法

Publications (1)

Publication Number Publication Date
JP2011238105A true JP2011238105A (ja) 2011-11-24

Family

ID=45326000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010110163A Pending JP2011238105A (ja) 2010-05-12 2010-05-12 ワーク種別判別装置、及び、ワーク種別判別方法

Country Status (1)

Country Link
JP (1) JP2011238105A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184907A (ja) * 2014-03-24 2015-10-22 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置および画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184907A (ja) * 2014-03-24 2015-10-22 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置および画像処理プログラム

Similar Documents

Publication Publication Date Title
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
US11850760B2 (en) Post-detection refinement based on edges and multi-dimensional corners
CN108044627A (zh) 抓取位置的检测方法、装置及机械臂
US11654571B2 (en) Three-dimensional data generation device and robot control system
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
JP6649796B2 (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
US10776657B2 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
KR20160003776A (ko) 자세 추정 방법 및 로봇
JP6983828B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
US11625842B2 (en) Image processing apparatus and image processing method
JP4766269B2 (ja) 物体検出方法、物体検出装置、及びそれを備えたロボット
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
JP5093591B2 (ja) 三次元位置姿勢計測方法および装置
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
JP2000304509A (ja) 物体特定方法及び装置
JPWO2020090897A1 (ja) 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
JP2009216480A (ja) 三次元位置姿勢計測方法および装置
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
JP2011238105A (ja) ワーク種別判別装置、及び、ワーク種別判別方法
Nakazato et al. FPGA-based stereo vision system using census transform for autonomous mobile robot
Hashimoto et al. A survey and technology trends of 3D features for object recognition
Bhuyan et al. Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation
CN112529960A (zh) 目标对象的定位方法、装置、处理器和电子装置
CN117475397B (zh) 基于多模态传感器的目标标注数据获取方法、介质及设备