JP2010184300A - 姿勢変更システムおよび姿勢変更方法 - Google Patents
姿勢変更システムおよび姿勢変更方法 Download PDFInfo
- Publication number
- JP2010184300A JP2010184300A JP2009028228A JP2009028228A JP2010184300A JP 2010184300 A JP2010184300 A JP 2010184300A JP 2009028228 A JP2009028228 A JP 2009028228A JP 2009028228 A JP2009028228 A JP 2009028228A JP 2010184300 A JP2010184300 A JP 2010184300A
- Authority
- JP
- Japan
- Prior art keywords
- target
- posture
- extracting
- work
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】ワークの位置や姿勢に関する情報を迅速に取得し、取得した情報に基づいてワークの姿勢を迅速に変更する。
【解決手段】ワーク姿勢変更装置5は、ワーク130の姿勢を変更するロボット10と、設計データを取得するCADデータ取得部114と、設計データに基づいてワーク130の形状を抽出する形状抽出部112と、ワーク130の撮影画像を出力するデジタルカメラ20と、撮影方向とワーク130の面の法線方向の成す角度を算出し、算出した角度の変化からワーク130のエッジを推定するエッジ推定部116と、ワーク130の形状に基づきワーク130の特徴を抽出する方法を決定する特徴抽出方法決定部110と、撮影画像に対して画像処理を行うことにより、ワーク130の姿勢に関する情報を取得する画像処理部102と、姿勢の情報に基づいて、ワーク130の姿勢を変更すべくロボット10を制御するロボット制御部122と、を備える。
【選択図】図2
【解決手段】ワーク姿勢変更装置5は、ワーク130の姿勢を変更するロボット10と、設計データを取得するCADデータ取得部114と、設計データに基づいてワーク130の形状を抽出する形状抽出部112と、ワーク130の撮影画像を出力するデジタルカメラ20と、撮影方向とワーク130の面の法線方向の成す角度を算出し、算出した角度の変化からワーク130のエッジを推定するエッジ推定部116と、ワーク130の形状に基づきワーク130の特徴を抽出する方法を決定する特徴抽出方法決定部110と、撮影画像に対して画像処理を行うことにより、ワーク130の姿勢に関する情報を取得する画像処理部102と、姿勢の情報に基づいて、ワーク130の姿勢を変更すべくロボット10を制御するロボット制御部122と、を備える。
【選択図】図2
Description
本発明は、姿勢変更システムおよび姿勢変更方法に関する。
組み立て工程が自動化された生産ラインにおいて、構成する部品を正確に把持して組み立てるために、供給される部品の位置や姿勢を正確に知る必要がある。この場合、部品の輪郭を取得することにより、位置や姿勢を知ることができるが、例えば、直方体や円柱体のように対称性が高い部品は、部品の輪郭を取得しても位置や姿勢を正確に取得できない。このような場合、供給された部品の様態を検出するための方法として、下記特許文献1に示すように、レンジファインダにより部品の各部との距離を計測し、計測した距離の情報を統計処理して部品の位置姿勢を取得する方法が知られている。
しかしながら、レンジファインダのような測距手段により部品の各部との距離を検出する方法は、多数の箇所での測距作業が都度必要であり、距離の計測に多くの時間を要することに加え、多数の計測点における距離の情報を統計処理して面の情報とするのに更に多くの時間を要した。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
[適用例1]
本適用例にかかる姿勢変更システムは、目標物の姿勢を変更する変更手段と、前記目標物の設計データを取得する取得手段と、取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、前記目標物を撮影して撮影画像を出力する撮影手段と、前記撮影手段が前記目標物を撮影する撮影方向、および抽出した前記形状に基づき前記目標物の複数の面の法線方向の成す角度をそれぞれ算出し、算出したそれぞれの前記角度の変化から前記目標物のエッジを推定する推定手段と、抽出した前記目標物の形状に基づき、前記目標物の特徴を抽出する方法を決定する決定手段と、前記撮影画像に対して画像処理を行うことにより、推定した前記目標物のエッジを抽出すると共に、決定した前記方法により前記目標物の特徴を抽出し、前記目標物の姿勢に関する情報を取得する画像処理手段と、取得した前記姿勢に関する情報に基づいて、前記目標物の姿勢を変更すべく前記変更手段を制御する制御手段と、を備えることを特徴とする。
本適用例にかかる姿勢変更システムは、目標物の姿勢を変更する変更手段と、前記目標物の設計データを取得する取得手段と、取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、前記目標物を撮影して撮影画像を出力する撮影手段と、前記撮影手段が前記目標物を撮影する撮影方向、および抽出した前記形状に基づき前記目標物の複数の面の法線方向の成す角度をそれぞれ算出し、算出したそれぞれの前記角度の変化から前記目標物のエッジを推定する推定手段と、抽出した前記目標物の形状に基づき、前記目標物の特徴を抽出する方法を決定する決定手段と、前記撮影画像に対して画像処理を行うことにより、推定した前記目標物のエッジを抽出すると共に、決定した前記方法により前記目標物の特徴を抽出し、前記目標物の姿勢に関する情報を取得する画像処理手段と、取得した前記姿勢に関する情報に基づいて、前記目標物の姿勢を変更すべく前記変更手段を制御する制御手段と、を備えることを特徴とする。
このような構成によれば、取得した目標物の設計データに基づいて形状を抽出し、抽出した形状に基づく目標物の複数の面の法線方向の成す方向と、撮影する方向との成す角度の変化から目標物のエッジを推定すると共に、抽出した目標物の形状に基づき、目標物の特徴を抽出する方法を決定する。更に、撮影画像に画像処理を施して、推定したエッジを抽出すると共に、目標物の特徴を抽出する、最適な方法により特徴を抽出することにより、目標物の姿勢に関する情報を取得し、目標物の姿勢を変更すべく変更手段を制御する。従って、目標物の設計データから目標物のエッジの推定や目標物の特徴を決定し、画像処理により推定したエッジを検出し、目標物の特徴を抽出することにより、目標物の面に関する情報を取得できるため、目標物の位置や姿勢に関する情報を迅速かつ正確に取得でき、取得した情報に基づいて、目標物の姿勢を迅速に変更できる。
[適用例2]
上記適用例にかかる姿勢変更システムにおいて、前記推定手段は、前記撮影方向と前記法線方向にそれぞれ単位ベクトルを定義し、2つの前記単位ベクトルの内積に基づいて、前記角度を算出することが好ましい。
上記適用例にかかる姿勢変更システムにおいて、前記推定手段は、前記撮影方向と前記法線方向にそれぞれ単位ベクトルを定義し、2つの前記単位ベクトルの内積に基づいて、前記角度を算出することが好ましい。
このような構成によれば、撮影方向と法線方向の成す角度を高速かつ正確に算出できる。
[適用例3]
上記適用例にかかる姿勢変更システムにおいて、前記画像処理手段は、前記目標物のエッジを前記推定手段が推定した結果に基づいて抽出するエッジ抽出手段と、前記目標物の特徴を前記決定手段が決定した方法に基づいて抽出する特徴抽出手段と、前記撮影画像を2値化処理することにより、前記目標物の輪郭を抽出する輪郭抽出手段と、を備えることが好ましい。
上記適用例にかかる姿勢変更システムにおいて、前記画像処理手段は、前記目標物のエッジを前記推定手段が推定した結果に基づいて抽出するエッジ抽出手段と、前記目標物の特徴を前記決定手段が決定した方法に基づいて抽出する特徴抽出手段と、前記撮影画像を2値化処理することにより、前記目標物の輪郭を抽出する輪郭抽出手段と、を備えることが好ましい。
[適用例4]
本適用例にかかる姿勢変更方法は、目標物の設計データを取得する工程と、取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、前記目標物を撮影して撮影画像を出力する工程と、前記目標物を撮影する撮影方向、および抽出した前記形状に基づき前記目標物の複数の面の法線方向の成す角度をそれぞれ算出し、算出したそれぞれの前記角度の変化から前記目標物のエッジを推定する工程と、抽出した前記目標物の形状に基づき、前記目標物の特徴を抽出する方法を決定する工程と、前記撮影画像に対して画像処理を行うことにより、推定した前記目標物のエッジを抽出すると共に、決定した前記方法により前記目標物の特徴を抽出し、前記目標物の姿勢に関する情報を取得する工程と、取得した前記姿勢に関する情報に基づいて、前記目標物の姿勢を変更する工程と、を備えることを特徴とする。
本適用例にかかる姿勢変更方法は、目標物の設計データを取得する工程と、取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、前記目標物を撮影して撮影画像を出力する工程と、前記目標物を撮影する撮影方向、および抽出した前記形状に基づき前記目標物の複数の面の法線方向の成す角度をそれぞれ算出し、算出したそれぞれの前記角度の変化から前記目標物のエッジを推定する工程と、抽出した前記目標物の形状に基づき、前記目標物の特徴を抽出する方法を決定する工程と、前記撮影画像に対して画像処理を行うことにより、推定した前記目標物のエッジを抽出すると共に、決定した前記方法により前記目標物の特徴を抽出し、前記目標物の姿勢に関する情報を取得する工程と、取得した前記姿勢に関する情報に基づいて、前記目標物の姿勢を変更する工程と、を備えることを特徴とする。
このような方法によれば、取得した目標物の設計データに基づいて形状を抽出し、抽出した形状に基づく目標物の複数の面の法線方向の成す方向と、撮影する方向との成す角度の変化から目標物のエッジを推定すると共に、抽出した目標物の形状に基づき、目標物の特徴を抽出する方法を決定する。更に、撮影画像に画像処理を施して、推定したエッジを抽出すると共に、目標物の特徴を抽出する、最適な方法により特徴を抽出することにより、目標物の姿勢に関する情報を取得し、目標物の姿勢を変更すべく変更手段を制御する。従って、目標物の設計データから目標物のエッジの推定や目標物の特徴を決定し、画像処理により推定したエッジを検出し、目標物の特徴を抽出することにより、目標物の面に関する情報を取得できるため、目標物の位置や姿勢に関する情報を迅速かつ正確に取得でき、取得した情報に基づいて、目標物の姿勢を迅速に変更できる。
以下、姿勢変更システムの一形態として、ワーク姿勢変更装置について図面を参照して説明する。
(実施形態)
図1は、ワーク姿勢変更装置5の概観を示す図である。このワーク姿勢変更装置5は、ロボット10と、このロボット10を制御するロボット制御装置50を備え、ベルト搬送装置150により一定方向に搬送される目標物であるワーク130の載置姿勢を検出し、必要に応じて、ロボット10がワーク130を把持して、ワーク130を所定の姿勢に変更し、ベルト搬送装置150に載置する機能を有する。
ロボット10は、目標物の姿勢を変更する変更手段であり、設置面に設置される基体であるロボットベース25、設置面との鉛直軸で回転する第一軸11、アーム17Aを水平軸で回転する第二軸12、アーム17Aの軸方向に回転する第三軸13、アーム17Aに固定され、アーム17Bを水平方向に回転する第四軸14、アーム17Bの軸方向に回転する第五軸15、および、アーム17Bに固定され、手首18を水平方向に回転する第六軸16のそれぞれを移動部とする六軸制御の多関節産業用ロボットである。この手首18の先端にはハンド19が装着される。このハンド19は、供給される部品を掴み、所定の姿勢に変更して組み立て作業を行う。
図1は、ワーク姿勢変更装置5の概観を示す図である。このワーク姿勢変更装置5は、ロボット10と、このロボット10を制御するロボット制御装置50を備え、ベルト搬送装置150により一定方向に搬送される目標物であるワーク130の載置姿勢を検出し、必要に応じて、ロボット10がワーク130を把持して、ワーク130を所定の姿勢に変更し、ベルト搬送装置150に載置する機能を有する。
ロボット10は、目標物の姿勢を変更する変更手段であり、設置面に設置される基体であるロボットベース25、設置面との鉛直軸で回転する第一軸11、アーム17Aを水平軸で回転する第二軸12、アーム17Aの軸方向に回転する第三軸13、アーム17Aに固定され、アーム17Bを水平方向に回転する第四軸14、アーム17Bの軸方向に回転する第五軸15、および、アーム17Bに固定され、手首18を水平方向に回転する第六軸16のそれぞれを移動部とする六軸制御の多関節産業用ロボットである。この手首18の先端にはハンド19が装着される。このハンド19は、供給される部品を掴み、所定の姿勢に変更して組み立て作業を行う。
これらの駆動軸は、何れも図示を略したモータや空圧機器等により動作する複数のアクチュエータ30(図2)の駆動により回動するように構成され、複数のアクチュエータ30は、ロボット制御装置50からケーブル85を介して送られる制御信号に基づいて駆動するように構成されている。
尚、本実施形態では、部品の姿勢を変更して組み立てる手段として六軸制御の多関節産業用ロボットを採用したが、これに限定されるものではなく、スカラー型のロボットであっても良く、また、それぞれ一方向に駆動する駆動手段を多段に組み合わせた専用機、例えば、ピックアンドプレースユニットであっても良い。
尚、本実施形態では、部品の姿勢を変更して組み立てる手段として六軸制御の多関節産業用ロボットを採用したが、これに限定されるものではなく、スカラー型のロボットであっても良く、また、それぞれ一方向に駆動する駆動手段を多段に組み合わせた専用機、例えば、ピックアンドプレースユニットであっても良い。
ロボット制御装置50は、コンピュータ80、ディスプレイ82、キーボード84およびデジタルカメラ20を備える。コンピュータ80は、それぞれ図示を略したCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、シーケンサ、ロボットコントローラおよびドライブユニット等からなるハードウェア資源と、ROMやHDD等に記憶された種々のソフトウェアとが有機的に協働することにより、後述する各機能部の機能を実現している。
また、撮影手段としてのデジタルカメラ20は、ワーク130を撮影可能な位置に設置され、図示を略したCCD(Charge Coupled Device)のような撮像素子によりワーク130に適した撮影条件で撮影し、撮影した画像信号はケーブル85を介してコンピュータ80に送るように構成されている。尚、本実施形態では、デジタルカメラ20はロボット10と別々に設置されているが、ロボット10の手首18に設置された様態であっても良い。また、デジタルカメラ20の視点は、ロボット制御装置50からの指示に応じて、自在に変更できるように構成されても良い。
また、撮影手段としてのデジタルカメラ20は、ワーク130を撮影可能な位置に設置され、図示を略したCCD(Charge Coupled Device)のような撮像素子によりワーク130に適した撮影条件で撮影し、撮影した画像信号はケーブル85を介してコンピュータ80に送るように構成されている。尚、本実施形態では、デジタルカメラ20はロボット10と別々に設置されているが、ロボット10の手首18に設置された様態であっても良い。また、デジタルカメラ20の視点は、ロボット制御装置50からの指示に応じて、自在に変更できるように構成されても良い。
図2は、ワーク姿勢変更装置5の機能構成を示す図である。ロボット制御装置50は、ワーク姿勢検出部100、ロボット制御部122およびドライバ124を備える。また、ワーク姿勢検出部100は、画像処理部102、特徴抽出方法決定部110、形状抽出部112、CAD(Computer Aided Design)データ取得部114、エッジ推定部116およびロボット移動指示部120を備え、ワーク130の姿勢を検出する。
CADデータ取得部114は、CADデータベース126からワーク130の設計データ(CADデータ)を取得する取得手段である。尚、CADデータベース126は、ロボット制御装置50のコンピュータ80に保持されても良く、また、外部のサーバに保持され、通信を介して取得されても良い。CADデータ取得部114により取得されたCADデータは、形状抽出部112に送られる。
CADデータ取得部114は、CADデータベース126からワーク130の設計データ(CADデータ)を取得する取得手段である。尚、CADデータベース126は、ロボット制御装置50のコンピュータ80に保持されても良く、また、外部のサーバに保持され、通信を介して取得されても良い。CADデータ取得部114により取得されたCADデータは、形状抽出部112に送られる。
形状抽出部112は、CADデータ取得部114から送られるCADデータを解析し、ワーク130に関する3次元形状を抽出する抽出手段である。本実施形態では、CADデータは、IGES(Initial Graphics Exchange Specification)やVRML(Virtual Reality Modeling Language)等でワーク130が記述されているデータを想定する。また、CADデータの解析に限定されず、CADデータを操作するアプリケーションを介して3次元形状を抽出しても良い。形状抽出部112で抽出された3次元形状に関する情報は、特徴抽出方法決定部110およびエッジ推定部116に送られる。
エッジ推定部116は、角度算出部118を備え、形状抽出部112から送られる3次元形状に関する情報に基づいて、ワーク130の表面の角度変動を算出し、算出した角度変動に基づいて、ワーク130が有するエッジを推定する推定手段である。このエッジ推定部116の機能についての詳細について、ワーク130とデジタルカメラ20の関係を示す図3を参照して説明する。尚、この図3のワーク130は直方体状であり、上面の中央部から離れた位置には、下面に向かって貫通する貫通穴135が形成されている。この貫通穴135は、ワーク130の形状特徴の1つである。
エッジ推定部116は、角度算出部118を備え、形状抽出部112から送られる3次元形状に関する情報に基づいて、ワーク130の表面の角度変動を算出し、算出した角度変動に基づいて、ワーク130が有するエッジを推定する推定手段である。このエッジ推定部116の機能についての詳細について、ワーク130とデジタルカメラ20の関係を示す図3を参照して説明する。尚、この図3のワーク130は直方体状であり、上面の中央部から離れた位置には、下面に向かって貫通する貫通穴135が形成されている。この貫通穴135は、ワーク130の形状特徴の1つである。
角度算出部118は、以下の手順により、デジタルカメラ20の光軸とワーク130の各面とで規定される角度(qij)を算出する。
1.ワーク130の3次元形状の表面に垂直な法線ベクトルVM1〜VM6をそれぞれ算出する。本実施形態では、これらの法線ベクトルVM1〜VM6(以降、一般化してVMiと記載する。)は、所定の基準座標系上で定義され、長さが1の単位ベクトルを想定する。この場合、基準座標系は、世界座標系やデジタルカメラ20のカメラ座標系等の何れの座標系であっても良い。
2.デジタルカメラ20の位置情報、またはデジタルカメラ20とワーク130の相対的な位置情報を基準座標系上で取得する。
1.ワーク130の3次元形状の表面に垂直な法線ベクトルVM1〜VM6をそれぞれ算出する。本実施形態では、これらの法線ベクトルVM1〜VM6(以降、一般化してVMiと記載する。)は、所定の基準座標系上で定義され、長さが1の単位ベクトルを想定する。この場合、基準座標系は、世界座標系やデジタルカメラ20のカメラ座標系等の何れの座標系であっても良い。
2.デジタルカメラ20の位置情報、またはデジタルカメラ20とワーク130の相対的な位置情報を基準座標系上で取得する。
3.上記で取得した位置情報に基づき、単位ベクトルであってデジタルカメラ20の撮影方向に沿った視点ベクトルVCjを算出する。本実施形態では、デジタルカメラ20の撮影方向は、ピンホールモデルに従い、レンズの焦点中心からワーク130の各領域に向かうベクトルで撮影方向を定義する。尚、視点ベクトルVCjは、デジタルカメラ20の視点に応じて複数である。
4.法線ベクトルVMiと視点ベクトルVCjとの内積を算出し、算出した内積に基づいてデジタルカメラ20の光軸とワーク130の各面とで規定される角度(qij)を算出する。より詳細には、基準座標系の原点を起点とした法線ベクトルVMiの座標を(XM,YM,ZM)とし、同様に、視点ベクトルVCjの座標を(XC,YC,ZC)とすると、以下の式により算出できる。
4.法線ベクトルVMiと視点ベクトルVCjとの内積を算出し、算出した内積に基づいてデジタルカメラ20の光軸とワーク130の各面とで規定される角度(qij)を算出する。より詳細には、基準座標系の原点を起点とした法線ベクトルVMiの座標を(XM,YM,ZM)とし、同様に、視点ベクトルVCjの座標を(XC,YC,ZC)とすると、以下の式により算出できる。
qij=COS-1(XM×XC+YM×YC+ZM×ZC)・・・「式1」
エッジ推定部116は、角度算出部118が算出したワーク130の各面での角度(qij)が一定値以上に変動する2つの面の交線を特定し、この交線の近傍にエッジが存在すると推定し、エッジの発生位置および発生方向を含むエッジに関する情報を取得する。この場合、エッジの形状は、直角部分には限定されず、どのような角度であっても良く、曲面部分であっても良い。更に、エッジ推定部116は、推定したエッジを抽出する方法やパラメータ等を決定する。また、エッジ推定部116は、必要に応じてデジタルカメラ20の視点を変更し、エッジに関する情報を更に取得しても良い。エッジ推定部116が推定したエッジの情報は、画像処理部102のエッジ抽出部108と特徴抽出方法決定部110に送られる。
特徴抽出方法決定部110は、形状抽出部112から送られるワーク130の3次元形状に関する情報に基づき、ワーク130の貫通穴135のような非対称な形状の特徴箇所についてのワーク130内の位置情報や特徴の種類を記憶する決定手段である。また、エッジ推定部116から送られるエッジの情報から、エッジで示される特徴が略周期性を示す場合、その周期と特徴の方向に応じてフィルタを生成し、特徴を抽出する方法として決定する。
特徴抽出方法決定部110は、形状抽出部112から送られるワーク130の3次元形状に関する情報に基づき、ワーク130の貫通穴135のような非対称な形状の特徴箇所についてのワーク130内の位置情報や特徴の種類を記憶する決定手段である。また、エッジ推定部116から送られるエッジの情報から、エッジで示される特徴が略周期性を示す場合、その周期と特徴の方向に応じてフィルタを生成し、特徴を抽出する方法として決定する。
このようなフィルタとしては、線型フィルタの一種であるGaborフィルタや、空間フィルタであるSobelフィルタを採用できる。Gaborフィルタは、方向と周期を設定できるので、これらを形状の特徴の周期と方向に合わせることにより、より最適な抽出方法になる。また、Sobelフィルタは、エッジを抽出した後、細線化もしくはエッジの線が伸びる方向に一致を判定することで、形状の特徴とすることができる。更に、ワーク130のように、エッジが円形に並ぶ場合は、円形を抽出するフィルタを生成しても良い。ここで決定された情報は、画像処理部102の特徴抽出部106に送られる。
画像処理部102は、輪郭抽出部104、特徴抽出部106およびエッジ抽出部108を備え、画像処理手段としてデジタルカメラ20が撮影した撮影画像を処理して、ワーク130が載置された姿勢に関する情報を取得する。
画像処理部102は、輪郭抽出部104、特徴抽出部106およびエッジ抽出部108を備え、画像処理手段としてデジタルカメラ20が撮影した撮影画像を処理して、ワーク130が載置された姿勢に関する情報を取得する。
輪郭抽出部104は、撮影画像を2値化処理して輪郭を抽出し、撮影画像中におけるワーク130の占有領域を算出する輪郭抽出手段である。
特徴抽出部106は、特徴抽出方法決定部110で決定した方法により、撮影画像からワーク130の形状特徴を抽出する特徴抽出手段である。ここで、所定の形状特徴が抽出できた場合、ワーク130が正しい姿勢で置かれていると判定できる。
エッジ抽出部108は、エッジ推定部116が推定したエッジの情報およびエッジを抽出する方法やパラメータの情報に基づき、Sobelフィルタ等により撮影画像の中からエッジを抽出するエッジ抽出手段である。
画像処理部102における画像処理により、ワーク130が載置された姿勢が所定の姿勢であるか、否かが判定され、所定の姿勢でない場合、ロボット移動指示部120に対して、ワーク130の姿勢変更を要求する。
特徴抽出部106は、特徴抽出方法決定部110で決定した方法により、撮影画像からワーク130の形状特徴を抽出する特徴抽出手段である。ここで、所定の形状特徴が抽出できた場合、ワーク130が正しい姿勢で置かれていると判定できる。
エッジ抽出部108は、エッジ推定部116が推定したエッジの情報およびエッジを抽出する方法やパラメータの情報に基づき、Sobelフィルタ等により撮影画像の中からエッジを抽出するエッジ抽出手段である。
画像処理部102における画像処理により、ワーク130が載置された姿勢が所定の姿勢であるか、否かが判定され、所定の姿勢でない場合、ロボット移動指示部120に対して、ワーク130の姿勢変更を要求する。
ロボット移動指示部120は、ワーク130の姿勢を変更するために、ロボット10の駆動をロボット制御部122に指示する。
ロボット制御部122とドライバ124は、アーム17等の稼動部の動作を制御する制御手段である。ロボット制御部122は、ワーク130の姿勢変更指示に基づき、ロボット10を移動させるための複数のアクチュエータ30の駆動量を算出し、算出した駆動量に関する駆動情報をドライバ124に送る。ドライバ124は、ロボット制御部122から送られる駆動情報に基づいて、それぞれのアクチュエータ30毎に駆動信号を生成し、それぞれのアクチュエータ30に送る。この結果、アーム17が所定の位置まで移動し、ハンド19がワーク130を把持してワーク130を回転させたり、反転させたりして、ワーク130の姿勢を変更する。
ロボット制御部122とドライバ124は、アーム17等の稼動部の動作を制御する制御手段である。ロボット制御部122は、ワーク130の姿勢変更指示に基づき、ロボット10を移動させるための複数のアクチュエータ30の駆動量を算出し、算出した駆動量に関する駆動情報をドライバ124に送る。ドライバ124は、ロボット制御部122から送られる駆動情報に基づいて、それぞれのアクチュエータ30毎に駆動信号を生成し、それぞれのアクチュエータ30に送る。この結果、アーム17が所定の位置まで移動し、ハンド19がワーク130を把持してワーク130を回転させたり、反転させたりして、ワーク130の姿勢を変更する。
図4は、ワーク姿勢変更装置5によりロボット10がワーク130を把持して姿勢を変更する処理の流れを示すフローチャートである。この処理が実行されると、ロボット制御装置50は、最初に、ワーク130の形状特徴を抽出する抽出方法を決定する(ステップS200)。この処理の詳細については、図5を参照して説明する。
次に、ロボット制御装置50は、取得したCADデータを解析して、ワーク130の表面形状を抽出する(ステップS220)。
次に、ロボット制御装置50は、ワーク130の表面形状の法線ベクトルVMiを算出する(ステップS222)。次に、ロボット制御装置50は、デジタルカメラ20のカメラ位置を設定して、ワーク130に対する視点ベクトルVCjを算出する(ステップS224)。次に、ロボット制御装置50は、法線ベクトルVMiと視点ベクトルVCjとで規定される角度(qij)を算出する(ステップS226)。
次に、ロボット制御装置50は、取得したCADデータを解析して、ワーク130の表面形状を抽出する(ステップS220)。
次に、ロボット制御装置50は、ワーク130の表面形状の法線ベクトルVMiを算出する(ステップS222)。次に、ロボット制御装置50は、デジタルカメラ20のカメラ位置を設定して、ワーク130に対する視点ベクトルVCjを算出する(ステップS224)。次に、ロボット制御装置50は、法線ベクトルVMiと視点ベクトルVCjとで規定される角度(qij)を算出する(ステップS226)。
次に、ロボット制御装置50は、算出した角度(qij)が、一定値以上変化したか、否かを判定する(ステップS228)。ここで、算出した角度(qij)が一定値以上変化したと判定された場合(ステップS228でYes)、ロボット制御装置50は、ワーク130の形状特徴を抽出する方法を決定し、エッジ位置の情報と共に記憶し(ステップS230)、次の工程(ステップS232)に進む。他方で、算出した角度(qij)が一定値以上変化しないと判定された場合(ステップS228でNo)、ステップS232に進む。
ステップS232では、ロボット制御装置50は、デジタルカメラ20のカメラ視点を変更するか、否かを判定する。ここで、デジタルカメラ20のカメラ視点を変更すると判定された場合(ステップS232でYes)、デジタルカメラ20のカメラ視点を変更し、ワーク130に対する視点ベクトルVCjを算出する工程(ステップS224)に戻る。他方で、デジタルカメラ20のカメラ視点を変更しないと判定された場合(ステップS232でNo)、一連の処理(ステップS200)を終了する。
ステップS232では、ロボット制御装置50は、デジタルカメラ20のカメラ視点を変更するか、否かを判定する。ここで、デジタルカメラ20のカメラ視点を変更すると判定された場合(ステップS232でYes)、デジタルカメラ20のカメラ視点を変更し、ワーク130に対する視点ベクトルVCjを算出する工程(ステップS224)に戻る。他方で、デジタルカメラ20のカメラ視点を変更しないと判定された場合(ステップS232でNo)、一連の処理(ステップS200)を終了する。
図4に戻り、ロボット制御装置50は、決定した抽出方法を読み込む(ステップS202)。次に、ロボット制御装置50は、ワーク130を撮影し、撮影画像からワーク130の輪郭を抽出し、ワーク130が占める領域を決定する(ステップS204)。
次に、ロボット制御装置50は、撮影画像中のワーク130の領域から形状の特徴を抽出可能な候補箇所を設定する(ステップS206)。続いて、ロボット制御装置50は、ワーク130の形状の特徴を抽出する(ステップS208)。
次に、ロボット制御装置50は、撮影画像中のワーク130の領域から形状の特徴を抽出可能な候補箇所を設定する(ステップS206)。続いて、ロボット制御装置50は、ワーク130の形状の特徴を抽出する(ステップS208)。
次に、ロボット制御装置50は、ワーク130の位置姿勢を決定するための所定の形状特徴を抽出できたか、否かを判定する(ステップS210)。ここで、所定の形状特徴を抽出できないと判定された場合(ステップS210でNo)、ワーク130の形状特徴が隠蔽されている可能性が高いので、ロボット制御装置50はデジタルカメラ20のカメラ位置またはワーク130の姿勢をロボット10により変更し(ステップS212)、形状の特徴を抽出可能な候補箇所を設定する工程(ステップS206)に戻る。他方で、所定の形状特徴を抽出できたと判定された場合(ステップS210でYes)、一連の処理を終了する。
上述した処理により、軸対称や点対称のような対称性が高いワーク130であっても、ワーク130のエッジや特徴に関する情報を面で取得して位置姿勢を高速かつ確実に取得し、ワーク130を好適な位置姿勢に迅速に変更することができる。
上述した処理により、軸対称や点対称のような対称性が高いワーク130であっても、ワーク130のエッジや特徴に関する情報を面で取得して位置姿勢を高速かつ確実に取得し、ワーク130を好適な位置姿勢に迅速に変更することができる。
以上述べた実施形態によれば、以下のような効果を奏する。
(1)ワーク130の位置姿勢を決定するために必要な撮影箇所は限定されるため、撮影に要する時間や処理に要する時間を短縮できる。
(2)エッジ推定部116や特徴抽出方法決定部110により、一般的な方法ではなく、ワーク130の特徴に最適な方法により特徴を抽出できるので、ワーク130の位置姿勢を精度良く取得できる。
(3)事前にワーク130を撮影したり、パラメータの調整をしたりする必要が無いため、効率的にワーク130に対する検査や生産ができる。
(1)ワーク130の位置姿勢を決定するために必要な撮影箇所は限定されるため、撮影に要する時間や処理に要する時間を短縮できる。
(2)エッジ推定部116や特徴抽出方法決定部110により、一般的な方法ではなく、ワーク130の特徴に最適な方法により特徴を抽出できるので、ワーク130の位置姿勢を精度良く取得できる。
(3)事前にワーク130を撮影したり、パラメータの調整をしたりする必要が無いため、効率的にワーク130に対する検査や生産ができる。
本発明の実施形態について、図面を参照して説明したが、具体的な構成は、この実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、ロボット10は、ワーク130の姿勢を変更した後、ベルト搬送装置150上に載置することなく、部品として組み立て作業を行っても良い。また、ワーク130は、ベルト搬送装置150により供給される様態に限定されず、無造作に積み上げられた状態で供給されても良い。
5…ワーク姿勢変更装置、10…ロボット、11…第一軸、12…第二軸、13…第三軸、14…第四軸、15…第五軸、16…第六軸、17,17A,17B…アーム、18…手首、19…ハンド、20…デジタルカメラ、25…ロボットベース、30…アクチュエータ、50…ロボット制御装置、80…コンピュータ、82…ディスプレイ、84…キーボード、85…ケーブル、100…ワーク姿勢検出部、102…画像処理部、104…輪郭抽出部、106…特徴抽出部、108…エッジ抽出部、110…特徴抽出方法決定部、112…形状抽出部、114…CADデータ取得部、116…エッジ推定部、118…角度算出部、120…ロボット移動指示部、122…ロボット制御部、124…ドライバ、126…CADデータベース、130…ワーク、135…貫通穴、150…ベルト搬送装置。
Claims (4)
- 目標物の姿勢を変更する変更手段と、
前記目標物の設計データを取得する取得手段と、
取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、
前記目標物を撮影して撮影画像を出力する撮影手段と、
前記撮影手段が前記目標物を撮影する撮影方向、および抽出した前記形状に基づき前記目標物の複数の面の法線方向の成す角度をそれぞれ算出し、算出したそれぞれの前記角度の変化から前記目標物のエッジを推定する推定手段と、
抽出した前記目標物の形状に基づき、前記目標物の特徴を抽出する方法を決定する決定手段と、
前記撮影画像に対して画像処理を行うことにより、推定した前記目標物のエッジを抽出すると共に、決定した前記方法により前記目標物の特徴を抽出し、前記目標物の姿勢に関する情報を取得する画像処理手段と、
取得した前記姿勢に関する情報に基づいて、前記目標物の姿勢を変更すべく前記変更手段を制御する制御手段と、を備えることを特徴とする姿勢変更システム。 - 請求項1に記載の姿勢変更システムにおいて、
前記推定手段は、前記撮影方向と前記法線方向にそれぞれ単位ベクトルを定義し、2つの前記単位ベクトルの内積に基づいて、前記角度を算出することを特徴とする姿勢変更システム。 - 請求項1乃至2のいずれかに記載の姿勢変更システムにおいて、
前記画像処理手段は、
前記目標物のエッジを前記推定手段が推定した結果に基づいて抽出するエッジ抽出手段と、
前記目標物の特徴を前記決定手段が決定した方法に基づいて抽出する特徴抽出手段と、
前記撮影画像を2値化処理することにより、前記目標物の輪郭を抽出する輪郭抽出手段と、を備えることを特徴とする姿勢変更システム。 - 目標物の設計データを取得する工程と、
取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、
前記目標物を撮影して撮影画像を出力する工程と、
前記目標物を撮影する撮影方向、および抽出した前記形状に基づき前記目標物の複数の面の法線方向の成す角度をそれぞれ算出し、算出したそれぞれの前記角度の変化から前記目標物のエッジを推定する工程と、
抽出した前記目標物の形状に基づき、前記目標物の特徴を抽出する方法を決定する工程と、
前記撮影画像に対して画像処理を行うことにより、推定した前記目標物のエッジを抽出すると共に、決定した前記方法により前記目標物の特徴を抽出し、前記目標物の姿勢に関する情報を取得する工程と、
取得した前記姿勢に関する情報に基づいて、前記目標物の姿勢を変更する工程と、を備えることを特徴とする姿勢変更方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009028228A JP2010184300A (ja) | 2009-02-10 | 2009-02-10 | 姿勢変更システムおよび姿勢変更方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009028228A JP2010184300A (ja) | 2009-02-10 | 2009-02-10 | 姿勢変更システムおよび姿勢変更方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010184300A true JP2010184300A (ja) | 2010-08-26 |
Family
ID=42765270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009028228A Withdrawn JP2010184300A (ja) | 2009-02-10 | 2009-02-10 | 姿勢変更システムおよび姿勢変更方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010184300A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012105420A1 (ja) * | 2011-02-04 | 2012-08-09 | 住友化学株式会社 | ハニカム構造体の搬送装置、及び、ハニカム構造体の封口方法 |
JP2017033429A (ja) * | 2015-08-05 | 2017-02-09 | 株式会社三次元メディア | 3次元物体検査装置 |
JP2017061025A (ja) * | 2015-09-25 | 2017-03-30 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法及びコンピュータプログラム |
JP2017203701A (ja) * | 2016-05-12 | 2017-11-16 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法およびプログラム |
JP2018061489A (ja) * | 2016-10-14 | 2018-04-19 | 株式会社馬場鐵工所 | 不要部除去装置及び不要部除去方法 |
WO2020136867A1 (ja) * | 2018-12-28 | 2020-07-02 | 株式会社Fuji | 作業ロボット |
-
2009
- 2009-02-10 JP JP2009028228A patent/JP2010184300A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012105420A1 (ja) * | 2011-02-04 | 2012-08-09 | 住友化学株式会社 | ハニカム構造体の搬送装置、及び、ハニカム構造体の封口方法 |
JP2012161865A (ja) * | 2011-02-04 | 2012-08-30 | Sumitomo Chemical Co Ltd | ハニカム構造体の搬送装置、及び、ハニカム構造体の封口方法 |
JP2017033429A (ja) * | 2015-08-05 | 2017-02-09 | 株式会社三次元メディア | 3次元物体検査装置 |
JP2017061025A (ja) * | 2015-09-25 | 2017-03-30 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法及びコンピュータプログラム |
JP2017203701A (ja) * | 2016-05-12 | 2017-11-16 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法およびプログラム |
JP2018061489A (ja) * | 2016-10-14 | 2018-04-19 | 株式会社馬場鐵工所 | 不要部除去装置及び不要部除去方法 |
WO2020136867A1 (ja) * | 2018-12-28 | 2020-07-02 | 株式会社Fuji | 作業ロボット |
JPWO2020136867A1 (ja) * | 2018-12-28 | 2021-09-27 | 株式会社Fuji | 作業ロボット |
JP7177856B2 (ja) | 2018-12-28 | 2022-11-24 | 株式会社Fuji | 作業ロボット |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6331517B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
JP4004899B2 (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
US20210012524A1 (en) | Learning dataset creation method and device | |
WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
Qin et al. | Precise robotic assembly for large-scale objects based on automatic guidance and alignment | |
US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
JP7133283B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
JP4709668B2 (ja) | 3次元物体認識システム | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
CN107680125B (zh) | 在视觉系统中自动选择三维对准算法的系统和方法 | |
JP2010184300A (ja) | 姿勢変更システムおよび姿勢変更方法 | |
JP2010541065A (ja) | 3次元飲料容器位置決定装置 | |
JP2022028860A (ja) | ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法 | |
Lambrecht | Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5228856B2 (ja) | 作業対象物の位置検出方法および位置検出装置 | |
JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
JP2015169515A (ja) | 姿勢推定システム、プログラムおよび姿勢推定方法 | |
Peng et al. | Real time and robust 6D pose estimation of RGBD data for robotic bin picking | |
JP2010214546A (ja) | 組立装置および組立方法 | |
JP6719925B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2010186219A (ja) | テンプレート生成システム、テンプレートマッチングシステムおよびテンプレート生成方法 | |
JP7207396B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2010210376A (ja) | テンプレートマッチングシステムおよびテンプレートマッチング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120501 |