JP2019119027A - ロボットシステムの制御方法、およびロボットシステム - Google Patents
ロボットシステムの制御方法、およびロボットシステム Download PDFInfo
- Publication number
- JP2019119027A JP2019119027A JP2018002236A JP2018002236A JP2019119027A JP 2019119027 A JP2019119027 A JP 2019119027A JP 2018002236 A JP2018002236 A JP 2018002236A JP 2018002236 A JP2018002236 A JP 2018002236A JP 2019119027 A JP2019119027 A JP 2019119027A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- robot arm
- orientation
- robot
- robot system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
【課題】ワークの把持状態を補正するための計測画像を撮像した瞬間のロボットアームの位置姿勢を正確に取得できるようにする。【解決手段】撮像素子(201)によりロボットアーム101で把持されたワーク104を撮像して得た計測画像に基づき、ワーク104の把持姿勢を制御する。アームの移動中、その位置姿勢は時刻と関連付けて記録される。撮像処理では、位置姿勢を取得するよりも短い間隔で、複数回、撮像し、撮像した複数の画像のうち1つを計測画像とする。撮像した複数の画像から、マーク(認識対象部位:210)の重心(特徴量)を取得する。記録されているアームの位置姿勢(R12)に、マーク(210)の重心(特徴量)の変化(Ma)を作用させて、計測画像を撮像した時刻におけるアームの位置姿勢(R11)を取得する。【選択図】図1
Description
本発明は、撮像装置によりロボットアームにより把持されたワークを撮像して得た計測画像に基づき、前記ロボットアームを動作させて前記ワークの位置姿勢を制御するロボットシステムの制御方法、およびロボットシステムに関する。
種々の物品、工業製品の生産システムにおいて、ロボットシステムが利用されている。この種のロボットシステムでは、ロボットアームとそのロボットコントローラ(ロボット制御装置)から成るロボット装置が用いられる。生産システム(生産ライン)に、上記のロボット装置、あるいはさらに他の加工装置、搬送装置などが配置される場合には、システムには統合的な制御を行う生産装置コントローラ(PLC)が配置される場合がある。
種々の物品、工業製品の製造工程において、例えば、ロボットアームがハンドによってワークをトレイから把持して取り出し、さらに組み付ける、といった作業を行わせるには、把持しているワークの把持ずれを正確に認識することが必要になる。このような製造工程では、トレイはワークを置きやすいようにある程度スペースに余裕を持たせているので、その分、ワークの位置姿勢がばらついたり、また、ロボットアームが把持した際に滑りが発生し、ワークが位置ずれを生じたりすることがある。ロボットアームのハンドに対するワークの相対的な位置姿勢が所期の位置姿勢と異なっている状態で、他のワークへの組み付けを行う時、作業を失敗したり、組み付け精度が低下したりする。そこで、近年では、ビジョン(視覚系:具体的にはデジタルカメラのような撮像装置)と、その制御装置、例えばビジョンコントローラ(撮像制御装置)を用いる。その場合、ワークの把持ずれを撮像した視覚的な情報を介して認識し、正しい把持位置に補正する手法が用いられる。
ワークの把持ずれの認識は、ロボットアームが把持しているワークを撮像装置で計測撮像し、撮像した計測画像中のワークの位置計測をする場合に実施される。図13(a)はロボットアーム101のハンド102で正しい把持によるワーク104の位置を示しており、この図13(a)の状態を基準画像として、撮像装置により予め事前撮像しておく。図13(b)は量産時に計測されたワークの位置を示しており、同図の状態は、図13(a)の状態と比較して明らかなように把持ずれを生じている。量産時には、この状態が撮像装置により計測画像として撮像する。そして、例えば、撮像制御装置によって、予め撮像した基準画像と、計測画像とを比較する画像処理を行い、ワークの把持ずれの大きさ、すなわち把持ずれ量を計算する。この把持ずれ量に基づき、ロボットコントローラは、図13(c)に示すように、ロボットアームの位置姿勢を変更して、ワーク104が正しい把持状態となるよう補正する。
この補正は、把持されたワーク104の位置姿勢が例えば作業空間のグローバル座標系に対して所期の把持状態となるよう、ロボットアーム101の位置姿勢を破線の状態から実線の状態に補正するものである。即ち、ワークの把持し直しなどを行なわず、ワークを把持したまま、ロボットアーム101の位置姿勢を変化させることで、ワークの姿勢を基準画像と同じにする制御である。
図13(c)の所期の把持位置への補正には、同図の破線の位置姿勢計測画像(図13(b))を撮像した瞬間のロボットアームの位置姿勢の情報が必要となる。これは、把持ずれ量に基づいて、ロボットアームの位置姿勢を変更するには、変更する前のロボットアームの位置姿勢の情報がなければ、ロボットコントローラがどれだけの量、位置姿勢を変更してよいか計算できないためである。
そのため、旧来のシステムでは、計測画像を撮像した瞬間のロボットアームの位置姿勢を取得するため、撮像時にロボットアームを一時停止させ、その時の位置姿勢を記録するものがあった。ところが、このようにワークの撮像時にロボットアームを一時停止する場合には、ロボットアームの減速時間、撮像とロボットアーム位置取得のための静止時間、再加速時間などを必要とし、タクトタイムが増加するという問題点があった。そこで、ロボットを静止させることなしにワークの画像を撮像し、正しい把持位置に補正できるロボットシステムが望まれている。このような撮像を行うロボットシステムでは、ロボットを静止させず、ロボットアームが移動中においてワークを撮像した瞬間のロボットアームの位置姿勢を取得できなければならない。
一般的に、ロボットコントローラは、一定周期で、例えばエンコーダの制御周期で、ロボットアームの複数関節の位置(関節角度)情報などを読み取ることにより、ロボットアームの位置姿勢を取得している。一方、撮像装置による撮像は、撮像制御装置が制御する。これら2つのコントローラの同期制御はそれほど容易ではなく、ロボットアームの位置情報取得時刻と計測画像の撮像時刻を同期させることができない。
このような問題に鑑み、撮像した時刻の前後の時刻で得たロボットアームの位置情報を利用して、撮像した時刻でのロボットアームの位置情報を推定する構成が提案されている(特許文献1)。この特許文献1の構成では、時刻と関連付けて記録されているロボットアームの位置情報と、撮像時刻を用いた補間によって、撮像時の位置姿勢を推定する。また、ロボットアームの位置情報を更新しているサーボモータの制御系を用いて、ロボットアームの位置情報を取得した瞬間にロボットコントローラから撮像制御装置にトリガ信号を送り撮像を行わせる構成が提案されている(特許文献2)。これにより、ロボットアームの位置情報取得時刻と計測画像の撮像時刻を同期させている。
しかしながら、特許文献1の構成では、撮像した時刻のロボットアームの位置情報の推定精度が位置姿勢の取得周期に依存している問題がある。一般に、ロボットアームでは、位置姿勢の取得周期は、上記の1〜数msec、多くは2〜4msecの場合が多い。また、近年のロボットアームは、1000mm/sec程度の高速度でアーム先端のハンドを移動できるものがある。この1000mm/secのアーム速度において、位置姿勢の取得周期を2msとすると、位置情報は、アーム先端のハンドが約2mm移動するごとに読み込まれる。
もし、アーム先端が直線軌道で動作している場合には、2mmごとの比較的大きな間隔で位置姿勢を取得していても特許文献1のような直線補間でも比較的正確に撮像時の位置姿勢を推定できる可能性がある。しかし、実際の装置では、タクト向上のためアーム先端を円弧軌道で動作させる場合も多い。そして、直線軌道と円弧軌道では数百μmの位置誤差が生じる場合があり、そのため、特許文献1の直線補完による手法で円弧軌道で操作するアームの位置姿勢を取得しようとすると精度劣化が生じる問題がある。
また、特許文献2の構成では、撮像のトリガ信号をロボットコントローラから送信している。このような構成では、コントローラ内で撮像するタイミングに数百msecのトリガディレイが発生し、これにより、特許文献2の方法でも位置情報の精度劣化が生じる問題がある。
本発明の課題は、上記のような事情に鑑み、ロボットアームの移動中に、ワークの把持状態を補正するための計測画像を撮像した時点のロボットアームの位置姿勢を正確に取得できるようにすることにある。
上記課題を解決するために、本発明においては、撮像装置によりロボットアームを撮像して得た計測画像に基づき、前記ロボットアーム位置姿勢を制御するロボットシステムの制御方法において、前記ロボットアームが移動する間、前記ロボットアームの位置姿勢を逐次、取得し、時刻と関連付けて記録する位置姿勢取得工程と、前記ロボットアームが前記撮像装置の撮像画角を移動する間に、前記位置姿勢取得工程が前記位置姿勢を取得するよりも短い間隔で、前記撮像装置により、複数回の撮像を行い、撮像した複数の画像のうちの1つを前記計測画像とする撮像工程と、前記撮像工程で撮像した複数の画像から、撮像されている認識対象部位の特徴量を取得する認識工程と、前記位置姿勢取得工程により記録されている前記ロボットアームの位置姿勢と、前記認識工程で取得した前記認識対象部位の特徴量とに基づき、前記撮像工程において前記計測画像を撮像した時刻における前記ロボットアームの位置姿勢を算出する位置姿勢算出工程と、を制御装置によって実行する構成を採用した。
上記構成によれば、ロボットアームが移動している間に、位置姿勢取得工程で位置姿勢を取得するよりも短い間隔で、撮像装置により、複数回の撮像を行う。そして、撮像されているロボットアームの特定部位の位置に相当する認識対象部位の特徴量の変化を記録されている位置姿勢に作用させて、計測画像を撮像した時刻におけるアームの位置姿勢を取得する。そのため、ワークの把持状態を補正するための計測画像を撮像した時点のロボットアームの位置姿勢を正確に取得することができる。そのため、計測画像に基づき、精度よく、ワークの把持状態を補正することができる。
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
<実施形態1>
図1は、本発明を実施可能なロボットシステム1の構成を示している。図1において、ロボットシステム1は、その先端にエンドエフェクタとしてハンド102を搭載したロボットアーム101を備えている。
図1は、本発明を実施可能なロボットシステム1の構成を示している。図1において、ロボットシステム1は、その先端にエンドエフェクタとしてハンド102を搭載したロボットアーム101を備えている。
図1のハンド102は、ワーク104を把持した状態で示されている。当然ながら、このハンド102はワーク104を把持できるよう先端ツールの開き幅が設計されたものである。このワーク104の把持状態を取得するため、本実施形態のロボットシステム1では、ワーク104と、ワーク104を把持しているハンド102を撮像する撮像装置103が配置されている。
撮像装置103は、例えば、ワーク104の他の部材(不図示)への組み付け位置に向かうロボットアーム101の移動経路の途中、例えば作業工程と次の工程との間の位置などに配置される。図1では、撮像装置103は床面などに設置された状態で図示されているが、壁付けや、天井付けなど、その設置態様は限定されない。
本実施形態では、撮像装置103は、ロボットアーム101を停止させることなく、ロボットアーム101の移動中にワーク104およびワーク104を把持しているハンド102の計測画像を撮像する。この計測画像に対する画像処理、例えば計測画像と予め撮像しておいた基準画像と比較の比較処理、などによって、ワーク104の把持状態を取得することができる。そして計測画像に対する画像処理の結果に基づき、ワーク104の把持状態、例えば作業空間の座標系におけるワーク104の位置姿勢が補正される。
本実施形態のロボットシステムの制御装置は、ロボットの駆動指令を生成するロボットコントローラ105と、撮像装置103(ビジョン)が撮像した画像を処理する撮像制御装置106(ビジョンコントローラ)と、生産装置コントローラとしてのPLC107と、から成る。PLC107は、ロボットアーム101と、ロボットアーム101とともに生産システム(生産ライン)に配置された他の生産装置とのIO信号を司り、生産システム(生産ライン)の動作を統合的に制御する。
ロボットアーム101は、例えば垂直多関節型のロボットアームであり、その各関節軸にはモータ、減速機、およびエンコーダ(不図示)を搭載している。このエンコーダは、例えばロータリーエンコーダであり、各関節軸を駆動する減速機の入力軸や出力軸に装着されている。各関節軸の位置(関節角度)を実測する場合には、より正確にロボットアームの位置姿勢を取得できるよう、例えば減速機の出力軸に装着された出力軸エンコーダが用いられる。
撮像装置103は、例えば図示のような床面配置であり、架台等に固定されているものとする。撮像装置103の詳細については後述するが、撮像装置103はシャッタ速度が数十μmsecの高速度撮影が可能な撮像装置である。また、撮像装置103は、撮像するターゲットやマークの特徴を撮像素子で検出すると、自動的に撮像トリガを発生して撮像を行う機能を有するものとする。
ロボットコントローラ105はロボットアーム101への駆動指令を生成し、フィードバック制御による各関節軸の位置制御を行う。また、エンコーダから取得した各関節軸の位置からロボットアーム101の位置姿勢を算出し、その位置姿勢の情報と、その取得時刻をテーブル化して記憶装置(例えば後述のRAM1603)に記録する。また、ロボットコントローラ105は、撮像制御装置106から受信したワークの把持ずれ量から、ワークを正しい位置にするロボットアームの位置姿勢を算出する機能を有する。
撮像制御装置106は撮像装置103が撮像した画像を取得する。また、撮像制御装置106は、該画像を二値化処理し予め用意したモデルとのモデルマッチング処理を行うことで、撮像されたターゲットの特徴点の座標を算出するなどの画像処理を行う。さらに、撮像制御装置106は、事前に撮像された基準画像の情報を格納し、把持ずれ量を算出する処理を行う。
PLC107は生産システム(ライン)に配置されたロボットアーム101を含む生産装置へのIO信号を統合的に制御し、各装置を動作させ、物品、あるいはその部品の生産を行わせる。PLC107の制御タイミングはラダーソフトなどを用いて設計されており、ロボットコントローラ105や撮像制御装置106と信号を送受信する。
撮像制御装置106とロボットコントローラ105とPLC107は、IEEE 802xネットワークやCCLinkなどの通信手段(図14のネットワークNW)で接続されており、種々の情報をやりとりすることができる。例えば、ロボットコントローラ105は、撮像制御装置106へアーム位置情報と取得時刻を送信することができる。また、撮像制御装置106は、ロボットコントローラ105へ、予め撮像した基準画像と計測画像の比較処理などによって得たワーク104の把持ずれ量やターゲット(後述のマーク210のような認識対象部位)の特徴量を送信することができる。なお、認識対象部位としてのターゲット(例えば後述のマーク210)の特徴量としては、本実施形態ではマーク210のその重心(の撮像した画像中での位置)を用いる。
なお、本実施形態では、処理時間などの諸条件を考慮し、ロボットシステムの制御装置を構成するロボットコントローラ105と撮像制御装置106とPLC107を別体とした構成を示している。しかしながら、よりスペックの高いハードウェアを利用できる場合には、制御装置を構成するこれら3つのコントローラの任意の2つあるいは3つの機能を一体化した総合コントローラを用いても構わない。また、本実施形態では、撮像装置103と撮像制御装置106も別体構成として示している。しかしながら、これら撮像装置103と撮像制御装置106が一体化された構成を用いてもよい。例えば、撮像装置103に高性能CPUや大容量メモリを導入して、一体型のスマートビジョン(スマートカメラ)とし、撮像装置103で本実施形態で撮像制御装置106として示す機能を実行させるようにしてもよい。以下では、ロボットコントローラ105と撮像制御装置106とPLC107が別体、また、撮像装置103と撮像制御装置106が別体である構成を前提として説明する。
ここで、図14に撮像制御装置106、ロボットコントローラ105、生産装置コントローラ(PLC)などの制御系Aとして利用可能なハードウェア構成を示しておく。図示のように、この制御系はCPU1601廻りに配置された各ブロックから成る構成である。なお、図14の制御系Aは、例えば、撮像制御装置106(図4)、ロボットコントローラ105(図3)、生産装置コントローラ(PLC)、あるいは撮像装置103(図2(a))などの制御系として適用できる。図14では、これらの制御装置に特有な部位、特にインターフェース1606、インターフェース1607に接続される周辺装置については図示を省略してある。図14のCPU1601廻りの構成を、上記の各制御装置に適用する場合の特有の構成については、以下で適宜、必要に応じて説明する。
図14の制御系Aのハードウェアは、例えば、CPU1601、ROM1602、RAM1603などを主たる制御手段(制御装置)として用いた構成である。図14の制御系Aは、主制御手段としてのCPU1601、記憶装置としてのROM1602、およびRAM1603を備える。ROM1602には、本実施形態の制御手順を実現するためのCPU1601の制御プログラムや定数情報などを格納しておくことができる。また、RAM1603は、本実施形態の制御手順を実行する時にCPU1601のワークエリアなどとして使用される。
また、図14の制御系Aは、周辺装置に対して制御信号ないし制御データを入出力するためのインターフェース1606、1607を備える。インターフェース1606が入力系のインターフェースとすれば、例えば撮像装置103の場合には、撮像素子201(201a)からの画像データの入力がインターフェース1606によって行われる。例えば、ロボットコントローラ105では、関節角度の入力はインターフェース1606によって、また、アームに対する関節角度指令の出力はインターフェース1607によって行われる。なお、周辺機器インターフェースには、規格、プロトコルなどに応じて同じインターフェースハードウェアを介して入力、出力の双方向の通信を行うものが存在する。従って、厳密にはインターフェース1606、1607は、入力のみ、あるいは出力のみを行うものに限定されるものではなく、接続される機器によっては、入力、出力の双方向の通信を行うインターフェースとして構成されてよい。
撮像制御装置106やロボットコントローラ105にユーザインターフェース装置を配置する場合には、例えばディスプレイおよび操作部などがインターフェース1607に接続される。この操作部は、例えばフルキーボードおよびポインティングデバイスなどから構成することができ、LCDなどから成るディスプレイとともに、例えばトリガエリアの設定などを行う作業者のためのユーザインターフェースを構成する。なお、ロボットコントローラ105の場合、ディスプレイおよび操作部から成るユーザインターフェースは、ティーチングペンダントのような操作端末で構成される場合もある。
図14の制御系Aには、ネットワークNWを介して通信する通信手段としてネットワークインターフェース1605が接続されている。制御系Aが、ロボットコントローラ105であれば、例えば、生産装置コントローラ(PLC)との制御信号の送受信をネットワークインターフェース1605〜ネットワークNWを介して行うことができる。ネットワークインターフェース1605は、例えばIEEE 802.3のような有線通信、IEEE 802.11、802.15のような無線通信による通信規格で構成することができる。しかしながら、ネットワークNWには、CCLinkなど、他の任意の通信規格が採用されていてよい。
なお、後述の制御手順を実現するためのCPU1601の制御プログラムは、HDDやSSDなどから成る外部記憶装置1604や、ROM1602(の例えばEEPROM領域)のような記憶部に格納しておくこともできる。その場合、後述の制御手順を実現するためのCPU1601の制御プログラムは、ネットワークインターフェース1605を介して、上記の各記憶部に供給し、また新しい(別の)プログラムに更新することができる。あるいは、後述の制御手順を実現するためのCPU1601の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。上述の制御手順を実現するためのCPU1601の制御プログラムを格納した状態における各種の記憶手段や記憶部は、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。
次に、図2、図3、図4を参照して、撮像装置103、ロボットコントローラ105、撮像制御装置106の機能的な構成、特徴について、説明する。なお、図2、図3、図4は、これらのコントローラの機能ブロックを示したものであり、各機能ブロックのうち例えば演算処理に係る機能ブロックについては図14に示した制御系Aの演算ハードウェアおよび制御プログラムによって実現することができる。あるいは、演算処理に係る機能ブロックであっても、高速化などを目的として、ハードウェア的な専用回路で実装される実装形態をとっても構わない。
図2(a)は、撮像装置103の機能ブロック構成を、また、図2(b)は撮像装置の撮像画角内に配置されたトリガエリアの機能を示している。図2(a)において、撮像装置103は撮像素子201、レンズ202、演算部203で構成される。演算部203はさらに、演算制御部204、画像入力インターフェース205、画像特徴量計算部206、メモリ207、画像出力インターフェース208を備えている。
以下では、まず、撮像装置103で撮像するときの流れを簡単に説明し、その後、各部の信号、動作を詳細に説明する。
図2(a)の撮像装置103は、図2(b)に示すように、動体撮像の前に実施しておく初期設定などにおいて、撮像素子201の画角内に撮像タイミングを決定するトリガエリア211を配置することができる。撮像装置103は、認識対象部位、例えば下記のマーク210(の画像)がこのトリガエリア211に進入したことを検出でき、そのタイミングで撮像素子201の画角全体の画像(あるいはトリガエリア211内のみの部分画像)を撮像する。基準画像と比較するための計測画像もこのトリガエリア211を用いて決定した撮像タイミングで撮像する。
本実施形態では、ターゲット(認識対象部位)として、ハンド102の特定部位に、マーク210を接着やネジ止めなど任意の手法で装着する。マーク210は、ターゲット(認識対象部位)として画像中で容易に位置や輪郭、重心などの特徴点(量)を測定できるものであれば何でも構わない。本実施形態では、このマーク210に適した素材として再帰反射材から成る再帰反射マークを用いている。
再帰反射マークは、照明光の方向に高輝度かつ高コントラストな反射光(像)を返すため、低負荷の画像認識処理でも、その画像中の位置や輪郭、重心などを容易に検出することができ、この種の用途に適している。なお、本実施形態では、撮像のための照明系については詳細に図示していない。しかしながら、再帰反射マークからの反射光を効率よく撮像できるよう、撮像照明系の光軸は、例えば撮像装置103の撮影光学系の光軸のごく近傍に、同光学系とほぼ平行な方向に配置するのが望ましい。
本実施形態では、マーク210は、トリガエリア211を用いて予め用意した基準画像と比較する計測画像の撮像タイミングを決定する。また、本実施形態では、撮像装置103の撮像素子201の撮像画角内に複数のトリガエリアを配置して、少なくともマーク210が含まれたトリガエリア内の画像(あるいは全画角の画像)を取得する。このマーク210は、ターゲット(認識対象部位)として用いられる。後述するように、複数のトリガエリアで、計測画像の他に少なくとも、この認識対象部位の画像を撮像する。
即ち、本実施形態では、撮像装置103の撮像画角内に、トリガエリア211を複数、例えば周期的に配置し(図6参照)、ワーク104を把持したロボットアーム101が同画角を移動する間に、複数回、撮像する。そのための複数のトリガエリア211は、ロボットコントローラ105でロボットアームの位置姿勢が取得され、時刻とともに記録(ログ)される間隔よりも短い間隔で複数回の撮像を行えるよう配置する。
そして、その複数回の撮像で得た複数の画像のうちの1つを計測画像とする。また、撮像した複数の画像のうち、少なくとも他の1つ(あるいはそれ以上の複数)の画像は、認識対象部位(マーク210)の特徴量を取得するために用いられる。この認識対象部位(マーク210)の特徴量は、後述するように、計測画像を撮像した時刻における前記ロボットアームの位置姿勢を取得するために用いられる(位置姿勢取得工程)。
なお、図2(b)において、認識対象部位としてのマークには、ハンド102に装着された状態でも、あるいは撮像素子201の画角中においても「210」の符号を用いている(後述の各図でも同様)。撮像素子201の画角中ではマーク210は丸印により図示されているが、必ずしもこの形状は、撮像されたマーク210の形状と考える必要はない。例えば後述の画像制御では、この画角中のマーク210を示す丸印はマーク210の特徴量として認識されたマーク210の重心位置として取り扱うことがある。
本実施形態では、1回目の撮像を行うトリガエリア211は、例えばシステムの事前設定におけるユーザ設定により配置するが、2回目(以降)の1ないしそれ以上の数のトリガエリアは自動的に生成する。図2(b)において、ワーク104を把持したロボットアーム101のハンド102が撮像装置103の撮像素子201の画角(撮像範囲)を通過する移動方向が図の左右方向であるとする。その場合、好ましくは、トリガエリア211は、ハンド102が移動する方向とする交差するようなストライプ(細い帯)状の形状とする。
生産システムの量産モードにおける撮像では、ある1つのトリガエリア211をマーク210が通過した時点で撮像装置103のシャッタが切られ、計測画像が撮像される。トリガエリアをオン(検出有効)状態にさせるには、外部信号を撮像装置103の演算制御部204に送信してオンにしてもよいし、演算制御部204に内蔵されるタイマーに従ってオンにしてもよい。例えば、ロボットアーム101が撮像装置103の上空を通過する前に、PLC107の機能を用いてラダーソフトからシーケンサを通じてオンにすることができる。このような制御によって、撮像装置103を常に撮影レディ(可能)状態にしておかなくても、必要なタイミングにおいてのみ、撮像を行うことができる。
次に、図2(a)の撮像装置103の各部の構成、入出力される信号や動作について、説明する。撮像装置103の演算制御部204は、SPI(Serial Peripheral Interface)等の通信により、レンズ202を介し、撮像素子201に取り込まれた光像を撮像させる。
ここでいう画像は2種類あって、一つはトリガエリア211で撮影されたマーク210(あるいはマーク210を含む、例えばトリガエリア211)の画像、もう一つは撮像素子201の画角全体の画像である。これらの撮像素子201が撮像した画像は、例えばLVDS信号として、順次、画像入力インターフェース205へ出力される。画像入力インターフェース205は、LVDS信号として連続的に入力された画像データを、順次、パラレル信号の画像データに変換する。そして画像データを画像特徴量計算部206へ出力する。
画像特徴量計算部206は、入力した画像データに対して画像特徴量を計算する。画像特徴量計算部206の画像特徴量の計算能力はマシンスペックによるが、撮像装置103を低コスト化するため、画像特徴量計算部206では大規模、ないし高負荷な画像処理は行わないものとする。
ここでは画素数が少なく、処理の軽いトリガエリア211で撮影されたマーク210(認識対象部位)の画像処理について説明する。マーク210の画像から検出できる画像特徴量は、例えばトリガエリア211内のマーク210による輝度変化と、マーク210の重心である。撮像トリガ信号をかけるためには、マーク210による輝度変化を用いることができる。すなわち、トリガエリア211をマーク210が通過する時に、マーク210が外乱光もしくは撮像用の照明を反射することで輝度値がトリガエリア211内で上昇する。特にマーク210に再帰反射マークを用いた場合は、高輝度な反射光像が撮像される。従って、例えば輝度値が閾値を超えた時点で、演算制御部204に撮像トリガ信号を送信し、撮像素子201全体の撮像を行うことができる。なお、本実施形態では、後述するようにトリガエリア211は、画角内に複数、生成、配置される。以下では、その各トリガエリアを識別するために「トリガエリア(1)、(2)…」のような序数表記や、「トリガエリアTA1、TA2…」のような参照符号による表記を用いることがある。
また、画像特徴量計算部206は、撮像されたマーク210の画像の特徴量として、マーク210の画像の重心も算出する。これは計測画像を撮影したタイミング(計測画像撮像時刻)におけるロボットアーム位置(あるいは位置姿勢)を特定するために使用される。マーク210の画像の特徴量を用いてロボットアーム位置を決定する手法の細部については、図7で後述する。
撮像された画像は一旦、メモリ207に格納される。メモリ207内にログ(記録)された画像は、システム解析などの目的で画像出力インターフェース208に出力することができる。出力された映像信号は、外部のフレームグラバボードなどで受信し、システム解析などの目的で使用することができる。ただし、本実施形態では、例えばメモリ207に格納された、例えば計測画像の画像データそのものをロボットコントローラ105(やPLC107)に送信することなく、後述の制御手順が行われる。
本実施形態では、撮像装置103は少なくとも単眼、即ち撮像素子201が1つのみあればよいが、撮像装置103はステレオカメラとして構成してもよい。その場合には、撮像素子201に加えて撮像素子201a、レンズ202aを配置する。このようなステレオカメラ構成では、奥行き(Z軸)方向の位置情報を取得することができる。このようなステレオカメラ構成を利用する利点としては、奥行き情報を取得することで、ワークが奥行き方向に傾いた場合でも補正出来ることである。ただし、単眼カメラでもステレオカメラでも、以降に説明する実施形態に変更はない。例えば座標演算を行なう計算式では、Z(軸方向例えば距離)の項に、単眼カメラであれば予め設計された設計値が入り、ステレオカメラであればカメラでの計測値が入る。本実施形態では、理解を容易にするため、単眼カメラで説明するものとする。
なお、本実施形態では、マーク210をロボットアーム101の装着部品であるハンド102に装着しているが、撮像装置103で撮影できる部位であれば、ワーク104でもロボットアーム101に装着しても構わない。また、マーク210はロボットアームの特定部位(の移動)をその特徴量の変化を介して検出するためのものであり、(把持し直しや衝撃などによりワーク位置ずれが起きない場合には)ワーク104にマーク210が装着されていてもよい。また、ロボットアーム101や、ハンド102、ワーク104などに低負荷で認識が容易な特徴量(特徴部位)があれば、それを認識対象部位(ターゲット)としてのマーク210に代用しても構わない。
次に、図3にロボットコントローラ105の機能構成を示す。ロボットアーム位置算出部301は、ロボットアーム101の各関節のエンコーダから取得した各関節軸の位置(関節角度)から、ロボットアーム101の位置姿勢を算出する。ロボットアーム101の位置姿勢は、例えば手先(ハンド102)の基準部位(TCPや、例えばマーク210の装着位置など)の3次元座標によって表現される。
テーブル保管部302は、ロボットアーム位置算出部301が算出したロボットアーム101の位置と、この位置を取得したときの時刻とを関連付けしたテーブルデータ(データベースレコード)を生成し、位置の取得周期で順次記憶する。一般に、このようなロボットアーム位置取得周期は数msecオーダで、ロボットアーム動作中は一定周期で取得する。ロボットコントローラ105は本テーブルデータを参照し、任意の時刻のロボットアーム位置を取得し、また、ロボットアームが任意の位置姿勢における時刻を取得できる。
ロボットアーム位置補正部303は、撮像制御装置106の把持ずれ算出部403(図4により後述する)が算出したワークの把持ずれ量と撮影時間を受信し、把持ずれを修正するようロボットアーム位置を変更する補正量を算出する。補正量の算出方法については後述の図8で説明する。
ロボットアーム動作教示点テーブル保管部304は、組付け動作などロボットアーム101が動作するための教示点がテーブル化されて保管されている。ロボットアーム101は、このテーブルに従ってロボットアーム動作指示部305が発生した指令値(例えば関節角度指令値)に基づき動作する。
また、ロボットアーム動作教示点テーブル保管部304は、ロボットアーム位置補正部303から新たな教示点座標の更新信号が来た場合、テーブルを更新する。よってロボットアーム101は把持ずれを修正して動作をすることができる。
ロボットアーム−撮像装置校正パラメータ保管部306は、ロボット座標系と撮像装置座標系との座標合わせをするパラメータを保管する。校正は事前にユーザで行われる。校正例としては、ロボットアーム101に点マーカー群が埋め込まれた校正プレートを把持させ、撮像装置103で撮像し、撮像装置座標系のマーカーの重心位置とロボット座標系のロボットアーム位置から校正値を求める。本パラメータをロボットアーム位置補正部303に送信し、補正値計算に利用する。
撮像時ロボットアーム位置算出部307は、把持したワークの計測画像を撮像した時点でのロボットアームの位置姿勢を算出する。撮像時ロボットアーム位置算出部307の算出手法については後述する図7で説明する。
次に、図4(a)、(b)を参照して、撮像制御装置106の機能と演算処理につき説明する。図4(a)は、撮像制御装置106の内部構成図である。計測画像データ算出部401は撮像装置103が撮像した計測画像を受信する。そして該計測画像に撮像されたワーク104の特徴量を算出する。
図4(b)は、撮像制御装置106が例えばハンド102で把持されたワーク104の画像から算出する特徴量を模式的に示している。ここでの説明ではマーク210(図2(b))は不要のため、図示省略している。
ユーザは、ワーク104の画像モデルをあらかじめ撮像制御装置106に格納しておくことができる。また、図4(b)のように、ワーク104の画像モデルにおいて特徴点としてP4とP5を設定することができる。その場合、計測画像のワーク104に対して二値化処理をかけ、背景差分処理を行うことでワーク104のみを画像から抽出する。そしてそのワーク104に対して、モデルマッチングを行い、P4とP5の座標を探索する。そうすることでP4とP5の位置座標を求める。そしてP4→P5について直角になるようP6の位置座標を求める。以上、3点を特徴量として算出する。P4、P5、P6はあくまで特徴量であり、例えばマークを貼る必要はない。
図4(a)に戻り、基準画像データ保管部402には予め撮像された正しい把持によるワークの基準画像から算出された特徴量P1、P2、P3が保管されているものとする。一方、把持ずれ算出部403は、基準画像の特徴量P1、P2、P3と、計測画像の特徴量P4、P5、P6から並進方向のずれΔxyと回転方向のずれΔRzを取得する。
図4(c)は、本実施形態において、計測画像(特徴量P4、P5、P6)と基準画像(特徴量P1、P2、P3)を用いてワーク把持ずれ量(Δxy、ΔRz)を取得する手法を模式的に示している。同図では、基準画像(特徴量P1、P2、P3)は破線で示され、計測画像(特徴量P4、P5、P6)が直線で示されている。基準画像のP1と計測画像のP4の差分が並進方向のずれであり、画像座標系に則り並進のずれΔxyを取得できる。また基準画像の特徴量P1、P2、P3でできる傾きと計測画像の特徴量P4、P5、P6でできる傾きの差分を回転方向のずれΔRzとして取得できる。把持ずれ算出部403は、上記の把持ずれ量を算出すると、その把持ずれ量をロボットコントローラ105に送信する。
また、図4(a)において、特徴量保管部404は、撮像装置103が各トリガエリアで算出したマーク210の重心位置を受信し、また、ロボットコントローラ105に対してそのマーク210の重心とその撮影時刻を送信することができる。
設定パラメータ部406は、例えばユーザが設定操作で入力した次のようなパラメータを格納する。例えば、このパラメータには、画素分解能X[mm/1pix]が含まれる。この画素分解能X[mm/1pix]は、撮像画面上の1ピクセルが、実空間のロボット座標系において占める対応する長さに相当する(撮影倍率に依存する)。さらに、設定されるここでパラメータには、ロボットアームの速度V[mm/sec]、ロボットアーム位置取得周期U[msec]、トリガエリアの幅K[pix]、トリガエリアの間隔H[pix]、などが含まれる。
トリガエリア作成部405は、設定パラメータ部406からパラメータを取得し、自動的にトリガエリアを作成する。どのような原理、あるいはルールに基づきトリガエリアを作成するかについては、図6により後述する。
次に、図5を参照して、本実施形態におけるロボット制御につき説明する。図示の手順は、撮像装置103、撮像制御装置106、ロボットコントローラ105などから成る制御系(図14のA)によって実行される。図示の手順は、各コントローラのCPU1601(図14)制御プログラムとして、ROM1602(同)や外部記憶装置1604(同)などに格納される(後述の他のフローチャートに示す制御手順についても同様)。図5の制御手順により、ロボットアーム101を一時停止することなくロボットアーム101が移動中に撮像した計測画像の撮像タイミングにおけるロボットアーム位置(ないし位置姿勢)を取得する。
ステップS501、S502は、生産ライン(システム)を量産モード(S503、S505〜)で動作させるのに先立って、ユーザ(管理者など)が事前に行う作業である。ここでは、まず、ステップS501でワークの把持ずれ補正に用いる計測画像を撮像するため第1のトリガエリア(1)を設定する。なお、(図中では括弧書きを用いないが)本実施形態中ではトリガエリアを識別する序数を用いる場合は、参照符号との混同を避けるため、括弧書きの形式を用いる。ステップS501では、ユーザは、ロボットアーム101が撮像装置103の撮像素子201を横切る向きに対し垂直方向にトリガエリア(1)を作成する。この作業は、撮像制御装置106にディスプレイを接続しておき、例えば、撮像素子201の出力する画像を確認しながら、所望の画角内の位置にマウスなどを用いてトリガエリア(1)を設定する、といったGUIなどによって行う。これにより、ロボットアーム101がどのような軌道で撮像装置103前を通過しても、認識対象部位(マーク210)が撮像視野(画角)内のトリガエリアに進入した時、撮像装置103が撮像を行う。
ステップS502では、撮像制御装置106の設定パラメータ部406に格納するパラメータが設定される。ここで設定するパラメータについては上記の通り、画素分解能X[mm/1pix]、ロボットアームの速度V[mm/sec]、ロボットアーム位置取得周期U[msec]、トリガエリアの幅K[pix]、トリガエリアの間隔H[pix]、などである。
図5のステップS503、S505以降は、生産ラインが、量産モードで稼働する時の制御手順に相当する。
まず、ステップS503で、ロボットアームが動作を始めると、ロボットアーム101は、各関節軸のエンコーダから出力された各関節軸の位置(関節角)をロボットコントローラ105に送信する。ロボットアーム位置算出部301でロボットアーム101の位置(および姿勢)を算出し、例えば取得時刻と合わせてテーブル化して、テーブル保管部302(図3)に格納する。
ステップS504では、ロボットアーム101がワーク104を把持する。把持後、ロボットアーム101はロボットコントローラ105の教示点テーブル保管部304に格納されている教示点データに基づき、指定された教示点へ移動を開始する。この時のロボットアーム101の動作、例えば教示点間の軌道などについては、ロボットアーム動作指示部305によって制御される。
図5のステップS505〜S511は、撮像制御装置106の制御に相当する。ステップS505でステップS504の後のロボットアーム101の動作として、ロボットアーム101がワーク104を把持したまま撮像装置103の撮像視野範囲(撮像素子201の画角)を通過する。この時、ハンド102に装着されたマーク210がトリガエリア(1)を通過する。再帰反射マークなどから成るマーク210(認識対象部位)が照明光を反射してトリガエリア(1)内の輝度値が変化し、例えば、この輝度変化に応じて撮像トリガが切られる。このトリガエリア(1)内のマーク210(認識対象部位)通過で撮像されるのは、少なくとも、マーク210が含まれた範囲の画像である。トリガエリア(1)をマーク210が通過した時のマーク210が含まれた範囲の画像データは、例えば後述の特徴量(重心)を取得できるよう、RAM1603(図14)に一時的に格納しておく。このマーク210が含まれた範囲の画像データは、以下、マーク画像と呼ぶことがある。
トリガエリア(1)での認識〜撮像の所要時間は、近年のデジタルカメラハードウェアによると、数μmsecで行うことができる。本実施形態では、ステップS505でのマーク210のトリガエリア(1)への進入(およびマーク画像の撮像)に応じて、ステップS506で計測画像を撮像する。この計測画像がワークの把持ずれ量の測定に使用される。なお、把持ずれ量の測定に用いられる基準画像も、予め同じトリガエリア(1)による撮像トリガで撮像されるのと同じ位置で撮影されているものとする。計測画像は数十μsecのシャッタスピードで撮像される。例えば、ロボットアーム101が1000mm/secで移動するワーク104を10μsecで撮像すると、撮像中のワークの移動量は10μmである。このような高速撮影によれば、ロボットアーム101が移動中でもほぼぶれのない静止画として撮像することができる。
基準画像と計測画像とを用いてワークの把持ずれ量の測定を行い、そして2枚の画像の特徴量の差分からワークがロボット座標系中で所定の位置姿勢を取るよう、ロボットアーム101の位置姿勢を補正する。このロボットアーム101の位置姿勢の補正の出発点である位置(姿勢)は、トリガエリア(1)によって計測画像が撮像されたロボットアーム101の位置(姿勢)である。この計測画像が撮像されたロボットアーム101の位置(および姿勢)は、必ずしもロボットコントローラ105で取得されているとは限らない。また、前述のように、ロボットコントローラ105と撮像制御装置106を精度よく同期することはそれ程、容易ではない。特許文献1などでは、テーブル保管部302に数msec間隔で保管されている2つのロボットアーム101の位置姿勢の間の計測画像の位置姿勢を撮像系の時計を用いて(例えば直線)補完によって求めている。このような従来技術では、上述のようにアームの軌道や速度によっては、位置姿勢を正確に特定することは困難である。
そこで、本実施形態では、以下に示すような手法で、トリガエリア(1)で計測画像を撮像したタイミングにおけるロボットアーム位置(ないし姿勢)を取得(推定)する。
ステップS507では、第1のトリガエリア(1)に続き、第2のトリガエリア(2〜N)を複数個発生させる。この第2のトリガエリア(2〜N)は、トリガエリア(1)に続いて、ロボットアーム101、具体的にはそれに装着されたマーク210が通過する撮像素子201の画角中の範囲に自動生成する。
ここで、図6により、トリガエリア(2〜N)を新たに生成する手法を説明する。図6は、撮像素子201に設定されたトリガエリア(1〜N)をそれぞれTA1〜TA4の参照符号により示している。トリガエリアTA1が、事前の初期設定によって設定された上記の1番目のトリガエリア(1)である。また、トリガエリアTA2〜TA4(2〜N)が、例えばトリガエリアTA1によるトリガによって計測画像が撮影された後、新たに生成されるトリガエリアである。
図6では、撮像素子201の画角の上には、ロボットアーム位置(ないし姿勢)が時刻とともにテーブル保管部302(図3)に格納されるタイミング(R1、R2)の周期を示すために直線の軸を示してある。この軸の単位は、ロボット座標系(実空間)における距離(mm)である。当然ながら、R1〜R2の時間的な周期は、ロボットコントローラ105のクロックなどに依存し、一方、撮像素子201の画角中の一点鎖線で示したR1〜R2のタイミングに相当する空間的な位置は、ロボットの移動速度に依存する。
図6の例では、ロボットコントローラ105はまずR1に相当する撮像素子201の画角内の位置で、次にR2の位置で、ロボットアーム101の位置(ないし姿勢)を各関節軸のエンコーダから取得し、テーブル保管部302(図3)に格納している。
例えば、ロボットアーム101が1000mm/secで移動し、テーブル保管部302(図3)へ位置(ないし姿勢)が取得される取得周期が2msecとすると、R1−R2間の距離Mは2mmに相当する。その場合、ステップS502で予め入力されている画素分解能Xmm/1pixを用いてR1−R2間の距離Mが撮像素子201の画角中の何画素分に対応するかが計算できる。分かりやすく画素分解能X=0.05mm/1pixとすると、R1−R2間Mは40画素となる。なお、実際に用いられる撮像素子201の縦横の画素数は1000〜2000画素のオーダであって、そのスケールにおいては図6の表示はその一部の画角範囲を示したもの、と考えることができる。
ここで、上記の画素分解能とロボット速度、位置姿勢の取得周期(R1−R2)の関係において、撮像素子201のセンサ面でR1−R2間Mが40画素分の距離に相当するものとする。その場合には、トリガエリアTA1の後に最小の1画素ごとにトリガエリアを配列するなら、40以上作成すれば、必ず位置姿勢の取得タイミングであるR2に相当する位置を超えることになる。
本実施形態では、トリガエリアTA1(1)に続いて、トリガエリアTA2〜TAN(2〜N)を作成する場合、必ず新たに作成する最後のトリガエリア(N)は計測画像を撮像した前の位置取得(R1)の次の位置取得(R2)を超えるよう作成する。上記のようにステップS502で設定済みのパラメータを用いて、トリガエリアTA2〜TAN(2〜N)をいくつ作成するかを決定することができる。ここで、以下に、新たなトリガエリアTA2〜TAN(2〜N)を作成するための計算式を示す。
ここで、ステップS502で設定されるパラメータは、
・画素分解能 X[mm/1pix]
・ロボットアームの速度 V[mm/sec]
・ロボットアーム位置取得周期 U[msec]
・トリガエリアの幅 K[pix]
・トリガエリアの間隔 H[pix]
とする。その場合、撮像されたロボット移動空間におけるロボットアーム位置取得間隔(R1−R2)は以下のように示される。
V*U/1000 [mm] ・・(1)
・画素分解能 X[mm/1pix]
・ロボットアームの速度 V[mm/sec]
・ロボットアーム位置取得周期 U[msec]
・トリガエリアの幅 K[pix]
・トリガエリアの間隔 H[pix]
とする。その場合、撮像されたロボット移動空間におけるロボットアーム位置取得間隔(R1−R2)は以下のように示される。
V*U/1000 [mm] ・・(1)
そして、上式(1)のロボットアーム位置取得間隔(R1−R2)が対応する画素数は、
V*U/(X*1000) [pix] ・・(2)
となり、新たに生成すべきトリガエリア(2〜N)の個数と位置は下式(3)のように定めることができる。
V*U/(X*1000)/(K+H) ・・(3)
V*U/(X*1000) [pix] ・・(2)
となり、新たに生成すべきトリガエリア(2〜N)の個数と位置は下式(3)のように定めることができる。
V*U/(X*1000)/(K+H) ・・(3)
ここで、上式(3)の商+1が、新たに生成すべきトリガエリア(2〜N)の個数となり、トリガエリア(1)にHを足した画素位置がトリガエリア(2)の画角中の位置になる。以後のエリア(3)以降については、順々にHを加算することにより位置を特定できる。
図6では、模式的に、トリガエリアTA1に続いて3つのトリガエリアTA2〜TA4が生成され、配置された例を示している。
先の特許文献1の構成では、位置取得周期のR1−R2の間、M(位置取得周期は上記のU)の間隔で計測画像の撮像時のロボットアーム位置を推定している。これに対して、本実施形態では、M(位置取得周期は上記のU)の間隔より短いトリガエリア間の間隔Hに相当する撮像周期で認識対象部位(マーク210)の画像を撮像する。そして、認識対象部位(マーク210)の特徴量の変化を、起点としてのR2でロボットコントローラ105が実際に取得している位置姿勢に作用させて、計測画像が撮像されたトリガエリアTA1における位置姿勢を取得(推定)する。特許文献1では、撮像時刻のログを用いるなどして単に直線補完によってR1、R2の間の撮像時刻におけるロボットの位置姿勢を取得する。これに対して、本実施形態では、上記のように短い間隔で、複数のトリガエリアを配置し、実際に撮影を行って得た認識対象部位(マーク210)の特徴量の変化を利用する。これにより、極めて精度よく計測画像撮像時のロボットアーム101の位置(および姿勢)を算出することができる。
本実施形態においては、ロボットコントローラ105と撮像制御装置106は、高精度に同期する必要はないが、両者の用いるシステムクロック(例えばRTC:不図示)は、ある程度時刻を合わせておく必要がある。なぜなら、新たに作成するトリガエリアは計測画像の撮像に続いて位置取得が起きる次の位置(R2)を超えるように配置し、その近傍で撮像したマーク画像を位置推定計算に使用するためである。ロボットコントローラ105と撮像制御装置106をどの程度の精度で時刻合わせをするかはR1−R2間の間隔(M)による。本実施形態では、2msecおきのロボット位置を利用する必然性はないが、以下では、理解を容易にするため、2msecおきに取得されているロボット位置を利用する前提で説明する。
図5に戻り、ステップS508で新たに作成された2番目以降のトリガエリアによってマーク210の進入が検出され、これをトリガとしてマーク画像が撮像される。計測画像は、トリガエリアTA1において撮像済みであり、後続の撮像では撮像素子201の画角全体の画像は不要である。例えば、マーク画像については、トリガエリアTA2以降では、その付近の部分画像のみを撮像素子201から読み出して撮像制御装置106のRAM1603(図14)などに一時記憶させておけばよい。
ステップS509は、作成した全てのトリガエリア(2〜N)でマーク画像の撮像が行われたかを確認し、全てのトリガエリア(2〜N)でマーク画像の撮像が行われた場合に、ステップS510に移行する。
ステップS510では、全てのマーク画像(図6の場合、トリガエリアTA1〜TA4のマーク画像)からマーク210の特徴量、例えばマーク210の重心を求めた結果を撮像装置103から取得する。このマーク210の特徴量、例えば重心の位置情報(例えばセンサ面における画素座標値)はロボットコントローラ105に送信される。
そして、ステップS511では、撮像制御装置106が、例えば図4に示した手法によって、把持ずれ算出部403によりワーク(104)の把持ずれ量を算出し、ロボットコントローラ105に送信する。
図5のステップS512〜S515はロボットコントローラ105側の制御に相当する。まず、ステップS512において、ロボットコントローラ105は、撮像制御装置106から送信(S510)されたマーク210の重心を使い、計測画像撮像時のロボットアーム101の位置(および姿勢)を算出する。この時、ロボットコントローラ105は、テーブル保管部302(図3)に格納されているロボットアーム位置取得時刻からロボットアーム位置R2の時刻を抽出し、その近傍のマーク画像を選定して計算に利用する。
ここで、図7に、マークの重心を用いて、計測画像撮像時のロボットアーム101の位置(および姿勢)を算出する本実施形態の手法を示す。図7では、図6で示した各トリガエリアで撮像している状態を表す。撮像はトリガエリアTA1からトリガエリアTA4まで4回撮像される。そのうちの1つ、例えばトリガエリアTA1を用いて撮像された画像が計測画像とされる。
図7の例では、撮像素子201の画角内に設定されたトリガエリアTA1〜TA4で撮像が行われた時のロボットアーム101、ハンド102、ワーク104の位置を模式的に示している。この例では撮像が起きる位置は、図示のようにR11、R12、R13、R14である。また、図7では、実際にロボットコントローラ105が位置姿勢を取得しているR2は、R13、R14の間にあるが、R1は、図7ではより左方に相当し、図示が省略されている。この撮像が起きた位置に相当するR11、R12、R13、R14は、ロボットコントローラ105が位置姿勢を取得しているR1(図7では不図示)とR2の間にある。そして、撮像が起きた位置であるR11、R12、R13、R14に相当するロボットアーム101の位置姿勢は、ロボットコントローラ105は取得していない。図7において、エンコーダ値からロボットアーム101の位置姿勢が取得されているのはR2の位置のみである。
本実施形態では、図7のような複数画像の撮影において、位置補正をするために、計測画像を撮像したトリガエリアTA1におけるロボットアーム位置R11を取得(推定)する必要がある。
ここで、マーク画像からマーク210の重心位置(図中の丸印)は、マーク座標Ma1、Ma2、Ma3、Ma4と求めることができる。Maは撮像装置座標〜ロボット座標の座標変換を行えば、ロボット座標系における座標(Xv、Yv、Zv)と表現される。
また、テーブル保管部302(図3)に記録があるR2の位置に相当する位置をマーク210が通過した時のマーク座標Ma′を考えると、これは実際には撮影されないが、仮想的にあるものとして定義することができる。このマーク座標Ma′は、次のようにして計算できる。例えば、マーク座標Ma3の撮像時刻、マーク座標Ma4の撮像時刻、そしてロボットアーム位置R2の取得時刻はロボットコントローラ105で記録している。そのため、これらの時刻を使ってMa3とMa′、Ma4とMa′との空間距離の比率a:bを決定できる。
これらの情報を使って、R11の計測画像の撮像が行われたタイミング(画像中の位置)におけるロボットアーム101の位置を算出する。この演算に用いるパラメータは次のようなものである。
・ロボットアーム位置 R2⇒(Xr2、Yr2、Zr2)
・マーク座標 Ma11⇒(Xv11、Yv11、Zv11)、Ma12、Ma13、Ma14
・撮像時刻とロボットアーム位置取得時刻との比率⇒ a:b
・マーク座標 Ma11⇒(Xv11、Yv11、Zv11)、Ma12、Ma13、Ma14
・撮像時刻とロボットアーム位置取得時刻との比率⇒ a:b
まず、次式(4)のように、ロボットアームがR2の位置にある時のマーク座標であるMa′を推定する。
Ma4−Ma′:Ma′−Ma3=b:a
Ma′=(a*Ma4+b*Ma3)/(a+b) ・・(4)
Ma′=(a*Ma4+b*Ma3)/(a+b) ・・(4)
また、Ma′の座標は、ロボット座標系のXYZ座標では、次式(4’)のように計算できる。
Xva´ =(a*Xv14+b*Xv13)/(a+b)
Yva´ =(a*Yv14+b*Yv13)/(a+b)
Zva´ =(a*Zv14+b*Zv13)/(a+b) ・・(4’)
Yva´ =(a*Yv14+b*Yv13)/(a+b)
Zva´ =(a*Zv14+b*Zv13)/(a+b) ・・(4’)
次に、R13、R12、R11と、撮像したマーク画像の特徴量(重心)の変化を辿り、対応するロボットアーム101の位置を取得(推定)する。本実施形態では、前のマーク画像(あるいは計測画像)の撮像位置におけるアームの位置を取得(推定)する場合、撮像したマーク画像の特徴量(重心)に基づきロボットアームの位置を修正する方法を利用する。図8に、本実施形態において、撮像したマーク画像の特徴量に基づき、次のマーク画像(あるいは計測画像)の撮像位置を取得する手法を示す。
図8において、取得すべきロボットアーム101の位置(ないし姿勢)は、計測画像の撮像をトリガしたトリガエリアTA1における位置(ないし姿勢)である。
ここで、位置R2がロボットコントローラ105が取得時刻と関連付けの上、ロボットアーム101の各関節軸のエンコーダ値(位置姿勢情報)をテーブル保管部302(図3)に記録している位置情報である。また、ロボットコントローラ105は、その時点におけるハンド102のツール座標からワークの位置Tを計算できるものとする(あるいはテーブル保管部302(図3)に併せてこのワークの位置Tが補完されていてもよい)。
また、図8において、Vdiffが、撮像制御装置106で算出される把持ずれ量に相当するマーク画像に撮像されたマーク位置の撮像位置間における差分(変化)である。このVdiffは、Ma3とMa′の2つのマーク位置(マーク210の重心:特徴量)から求めることができる。なお、この時点では、前述のロボットアーム−撮像装置校正パラメータ保管部306にロボット座標系〜撮像装置座標系の間の校正パラメータが補完され、2つの座標系のキャリブレーションは済んでいるものとする。
そして、上記のVdiffを用いると、下式(5)のようにワーク位置であるTの位置関係性を保持したまま、変化を辿り、R2からR13へと位置情報を修正することができる。
(パラメータ)
・ロボットアーム位置 R2
・ワークの位置 T
・把持ずれ量 Vdiff
R13=R2*T*Vdiff*T−1 ・・(5)
・ロボットアーム位置 R2
・ワークの位置 T
・把持ずれ量 Vdiff
R13=R2*T*Vdiff*T−1 ・・(5)
以下、同じ式(5)の演算を繰り返し、R13からR12、さらにR12からR11と、撮像位置を変化(差分)を辿り、計算していく。これにより、計測画像を撮像したR11におけるロボットアーム101の位置(あるいはさらに姿勢)を算出することができる(位置姿勢取得工程:S512)。
以上のようにして、ロボットコントローラ105が記録したアームの位置を起点とし、マーク画像の重心の変化を作用させて繰り返し式(5)の計算を行い、計測画像を撮像した時点(R11)におけるロボットアーム101の位置を取得(推定)できる。
再び、図5のステップS513において、ステップS514では、ワークの把持ずれ量を補正するよう、ロボットアーム101の位置(あるいはさらに姿勢)の補正を行う。その際、撮像制御装置106は、下式(6)のようにして、ワークを所定の把持状態にするための補正後の新しいロボットアーム101の位置(あるいはさらに姿勢)R11′を計算する。下式(6)では、基準画像と計測画像の把持ずれ量Vdiffbase、および計測画像の撮像時点の位置姿勢(R11)を用いて、ワークを所期の把持状態にするための補正後のロボットアーム101の位置(あるいはさらに姿勢)R11′を計算している。
R11′=R11 * T * Vdiffbase * T − 1 ・・(6)
ステップS514で、ロボットコントローラ105は、位置補正したロボットアーム101が補正後の位置(あるいはさらに姿勢)R11′を取るよう、教示点テーブル保管部304の教示点情報を更新する。そして、ロボットコントローラ105は、ステップS515で、更新された教示点情報に基づき、関節角度の指令値などを生成し、ロボットアーム101を動作させ、ワーク104の把持ずれを補正する動作を行わせる。
以上のように、本実施形態によればエンコーダ値が記録される位置情報(R1、R2…)の取得間隔よりも短い周期で撮像装置103の前方を通過するアーム(101)を複数回、撮像し、撮像した画像の1つをワークの把持姿勢を補正するための計測画像とする。そして、複数回、撮像した認識対象部位としてのマークの画像の特徴点の変化を、エンコーダ値が記録されている位置情報(R2)に作用させ、計測画像の撮像時のロボットアーム位置情報を取得する。即ち、本実施形態では、計測画像の撮像時の位置情報を取得するのに、従来技術(例えば特許文献1)よりもさらに短い周期で取得(実測)した認識対象部位としてのマークの画像の特徴点の変化を用いる。
従って、本実施形態によれば、極めて精度よく、計測画像の撮像時のロボットアーム101の位置情報を取得することができる。そして、計測画像と基準画像から計算されるワークの把持ずれ量を解消するよう、計測画像撮像時のアームの位置(あるいはさらに姿勢)を起点として、新しい補正後のロボットアーム101の位置(あるいはさらに姿勢)を求めることができる。そのため、組み付けなどに向かう高速移動中のロボットアーム101を停止させることなく、移動中に撮影でき、精度よくワークの把持姿勢を修正できるため、高精度な物品の製造を行うことができる。
また、計測画像の撮像時の位置情報を取得するために用いる画像は、少なくとも認識対象部位(マーク210)を含む部分画像であればよく、撮像装置103の撮像素子201から高速に転送させることができる。また、認識対象部位(マーク210)に係る処理は小さな部分画像に対して行えばよく、低負荷で容易な画像処理によって、高速にその位置を認識することできる。さらに、認識対象部位(マーク210)に再帰反射マークを用いることにより、認識対象部位(マーク210)に係る処理はより低負荷で、高速に実行できる可能性がある。
<実施形態2>
実施形態1では、計測画像を撮像してから、R2の位置情報がロボットコントローラ105で記録されている付近まで、等間隔でトリガエリアを自動生成する例を説明した。本実施形態2では、トリガエリアの作成を次のロボットアーム位置R2の近傍の2個所のみに制御する手法を示す。システムのハードウェアおよびソフトウェアから成る機能的な構成は、前述の実施形態1と同様であり、ここでは重複した説明は省略するものとする。
実施形態1では、計測画像を撮像してから、R2の位置情報がロボットコントローラ105で記録されている付近まで、等間隔でトリガエリアを自動生成する例を説明した。本実施形態2では、トリガエリアの作成を次のロボットアーム位置R2の近傍の2個所のみに制御する手法を示す。システムのハードウェアおよびソフトウェアから成る機能的な構成は、前述の実施形態1と同様であり、ここでは重複した説明は省略するものとする。
図9は、図5と同様の形式で、本実施形態2におけるロボットシステムの制御手順を示したフローチャートである。図9では、図5と同一ないし相当するステップには同じステップ番号を用いており、それらのステップについては以下では重複した説明は省略するものとし、実施形態1の処理との相違点のみを説明する。
図9において、図5との相違は、主にステップS901のトリガエリア(2)、(3)の2つの生成にある。このステップS901では、ロボットコントローラ105から逐次、ロボット位置取得時刻を受信する。一般に、ロボットコントローラ105のロボット位置取得の周期は上述のように1〜数msecのオーダである。従って、撮像制御装置106では、あるロボットアーム位置(R1)がロボットコントローラ105から通知されると、それに基づき、後続のロボットアーム位置(R2)の取得時刻を推定できる。
従って、撮像制御装置106では、ステップS502で設定されたパラメータを用いて、後続のロボットアーム位置(R2)が撮像素子201の画面のどの位置がロボットアーム位置R2の通過位置であるか大凡、推定できる。画像上のどの位置がロボットアーム位置R2の通過位置を推定し、その近傍の前後2か所の画素範囲にトリガエリア(2)、(3)を自動作成する。その後の計測画像の撮像時のロボットアーム位置の算出方法、およびロボットアームの位置補正方法は実施形態1と同様である。なお、ステップS509でトリガエリア(2)、(3)の撮像終了を判定するための回数は、本実施形態2では「2回」になっている。
図10は、本実施形態2において、計測画像の撮像に用いたトリガエリアTA1と、上記のように2番目、3番目のトリガエリア(2)、(3)として自動作成したTA3、TA4を模式的に示している。図10において、ロボットアーム位置(R2)は、ロボットコントローラ105がロボットアーム位置(R1)に続いてエンコーダ値からアーム(101)の位置(あるいはさらに姿勢)を取得する撮像素子201の画角内の位置である。
本実施形態では、図8のように、トリガエリアTA1によってトリガされる計測画像の撮像(R11)に続き、トリガエリアTA3とTA4を作成する。その場合、ステップS901で説明したように、撮像制御装置106は、ロボットアーム位置R2の位置が画像上のどこに現れるかを推定できるため、その前後にトリガエリアTA3とTA4を作成する。こうして計測画像の撮像の他、トリガエリアTA3とTA4を用いて、撮像装置103は認識対象部位としてマーク210が含まれた2枚の画像を自動撮影する。
その後、実施形態1の図7、図8で説明したのと同じ処理により、ロボットアームがR2の位置にある時のマーク座標Ma′を取得する。そして、さらにマーク座標Ma′と、実画像を取得しているマーク座標Ma3とを用いて、Vdiffを計算し、ロボットアーム位置R13を求めることができる。そして、さらに実施形態1と同様の演算を行うことによって、トリガエリアTA1によって撮像された計測画像の取得時にロボットアーム101が占めていた位置(R11)を取得(推定)することができる。
本実施形態2による制御手順によれば、実施形態1に比べ少ない、高々2個のトリガエリア(TA3、TA4)を作成するだけで、計測画像の取得時のロボットアームの位置情報(R11)を取得でき、それに基づきロボットアーム101の補正が可能である。即ち、本実施形態2によれば、マーク重心を求める計算コストやトリガエリアを作成する処理コストが少なくて済み、撮像制御装置106がより低スペックであっても、実施形態1と同等の制御を実現することができる。
<実施形態3>
実施形態3では、計測画像の取得後に自動生成するトリガエリアの数を最小限に、例えば計測画像の他に1つに限定する例を示す。
実施形態3では、計測画像の取得後に自動生成するトリガエリアの数を最小限に、例えば計測画像の他に1つに限定する例を示す。
図11は、図9と同等の形式によって、本実施形態3のロボット制御を示したフローチャートである。本実施形態3においても、前述の実施形態1、2と相違する部分のみを説明する。本実施形態3の相異点は、ステップS507(実施形態1の図5)ないしステップS901(実施形態2の図9)の位置にあるトリガエリア(2)を発生するステップS1101である。
このステップS1101では、ステップS901(図9)の場合と同様に、ロボットコントローラ105から随時ロボット位置取得時刻を受信している。そして、ステップS901について述べたのと同じ理由で、R1のタイミングからロボットアーム位置(R2)の撮像素子201の画角内の位置を推定することができる。そこで、本実施形態3では、撮像素子201の撮像画面内のどの位置がロボットアーム位置(R2)に相当するかを推定し、その近傍1か所の画素範囲に2番目のトリガエリア(2)を自動作成する。本実施形態3では、計測画像の撮像の他にトリガエリア(2)の撮像(S508)は1回のみであるため、図5、図9にあったステップS509は省略されている。
図12は、本実施形態3において、計測画像の撮像に用いたトリガエリアTA1と、以上のようにして新たなトリガエリア(2)として1つだけ、例えば推定したロボットアーム位置(R2)の位置に生成されたトリガエリアTA2を示している。図12において、ロボットアーム位置(R2)は、ロボットコントローラ105がロボットアーム位置(R1)に続いてエンコーダ値からアーム(101)の位置(あるいはさらに姿勢)を取得する撮像素子201の画角内の位置である。
ステップS1101に関して説明したように、ロボットアーム位置R2の位置が画像上のどこに現れるかを推定できるため、その推定した位置(R2)にトリガエリアTA2を作成している。そして、このトリガエリアTA2へのマーク210の進入によってトリガされる撮像で取得した画像から、ロボットアーム位置(R2)と、その位置で撮像されたマーク位置Ma2が既知となる。その後は、マーク位置Ma2に実施形態1と同様の演算によって、計測画像撮像時(R11)時のマーク位置Ma1との差分(Vdiff)を作用させることで、計測画像撮像時(R11)時のアームの位置姿勢(R11)を求めることができる。
なお、図12はR2の時の撮影位置が正確に決まっているかのように図示されているが、あくまでもロボットコントローラ105の位置取得時(R2)にマーク210はこの位置を通ると推定してトリガエリアTA2が生成されているだけである。そのため、実際には、ロボットコントローラ105におけるR2の位置取得時刻と、トリガエリアTA2によりトリガされる撮影の時刻は若干ずれている可能性がある。従って、そのような理由で実施形態3は、実施形態1や2に比べ、計測画像撮像時(R11)時のアームの位置姿勢(R11)の取得精度が若干、劣化する可能性がある。しかしながら、本実施形態3によれば、最小限の撮影回数でロボットアームの位置補正方法が可能になり、より計算コストや処理コストに寄与できる。また、設定も簡単であるため、ユーザの求める精度がそれほど高くなければ、本実施形態3のような構成であっても、大いに利用効果はあると考えられる。
1…ロボットシステム、101…ロボットアーム、102…ハンド、103…撮像装置、104…ワーク、105…ロボットコントローラ、106…撮像制御装置、201…撮像素子、202…レンズ、203…演算部、204…演算制御部、205…画像入力インターフェース、206…画像特徴量計算部、207…メモリ、208…画像出力インターフェース、301…ロボットアーム位置算出部、302…テーブル保管部、303…ロボットアーム位置補正部、304…教示点テーブル保管部、305…ロボットアーム動作指示部、306…ロボットアーム−撮像装置校正パラメータ保管部、307…撮像時ロボットアーム位置算出部、401…計測画像データ算出部、402…基準画像データ保管部、403…把持ずれ算出部、404…特徴量保管部、405…トリガエリア作成部、406…設定パラメータ部。
Claims (14)
- 撮像装置によりロボットアームを撮像して得た計測画像に基づき、前記ロボットアーム位置姿勢を制御するロボットシステムの制御方法において、
前記ロボットアームが移動する間、前記ロボットアームの位置姿勢を逐次、取得し、時刻と関連付けて記録する位置姿勢取得工程と、
前記ロボットアームが前記撮像装置の撮像画角を移動する間に、前記位置姿勢取得工程が前記位置姿勢を取得するよりも短い間隔で、前記撮像装置により、複数回の撮像を行い、撮像した複数の画像のうちの1つを前記計測画像とする撮像工程と、
前記撮像工程で撮像した複数の画像から、撮像されている認識対象部位の特徴量を取得する認識工程と、
前記位置姿勢取得工程により記録されている前記ロボットアームの位置姿勢と、前記認識工程で取得した前記認識対象部位の特徴量とに基づき、前記撮像工程において前記計測画像を撮像した時刻における前記ロボットアームの位置姿勢を算出する位置姿勢算出工程と、を制御装置によって実行するロボットシステムの制御方法。 - 請求項1に記載のロボットシステムの制御方法において、前記位置姿勢算出工程において、前記計測画像を撮像した時刻よりも後に前記位置姿勢取得工程により記録された前記ロボットアームの位置姿勢を用いて、前記撮像工程において前記計測画像を撮像した時刻における前記ロボットアームの位置姿勢を算出するロボットシステムの制御方法。
- 請求項1または2に記載のロボットシステムの制御方法において、前記撮像工程において、前記撮像装置は、撮像画角内に設定された第1のトリガエリアに前記認識対象部位が進入した時に1回目の撮像を行うロボットシステムの制御方法。
- 請求項3に記載のロボットシステムの制御方法において、前記制御装置は、前記ロボットアームの速度、前記位置姿勢取得工程の位置姿勢の取得周期、前記撮像装置の画素分解能に基づき、前記認識対象部位の進入に基づき2回目ないしそれ以降の撮像を行うための第2のトリガエリアを生成するロボットシステムの制御方法。
- 請求項4に記載のロボットシステムの制御方法において、前記第2のトリガエリアは、位置姿勢取得工程が次の前記ロボットアームの位置姿勢を取得する時刻に相当する前記撮像装置の撮像画角内の位置に生成されるロボットシステムの制御方法。
- 請求項1から5のいずれか1項に記載のロボットシステムの制御方法において、前記位置姿勢算出工程において、前記位置姿勢取得工程により記録されている前記ロボットアームの位置姿勢に基づき、前記認識工程で取得した複数の前記認識対象部位の特徴量から得られる位置情報の差分を順次作用させ、前記撮像工程において前記計測画像を撮像した時刻における前記ロボットアームの位置姿勢を算出するロボットシステムの制御方法。
- 請求項1から6のいずれか1項に記載のロボットシステムの制御方法において、前記認識対象部位が、前記ロボットアームもしくは前記ロボットアームの装着部品に装着されたマークであるロボットシステムの制御方法。
- 請求項7に記載のロボットシステムの制御方法において、前記マークが再帰反射マークであるロボットシステムの制御方法。
- 請求項1から8のいずれか1項に記載のロボットシステムの制御方法において、前記特徴量が、撮像された前記認識対象部位の重心であるロボットシステムの制御方法。
- 請求項1から9のいずれか1項に記載のロボットシステムの制御方法の各工程を前記制御装置に実行させるロボットシステムの制御プログラム。
- 請求項10に記載のロボットシステムの制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
- 撮像装置によりロボットアームを撮像して得た計測画像に基づき、前記ロボットアームの位置姿勢を制御する制御装置を備えたロボットシステムにおいて、
前記制御装置は、
前記ロボットアームが移動する間、前記ロボットアームの位置姿勢を逐次、取得し、時刻と関連付けて記録し、
前記ロボットアームが前記撮像装置の撮像画角を移動する間に、前記位置姿勢が取得されるよりも短い間隔で前記撮像装置により、複数回の撮像を行い、撮像した複数の画像のうちの1つを前記計測画像とし、
撮像した複数の画像から、撮像されている認識対象部位の特徴量を取得し、
記録されている前記ロボットアームの位置姿勢と、取得した前記認識対象部位の特徴量とに基づき、前記計測画像を撮像した時刻における前記ロボットアームの位置姿勢を算出するロボットシステム。 - ロボットシステムのロボットアームにより把持されたワークに対する組立処理を行い、物品を製造する物品の製造方法であって、前記ロボットシステムが請求項12のロボットシステムである物品を製造する製造方法。
- ロボットシステムのロボットアームにより把持されたワークに対する組み立て処理を行う生産装置が配置された生産システムであって、前記ロボットシステムが請求項12のロボットシステムである生産システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018002236A JP2019119027A (ja) | 2018-01-10 | 2018-01-10 | ロボットシステムの制御方法、およびロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018002236A JP2019119027A (ja) | 2018-01-10 | 2018-01-10 | ロボットシステムの制御方法、およびロボットシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019119027A true JP2019119027A (ja) | 2019-07-22 |
Family
ID=67305841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018002236A Pending JP2019119027A (ja) | 2018-01-10 | 2018-01-10 | ロボットシステムの制御方法、およびロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019119027A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951248A (zh) * | 2020-08-12 | 2020-11-17 | 上海仁度生物科技有限公司 | 一种用于自动化核酸提取设备的定位校准装置及方法 |
JP2021028107A (ja) * | 2019-08-09 | 2021-02-25 | 倉敷紡績株式会社 | コネクタの向きの探索方法、コネクタの接続方法、ロボットハンド、制御装置、撮像装置、およびコネクタ接続システム |
WO2022044068A1 (ja) * | 2020-08-24 | 2022-03-03 | 株式会社Fuji | プラズマ処理装置とプラズマ処理装置の軌道補正方法 |
CN114199130A (zh) * | 2021-12-13 | 2022-03-18 | 江西边际科技有限公司 | 一种惯性位姿自调节矫正的光学信息特征提取设备 |
WO2023047574A1 (ja) * | 2021-09-27 | 2023-03-30 | 株式会社日立ハイテク | 作業教示方法、作業教示装置及びロボット |
WO2023127021A1 (ja) * | 2021-12-27 | 2023-07-06 | 株式会社ニコン | 制御装置、制御システム、ロボットシステム、制御方法及びコンピュータプログラム |
WO2024122249A1 (ja) * | 2022-12-09 | 2024-06-13 | 住友重機械工業株式会社 | 固定装置、対象物固定方法及び対象物固定プログラム |
-
2018
- 2018-01-10 JP JP2018002236A patent/JP2019119027A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021028107A (ja) * | 2019-08-09 | 2021-02-25 | 倉敷紡績株式会社 | コネクタの向きの探索方法、コネクタの接続方法、ロボットハンド、制御装置、撮像装置、およびコネクタ接続システム |
CN111951248A (zh) * | 2020-08-12 | 2020-11-17 | 上海仁度生物科技有限公司 | 一种用于自动化核酸提取设备的定位校准装置及方法 |
CN111951248B (zh) * | 2020-08-12 | 2023-11-28 | 上海仁度生物科技股份有限公司 | 一种用于自动化核酸提取设备的定位校准装置及方法 |
WO2022044068A1 (ja) * | 2020-08-24 | 2022-03-03 | 株式会社Fuji | プラズマ処理装置とプラズマ処理装置の軌道補正方法 |
WO2023047574A1 (ja) * | 2021-09-27 | 2023-03-30 | 株式会社日立ハイテク | 作業教示方法、作業教示装置及びロボット |
CN114199130A (zh) * | 2021-12-13 | 2022-03-18 | 江西边际科技有限公司 | 一种惯性位姿自调节矫正的光学信息特征提取设备 |
CN114199130B (zh) * | 2021-12-13 | 2023-06-06 | 江西边际科技有限公司 | 一种惯性位姿自调节矫正的光学信息特征提取设备 |
WO2023127021A1 (ja) * | 2021-12-27 | 2023-07-06 | 株式会社ニコン | 制御装置、制御システム、ロボットシステム、制御方法及びコンピュータプログラム |
WO2024122249A1 (ja) * | 2022-12-09 | 2024-06-13 | 住友重機械工業株式会社 | 固定装置、対象物固定方法及び対象物固定プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019119027A (ja) | ロボットシステムの制御方法、およびロボットシステム | |
US11565427B2 (en) | Robot system | |
US10173324B2 (en) | Facilitating robot positioning | |
US8326460B2 (en) | Robot system comprising visual sensor | |
US9393696B2 (en) | Robot system and robot control method | |
JP5904676B2 (ja) | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 | |
EP2543483B1 (en) | Information processing apparatus and information processing method | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
EP3421930B1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
US20130010070A1 (en) | Information processing apparatus and information processing method | |
JP6317618B2 (ja) | 情報処理装置およびその方法、計測装置、並びに、作業装置 | |
JP6308248B2 (ja) | コンベアトラッキング等に向けられたガイダンス装置 | |
WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP2019215633A (ja) | 制御システム、制御装置、画像処理装置およびプログラム | |
JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
JP2006224291A (ja) | ロボットシステム | |
JP2019077026A (ja) | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
JPH09222913A (ja) | ロボットの教示位置補正装置 | |
CN111522299B (zh) | 机械控制装置 | |
JP2010214546A (ja) | 組立装置および組立方法 | |
CN111522295A (zh) | 机械控制装置 | |
EP4382258A1 (en) | Robot control device, robot control system, and robot control method | |
WO2022172471A1 (ja) | 支援システム、画像処理装置、支援方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |