JP2018161726A - ロボット制御装置、ロボット、及びロボットシステム - Google Patents

ロボット制御装置、ロボット、及びロボットシステム Download PDF

Info

Publication number
JP2018161726A
JP2018161726A JP2017060598A JP2017060598A JP2018161726A JP 2018161726 A JP2018161726 A JP 2018161726A JP 2017060598 A JP2017060598 A JP 2017060598A JP 2017060598 A JP2017060598 A JP 2017060598A JP 2018161726 A JP2018161726 A JP 2018161726A
Authority
JP
Japan
Prior art keywords
robot
imaging unit
unit
control device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017060598A
Other languages
English (en)
Inventor
寿幸 石垣
Toshiyuki Ishigaki
寿幸 石垣
直樹 梅津
Naoki Umetsu
直樹 梅津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017060598A priority Critical patent/JP2018161726A/ja
Priority to US15/916,853 priority patent/US20180272537A1/en
Publication of JP2018161726A publication Critical patent/JP2018161726A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39024Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

【課題】補正された検出対象位置に基づく処理を高い精度で行うことができるロボット制御装置を提供すること。【解決手段】第1ロボットに設けられた第1撮像部によって検出対象が撮像された第1画像から前記検出対象の位置である検出対象位置を検出するロボット制御装置であって、前記第1画像から前記検出対象位置を検出し、記憶部に予め記憶された情報であって第1基準マーカーの基準となる位置である第1基準位置を示す第1基準位置情報と、前記第1画像に基づいて検出された位置であって前記第1画像に含まれる前記第1基準マーカーの位置である第1検出位置を示す第1検出位置情報とに基づいて、前記検出対象位置を補正する制御部、を備えるロボット制御装置。【選択図】図3

Description

この発明は、ロボット制御装置、ロボット、及びロボットシステムに関する。
撮像部により撮像された撮像画像に基づいてロボットに所定の作業を行わせる技術の研
究や開発が行われている。
これに関し、ロボットのアームに備えられたカメラによって撮像された撮像画像であっ
て対象物に配置されたマーカーが撮像された撮像画像に基づいて対象物の位置を決定し、
決定した位置に基づいて対象物に作業を行うロボットが知られている(特許文献1参照)
特表2011−502807号公報
ここで、従来のロボットは、対象物をカメラによって撮像する際、予め決められた撮像
位置にカメラの位置を一致させる。しかしながら、当該ロボットは、アームの剛性の不足
、アームへのカメラの取り付け構造に係る剛性の不足等によって、対象物をカメラによっ
て撮像する際、当該撮像位置と当該位置とがずれてしまう場合があった。その結果、ロボ
ットは、対象物に対して精度の高い作業を行うことができない場合があった。
上記課題の少なくとも一つを解決するために本発明の一態様は、第1ロボットに設けら
れた第1撮像部によって検出対象が撮像された第1画像から前記検出対象の位置である検
出対象位置を検出するロボット制御装置であって、前記第1画像から前記検出対象位置を
検出し、記憶部に予め記憶された情報であって第1基準マーカーの基準となる位置である
第1基準位置を示す第1基準位置情報と、前記第1画像に基づいて検出された位置であっ
て前記第1画像に含まれる前記第1基準マーカーの位置である第1検出位置を示す第1検
出位置情報とに基づいて、前記検出対象位置を補正する制御部、を備えるロボット制御装
置である。
この構成により、ロボット制御装置は、第1ロボットに設けられた第1撮像部によって
検出対象が撮像された第1画像から検出対象の位置である検出対象位置を検出し、記憶部
に予め記憶された情報であって第1基準マーカーの基準となる位置である第1基準位置を
示す第1基準位置情報と、第1画像に基づいて検出された位置であって第1画像に含まれ
る第1基準マーカーの位置である第1検出位置を示す第1検出位置情報とに基づいて、検
出対象位置を補正する。これにより、ロボット制御装置は、補正された検出対象位置に基
づいて、高い精度の処理を行うことができる。
また、本発明の他の態様は、ロボット制御装置において、前記第1基準位置は、第1座
標系における位置であり、前記制御部は、前記第1検出位置を前記第1座標系における位
置に変換し、変換した前記第1検出位置と、前記第1基準位置との差に基づいて、前記検
出対象位置を補正する、構成が用いられてもよい。
この構成により、ロボット制御装置は、第1検出位置を第1座標系における位置に変換
し、変換した第1検出位置と、第1基準位置との差に基づいて、検出対象位置を補正する
。これにより、ロボット制御装置は、第1座標系における位置に変換した第1検出位置と
、第1基準位置との差に基づいて、補正された検出対象位置に基づいて、高い精度の処理
を行うことができる。
また、本発明の他の態様は、ロボット制御装置において、前記第1基準マーカーの高さ
は、前記検出対象位置の高さと等しい、構成が用いられてもよい。
この構成により、ロボット制御装置では、第1基準位置の高さは、検出対象位置の高さ
と等しい。これにより、ロボット制御装置は、第1画像からの検出対象位置の検出におけ
る誤差のうち第1基準マーカーの高さと検出対象位置の高さとの差に基づく誤差を抑制す
ることができる。
また、本発明の他の態様は、ロボット制御装置において、前記制御部は、前記検出対象
位置に基づく作業位置において、第2ロボットに作業を行わせる、構成が用いられてもよ
い。
この構成により、ロボット制御装置は、検出対象位置に基づく作業位置において、第2
ロボットに作業を行わせる。これにより、ロボット制御装置は、第2ロボットに高い精度
の作業を行わせることができる。
また、本発明の他の態様は、ロボット制御装置において、前記制御部は、前記記憶部に
予め記憶された情報であって第2基準マーカーの基準となる位置である第2基準位置を示
す第2基準位置情報と、前記第2ロボットに設けられた第2撮像部によって撮像された第
2画像に基づいて検出された位置であって前記第2画像に含まれる前記第2基準マーカー
の位置である第2検出位置を示す第2検出位置情報とに基づいて、前記作業位置を補正す
る、構成が用いられてもよい。
この構成により、ロボット制御装置は、記憶部に予め記憶された情報であって第2基準
マーカーの基準となる位置である第2基準位置を示す第2基準位置情報と、第2ロボット
に設けられた第2撮像部によって撮像された第2画像に基づいて検出された位置であって
第2画像に含まれる第2基準マーカーの位置である第2検出位置を示す第2検出位置情報
とに基づいて、作業位置を補正する。これにより、ロボット制御装置は、補正された作業
位置に基づいて、第2ロボットに高い精度の作業を行わせることができる。
また、本発明の他の態様は、ロボット制御装置において、前記制御部は、前記第2ロボ
ットに前記作業を複数回行わせる場合、前記作業位置の補正を前記複数回未満の回数行う
、構成が用いられてもよい。
この構成により、ロボット制御装置は、第2ロボットに所定の作業を複数回行わせる場
合、作業位置の補正を複数回未満の回数行う。これにより、ロボット制御装置は、第2ロ
ボットに繰り返し行わせる作業に要する時間を短縮することができる。
また、本発明の他の態様は、ロボット制御装置において、前記制御部は、第1校正用マ
ーカーと、前記ロボット制御装置に接続された撮像部の撮像方向において前記第1校正用
マーカーの位置と異なる位置の第2校正用マーカーとが当該撮像部によって撮像された画
像に基づいて、当該撮像部の姿勢が予め決められた姿勢であるか否かを判定する、構成が
用いられてもよい。
この構成により、ロボット制御装置は、第1校正用マーカーと、ロボット制御装置に接
続された撮像部の撮像方向において第1校正用マーカーの位置と異なる位置の第2校正用
マーカーとが当該撮像部によって撮像された画像に基づいて、当該撮像部の姿勢が予め決
められた姿勢であるか否かを判定する。これにより、ロボット制御装置は、ロボット制御
装置に接続された撮像部の姿勢の調整を補助することができる。
また、本発明の他の態様は、ロボット制御装置において、前記第1校正用マーカーは、
物体の第1面に設けられ、前記第2校正用マーカーは、前記物体の前記第1面とは異なる
第2面に設けられている、構成が用いられてもよい。
この構成により、ロボット制御装置では、第1校正用マーカーは、物体の第1面に設け
られ、第2校正用マーカーは、物体の第1面とは異なる第2面に設けられている。これに
より、ロボット制御装置は、物体の第1面に設けられた第1校正用マーカーと、物体の第
2面に設けられた第2校正用マーカーとに基づいて、ロボット制御装置に接続された撮像
部の姿勢の調整を補助することができる。
また、本発明の他の態様は、ロボット制御装置において、前記第1校正用マーカーと前
記第2校正用マーカーとの距離は、前記撮像部の被写界深度の半分以上、前記被写界深度
の2倍以下である、構成が用いられてもよい。
この構成により、ロボット制御装置では、第1校正用マーカーと第2校正用マーカーと
の距離は、ロボット制御装置に接続された撮像部の被写界深度の半分以上、当該被写界深
度の2倍以下である。これにより、ロボット制御装置は、ロボット制御装置に接続された
撮像部の被写界深度の半分以上、当該被写界深度の2倍以下の距離だけ第1校正用マーカ
ーから離れた第2校正用マーカーと、第1校正用マーカーとに基づいて、ロボット制御装
置に接続された撮像部の姿勢の調整を補助することができる。
また、本発明の他の態様は、上記に記載のロボット制御装置により制御される前記第1
ロボットである、ロボットである。
この構成により、ロボットは、第1ロボットに設けられた第1撮像部によって検出対象
が撮像された第1画像から検出対象の位置である検出対象位置を検出し、予め記憶された
第1基準位置と、第1画像に含まれる第1基準位置を示す第1基準マーカーの位置とに基
づいて、検出対象位置を補正する。これにより、ロボットは、補正された検出対象位置に
基づいて、高い精度の処理を行うことができる。
また、本発明の他の態様は、上記に記載のロボット制御装置と、前記ロボット制御装置
により制御される前記第1ロボットであるロボットと、を備えるロボットシステムである

この構成により、ロボットシステムは、第1ロボットに設けられた第1撮像部によって
検出対象が撮像された第1画像から検出対象の位置である検出対象位置を検出し、予め記
憶された第1基準位置と、第1画像に含まれる第1基準位置を示す第1基準マーカーの位
置とに基づいて、検出対象位置を補正する。これにより、ロボットシステムは、補正され
た検出対象位置に基づいて、高い精度の処理を行うことができる。
以上により、ロボット制御装置、ロボット、及びロボットシステムは、第1ロボットに
設けられた第1撮像部によって検出対象が撮像された第1画像から検出対象の位置である
検出対象位置を検出し、記憶部に予め記憶された情報であって第1基準マーカーの基準と
なる位置である第1基準位置を示す第1基準位置情報と、第1画像に基づいて検出された
位置であって第1画像に含まれる第1基準マーカーの位置である第1検出位置を示す第1
検出位置情報とに基づいて、検出対象位置を補正する。これにより、ロボット制御装置、
ロボット、及びロボットシステムは、補正された検出対象位置に基づいて、高い精度の処
理を行うことができる。
実施形態に係るロボットシステム1の構成の一例を示す図である。 ロボット制御装置30のハードウェア構成の一例を示す図である。 ロボット制御装置30の機能構成の一例を示す図である。 校正用物体GOの一例を示す上面図である。 図4に示した三次元直交座標系におけるY軸の正方向に向かって校正用物体GOを見た場合の側面図である。 第1撮像部C1の姿勢及び第2撮像部C2の姿勢を調整する方法を説明するための図である。 第3画像の一例を示す図である。 第4画像の一例を示す図である。 校正用物体GOの第1面からの距離であって当該第1面から校正用物体GOの第2面に向かう方向への距離と、撮像部VCにより撮像された画像における校正用物体GOの中心の位置を示すY座標との関係の一例を示すグラフである。 ロボット制御装置30が検出対象位置及び作業位置を補正する処理の流れの一例を示すフローチャートである。 ステップS140において画像取得部363が取得した第1画像の一例を示す図である。 図11に示した画像P1上において、第1検出位置と第1基準位置情報が示す第1基準位置とのずれの一例を示す図である。
<実施形態>
以下、本発明の実施形態について、図面を参照して説明する。
<ロボットシステムの構成>
まず、図1を参照し、ロボットシステム1の構成について説明する。図1は、実施形態
に係るロボットシステム1の構成の一例を示す図である。
ロボットシステム1は、例えば、架台BSと、第1ロボット21と、第2ロボット22
と、ロボット制御装置30を備える。なお、ロボットシステム1は、これらに加えて、物
体を搬送する搬送装置(例えば、搬送用の他のロボット、ベルトコンベアー等)、撮像部
(すなわち、第1ロボット21、第2ロボット22のそれぞれと別体のカメラ)等の他の
装置を備える構成であってもよい。また、ロボット制御装置30は、第1ロボット21と
、第2ロボット22とのうちいずれか一方に内蔵される構成であってもよい。ロボット制
御装置30が第1ロボット21に内蔵される場合、ロボットシステム1は、架台BSと、
ロボット制御装置30が内蔵された第1ロボット21と、第2ロボット22を備える。ロ
ボット制御装置30が第2ロボット22に内蔵される場合、ロボットシステム1は、架台
BSと、第1ロボット21と、ロボット制御装置30が内蔵された第2ロボット22を備
える。また、ロボットシステム1は、架台BSを備えない構成であってもよい。この場合
、第1ロボット21と、第2ロボット22とのそれぞれは、天井、床面、壁面等のロボッ
トを取り付け可能な他の物体に取り付けられる。
以下では、説明の便宜上、重力方向(鉛直下方向)を下方向又は下と称し、下方向と反
対の方向を上方向又は上と称して説明する。以下では、一例として、上方向が、第1ロボ
ット21のロボット座標系であるとともに第2ロボット22のロボット座標系でもあるロ
ボット座標系RCにおけるZ軸の正方向と一致する場合について説明する。ここで、ロボ
ット座標系RCは、三次元直交座標系である。なお、上方向は、ロボット座標系RCにお
けるZ軸の正方向と一致しない構成であってもよい。
架台BSは、例えば、直方体形状の金属製の枠である。なお、架台BSの形状は、直方
体形状に代えて、円柱形状等の他の形状であってもよい。また、架台BSの材質は、金属
に代えて、樹脂等の他の材質であってもよい。架台BSが有する端部のうち最も上側の端
部である最上部には、天井板MB1として平板が設けられている。架台BSが有する端部
のうち最も下側の端部である最下部と天井板MB1との間には、各種の物体を配置可能な
床板MB2として平板が設けられている。図1に示した例では、床板MB2の上面は、天
井板MB1の下面と平行な面である。なお、当該上面は、当該下面と非平行な面であって
もよい。
また、架台BSは、設置面に設置される。設置面は、例えば、架台BSが設置される部
屋の床面である。なお、設置面は、当該床面に代えて、当該部屋の壁面、天井面、屋外の
地面等の他の面であってもよい。
ロボットシステム1では、第1ロボット21と第2ロボット22は、架台BSの内側に
おいて互いの作業領域の少なくとも一部が重なるように、架台BSの天井板MB1に設置
される。また、第1ロボット21と第2ロボット22は、架台BSの内側において少なく
とも一部が重なる互いの作業領域内に、床板MB2の上面に設置された作業台TBが含ま
れるように架台BSの天井板MB1に設置される。これにより、ロボットシステム1は、
第1ロボット21と第2ロボット22との両方が協調して行うことが可能な作業であって
作業台TBの上面に設置された物体に対する作業を所定の作業として第1ロボット21と
第2ロボット22に行わせることができる。この一例において、ロボット制御装置30は
、所定の作業のうちの第1作業を第1ロボット21に行わせ、所定の作業のうちの第2作
業を第2ロボット22に行わせる。
作業台TBは、この一例において、第1ロボット21と第2ロボット22との両方が協
調して所定の作業を行う対象である対象物Oを載置可能な台として床板MB2の上面に設
置された平板である。なお、作業台TBは、平板に代えて、テーブル、棚等の当該台とし
て用いることが可能な他の物体であってもよい。
対象物Oは、作業台TBの上面に載置されている。対象物Oは、例えば、製品に組み付
けるプレート、ネジ、ボルト等の産業用の部品や部材である。図1では、図を簡略化する
ため、正方形状の平板として対象物Oを表している。なお、対象物Oは、産業用の部品や
部材に代えて、日用品や生体等の他の物体であってもよい。また、対象物Oの形状は、正
方形状の平板に代えて、他の形状の平板であってもよく、平板と異なる物体であってもよ
い。この一例において、対象物Oの位置は、対象物Oの上面の図心の位置によって表され
る。当該上面の図心は、当該上面の形状を表す図形の図心のことである。なお、対象物O
の位置は、これに代えて、当該上面における他の位置であってもよく、対象物Oに対応付
けられた他の位置であってもよい。
ここで、第1ロボット21の作業領域は、第1ロボット21が作業を行うことが可能な
領域のことである。第2ロボット22の作業領域は、第2ロボット22が作業を行うこと
が可能な領域のことである。なお、架台BSの内側において第1ロボット21が設置され
る位置は、天井板MB1に代えて、架台BSの他の位置であってもよい。この場合、第2
ロボット22は、第1ロボット21が設置された位置に応じた位置に設置される。なお、
第1ロボット21の作業領域には、架台BSの外側が含まれてもよい。また、第2ロボッ
ト22の作業領域には、架台BSの外側が含まれてもよい。また、ロボットシステム1で
は、第1ロボット21と第2ロボット22は、互いの作業領域の少なくとも一部が重なる
ように設置される構成であれば、架台BSの天井板MB1以外の他の物体に設置される構
成であってもよい。また、第1ロボット21と第2ロボット22は、互いに異なる物体に
設置される構成であってもよい。
第1ロボット21は、例えば、直交座標ロボット(ガントリロボット)である。なお、
第1ロボット21は、直交座標ロボットに代えて、1つのアームを有する単腕ロボット、
2つのアームを有する双腕ロボット、3つ以上のアームを有する複腕ロボット等の垂直多
関節ロボットであってもよく、スカラロボット(水平多関節ロボット)であってもよく、
円筒型ロボット等の他のロボットであってもよい。
第1ロボット21は、第1フレームF1と、第2フレームF2と、第3フレームF3と
、第1撮像部C1を備える。
第1フレームF1は、第2フレームF2を支持し、第1ロボット21が設置される物体
に動かないように取り付けられる。当該物体は、この一例において、天井板MB1である
。第1フレームF1は、例えば、直方体形状の部材である。なお、第1フレームF1は、
直方体形状の部材に代えて、他の形状の部材であってもよい。第1フレームF1が有する
面のうち天井板MB1の下面に接面している面と反対側の面には、直方体形状の長手方向
に沿ったレールR1が形成されている。以下では、一例として、第1フレームF1が、当
該長手方向と、ロボット座標系RCにおけるX軸に沿った方向とが平行になるように天井
板MB1に設置される場合について説明する。なお、当該長手方向と、当該X軸に沿った
方向とは、非平行であってもよい。
第2フレームF2は、第1フレームF1により支持され、第3フレームF3を支持し、
図示しない直動アクチュエーター等によってレールR1に沿って並進可能である。第2フ
レームF2は、例えば、直方体形状の部材である。なお、第2フレームF2は、直方体形
状の部材に代えて、他の形状の部材であってもよい。第2フレームF2が有する面のうち
第1フレームF1側を向いている面と反対側の面には、直方体形状の長手方向に沿ったレ
ールR2が形成されている。以下では、一例として、第2フレームF2が、当該長手方向
と、ロボット座標系RCにおけるY軸に沿った方向とが平行になるように第1フレームF
1に支持される場合について説明する。なお、当該長手方向と、当該Y軸に沿った方向と
は、非平行であってもよい。
第3フレームF3は、第2フレームF2により支持され、図示しない直動アクチュエー
ター等によってレールR2に沿って並進可能である。第3フレームF3は、例えば、直方
体形状の部材である。なお、第3フレームF3は、直方体形状の部材に代えて、他の形状
の部材であってもよい。第3フレームF3が有する面のうち第2フレームF2側を向いて
いる面には、直方体形状の長手方向に沿ったレールR3が形成されている。以下では、一
例として、第3フレームF3が、当該長手方向と、ロボット座標系RCにおけるZ軸に沿
った方向とが平行になるように第2フレームF2に支持される場合について説明する。ま
た、第3フレームF3は、図示しない直動アクチュエーター等によってレールR3に沿っ
た方向に並進可能である。なお、当該長手方向と、当該Z軸に沿った方向とは、非平行で
あってもよい。
このように、この一例における第1フレームF1と第2フレームF2と第3フレームF
3とのそれぞれは、長手方向が互いに直交する。そして、第1ロボット21は、レールR
1に沿った方向への第2フレームF2の並進と、レールR2及びレールR3のそれぞれに
沿った方向への第3フレームF3の並進とによって、第3フレームF3が有する端部のう
ち下側の端部の位置をロボット制御装置30が指示する位置に移動させることができる。
第1撮像部C1は、例えば、集光された光を電気信号に変換する撮像素子であるCCD
(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconducto
r)等を備えたカメラである。また、第1撮像部C1は、テレセントリックレンズを有す
るカメラである。なお、第1撮像部C1は、テレセントリックレンズに代えて、他のレン
ズを有するカメラであってもよい。この一例において、第1撮像部C1は、第3フレーム
F3が有する端部のうち下側の端部に備えられる。そのため、第1撮像部C1は、当該端
部の動きに応じて移動する。また、第1撮像部C1が撮像可能な範囲は、第3フレームF
3の動きに応じて変化する。第1撮像部C1は、当該範囲の二次元画像を撮像する。なお
、第1撮像部C1は、当該範囲の三次元画像を撮像する構成であってもよい。この場合、
第1撮像部C1は、ステレオカメラ、ライトフィールドカメラ等である。また、第1撮像
部C1は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像
する構成であってもよい。以下では、一例として、第1撮像部C1が当該範囲の静止画像
を撮像する場合について説明する。また、この一例において、第1撮像部C1の位置は、
第1撮像部C1の重心の位置に対応付けられた三次元直交座標系である図示しない第1撮
像部座標系の原点のロボット座標系RCにおける位置によって表される。また、第1撮像
部C1の姿勢は、第1撮像部座標系における各座標軸のロボット座標系RCにおける方向
によって表される。
また、第1撮像部C1は、ケーブルによってロボット制御装置30と通信可能に接続さ
れている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等
の規格によって行われる。なお、第1撮像部C1は、Wi−Fi(登録商標)等の通信規
格により行われる無線通信によってロボット制御装置30と接続される構成であってもよ
い。
第2ロボット22は、支持台Bと、支持台Bにより支持された可動部Aと、第2撮像部
C2と、吐出部Dを備えるスカラロボット(水平多関節ロボット)である。なお、第2ロ
ボット22は、スカラロボットに代えて、前述の垂直多関節ロボット、直角座標ロボット
、円筒型ロボット等の他のロボットであってもよい。
支持台Bは、可動部Aを支持し、第2ロボット22が設置される物体に動かないように
取り付けられる。当該物体は、この一例において、天井板MB1である。
可動部Aは、支持台Bによって第1軸AX1周りに回動可能に支持された第1アームA
1と、第1アームA1によって第2軸AX2周りに回動可能に支持された第2アームA2
と、第2アームA2によって第3軸AX3周りに回動可能且つ第3軸AX3の軸方向に並
進可能に支持されたシャフトSを備える。
シャフトSは、円柱形状の軸体である。シャフトSの周表面には、図示しないボールね
じ溝とスプライン溝とがそれぞれ形成されている。シャフトSは、この一例において、第
2アームA2の端部のうちの第1アームA1と反対側の端部を、支持台Bが設置された天
井板MB1の下面に対して垂直な方向である第1方向に貫通し、設けられる。図1に示し
た例では、第1方向は、上下方向と一致している。なお、第1方向は、これに代えて、上
下方向と一致しない構成であってもよい。また、シャフトSの端部のうちの当該下面側の
端部は、エンドエフェクターを取り付け可能である。当該エンドエフェクターは、物体を
把持可能なエンドエフェクターであってもよく、空気や磁気等によって物体を吸着可能な
エンドエフェクターであってもよく、他のエンドエフェクターであってもよい。
第1アームA1は、この一例において、第1軸AX1周りに回動し、第2方向に移動す
る。第2方向は、前述の第1方向に直交する方向である。すなわち、第2方向は、この一
例において、ロボット座標系RCにおけるXY平面に沿った方向である。第1アームA1
は、支持台Bが備える図示しない第1モーターによって第1軸AX1周りに回動させられ
る。
第2アームA2は、この一例において、第2軸AX2周りに回動し、第2方向に移動す
る。第2アームA2は、第2アームA2が備える図示しない第2モーターによって第2軸
AX2周りに回動させられる。また、第2アームA2は、図示しない第3モーター及び図
示しない第4モーターを備え、シャフトSを支持する。第3モーターは、シャフトSのボ
ールねじ溝の外周部に設けられたボールねじナットをタイミングベルト等で回動させるこ
とにより、シャフトSを第1方向に移動(昇降)させる。第4モーターは、シャフトSの
スプライン溝の外周部に設けられたボールスプラインナットをタイミングベルト等で回動
させることにより、シャフトSを第3軸AX3周りに回動させる。
第2撮像部C2は、例えば、集光された光を電気信号に変換する撮像素子であるCCD
やCMOS等を備えたカメラである。また、第2撮像部C2は、テレセントリックレンズ
を有するカメラである。なお、第2撮像部C2は、テレセントリックレンズに代えて、他
のレンズを有するカメラであってもよい。この一例において、第2撮像部C2は、シャフ
トSが有する端部のうち下側の端部に吐出部Dとともに備えられる。そのため、第2撮像
部C2は、当該端部の動き、すなわち可動部Aの動きに応じて移動する。また、第2撮像
部C2が撮像可能な範囲は、可動部Aの動きに応じて変化する。第2撮像部C2は、当該
範囲の二次元画像を撮像する。なお、第2撮像部C2は、当該範囲の三次元画像を撮像す
る構成であってもよい。この場合、第2撮像部C2は、ステレオカメラ、ライトフィール
ドカメラ等である。また、第2撮像部C2は、当該範囲の静止画像を撮像する構成であっ
てもよく、当該範囲の動画像を撮像する構成であってもよい。以下では、一例として、第
2撮像部C2が当該範囲の静止画像を撮像する場合について説明する。また、この一例に
おいて、第2撮像部C2の位置は、第2撮像部C2の重心の位置に対応付けられた三次元
直交座標系である図示しない第2撮像部座標系の原点のロボット座標系RCにおける位置
によって表される。また、第2撮像部C2の姿勢は、第2撮像部座標系における各座標軸
のロボット座標系RCにおける方向によって表される。
また、第2撮像部C2は、ケーブルによってロボット制御装置30と通信可能に接続さ
れている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等
の規格によって行われる。なお、第2撮像部C2は、Wi−Fi(登録商標)等の通信規
格により行われる無線通信によってロボット制御装置30と接続される構成であってもよ
い。
吐出部Dは、吐出物を吐出可能なディスペンサーである。吐出物は、液体、気体、粉粒
体等の吐出可能な物質のことである。以下では、一例として、吐出物がグリース(潤滑材
)である場合について説明する。吐出部Dは、図示しないシリンジ部と、図示しないニー
ドル部と、シリンジ部の内部に空気を注入する図示しない空気注入部とを備える。シリン
ジ部は、内部にグリースを入れる空間を有する容器である。ニードル部は、シリンジ部に
入っているグリースを吐出する針を有する。ニードル部は、当該針の先端からグリースを
吐出する。すなわち、吐出部Dは、空気注入部がシリンジ部の内部に空気を注入すること
により、シリンジ部の内部に入っているグリースをニードル部の先端から吐出する。この
一例において、吐出部Dは、シャフトSが有する端部のうち下側の端部に第2撮像部C2
とともに備えられる。そのため、吐出部Dが吐出物を吐出可能な位置は、可動部Aの動き
に応じて変化する。また、この一例において、吐出部Dの位置は、吐出部Dの重心の位置
に対応付けられた三次元直交座標系である図示しない吐出部座標系の原点のロボット座標
系RCにおける位置によって表される。また、吐出部Dの姿勢は、吐出部座標系における
各座標軸のロボット座標系RCにおける方向によって表される。
また、吐出部Dは、ケーブルによってロボット制御装置30と通信可能に接続されてい
る。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格
によって行われる。なお、吐出部Dは、Wi−Fi(登録商標)等の通信規格により行わ
れる無線通信によってロボット制御装置30と接続される構成であってもよい。
ロボット制御装置30は、第1ロボット21と第2ロボット22とのそれぞれを、1つ
のロボット座標系RCを基準として制御するコントローラーである。図1に示した例では
、ロボット制御装置30は、架台BSの天井板MB1の上面に設置されている。なお、ロ
ボット制御装置30は、架台BSの他の位置に設置される構成であってもよく、架台BS
の外側に設置される構成であってもよい。
ロボット制御装置30は、第1ロボット21と第2ロボット22とのそれぞれを制御し
、第1ロボット21と第2ロボット22との両方が協調して行う所定の作業を、第1ロボ
ット21と第2ロボット22との両方に行わせる。具体的には、ロボット制御装置30は
、第1ロボット21に第1作業を行わせ、第2ロボット22に第2作業を行わせる。
<ロボット制御装置が第1ロボットと第2ロボットとに所定の作業を行わせる処理の概
要>
以下、ロボット制御装置30が第1ロボット21と第2ロボット22とに所定の作業を
行わせる処理の概要について説明する。
以下では、一例として、ロボット制御装置30には、第1撮像部C1の位置及び姿勢が
予め決められた第1撮像位置及び第1撮像姿勢と一致している状態において、第1撮像部
C1により撮像された撮像画像である第1画像上の位置と、ロボット座標系RCにおける
位置とを対応付けるキャリブレーションが予め行われている場合について説明する。第1
撮像位置及び第1撮像姿勢は、第1撮像部C1の位置及び姿勢が一致した場合において、
第1撮像部C1により作業台TBの上面を含む範囲である第1撮像範囲が撮像可能な位置
及び姿勢である。なお、ロボット制御装置30には、当該キャリブレーションが予め行わ
れていない構成であってもよい。この場合、ロボット制御装置30には、以下において説
明する処理がロボット制御装置30により行われる前に、当該キャリブレーションが行わ
れる。
また、以下では、一例として、ロボット制御装置30には、第2撮像部C2の位置及び
姿勢が予め決められた第2撮像位置及び第2撮像姿勢と一致している状態において、第2
撮像部C2により撮像された撮像画像である第2画像上の位置と、ロボット座標系RCに
おける位置とを対応付けるキャリブレーションが予め行われている場合について説明する
。第2撮像位置及び第2撮像姿勢は、第2撮像部C2の位置及び姿勢が一致した場合にお
いて、第2撮像部C2により作業台TBの上面を含む範囲である第2撮像範囲が撮像可能
な位置及び姿勢である。なお、ロボット制御装置30には、当該キャリブレーションが予
め行われていない構成であってもよい。この場合、ロボット制御装置30には、以下にお
いて説明する処理がロボット制御装置30により行われる前に、当該キャリブレーション
が行われる。
なお、第2撮像位置は、第1撮像位置と同じであってもよく、第1撮像位置と異なって
いてもよい。以下では、一例として、第2撮像位置が第1撮像位置と同じである場合につ
いて説明する。また、第2撮像姿勢は、第1撮像姿勢と同じであってもよく、第1撮像姿
勢と異なっていてもよい。以下では、一例として、第2撮像姿勢が第1撮像姿勢と同じで
ある場合について説明する。
ロボット制御装置30は、第1ロボット21を動作させ、第1撮像部C1の位置及び姿
勢を第1撮像位置及び第1撮像姿勢と一致させる。そして、ロボット制御装置30は、第
1撮像部C1により、作業台TBの上面を含む範囲である第1撮像範囲を撮像する作業を
、前述の第1作業として第1ロボット21に行わせる。ロボット制御装置30は、第1撮
像部C1により第1撮像範囲が撮像された第1画像から検出対象の位置である検出対象位
置を検出する。検出対象は、この一例において、前述の対象物Oである。なお、検出対象
は、対象物Oに代えて、他の物体であってもよい。
作業台TBの上面には、図1に示したように、第1基準マーカーM1が設けられている
。第1基準マーカーは、第1基準マーカーM1の位置を示すマーカーである。第1基準マ
ーカーM1は、第1基準マーカーM1の位置を示すマーカーであれば、如何なるマーカー
であってもよい。図1に示した例では、図を簡略化するため、第1基準マーカーM1は、
直方体形状の物体として表している。なお、第1基準マーカーM1は、直方体形状に代え
て、第1基準マーカーの位置を示すことが可能な他の形状であってもよい。また、第1基
準マーカーM1は、当該物体に代えて、シール等のシート状の物体であってもよい。ここ
で、第1基準マーカーM1の位置は、例えば、第1基準マーカーM1の上面の図心の位置
である。ここで、当該上面の図心は、当該上面の形状を表す図形の図心のことである。な
お、第1基準マーカーM1の位置は、これに代えて、当該上面における他の位置であって
もよく、第1基準マーカーM1に対応付けられた他の位置であってもよい。
なお、作業台TBの上面には、第1基準マーカーM1と異なるマーカーである第2基準
マーカーが、第1基準マーカーM1とともに設けられる構成であってもよい。以下では、
一例として、第1基準マーカーM1のみが作業台TBの上面に設けられている場合につい
て説明する。すなわち、この一例において、第1基準マーカーM1と第2基準マーカーと
は、同じである。
第1基準マーカーM1は、作業台TBに対して動かないように作業台TBに設置されて
いる。また、作業台TBは、架台BSの床板MB2に対して動かないように床板MB2に
設置されている。このため、作業台TBに設置された第1基準マーカーM1は、第1ロボ
ット21の動作に応じて動くことがない。また、作業台TBに設置された第1基準マーカ
ーM1は、第2ロボット22の動作に応じて動くことがない。換言すると、作業台TBに
設置された第1基準マーカーM1は、ロボット座標系RCに対して相対的に動くことのな
い物体である。このため、作業台TBに設置された第1基準マーカーM1の位置は、ロボ
ット座標系RCに対して相対的に動くことのない位置である。
ここで、ロボット制御装置30には、第1基準位置情報が予め記憶されている。第1基
準位置情報は、第1基準位置を示す情報のことである。第1基準位置は、ロボット座標系
RCにおける位置であり、ロボット座標系RCに対して相対的に動かないため、作業台T
Bに設置された第1基準マーカーM1の基準となる位置である。
ロボット制御装置30は、対象物Oが撮像された第1画像に基づいて、対象物Oの位置
を検出対象位置として検出する。ロボット制御装置30は、検出した検出対象位置を、ロ
ボット座標系RCにおける位置に変換する。ロボット座標系RCにおける位置に変換され
た検出対象位置は、第1撮像部C1が有するレンズの収差による誤差が十分に小さければ
、現実の対象物Oの位置、すなわちロボット座標系における対象物Oの位置とほぼ一致す
るはずである。しかし、第1撮像範囲を撮像する際の第1撮像部C1の位置及び姿勢は、
第1ロボット21を構成する部材(例えば、第1フレームF1〜第3フレームF3のそれ
ぞれ)の剛性の不足、第1ロボット21への第1撮像部C1の取り付け構造に係る剛性の
不足、第1ロボット21が備える各アクチュエーターの熱膨張等によって、第1撮像位置
及び第1撮像姿勢からずれてしまう場合がある。このため、ロボット座標系RCにおける
位置に変換された検出対象位置は、第1撮像部C1が有するレンズの収差による誤差が十
分に小さかったとしても、現実の対象物Oのロボット座標系RCにおける位置からずれて
しまうことがある。その結果、ロボット制御装置30は、対象物Oに対して精度の高い作
業を第1ロボット21と第2ロボット22とのそれぞれに行わせることができない場合が
あった。
そこで、ロボット制御装置30は、第1画像に基づいて、第1画像に含まれる第1基準
マーカーM1の位置を、第1検出位置として検出する。ロボット制御装置30は、検出し
た第1検出位置を示す第1検出位置情報と、予め記憶された第1基準位置情報とに基づい
て、ロボット座標系RCにおける位置に変換された検出対象位置を補正する。より具体的
には、ロボット制御装置30は、第1検出位置をロボット座標系RCにおける位置に変換
し、ロボット座標系RCにおける位置に変換した第1検出位置と、予め記憶された第1基
準位置情報が示す第1基準位置との差に基づいて、当該検出対象位置を補正する。これに
より、ロボット制御装置30は、ロボット制御装置30により補正された検出対象位置と
、現実の対象物Oのロボット座標系における位置とをほぼ一致させることができる。そし
て、ロボット制御装置30は、ロボット座標系RCにおける位置に変換した第1検出位置
と、第1基準位置との差に基づいて、補正された検出対象位置に基づく処理を高い精度で
行うことができる。その結果、ロボット制御装置30は、対象物Oに対して精度の高い作
業を第1ロボット21と第2ロボット22とのそれぞれに行わせることができる。
なお、ロボット制御装置30は、第1検出位置をロボット座標系RCにおける位置に変
換する構成に代えて、予め記憶された第1基準位置情報が示す第1基準位置を第1画像上
の位置に変換する構成であってもよい。この場合、ロボット制御装置30は、補正する前
の検出対象位置をロボット座標系RCにおける位置に変換しない。そして、ロボット制御
装置30は、ロボット制御装置30は、検出した第1検出位置と、第1画像上の位置に変
換された第1基準位置との差に基づいて、第1画像から検出した検出対象位置を補正する
。その後、ロボット制御装置30は、補正した検出対象位置をロボット座標系RCにおけ
る位置に変換する。
また、ロボット制御装置30は、ロボット座標系RCにおける位置に変換した第1検出
位置と、予め記憶された第1基準位置情報が示す第1基準位置との差に基づいて、ロボッ
ト座標系RCにおける位置に変換された検出対象位置を補正する構成に代えて、当該第1
検出位置情報と、当該第1基準位置情報とに基づく他の方法によって、当該検出対象位置
を補正する構成であってもよい。
ロボット制御装置30が検出対象位置を補正した後、ロボット制御装置30は、第1ロ
ボット21を動作させ、第1ロボット21の作業領域のうち、第2ロボット22の作業領
域と重なっていない領域に第1撮像部C1を移動させる。その後、ロボット制御装置30
は、第2ロボット22を動作させ、第2撮像部C2の位置及び姿勢を第2撮像位置及び第
2撮像姿勢(この一例において、第1撮像位置及び第1撮像姿勢)と一致させる。そして
、ロボット制御装置30は、第2撮像部C2により、作業台TBの上面を含む範囲である
第2撮像範囲を撮像させる。
ロボット制御装置30は、予め記憶された情報であって第2基準マーカー(この一例に
おいて、第1基準マーカーM1)の基準となる位置である第2基準位置(この一例におい
て、第1基準位置)を示す第2基準位置情報(この一例において、第1基準位置情報)と
、第2ロボット22に設けられた第2撮像部C2によって撮像された撮像画像である第2
画像に基づいて検出された位置であって第2画像に含まれる第2基準マーカーの位置であ
る第2検出位置を示す第2検出位置情報とに基づいて、作業位置を補正する。作業位置は
、予め決められた位置のことであり、第2ロボット22が作業を行う際に吐出部Dの位置
を一致させる位置のことである。すなわち、この一例において、前述の第2作業は、吐出
部Dによりグリースを対象物Oの上面に吐出する作業である。なお、第2作業は、これに
代えて、他の作業であってもよい。
ここで、吐出部Dからグリースを対象物Oの上面に吐出させる際の吐出部Dの位置は、
第1撮像部C1の位置及び姿勢が第1撮像位置及び第1撮像姿勢からずれてしまう場合と
同様に、第2ロボット22を構成する部材(例えば、第1アームA1、第2アームA2、
シャフトSのそれぞれ)の剛性の不足、第2ロボット22への第2撮像部C2の取り付け
構造に係る剛性の不足、第2ロボット22が備える各アクチュエーターの熱膨張等によっ
て、作業位置からずれてしまう場合がある。このため、ロボット制御装置30は、第2ロ
ボット22を動作させ、対象物Oの上面において予め決められた位置にグリースを吐出さ
せることができない場合があった。上記の作業位置の補正は、このような問題を解決する
ために行われる処理である。すなわち、上記の作業位置の補正により、ロボット制御装置
30は、精度の高い作業を第2ロボット22に行わせることができる。なお、ロボットシ
ステム1は、第1ロボット21に吐出部Dを備えさせ、第1ロボット21に第1作業及び
第2作業の両方を行わせる構成であってもよい。また、ロボットシステム1は、第2ロボ
ット22に第1作業及び第2作業の両方を行わせる構成であってもよい。しかし、サイク
ルタイムを短縮するため、ロボットシステム1では、第1ロボット21が第1作業を行い
、第2ロボット22が第2作業を行うことが望ましい。
ロボット制御装置30は、吐出部Dの位置を、補正した作業位置と一致させる。そして
、ロボット制御装置30は、吐出部Dからグリースを吐出させる。このように、ロボット
制御装置30は、第1ロボット21に第1作業を行わせ、第2ロボット22に第2作業を
行わせることにより、前述の所定の作業を第1ロボット21及び第2ロボット22の両方
に行わせる。
以下では、ロボット制御装置30が検出対象位置と作業位置とのそれぞれを補正する処
理について詳しく説明する。
また、以下では、一例として、第1基準マーカーM1の高さは、対象物Oの高さと等し
い場合について説明する。第1基準マーカーM1の高さは、上下方向における位置であっ
て第1基準マーカーM1の上面の形状を表す図形の図心の位置のことである。また、対象
物Oの高さは、上下方向における位置であって対象物Oの上面の形状を表す図形の図心の
位置のことである。当該場合、ロボット制御装置30は、第1画像からの検出対象位置の
検出における誤差のうち第1基準マーカーの高さと検出対象位置の高さとの差に基づく誤
差を抑制することができる。なお、第1基準マーカーM1の高さは、対象物Oの高さと異
なってもよい。
<ロボット制御装置のハードウェア構成>
以下、図2を参照し、ロボット制御装置30のハードウェア構成について説明する。図
2は、ロボット制御装置30のハードウェア構成の一例を示す図である。
ロボット制御装置30は、例えば、CPU(Central Processing Unit)31と、記
憶部32と、入力受付部33と、通信部34と、表示部35を備える。これらの構成要素
は、バスBusを介して相互に通信可能に接続されている。また、ロボット制御装置30
は、通信部34を介して第1ロボット21、第2ロボット22、第1撮像部C1、第2撮
像部C2、吐出部Dのそれぞれと通信を行う。
CPU31は、記憶部32に格納された各種プログラムを実行する。
記憶部32は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive
)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、R
OM(Read−Only Memory)、RAM(Random Access Memory)等を含む。なお、記憶
部32は、ロボット制御装置30に内蔵されるものに代えて、USB等のデジタル入出力
ポート等によって接続された外付け型の記憶装置であってもよい。記憶部32は、ロボッ
ト制御装置30が処理する各種情報、各種プログラム、各種画像(前述の第1画像、第2
画像を含む)等を格納する。
入力受付部33は、例えば、キーボードやマウス、タッチパッド、その他の入力装置で
ある。なお、入力受付部33は、これらに代えて、表示部35と一体に構成されたタッチ
パネルであってもよい。また、入力受付部33は、ロボット制御装置30と別体であって
もよい。この場合、入力受付部33は、有線又は無線によってロボット制御装置30と通
信可能に接続される。
通信部34は、例えば、USB等のデジタル入出力ポートやイーサネット(登録商標)
ポート等を含んで構成される。
表示部35は、例えば、液晶ディスプレイパネル、あるいは、有機EL(ElectroLumin
escence)ディスプレイパネルである。なお、表示部35は、ロボット制御装置30と別
体であってもよい。この場合、表示部35は、有線又は無線によってロボット制御装置3
0と通信可能に接続される。
<ロボット制御装置の機能構成>
以下、図3を参照し、ロボット制御装置30の機能構成について説明する。図3は、ロ
ボット制御装置30の機能構成の一例を示す図である。
ロボット制御装置30は、記憶部32と、表示部35と、制御部36を備える。
制御部36は、ロボット制御装置30の全体を制御する。制御部36は、撮像制御部3
61と、画像取得部363と、吐出制御部364と、撮像部姿勢判定部365と、位置姿
勢検出部367と、補正部369と、表示制御部370と、ロボット制御部371を備え
る。制御部36が備えるこれらの機能部は、例えば、CPU31が、記憶部32に記憶さ
れた各種プログラムを実行することにより実現される。また、当該機能部のうちの一部又
は全部は、LSI(Large Scale Integration)やASIC(Application Specific
Integrated Circuit)等のハードウェア機能部であってもよい。
撮像制御部361は、第1撮像部C1が撮像可能な範囲を第1撮像部C1に撮像させる
。また、撮像制御部361は、第2撮像部C2が撮像可能な範囲を第2撮像部C2撮像さ
せる。
画像取得部363は、第1撮像部C1が撮像した第1画像を第1撮像部C1から取得す
る。また、画像取得部363は、第2撮像部C2が撮像した第2画像を第2撮像部C2か
ら取得する。
吐出制御部364は、吐出部Dにグリースを吐出させる。
撮像部姿勢判定部365は、第1撮像部C1の姿勢が予め決められた姿勢である第1姿
勢と一致しているか否かの判定を行う。また、撮像部姿勢判定部365は、第2撮像部C
2の姿勢が予め決められた姿勢である第2姿勢と一致しているか否かの判定を行う。撮像
部姿勢判定部365は、ロボット制御装置30が第1ロボット21及び第2ロボット22
の両方に所定の作業を行わせる前の事前準備として行われる調整のうち、第1撮像部C1
の姿勢及び第2撮像部C2の姿勢の調整においてこれらの判定を行う。当該調整について
は、後述する。
位置姿勢検出部367は、画像取得部363が第1撮像部C1から取得した第1画像に
基づいて、第1画像に含まれる物体の位置及び姿勢を検出する。また、位置姿勢検出部3
67は、画像取得部363が第2撮像部C2から取得した第2画像に基づいて、第2画像
に含まれる物体の位置及び姿勢を検出する。
補正部369は、位置姿勢検出部367により検出された位置を補正する。例えば、補
正部369は、前述の検出対象位置の補正、及び作業位置の補正を行う。
表示制御部370は、各種の情報、各種の画像を表示部35に表示させる。例えば、表
示制御部370は、撮像部姿勢判定部365による判定の結果を示す情報を表示部35に
表示させる。
ロボット制御部371は、第1ロボット21を動作させる。また、ロボット制御部37
1は、第2ロボット22を動作させる。
<第1撮像部の姿勢及び第2撮像部の姿勢の調整>
以下、図4〜図9を参照し、ロボット制御装置30が第1ロボット21及び第2ロボッ
ト22の両方に所定の作業を行わせる前の事前準備として行われる調整のうち、第1撮像
部C1の姿勢及び第2撮像部C2の姿勢の調整について説明する。当該調整では、第1撮
像部C1の光軸と対象物Oの上面とが直交するように第1撮像部C1の姿勢が調整される
。これにより、ロボット制御装置30は、第1撮像部C1により撮像された第1画像に含
まれる物体の位置及び姿勢を、当該調整を行う前と比べて高い精度で検出することができ
る。また、第1撮像部C1の姿勢及び第2撮像部C2の姿勢の調整では、第2撮像部C2
の光軸と対象物Oの上面とが直交するように第2撮像部C2の姿勢が調整される。これに
より、ロボット制御装置30は、第2撮像部C2により撮像された第2画像に含まれる物
体の位置及び姿勢を、当該調整を行う前と比べて高い精度で検出することができる。
第1撮像部C1の姿勢及び第2撮像部C2の姿勢の調整では、対象物Oに代えて、図4
及び図5に示した校正用物体GOが作業台TBの上面に配置される。校正用物体GOは、
この一例において、正方形状の平板である。なお、校正用物体GOは、正方形状の平板に
代えて、他の形状の物体であってもよい。校正用物体GOの材質は、この一例において、
石英ガラスである。なお、校正用物体GOの材質は、石英ガラスに代えて、他の材質であ
ってもよい。図4は、校正用物体GOの一例を示す上面図である。図4に示した三次元直
交座標系は、Z軸の正方向が校正用物体GOの上面に直交する方向のうちの上方向と一致
し、X軸に沿った方向が正方形状の校正用物体GOの上面が有する4つの辺のうちの1辺
に沿った方向と一致し、Y軸に沿った方向が当該4つの辺のうち当該1辺と直交する1辺
に沿った方向と一致する三次元直交座標系である。すなわち、図4は、当該Z軸の負方向
に向かって校正用物体GOを見た場合の図である。また、図5は、図4に示した三次元直
交座標系におけるY軸の正方向に向かって校正用物体GOを見た場合の側面図である。
図4及び図5に示したように、校正用物体GOの上面である第1面には、フォトマスク
FM1が張り付けられている。フォトマスクFM1は、この一例において、校正用物体G
Oの第1面の形状及び大きさと同じ形状及び大きさのフォトマスクであり、フォトマスク
FM1の中心を円の中心とする半径D1の大きさの円形状の孔部が第1校正用マーカーH
1として形成されているフォトマスクである。また、校正用物体GOの下面である第2面
には、フォトマスクFM2が張り付けられている。フォトマスクFM2は、この一例にお
いて、校正用物体GOの第2面の形状及び大きさと同じ形状及び大きさのフォトマスクで
あり、フォトマスクFM2の中心を円の中心とする半径D2の大きさの円形状の孔部が第
2校正用マーカーH2として形成されているフォトマスクである。ここで、半径D2は、
半径D1よりも小さい。すなわち、図4及び図5に示したように、図4に示した三次元直
交座標系におけるZ軸の負方向に向かって校正用物体GOを見た場合、第1校正用マーカ
ーH1及び第2校正用マーカーH2の両方が見える。これは、校正用物体GOの材質が石
英ガラスのためである。なお、第1校正用マーカーH1の形状は、円形状に代えて、矩形
状、十字形状等の他の形状であってもよい。また、第1校正用マーカーH1は、校正用物
体GOに張り付けられたフォトマスクFM1に形成される構成に代えて、校正用物体GO
に形成される構成であってもよい。この場合、校正用物体GOでは、第1校正用マーカー
H1がロボット制御装置30により検出可能でなければならない。このため、例えば、校
正用物体GOは、不透明な物体であってもよく、第1校正用マーカーH1の部分に着色さ
れている構成であってもよく、第1校正用マーカーH1がロボット制御装置30により検
出可能な他の構成であってもよい。また、第2校正用マーカーH2の形状は、円形状に代
えて、矩形状、十字形状等の他の形状であってもよい。また、第2校正用マーカーH2は
、校正用物体GOに張り付けられたフォトマスクFM2に形成される構成に代えて、校正
用物体GOに形成される構成であってもよい。この場合、校正用物体GOでは、第2校正
用マーカーH2がロボット制御装置30により検出可能でなければならない。このため、
例えば、校正用物体GOは、不透明な物体であってもよく、第2校正用マーカーH2の部
分に着色されている構成であってもよく、第2校正用マーカーH2がロボット制御装置3
0により検出可能な他の構成であってもよい。また、第2校正用マーカーH2は、校正用
物体GOの第2面に位置する構成に代えて、第1校正用マーカーH1とともに校正用物体
GOの第1面に位置する構成であってもよい。この場合、校正用物体GOの第1面には、
第2校正用マーカーH2が位置する面と、図4に示した三次元直交座標系におけるZ軸に
沿った方向における位置(すなわち、高さ)が当該面と異なる面であって第1校正用マー
カーH1が位置する面とが形成される。
次に、図6を参照し、第1撮像部C1の姿勢及び第2撮像部C2の姿勢を調整する方法
について説明する。図6は、第1撮像部C1の姿勢及び第2撮像部C2の姿勢を調整する
方法を説明するための図である。当該方法を説明するため、ここでは、第1撮像部C1及
び第2撮像部C2に代えて、図6に示した仮想的な撮像部VCを例に挙げて説明する。図
6に示した矢印LAは、撮像部VCの光軸を表している。また、図6では、撮像部VCは
、部材FAに取り付けられている。部材FAは、ロボット制御装置30からの指示に応じ
て、撮像部VCをロボット座標系RCにおけるZ軸に沿った方向ZAに並進させる部材で
ある。なお、以下では、当該方法の説明のため、撮像部VCの姿勢を調整する前のタイミ
ングにおいて、ロボット座標系RCにおけるZ軸と撮像部VCの光軸とが非平行であり、
当該Z軸に沿った方向と校正用物体GOの第1面に直交する方向とが非平行である場合に
ついて説明する。
撮像部VCの姿勢を調整する方法では、撮像部VCの光軸が校正用物体GOの第1面の
中心を通るように校正用物体GOがユーザーにより作業台TBの上面に設置される。例え
ば、表示制御部370は、撮像部VCにより撮像された画像を、撮像画像の中心を示す情
報、すなわち当該光軸が通る位置を示す情報とともに表示させる。また、表示制御部37
0は、当該画像及び当該情報を、予め決められた周期が経過する毎に更新する。すなわち
、当該周期が経過する毎に、撮像制御部361は、撮像部VCが撮像可能な範囲を撮像部
VCに撮像させる。当該周期は、例えば、0.1秒である。画像取得部363は、当該周
期が経過する毎に撮像部VCが撮像した画像を取得する。そして、表示制御部370は、
撮像部VCから当該画像を取得するたびに当該画像とともに当該情報を表示部35に表示
させる。これにより、ユーザーは、当該画像及び当該情報を見ながら校正用物体GOの中
心を当該光軸が通るように校正用物体GOを作業台TBの上面に設置することができる。
なお、当該周期は、0.1秒よりも短い時間であってもよく、0.1秒よりも長い時間で
あってもよい。当該情報は、例えば、当該画像において当該光軸が通る位置で直交する2
本の直線である。なお、当該情報は、当該位置を示す他の情報であってもよい。また、作
業台TBがロボット制御装置30により動かすことが可能な場合、ロボット制御装置30
は、当該情報と、当該画像から検出された校正用物体GOの第1面の中心とが一致するよ
うに作業台TBを動かす構成であってもよい。
校正用物体GOの中心を撮像部VCの光軸が通るように校正用物体GOが作業台TBの
上面に設置された後、もし、方向ZAと矢印LAが示す方向とが非平行であった場合、撮
像部VCにより撮像された撮像画像内における校正用物体GOの位置は、撮像部VCの並
進であってロボット座標系RCにおけるZ軸に沿った並進に応じて変化する。そこで、ユ
ーザーは、当該並進に応じて当該位置が変化しないように、表示部35に表示された画像
であって撮像部VCにより撮像された画像を見ながら部材FAに対する撮像部VCの取り
付け位置を調整し、撮像部VCの姿勢を調整する。これにより、ユーザーは、撮像部VC
の光軸と、ロボット座標系RCにおけるZ軸に沿った方向とを平行にすることができる。
なお、ロボット制御装置30は、当該並進に応じて当該位置が変化しないように、撮像部
VCの姿勢を変更する構成であってもよい。この場合、撮像部VCは、撮像部VCの姿勢
を変更可能な駆動部を介して部材FAに取り付けられる。
次に、ユーザーは、撮像部VCの光軸と、校正用物体GOの第1面とが直交するように
撮像部VCの姿勢を調整する。この際、ユーザーは、ロボット座標系RCにおけるZ軸と
撮像部VCの光軸とが平行な状態を保ったまま、撮像部VCの姿勢を調整する。例えば、
ユーザーは、撮像部VCを備えるロボット(すなわち、この一例において、部材FAを備
えた仮想的なロボット)の姿勢を調整することにより撮像部VCの姿勢を調整する。なお
、ユーザーは、当該ロボットの姿勢を調整せずに、ロボット座標系RCにおけるZ軸と撮
像部VCの光軸とが平行な状態を保ったまま、撮像部VCの姿勢を調整してもよい。
ここで、撮像制御部361は、ユーザーから受け付けた操作に基づいて、撮像部VCに
より撮像可能な撮像範囲を撮像部VCに撮像させる。画像取得部363は、撮像部VCが
撮像した撮像画像を第3画像として撮像部VCから取得する。その後、ユーザーは、校正
用物体GOを、作業台TBの上面において校正用物体GOの中心を通る軸周りに校正用物
体GOを180°回転させる。この際、ユーザーは、表示部35に表示された画像であっ
て撮像部VCにより撮像された画像を見ながら校正用物体GOを回転させる。そして、撮
像制御部361は、ユーザーから受け付けた操作に基づいて、当該撮像範囲を撮像部VC
に撮像させる。画像取得部363は、撮像した撮像画像を第4画像として撮像部VCから
取得する。なお、作業台TBがロボット制御装置30により動かすことが可能な場合、ロ
ボット制御装置30は、作業台TBの上面において校正用物体GOの中心を通る軸周りに
校正用物体GOが180°回転するように作業台TBを動かす構成であってもよい。
図7は、第3画像の一例を示す図である。図7に示した画像P11は、第3画像の一例
である。位置姿勢検出部367は、撮像部VCから取得した第3画像に基づいて、第1校
正用マーカーH1の図心(この一例では、円形状である第1校正用マーカーH1の中心)
の位置CR1と、第2校正用マーカーH2の図心(この一例では、円形状である第2校正
用マーカーH2の中心)の位置CR2とのそれぞれを検出する。撮像部VCの光軸と校正
用物体GOの第1面とが直交していない場合、図7に示したように、画像P11では、位
置CR1と、位置CR2とが一致しない。ここで、位置CR1と位置CR2とのそれぞれ
は、第3画像上の位置である。
図8は、第4画像の一例を示す図である。図8に示した画像P12は、第4画像の一例
である。位置姿勢検出部367は、撮像部VCから取得した第4画像に基づいて、第1校
正用マーカーH1の図心(この一例では、円形状である第1校正用マーカーH1の中心)
の位置CR3と、第2校正用マーカーH2の図心(この一例では、円形状である第2校正
用マーカーH2の中心)の位置CR4とのそれぞれを検出する。撮像部VCの光軸と校正
用物体GOの第1面とが直交している場合、図8に示したように、画像P12では、位置
CR3と、位置CR4とが一致しない。ここで、位置CR3と位置CR4とのそれぞれは
、第4画像上の位置である。
撮像部姿勢判定部365は、位置CR1と位置CR3との差を表す画素数と、位置CR
2と位置CR4との差を表す画素数との両方が予め決められた画素数未満であるか否かを
判定することにより、撮像部VCの姿勢が予め決められた姿勢であるか否かを判定する。
以下では、一例として、予め決められた画素数が1画素である場合について説明する。な
お、予め決められた画素数は、1画素よりも小さい画素数であってもよく、1画素より多
いが素数であってもよい。位置CR1と位置CR3との差を表す画素数と、位置CR2と
位置CR4との差を表す画素数との両方が1画素未満である場合、撮像部VCの光軸と、
校正用物体GOの第1面とは、ほぼ直交している。撮像部姿勢判定部365は、当該両方
が1画素以上であると判定した場合、撮像部VCの姿勢が予め決められた姿勢ではないと
判定する。そして、表示制御部370は、撮像部姿勢判定部365による判定の結果を示
す情報として撮像部VCの姿勢が予め決められた姿勢ではないことを示す情報を表示部3
5に表示させる。一方、撮像部姿勢判定部365は、当該両方が1画素未満であると判定
した場合、撮像部VCの姿勢が予め決められた姿勢であると判定する。そして、表示制御
部370は、撮像部姿勢判定部365による判定の結果を示す情報として、撮像部VCの
姿勢が予め決められた姿勢であることを示す情報を表示部35に表示させる。このように
、ユーザーは、表示部35に表示された情報であって撮像部姿勢判定部365による判定
の結果を示す情報に基づいて、撮像部VCの姿勢が予め決められた姿勢であるか否かを知
ることができる。このため、ユーザーは、当該情報を見ながら、撮像部VCの光軸と、校
正用物体GOの第1面とがほぼ直交するように撮像部VCの姿勢を調整することができる
。なお、撮像部姿勢判定部365は、位置CR1と位置CR3との差を表す画素数と、位
置CR2と位置CR4との差を表す画素数とのうちいずれか一方が予め決められた画素数
未満であるか否かを判定することにより、撮像部VCの姿勢が予め決められた姿勢である
か否かを判定する構成であってもよい。また、ロボット制御装置30は、位置CR1と位
置CR3との差を表す画素数と、位置CR2と位置CR4との差を表す画素数との両方が
予め決められた画素数未満となるように、ロボット座標系RCにおけるZ軸と撮像部VC
の光軸とが平行な状態を保ったまま、撮像部VCの姿勢を変更する構成であってもよい。
この場合、部材FAには、ロボット座標系RCにおけるZ軸と撮像部VCの光軸とが平行
な状態を保ったまま、撮像部VCの姿勢を変更可能な駆動部が備えられる。
なお、上記において説明した第1校正用マーカーH1と第2校正用マーカーH2との間
の距離であって撮像部VCの光軸に沿った方向(すなわち、撮像部VCの撮像方向)にお
ける距離(この一例において、校正用物体GOの厚さ)は、撮像部VCの被写界深度に応
じた厚さである。図9は、校正用物体GOの第1面からの距離であって当該第1面から校
正用物体GOの第2面に向かう方向への距離と、撮像部VCにより撮像された画像におけ
る校正用物体GOの中心の位置を示すY座標との関係の一例を示すグラフである。なお、
当該距離と、当該中心の位置を示すX座標との関係は、当該距離と、当該中心の位置を示
すY座標との関係と傾向が同じであるため、説明を省略する。図9に示したように、当該
距離が当該被写界深度の2倍以下であれば、当該Y座標の値は、ほぼ一定である。しかし
、当該距離が当該被写界深度の2倍を超えると、当該Y座標の値は、変化してしまう。こ
れは、当該距離が当該被写界深度の2倍を超える場合、当該画像における当該中心の位置
が、焦点が合わずにぼやけてしまうためである。このことから、第1校正用マーカーH1
と第2校正用マーカーH2との間の距離は、撮像部VCの被写界深度の2倍以下であるこ
とが望ましい。また、第1校正用マーカーH1と第2校正用マーカーH2との間の距離が
当該被写界深度の半分未満である場合、上記において説明した位置CR1と位置CR3と
の差、及び位置CR2と位置CR4との差をロボット制御装置30が検出し難くなる。こ
のため、第1校正用マーカーH1と第2校正用マーカーH2との間の距離は、当該被写界
深度の半分以上であることが望ましい。なお、第1校正用マーカーH1と第2校正用マー
カーH2との間の距離は、当該被写界深度の半分未満であってもよく、当該被写界深度の
2倍を超えてもよい。
以上のような方法により、ユーザーは、撮像部VCの姿勢を調整することができる。こ
の方法は、第1撮像部C1の姿勢の調整、及び第2撮像部C2の姿勢の調整に適用可能で
ある。すなわち、ユーザーは、当該方法により、第1撮像部C1の姿勢を調整するととも
に、第2撮像部C2の姿勢を調整することができる。これにより、ロボット制御装置30
は、第1撮像部C1により撮像された第1画像に含まれる物体の位置を、第1撮像部C1
の姿勢を調整しない場合と比較して高い精度で検出することができるとともに、第2撮像
部C2により撮像された第2画像に含まれる物体の位置を、第2撮像部C2の姿勢を調整
しない場合と比較して高い精度で検出することができる。
なお、上記において説明したフォトマスクFM1は、フォトマスクに代えて、不透明な
シート状の物体であって第1校正用マーカーH1が形成された物体であれば他の物体であ
ってもよい。ただし、当該物体は、第1撮像部C1、第2撮像部C2のそれぞれに撮像さ
れた場合に、第1校正用マーカーH1の輪郭を示すエッジがぼけずに撮像される物体であ
ることが望ましい。また、上記において説明したフォトマスクFM2は、フォトマスクに
代えて、不透明なシート状の物体であって第2校正用マーカーH2が形成された物体であ
れば他の物体であってもよい。ただし、当該物体は、第1撮像部C1、第2撮像部C2の
それぞれに撮像された場合に、第2校正用マーカーH2の輪郭を示すエッジがぼけずに撮
像される物体であることが望ましい。
また、上記において説明したフォトマスクFM1は、校正用物体GOの第1面に代えて
、他の面に張り付けられる構成であってもよい。すなわち、第1校正用マーカーH1は、
当該第1面に代えて、校正用物体GOの他の面に設けられる構成であってもよい。また、
上記において説明したフォトマスクFM2は、校正用物体GOの第2面に代えて、他の面
に張り付けられる構成であってもよい。すなわち、第2校正用マーカーH2は、当該第2
面に代えて、校正用物体GOの他の面に設けられる構成であってもよい。
<ロボット制御装置が検出対象位置及び作業位置を補正する処理>
以下、図10を参照し、ロボット制御装置30が検出対象位置及び作業位置を補正する
処理について説明する。図10は、ロボット制御装置30が検出対象位置及び作業位置を
補正する処理の流れの一例を示すフローチャートである。
ロボット制御部371は、記憶部32に予め記憶された情報であって第1撮像位置及び
第1撮像姿勢を示す情報を記憶部32から読み出す。そして、ロボット制御部371は、
第1撮像部C1を移動させ(すなわち、第1ロボット21を動作させ)、第1撮像部C1
の位置及び姿勢を、第1撮像位置及び第1撮像姿勢と一致させる(ステップS110)。
次に、撮像制御部361は、第1撮像部C1が撮像可能な第1撮像範囲を第1撮像部C1
に撮像させる(ステップS120)。次に、画像取得部363は、ステップS120にお
いて第1撮像部C1が撮像した第1画像を第1撮像部C1から取得する(ステップS13
0)。
次に、位置姿勢検出部367は、ステップS130において画像取得部363が第1撮
像部C1から取得した第1画像に基づいて、当該第1画像に含まれる対象物Oの位置を検
出対象位置として検出する(ステップS140)。位置姿勢検出部367は、例えば、パ
ターンマッチングによって当該位置を検出対象位置として検出する。なお、位置姿勢検出
部367は、他の方法によって当該位置を検出対象位置として検出する構成であってもよ
い。
次に、位置姿勢検出部367は、ステップS130において画像取得部363が第1撮
像部C1から取得した第1画像に基づいて、第1画像上における第1基準マーカーM1の
位置を第1検出位置として検出する(ステップS150)。位置姿勢検出部367は、例
えば、パターンマッチングによって当該位置を第1検出位置として検出する。なお、位置
姿勢検出部367は、他の方法によって当該位置を第1検出位置として検出する構成であ
ってもよい。ここで、ステップS150の処理について説明する。
図11は、ステップS140において画像取得部363が取得した第1画像の一例を示
す図である。図11に示した画像P1は、当該第1画像の一例である。画像P1には、作
業台TBの上面を含む範囲が撮像されている。すなわち、画像P1には、当該上面と、当
該上面に載置された対象物Oと、当該上面に設けられた第1基準マーカーM1とが撮像さ
れている。図11に示した点OP1は、画像P1上における対象物Oの位置を示している
。また、図11に示した点BP1は、画像P1上における第1基準マーカーM1の位置を
示している。ステップS150において、位置姿勢検出部367は、画像P1に基づいて
、画像P1上における第1基準マーカーM1の位置を第1検出位置として検出する。
ステップS150の処理が行われた後、補正部369は、記憶部32に予め記憶された
第1基準位置情報を記憶部32から読み出す(ステップS160)。次に、補正部369
は、ステップS150において位置姿勢検出部367が検出した第1検出位置を示す第1
検出位置情報と、ステップS160において記憶部32から読み出した第1基準位置情報
とに基づいて、ステップS140において位置姿勢検出部367が検出した検出対象位置
を補正する(ステップS170)。ここで、ステップS170の処理について説明する。
第1基準位置情報が示す第1基準位置は、図12に示したように、ステップS150に
おいて位置姿勢検出部367が検出した第1検出位置とずれている場合がある。図12は
、図11に示した画像P1上において、第1検出位置と第1基準位置情報が示す第1基準
位置とのずれの一例を示す図である。図12に示した枠VMは、第1撮像部C1の位置及
び姿勢と第1撮像位置及び第1撮像姿勢とがずれずに一致している場合における画像P1
上での第1基準マーカーM1の輪郭を示す。また、図12に示した点BP2は、当該場合
における第1検出位置を示す。点BP2が示す第1検出位置をロボット座標系RCにおけ
る位置に変換すると、変換された当該第1検出位置は、第1基準位置と一致する。すなわ
ち、ステップS150において位置姿勢検出部367が検出した第1検出位置は、第1基
準位置からずれている。図12に示した差Lは、当該第1検出位置と第1基準位置との差
を示している。
ここで、差Lは、前述した通り、第1ロボット21を構成する部材(例えば、第1フレ
ームF1〜第3フレームF3のそれぞれ)の剛性の不足、第1ロボット21への第1撮像
部C1の取り付け構造に係る剛性の不足、第1ロボット21が備える各アクチュエーター
の熱膨張等によって生じた差である。このため、ステップS140において位置姿勢検出
部367が検出した検出対象位置をロボット座標系RCにおける位置に変換した場合、変
換された当該検出対象位置は、図12に示したように、ロボット座標系RCにおける現実
の対象物Oの位置から差Lずれているはずである。図12に示した点OP2は、第1撮像
部C1の位置及び姿勢と第1撮像位置及び第1撮像姿勢とがずれずに一致している場合に
おける画像P1上での対象物Oの位置を示している。
そこで、補正部369は、ステップS150において位置姿勢検出部367が検出した
第1検出位置をロボット座標系RCにおける位置に変換する。補正部369は、ロボット
座標系RCにおける位置に変換した第1検出位置と、記憶部32から読み出した第1基準
位置情報が示す第1基準位置との差Lを算出する。補正部369は、ステップS140に
おいて位置姿勢検出部367が検出した検出対象位置を、算出した差Lの分ずらすことに
より、当該検出対象位置を補正する。なお、補正部369は、原点を差Lの分ずらしたロ
ボット座標系RCにおける当該検出対象位置を算出することにより、当該検出対象位置を
補正する構成であってもよい。また、補正部369は、差Lに基づく他の方法によって当
該検出対象位置を補正する構成であってもよい。
ステップS170の処理が行われた後、ロボット制御部371は、第1ロボット21を
動作させ、第1ロボット21の作業領域のうち第2ロボット22の作業領域と重なってい
ない領域に第1撮像部C1を移動させる(ステップS180)。次に、ロボット制御部3
71は、第2撮像部C2を移動させ(すなわち、第2ロボット22を動作させ)、第2撮
像部C2の位置及び姿勢を第1撮像位置及び第1撮像姿勢と一致させる(ステップS19
0)。次に、撮像制御部361は、第2撮像部C2が撮像可能な第2撮像範囲を第2撮像
部C2に撮像させる(ステップS200)。次に、画像取得部363は、ステップS20
0において第2撮像部C2が撮像した第2画像を第2撮像部C2から取得する(ステップ
S210)。
次に、位置姿勢検出部367は、ステップS210において画像取得部363が第2撮
像部C2から取得した第2画像に基づいて、当該第2画像に含まれる第1基準マーカーM
1の位置を第2検出位置として検出する(ステップS220)。位置姿勢検出部367は
、例えば、パターンマッチングによって当該位置を第2検出位置として検出する。なお、
位置姿勢検出部367は、他の方法によって当該位置を第2検出位置として検出する構成
であってもよい。
次に、補正部369は、記憶部32に予め記憶された作業位置情報を記憶部32から読
み出す(ステップS230)。作業位置情報は、ステップS170において補正された検
出対象位置から作業位置までの相対的な位置を示す情報である。
次に、補正部369は、ステップ230において記憶部32から読み出した作業位置情
報と、ステップS170において補正された検出対象位置とに基づいて、ロボット座標系
RCにおける作業位置を算出する(ステップS240)。
次に、補正部369は、ステップS220において位置姿勢検出部367が検出した第
2検出位置をロボット座標系RCにおける位置に変換する。また、補正部369は、ロボ
ット座標系RCにおける位置に変換した第2検出位置と、ステップS160において記憶
部32から読み出した第1基準位置情報が示す第1基準位置との差を算出する。補正部3
69は、ステップS240において算出した作業位置を、算出した当該差の分ずらすこと
により、当該作業位置を補正する(ステップS250)。ステップS250の処理は、ス
テップS170と同様の処理であるため、詳細な説明を省略する。なお、補正部369は
、原点を当該差の分ずらしたロボット座標系RCにおける当該作業位置を算出することに
より、当該作業位置を補正する構成であってもよい。また、補正部369は、当該差に基
づく他の方法によって当該作業位置を補正する構成であってもよい。
次に、ロボット制御部371は、吐出部Dを移動させ(すなわち、第2ロボット22を
動作させ)、吐出部Dの位置をステップS250において補正した作業位置と一致させる
(ステップS260)。次に、吐出制御部364は、吐出部Dが吐出可能な位置にグリー
スを吐出する(ステップS270)。すなわち、ステップS270において、ロボット制
御部371は、第2ロボット22に第2作業を行わせる。そして、制御部36は、処理を
終了する。
なお、上記において説明したロボット座標系RCは、第1座標系の一例である。本実施
形態において、ロボット座標系RCは、他の座標系に置き換えられてもよい。
また、上記において説明したフローチャートにおいて、ステップS250は、省略され
てもよい。
また、ロボット制御装置30は、第2ロボット22に第2作業を行わせない構成であっ
てもよい。この場合、ロボット制御装置30は、ステップS170において補正した検出
対象位置に基づく他の処理を行う。
また、ロボット制御装置30は、上記において説明したフローチャートの処理を複数の
対象物Oのそれぞれに対して行う場合、すなわち、当該処理において第2ロボット22に
第2作業を複数回行わせる場合、ステップS250の処理を当該複数回未満行う構成であ
ってもよい。すなわち、ロボット制御装置30は、当該フローチャートの処理において第
2ロボット22に第2作業を複数の対象物Oのそれぞれに行う毎に、ステップS250の
処理を行う必要はない。例えば、ロボット制御装置30は、当該フローチャートの処理に
おいて第2ロボット22に第2作業を複数回行わせる場合、当該第2作業が予め決められ
た回数行われる毎に、ステップS250の処理を行う構成であってもよい。なお、ロボッ
ト制御装置30は、当該フローチャートの処理において第2ロボット22に第2作業を複
数回行わせる場合、ステップS250の処理を当該複数回行う構成であってもよい。
また、ロボットシステム1では、上記において説明した調整であって第1撮像部C1の
姿勢及び第2撮像部C2の姿勢の調整が行われない構成であってもよい。この場合、ロボ
ット制御装置30が備える撮像部姿勢判定部365は、上記において説明した判定を行わ
ない。
以上のように、ロボット制御装置30は、第1ロボット(この一例において、第1ロボ
ット21)に設けられた第1撮像部(この一例において、第1撮像部C1)によって検出
対象(この一例において、対象物O)が撮像された第1画像から検出対象の位置である検
出対象位置を検出し、記憶部(この一例において、記憶部32)に予め記憶された情報で
あって第1基準マーカーの基準となる位置である第1基準位置を示す第1基準位置情報と
、第1画像に基づいて検出された位置であって第1画像に含まれる第1基準マーカー(こ
の一例において、第1基準マーカーM1)の位置である第1検出位置を示す第1検出位置
情報とに基づいて、検出対象位置を補正する。これにより、ロボット制御装置30は、補
正された検出対象位置に基づく処理を高い精度で行うことができる。
また、ロボット制御装置30は、第1検出位置を第1座標系(この一例において、ロボ
ット座標系RC)における位置に変換し、変換した第1検出位置と、第1基準位置との差
に基づいて、検出対象位置を補正する。これにより、ロボット制御装置30は、第1座標
系における位置に変換した第1検出位置と、第1基準位置との差に基づいて、補正された
検出対象位置に基づく処理を高い精度で行うことができる。
また、ロボット制御装置30では、第1基準位置の高さは、検出対象位置の高さと等し
い。これにより、ロボット制御装置30は、第1画像からの検出対象位置の検出における
誤差のうち第1基準マーカーの高さと検出対象位置の高さとの差に基づく誤差を抑制する
ことができる。
また、ロボット制御装置30は、検出対象位置に基づく作業位置において、第2ロボッ
ト(この一例において、第2ロボット22)に作業(この一例において、第2作業)を行
わせる。これにより、ロボット制御装置30は、第2ロボットに高い精度の作業を行わせ
ることができる。
また、ロボット制御装置30は、記憶部に予め記憶された情報であって第2基準マーカ
ー(この一例において、第1基準マーカーM1)の基準となる位置である第2基準位置(
この一例において、第1基準位置)を示す第2基準位置情報と、第2ロボットに設けられ
た第2撮像部(この一例において、第2撮像部C2)によって撮像された第2画像に基づ
いて検出された位置であって第2画像に含まれる第2基準マーカーの位置である第2検出
位置を示す第2検出位置情報とに基づいて、作業位置を補正する。これにより、ロボット
制御装置30は、補正された作業位置に基づいて、第2ロボットに高い精度の作業を行わ
せることができる。
また、ロボット制御装置30は、第2ロボットに作業を複数回行わせる場合、作業位置
の補正を複数回未満の回数行う。これにより、ロボット制御装置30は、第2ロボットに
繰り返し行わせる作業に要する時間を短縮することができる。
また、ロボット制御装置30は、第1校正用マーカー(この一例において、第1校正用
マーカーH1)と、ロボット制御装置30に接続された撮像部(例えば、第1撮像部C1
、第2撮像部C2のそれぞれ)の撮像方向において第1校正用マーカーの位置と異なる位
置の第2校正用マーカー(この一例において、第2校正用マーカーH2)とが当該撮像部
によって撮像された画像に基づいて、当該撮像部の姿勢が予め決められた姿勢であるか否
かを判定する。これにより、ロボット制御装置30は、ロボット制御装置30に接続され
た撮像部の姿勢の調整を補助することができる。
また、ロボット制御装置30では、第1校正用マーカーは、物体の第1面に設けられ、
第2校正用マーカーは、物体の第1面とは異なる第2面に設けられている。これにより、
ロボット制御装置30は、物体の第1面に設けられた第1校正用マーカーと、物体の第2
面に設けられた第2校正用マーカーとに基づいて、ロボット制御装置30に接続された撮
像部の姿勢の調整を補助することができる。
また、ロボット制御装置30では、第1校正用マーカーと第2校正用マーカーとの距離
は、ロボット制御装置30に接続された撮像部の被写界深度の半分以上、当該被写界深度
の2倍以下である。これにより、ロボット制御装置30は、ロボット制御装置30に接続
された撮像部の被写界深度の半分以上、当該被写界深度の2倍以下の距離だけ第1校正用
マーカーから離れた第2校正用マーカーと、第1校正用マーカーとに基づいて、ロボット
制御装置30に接続された撮像部の姿勢の調整を補助することができる。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実
施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等
されてもよい。
また、以上に説明した装置(例えば、ロボット制御装置30)における任意の構成部の
機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、
そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。な
お、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機
器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体
」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disk)−R
OM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置の
ことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等
のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバー
やクライアントとなるコンピューターシステム内部の揮発性メモリー(RAM)のように
、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシ
ステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータ
ーシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インタ
ーネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を
伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい
。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録さ
れているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プロ
グラム)であってもよい。
1…ロボットシステム、21…第1ロボット、22…第2ロボット、30…ロボット制御
装置、31…CPU、32…記憶部、33…入力受付部、34…通信部、35…表示部、
36…制御部、361…撮像制御部、363…画像取得部、364…吐出制御部、365
…撮像部姿勢判定部、367…位置姿勢検出部、369…補正部、370…表示制御部、
371…ロボット制御部、BS…架台、C1…第1撮像部、C2…第2撮像部、M1…第
1基準マーカー

Claims (11)

  1. 第1ロボットに設けられた第1撮像部によって検出対象が撮像された第1画像から前記
    検出対象の位置である検出対象位置を検出するロボット制御装置であって、
    前記第1画像から前記検出対象位置を検出し、記憶部に予め記憶された情報であって第
    1基準マーカーの基準となる位置である第1基準位置を示す第1基準位置情報と、前記第
    1画像に基づいて検出された位置であって前記第1画像に含まれる前記第1基準マーカー
    の位置である第1検出位置を示す第1検出位置情報とに基づいて、前記検出対象位置を補
    正する制御部、
    を備えるロボット制御装置。
  2. 前記第1基準位置は、第1座標系における位置であり、
    前記制御部は、前記第1検出位置を前記第1座標系における位置に変換し、変換した前
    記第1検出位置と、前記第1基準位置との差に基づいて、前記検出対象位置を補正する、
    請求項1に記載のロボット制御装置。
  3. 前記第1基準マーカーの高さは、前記検出対象位置の高さと等しい、
    請求項1又は2に記載のロボット制御装置。
  4. 前記制御部は、前記検出対象位置に基づく作業位置において、第2ロボットに作業を行
    わせる、
    請求項1から3のうちいずれか一項に記載のロボット制御装置。
  5. 前記制御部は、前記記憶部に予め記憶された情報であって第2基準マーカーの基準とな
    る位置である第2基準位置を示す第2基準位置情報と、前記第2ロボットに設けられた第
    2撮像部によって撮像された第2画像に基づいて検出された位置であって前記第2画像に
    含まれる前記第2基準マーカーの位置である第2検出位置を示す第2検出位置情報とに基
    づいて、前記作業位置を補正する、
    請求項4に記載のロボット制御装置。
  6. 前記制御部は、前記第2ロボットに前記作業を複数回行わせる場合、前記作業位置の補
    正を前記複数回未満の回数行う、
    請求項5に記載のロボット制御装置。
  7. 前記制御部は、第1校正用マーカーと、前記ロボット制御装置に接続された撮像部の撮
    像方向において前記第1校正用マーカーの位置と異なる位置の第2校正用マーカーとが当
    該撮像部によって撮像された画像に基づいて、当該撮像部の姿勢が予め決められた姿勢で
    あるか否かを判定する、
    請求項1から6のうちいずれか一項に記載のロボット制御装置。
  8. 前記第1校正用マーカーは、物体の第1面に設けられ、
    前記第2校正用マーカーは、前記物体の前記第1面とは異なる第2面に設けられている

    請求項7に記載のロボット制御装置。
  9. 前記第1校正用マーカーと前記第2校正用マーカーとの距離は、前記撮像部の被写界深
    度の半分以上、前記被写界深度の2倍以下である、
    請求項7又は8に記載のロボット制御装置。
  10. 請求項1から9のうちいずれか一項に記載のロボット制御装置により制御される前記第
    1ロボットである、
    ロボット。
  11. 請求項1から9のうちいずれか一項に記載のロボット制御装置と、
    前記ロボット制御装置により制御される前記第1ロボットであるロボットと、
    を備えるロボットシステム。
JP2017060598A 2017-03-27 2017-03-27 ロボット制御装置、ロボット、及びロボットシステム Pending JP2018161726A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017060598A JP2018161726A (ja) 2017-03-27 2017-03-27 ロボット制御装置、ロボット、及びロボットシステム
US15/916,853 US20180272537A1 (en) 2017-03-27 2018-03-09 Robot control device, robot, and robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017060598A JP2018161726A (ja) 2017-03-27 2017-03-27 ロボット制御装置、ロボット、及びロボットシステム

Publications (1)

Publication Number Publication Date
JP2018161726A true JP2018161726A (ja) 2018-10-18

Family

ID=63581435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017060598A Pending JP2018161726A (ja) 2017-03-27 2017-03-27 ロボット制御装置、ロボット、及びロボットシステム

Country Status (2)

Country Link
US (1) US20180272537A1 (ja)
JP (1) JP2018161726A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
CN112775955B (zh) * 2019-11-06 2022-02-11 深圳富泰宏精密工业有限公司 机械手臂坐标确定方法、计算机装置
GB2605347B (en) * 2020-11-27 2024-05-29 Elekta ltd Method and apparatus for identifying image shift
KR102627226B1 (ko) * 2021-09-16 2024-01-19 에스엔피 주식회사 진공 챔버에 구비되는 로봇 조립체의 모니터링 시스템

Also Published As

Publication number Publication date
US20180272537A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP2018161726A (ja) ロボット制御装置、ロボット、及びロボットシステム
JP6685199B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
CN105066884B (zh) 一种机器人末端定位偏差校正方法及系统
US20170182665A1 (en) Robot, robot control device, and robot system
KR101636605B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
US10380764B2 (en) System and method for performing vision system planar hand-eye calibration from straight line features
JP2019115974A (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
WO2014069291A1 (ja) 半導体基板の位置検出装置及び位置検出方法
CN108453785B (zh) 机器人系统、机器人控制装置以及机器人控制方法
CN107073719A (zh) 机器人和机器人系统
KR20110126060A (ko) 전자 부품 검사 장치 및 전자 부품 반송 방법
JP5370774B2 (ja) トレイ移載装置及び方法
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
US9713870B2 (en) System and method for locating vehicle components relative to each other
KR102121972B1 (ko) 로봇, 로봇의 제어장치 및 로봇의 위치 교시 방법
US10052767B2 (en) Robot, control device, and control method
JP2016055389A (ja) 物品搬送システム
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
US7675633B2 (en) Method for measuring positions of structures on a substrate with a coordinate measuring machine
US20180056517A1 (en) Robot, robot control device, and robot system
JP2016120530A (ja) ロボット、及びロボット校正システム
JP2018017610A (ja) 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
JP2017007009A (ja) ロボット、制御装置、及びロボットシステム
JP2019027924A (ja) 電子部品搬送装置、電子部品検査装置、位置決め装置、部品搬送装置および位置決め方法

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910