JP2017100240A - 制御装置、ロボットおよびロボットシステム - Google Patents

制御装置、ロボットおよびロボットシステム Download PDF

Info

Publication number
JP2017100240A
JP2017100240A JP2015235250A JP2015235250A JP2017100240A JP 2017100240 A JP2017100240 A JP 2017100240A JP 2015235250 A JP2015235250 A JP 2015235250A JP 2015235250 A JP2015235250 A JP 2015235250A JP 2017100240 A JP2017100240 A JP 2017100240A
Authority
JP
Japan
Prior art keywords
image
reference marker
marker
robot
reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015235250A
Other languages
English (en)
Other versions
JP2017100240A5 (ja
JP6710946B2 (ja
Inventor
太郎 石毛
Taro Ishige
太郎 石毛
篤 原田
Atsushi Harada
篤 原田
如洋 山口
Yukihiro Yamaguchi
如洋 山口
弘光 阿部
Hiromitsu Abe
弘光 阿部
Original Assignee
セイコーエプソン株式会社
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社, Seiko Epson Corp filed Critical セイコーエプソン株式会社
Priority to JP2015235250A priority Critical patent/JP6710946B2/ja
Publication of JP2017100240A publication Critical patent/JP2017100240A/ja
Publication of JP2017100240A5 publication Critical patent/JP2017100240A5/ja
Application granted granted Critical
Publication of JP6710946B2 publication Critical patent/JP6710946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • G06K9/00355Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/64Methods or arrangements for recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references, e.g. resistor matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/78Combination of image acquisition and recognition functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Abstract

【課題】基準面の姿勢を高精度に特定することができる制御装置、かかる制御装置によって制御されているロボット、かかる制御装置を備えているロボットシステムを提供すること。【解決手段】制御装置5は、ロボットアーム10を有するロボット1と、第1基準マーカー、第2基準マーカーおよび第3基準マーカーを撮像することが可能な撮像部とをそれぞれ制御することが可能であって、撮像部と、第1基準マーカー、第2基準マーカーおよび第3基準マーカーとのいずれか一方がロボット1に対して設けられ、撮像部で第1基準マーカーを撮像した第1画像と、撮像部で第2基準マーカーを撮像した第2画像と、撮像部で第3基準マーカーを撮像した第3画像とに基づいて、第1基準マーカー、第2基準マーカーおよび第3基準マーカーを通る平面と平行な基準面の姿勢を求める。【選択図】図1

Description

本発明は、制御装置、ロボットおよびロボットシステムに関するものである。

従来から、例えば電子部品等の対象物の把持、搬送および組立て等の作業で用いられるロボットシステムが知られている。このようなロボットシステムは、複数のアームを有するロボットアームおよびその先端に設けられたハンドを有するロボットと、カメラ等の撮像部と、ロボットおよび撮像部をそれぞれ制御する制御装置と、を有する。このような構成のロボットシステムは、例えば、撮像部で撮像した対象物の画像を基にして、ロボットがハンドにより対象物に対して各種作業を行う。

ここで、撮像部で撮像した画像を基にして、ロボットが対象物に対して的確に作業を行うためには、撮像部で撮像した対象物の画像上の位置および姿勢をロボット座標系における値に変換するための補正パラメーターを求める撮像部の校正(キャリブレーション)が必要である。

例えば、特許文献1には、ロボット−視覚センサシステム(ロボットシステム)を用いて、画像上の位置をロボット座標系の値に変換するパラメーターを求める処理について記載されている。特許文献1に記載のロボット−視覚センサシステムは、ロボットアームおよびその先端に設けられたタッチアップ用ハンドを有するロボットと、ロボットアームの先端に設けられた視覚センサー(撮像部)と、3つの基準点および4つの参照点を有する平面を備えるキャリブレーション治具と、を有する。

特許文献1に記載の処理では、まず、3つの基準点にタッチアップ用ハンドを接触させることにより、ロボット座標系におけるキャリブレーション治具の位置および姿勢を特定する。その後、ロボットアームを駆動して視覚センサーで4つの参照点を撮像して、撮像部の画像座標系でキャリブレーション治具の位置を特定することによって、画像上の位置をロボット座標系の値に変換するパラメーターを求めている。

特開平8−210816号公報

しかし、特許文献1に記載の処理では、前述したように、3つの基準点にタッチアップ用ハンドを接触させることにより、ロボット座標系におけるキャリブレーション治具の位置を特定している。このような従来の校正の処理では、一般的に、作業者がキャリブレーション治具とタッチアップ用ハンドとの接触を確認するため、作業者によって接触の判断に差が生じてしまう。そのため、キャリブレーション治具の位置および姿勢を高精度に特定することが難しい。

また、作業者によって接触の判断を正確に行おうとすると、キャリブレーション治具の位置および姿勢の特定に長時間を要するという問題がある。そのため、校正対象であるロボットの数が増えるほど、前記問題が深刻になる。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の本発明により実現することが可能である。

本発明の制御装置は、ロボットアームを有するロボットと、第1基準マーカー、第2基準マーカーおよび第3基準マーカーを撮像することが可能な撮像部とをそれぞれ制御することが可能な制御装置であって、
前記撮像部と、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーとのいずれか一方が前記ロボットに対して設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーのそれぞれとの間の距離を変化させることが可能であり、
前記撮像部で前記第1基準マーカーを撮像した第1画像と、前記撮像部で前記第1基準マーカーとは異なる位置に配置された前記第2基準マーカーを撮像した第2画像と、前記撮像部で前記第1基準マーカーおよび前記第2基準マーカーとは異なる位置に配置された前記第3基準マーカーを撮像した第3画像と、に基づいて、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーを通る平面と平行な基準面の姿勢を求めることを特徴とする。

このような制御装置によれば、撮像部で撮像した画像(第1画像、第2画像および第3画像)を基にして基準面の姿勢を求めることができるため、従来のように、作業者による校正用部材(キャリブレーション治具)への接触の判断によって基準面の姿勢を求めることよりも、人為的な誤差や作業者によるバラツキを低減することができる。また、基準面の姿勢を非接触で求めることができるため、例えば、校正用部材の材質等によって基準面の姿勢が変化することを回避できる。このようなことから、本発明の制御装置によれば、基準面の姿勢を高精度に求めることができる。また、本発明の制御装置によれば、撮像部で撮像した画像を基にして基準面の姿勢を求めることができるため、従来よりも基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記第1画像を撮像した際のロボット座標系における前記ロボットの任意の部位の座標と、前記第2画像を撮像した際の前記ロボット座標系における前記部位の座標と、前記第3画像を撮像した際の前記ロボット座標系における前記部位の座標と、に基づいて前記姿勢を求めることが好ましい。

これにより、ロボットの任意の部位(例えば、軸座標)を含む基準面の姿勢を特定することができる。そのため、基準面でロボットが各種作業を行うことで、ロボットは、撮像部で撮像した画像を基にして各種作業を的確に行うことができる。

本発明の制御装置では、前記第1画像における前記第1基準マーカーの大きさと、前記第2画像における前記第2基準マーカーの大きさと、前記第3画像における前記第3基準マーカーの大きさとに基づいて、前記姿勢を求めることが好ましい。

これにより、撮像部で撮像した画像を基にして基準面の姿勢を的確に求めることができる。

本発明の制御装置では、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーのそれぞれの大きさが、互いに等しい場合、
前記撮像部に、前記第1画像における前記第1基準マーカーの大きさと、前記第2画像における前記第2基準マーカーの大きさと、前記第3画像における前記第3基準マーカーの大きさとが等しくなるように、前記第1画像、前記第2画像および前記第3画像を撮像させることが好ましい。

これにより、撮像部で撮像した画像を基にして基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーが、それぞれ、所定の間隔で配置された複数のマーカーを有する構成であり、
前記第1画像における前記第1基準マーカーが有する前記複数のマーカー同士の第1間隔と、前記第2画像における前記第2基準マーカーが有する前記複数のマーカー同士の第2間隔と、前記第3画像における前記第3基準マーカーが有する前記複数のマーカー同士の第3間隔とに基づいて、前記姿勢を求めることが好ましい。

これにより、第1基準マーカー、第2基準マーカーおよび第3基準マーカーのそれぞれに対して焦点を厳密に合わせる処理をせずとも、基準面の姿勢を求めることができる。

本発明の制御装置では、前記第1基準マーカーの前記第1間隔と、前記第2基準マーカーの前記第2間隔と、前記第3基準マーカーの前記第3間隔とが、等しい場合、
前記撮像部に、前記第1画像における前記第1間隔と、前記第2画像における前記第2間隔と、前記第3画像における前記第3間隔とが等しくなるように、前記第1画像、前記第2画像および前記第3画像を撮像させることが好ましい。

これにより、第1基準マーカー、第2基準マーカーおよび第3基準マーカーのそれぞれに対して焦点を合わせる処理をせずとも、基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記基準面は、前記撮像部の光軸に対して直交していることが好ましい。

これにより、撮像部の光軸に対して直交している基準面に対してロボットが各種作業を行うことで、ロボットは、撮像部で撮像した画像を基にして各種作業を的確に行うことができる。また、撮像部の画像座標系とロボット座標系との関係を求める処理を容易に行うことができる。

本発明の制御装置では、前記第1画像に基づいて求めた前記第1基準マーカーと前記撮像部の撮像基準点との間の第1距離と、前記第2画像に基づいて求めた前記第2基準マーカーと前記撮像基準点との間の第2距離と、前記第3画像に基づいて求めた前記第3基準マーカーと前記撮像基準点との間の第3距離とに基づいて前記姿勢を求めることが好ましい。

これにより、第1基準マーカー、第2基準マーカーおよび第3基準マーカーのそれぞれに対して焦点を合わせる処理をせずとも、基準面の姿勢を求めることができる。

本発明の制御装置では、前記第1距離、前記第2距離および前記第3距離は、等しいことが好ましい。

これにより、第1基準マーカー、第2基準マーカーおよび第3基準マーカーのそれぞれに対して焦点を合わせる処理をせずとも、基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記基準面の原点を求めることが好ましい。
これにより、基準面の原点を特定することで、作業者が基準面の位置を把握し易くなる。

本発明の制御装置では、前記撮像部は、前記撮像部は、第4基準マーカーを撮像することが可能であり、
前記第1基準マーカーと前記第2基準マーカーとを通る第1直線と、前記第3基準マーカーと前記第4基準マーカーとを通る第2直線とが交差するように配置されている場合、
前記撮像部に、前記第1基準マーカー、前記第2基準マーカー、前記第3基準マーカーおよび前記第4基準マーカーをそれぞれ撮像させ、
前記第1基準マーカーを撮像した際のロボット座標系における前記第1基準マーカーの座標と、前記第2基準マーカーを撮像した際の前記ロボット座標系における前記第2基準マーカーの座標と、前記第3基準マーカーを撮像した際の前記ロボット座標系における前記第3基準マーカーの座標と、前記第4基準マーカーを撮像した際の前記ロボット座標系における前記第4基準マーカーの座標とから前記第1直線および前記第2直線を求め、求めた前記第1直線および前記第2直線に基づいて、前記ロボット座標系における前記基準面の原点を求めることが好ましい。
これにより、基準面の原点を容易に求めることができる。

本発明のロボットは、本発明の制御装置によって制御されることを特徴とする。
このようなロボットによれば、各種作業を的確に行うことができる。

本発明のロボットシステムは、本発明の制御装置と、当該制御装置によって制御されるロボットと、撮像する機能を有する撮像部とを備えることを特徴とする。

このようなロボットシステムによれば、撮像部で撮像した画像を基にしてロボットが各種作業を的確に行うことができる。

本発明の第1実施形態に係るロボットシステムを示す概略斜視図である。 図1に示すロボットの概略図である。 図1に示すロボットシステムのブロック図である。 図1に示すロボットシステムを用いた撮像部の校正方法を示すフローチャートである。 図4に示す撮像部の校正で使用する校正用部材の平面図である。 図4に示す固定カメラの校正を説明するためのロボットの概略図である。 図4に示す固定カメラの校正を説明するためのフローチャートである。 図7に示す基準面を特定する処理を説明するためのフローチャートである。 図8に示す基準面を特定する処理における第1マーカーと第nマーカーとの比較を説明するための図である。 図4に示すモバイルカメラの校正を説明するためのフローチャートである。 図10に示すモバイルカメラの校正を説明するためのロボットの概略図である。 図10に示す基準面を特定する処理を説明するためのフローチャートである。 図10に示すオフセット成分を求める処理を説明するためのフローチャートである。 図13に示すオフセット成分Δu、Δv、Δwを求める処理を説明するための図である。 図13に示すオフセット成分Δx、Δyを求める処理を説明するための図である。 図13に示すオフセット成分Δx、Δyを求める処理を説明するための図である。 図13に示すオフセット成分Δx、Δyを求める処理を説明するための図である。 図13に示すオフセット成分Δx、Δyを求める処理を説明するための図である。 図13に示すオフセット成分Δx、Δyを求める処理を説明するための図である。 図13に示すオフセット成分Δx、Δyを求める処理を説明するための座標図である。 図13に示すオフセット成分Δzを求める処理を説明するため図である。 本発明の第2実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。 第2実施形態における基準面を特定する処理における第1マーカーと第nマーカーとの比較を説明するための図である。 本発明の第3実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。

以下、本発明の制御装置、ロボットおよびロボットシステムを添付図面に示す好適な実施形態に基づいて詳細に説明する。

[第1実施形態]
≪ロボットシステム≫
図1は、本発明の第1実施形態に係るロボットシステムを示す概略斜視図である。図2は、図1に示すロボットの概略図である。図3は、図1に示すロボットシステムのブロック図である。

なお、以下では、説明の都合上、図2中の上側を「上」または「上方」、下側を「下」または「下方」と言う。また、図2中の上下方向を「鉛直方向」とし、その鉛直方向に交差する面を「水平面」とし、水平面に平行な方向を「水平方向」とする。ここで、本願明細書で言う「水平」とは、完全な水平に限定されず、水平に対して5°以下の範囲で傾斜している場合も含む。また、本願明細書で言う「鉛直」とは、完全な鉛直に限定されず、鉛直に対して5°以下の範囲で傾斜している場合も含む。また、図2中に示すロボットの基台側を「基端」、その反対側(ハンド側)を「先端」と言う。

図1に示すロボットシステム100は、例えば、電子部品および電子機器等の対象物の把持、搬送および組立て等の作業で用いられる装置である。

図1に示すように、ロボットシステム100は、ロボットアーム10を有するロボット1と、作業領域90内に固定された撮像機能を有する固定カメラ2(撮像部)と、ロボット1に取り付けられた撮像機能を有するモバイルカメラ3(撮像部)と、ロボット1、固定カメラ2およびモバイルカメラ3をそれぞれ制御する制御装置5(校正装置)とを、有する。

また、本実施形態では、作業領域90内に、対象物の組立てを行う作業台61(組立て台)と、対象物が例えば作業者によって供給される供給台62とが設けられている。作業台61および供給台62は、それぞれ、ロボット1のロボットアーム10の駆動範囲内に設けられている。

以下、ロボットシステム100が有する各部を順次説明する。
<ロボット>
図1および図2に示すロボット1は、対象物の把持、搬送および組立て等の作業を行うことができる。

ロボット1は、6軸の垂直多関節ロボットであり、基台101と、基台101に接続されたロボットアーム10と、ロボットアーム10の先端部に設けられたハンド102(ツール)と、を有する。また、図3に示すように、ロボット1は、ロボットアーム10を駆動させる動力を発生させる複数の駆動部130および複数のモータードライバー120を備えている。

基台101は、ロボット1を作業領域90内の所定の箇所に取り付ける部分である。
ロボットアーム10は、第1アーム11(アーム)と、第2アーム12(アーム)と、第3アーム13(アーム)と、第4アーム14(アーム)と、第5アーム15(アーム)と、第6アーム16(アーム)とを有する。第1アーム11は、基台101に接続されており、第1アーム11と第2アーム12と第3アーム13と第4アーム14と第5アーム15と第6アーム16とは、基端側から先端側に向ってこの順に連結されている。

図2に示すように、第1アーム11は、基台101に連結された回動軸部材111を有し、回動軸部材111の中心軸を回動中心として基台101に対して回動可能となっている。また、第2アーム12は、第1アーム11に連結された回動軸部材121を有し、回動軸部材121の中心軸を回動中心として第1アーム11に対して回動可能となっている。また、第3アーム13は、第2アーム12に連結された回動軸部材131を有し、回動軸部材131の中心軸を回動中心として第2アーム12に対して回動可能となっている。また、第4アーム14は、第3アーム13に連結された回動軸部材141を有し、回動軸部材141の中心軸を回動中心として第3アーム13に対して回動可能となっている。また、第5アーム15は、第4アーム14に連結された回動軸部材151を有し、回動軸部材151の中心軸を回動中心として第4アーム14に対して回動可能となっている。また、第6アーム16は、第5アーム15に連結された回動軸部材161を有し、回動軸部材161の中心軸A6を回動中心として第5アーム15に対して回動可能となっている。ここで、中心軸A6と第6アーム16の先端面との交わる点(第6アーム16の先端面の中心)を軸座標O6(所定の部位)という。

ハンド102は、第6アーム16の先端面に取り付けられており、ハンド102の中心軸が第6アーム16の中心軸A6と一致している。ここで、ハンド102の先端面の中心をTCP(ツールセンターポイント)という。本実施形態では、ハンド102が有する2つの指の間の領域の中心をいう。

また、各アーム11〜16には、それぞれ、サーボモーター等のモーターおよび減速機を有する複数の駆動部130が設けられている。すなわち、図3に示すように、ロボット1は、各アーム11〜16に対応した数(本実施形態では6つ)の駆動部130を有している。そして、各アーム11〜16は、それぞれ、対応する駆動部130に電気的に接続された複数(本実施形態では6つ)のモータードライバー120を介して制御装置5により制御されている。

また、各駆動部130には、例えば、エンコーダー、ロータリーエンコーダー等の角度センサー(図示せず)が設けられている。これにより、各駆動部130が有するモーターまたは減速機の回転軸の回転角度を検出することができる。

また、図1および図2に示すように、本実施形態では、ロボット1を制御する際に用いられるロボット座標系(ロボット1の座標系)として、水平方向に対してそれぞれ平行なxr軸とyr軸と、水平方向に対して直交し、かつ、鉛直上向きを正方向とするzr軸とによって定まる3次元の直交座標系を設定している。また、xr軸に対する並進成分を「成分xr」とし、yr軸に対する並進成分を「成分yr」とし、zr軸に対する並進成分を「成分zr」とし、zr軸周りの回転成分を「成分ur」とし、yr軸周りの回転成分を「成分vr」とし、xr軸周りの回転成分を「成分wr」とする。成分xr、成分yrおよび成分zrの長さ(大きさ)の単位は「mm」であり、成分ur、成分vrおよび成分wrの角度(大きさ)の単位は「°」である。

<固定カメラ>
図1および図2に示す固定カメラ2は、対象物等を撮像する機能を有する。

図2に示すように、固定カメラ2は、複数の画素を有するCCD(Charge Coupled Device)イメージセンサで構成された撮像素子21と、レンズ22(光学系)と、を有している。この固定カメラ2は、対象物等からの光をレンズ22によって撮像素子21の受光面211(センサー面)で結像させ、光を電気信号に変換して、その電気信号を制御装置5へと出力する。ここで、受光面211とは、撮像素子21の表面であって、光が結像する面である。また、本実施形態では、受光面211から光軸OA2方向に焦点距離だけ進んだ位置を「固定カメラ2の撮像基準点O2」とする。

このような固定カメラ2は、鉛直方向上方を撮像できるように作業領域90内の所定の箇所に固定されている。また、本実施形態では、固定カメラ2は、その光軸OA2(レンズ22の光軸)が鉛直方向に対してほぼ平行になるように取り付けられている。

また、本実施形態では、固定カメラ2の画像座標系(固定カメラ2から出力される画像の座標系)として、画像の面内方向に対してそれぞれ平行なxa軸とya軸とよって定まる2次元の直交座標系を設定している。また、xa軸に対する並進成分を「成分xa」とし、ya軸に対する並進成分を「成分ya」とし、xa−ya平面の法線周りの回転成分を「成分ua」とする。成分xaおよび成分yaの長さ(大きさ)の単位は「ピクセル」であり、成分uaの角度(大きさ)の単位は「°」である。

なお、固定カメラ2の画像座標系は、固定カメラ2のカメラ視野に写る3次元直交座標を、レンズ22の光学特性(焦点距離、歪みなど)と撮像素子21の画素数および大きさとを加味して非線形変換した2次元の直交座標系である。

<モバイルカメラ>
図1および図2に示すモバイルカメラ3は、対象物等を撮像する機能を有する。

図2に示すように、モバイルカメラ3は、複数の画素を有するCCD(Charge Coupled Device)イメージセンサで構成された撮像素子31と、レンズ32(光学系)と、を有する。このモバイルカメラ3は、対象物等からの光をレンズ32によって撮像素子31の受光面311(センサー面)で結像させ、光を電気信号に変換して、その電気信号を制御装置5へと出力する。ここで、受光面311とは、撮像素子31の表面であって、光が結像する面である。また、本実施形態では、受光面311から光軸OA3方向に焦点距離だけ進んだ位置を「モバイルカメラ3の撮像基準点O3」とする。

このようなモバイルカメラ3は、第6アーム16よりもロボットアーム10の先端側を撮像できるように第6アーム16に取り付けられている。また、本実施形態では、設計上、モバイルカメラ3は、その光軸OA3(レンズ32の光軸)が第6アーム16の中心軸A6に対してほぼ平行になるように、第6アーム16に取り付けられている。また、モバイルカメラ3は、第6アーム16に取り付けられているため、ロボットアーム10の駆動により、第6アーム16と共にその姿勢を変えることができる。

また、本実施形態では、モバイルカメラ3の画像座標系(モバイルカメラ3で出力される画像の座標系)として、画像の面内方向に対してそれぞれ平行なxb軸とyb軸とによって定まる2次元の直交座標系を設定している。また、xb軸に対する並進成分を「成分xb」とし、yb軸に対する並進成分を「成分yb」とし、xb−yb平面の法線周りの回転成分を「成分ub」とする。成分xbおよび成分ybの長さ(大きさ)の単位は「ピクセル」であり、成分ubの角度(大きさ)の単位は「°」である。

なお、モバイルカメラ3の画像座標系は、モバイルカメラ3のカメラ視野に写る3次元直交座標を、レンズ32の光学特性(焦点距離、歪みなど)と撮像素子31の画素数および大きさとを加味して非線形変換した2次元の直交座標系である。

<制御装置>
図1に示す制御装置5は、ロボット1、固定カメラ2およびモバイルカメラ3の各部を制御する。この制御装置5は、例えば、CPU(Central Processing Unit)やROM(read only memory)およびRAM(Random Access Memory)が内蔵されたパーソナルコンピューター(PC)等で構成することができる。

図3に示すように、制御装置5は、駆動制御部51と、情報取得部52と、処理部53と、記憶部54と、を備える。

駆動制御部51は、ロボット1が有する各アーム11〜16の駆動を担う各駆動部130の駆動を制御し、各アーム11〜16をそれぞれ独立して駆動させたり停止させたりすることができる。例えば、駆動制御部51は、ハンド102を目標位置に移動させるために、各アーム11〜16に設けられた各駆動部130が有するモーターの目標値を導出する。また、駆動制御部51は、各駆動部130が有する角度センサーから出力された回転角度(検出結果)を基にロボット1をフィードバック制御する。また、駆動制御部51は、固定カメラ2およびモバイルカメラ3の撮像等を制御したりする。

情報取得部52は、ロボット1、固定カメラ2およびモバイルカメラ3からそれぞれ出力される検出結果を取得する。検出結果としては、例えば、ロボット1の各駆動部130が有するモーターまたは減速機の回転軸の回転角度、固定カメラ2およびモバイルカメラ3でそれぞれ撮像した画像、および、ロボット座標系における軸座標O6の座標(成分xr、yr、zr、ur、vr、wr:位置および姿勢)等が挙げられる。

処理部53は、情報取得部52で取得した検出結果を基にして各種演算や各種判断等の処理を行う。例えば、処理部53は、固定カメラ2で撮像した画像を基にして固定カメラ2の画像座標系における撮像対象の座標(成分xa、ya、ua:位置および姿勢)を演算したり、モバイルカメラ3で撮像した画像を基にしてモバイルカメラ3の画像座標系における撮像対象の座標(成分xb、yb、ub:位置および姿勢)を演算したりする。また、例えば、処理部53は、固定カメラ2の画像座標系における対象物の座標をロボット座標系における座標に変換するための補正パラメーターを求めたり、モバイルカメラ3の画像座標系における対象物の座標をロボット座標系における座標に変換するための補正パラメーターを求めたりする。

記憶部54は、制御装置5が各種処理を行うためのプログラムやデータ等を記憶する。また、記憶部54は、各種検出結果等を記憶する。

また、図1および図3に示すように、制御装置5には、表示機器41および操作機器42が接続されている。

表示機器41は、液晶表示パネル等の表示パネルで構成されたモニター411を有する。作業者は、このモニター411を介して、固定カメラ2およびモバイルカメラ3で撮像した画像やロボット1による作業等を確認したりすることができる。

操作機器42は、キーボードで構成された入力デバイスであり、作業者による操作に応じた操作信号を制御装置5に対して出力する。したがって、作業者は、操作機器42を操作することで、制御装置5に対して各種処理等の指示を行うことができる。
以上、ロボットシステム100の基本的な構成について簡単に説明した。

このような構成のロボットシステム100では、例えば、以下のような作業を行うことができる。

まず、制御装置5の制御により、ロボットアーム10を駆動させてハンド102で対象物を把持する。その後、ロボットアーム10を駆動させてハンド102を固定カメラ2上に移動させる。次いで、固定カメラ2で対象物を撮像して、その固定カメラ2で撮像した画像を基に、制御装置5は、ハンド102によって対象物を的確に把持しているか否かを判断する。的確に把持していたら、ロボットアーム10の駆動によりハンド102を作業台61上に移動させる。そして、モバイルカメラ3で撮像した画像を基にして、ハンド102で把持している対象物を作業台61上に予め配置されていた対象物に対して組み込む。

このような上記作業では、固定カメラ2およびモバイルカメラ3でそれぞれ撮像した対象物の画像を基にして、ロボット1が対象物に対して作業を行う。

このような作業において、固定カメラ2で撮像した画像を基にロボット1が対象物に対して的確に作業を行うためには、固定カメラ2の画像上の座標(画像座標系における位置および姿勢)をロボット座標系における座標に変換するための補正パラメーターを求める処理、すなわち、固定カメラ2の校正(キャリブレーション)が必要である。また、同様に、モバイルカメラ3で撮像した画像を基にロボット1が対象物等に対して的確に作業を行うためには、モバイルカメラ3の画像上の座標(画像座標系における位置および姿勢)をロボット座標系における座標に変換するための補正パラメーターを求める処理、すなわち、モバイルカメラ3の校正(キャリブレーション)が必要である。

以下、ロボットシステム100を用いた固定カメラ2の校正方法およびモバイルカメラ3の校正方法(以下、これらをまとめて「撮像部の校正方法(キャリブレーション方法)」という)について説明する。

≪撮像部の校正方法(キャリブレーション方法)≫
図4は、図1に示すロボットシステムを用いた撮像部の校正方法を示すフローチャートである。図5は、図4に示す撮像部の校正で使用する校正用部材の平面図である。図6は、図4に示す固定カメラの校正を説明するためのロボットの概略図である。図7は、図4に示す固定カメラの校正を説明するためのフローチャートである。図8は、図7に示す基準面を特定する処理を説明するためのフローチャートである。図9は、図8に示す基準面を特定する処理における第1マーカーと第nマーカーとの比較を説明するための図である。図10は、図4に示すモバイルカメラの校正を説明するためのフローチャートである。図11は、図10に示すモバイルカメラの校正を説明するためのロボットの概略図である。図12は、図10に示す基準面を特定する処理を説明するためのフローチャートである。図13は、図10に示すオフセット成分を求める処理を説明するためのフローチャートである。図14は、図13に示すオフセット成分Δu、Δv、Δwを求める処理を説明するための図である。図15、図16、図17、図18および図19は、それぞれ、図13に示すオフセット成分Δx、Δyを求める処理を説明するための図である。図20は、図13に示すオフセット成分Δx、Δyを求める処理を説明するための座標図である。図21は、図13に示すオフセット成分Δzを求める処理を説明するため図である。

図4に示すように、本実施形態の撮像部の校正方法では、固定カメラ2の校正(ステップS1)を行った後、モバイルカメラ3の校正(ステップS2)を行う。

撮像部の校正は、作業者が操作機器42を用いて制御装置5に撮像部の校正開始の指示をすることにより開始される。そして、作業者が制御装置5に撮像部の校正開始の指示さえすれば、それ以降、撮像部の校正は、ロボットシステム100により自動的に行われる。なお、この撮像部の校正は、例えば、ロボット1の作業内容等が変わるごとに行われる。

ここで、本実施形態では、図5に示す校正用部材70(キャリブレーションボード)を用いて撮像部の校正を行う。

校正用部材70は、四角形の平板状の部材であり、校正用部材70の表面701には、複数のマーカー75が付されている。複数のマーカー75は、互いに同じ円形状(形状)であり、互いにほぼ同じ大きさである。また、複数のマーカー75は、隣り合うマーカー75同士のピッチ(間隔)が全てほぼ一定になるように配置されている。また、マーカー75同士のピッチは、予め測定されており、既知である。

これら複数のマーカー75のうちの図5中の上側に位置するマーカー75と、図5中の中央部(表面701の中央部)に位置するマーカー75と、図5中の右側に位置するマーカー75には、それぞれ、マーカー75を囲む円がさらに付されている。これら3つのマーカー75とそれを囲む円とで構成された同心円状をなすマーカーのうち、図5中の上側に位置するマーカーを「第1マーカー71(第1基準点)」とし、図5中の中央部に位置するマーカーを「第2マーカー72(第2基準点)」とし、図5中の右側に位置するマーカーを「第3マーカー73(第3基準点)」とする。このような第1マーカー71、第2マーカー72および第3マーカー73は、後述する撮像部の校正の基準面を特定する処理(図7参照)において、基準マーカーとして用いられる。それゆえ、第1マーカー71、第2マーカー72および第3マーカー73は、互いに異なる位置にあり、かつ、第1マーカー71、第2マーカー72および第3マーカー73が同一直線上にない。

なお、複数のマーカー75、第1マーカー71、第2マーカー72および第3マーカー73の形状は、それぞれ、図示の形状に限定されず、いかなる形状であってもよい。また、マーカー75、第1マーカー71、第2マーカー72および第3マーカー73は、それぞれ、視認できる形態であればよく、いかなる色であってもよいし、凹凸を有する形態であってもよい。また、複数のマーカー75、第1マーカー71、第2マーカー72および第3マーカーは、異なる形態あってもよい。例えば、複数のマーカー75、第1マーカー71、第2マーカー72および第3マーカー73は、それぞれ異なる色や形であってもよい。ただし、第1マーカー71、第2マーカー72および第3マーカー73は、基準マーカーとして用いるため、他のマーカー75との識別力を有する形態であることが好ましい。

このような構成の校正用部材70は、図6に示すように、作業者による撮像部の校正開始の指示をする前に、予め、ロボット1にハンド102で把持させておく。また、本実施形態では、第2マーカー72が第6アーム16の中心軸A6上に位置するように、ハンド102によって校正用部材70を把持させる。また、本実施形態では、ロボット座標系における軸座標O6の座標に対する第2マーカー72の座標が特定されており、ロボット座標系における第2マーカー72の座標を求めることができるようになっている。

なお、本実施形態では、前述したように、第2マーカー72が第6アーム16の中心軸A6上に位置しているが、ロボット座標系における第2マーカー72の座標を求めることができるよう設定されていれば、第2マーカー72が第6アーム16の中心軸A6上に位置していなくてもよい。

<固定カメラの校正(ステップS1)>
図4に示すように、作業者による撮像部の校正の開始の指示がなされると、制御装置5は、まず、固定カメラ2の校正(ステップS1)を開始する。

図7に示すように、固定カメラ2の校正(ステップS1)では、基準面を特定する処理(ステップS11)を行った後、固定カメラ2の画像座標系とロボット座標系との関係を求める処理(ステップS12)を行う。

[基準面を特定する処理(ステップS11)]
以下、基準面を特定する処理(ステップS11)を、図8に示すフローチャートを参照しつつ説明する。

図8に示すように、基準面を特定する処理(ステップS11)が開始すると、まず、制御装置5は、ロボットアーム10を駆動させて、図6に示すように、校正用部材70を固定カメラ2に対向させる(ステップS111)。

次いで、図8に示すように、制御装置5は、ロボットアーム10を駆動させて、校正用部材70に付された第2マーカー72が固定カメラ2の画像の中心部に位置するように校正用部材70を移動させる(ステップS112)。

次いで、制御装置5は、固定カメラ2に第2マーカー72を撮像させる(ステップS113)。このとき、制御装置5は、固定カメラ2の焦点が第2マーカー72に合う(合焦する)ように、ロボットアーム10を駆動させることにより、校正用部材70を移動させる処理(合焦処理)を行う。なお、この合焦処理は省略しても構わない。

次いで、制御装置5は、固定カメラ2で撮像した第2マーカー72の画像を「第1画像」として記憶部54に記憶し、かつ、第1画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する(ステップS114)。ここで、固定カメラ2における基準面を特定する処理(ステップS11)では、第1画像を撮像した際の第2マーカー72を「第1基準マーカー」とする。

次に、制御装置5は、ロボットアーム10を駆動させて、固定カメラ2の画像上においてステップS112で移動させた位置とは異なる位置に第2マーカー72が位置するように、校正用部材70をロボット座標系におけるxr軸、yr軸およびzr軸に沿って並進移動させる(ステップS115)。

次いで、制御装置5は、固定カメラ2に第2マーカー72を撮像させる(ステップS116)。

次いで、ステップS116において固定カメラ2で撮像した画像における第2マーカー72の形状および大きさと、ステップS114で記憶部54に記憶した第1画像における第2マーカー72の形状および大きさとを比較する(ステップS117)。そして、第2マーカー72の形状および大きさと、第1画像における第2マーカー72の形状および大きさとの差が、所定の閾値内であるか否かを判断する(ステップS118)。

所定の閾値内であると判断した場合(ステップS118の「Yes」)には、ステップS1110に移行する。一方、所定の閾値内でないと判断した場合(ステップS118の「No」)には、所定の閾値内になるようにロボットアーム10の駆動により校正用部材70を移動させる(ステップS119)。例えば、図9に示すように、図9中の2点鎖線で示す第2マーカー72の大きさ(外形)が、図9中の実線で示す第1画像における第2マーカー72の大きさ(外形)と異なり、その大きさの差が所定の閾値内でない場合には、所定の閾値内になるようにロボットアーム10の駆動により校正用部材70を移動させる。

次に、制御装置5は、所定の閾値内であると判断したら、固定カメラ2で撮像した第2マーカー72の画像を「第2画像(第n画像)」として記憶部54に記憶し、かつ、第2画像(第n画像)を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する(ステップS1110)。ここで、固定カメラ2における基準面を特定する処理(ステップS11)では、第2画像を撮像した際の第2マーカー72を「第2基準マーカー」とする。なお、第2画像を撮像する際には、ハンド102に把持されている校正用部材70に付された第2マーカー72は、第1画像を撮像する際における位置と異なる位置にある。

次に、撮像した画像の数nが予め設定した所定数(ただし、nは整数であって、3≦nの関係を満足する数)であるか否かを判断する(ステップS1111)。所定数であると判断した場合には、ステップS1112に移行し、所定数未満であると判断した場合には、所定数であると判断されるまで、前述したステップS115からステップS1110を繰り返す。

ここで、本実施形態では、画像の数が3になるまで画像を取得すること、すなわち、固定カメラ2で3つの画像(第1画像、第2画像および第3画像)を撮像することを予め設定している。そのため、本実施形態では、固定カメラ2で第2画像を撮像した後に、さらにもう1回、ステップS115からステップS1110を行い、ロボットアーム10の駆動により校正用部材70を移動させて固定カメラ2で撮像した第2マーカー72の画像を「第3画像」として記憶部54に記憶し、かつ、第3画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。ここで、固定カメラ2における基準面を特定する処理(ステップS11)では、第3画像を撮像した際の第2マーカー72を「第3基準マーカー」とする。なお、第3画像を撮像する際には、ハンド102に把持されている校正用部材70に付された第2マーカー72は、第1画像を撮像する際における位置および第2画像を撮像する際における位置と異なる位置にあり、それらは同一直線上にない。また、固定カメラ2における基準面を特定する処理(ステップS11)では、第2マーカー72が「第1基準マーカー、第2基準マーカーおよび第3基準マーカー」を兼ねていると捉えることができる。

次に、画像の数nが所定数であると判断したら、処理部53は、記憶部54に記憶したn個(本実施形態では3つ)のロボット座標系における軸座標O6の座標を基に、図6に示すような撮像素子21(3つの異なる箇所に配置された状態の第2マーカー72を通る平面)に平行な基準面81の原点およびx軸、y軸、z軸の各方向を求める(ステップS1112)。そして、制御装置5は、ロボット座標系における基準面81の位置および姿勢、すなわち、基準面81の成分xr、yr、zr、ur、vr、wrを定義する(ステップS1113)。
以上にて、図7に示す基準面を特定する処理(ステップS11)が終了する。

以上のように、制御装置5によれば、固定カメラ2(撮像部)で撮像した画像(第1画像、第2画像および第3画像)を基にして基準面81の姿勢を求めることができる。このため、従来のように、作業者によるタッチアップ用ハンドとキャリブレーション治具(校正用部材)との接触を判断する作業を省くことができる。このため、人為的な誤差や、作業者によるバラツキを低減することができ、よって、基準面81の姿勢を高精度に求めることができる。また、従来のようにタッチアップ用ハンドをキャリブレーション治具に接触させることにより基準面を求めると、キャリブレーション治具の材質等によって求めた基準面の姿勢が異なり、基準面の姿勢を高精度に検出することが難しい。これに対し、本実施形態では、固定カメラ2で撮像した画像を基にして基準面81の姿勢を求めているので、校正用部材70に対して接触せずに(非接触で)、基準面81の姿勢を求めることができる。このため、例えば校正用部材70の材質等によらず基準面81の姿勢を高精度に求めることができる。

また、制御装置5によれば、固定カメラ2で撮像した画像を基にして基準面81の姿勢を求めることができるため、従来よりも基準面81の姿勢を容易かつ迅速に求めることができる。

また、前述したように、本実施形態では、3つの画像(第1画像、第2画像および第3画像)をそれぞれ撮像した際のロボット座標系における軸座標O6(所定の部位)の座標を基にして基準面81を求めている。したがって、基準面81は軸座標O6を含む面であるといえる。そのため、基準面81でロボット1が作業(例えば、ハンド102により対象物を的確に把持しているか否かを判断する作業)を行うことで、ロボット1は前記作業を的確に行うことができる。

特に、前述したように、本実施形態では、3つの画像を撮像する際に、合焦処理をしておくことで、ロボット1が基準面81で対象物の検出、検査、組み立て等の各作業を行えば、ロボット1は各種作業をより高い精度で行うことができる。

なお、予め、軸座標O6とツールセンターポイントTCPとの間の距離が既知であれば、その距離と、軸座標O6を含む面である基準面81とを基にして、ツールセンターポイントTCPを含む面を求めることができる。

また、本実施形態では、軸座標O6の座標を基にして基準面81を特定する処理(ステップS11)を行ったが、ツールセンターポイントTCPの座標を基に基準面81を特定してもよいし、その他のロボットの任意の部位を基に基準面81を特定してもよい。

また、前述したように、本実施形態では、第1画像における第2マーカー72の大きさと、第2画像における第2マーカー72の大きさと、第3画像における第2マーカー72の大きさとに基づいて、基準面81の位置および姿勢を求めている。そのため、本実施形態では、各画像における第2マーカー72の大きさに基づいて基準面81の位置および姿勢を求めれば、基準面81の姿勢を的確に求めることができる。

また、各画像における第2マーカー72の大きさに基づいて基準面81の位置および姿勢を求めることは、第1画像を取得した際の第2マーカー72と固定カメラ2の受光面211(より具体的には、撮像基準点O2)との間の距離(第1距離)と、第2画像を取得した際の第2マーカー72と受光面211(撮像基準点O2)との間の距離(第2距離)と、第3画像を取得した際の第2マーカー72と受光面211(撮像基準点O2)との間の距離(第3距離)とに基づいて、基準面81の姿勢を求めていることと同等である。したがって、本実施形態の校正方法によれば、第1距離、第2距離および第3距離の距離に基づいて、基準面81の姿勢を求めることができる。

[固定カメラの画像座標系とロボット座標系との関係を求める処理(ステップS12)]
次に、図7に示すように、固定カメラの画像座標系とロボット座標系との関係を求める処理(ステップS12)を行う。

制御装置5は、まず、ロボットアーム10を駆動させて、前述したステップS12で求めた基準面81内の格子状に配列された任意の9つの基準点(仮想の目標点)にそれぞれ軸座標O6が位置するように、校正用部材70を移動させる。すなわち、第2マーカー72を格子状に配列された9つの箇所に移動させる。このとき、制御装置5は、校正用部材70を移動させるごとに、固定カメラ2に第2マーカー72を撮像させる。

ここで、9つの基準点は、全て固定カメラ2の画像の範囲内(撮像領域内)にあり、隣り合う基準点同士の間隔が全て等しくなっているものとする。

次に、制御装置5は、9つの画像に基づいた固定カメラ2の画像座標系における第2マーカー72の座標(成分xa、ya、ua)と、前述したステップS11で求めたロボット座標系における基準面81の座標(成分xr、yr、ur)とに基づいて、固定カメラ2の画像座標をロボット座標系における基準面81の座標に変換する補正パラメーター(座標変換行列)を求める。

このようにして求めた補正パラメーターを用いれば、固定カメラ2で撮像した対象物等の位置および姿勢(具体的には、成分xa、ya、ua)をロボット座標系における値(具体的には、成分xr、yr、ur)に変換することができる。なお、この補正パラメーターは、レンズ22の歪み等の固定カメラ2の内部パラメーターも加味した値である。

なお、本実施形態では、前述したように、9つの基準点を用いて補正パラメーターを求めたが、補正パラメーターを求めるために用いる基準点の数が多いほど校正の精度は高くなる。
以上にて、図4に示す固定カメラの校正(ステップS1)が終了する。

<モバイルカメラの校正(ステップS2)>
次に、制御装置5は、図4に示すモバイルカメラ3の校正(ステップS2)を開始する。

図10に示すように、モバイルカメラ3の校正(ステップS2)では、基準面を特定する処理(ステップS21)、オフセット成分を求める処理(ステップS22)、作業面を特定する処理(ステップS23)、ロボット1にマーカーの位置および姿勢を教示する処理(ステップS24)、および、モバイルカメラ3の画像座標系とロボット座標系との関係を求める処理(ステップS25)を、この順に行う。

[基準面を特定する処理(ステップS21)]
まず、図11に示すように、基準面を特定する処理(ステップS21)を行う前に、予め、ハンド102で把持していた校正用部材70を作業台61の作業面611上に載置しておく。その後、基準面を特定する処理(ステップS21)を行う。

以下、基準面を特定する処理(ステップS21)を、図12に示すフローチャートを参照しつつ、その詳細を説明する。

図12に示すように、基準面を特定する処理(ステップS21)が開始すると、まず、制御装置5は、ロボットアーム10を駆動させて、図12に示すように、モバイルカメラ3を校正用部材70に対向させる(ステップS211)。

次いで、制御装置5は、ロボットアーム10を駆動させて、校正用部材70に付された第1マーカー71がモバイルカメラ3の画像の中心部に位置するようにモバイルカメラ3を移動させる(ステップS212)。

次いで、制御装置5は、モバイルカメラ3に第1マーカー71を撮像させる(ステップS213)。このとき、制御装置5は、モバイルカメラ3の焦点が第1マーカー71に合う(合焦する)ようにロボットアーム10を駆動させることにより、モバイルカメラ3を移動させる処理(合焦処理)を行う。なお、この合焦処理は省略しても構わない。

次いで、制御装置5は、モバイルカメラ3で撮像した第1マーカー71の画像を「第1画像」として記憶部54に記憶し、かつ、第1画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する(ステップS214)。ここで、モバイルカメラ3における基準面を特定する処理(ステップS21)では、第1マーカー71を「第1基準マーカー」とする。

次に、制御装置5は、ロボットアーム10を駆動させて、第2マーカー72がモバイルカメラ3の画像の中心部に位置するようにモバイルカメラ3を並進移動させる(ステップS215)。

次いで、制御装置5は、モバイルカメラ3に第2マーカー72(第nマーカー)を撮像させる(ステップS216)。

次いで、ステップS216においてモバイルカメラ3で撮像した画像における第2マーカー72の形状および大きさと、ステップS214で記憶部54に記憶した第1画像における第1マーカー71の形状および大きさとを比較する(ステップS217)。そして、第2マーカー72の形状および大きさと、第1マーカー71の形状および大きさとの差が、所定の閾値内であるか否かを判断する(ステップS218)。

所定の閾値内であると判断した場合(ステップS218の「Yes」)には、ステップS2110に移行する。一方、所定の閾値内でないと判断した場合(ステップS218の「No」)には、所定の閾値内になるようにロボットアーム10の駆動によりモバイルカメラ3を移動させる(ステップS219)。

次に、制御装置5は、所定の閾値内であると判断したら、モバイルカメラ3で撮像した第2マーカー72(第nマーカー)の画像を「第2画像(第n画像)」として記憶部54に記憶し、かつ、第2画像(第n画像)を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する(ステップS2110)。ここで、モバイルカメラ3における基準面を特定する処理(ステップS21)では、第2マーカー72を「第2基準マーカー」とする。

次に、撮像した画像の数nが予め設定した所定数(ただし、nは整数であって、3≦nの関係を満足する数)であるか否かを判断する(ステップS2111)。所定数であると判断した場合には、ステップS2112に移行し、所定数未満であると判断した場合には、所定数であると判断されるまで、前述したステップS215からステップS2110を繰り返す。

ここで、本実施形態では、モバイルカメラ3で3つの画像(第1画像、第2画像および第3画像)を撮像することを予め設定している。そのため、本実施形態では、モバイルカメラ3で第2画像を撮像した後に、さらにもう1回、ステップS215からステップS2110を行い、モバイルカメラ3で撮像した第3マーカー73の画像を「第3画像」として記憶部54に記憶し、かつ、第3画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。ここで、モバイルカメラ3における基準面を特定する処理(ステップS21)では、第3マーカー73を「第3基準マーカー」とする。

次に、画像の数nが所定数であると判断したら、処理部53は、記憶部54に記憶したn個(本実施形態では3つ)のロボット座標系における軸座標O6の座標を基に、図11に示すような表面701(第1マーカー71、第2マーカー72および第3マーカー73を通る平面)に平行な基準面82の原点およびx軸、y軸、z軸の各方向を求める(ステップS2112)。そして、制御装置5は、ロボット座標系における基準面82の位置および姿勢、すなわち、基準面82の成分xr、yr、zr、ur、vr、wrを定義する(ステップS2113)。

以上のように、制御装置5によれば、固定カメラ2における基準面を特定する処理(ステップS11)と同様の効果を発揮することができる。すなわち、モバイルカメラ3(撮像部)で撮像した画像(第1画像、第2画像および第3画像)を用いているため、校正用部材70に対して接触せずに、基準面82の姿勢を求めることができ、よって、例えば校正用部材70の材質等によらず基準面82の姿勢を高精度に求めることができる。また、従来よりも基準面82の姿勢を容易かつ迅速に求めることができる。

また、前述したように、本実施形態では、第1画像における第1マーカー71の大きさと、第2画像における第2マーカー72の大きさと、第3画像における第2マーカー72の大きさとに基づいて、基準面82の位置および姿勢を求めている。そのため、本実施形態では、各画像における第2マーカー72の大きさに基づいて基準面82の位置および姿勢を求めれば、基準面82の姿勢を的確に求めることができる。

また、各画像における第2マーカー72の大きさに基づいて基準面82の位置および姿勢を求めることは、第1画像を取得した際の第1マーカー71とモバイルカメラ3の受光面311(より具体的には、撮像基準点O3)との間の距離(第1距離)と、第2画像を取得した際の第2マーカー72と受光面311(撮像基準点O3)との間の距離(第2距離)と、第3画像を取得した際の第3マーカー73と受光面311(撮像基準点O3)との間の距離(第3距離)とに基づいて、基準面82の姿勢を求めていることと同等である。したがって、本実施形態の校正方法によれば、第1距離、第2距離および第3距離の距離に基づいて、基準面82の姿勢を求めることができる。

さらに、上述したように、モバイルカメラ3における基準面を特定する処理(ステップS21)では、大きさが互いに等しい第1マーカー71、第2マーカー72および第3マーカー73が付された校正用部材70を用いて、画像上における第1マーカー71、第2マーカー72および第3マーカー73の大きさが互いに等しくなるように固定カメラ2で第1画像、第2画像および第3画像を撮像している。このように撮像すれば、モバイルカメラ3の焦点距離や画角が既知でなくとも、表面701に平行な(モバイルカメラ3の光軸OA3に対して直交している)基準面82を求めることができる。

また、第1マーカー71、第2マーカー72および第3マーカー73の大きさが互いに等しくなるようにモバイルカメラ3で第1画像、第2画像および第3画像を撮像することは、互いに距離が等しい第1距離、第2距離および第3距離に基づいて、基準面82の姿勢を求めていることと同等である。したがって、本実施形態の校正方法によれば、距離が等しい第1距離、第2距離および第3距離に基づいて、モバイルカメラ3の焦点距離や画角が既知でなくとも、表面701に平行な基準面82を容易かつ迅速に求めることができる。

なお、本実施形態では、第1マーカー71、第2マーカー72および第3マーカー73のそれぞれの大きさが互いに等しいが、これらの大きさの関係が既知であれば、これらの大きさはそれぞれ異なっていてもよい。その場合には、第1マーカー71、第2マーカー72および第3マーカー73のそれぞれの大きさの関係に基づいて、第1距離、第2距離および第3距離の距離を求めることで、表面701に平行な基準面82を容易かつ迅速に求めることができる。

[オフセット成分を求める処理(ステップS22)]
次に、オフセット成分を求める処理(ステップS22)を、図13に示すフローチャートを参照しつつ説明する。

ここで、前述したように、モバイルカメラ3は、設計上、光軸OA3が第6アーム16の中心軸A6に対してほぼ平行になるように、第6アーム16に対してオフセットして取り付けられている。しかし、実際には、その設計上のオフセット成分(第6アーム16に対するモバイルカメラ3の位置および姿勢)からズレが生じる。このズレは、例えば、モバイルカメラ3の組み付け誤差や、モバイルカメラ3の筐体に対する撮像素子31の組み付け誤差等により生じる。

そこで、このオフセット成分を求める処理(ステップS22)にて、実際のオフセット成分(第6アーム16に対するモバイルカメラ3の位置および姿勢)を求める。

以下のオフセット成分を求める処理(ステップS22)では、回動軸部材161の軸座標O6に対するモバイルカメラ3の撮像基準点O3の位置および光軸OA3の方向(姿勢)のオフセット成分(Δx、Δx、Δy、Δu、Δv、Δw)を求める。

なお、本実施系形態では、軸座標O6に対する撮像基準点O3の位置および光軸OA3の方向のオフセット成分を求めるが、オフセット成分を求めるにあたり基準とする箇所は、軸座標O6および撮像基準点O3に限定されず任意である。

図13に示すように、オフセットを求める処理(ステップS22)が開始すると、まず、制御装置5は、ロボットアーム10を駆動させて、モバイルカメラ3に校正用部材70を検出させる(ステップS221)。

次に、制御装置5は、モバイルカメラ3の受光面311が校正用部材70の表面701に正対するようにロボットアーム10を駆動させる(ステップS222)。

次いで、制御装置5は、モバイルカメラ3の受光面311に対する校正用部材70の表面701の平行度を検証する(ステップS223)。そして、制御装置5は、平行度が所定の閾値内であるか否かを判断する(ステップS224)。

図14に示すように、平行度は、画像における表面701に付された隣り合うマーカー75同士のピッチPの差を用いて検証する。例えば、図14中の実線で示すように、隣り合うマーカー75同士のピッチP1、P2、P3、P4の差がほぼ同じであり、その差が所定の閾値内である場合には、ステップS225に移行する。一方、図14中の2点鎖線で示すように、隣り合うマーカー75同士のピッチP1’、P2’、P3’、P4’の差が異なり、その差が所定の閾値を超える場合には、所定の閾値内になるまで、ステップS221からステップS224を繰り返す。ここで、所定の閾値内であることは、前述した基準面82と光軸OA3とが閾値以内で垂直になっていることを意味する。

次に、制御装置5は、所定の閾値内であると判断したら、所定の閾値内であると判断した際のロボット座標系における軸座標O6の成分ur、vr、wrと、前述した基準面を特定する処理(ステップS21)で求めた際のロボット座標系における基準面82の成分ur、vr、wrとの差からオフセット成分Δu、Δv、Δwを求める(ステップS225)。このオフセット成分Δu、Δv、Δwは、軸座標O6に対する光軸OA3のオフセット成分Δu、Δv、Δに相当する。

次に、図13に示すように、制御装置5は、軸座標O6に対する撮像基準点O3のオフセット成分Δx、Δyを求める(ステップS226)。以下、オフセット成分Δx、Δyを求める方法を図15〜図20を参照しつつ説明する。なお、図15〜図19は、例えば、ロボット1を鉛直方向上方から見たときのモバイルカメラ3および第6アーム16を模式的に示している。

具体的には、まず、図15に示すように、制御装置5は、例えばモバイルカメラ3の画像30の中心O30(重心)に第2マーカー72が位置するようにロボットアーム10を駆動させる。この図15に示すモバイルカメラ3および第6アーム16の状態を「第1状態」とする。ここで、画像30の中心O30と撮像基準点O3は一致している。

次いで、図16に示すように、制御装置5は、ロボットアーム10を駆動させて第6アーム16を中心軸A6周りに所定の角度で回動させる。この際の所定の角度は、画像30外に第2マーカー72が出ない範囲内(モバイルカメラ3の撮像領域内に収まる範囲内)の所定の角度(例えば1〜10°程度)とする。この図16に示すモバイルカメラ3および第6アーム16の状態を「第2状態」とする。

次いで、図17に示すように、制御装置5は、ロボットアーム10を駆動させて、第2マーカー72が中心O30に一致するようにモバイルカメラ3および第6アーム16をロボット座標系におけるxr軸およびyr軸を含む平面(基準面82のx−y平面)に平行な平面内に並進移動させる。この図17に示すモバイルカメラ3および第6アーム16の状態を「第3状態」とする。

このような第1状態から第2状態を経て第3状態となるモバイルカメラ3および第6アーム16の移動は、図15に示す第1状態と図17に示す第3状態とを見ると、撮像中心O30(撮像基準点O3)を通る線分を回動中心軸にして軸座標O6(第6アーム16)が回動していることと同等であることが分かる。したがって、図20に示すように、第1状態から第2状態を経て第3状態となる移動は、中心O30(撮像基準点O3)を通る線分を回動中心軸として軸座標O6を回動角度θ10で移動させたことと等しい。それゆえ、回動角度θ10と、第1状態でのロボット座標系における軸座標O6の座標と、第3状態でのロボット座標系における軸座標O6の座標とに基づいて、ロボット座標系における撮像基準点O3の座標を求める。そして、求めたロボット座標系における撮像基準点O3の座標と、第1状態および第3状態のいずれか一方のロボット座標系における軸座標O6の座標とから、軸座標O6に対する撮像基準点O3の仮オフセット成分Δx’、Δy’を求める。

次いで、図18に示すように、制御装置5は、第2マーカー72が画像30外に出ないように仮オフセット成分Δx’、Δy’を基にしてロボットアーム10を駆動させ、撮像基準点O3(中心O30)を通る線分を回動中心軸として軸座標O6を所定の角度で回動させる。この図18に示すモバイルカメラ3および第6アーム16の状態を「第4状態」とする。

次に、図19に示すように、制御装置5は、ロボットアーム10の駆動によりモバイルカメラ3および第6アーム16をロボット座標系におけるxr軸およびyr軸を含む平面(基準面82のx−y平面)に平行な平面内に並進移動させ、画像30の中心O30に第2マーカー72を位置させる。この図19に示すモバイルカメラ3および第6アーム16の状態を「第5状態」とする。

このような第1状態から第2状態、第3状態および第4状態を経て第5状態となるモバイルカメラ3および第6アーム16の移動は、図15に示す第1状態と図19に示す第5状態とを見ると、中心O30(撮像基準点O3)を通る線分を回動中心軸にして軸座標O6を回動させていることと同等であることが分かる。したがって、図20に示すように、第1状態から第2状態、第3状態および第4状態を経て第5状態となる移動は、中心O30(撮像基準点O3)を通る線分を回動中心軸として軸座標O6を回動角度θ1で移動させたことと等しい。それゆえ、回動角度θ1と、第1状態でのロボット座標系における軸座標O6の座標と、第5状態でのロボット座標系における軸座標O6の座標とに基づいて、ロボット座標系における撮像基準点O3の座標を求める。そして、求めたロボット座標系における撮像基準点O3の座標と、第1状態および第5状態のいずれか一方のロボット座標系における軸座標O6の座標とから、軸座標O6に対する撮像基準点O3のオフセット成分Δx、Δyを求める。

このような処理によれば、軸座標O6に対する撮像基準点O3のオフセット成分Δx、Δyを容易かつ高精度に求めることができる。

また、前述したように、本実施形態では、第1状態から第2状態を経て第3状態に移行する処理を行うことにより、仮オフセット成分Δx’、Δy’を算出している。すなわち、第2マーカー72がモバイルカメラ3の画像30内(撮像領域内)に収まる範囲内の微小な角度で、第6アーム16を中心軸A6周りに回動させる処理を行うことで、仮オフセット成分Δx’、Δy’を算出している。このような仮オフセットΔx’、Δy’の情報を用いて第3状態から第4状態への移動を行うことで、第4状態において第2マーカー72を確実に画像30内に写すことができる。

次に、図13に示すように、制御装置5は、軸座標O6に対する撮像基準点O3のオフセット成分Δzを求める(ステップS227)。以下、オフセット成分Δzを求める方法を、図21を参照しつつ説明する。なお、図21は、オフセット成分Δzを求める際のモバイルカメラ3および第6アーム16の過程を図示しており、説明の便宜上、図21中の実線で示すモバイルカメラ3が、「設計上のモバイルカメラ3」の位置を示しており、図21中の点線で示すモバイルカメラ3’が、「実際のモバイルカメラ3」の位置を示している。

図21に示すように、まず、制御装置5は、例えば第2マーカー72がモバイルカメラ3’の画像の中心に写るようにロボットアーム10を駆動させて、図21に示す状態Aとする。次いで、制御装置5は、モバイルカメラ3’で第2マーカー72を撮像して、図21に示すモバイルカメラ3の受光面311と第2マーカー72との間の距離Hを求める。

ここで、本実施形態では、モバイルカメラ3の焦点距離は予め求められていて、既知である。このため、距離Hは、例えば、モバイルカメラ3の焦点距離と、モバイルカメラ3の画像におけるマーカー75同士のピッチの長さ「ピクセル」と、実際のマーカー75同士のピッチ「mm」とから算出することができる。

なお、モバイルカメラ3の焦点距離は、例えば、校正用部材70のマーカー75を写しながら、モバイルカメラ3を光軸OA3方向(zr方向)へ微小量だけ動かした場合における動作前後での、画像上のマーカー75同士のピッチの長さ「ピクセル」と、実際のマーカー75同士のピッチ「mm」とから求めることも可能である。

次いで、図21中の状態Bに示すように、制御装置5は、ロボットアーム10を駆動させて、モバイルカメラ3’を設計上のオフセット成分Δzを基に角度θ2だけ傾ける。

次いで、図21中の状態Cに示すように、制御装置5は、ロボットアーム10を駆動させて、状態Bのモバイルカメラ3’の姿勢を保ったまま、第2マーカー72がモバイルカメラ3’の画像の中心に写るようにモバイルカメラ3’をロボット座標系におけるxr軸およびyr軸を含む平面(基準面82のx−y平面)に平行な面内に並進移動させる。そして、制御装置5は、このときのロボット座標系における軸座標O6の移動距離X’(具体的には、設計上のオフセット成分Δzに基づく、基準面82のx−y平面に平行な面内での撮像基準点O3の移動距離)を求める。

次いで、制御装置5は、下記の式(1)より、モバイルカメラ3’の実際のオフセット成分Δzを求めるための補正量ΔHを求める。

次いで、制御装置5は、補正量ΔHと設計上のオフセット成分Δzとを基に、実際のオフセット成分Δzを求める。

このようにして、オフセット成分Δzを求めることができる。このような処理によれば、オフセット成分Δzを容易に算出することができる。

次に、図13に示すように、制御装置5は、設計上のオフセット成分から、求めた実際のオフセット成分Δx、Δy、Δz、Δu、Δv、Δwにデータを更新する(ステップS228)。
以上にて、図10に示すオフセットを求める処理(ステップS22)が終了する。

[作業面を特定する処理(ステップS23)]
次に、図10に示すように、作業面を特定する処理(ステップS23)を行う。作業面を特定する処理(ステップS23)は、ロボット座標系における作業面611の位置および姿勢、すなわち、作業面611の成分xr、yr、zr、ur、vr、wrを求める処理である。

ここで、作業面611は、基準面82に対して平行であり、基準面82の法線方向(zr方向)にオフセットした位置にある。このため、この作業面を特定する処理(ステップS23)では、作業面611の基準面82に対する法線方向(zr方向)のオフセット量を決定することにより、作業面611の成分xr、yr、zr、ur、vr、wrを求めることができる。

作業面611の基準面82に対する法線方向(zr方向)のオフセット量は、予め求めておいたモバイルカメラ3の焦点距離と、校正用部材70の隣り合うマーカー75のピッチの値(実寸)に対するモバイルカメラ3の画素数と、前述した実際のオフセット成分とに基づいて求めることができる。

このようにしてロボット座標系における作業面611の位置および姿勢を求めることで、ロボット1は作業面611上に載置された対象物に対して高精度に作業を行うことができる。

[ロボットにマーカーの位置および姿勢を教示する処理(ステップS24)]
次に、図10に示すように、ロボット1にマーカーの位置および姿勢を教示する処理(ステップS24)を行う。

ここでは、例えば、基準面82(または作業面611)のx−y平面における第2マーカー72のロボット座標をロボット1に教示する。

具体的には、まず、制御装置5は、前述したオフセット成分を求める処理(ステップS22)にて算出した軸座標O6に対する撮像基準点O3の位置および光軸OA3の方向のオフセット成分を基にして、基準面82のz軸にモバイルカメラ3の光軸OA2を揃える。その後、制御装置5は、ロボットアーム10の駆動により、基準面82のx−y平面に平行な面内にモバイルカメラ3を並進移動させ、第2マーカー72をモバイルカメラ3の画像中心に合わせる。そして、制御装置5は、第2マーカー72をモバイルカメラ3の画像中心に合わた際のモバイルカメラ3の撮像基準点O3の位置を第2マーカー72のロボット座標として教示する。

なお、例えば、軸座標O6におけるオフセットが既知である教示専用ツール(タッチアップ用ハンド)を第2マーカー72に接触させることにより、ロボット1に第2マーカー75の位置および姿勢を教示してもよい。ただし、モバイルカメラ3で第2マーカー72の画像を撮像することにより、ロボット1に第2マーカー72の位置および姿勢を教示する方が、例えば校正用部材70の材質等によらずに第2マーカー72を高精度に教示することができるため、好ましい。

[モバイルカメラの画像座標系とロボット座標系との関係を求める処理(ステップS25)]
次に、図10に示すように、モバイルカメラの画像座標系とロボット座標系との関係を求める処理(ステップS25)を行う。

モバイルカメラの画像座標系とロボット座標系との関係を求める処理(ステップS25)は、前述した固定カメラの画像座標系とロボット座標系との関係を求める処理(ステップS12)と、作業面611上に配置された校正用部材70を用いて基準面を特定すること、および、ロボットアーム10を駆動させて、作業面611上に配置された校正用部材70の第2マーカー72(ロボット座標が既知であるマーカー)を、モバイルカメラ3を9箇所に移動させながら9回撮像すること以外は、同様である。

したがって、モバイルカメラ3の画像座標系とロボット座標系との関係を求める処理(ステップS25)が終了すると、9つの画像に基づいたモバイルカメラ3の画像座標系における第2マーカー72の座標(成分xb、yb、ub)と、前述したステップS21で求めたロボット座標系における基準面82の座標(成分xr、yr、ur)とに基づいて、固定カメラ2の画像座標をロボット座標系における基準面82の座標に変換する補正パラメーター(座標変換行列)を求めることができる。

このようにして求めた補正パラメーターを用いれば、モバイルカメラ3で撮像した対象物等の位置および姿勢(具体的には、成分xb、yb、ub)をロボット座標系における値(具体的には、成分xr、yr、ur)に変換することができる。

なお、前述したように、モバイルカメラの画像座標系とロボット座標系との関係を求める処理(ステップS25)は、前述した固定カメラ2の画像座標系とロボット座標系との関係を求める処理(ステップS12)とほぼ同様であるため、その詳細な説明(処理内容および効果)を省略する。
以上により、図4に示す撮像部の校正が終了する。

このような撮像部の校正方法によれば、固定カメラ2およびモバイルカメラ3でそれぞれ撮像した画像を基にして基準面81、82の姿勢を求めることができるため、従来のように作業者による判断を省くことができる。そのため、人為的な誤差や、作業者によるバラツキを低減することができ、よって、高精度な校正ができる。

<第2実施形態>
次に、本発明の第2実施形態について説明する。

図22は、本発明の第2実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。図23は、第2実施形態における基準面を特定する処理における第1マーカーと第nマーカーとの比較を説明するための図である。

本実施形態に係るロボットシステムを用いた撮像部の校正方法は、校正用部材の構成、および、基準面を特定する処理の一部が異なること以外は、前述した第1実施形態と同様である。

なお、以下の説明では、第2実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図22および図23では、それぞれ、前述した実施形態と同様の構成について、同一符号を付している。

図22に示す校正用部材70Aの表面701Aには、複数のマーカー75が付されている。これら複数のマーカー75のうちの図22中の左側に位置する9つのマーカー75と、図22中の右側に位置する9つのマーカー75と、図22中の下側に位置する9つのマーカー75と、図22中の上側に位置する9つのマーカー75とには、それぞれ、9つのマーカー75を囲む四角形の枠がさらに付されている。これら9つのマーカー75とそれを囲む四角形の枠とで構成されたマーカーのうち、図22中の左側に位置するマーカーを「第1マーカー76」とし、図22中の右側に位置するマーカーを「第2マーカー77」とし、図22中の下側に位置するマーカーを「第3マーカー78」とし、図22中の上側に位置するマーカーを「第4マーカー79」とする。このような第1マーカー76、第2マーカー77、第3マーカー78および第4マーカー79は、それぞれ、基準マーカーとして用いられる。

[基準面を特定する処理(ステップS11)]
本実施形態では、図8に示すステップS114において、固定カメラ2で撮像した第2マーカー77の画像を「第1画像」として記憶部54に記憶し、かつ、第1画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。

また、ステップS117において、ステップS116で固定カメラ2が撮像した第2マーカー77が有する複数のマーカー75同士のピッチPと、記憶部54に記憶した第1画像における第2マーカー77が有する複数のマーカー75同士のピッチPとを比較する。例えば、図23に示すように、図23中の2点鎖線で示す第2マーカー77(第nマーカー)が有する複数のマーカー75同士のピッチPが、図23中の実線で示す第1画像における第2マーカー77が有する複数のマーカー75同士のピッチPと異なり、そのピッチPの差が所定の閾値内でない場合には、所定の閾値内になるようにロボットアーム10の駆動により校正用部材70をzr軸方向に並進移動させる(ステップS119)。

次いで、制御装置5は、ピッチPの差が所定の閾値内であると判断したら、ステップS1110において、固定カメラ2で撮像した第2マーカー77の画像を「第2画像(第n画像)」として記憶部54に記憶し、かつ、第2画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。

ここで、本実施形態では、固定カメラ2で3つの画像(第1画像、第2画像および第3画像)を撮像することを予め設定している。そのため、本実施形態では、固定カメラ2で第2画像を撮像した後に、さらにもう2回、ステップS115からステップS1110を行い、ロボットアーム10の駆動により校正用部材70を移動させ、固定カメラ2で撮像した第2マーカー77の画像を「第3画像」として記憶部54に記憶し、かつ、第3画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。

このように、本実施形態では、第1画像における第2マーカー77が有するマーカー75同士のピッチ(第1間隔)と、第2画像における第2マーカー77が有するマーカー75同士のピッチ(第2間隔)と、第3画像における第2マーカー77が有するマーカー75同士のピッチ(第3間隔)と、が互いに等しくなるように第1画像、第2画像および第3画像を撮像している。これにより、各画像におけるマーカー75同士のピッチに基づいて、基準面81の姿勢を求めることができる。ここで、第1実施形態のように、各画像上の第2マーカー77の大きさを用いる方法では、固定カメラ2の合焦度合により画像上の第2マーカー77の大きさが変化しやすい。これに対し、本実施形態のように、マーカー75同士のピッチ(マーカー75の重心間の距離)を用いる方法によれば、合焦度合によらず、基準面81をより正確に求めることができる。

[基準面を特定する処理(ステップS21)]
本実施形態では、図12に示すステップS214において、モバイルカメラ3で撮像した第1マーカー76の画像を「第1画像」として記憶部54に記憶し、かつ、第1画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。

また、ステップS217において、ステップS216でモバイルカメラ3が撮像した第2マーカー77が有する複数のマーカー75同士のピッチPと、記憶部54に記憶した第1画像における第1マーカー76が有する複数のマーカー75同士のピッチPとを比較する。ピッチPの差が所定の閾値内でない場合には、所定の閾値内になるようにロボットアーム10の駆動によりモバイルカメラ3を校正用部材70に対してzr軸方向に並進移動させる(ステップS219)。

次いで、制御装置5は、ピッチPの差が所定の閾値内であると判断したら、ステップS2110において、モバイルカメラ3で撮像した第2マーカー77の画像を「第2画像(第n画像)」として記憶部54に記憶し、かつ、第2画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。

ここで、本実施形態では、固定カメラ2で4つの画像(第1画像、第2画像、第3画像および第4画像)を撮像することを予め設定している。そのため、本実施形態では、固定カメラ2で第2画像を撮像した後に、さらにもう2回、ステップS215からステップS2110を行う。したがって、本実施形態では、モバイルカメラ3で撮像した第3マーカー78の画像を「第3画像」として記憶部54に記憶し、かつ、第3画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。また、モバイルカメラ3で撮像した第4マーカー79の画像を「第4画像」として記憶部54に記憶し、かつ、第4画像を撮像した際のロボット座標系における軸座標O6の座標を記憶部54に記憶する。ここで、本実施形態におけるモバイルカメラ3における基準面を特定する処理(ステップS21)では、第4マーカー79を「第4基準マーカー」とする。

このように、本実施形態では、第1画像における第1マーカー76が有するマーカー75同士のピッチ(第1間隔)と、第2画像における第2マーカー77が有するマーカー75同士のピッチ(第2間隔)と、第3画像における第3マーカー78が有するマーカー75同士のピッチ(第3間隔)と、第4画像における第4マーカー79が有するマーカー75同士のピッチ(第4間隔)と、が互いに等しくなるように第1画像、第2画像、第3画像および第4画像を撮像している。これにより、各画像におけるマーカー75同士のピッチに基づいて、基準面81の姿勢を求めることができる。

また、第1間隔、第2間隔、第3間隔および第4間隔が等しい校正用部材70Aを用いて、第1画像における第1間隔、第2画像における第2間隔、第3画像における第3間隔および第4画像における第4間隔が等しくなるように第1画像、第2画像、第3画像および第4画像を撮像することで、表面701に平行な基準面82を容易かつ迅速に求めることができる。

なお、本実施形態では、第1間隔、第2間隔、第3間隔および第4間隔が全て等しいが、これらの間隔(ピッチ)の関係が既知であれば、これらの間隔(ピッチ)はそれぞれ異なっていてもよい。その場合には、第1間隔、第2間隔、第3間隔および第4間隔のそれぞれの間隔(ピッチ)の関係に基づいて、表面701に平行な基準面82を求めることができる。

また、図22に示すように、校正用部材70Aに付された第1マーカー76、第2マーカー77、第3マーカー78および第4マーカー79は、第1マーカー76と第2マーカー77とを通る第1直線7XAと、第3マーカー78と第4マーカー79とを通る第2直線7YAとが交差するように配置されている。したがって、第1画像を撮像した際のロボット座標系における第1マーカー76の座標と第2画像を撮像した際のロボット座標系における第2マーカー77の座標とから第1直線7XAを求め、第3画像を撮像した際のロボット座標系における第3マーカー78の座標と第4画像を撮像した際のロボット座標系における第4マーカー79の座標とから第2直線7YAを求め、求めた第1直線7XAおよび第2直線7YAに基づいて、基準面82の原点70Oおよびx軸、y軸、z軸の各方向を求めることができる。このように基準面82の原点70Oおよびx軸、y軸、z軸の各方向を特定することで、作業者が基準面82の位置を把握し易くなる。

<第3実施形態>
次に、本発明の第3実施形態について説明する。

図24は、本発明の第3実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。

本実施形態に係るロボットシステムを用いた撮像部の校正方法は、校正用部材の構成が異なること以外は、前述した第1実施形態と同様である。

なお、以下の説明では、第3実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図24では、それぞれ、前述した実施形態と同様の構成について、同一符号を付している。

図24に示す校正用部材70Bの表面701Bには、第1マーカー71B、第2マーカー72Bおよび第3マーカー73Bが付されている。

このような3つの第1マーカー71B、第2マーカー72Bおよび第3マーカー73Bが付された校正用部材70Bによっても、前述した第2実施形態におけるモバイルカメラ3の基準面を特定する処理(ステップS21)と同様に、第1画像を撮像した際のロボット座標系における第1マーカー71Bの座標と第2画像を撮像した際のロボット座標系における第2マーカー72Bの座標とから第1直線7XBを求め、第1画像を撮像した際のロボット座標系における第1マーカー71Bの座標と第3画像を撮像した際のロボット座標系における第3マーカー73Bの座標とから第2直線7YBを求める。そして、第1マーカー71Bを原点とした基準面82のx軸、y軸、z軸の各方向を求めることができる。

以上、本発明の制御装置、ロボットおよびロボットシステムを、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。また、本発明は、前記各実施形態のうちの、任意の2以上の構成(特徴)を組み合わせたものであってもよい。

また、前記実施形態では、6軸の垂直多関節ロボットを用いた場合を例に説明したが、本発明におけるロボットは、垂直多関節ロボット以外のロボット、例えば水平多関節ロボット等であってもよい。なお、水平多関節ロボットとは、例えば、基台と、基台に接続され、水平方向に延びている第1アームと、第1アームに接続され、水平方向に延びる部分を有する第2アームとを有する構成である。また、本発明におけるロボットが水平多関節ロボットである場合、前述したような校正を行うことで、例えば、ロボットが作業面に対して平行に設置されているか否かや、固定カメラの光軸がロボット座標系におけるxr軸およびyr軸を含む面に対して鉛直になるように固定カメラが設置されているか否か等を把握することができる。

また、前記実施形態では、ロボットが有するロボットアームの回動軸の数は、6つであるが、本発明では、これに限定されず、ロボットアームの回動軸の数は、例えば、2つ、3つ、4つ、5つまたは7つ以上でもよい。また、前記実施形態では、ロボットが有するアームの数は、6つであるが、本発明では、これに限定されず、ロボットが有するアームの数は、例えば、2つ、3つ、4つ、5つ、または、7つ以上でもよい。

また、前記実施形態では、ロボットが有するロボットアームの数は、1つであるが、本発明では、これに限定されず、ロボットが有するロボットアームの数は、例えば、2つ以上でもよい。すなわち、ロボットは、例えば、双腕ロボット等の複数腕ロボットであってもよい。

また、前記実施形態では、撮像部としての固定カメラおよびモバイルカメラは、それぞれ、撮像素子およびレンズを有する構成であったが、本発明における撮像部は、第1マーカー、第2マーカーおよび第3マーカーを撮像することができる構成であればいかなる構成であってもよい。

また、前記実施形態では、校正用部材を用いて固定カメラの校正を行ったが、固定カメラの校正では、校正用部材を用いなくてもよい。校正用部材を用いない場合には、例えば、ロボットアームの先端部(軸座標)に1つのマーカーを付して、その1つのマーカーを基準マーカーとして用いればよい。この場合には、1つのマーカーを「第1基準マーカー、第2基準マーカーおよび第3基準マーカー」と捉える。

1…ロボット、2…固定カメラ、3…モバイルカメラ、3'…モバイルカメラ、5…制御装置、7XA…第1直線、7XB…第1直線、7YA…第2直線、7YB…第2直線、10…ロボットアーム、11…第1アーム、12…第2アーム、13…第3アーム、14…第4アーム、15…第5アーム、16…第6アーム、21…撮像素子、22…レンズ、30…画像、31…撮像素子、32…レンズ、41…表示機器、42…操作機器、51…駆動制御部、52…情報取得部、53…処理部、54…記憶部、61…作業台、62…供給台、70…校正用部材、70A…校正用部材、70B…校正用部材、71…第1マーカー、71B…第1マーカー、72…第2マーカー、72B…第2マーカー、73…第3マーカー、73B…第3マーカー、75…マーカー、76…第1マーカー、77…第2マーカー、78…第3マーカー、79…第4マーカー、70O…原点、81…基準面、82…基準面、90…作業領域、100…ロボットシステム、101…基台、102…ハンド、111…回動軸部材、120…モータードライバー、121…回動軸部材、130…駆動部、131…回動軸部材、141…回動軸部材、151…回動軸部材、161…回動軸部材、211…受光面、311…受光面、411…モニター、611…作業面、701…表面、701A…表面、701B…表面、A…状態、A6…中心軸、B…状態、C…状態、H…距離、O2…撮像基準点、O3…撮像基準点、O30…中心、O6…軸座標、OA2…光軸、OA3…光軸、P…ピッチ、P1、P2、P3、P4…ピッチ、P1'、P2'、P3'、P4'…ピッチ、S1…ステップ、S11…ステップ、S111…ステップ、S1110…ステップ、S1111…ステップ、S1112…ステップ、S1113…ステップ、S112…ステップ、S113…ステップ、S114…ステップ、S115…ステップ、S116…ステップ、S117…ステップ、S118…ステップ、S119…ステップ、S12…ステップ、S2…ステップ、S21…ステップ、S22…ステップ、S221…ステップ、S222…ステップ、S223…ステップ、S224…ステップ、S225…ステップ、S226…ステップ、S227…ステップ、S228…ステップ、S23…ステップ、S24…ステップ、S25…ステップ、S211…ステップ、S212…ステップ、S213…ステップ、S214…ステップ、S215…ステップ、S216…ステップ、S217…ステップ、S218…ステップ、S219…ステップ、S2110…ステップ、S2111…ステップ、S2112…ステップ、S2113…ステップ、TCP…ツールセンターポイント、X'…ロボット移動距離、ΔH…補正量、θ1…回動角度、θ10…回動角度、θ2…角度

Claims (13)

  1. ロボットアームを有するロボットと、第1基準マーカー、第2基準マーカーおよび第3基準マーカーを撮像することが可能な撮像部とをそれぞれ制御することが可能な制御装置であって、
    前記撮像部と、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーとのいずれか一方が前記ロボットに対して設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーのそれぞれとの間の距離を変化させることが可能であり、
    前記撮像部で前記第1基準マーカーを撮像した第1画像と、前記撮像部で前記第1基準マーカーとは異なる位置に配置された前記第2基準マーカーを撮像した第2画像と、前記撮像部で前記第1基準マーカーおよび前記第2基準マーカーとは異なる位置に配置された前記第3基準マーカーを撮像した第3画像と、に基づいて、前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーを通る平面と平行な基準面の姿勢を求めることを特徴とする制御装置。
  2. 前記第1画像を撮像した際のロボット座標系における前記ロボットの任意の部位の座標と、前記第2画像を撮像した際の前記ロボット座標系における前記部位の座標と、前記第3画像を撮像した際の前記ロボット座標系における前記部位の座標と、に基づいて前記姿勢を求める請求項1に記載の制御装置。
  3. 前記第1画像における前記第1基準マーカーの大きさと、前記第2画像における前記第2基準マーカーの大きさと、前記第3画像における前記第3基準マーカーの大きさとに基づいて、前記姿勢を求める請求項1または2に記載の制御装置。
  4. 前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーのそれぞれの大きさが、互いに等しい場合、
    前記撮像部に、前記第1画像における前記第1基準マーカーの大きさと、前記第2画像における前記第2基準マーカーの大きさと、前記第3画像における前記第3基準マーカーの大きさとが等しくなるように、前記第1画像、前記第2画像および前記第3画像を撮像させる請求項3に記載の制御装置。
  5. 前記第1基準マーカー、前記第2基準マーカーおよび前記第3基準マーカーが、それぞれ、所定の間隔で配置された複数のマーカーを有する構成であり、
    前記第1画像における前記第1基準マーカーが有する前記複数のマーカー同士の第1間隔と、前記第2画像における前記第2基準マーカーが有する前記複数のマーカー同士の第2間隔と、前記第3画像における前記第3基準マーカーが有する前記複数のマーカー同士の第3間隔とに基づいて、前記姿勢を求める請求項1または2に記載の制御装置。
  6. 前記第1基準マーカーの前記第1間隔と、前記第2基準マーカーの前記第2間隔と、前記第3基準マーカーの前記第3間隔とが、等しい場合、
    前記撮像部に、前記第1画像における前記第1間隔と、前記第2画像における前記第2間隔と、前記第3画像における前記第3間隔とが等しくなるように、前記第1画像、前記第2画像および前記第3画像を撮像させる請求項5に記載の制御装置。
  7. 前記基準面は、前記撮像部の光軸に対して直交している請求項1ないし6のいずれか1項に記載の制御装置。
  8. 前記第1画像に基づいて求めた前記第1基準マーカーと前記撮像部の撮像基準点との間の第1距離と、前記第2画像に基づいて求めた前記第2基準マーカーと前記撮像基準点との間の第2距離と、前記第3画像に基づいて求めた前記第3基準マーカーと前記撮像基準点との間の第3距離とに基づいて前記姿勢を求める請求項1ないし7のいずれか1項に記載の制御装置。
  9. 前記第1距離、前記第2距離および前記第3距離は、等しい請求項8に記載の制御装置。
  10. 前記基準面の原点を求める請求項1ないし9のいずれか1項に記載の制御装置。
  11. 前記撮像部は、第4基準マーカーを撮像することが可能であり、
    前記第1基準マーカーと前記第2基準マーカーとを通る第1直線と、前記第3基準マーカーと前記第4基準マーカーとを通る第2直線とが交差するように配置されている場合、
    前記撮像部に、前記第1基準マーカー、前記第2基準マーカー、前記第3基準マーカーおよび前記第4基準マーカーをそれぞれ撮像させ、
    前記第1基準マーカーを撮像した際のロボット座標系における前記第1基準マーカーの座標と、前記第2基準マーカーを撮像した際の前記ロボット座標系における前記第2基準マーカーの座標と、前記第3基準マーカーを撮像した際の前記ロボット座標系における前記第3基準マーカーの座標と、前記第4基準マーカーを撮像した際の前記ロボット座標系における前記第4基準マーカーの座標とから前記第1直線および前記第2直線を求め、求めた前記第1直線および前記第2直線に基づいて、前記ロボット座標系における前記基準面の原点を求める請求項10に記載の制御装置。
  12. 請求項1ないし11のいずれか1項に記載の制御装置によって制御されることを特徴とするロボット。
  13. 請求項1ないし11のいずれか1項に記載の制御装置と、当該制御装置によって制御されるロボットと、撮像する機能を有する撮像部とを備えることを特徴とするロボットシステム。
JP2015235250A 2015-12-01 2015-12-01 制御装置、ロボットおよびロボットシステム Active JP6710946B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015235250A JP6710946B2 (ja) 2015-12-01 2015-12-01 制御装置、ロボットおよびロボットシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015235250A JP6710946B2 (ja) 2015-12-01 2015-12-01 制御装置、ロボットおよびロボットシステム
US15/363,499 US10201900B2 (en) 2015-12-01 2016-11-29 Control device, robot, and robot system
CN201611078388.2A CN107053167A (zh) 2015-12-01 2016-11-29 控制装置、机器人以及机器人系统

Publications (3)

Publication Number Publication Date
JP2017100240A true JP2017100240A (ja) 2017-06-08
JP2017100240A5 JP2017100240A5 (ja) 2019-01-17
JP6710946B2 JP6710946B2 (ja) 2020-06-17

Family

ID=58776755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015235250A Active JP6710946B2 (ja) 2015-12-01 2015-12-01 制御装置、ロボットおよびロボットシステム

Country Status (3)

Country Link
US (1) US10201900B2 (ja)
JP (1) JP6710946B2 (ja)
CN (1) CN107053167A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111369A1 (ja) * 2017-12-07 2019-06-13 株式会社Fuji メカチャック,産業用ロボット及びワーク移動装置
US10551821B2 (en) 2016-06-30 2020-02-04 Seiko Epson Corporation Robot, robot control apparatus and robot system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CN107570985A (zh) * 2017-09-13 2018-01-12 苏州立源信智能科技有限公司 一种面板全自动安装装置
JP6568172B2 (ja) * 2017-09-22 2019-08-28 ファナック株式会社 キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2823584C2 (ja) * 1978-05-30 1983-01-27 Pfaff Industriemaschinen Gmbh, 6750 Kaiserslautern, De
US4921293A (en) * 1982-04-02 1990-05-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multi-fingered robotic hand
US5108140A (en) * 1988-04-18 1992-04-28 Odetics, Inc. Reconfigurable end effector
US4891767A (en) * 1988-06-02 1990-01-02 Combustion Engineering, Inc. Machine vision system for position sensing
US5501498A (en) * 1988-08-31 1996-03-26 The Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US4957320A (en) * 1988-08-31 1990-09-18 Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US4980626A (en) * 1989-08-10 1990-12-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for positioning a robotic end effector
US5172951A (en) * 1990-08-06 1992-12-22 University Of Utah Research Foundation Robotic grasping apparatus
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
WO1997009153A1 (en) * 1995-09-08 1997-03-13 Ross-Hime Designs, Inc. Robotic manipulator
US5762390A (en) * 1996-07-16 1998-06-09 Universite Laval Underactuated mechanical finger with return actuation
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
WO2000057129A1 (fr) * 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede
US6517132B2 (en) * 2000-04-04 2003-02-11 Honda Giken Kogyo Kabushiki Kaisha Multifinger hand device
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
US6817641B1 (en) * 2002-08-30 2004-11-16 Lawrence J. Singleton, Jr. Robotic arm and hand
AU2003278994A1 (en) * 2002-09-26 2004-04-19 Barrett Technology, Inc. Intelligent, self-contained robotic hand
WO2004096502A1 (en) * 2003-04-28 2004-11-11 Stephen James Crampton Cmm arm with exoskeleton
BRPI0410063A (pt) * 2003-05-07 2006-05-23 Evenzo Ab método para criar uma apresentação visual sobre uma grande superfìcie substancialmente plana, sistema para realizar tal método, meio legìvel por computador, e, utilização de um robÈ móvel como um dispositivo de marcação de circulação livre
WO2005015466A1 (ja) * 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. 生活支援システム及びその制御用プログラム
JP4313125B2 (ja) * 2003-09-12 2009-08-12 本田技研工業株式会社 ロボットハンド
JP4592276B2 (ja) * 2003-10-24 2010-12-01 ソニー株式会社 ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
US7795832B2 (en) * 2004-03-31 2010-09-14 Japan Science And Technology Agency Robot hand
WO2005099417A2 (en) * 2004-04-12 2005-10-27 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
US7921741B2 (en) * 2004-12-15 2011-04-12 Motorola Mobility, Inc. Electromagnetic testing model of human hand
JP2007015037A (ja) * 2005-07-05 2007-01-25 Sony Corp ロボットのモーション編集装置及びモーション編集方法、コンピュータ・プログラム、並びにロボット装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4908020B2 (ja) * 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
US7650263B2 (en) * 2006-09-26 2010-01-19 Strider Labs, Inc. Method for fast computation of optimal contact forces
US8231158B2 (en) * 2006-11-03 2012-07-31 President And Fellows Of Harvard College Robust compliant adaptive grasper and method of manufacturing same
JP4890199B2 (ja) * 2006-11-09 2012-03-07 本田技研工業株式会社 ロボットハンドおよびロボット
US8036452B2 (en) * 2007-08-10 2011-10-11 Leica Geosystems Ag Method and measurement system for contactless coordinate measurement on an object surface
US9020240B2 (en) * 2007-08-10 2015-04-28 Leica Geosystems Ag Method and surveying system for noncontact coordinate measurement on an object surface
JP2009066685A (ja) * 2007-09-11 2009-04-02 Sony Corp ロボット装置及びロボット装置の制御方法
JP4418841B2 (ja) * 2008-01-24 2010-02-24 キヤノン株式会社 作業装置及びその校正方法
NL1036673A1 (nl) * 2008-04-09 2009-10-12 Asml Holding Nv Robot Position Calibration Tool (RPCT).
US20090306825A1 (en) * 2008-04-21 2009-12-10 Ying Li Manipulation system and method
KR100997140B1 (ko) * 2008-07-16 2010-11-30 삼성전자주식회사 인간형 로봇
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
KR101549818B1 (ko) * 2008-12-02 2015-09-07 삼성전자 주식회사 로봇 핸드 및 그 제어방법
US8346393B2 (en) * 2008-12-18 2013-01-01 Samsung Electronics Co., Ltd. Control apparatus of multi-finger hand and grasping method using the same
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
US20100179689A1 (en) * 2009-01-09 2010-07-15 National Taiwan University Of Science And Technology Method of teaching robotic system
US8364314B2 (en) * 2009-04-30 2013-01-29 GM Global Technology Operations LLC Method and apparatus for automatic control of a humanoid robot
JP5335551B2 (ja) * 2009-05-14 2013-11-06 本田技研工業株式会社 ロボットハンドならびにその制御システム、制御方法および制御プログラム
US8504198B2 (en) * 2009-05-14 2013-08-06 Honda Motor Co., Ltd. Robot hand and control system, control method and control program for the same
US8280837B2 (en) * 2009-05-28 2012-10-02 GM Global Technology Operations LLC Contact state estimation for multi-finger robot hands using particle filters
JP4856222B2 (ja) * 2009-08-28 2012-01-18 照明 與語 3次元形状測定方法
DE102009041734A1 (de) * 2009-09-16 2011-03-17 Kuka Roboter Gmbh Vermessung eines Manipulators
US8511964B2 (en) * 2009-09-22 2013-08-20 GM Global Technology Operations LLC Humanoid robot
DE102009058607A1 (de) * 2009-12-17 2011-06-22 KUKA Laboratories GmbH, 86165 Verfahren und Vorrichtung zum Steuern eines Manipulators
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
EP2468207A1 (en) * 2010-12-21 2012-06-27 Renishaw (Ireland) Limited Method and apparatus for analysing images
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
US9352466B2 (en) * 2012-06-01 2016-05-31 Taiwan Semiconductor Manufacturing Co., Ltd. Robot positioning system for semiconductor tools
ES2522921B2 (es) * 2013-05-17 2015-07-30 Loxin 2002, S.L. Cabezal y procedimiento de mecanizado automático con visión
JP6231094B2 (ja) * 2013-06-07 2017-11-15 富士機械製造株式会社 電子機器組立機および類似の組立機
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
WO2015125017A2 (en) * 2014-02-20 2015-08-27 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
US10078898B2 (en) * 2014-11-07 2018-09-18 National Institute Of Standards And Technology Noncontact metrology probe, process for making and using same
JP6565175B2 (ja) 2014-11-21 2019-08-28 セイコーエプソン株式会社 ロボットおよびロボットシステム
CN107073719A (zh) 2014-11-21 2017-08-18 精工爱普生株式会社 机器人和机器人系统
JP6573354B2 (ja) * 2014-11-28 2019-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6562665B2 (ja) * 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
JP2016182648A (ja) 2015-03-26 2016-10-20 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016185572A (ja) 2015-03-27 2016-10-27 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016187844A (ja) 2015-03-30 2016-11-04 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6507792B2 (ja) 2015-03-30 2019-05-08 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP2016187846A (ja) 2015-03-30 2016-11-04 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6661925B2 (ja) * 2015-09-07 2020-03-11 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10551821B2 (en) 2016-06-30 2020-02-04 Seiko Epson Corporation Robot, robot control apparatus and robot system
WO2019111369A1 (ja) * 2017-12-07 2019-06-13 株式会社Fuji メカチャック,産業用ロボット及びワーク移動装置

Also Published As

Publication number Publication date
JP6710946B2 (ja) 2020-06-17
CN107053167A (zh) 2017-08-18
US20170151671A1 (en) 2017-06-01
US10201900B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
KR101988083B1 (ko) 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법
US9457470B2 (en) Robot system and method for calibration
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
JP6415190B2 (ja) ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
CN102135776B (zh) 基于视觉定位的工业机器人控制方法
US9897437B2 (en) Profile measuring apparatus, structure manufacturing system, method for measuring profile, method for manufacturing structure, and non-transitory computer readable medium
US20160035079A1 (en) Calibration and Transformation of a Camera System's Coordinate System
US8135208B1 (en) Calibrated vision based robotic system utilizing upward and downward looking cameras
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
DE112011101730B4 (de) System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter
US20160158937A1 (en) Robot system having augmented reality-compatible display
US9043024B2 (en) Vision correction method for tool center point of a robot manipulator
DE102015001527B4 (de) Robotersystem, das visuelle Rückmeldung verwendet
EP2783814A2 (en) Robot system and calibration method
JP2012024920A (ja) 外骨格を有するcmmアーム
US8564655B2 (en) Three-dimensional measurement method and three-dimensional measurement apparatus
US6044308A (en) Method and device for robot tool frame calibration
JP2014151427A (ja) ロボットシステム及びロボットシステムの制御方法
JP4508252B2 (ja) ロボット教示装置
CN102448679B (zh) 至少一个物体以高精度定位到空间最终位置的方法和系统
CA2710669C (en) Method and system for the high-precision positioning of at least one object in a final location in space
WO2012115166A1 (ja) マスタ操作入力装置及びマスタスレーブマニピュレータ
EP1555508B1 (en) Measuring system
JP2011115877A (ja) 双腕ロボット

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R150 Certificate of patent or registration of utility model

Ref document number: 6710946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150