JP2019025572A - ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法 - Google Patents

ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法 Download PDF

Info

Publication number
JP2019025572A
JP2019025572A JP2017146117A JP2017146117A JP2019025572A JP 2019025572 A JP2019025572 A JP 2019025572A JP 2017146117 A JP2017146117 A JP 2017146117A JP 2017146117 A JP2017146117 A JP 2017146117A JP 2019025572 A JP2019025572 A JP 2019025572A
Authority
JP
Japan
Prior art keywords
arm
camera
predetermined position
robot
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017146117A
Other languages
English (en)
Other versions
JP2019025572A5 (ja
Inventor
稲積 満広
Mitsuhiro Inazumi
満広 稲積
貴彦 野田
Takahiko Noda
貴彦 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017146117A priority Critical patent/JP2019025572A/ja
Priority to US16/047,518 priority patent/US10909720B2/en
Publication of JP2019025572A publication Critical patent/JP2019025572A/ja
Publication of JP2019025572A5 publication Critical patent/JP2019025572A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

【課題】カメラ側の異常とアーム側の異常との両方が検出できる技術を提供する。【解決手段】ロボットのアームを制御するアーム制御部と、前記アームとは独立して設置されたカメラを制御するカメラ制御部と、アーム制御部によりアームが予め記憶された特定の位置姿勢をとったときのアームの所定位置を前記カメラで撮影し、その画像からカメラ座標系におけるアームの所定位置を検出する位置検出部と、前記位置検出部によって検出された所定位置と、アームが特定の位置姿勢をとったときの予め記憶されている基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定部と、を備える。【選択図】図8

Description

本発明は、ロボットにおけるカメラおよびアームの異常確認に関するものである。
アームとカメラとを備えるロボットが物体を把持する場合、カメラに検出された物体がアームによって把持される。このような動作は、カメラおよびアームが適切に校正(キャリブレーション)されていることにより精度良く実行される。
特開2016−1181号公報
特許文献1には、少なくとも3台のカメラを用いて複数のカメラよりなる組を複数組構成し、それらの組が取得する画像内における特徴の3次元位置についての情報の整合性に基づいて、カメラ側の異常を検出する方法が記載されている。しかし、特許文献1に記載された技術をロボットに用いた場合、3台以上のカメラが必要であるとともにアーム側の異常を検出することができないといった問題がある。このため、少数のカメラに対して適用可能であり、カメラ側の異常とアーム側の異常との両方が検出できる技術が望まれている。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の第1の形態によれば、ロボットのアームと、前記アームとは独立して設置されたカメラと、を制御する制御装置が提供される。この制御装置は、前記アームを制御するアーム制御部と、前記カメラを制御するカメラ制御部と、前記アームが特定の位置姿勢をとるように前記アーム制御部により制御された状態で前記アームを前記カメラで撮影した画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出する位置検出部と、前記位置検出部によって検出された前記所定位置と、前記制御装置内に予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定部と、を備える。この制御装置によれば、基準所定位置と比較される所定位置は、アームが特定の位置姿勢をとるようにアーム制御部により制御された状態でアームをカメラで撮影した画像から検出される特定形状の所定位置である。したがって、その所定位置と基準所定位置とのずれが許容範囲外であると位置判定部が判定した場合、そのずれは、カメラ側の異常とアーム側の異常とのうち少なくとも一方に起因するものである。よって、この制御装置によれば、カメラ側の異常とアーム側の異常との両方が検出できる。また、この制御装置は、1台以上のカメラを備えたロボットに対して適用可能である。
(2)上記制御装置において、前記位置検出部が検出する前記特定形状は、前記アームに付されたマークであり、前記マークは、図心が重なる複数の構成要素から成り、前記位置検出部は、前記図心の重なりを検出することによって、前記画像から前記マークを検出するとともに、前記画像内における前記マークの図心を前記所定位置として検出してもよい。この制御装置によれば、図心の重なりを検出することによってマークを検出できる。このため、画像内におけるマークの回転や傾き、または、画像内におけるマークの拡大や縮小によって特定形状の検出精度が低下することを抑制できる。したがって、特定形状の検出精度を向上させることができる。
(3)本発明の第2の形態は、上記制御装置に接続されたロボットである。このロボットによれば、カメラ側の異常とアーム側の異常との両方が検出できる。
(4)本発明の第3の形態は、ロボットと、前記ロボットに接続された上記制御装置と、を備えるロボットシステムである。このロボットシステムによれば、カメラ側の異常とアーム側の異常との両方が検出できる。
(5)本発明の第4の形態は、アームと、前記アームとは独立して設置されたカメラと、制御部と、を含むロボットである。このロボットは、前記制御部は、前記アームを制御するアーム制御部と、前記カメラを制御するカメラ制御部と、を含み、前記アームが特定の位置姿勢をとるように前記アーム制御部により制御された状態で前記アームを前記カメラで撮影した画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出する位置検出部と、前記位置検出部によって検出された前記所定位置と、前記制御部内に予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定部と、を備える。このロボットによれば、カメラ側の異常とアーム側の異常との両方が検出できる。
(6)本発明の第5の形態は、ロボットのアームと、前記アームとは独立して設置されたカメラと、を制御する制御装置である。この制御装置は、プロセッサーとメモリーとを備え、前記プロセッサーは、前記アームが特定の位置姿勢をとるように前記アームを制御した状態で前記アームを前記カメラで撮影した画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出し、前記所定位置と、前記メモリーに予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する。この制御装置によれば、カメラ側の異常とアーム側の異常との両方が検出できる。
(7)本発明の第4の形態によれば、アームと、前記アームとは独立して設置されたカメラと、を備えるロボットにおいて前記カメラと前記アームとのうち少なくとも一方の異常を確認する方法が提供される。この方法は、前記アームが特定の位置姿勢をとるように制御された状態で前記アームを撮影した画像を取得する画像取得工程と、前記画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出する位置検出工程と、前記位置検出工程において検出された前記所定位置と、予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定工程と、を備える。この方法によれば、基準所定位置と比較される所定位置は、アームが特定の位置姿勢をとるようにアーム制御部により制御された状態でアームをカメラで撮影した画像から検出される特定形状の所定位置である。したがって、その所定位置と基準所定位置とのずれが許容範囲外であると位置判定部が判定した場合、そのずれは、カメラ側の異常とアーム側の異常とのうち少なくとも一方に起因するものである。よって、この方法によれば、カメラ側の異常とアーム側の異常との両方が検出できる。
本発明は、上記以外の種々の形態で実現することも可能である。例えば、制御装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体(non-transitory storage medium)等の形態で実現することができる。
第1実施形態におけるロボットシステムの概念図である。 ロボットと制御装置の機能を示すブロック図である。 プロセッサーが実行する基準所定位置記憶処理を示すフローチャートである。 ステップS110において撮影される画像の例を示した説明図である。 マークを拡大した拡大図である。 マークの説明図である。 マークの説明図である。 プロセッサーが実行する位置判定処理を示すフローチャートである。
A. ロボットシステムの構成
図1は、第1実施形態におけるロボットシステムの概念図である。このロボットシステムは、ロボット100と、制御装置200とを備えている。このロボット100は、カメラ170L,170Rで作業対象を認識し、自在に力を加減して、自律的に判断しながら作業を行える自律型ロボットである。また、ロボット100は、予め作成された教示データに従って作業を実行するティーチングプレイバックロボットとして動作することも可能である。
ロボット100は、基台110と、胴部120と、肩部130と、首部140と、頭部150と、2つのアーム160L,160Rとを備えている。アーム160L,160Rには、ハンド180L,180Rが着脱可能に取り付けられている。これらのハンド180L,180Rは、ワークや道具を把持するエンドエフェクターである。頭部150には、カメラ170L,170Rが設置されている。これらのカメラ170L,170Rは、アーム160L,160Rとは独立して設けられており、その位置姿勢が変化しない固定カメラである。
アーム160L,160Rの手首部には、力覚センサー190L,190Rが設けられている。力覚センサー190L,190Rは、ハンド180L,180Rがワークに及ぼしている力に対する反力やモーメントを検出するセンサーである。力覚センサー190L,190Rとしては、例えば、並進3軸方向の力成分と、回転3軸回りのモーメント成分の6成分を同時に検出することができる6軸力覚センサーを用いることができる。なお、力覚センサー190L,190Rは省略可能である。
アーム160L,160Rと、カメラ170L,170Rと、ハンド180L,180Rと、力覚センサー190L,190Rの符号の末尾に付された「L」「R」の文字は、それぞれ「左」「右」を意味する。これらの区別が不要の場合には、「L」「R」の文字を省略した符号を使用して説明する。
制御装置200は、プロセッサー210と、メインメモリー220と、不揮発性メモリー230と、表示制御部240と、表示部250と、I/Oインターフェース260とを有している。これらの各部は、バスを介して接続されている。プロセッサー210は、例えばマイクロプロセッサー又はプロセッサー回路である。制御装置200は、I/Oインターフェース260を介してロボット100に接続される。なお、制御装置200をロボット100の内部に収納してもよい。
制御装置200の構成としては、図1に示した構成以外の種々の構成を採用することが可能である。例えば、プロセッサー210とメインメモリー220を図1の制御装置200から削除し、この制御装置200と通信可能に接続された他の装置にプロセッサー210とメインメモリー220を設けるようにしてもよい。この場合には、当該他の装置と制御装置200とを合わせた装置全体が、ロボット100の制御装置として機能する。他の実施形態では、制御装置200は、2つ以上のプロセッサー210を有していてもよい。更に他の実施形態では、制御装置200は、互いに通信可能に接続された複数の装置によって実現されていてもよい。これらの各種の実施形態において、制御装置200は、1つ以上のプロセッサー210を備える装置又は装置群として構成される。
図2は、ロボット100と制御装置200の機能を示すブロック図である。制御装置200のプロセッサー210は、不揮発性メモリー230に予め格納された各種のプログラム命令232を実行することにより、アーム制御部211と、カメラ制御部213と、位置検出部215と、位置記憶部217と、位置判定部219との機能をそれぞれ実現する。但し、これらの各部211〜219の機能の一部又は全部をハ―ドウェア回路で実現しても良い。
アーム制御部211は、アーム160を制御する。アーム制御部211は、アーム160を制御して、アーム160に任意の位置姿勢をとらせることができる。なお、位置姿勢(position and attitude)とは、3次元の座標系における3つの座標値と、各座標軸回りの回転とで規定される状態を意味する。
カメラ制御部213は、カメラ170を制御する。カメラ制御部213は、カメラ170を制御して撮像を行わせることができる。
位置検出部215は、アーム160が特定の位置姿勢をとるようにアーム制御部211により制御された状態でアーム160をカメラ170で撮影した画像から、アーム160に設けられた特定形状のカメラ座標系における所定位置を検出する。ここでいう所定位置とは、特定形状の一部分の位置のことである。本実施形態では、位置検出部215が検出する特定形状は、アーム160に付されたマークである。このマークについては、後述する。他の実施形態では、位置検出部215が検出する特定形状は、アーム160の一部の形状であってもよいし、ハンド180の形状であってもよい。更に他の実施形態では、位置検出部215が検出する特定形状は、位置検出部215が検出可能である限り、どのような形状であってもよい。
位置記憶部217は、特定の位置姿勢をとらせたアーム160が撮影された画像から検出された特定形状の所定位置を基準所定位置として記憶する。本実施形態では、基準所定位置として記憶される特定形状の所定位置が検出される画像は、カメラ170およびアーム160の校正(キャリブレーション)が実施されてから、アーム制御部211が最初にアーム160を制御して、特定の位置姿勢をとらせたアーム160が撮影されたものである。位置記憶部217に記憶された基準所定位置は、位置判定部219による位置判定に用いられる。
位置判定部219は、位置検出部215によって検出された特定形状の所定位置と、位置記憶部217に予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する。
B. 基準所定位置記憶処理
図3は、プロセッサー210が実行する基準所定位置記憶処理を示すフローチャートである。基準所定位置記憶処理は、カメラ170およびアーム160の校正(キャリブレーション)が実施された後に実行される。
基準所定位置記憶処理が開始されると、プロセッサー210は、アーム160に特定の位置姿勢をとらせる(ステップS100)。このとき、アーム160がとる特定の位置姿勢は、アーム160のうちマークが付された部分がカメラ170の画角内に入る姿勢である。アーム160に特定の位置姿勢をとらせた後、プロセッサー210は、カメラ170にアーム160を撮影させる(ステップS110)。このとき、カメラ170に撮影された画像には、アーム160に付されたマークが含まれる。本実施形態では、カメラ170Lがアーム160Lの撮影を行うとともに、カメラ170Rがアーム160Rの撮影を行う。他の実施形態では、カメラ170Lがアーム160Rの撮影を行うとともに、カメラ170Rがアーム160Lの撮影を行ってもよい。また、カメラ170Lとカメラ170Rとのうち一方のカメラが、アーム160Lおよびアーム160Rの撮影を行ってもよい。
図4は、ステップS110において撮影される画像の例を示した説明図である。図4の例は、カメラ170Lによってアーム160Lが撮影された画像である。図4において、アーム160Lには、円形状のマークMが付されている。
図5は、マークMを拡大した拡大図である。マークMは、図心が重なる3つの構成要素M1と、構成要素M2と、構成要素M3と、から成る。図心とは、平面図形における重心のことである。構成要素M1、構成要素M2および構成要素M3は、同心円であるため、その図心は、構成要素M1である黒丸の中心において一致する。
図6は、マークMaの説明図である。図7は、マークMbの説明図である。マークMaおよびマークMbは、マークMと同様に、図心が重なる複数の構成要素から成る。他の実施形態では、アーム160に付されるマークとして、マークMaもしくはマークMbが付されてもよいし、図心が重なる複数の構成要素から成るマークである限り別のマークが付されてもよい。
図3の説明に戻り、カメラ170にアーム160を撮影させた(ステップS110)後、プロセッサー210は、カメラ170に撮影させた画像からアーム160に設けられた特定形状を検出するとともに、その画像内における特定形状の所定位置を検出する。(ステップS120)。本実施形態では、検出される特定形状は、マークMである。
ここで、ステップS120におけるマークMの検出方法の一例について説明する。まず、カメラ170に撮影させた画像を予め設定された閾値を用いて二値化する。次に、二値化された画像に対して、画像中の連結した領域を抽出するラベリング処理を行う。そして、抽出された各領域における図心を求めるとともにそれら図心の重なりを検出する。図心が3つ重なっているとき、それらの図心を有する構成要素から成る図形が、マークMとして検出される。このとき、画像内におけるマークMの図心が所定位置として検出される。なお、各領域における図心を求める際、面積もしくは領域の形状など種々の特徴を用いて、マークMが検出される領域ではないとみなされる領域を、抽出された領域の中から削除してもよい。
マークMの図心が検出された(ステップS120)後、プロセッサー210は、特定形状の所定位置であるマークMの図心の画像内における位置を、基準所定位置として記憶する(ステップS130)。その後、プロセッサー210は、基準所定位置記憶処理を終了する。
C. 位置判定処理
図8は、プロセッサー210が実行する位置判定処理を示すフローチャートである。位置判定処理は、ロボット100が稼動を開始する毎に実行される。
位置判定処理が開始されると、プロセッサー210は、アーム160が特定の位置姿勢をとるようアーム160を制御したことによる位置姿勢をアーム160にとらせる(ステップS200)。このとき、アーム160にとらせようとする特定の位置姿勢とは、基準所定位置記憶処理におけるステップS100でアーム160がとる特定の位置姿勢のことである。アーム160側に異常がある場合、ステップS200において、アーム160が特定の位置姿勢をとるようアーム160を制御したとしても、特定の位置姿勢とは異なる位置姿勢を、アーム160はとることになる。
特定の位置姿勢をとるようアーム160を制御した(ステップS200)後、プロセッサー210は、カメラ170にアーム160を撮影させる(ステップS210)。カメラ170にアーム160を撮影させた(ステップS210)後、プロセッサー210は、カメラ170に撮影させた画像からアーム160におけるマークMを検出するとともに、その画像内におけるマークMの図心の位置を、所定位置として検出する。(ステップS220)。ステップS220におけるマークMおよび図心の検出は、ステップS120におけるマークMの検出と同じ手順で行われる。カメラ170側に異常がある場合、ステップS200において、アーム160が特定の位置姿勢をとっていたとしても、ステップS220において検出されるマークMの図心の画像内における位置は、基準所定位置とは異なる位置になる。
マークMの図心が検出された(ステップS220)後、プロセッサー210は、ステップS220において検出された所定位置と、基準所定位置記憶処理のステップS130において記憶された基準所定位置とを比較する(ステップS230)。
基準所定位置との比較を行った(ステップS230)後、プロセッサー210は、ステップS220において検出された所定位置と基準所定位置記憶処理のステップS130において記憶された基準所定位置とのずれが予め設定された範囲内であるか判定する(ステップS240)。
所定位置と基準所定位置とのずれが予め設定された範囲内でないと判定された場合(ステップS240:NO)、ロボット100の検査員は、位置のずれの原因はカメラ170側の異常であるかアーム160側の異常であるかを確認する処理を行う(ステップS250)。
所定位置と基準所定位置とのずれが予め設定された範囲内であると判定された場合(ステップS240:YES)、もしくは、位置のずれの原因を確認する処理(ステップS250)の後、プロセッサー210は、位置判定処理を終了する。
以上説明した第1実施形態によれば、基準所定位置と比較される所定位置は、アーム160が特定の位置姿勢をとるようにアーム制御部211により制御された状態でアーム160をカメラ170で撮影した画像から検出される特定形状の所定位置である。したがって、その所定位置と基準所定位置とのずれが許容範囲外であると位置判定部219が判定した場合、そのずれは、カメラ170側の異常とアーム160側の異常とのうち少なくとも一方に起因するものである。よって、制御装置200によれば、カメラ170側の異常とアーム160側の異常との両方が検出できる。また、この制御装置200は、1台以上のカメラを備えたロボットに対して適用可能である。
また、第1実施形態では、図心が重なる複数の構成要素から成るマークMを特定形状として用いているため、図心の重なりを検出することによって特定形状であるマークMを検出できる。このため、画像内におけるマークMの回転や傾き、または、画像内におけるマークMの拡大や縮小によって特定形状の検出精度が低下することを抑制できる。したがって、特定形状の検出精度を向上させることができる。
D. 他の実施形態
上述した第1実施形態における制御装置200では、基準所定位置記憶処理は、カメラ170およびアーム160の校正(キャリブレーション)が実施された後に実行されていたが、本発明はこれに限られない。例えば、基準所定位置記憶処理は、カメラ170およびアーム160の校正(キャリブレーション)が実施された後に実行されることに加えて、制御装置200に接続されたロボット100が工場から出荷される前の検品の段階でも行われてもよい。また、基準所定位置記憶処理は、カメラ170およびアーム160の状態が校正時と同様であると確認できる場合には、任意のタイミングで行われてもよい。
上述した第1実施形態における制御装置200では、位置判定処理は、ロボット100が稼動を開始する毎に実行されていたが、本発明はこれに限られない。例えば、位置判定処理は、制御装置200に接続されたロボット100が衝撃を受けた場合に行われてもよい。また、位置判定処理は、アーム160における温度が予め設定された温度を超えた場合に行われてもよい。
上述した第1実施形態では、制御装置200は、カメラ170を有するロボット100を制御していたが、本発明はこれに限られない。例えば、制御装置200は、カメラ170を有さないロボットおよびロボットとは独立して設置されたカメラ170を制御してもよい。
上述した第1実施形態では、基準所定位置は、位置記憶部217に記憶されていたが、本発明はこれに限られない。例えば、基準所定位置は、メインメモリー220、不揮発性メモリー230もしくは外部メモリー等に記憶されてもよい。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
100…ロボット、110…基台、120…胴部、130…肩部、140…首部、150…頭部、160,160L,160R…アーム、170,170L,170R…カメラ、180,180L,180R…ハンド、190L,190R…力覚センサー、200…制御装置、210…プロセッサー、211…アーム制御部、213…カメラ制御部、215…位置検出部、217…位置記憶部、219…位置判定部、220…メインメモリー、230…不揮発性メモリー、232…プログラム命令、240…表示制御部、250…表示部、260…I/Oインターフェース、M,Ma,Mb…マーク、M1,M2,M3…構成要素

Claims (7)

  1. ロボットのアームと、前記アームとは独立して設置されたカメラと、を制御する制御装置であって、
    前記アームを制御するアーム制御部と、
    前記カメラを制御するカメラ制御部と、
    前記アームが特定の位置姿勢をとるように前記アーム制御部により制御された状態で前記アームを前記カメラで撮影した画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出する位置検出部と、
    前記位置検出部によって検出された前記所定位置と、前記制御装置内に予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定部と、
    を備える、制御装置。
  2. 請求項1に記載の制御装置であって、
    前記位置検出部が検出する前記特定形状は、前記アームに付されたマークであり、
    前記マークは、図心が重なる複数の構成要素から成り、
    前記位置検出部は、前記図心の重なりを検出することによって、前記画像から前記マークを検出するとともに、前記画像内における前記マークの図心を前記所定位置として検出する、制御装置。
  3. 請求項1または請求項2に記載の制御装置に接続されたロボット。
  4. ロボットと、
    前記ロボットに接続された請求項1または請求項2に記載の制御装置と、
    を備えるロボットシステム。
  5. アームと、前記アームとは独立して設置されたカメラと、制御部と、を含むロボットであって、
    前記制御部は、
    前記アームを制御するアーム制御部と、
    前記カメラを制御するカメラ制御部と、を含み、
    前記アームが特定の位置姿勢をとるように前記アーム制御部により制御された状態で前記アームを前記カメラで撮影した画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出する位置検出部と、
    前記位置検出部によって検出された前記所定位置と、前記制御部内に予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定部と、
    を備える、ロボット。
  6. ロボットのアームと、前記アームとは独立して設置されたカメラと、を制御する制御装置であって、
    プロセッサーとメモリーとを備え、
    前記プロセッサーは、前記アームが特定の位置姿勢をとるように前記アームを制御した状態で前記アームを前記カメラで撮影した画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出し、前記所定位置と、前記メモリーに予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する、制御装置。
  7. アームと、前記アームとは独立して設置されたカメラと、を備えるロボットにおいて前記カメラと前記アームとのうち少なくとも一方の異常を確認する方法であって、
    前記アームが特定の位置姿勢をとるように制御された状態で前記アームを撮影した画像を取得する画像取得工程と、
    前記画像から、前記アームに設けられた特定形状のカメラ座標系における所定位置を検出する位置検出工程と、
    前記位置検出工程において検出された前記所定位置と、予め記憶された基準所定位置とのずれが、予め設定された許容範囲内であるか否か判定する位置判定工程と、
    を備える、方法。
JP2017146117A 2017-07-28 2017-07-28 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法 Pending JP2019025572A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017146117A JP2019025572A (ja) 2017-07-28 2017-07-28 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法
US16/047,518 US10909720B2 (en) 2017-07-28 2018-07-27 Control device for robot, robot, robot system, and method of confirming abnormality of robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017146117A JP2019025572A (ja) 2017-07-28 2017-07-28 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法

Publications (2)

Publication Number Publication Date
JP2019025572A true JP2019025572A (ja) 2019-02-21
JP2019025572A5 JP2019025572A5 (ja) 2020-08-06

Family

ID=65038920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017146117A Pending JP2019025572A (ja) 2017-07-28 2017-07-28 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法

Country Status (2)

Country Link
US (1) US10909720B2 (ja)
JP (1) JP2019025572A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111805158A (zh) * 2020-05-25 2020-10-23 福建星云电子股份有限公司 一种机器人的夹具位移自检测方法及系统
WO2023026750A1 (ja) * 2021-08-26 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538751B2 (ja) 2017-05-18 2019-07-03 ファナック株式会社 プログラミング装置及びロボット制御方法
US10899012B2 (en) * 2019-02-15 2021-01-26 GM Global Technology Operations LLC Coordinated robot to robot component assembly
US11597078B2 (en) * 2020-07-28 2023-03-07 Nvidia Corporation Machine learning control of object handovers

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288696A (ja) * 1987-05-21 1988-11-25 株式会社安川電機 ロボット動作異常監視方式
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
JPH0538688A (ja) * 1991-07-30 1993-02-19 Nok Corp 産業用ロボツトシステムの座標系較正方法
JPH07237160A (ja) * 1994-02-25 1995-09-12 Natl Space Dev Agency Japan<Nasda> 遠隔操作型ロボットの自動実行監視方式
JP2011125976A (ja) * 2009-12-18 2011-06-30 Denso Wave Inc ロボットの故障検出装置
JP2015136764A (ja) * 2014-01-23 2015-07-30 セイコーエプソン株式会社 制御装置、ロボットシステム、ロボット及びロボット制御方法
JP2015530276A (ja) * 2012-10-05 2015-10-15 ベックマン コールター, インコーポレイテッド カメラベースの自動アライメントのシステム及び方法
JP2015199192A (ja) * 2014-03-31 2015-11-12 キヤノン株式会社 ロボットシステムの制御方法、プログラム、記録媒体、及びロボットシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3242108B2 (ja) * 1992-01-30 2001-12-25 富士通株式会社 ターゲットマークの認識・追跡システム及び方法
FR2846432B1 (fr) * 2002-10-24 2005-03-11 Commissariat Energie Atomique Cible codee et procede de photogrammetre utilisant de telles cibles
JP5447235B2 (ja) 2009-07-31 2014-03-19 セイコーエプソン株式会社 マーカー処理方法、マーカー処理装置、およびマーカー処理プログラム
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US20170032529A1 (en) * 2015-07-27 2017-02-02 Csir Method of calibrating a helmet and a system therefor
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288696A (ja) * 1987-05-21 1988-11-25 株式会社安川電機 ロボット動作異常監視方式
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
JPH0538688A (ja) * 1991-07-30 1993-02-19 Nok Corp 産業用ロボツトシステムの座標系較正方法
JPH07237160A (ja) * 1994-02-25 1995-09-12 Natl Space Dev Agency Japan<Nasda> 遠隔操作型ロボットの自動実行監視方式
JP2011125976A (ja) * 2009-12-18 2011-06-30 Denso Wave Inc ロボットの故障検出装置
JP2015530276A (ja) * 2012-10-05 2015-10-15 ベックマン コールター, インコーポレイテッド カメラベースの自動アライメントのシステム及び方法
JP2015136764A (ja) * 2014-01-23 2015-07-30 セイコーエプソン株式会社 制御装置、ロボットシステム、ロボット及びロボット制御方法
JP2015199192A (ja) * 2014-03-31 2015-11-12 キヤノン株式会社 ロボットシステムの制御方法、プログラム、記録媒体、及びロボットシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111805158A (zh) * 2020-05-25 2020-10-23 福建星云电子股份有限公司 一种机器人的夹具位移自检测方法及系统
WO2023026750A1 (ja) * 2021-08-26 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム

Also Published As

Publication number Publication date
US10909720B2 (en) 2021-02-02
US20190035108A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP2019025572A (ja) ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法
CN109227601B (zh) 控制装置、机器人、机器人系统及校正方法
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
CN109227532B (zh) 机器人的控制装置及其系统、机器人及摄像机的校正方法
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
US9517560B2 (en) Robot system and calibration method of the robot system
CN109648605B (zh) 机器人系统
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN109940662B (zh) 具备拍摄工件的视觉传感器的摄像装置
US9884425B2 (en) Robot, robot control device, and robotic system
JP2009269110A (ja) 組立装置
JP2018111165A (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
JP2005201824A (ja) 計測装置
JPWO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
JP6950638B2 (ja) マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム
JP2008254150A (ja) ロボットの教示装置及び教示方法
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
CN111152243A (zh) 控制系统
JP5787646B2 (ja) ロボットシステム及び部品の製造方法
US10491882B2 (en) Calibration method and calibration tool of camera
JP5296624B2 (ja) 枝管を母管に配置して溶接する溶接方法および枝管を母管に配置する配置方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211130