JP2010284781A - ロボットの異常監視機能を備えたロボットシステム - Google Patents

ロボットの異常監視機能を備えたロボットシステム Download PDF

Info

Publication number
JP2010284781A
JP2010284781A JP2009142756A JP2009142756A JP2010284781A JP 2010284781 A JP2010284781 A JP 2010284781A JP 2009142756 A JP2009142756 A JP 2009142756A JP 2009142756 A JP2009142756 A JP 2009142756A JP 2010284781 A JP2010284781 A JP 2010284781A
Authority
JP
Japan
Prior art keywords
robot
unit
robot mechanism
visual sensor
mechanism unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009142756A
Other languages
English (en)
Other versions
JP4741691B2 (ja
Inventor
Yoshiki Hashimoto
良樹 橋本
Tomoki Oya
智樹 大家
Tetsuo Matsudaira
哲郎 松平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2009142756A priority Critical patent/JP4741691B2/ja
Priority to DE102010023736.1A priority patent/DE102010023736B4/de
Publication of JP2010284781A publication Critical patent/JP2010284781A/ja
Application granted granted Critical
Publication of JP4741691B2 publication Critical patent/JP4741691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37189Camera with image processing emulates encoder output
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37546Compare two positions measured with different methods, alarm if difference too high

Abstract

【課題】従来は検知できなかったエンコーダの異常を検知できる異常監視機能を備えたロボットシステムを提供する。
【解決手段】ロボット制御装置14は、第1〜第3サーボモータ22、24、26を制御するモータ制御部36と、視覚センサ34により得られた画像を処理する画像処理部38と、視覚センサを用いて得られた第1計測値とエンコーダを用いて得られた第2計測値との比較処理を行う比較部又は比較器40と、比較部40の処理結果に基づいてアラームを出力するアラーム出力部42とを有する。
【選択図】図1

Description

本発明は、ロボットの異常監視機能を備えたロボットシステムに関し、特には、エンコーダを有するサーボモータにより構成される多関節ロボットにおいて、該エンコーダに異常が生じた場合でもその異常を検知できるロボットシステムに関する。
従来、サーボモータにより構成される多関節ロボットでは、モータ内部に単体のエンコーダを設け、指令値と、エンコーダからのフィードバック値を処理した各軸の位置や速度とを用いて制御を行っていた。また、指令値とフィードバック値との差が許容値を超える場合には異常として検知し、ロボットの動作を停止させるようにしていた。
エンコーダ出力異常等のエンコーダ自体の故障や、エンコーダと制御装置等との通信に関する異常を検知することは、ロボットの安全な制御のために重要である。そのような技術として、例えば特許文献1には、各軸にアブソリュートエンコーダとインクリメントエンコーダを設置し、それぞれの手段により得られた位置情報を比較して異常を判定する異常検出装置が開示されている。また特許文献2には、エンコーダとの通信経路を二重にすることにより、安全性の向上が図られた安全装置が開示されている。
特開平4−235610号公報 特開平1−199201号公報
上記特許文献に記載の発明では、いずれもエンコーダの故障や異常に対する安全性の向上が図られているが、特許文献1では異なる種類のエンコーダを使用し、特許文献2ではエンコーダとの通信経路を二重にする等、エンコーダに関連する構造が複雑になり、コストアップの要因となる。そこでエンコーダに関連する構造は従来の単純なものを備えつつ、エンコーダの出力や通信に関する異常を確実かつ迅速に検知できる技術が望まれる。
そこで本発明は、従来は検知できなかったエンコーダの故障又は異常を検知できる異常監視機能を備えたロボットシステムを提供することを目的とする。
上記目的を達成するために、請求項1に記載の発明は、ロボット機構部及び該ロボット機構部を制御する制御装置を有し、前記ロボット機構部を駆動するモータが有するエンコーダの出力により前記モータの制御を行うロボットシステムにおいて、定位置に配置された視覚ターゲットと、前記ロボット機構部の1つの可動リンク上に、前記視覚ターゲットをその視野内に捉える位置及び姿勢で搭載された視覚センサと、前記視覚センサにより前記定位置に配置された視覚ターゲットを、所定周期で撮像して取得した画像に対して順次画像処理を実行して、前記視覚センサと常に一定の相対位置関係にある着目点の空間的位置及び移動速度の少なくとも一方を第1計測値として順次求める第1計測部と、前記エンコーダの出力に基づいて、前記着目点の空間的な位置及び移動速度の少なくとも一方を第2計測値として順次求める第2計測部と、前記第1計測値及び前記第2計測値から互いに同時刻のデータをそれぞれ選択し、選択されたデータを比較してその差を求める比較部と、前記比較部により求めた差が予め設定された閾値を越えたときにアラームを出力するアラーム出力部と、を備えた、ロボットシステムを提供する。
請求項2に記載の発明は、請求項1に記載のロボットシステムにおいて、前記ロボット機構部の作業領域と人間の作業領域とが重なる協調作業領域を予め設定し、前記ロボット機構部が前記協調作業領域内に存在するか否かを検知する検知手段を備え、前記ロボット機構部が前記協調作業領域内に存在するときにのみ前記第1計測値と前記第2計測値との比較を行うようにした、ロボットシステムを提供する。
請求項3に記載の発明は、請求項1又は2に記載のロボットシステムにおいて、前記ロボット機構部のブレーキが解除され、かつ該ロボット機構部が一定姿勢を保つように制御が行われている間に、前記第1計測値と前記第2計測値との比較を行うようにした、ロボットシステムを提供する。
請求項4に記載の発明は、ロボット機構部及び該ロボット機構部を制御する制御装置を有し、前記ロボット機構部を駆動するモータが有するエンコーダの出力により前記モータの制御を行うロボットシステムにおいて、前記ロボット機構部の1つの可動リンク上に搭載された視覚センサと、前記視覚センサにより、前記ロボット機構部の周囲の風景を所定周期で撮像して取得した画像に対して順次画像処理を実行して、前記視覚センサの空間的位置の変動を検知する第1計測部と、前記ロボット機構部の前記エンコーダの出力に基づいて、前記視覚センサと常に一定の相対位置関係にある着目点の空間的位置又は移動速度を順次求める第2計測部と、前記第2計測部により求められた前記着目点の空間的位置又は移動速度から計算された位置変動量または速度変動量が予め設定された閾値以内にあり、かつ前記第1計測部により位置変動が検知されたときにアラームを出力する手段と、を備えた、ロボットシステムを提供する。
本発明に係るロボットシステムによれば、ロボットの変動量をエンコーダで計測するとともに、エンコーダ以外の機器である視覚センサでも計測してそれらを比較することにより、従来方法では制御装置が検知できなかった異常又は故障がエンコーダに発生している場合でも、その異常又は故障を制御装置が認識できる。
本発明を、協調作業領域を有するロボットシステムや、ロボット機構部のブレーキが解除され、かつ該ロボット機構部が一定姿勢を保つように制御されるロボットシステムに適用することにより、作業者の安全をより確実に図ることができる。
視覚センサにより得られたロボット機構部の周囲風景の画像を画像処理することにより、特定の視覚ターゲットを用意することなく、該視覚センサが取り付けられたリンクの位置変動を求め、エンコーダの異常又は故障を検知することができる。
本発明に係るロボットシステムの一構成例を示す図である。 視覚ターゲットを用いた第1の計測例を示す図である。 視覚ターゲットを用いた第2の計測例を示す図である。 視覚ターゲットを用いた第3の計測例を示す図である。 視覚ターゲットを用いた第4の計測例を示す図である。 比較部における処理の流れの一例を説明する図である。 比較部における処理の流れの他の例を説明する図である。 視覚センサを用いてロボットの周囲風景を撮像した例を示す図である。
図1は、本発明の一実施形態に係るロボットシステム10を示す。ロボットシステム10は、多関節のロボット機構部12及びロボット機構部12を制御するロボット制御装置14を有する。ロボット機構部12は、少なくとも1つの可動リンク例えばロボットアームと、各ロボットアームを駆動するサーボモータとを有し、図示例では第1〜第3ロボットアーム16、18、20と、第1〜第3サーボモータ22、24、26とを有する多関節ロボットである。各サーボモータは、自らの位置を検出するエンコーダ(図示例では第1〜第3エンコーダ28、30、32)を有する(多くの場合は内蔵する)。またロボットアームの1つ(通常は最も先端側の第3ロボットアーム20)には、カメラ等の視覚センサ34が、後述するマーカ等の視覚ターゲットを検出又は撮像できる位置及び姿勢で取り付けられる。
ロボット制御装置14は、第1〜第3サーボモータ22、24、26を制御するモータ制御部36と、視覚センサ34により得られた画像を処理する画像処理部38と、後述する比較処理を行う比較部又は比較器40と、比較部40の処理結果に基づいてアラームを出力するアラーム出力部42とを有する。モータ制御部36は、エンコーダ28、30、32から各サーボモータの位置(各軸の位置)を示す値又は信号を受信し、各時刻における各軸の位置が所定のロボットプログラム等に規定された値となるように指令又は信号を各サーボモータに送信し、各サーボモータを制御する。
本発明の特徴は、周期的に視覚センサにより得られた画像を順次処理することにより、ロボットの空間的位置又は移動速度を算出し、同時に、エンコーダ経由で得られたロボットの空間的位置又は移動速度を算出し、それぞれの差を監視することにある。例えば、6軸ロボットの手首軸に視覚センサが搭載されていた場合、視覚センサ取付位置や、手首先端部分でのそれぞれの手法による空間的位置又は移動速度を比較する。
視覚センサによる位置検出方法としては、図形的特徴が既知の、定位置に配置された視覚ターゲットを検出し、該視覚センサの画面の中での視覚ターゲットの見え方により、視覚センサ及び視覚ターゲットの空間的な相対位置を算出する。また、視覚センサから一定の相対位置にある着目点についての視覚ターゲットとの空間的な相対位置は、着目点と視覚センサとの相対位置、及び視覚センサと視覚ターゲットとの相対位置の計算により算出できる。これを周期的に計算することにより、視覚センサ、あるいは視覚センサから一定の相対位置にある着目点の移動距離を算出する。ここで、該移動距離を周期的に算出することにより、視覚センサ、あるいは視覚センサから一定の相対位置にある着目点の移動速度を算出することもできる。以下、図2〜図5を用いてその例を説明する。
図2は、上述の視覚センサ34が撮像可能な空間内の定位置に配置されたターゲット(ここではマーカ44)を用いた第1の計測例を説明する図である。図示例のマーカ44は円に直径を1本付加したものであるが、適用可能なマーカはこのような形状に限られない。図2(a)及び(b)は、それぞれ時刻T1及びT2において視覚センサ34によりマーカ44を撮像して得られた画像を44a及び44bを示している。先ず図2(a)に示すように、上述の制御装置14の画像処理部38は、所定の原点Oからのマーカ画像44aのX方向の最短距離X1及びY方向の最短距離Y1、並びにマーカ画像44aのX方向長さα1及びY方向長さβ1を算出し、時刻T1におけるパラメータとして適当なメモリ等(図示せず)に記憶する。
次に図2(b)に示すように、画像処理部38は、所定の原点Oとマーカ画像44bとのX方向の最短距離X2及びY方向の最短距離Y2、並びにマーカ画像44bのX方向長さα2及びY方向長さβ2を算出し、時刻T2におけるパラメータとして適当なメモリ等(図示せず)に記憶する。上記パラメータにより、カメラ34と常に一定の相対位置関係にあるロボットの着目点の空間的位置及び移動速度を算出することができる。得られた空間的位置及び移動速度も、メモリ等に記憶可能である。具体的算出方法については、周知の手法が適用可能であるので詳細な説明は省略するが、上記パラメータを全て使用する必要はなく、またマーカ画像の位置又は形状を表す他のパラメータを用いてもよい。
図3は、視覚センサ34が撮像可能な空間内の定位置に配置されたターゲット(ここではマーカ44及び46)を用いた第2の計測例を説明する図である。図示例のマーカ46は互いに直交する直径を2本付加した円形のものであるが、適用可能なマーカはこのような形状に限られない。図3(a)及び(b)は、それぞれ時刻T1及びT2において視覚センサ34によりマーカ44及び46を撮像して得られた画像を44a及び46a、並びに44b及び46bを示している。先ず図3(a)に示すように、上述の制御装置14の画像処理部38は、マーカ画像44aの代表位置(例えば重心)とマーカ画像46aの代表位置(例えば重心)とのX方向の距離A1及びY方向の距離B1、並びにマーカ画像44a及び46aのX方向長さα1、γ1及びY方向長さβ1、δ1を算出し、時刻T1におけるパラメータとして適当なメモリ等(図示せず)に記憶する。
次に図3(b)に示すように、画像処理部38は、マーカ画像44bの代表位置(例えば重心)とマーカ画像46bの代表位置(例えば重心)とのX方向の距離A2及びY方向の距離B2、並びにマーカ画像44b及び46bのX方向長さα2、γ2及びY方向長さβ2、δ2を算出し、時刻T2におけるパラメータとして適当なメモリ等(図示せず)に記憶する。上記パラメータにより、カメラ34と常に一定の相対位置関係にあるロボットの着目点(例えばカメラ34が固定されている第3ロボットアームの一部分)の空間的位置及び移動速度を算出することができる。得られた空間的位置及び移動速度も、メモリ等に記憶可能である。具体的算出方法については、周知の手法が適用可能であるので詳細な説明は省略するが、上記パラメータを全て使用する必要はなく、またマーカ画像の位置又は形状を表す他のパラメータを用いてもよい。
図4は、上述の視覚センサ34が撮像可能な空間内の定位置に配置されたマーカ(ここでは2辺が曲線の矩形形状48)を用いた第3の計測例を説明する図である。適用可能なターゲットはこのような形状に限られない。図4(a)及び(b)は、それぞれ時刻T1及びT2において視覚センサ34によりマーカ48(図1)を撮像して得られた画像を48a及び48bを示している。先ず図4(a)に示すように、上述の制御装置14の画像処理部38は、所定の原点Oからのマーカ画像48aのX方向の最短距離X1及びY方向の最短距離Y1、マーカ画像48aのX方向長さα1、並びにマーカ画像48aの所定軸(図示例では長手軸50a)の傾斜角度θ1を算出し、時刻T1におけるパラメータとして適当なメモリ等(図示せず)に記憶する。
次に図4(b)に示すように、画像処理部38は、所定の原点Oからのマーカ画像48bのX方向の最短距離X2及びY方向の最短距離Y2、マーカ画像48bのX方向長さα2、並びにマーカ画像48bの所定軸(図示例では長手軸50b)の傾斜角度θ2を算出し、時刻T2におけるパラメータとして適当なメモリ等(図示せず)に記憶する。上記パラメータにより、カメラ34と常に一定の相対位置関係にあるロボットの着目点(例えばカメラ34が固定されている第3ロボットアームの一部分)の空間的位置及び移動速度を算出することができる。得られた空間的位置及び移動速度も、メモリ等に記憶可能である。具体的算出方法については、周知の手法が適用可能であるので詳細な説明は省略するが、上記パラメータを全て使用する必要はなく、またマーカ画像の位置又は形状を表す他のパラメータを用いてもよい。
図5は、視覚センサ34が撮像可能な空間内の定位置に配置されたターゲット(ここではマーカ44、46及び48)を用いた第4の計測例を説明する図である。適用可能なマーカはこのような形状に限られない。図5(a)及び(b)は、それぞれ時刻T1及びT2において視覚センサ34によりマーカ44、46及び48を撮像して得られた画像を44a、46a及び48a、並びに44b、46b及び48bを示している。先ず図5(a)に示すように、上述の制御装置14の画像処理部38は、マーカ画像44aの代表位置(例えば重心)、マーカ画像46aの代表位置(例えば重心)及びマーカ画像48aの代表位置(例えば重心)の相互間の距離A1、B1及びC1、線分A1及びC1がなす角度α1、並びに線分A1及びB1がなす角度β1を算出し、時刻T1におけるパラメータとして適当なメモリ等(図示せず)に記憶する。
次に図5(b)に示すように、画像処理部38は、マーカ画像44bの代表位置(例えば重心)、マーカ画像46bの代表位置(例えば重心)及びマーカ画像48bの代表位置(例えば重心)の相互間の距離A2、B2及びC2、線分A2及びC2がなす角度α2、並びに線分A2及びB2がなす角度β2を算出し、時刻T2におけるパラメータとして適当なメモリ等(図示せず)に記憶する。上記パラメータにより、カメラ34と常に一定の相対位置関係にあるロボットの着目点(例えばカメラ34が固定されている第3ロボットアームの一部分)の空間的位置及び移動速度を算出することができる。得られた空間的位置及び移動速度も、メモリ等に記憶可能である。具体的算出方法については、周知の手法が適用可能であるので詳細な説明は省略するが、上記パラメータを全て使用する必要はなく、またマーカ画像の位置又は形状を表す他のパラメータを用いてもよい。
画像処理部38は、図2〜図5に例示したように、カメラ34により定位置に配置された視覚ターゲット44、46及び48の少なくとも1つを、所定周期で撮像して取得した画像に対して順次画像処理を実行して、カメラ34と常に一定の相対位置関係にある着目点の空間的位置及び移動速度の少なくとも一方を第1計測値として順次求め、その結果を比較部40に送信する。
なお着目点の具体例としては、カメラ34が固定されている第3ロボットアーム20の一部分、ツール先端点(TCP;Tool Center Point)、カメラ34を第3ロボットアーム20に固定するブラケット等の固定治具(図示せず)の一部分等が挙げられるが、カメラ34と常に一定の相対位置関係にある(各軸の動作によってカメラとの相対位置関係が変化しない)ものであればどのようなものを用いてもよい。また図2〜図5を用いて説明した視覚センサによる位置検出は例示であり、他にも種々の形状のマーカや立体形状が使用できる。
一方制御装置14のモータ制御部36は、上述のエンコーダの出力に基づいて、上記着目点の空間的な位置及び移動速度の少なくとも一方を第2計測値として順次求め、その結果を比較部40に送信する。モータ制御部36は、所定のサンプリング周期毎に各エンコーダの出力を取り込んで各時刻における各軸の位置及び速度を算出する。この算出結果と、各軸を構成するロボットアーム16、18、20のアーム長等のロボット各部の寸法及び該ロボット各部と上記着目点との位置関係とから、上記着目点の空間的位置が求められる。また、該空間的位置を周期的に算出することで移動速度が得られる。
制御装置14の比較部40は、図2〜図5に例示した視覚センサを用いた方法により得られたロボットの着目点の空間位置又は移動速度と、エンコーダにより得られた該着目点の空間位置又は移動速度とを比較する。位置や速度の比較のためには、視覚センサでの画像取り込みのタイミングとエンコーダ出力の取り込みのタイミングは同時である必要があるが、本願明細書で用いる「同時」又は「同時刻」は、厳密な同時に加え、視覚センサでの画像取り込みのタイミングとエンコーダ出力の取り込みのタイミングとが、本願発明の実施に際し実質同時とみなして問題のない所定の時間差以内である場合を含むものとする。
図6及び図7は、視覚センサによる着目点の算出位置又は算出速度と、エンコーダによる該着目点の算出位置又は算出速度とを、同時刻で比較する処理の流れを説明する図である。先ず図6に示す処理では、モータ制御部36及び画像処理部38が、それぞれエンコーダ及び視覚センサによるデータ取り込み時間と、各取り込み時間において算出された着目点の位置及び速度の少なくとも一方とを含むデータを比較部40に送信する。より具体的に言えば、モータ制御部36ではエンコーダからの出力に基づいて時刻Ti(i=1,2,..)における着目点の位置及び速度の少なくとも一方を第2計測値として比較器40に送信し、一方画像処理部38では視覚センサからの出力に基づいて時刻Tj(j=1,2,..)における着目点の位置及び速度の少なくとも一方を第1計測値として比較器40に送信する。すなわち本実施形態では、モータ制御部36及び画像処理部38がそれぞれ、第2計測値を求める第2計測部及び第1計測値を求める第1計測部として機能する。
比較部40は、エンコーダによる取り込み時間(Ti)と視覚センサによる取り込み時間(Tj)との差が所定の時間差以内となるデータを選択し、視覚センサによる着目点の位置及び速度の少なくとも一方(第1の計測値)と、エンコーダによる着目点の位置及び速度の少なくとも一方(第2の計測値)を比較する。ここで、比較された位置又は速度の差が所定の閾値を超えた場合(すなわちエンコーダによる計測値と視覚センサによる計測値との間に有意差がある)は、エンコーダ本体の故障やエンコーダとの通信異常等の何らかの異常が生じていると考えられるので、比較部40はアラーム出力部42にアラームを発する指令又は信号を送り、アラーム出力部42がアラームを発する。またアラーム発生に伴い、制御装置14はロボット非常停止等の適切な処置をとることができる。
図7は、図6に示した場合において取り込み時間を比較して同時刻か否かを判定する処理の代わりに、エンコーダ及び視覚センサによるデータ取り込み時間が予め取り込み信号等により同時刻に規定されている場合の処理を示す図である。この場合、取り込み信号等によってエンコーダ及び視覚センサによるデータ取り込み時刻が同時刻Tになることが保証されるので、比較部40では単に同時刻Tでのデータを比較すればよい。以後の処理は、図6の場合と同様に、比較された位置又は速度の差が所定の閾値を超えた場合は、エンコーダに何らかの異常が生じていると考えられるので、比較部40はアラーム出力部42にアラームを発する指令又は信号を送り、アラーム出力部42がアラームを発する。またアラーム発生に伴い、制御装置14はロボット非常停止等の適切な処置をとることができる。
本願発明の好適な適用例としては、人間とロボットとが協調作業を行うロボットシステムが挙げられる。このようなシステムでは、人間の安全を確保するために、ロボット機構部の作業領域と人間の作業領域とが重なる協調作業領域(すなわち人間とロボットの双方が進入し得る領域)にロボットが存在していることを検知するエリアセンサ、近接センサ、監視カメラ等の検知手段を設け、該検知手段が協調作業領域内のロボットの存在を検知したときにその旨を制御装置に送信し、制御装置は協調作業領域内にロボットが存在しているときにのみ、上述のエンコーダ及び視覚センサによる着目点の位置又は速度の同時計測・比較を行うことができる。
本願発明の他の好適な適用例としては、視覚センサがロボットアームに取り付けられたロボットシステムにおいて、ロボット機構部がブレーキを用いないで静止している場合が挙げられる。すなわち、ロボット機構部のブレーキが解除されかつロボット機構部が一定姿勢を保つような制御が行われている場合にも、第1の計測値と第2の計測値とを比較することにより、実際にはロボットが動いているにも関わらずエンコーダ異常によってロボットが静止していると判断されてしまうことを防止でき、作業者の安全等の確保に有効である。
図8は、視覚センサがロボットアームに取り付けられたロボットシステムにおいて、周期的に撮影した任意の画像(例えばロボット機構部の周囲風景)について輪郭抽出などの画像処理を行った場合を説明する図である。例えば視覚センサにより時刻T1において図8(a)に示すような画像52が得られ、次に時刻T2において図8(b)の実線54で示すような画像が得られた場合、2つの画像の重ね合わせ処理等を行うことにより、カメラ位置の変動の有無が検出できる。図示例では、図8(b)からわかるように、時刻T1からT2までの間に、画像位置が点線56(図8(a)の実線50に相当)から実線54に(上方に)シフトしているので、カメラ位置の変動(該カメラが搭載されているロボットアームの変動)があったものと判断できる。このとき、時刻T1からT2までの間に、エンコーダ出力によるロボット位置の変動が確認されなかった場合、エンコーダの故障又は異常と認識しアラームを出力する。
本発明に係るロボットシステムは、従来技術におけるエンコーダ数やエンコーダ通信形態を変更せずに、ロボットに搭載された視覚センサで得られた画像を処理し、この画像処理結果に基づいてロボットの位置や速度を算出し、エンコーダにより算出されたロボットの位置や速度と比較する。ここで、エンコーダが故障し、正確なエンコーダ情報が得られなくなった場合、それぞれの手法での算出値間に有意な差が生じることになるので、その差が許容値を超えた場合にはエンコーダの異常として検知することにより、従来では検知できなかった故障を認識することが可能となる。
10 ロボットシステム
12 ロボット(機構部)
14 制御装置
16、18、20 ロボットアーム
22、24、26 サーボモータ
28、30、32 エンコーダ
34 視覚センサ
36 モータ制御部
38 画像処理部
40 比較部
42 アラーム出力部
44、46、48 マーカ

Claims (4)

  1. ロボット機構部及び該ロボット機構部を制御する制御装置を有し、前記ロボット機構部を駆動するモータが有するエンコーダの出力により前記モータの制御を行うロボットシステムにおいて、
    定位置に配置された視覚ターゲットと、
    前記ロボット機構部の1つの可動リンク上に、前記視覚ターゲットをその視野内に捉える位置及び姿勢で搭載された視覚センサと、
    前記視覚センサにより前記定位置に配置された視覚ターゲットを、所定周期で撮像して取得した画像に対して順次画像処理を実行して、前記視覚センサと常に一定の相対位置関係にある着目点の空間的位置及び移動速度の少なくとも一方を第1計測値として順次求める第1計測部と、
    前記エンコーダの出力に基づいて、前記着目点の空間的な位置及び移動速度の少なくとも一方を第2計測値として順次求める第2計測部と、
    前記第1計測値及び前記第2計測値から互いに同時刻のデータをそれぞれ選択し、選択されたデータを比較してその差を求める比較部と、
    前記比較部により求めた差が予め設定された閾値を越えたときにアラームを出力するアラーム出力部と、
    を備えた、ロボットシステム。
  2. 前記ロボット機構部の作業領域と人間の作業領域とが重なる協調作業領域を予め設定し、前記ロボット機構部が前記協調作業領域内に存在するか否かを検知する検知手段を備え、前記ロボット機構部が前記協調作業領域内に存在するときにのみ前記第1計測値と前記第2計測値との比較を行うようにした、請求項1に記載のロボットシステム。
  3. 前記ロボット機構部のブレーキが解除され、かつ該ロボット機構部が一定姿勢を保つように制御が行われている間に、前記第1計測値と前記第2計測値との比較を行うようにした、請求項1又は請求項2のロボットシステム。
  4. ロボット機構部及び該ロボット機構部を制御する制御装置を有し、前記ロボット機構部を駆動するモータが有するエンコーダの出力により前記モータの制御を行うロボットシステムにおいて、
    前記ロボット機構部の1つの可動リンク上に搭載された視覚センサと、
    前記視覚センサにより、前記ロボット機構部の周囲の風景を所定周期で撮像して取得した画像に対して順次画像処理を実行して、前記視覚センサの空間的位置の変動を検知する第1計測部と、
    前記ロボット機構部の前記エンコーダの出力に基づいて、前記視覚センサと常に一定の相対位置関係にある着目点の空間的位置又は移動速度を順次求める第2計測部と、
    前記第2計測部により求められた前記着目点の空間的位置又は移動速度から計算された位置変動量または速度変動量が予め設定された閾値以内にあり、かつ前記第1計測部により位置変動が検知されたときにアラームを出力する手段と、
    を備えた、ロボットシステム。
JP2009142756A 2009-06-15 2009-06-15 ロボットの異常監視機能を備えたロボットシステム Active JP4741691B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009142756A JP4741691B2 (ja) 2009-06-15 2009-06-15 ロボットの異常監視機能を備えたロボットシステム
DE102010023736.1A DE102010023736B4 (de) 2009-06-15 2010-06-14 Robotersystem mit Problemerkennungsfunktion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009142756A JP4741691B2 (ja) 2009-06-15 2009-06-15 ロボットの異常監視機能を備えたロボットシステム

Publications (2)

Publication Number Publication Date
JP2010284781A true JP2010284781A (ja) 2010-12-24
JP4741691B2 JP4741691B2 (ja) 2011-08-03

Family

ID=43384105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009142756A Active JP4741691B2 (ja) 2009-06-15 2009-06-15 ロボットの異常監視機能を備えたロボットシステム

Country Status (2)

Country Link
JP (1) JP4741691B2 (ja)
DE (1) DE102010023736B4 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2469895A1 (en) 2010-12-21 2012-06-27 Sony Corporation Information processing device, communication system, and billing method for wireless terminal device
WO2012115166A1 (ja) * 2011-02-24 2012-08-30 オリンパス株式会社 マスタ操作入力装置及びマスタスレーブマニピュレータ
JP2012218094A (ja) * 2011-04-06 2012-11-12 Fanuc Ltd ロボットの異常検出機能を有するロボットシステム及びその制御方法
US8565390B2 (en) 1999-01-28 2013-10-22 International Business Machines Corporation Dynamically reconfigurable distributed interactive voice response system
JP2015085491A (ja) * 2013-11-01 2015-05-07 セイコーエプソン株式会社 ロボット制御装置、ロボット及びロボット制御方法
CN107102601A (zh) * 2017-06-06 2017-08-29 上海理工大学 智能机器人实时状态监测及故障处理系统
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
KR20210006850A (ko) * 2019-07-09 2021-01-19 니혼 덴산 산쿄 가부시키가이샤 산업용 로봇 및 산업용 로봇의 제어 방법
CN112643657A (zh) * 2020-12-09 2021-04-13 深圳市优必选科技股份有限公司 机器人急停制动安全防控方法、装置、机器人和存储介质
US11446823B2 (en) 2017-08-08 2022-09-20 Panasonic Intellectual Property Management Co., Ltd. Method for transmitting information in controller and method for detecting abnormality in encoder
JP7469020B2 (ja) 2019-10-24 2024-04-16 ファナック株式会社 ロボット安全システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014219754B4 (de) 2013-10-01 2022-07-07 Avago Technologies International Sales Pte. Ltd. Gestenbasierte industrielle Überwachung
JP6922733B2 (ja) * 2017-12-29 2021-08-18 富士通株式会社 ロボット、自己診断プログラム、及び自己診断方法
US10967514B2 (en) 2018-08-22 2021-04-06 Abb Schweiz Ag Apparatus and method to monitor robot mechanical condition
CN111342521A (zh) * 2020-03-31 2020-06-26 珠海格力智能装备有限公司 编码器供电装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
JPH033786A (ja) * 1989-06-01 1991-01-09 Toshiba Corp マニピュレータ制御方式
JPH0768480A (ja) * 1993-09-06 1995-03-14 Mitsubishi Heavy Ind Ltd マニピュレータの関節角度制御方法
JPH07146121A (ja) * 1993-10-01 1995-06-06 Nippondenso Co Ltd 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JPH0970781A (ja) * 1995-09-07 1997-03-18 Shinko Electric Co Ltd 自立走行ロボットの三次元位置姿勢較正方法
JPH10128689A (ja) * 1996-09-04 1998-05-19 Shinko Electric Co Ltd 無人移動体の視覚補正装置
JPH1177562A (ja) * 1997-09-10 1999-03-23 Shinko Electric Co Ltd 移動ロボット
JPH11347985A (ja) * 1998-06-10 1999-12-21 Honda Motor Co Ltd 視覚センサ付ロボットシステムのトラブル診断方法
JP2001341086A (ja) * 2000-05-31 2001-12-11 Denso Corp 移動ロボットシステム
JP2007011978A (ja) * 2005-07-04 2007-01-18 Toyota Motor Corp ロボットの運動制御装置
JP2007265103A (ja) * 2006-03-29 2007-10-11 Nachi Fujikoshi Corp ロボット制御装置
JP2007283448A (ja) * 2006-04-18 2007-11-01 Nachi Fujikoshi Corp ロボット制御装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3438007A1 (de) * 1984-10-17 1986-04-17 Robert Bosch Gmbh, 7000 Stuttgart Einrichtung zur diagnose einer bahngesteuerten maschine
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
JP2605768B2 (ja) * 1987-12-28 1997-04-30 松下電器産業株式会社 安全装置
JPH03281182A (ja) * 1990-03-28 1991-12-11 Shinko Electric Co Ltd 移動ロボットの座標補正方法
JPH04235610A (ja) * 1991-01-09 1992-08-24 Hitachi Ltd 産業用ロボットの異常検出装置
JP2769947B2 (ja) * 1992-05-15 1998-06-25 株式会社椿本チエイン マニピュレータの位置・姿勢制御方法
JP3288250B2 (ja) * 1997-03-25 2002-06-04 ファナック株式会社 ロボット制御装置
JP5062925B2 (ja) * 1997-12-06 2012-10-31 エラン・シャルトエレメンテ・ゲーエムベーハー・ウント・コンパニー・カーゲー 技術設備のための監視・制御装置
GB9803364D0 (en) * 1998-02-18 1998-04-15 Armstrong Healthcare Ltd Improvements in or relating to a method of an apparatus for registering a robot
DE19849720A1 (de) * 1998-10-28 2000-05-04 Bosch Gmbh Robert Verfahren und Greifersystem zur Durchführung des Verfahrens zur präzisen Handhabung und Montage von kleinen Bauteilen
DE10236844B4 (de) * 2002-08-08 2015-02-19 Volkswagen Ag Überwachung der Prozessgenauigkeit
DE10324627A1 (de) * 2003-05-28 2005-01-05 Daimlerchrysler Ag Arbeitsraumüberwachung für automatisiert arbeitende Maschinen
FI123306B (fi) * 2004-01-30 2013-02-15 Wisematic Oy Robottityökalujärjestelmä, sekä sen ohjausmenetelmä, tietokoneohjelma ja ohjelmistotuote

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
JPH033786A (ja) * 1989-06-01 1991-01-09 Toshiba Corp マニピュレータ制御方式
JPH0768480A (ja) * 1993-09-06 1995-03-14 Mitsubishi Heavy Ind Ltd マニピュレータの関節角度制御方法
JPH07146121A (ja) * 1993-10-01 1995-06-06 Nippondenso Co Ltd 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JPH0970781A (ja) * 1995-09-07 1997-03-18 Shinko Electric Co Ltd 自立走行ロボットの三次元位置姿勢較正方法
JPH10128689A (ja) * 1996-09-04 1998-05-19 Shinko Electric Co Ltd 無人移動体の視覚補正装置
JPH1177562A (ja) * 1997-09-10 1999-03-23 Shinko Electric Co Ltd 移動ロボット
JPH11347985A (ja) * 1998-06-10 1999-12-21 Honda Motor Co Ltd 視覚センサ付ロボットシステムのトラブル診断方法
JP2001341086A (ja) * 2000-05-31 2001-12-11 Denso Corp 移動ロボットシステム
JP2007011978A (ja) * 2005-07-04 2007-01-18 Toyota Motor Corp ロボットの運動制御装置
JP2007265103A (ja) * 2006-03-29 2007-10-11 Nachi Fujikoshi Corp ロボット制御装置
JP2007283448A (ja) * 2006-04-18 2007-11-01 Nachi Fujikoshi Corp ロボット制御装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565390B2 (en) 1999-01-28 2013-10-22 International Business Machines Corporation Dynamically reconfigurable distributed interactive voice response system
EP2469895A1 (en) 2010-12-21 2012-06-27 Sony Corporation Information processing device, communication system, and billing method for wireless terminal device
CN103402714A (zh) * 2011-02-24 2013-11-20 奥林巴斯株式会社 主操作输入装置以及主-从机械手
WO2012115166A1 (ja) * 2011-02-24 2012-08-30 オリンパス株式会社 マスタ操作入力装置及びマスタスレーブマニピュレータ
US20120221145A1 (en) * 2011-02-24 2012-08-30 Olympus Corporation Master input device and master-slave manipulator
JP2012171088A (ja) * 2011-02-24 2012-09-10 Olympus Corp マスタ操作入力装置及びマスタスレーブマニピュレータ
US9186796B2 (en) * 2011-02-24 2015-11-17 Olympus Corporation Master input device and master-slave manipulator
US8812157B2 (en) 2011-04-06 2014-08-19 Fanuc Corporation Robot system having error detection function of robot and control method thereof
CN102785253A (zh) * 2011-04-06 2012-11-21 发那科株式会社 具有机器人的异常检测功能的机器人系统及其控制方法
JP2012218094A (ja) * 2011-04-06 2012-11-12 Fanuc Ltd ロボットの異常検出機能を有するロボットシステム及びその制御方法
JP2015085491A (ja) * 2013-11-01 2015-05-07 セイコーエプソン株式会社 ロボット制御装置、ロボット及びロボット制御方法
CN107102601A (zh) * 2017-06-06 2017-08-29 上海理工大学 智能机器人实时状态监测及故障处理系统
US11446823B2 (en) 2017-08-08 2022-09-20 Panasonic Intellectual Property Management Co., Ltd. Method for transmitting information in controller and method for detecting abnormality in encoder
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
KR20210006850A (ko) * 2019-07-09 2021-01-19 니혼 덴산 산쿄 가부시키가이샤 산업용 로봇 및 산업용 로봇의 제어 방법
KR102324997B1 (ko) 2019-07-09 2021-11-12 니혼 덴산 산쿄 가부시키가이샤 산업용 로봇 및 산업용 로봇의 제어 방법
JP7469020B2 (ja) 2019-10-24 2024-04-16 ファナック株式会社 ロボット安全システム
CN112643657A (zh) * 2020-12-09 2021-04-13 深圳市优必选科技股份有限公司 机器人急停制动安全防控方法、装置、机器人和存储介质

Also Published As

Publication number Publication date
DE102010023736B4 (de) 2018-01-25
DE102010023736A1 (de) 2011-01-27
JP4741691B2 (ja) 2011-08-03

Similar Documents

Publication Publication Date Title
JP4741691B2 (ja) ロボットの異常監視機能を備えたロボットシステム
JP5370127B2 (ja) ロボットの干渉回避装置
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP5725708B2 (ja) センサ位置姿勢計測方法
US20190001504A1 (en) Method For Detecting A Collision Of A Robot Arm With An Object, And A Robot With A Robot Arm
JP2009545457A (ja) 機械の衝突防止のためのカメラを利用した監視方法及び装置
US20190134819A1 (en) Robot control device
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
JP5449112B2 (ja) 溶接状況監視方法及び溶接状況監視装置
JP2011115877A (ja) 双腕ロボット
JP6496338B2 (ja) 工作機械の制御システム
JP2010120139A (ja) 産業用ロボットの安全制御装置
JP6748126B2 (ja) 作業ロボットシステム
JP2011031346A (ja) ロボットのツール先端点の位置の計測装置および計測方法
JP2019038075A (ja) ロボットシステム
JP6669713B2 (ja) ロボットおよびロボットシステム
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
JP5494384B2 (ja) ロボット監視システム
JP2019171490A (ja) 動作履歴管理システム
JP2010276447A (ja) 位置計測装置、位置計測方法およびロボットシステム
JP6849631B2 (ja) 作業ロボットシステムおよび作業ロボット
JP6568172B2 (ja) キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
JP6816060B2 (ja) 作業ロボットシステムおよび作業ロボット
JP5573537B2 (ja) ロボットのティーチングシステム
WO2017070872A1 (zh) 一种用于异常检测的方法和装置

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

R150 Certificate of patent or registration of utility model

Ref document number: 4741691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3