JP2021000699A - ロボット装置の動作を動画にて撮像するカメラを備える監視装置 - Google Patents
ロボット装置の動作を動画にて撮像するカメラを備える監視装置 Download PDFInfo
- Publication number
- JP2021000699A JP2021000699A JP2019115797A JP2019115797A JP2021000699A JP 2021000699 A JP2021000699 A JP 2021000699A JP 2019115797 A JP2019115797 A JP 2019115797A JP 2019115797 A JP2019115797 A JP 2019115797A JP 2021000699 A JP2021000699 A JP 2021000699A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- unit
- storage unit
- operating state
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 title abstract 2
- 230000001133 acceleration Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 description 41
- 230000005856 abnormality Effects 0.000 description 21
- 230000032258 transport Effects 0.000 description 17
- 210000000078 claw Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
Abstract
Description
2 ハンド
4 ロボット制御装置
5,6,7 ロボット装置
8 コンベヤ
9 コンベヤ制御装置
10 カメラ
18 位置検出器
19 加速度センサー
32 記憶制御部
33 判定部
34 抽出部
35 予測部
41 動作プログラム
42 記憶部
43 動作制御部
71,72 映像
73 監視情報ファイル
81,82 ワーク
Claims (7)
- ロボットおよびロボットに取り付けられた作業ツールを備えるロボット装置の動作を監視する監視装置であって、
ロボット装置の動作を動画にて撮像するカメラと、
ロボット装置の運転状態を検出する状態検出器と、
前記カメラにて撮像された動画および状態検出器の出力を取得する演算処理装置とを備え、
前記演算処理装置は、予め定められた情報を記憶する記憶部と、
前記記憶部に記憶される情報を操作する記憶制御部と、
前記記憶部に記憶された情報の一部を抽出する抽出部と、
ロボット装置の運転状態を判定する判定部とを含み、
前記記憶制御部は、前記カメラにて撮像される動画に時刻または予め定められた基準時刻からの経過時間を付けて前記記憶部に記憶する制御と、状態検出器の出力から取得される変数に時刻または前記経過時間を付けて前記記憶部に記憶する制御と、現在の時刻から予め定められた期間より前の動画を前記記憶部から削除する制御とを実施し、
前記判定部は、ロボット装置の運転状態が予め定められた基準運転状態から逸脱しているか否かを判定し、
前記抽出部は、前記判定部がロボット装置の運転状態が前記基準運転状態から逸脱したと判定した場合に、前記基準運転状態から逸脱した時より前の期間を含む予め定められた期間の動画を前記記憶部から抽出し、抽出した動画を前記記憶部に記憶する、監視装置。 - 前記カメラは、作業ツールがワークに対して作業を行う状態を撮像するように配置されている、請求項1に記載の監視装置。
- 前記抽出部は、前記判定部がロボット装置の運転状態が前記基準運転状態から逸脱したと判定した場合に、前記基準運転状態から逸脱した時よりも後の期間の動画が含まれるように動画を抽出し、抽出した動画を前記記憶部に記憶する、請求項1または2に記載の監視装置。
- 前記演算処理装置は、予め定められた制御周期にてロボットの動作指令を送出する動作制御部を含み、
前記記憶制御部は、ロボットの制御周期と同一の時間間隔にて状態検出器の出力から取得される変数を前記記憶部に記憶する、請求項1から3のいずれか一項に記載の監視装置。 - 状態検出器の出力から取得される変数は、ロボットの加速度およびロボットの位置のうち少なくとも一方を含む、請求項1から4のいずれか一項に記載の監視装置。
- 前記記憶制御部は、ロボット装置の運転に関する警告の情報、ロボット装置の動作に対応する動作プログラムの指令文の情報、および動作プログラムに記載された移動点同士の間に生成される補間点に関する情報のうち、少なくとも一つの情報を時刻または前記経過時間を付けて前記記憶部に記憶する、請求項1から5のいずれか一項に記載の監視装置。
- 前記演算処理装置は、ロボットの動作を予測する予測部を含み、
前記予測部は、前記記憶部に記憶された状態検出器の出力から取得される変数に基づいて、次の動作指令により駆動した後のロボットの位置を推定し、
前記判定部は、前記予測部にて推定されたロボットの位置にロボットが到達できるか否かを判定し、前記予測部にて推定されたロボットの位置にロボットが到達できない場合に、次の動作指令にてロボット1が駆動する前にロボットを停止する、請求項4に記載の監視装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019115797A JP7396819B2 (ja) | 2019-06-21 | 2019-06-21 | ロボット装置の動作を動画にて撮像するカメラを備える監視装置 |
US16/897,279 US11281906B2 (en) | 2019-06-21 | 2020-06-10 | Monitor device provided with camera for capturing motion image of motion of robot device |
DE102020003517.5A DE102020003517A1 (de) | 2019-06-21 | 2020-06-12 | Überwachungsvorrichtung, die mit einer Kamera zum Erfassen eines bewegten Bildes einer Bewegung der Robotervorrichtung ausgestattet ist |
CN202010563043.6A CN112109078A (zh) | 2019-06-21 | 2020-06-19 | 具有以视频方式拍摄机器人装置的动作的照相机的监视装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019115797A JP7396819B2 (ja) | 2019-06-21 | 2019-06-21 | ロボット装置の動作を動画にて撮像するカメラを備える監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021000699A true JP2021000699A (ja) | 2021-01-07 |
JP7396819B2 JP7396819B2 (ja) | 2023-12-12 |
Family
ID=73654496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019115797A Active JP7396819B2 (ja) | 2019-06-21 | 2019-06-21 | ロボット装置の動作を動画にて撮像するカメラを備える監視装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11281906B2 (ja) |
JP (1) | JP7396819B2 (ja) |
CN (1) | CN112109078A (ja) |
DE (1) | DE102020003517A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3630417A1 (en) * | 2017-05-22 | 2020-04-08 | ABB Schweiz AG | Robot-conveyor calibration method, robot system and control system |
CN113298975B (zh) * | 2021-05-13 | 2022-05-17 | 南京艾尔普再生医学科技有限公司 | 一种全自动质控系统 |
CN114074339A (zh) * | 2021-11-29 | 2022-02-22 | 合肥欣奕华智能机器有限公司 | 一种机器人的振动检测装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311715A (ja) * | 1996-05-22 | 1997-12-02 | Fanuc Ltd | ロボットの異常発生履歴表示方法 |
JP2005103681A (ja) * | 2003-09-29 | 2005-04-21 | Fanuc Ltd | ロボットシステム |
JP2006120820A (ja) * | 2004-10-21 | 2006-05-11 | Hitachi Sci Syst Ltd | 薄型基板処理装置及び薄型基板搬送装置 |
JP2011212831A (ja) * | 2010-03-15 | 2011-10-27 | Yaskawa Electric Corp | ロボットシステム |
JP2015168016A (ja) * | 2014-03-05 | 2015-09-28 | 株式会社安川電機 | ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラム |
WO2018110337A1 (ja) * | 2016-12-12 | 2018-06-21 | ローツェ株式会社 | 波形解析装置、及び波形解析方法 |
JP2019171490A (ja) * | 2018-03-27 | 2019-10-10 | 日本電産サンキョー株式会社 | 動作履歴管理システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003215011A (ja) * | 2002-01-24 | 2003-07-30 | Aisin Seiki Co Ltd | 特性評価試験機 |
JP2004174662A (ja) * | 2002-11-27 | 2004-06-24 | Fanuc Ltd | ロボットの動作状態解析装置 |
US8761938B2 (en) * | 2008-04-18 | 2014-06-24 | David Jenkinson | Robotic device tester |
JP2011000699A (ja) | 2009-06-16 | 2011-01-06 | Kazunari Kuroki | ロボット用ドライブレコーダ装置 |
US11301685B2 (en) * | 2015-04-02 | 2022-04-12 | Sportsmedia Technology Corporation | Automatic determination and monitoring of vehicles on a racetrack with corresponding imagery data for broadcast |
JP6569312B2 (ja) | 2015-06-05 | 2019-09-04 | 富士通株式会社 | 処理装置、処理方法及び処理プログラム |
JP2017013214A (ja) | 2015-07-06 | 2017-01-19 | 株式会社東芝 | 複数ロボットによる荷物積込み・積降ろしシステム及び方法 |
WO2017033352A1 (ja) * | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 産業用遠隔操作ロボットシステム |
JP2017154221A (ja) | 2016-03-03 | 2017-09-07 | セイコーエプソン株式会社 | ロボット、ロボットの制御装置及びロボットの制御方法 |
US10532268B2 (en) * | 2016-05-02 | 2020-01-14 | Bao Tran | Smart device |
JP6608345B2 (ja) * | 2016-09-28 | 2019-11-20 | 日立建機株式会社 | 作業機械 |
WO2018131237A1 (ja) | 2017-01-13 | 2018-07-19 | 三菱電機株式会社 | 協働ロボットシステム、及びその制御方法 |
JP6807280B2 (ja) | 2017-06-02 | 2021-01-06 | 日立Geニュークリア・エナジー株式会社 | 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法 |
CA3024707A1 (en) * | 2017-11-21 | 2019-05-21 | Reliance Core Consulting | Methods and systems for detecting motion corresponding to a field of interest |
-
2019
- 2019-06-21 JP JP2019115797A patent/JP7396819B2/ja active Active
-
2020
- 2020-06-10 US US16/897,279 patent/US11281906B2/en active Active
- 2020-06-12 DE DE102020003517.5A patent/DE102020003517A1/de active Pending
- 2020-06-19 CN CN202010563043.6A patent/CN112109078A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311715A (ja) * | 1996-05-22 | 1997-12-02 | Fanuc Ltd | ロボットの異常発生履歴表示方法 |
JP2005103681A (ja) * | 2003-09-29 | 2005-04-21 | Fanuc Ltd | ロボットシステム |
JP2006120820A (ja) * | 2004-10-21 | 2006-05-11 | Hitachi Sci Syst Ltd | 薄型基板処理装置及び薄型基板搬送装置 |
JP2011212831A (ja) * | 2010-03-15 | 2011-10-27 | Yaskawa Electric Corp | ロボットシステム |
JP2015168016A (ja) * | 2014-03-05 | 2015-09-28 | 株式会社安川電機 | ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラム |
WO2018110337A1 (ja) * | 2016-12-12 | 2018-06-21 | ローツェ株式会社 | 波形解析装置、及び波形解析方法 |
JP2019171490A (ja) * | 2018-03-27 | 2019-10-10 | 日本電産サンキョー株式会社 | 動作履歴管理システム |
Also Published As
Publication number | Publication date |
---|---|
CN112109078A (zh) | 2020-12-22 |
DE102020003517A1 (de) | 2020-12-24 |
US20200401801A1 (en) | 2020-12-24 |
US11281906B2 (en) | 2022-03-22 |
JP7396819B2 (ja) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11281906B2 (en) | Monitor device provided with camera for capturing motion image of motion of robot device | |
US9898815B2 (en) | Fault diagnostic device of robot system for judging fault by camera image | |
CN109866206B (zh) | 机器人系统以及机器人系统的控制方法 | |
US7590468B2 (en) | Robot system | |
CN105983967B (zh) | 具有检测与物体或人的接触的功能的机器人控制装置 | |
TWI616291B (zh) | 機器人系統 | |
US11904483B2 (en) | Work robot system | |
JP6512790B2 (ja) | ロボット制御方法、ロボット装置、プログラム、記録媒体及び物品の製造方法 | |
CN112859833A (zh) | 无人搬运机器人系统 | |
JP2019171490A (ja) | 動作履歴管理システム | |
JP6849631B2 (ja) | 作業ロボットシステムおよび作業ロボット | |
CN113165186A (zh) | 机器人系统及其控制装置和控制方法、摄像装置、控制程序和存储介质 | |
JP5494384B2 (ja) | ロボット監視システム | |
JP6898374B2 (ja) | ロボット装置の動作を調整する動作調整装置およびロボット装置の動作を調整する動作調整方法 | |
JP2001051721A (ja) | 衝突検出装置 | |
JP3328414B2 (ja) | ロボットハンドの姿勢制御装置 | |
JP5447150B2 (ja) | ロボットの制御装置およびロボットを制御する方法 | |
JP7309458B2 (ja) | 形状測定システムおよびその制御方法 | |
JP6848206B2 (ja) | 故障診断装置及び故障診断方法 | |
JP7295344B1 (ja) | ロボットシステム及びロボット制御装置 | |
JP7296731B2 (ja) | 制御装置、作業ロボット、作業システム及び制御方法 | |
WO2023167324A1 (ja) | 生産システム及び再現方法 | |
JP7448648B2 (ja) | 追随ロボットおよび制御装置 | |
JP7296186B2 (ja) | 形状測定システムおよびその制御方法 | |
JP2641315B2 (ja) | 研削装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7396819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |