JP2021058979A - ロボットアーム試験装置 - Google Patents
ロボットアーム試験装置 Download PDFInfo
- Publication number
- JP2021058979A JP2021058979A JP2019185557A JP2019185557A JP2021058979A JP 2021058979 A JP2021058979 A JP 2021058979A JP 2019185557 A JP2019185557 A JP 2019185557A JP 2019185557 A JP2019185557 A JP 2019185557A JP 2021058979 A JP2021058979 A JP 2021058979A
- Authority
- JP
- Japan
- Prior art keywords
- target marker
- camera
- hand
- dimensional
- arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 37
- 239000003550 marker Substances 0.000 claims abstract description 76
- 230000010365 information processing Effects 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 7
- 230000004397 blinking Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Abstract
Description
第1実施形態のロボットアーム試験装置1は、図1に示すように、ディスプレイ2と、カメラ3と、位置姿勢計測部4と、情報処理部5と、ロボットアーム6と、記憶部7と、を備えている。カメラ3は、外部を撮像する装置である。第1実施形態の例において、ロボットアーム試験装置1は、CPUやメモリを備えるタブレット端末100と、ロボットアーム6と、を備えている。
第1実施形態によれば、ディスプレイ2には、第1座標系で定義された3次元モデル81、第2座標系で定義されたハンド部品を表す3次元ハンドモデル82、及び実機のアーム61を撮像データのままで表す現実空間(特定色の表示)が重畳的に表示される。カメラ3で撮像しているアーム61を実際に作動させると、ディスプレイ2では、3次元モデル81(第1座標)上をアーム61の撮像データが作動する。そして、アーム61の先端部が移動すると、それに応じて第2ターゲットマーカ92(第2座標の原点)が移動し、3次元ハンドモデル82が第1座標上を移動する。第2ターゲットマーカ92が首を振って位置や姿勢を変えるたびに、第2座標系における3次元ハンドモデル82の位置姿勢が変化する。
図4に示す例では、カメラ3とディスプレイ2とが別体(有線で接続)である。また、複数の第2ターゲットマーカ92が1つの立体(複数の立方体で形成)に添付されている。この場面では、第2ターゲットマーカ92の背後にアーム61が位置するように、カメラ3が第2ターゲットマーカ92を正面から撮像している。これにより、第2ターゲットマーカ92(立体)の背後に隠れたアーム61の一部は、特定色が検出されないため、白色に抜けた状態でディスプレイ2に表示される。このように、タブレット端末100は、座標から前後関係(奥行き)を把握したうえで、ディスプレイ2に対象を表示する。
第2実施形態のロボットアーム試験装置1Aは、図5に示すように、タブレット端末100と、ロボットアーム6と、を備えている。タブレット端末100は、ディスプレイ2と、外部を撮像するカメラ3と、位置姿勢計測部4と、情報処理部5と、記憶部7と、を備えている。
第2実施形態によれば、ディスプレイ2には、実際にカメラ3が撮像した撮像データ(現実空間)上に、ハンド部品が3次元モデルとして表示される。実際のアーム61の移動に応じてターゲットマーカ93の位置姿勢が変化し、ディスプレイ2上の3次元モデルも位置姿勢が変化する。このように、ターゲットマーカ93の撮像データの変化により、ディスプレイ2における現実空間上に浮かび上がるハンド部品の3次元モデルの位置姿勢が変化する。
本発明は、上記実施形態に限られない。例えば、ディスプレイ2とカメラ3とは、例えばヘッドマウントディスプレイやタブレット端末のように一体的に配置されてもよいし、あるいは互いに相対移動できるように両者が有線又は無線により通信可能に接続されていてもよい。タブレット端末100によれば、容易に且つ複数人でMR画像を確認できる。また、各機能は、タブレット端末100に限らず、別のコンピュータにより実現されてもよい。
Claims (5)
- ディスプレイと、
外部を撮像するカメラと、
前記カメラで撮像された第1座標系のターゲットマーカである第1ターゲットマーカの撮像データ、及び前記第1ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、
前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ディスプレイを介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する情報処理部と、
アームの先端部に、ハンド部品ではなく、前記第1座標系から独立した第2座標系のターゲットマーカである第2ターゲットマーカが取り付けられたロボットアームと、
前記第2ターゲットマーカに対応して設定された、前記ハンド部品を表す3次元ハンドモデルを記憶する記憶部と、
を備え、
前記情報処理部は、前記ディスプレイに、前記第1ターゲットマーカの撮像データに基づいて前記3次元モデルを表示し、前記第2ターゲットマーカの撮像データに基づいて前記3次元ハンドモデルを表示し、前記アームの撮像データを前記現実空間として前記3次元モデル及び前記3次元ハンドモデルに重畳して表示するロボットアーム試験装置。 - 前記アームは、少なくとも一部の色が、前記カメラの撮像データにおける前記アームの背景の色と異なる特定色となるように配色され、
前記情報処理部は、前記特定色を前記3次元モデルの手前に表示する請求項1に記載のロボットアーム試験装置。 - 前記情報処理部は、前記3次元モデルと前記3次元ハンドモデルとの接触部分に対して、色変更処理及び点滅処理の少なくとも一方を含む特殊表示処理を実行する請求項1又は2に記載のロボットアーム試験装置。
- ディスプレイと、
外部を撮像するカメラと、
前記カメラで撮像されたターゲットマーカの撮像データ、及び前記ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、
前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ディスプレイを介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する情報処理部と、
アームの先端部に、ハンド部品ではなく前記ターゲットマーカが取り付けられたロボットアームと、
前記ターゲットマーカに対応して設定された、前記ハンド部品を表す前記3次元モデルを記憶する記憶部と、
を備え、
前記情報処理部は、前記ディスプレイに、前記現実空間とともに、前記ターゲットマーカの撮像データに基づいて前記3次元モデルを表示するロボットアーム試験装置。 - 前記ディスプレイ、前記カメラ、前記情報処理部、前記位置姿勢計測部、及び前記記憶部を有するタブレット端末を備える請求項1〜4の何れか一項に記載のロボットアーム試験装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185557A JP7443014B2 (ja) | 2019-10-08 | 2019-10-08 | ロボットアーム試験装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185557A JP7443014B2 (ja) | 2019-10-08 | 2019-10-08 | ロボットアーム試験装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021058979A true JP2021058979A (ja) | 2021-04-15 |
JP7443014B2 JP7443014B2 (ja) | 2024-03-05 |
Family
ID=75381128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185557A Active JP7443014B2 (ja) | 2019-10-08 | 2019-10-08 | ロボットアーム試験装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7443014B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658247A (zh) * | 2021-07-29 | 2021-11-16 | 武汉联影智融医疗科技有限公司 | 器械空间预测方法、装置、计算机设备和存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4136420B2 (ja) | 2002-03-29 | 2008-08-20 | キヤノン株式会社 | 情報処理方法および装置 |
JP4835616B2 (ja) | 2008-03-10 | 2011-12-14 | トヨタ自動車株式会社 | 動作教示システム及び動作教示方法 |
US9393694B2 (en) | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
JP5891125B2 (ja) | 2012-06-29 | 2016-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
JP2014079824A (ja) | 2012-10-15 | 2014-05-08 | Toshiba Corp | 作業画面表示方法および作業画面表示装置 |
US9457470B2 (en) | 2013-04-05 | 2016-10-04 | Abb Technology Ltd | Robot system and method for calibration |
JP2015058488A (ja) | 2013-09-17 | 2015-03-30 | セイコーエプソン株式会社 | ロボット制御システム、ロボット、ロボット制御方法及びプログラム |
JP6723738B2 (ja) | 2015-04-03 | 2020-07-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN104819707B (zh) | 2015-04-23 | 2018-07-13 | 上海大学 | 一种多面体主动光标靶 |
JP6420229B2 (ja) | 2015-12-10 | 2018-11-07 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP6755711B2 (ja) | 2016-05-20 | 2020-09-16 | 日本信号株式会社 | サービス提供システム |
JP6860776B2 (ja) | 2016-06-30 | 2021-04-21 | キヤノンマーケティングジャパン株式会社 | 仮想空間制御装置、その制御方法、及びプログラム |
JP6538760B2 (ja) | 2017-06-22 | 2019-07-03 | ファナック株式会社 | 複合現実シミュレーション装置及び複合現実シミュレーションプログラム |
JP6474179B2 (ja) | 2017-07-30 | 2019-02-27 | 国立大学法人 奈良先端科学技術大学院大学 | 学習データセット作製方法、並びに、物体認識及び位置姿勢推定方法 |
JP6886620B2 (ja) | 2017-08-09 | 2021-06-16 | オムロン株式会社 | キャリブレーション方法、キャリブレーションシステム及びプログラム |
-
2019
- 2019-10-08 JP JP2019185557A patent/JP7443014B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658247A (zh) * | 2021-07-29 | 2021-11-16 | 武汉联影智融医疗科技有限公司 | 器械空间预测方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7443014B2 (ja) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6810093B2 (ja) | ロボットのシミュレーション装置 | |
JP5032343B2 (ja) | 仮想物体を表示する方法および装置、ならびに環境画像に仮想物体を重ね合せるための方法および装置 | |
JP3944019B2 (ja) | 情報処理装置および方法 | |
US8406923B2 (en) | Apparatus for determining pickup pose of robot arm with camera | |
JP4817603B2 (ja) | 工業ロボットをプログラミングするための方法およびシステム | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
US7818091B2 (en) | Process and device for determining the position and the orientation of an image reception means | |
JP5390813B2 (ja) | 空間情報表示装置及び支援装置 | |
JP7238060B2 (ja) | 情報処理装置及びその制御方法、並びに、プログラム | |
JP2006302034A (ja) | 画像処理方法、画像処理装置 | |
JP2010042466A (ja) | ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法 | |
JP6693981B2 (ja) | ロボットの動作をシミュレーションするシミュレーション装置 | |
JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
JP7414395B2 (ja) | 情報投影システム、制御装置、及び情報投影制御方法 | |
JP7443014B2 (ja) | ロボットアーム試験装置 | |
US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP6253834B1 (ja) | 仮想作業表示方法、仮想作業データ作成方法、及び3次元空間けがきデータ作成方法 | |
WO2022176928A1 (ja) | 教示装置 | |
JP6800599B2 (ja) | 情報処理装置、方法及びプログラム | |
JP7249221B2 (ja) | センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法 | |
JP2016099839A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114465910B (zh) | 一种基于增强现实技术的机械加工设备校准方法 | |
WO2022249295A1 (ja) | ロボットシミュレーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7443014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |