JP2021058979A - ロボットアーム試験装置 - Google Patents

ロボットアーム試験装置 Download PDF

Info

Publication number
JP2021058979A
JP2021058979A JP2019185557A JP2019185557A JP2021058979A JP 2021058979 A JP2021058979 A JP 2021058979A JP 2019185557 A JP2019185557 A JP 2019185557A JP 2019185557 A JP2019185557 A JP 2019185557A JP 2021058979 A JP2021058979 A JP 2021058979A
Authority
JP
Japan
Prior art keywords
target marker
camera
hand
dimensional
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019185557A
Other languages
English (en)
Other versions
JP7443014B2 (ja
Inventor
和夫 坂田
Kazuo Sakata
和夫 坂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiho Seiki Co Ltd
Original Assignee
Taiho Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiho Seiki Co Ltd filed Critical Taiho Seiki Co Ltd
Priority to JP2019185557A priority Critical patent/JP7443014B2/ja
Publication of JP2021058979A publication Critical patent/JP2021058979A/ja
Application granted granted Critical
Publication of JP7443014B2 publication Critical patent/JP7443014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ロボットアームのハンド部品の損傷が防止されるとともに、容易にハンド部品の動作・干渉試験を実行することができるロボットアームを提供する。【解決手段】本発明は、アーム61の先端部に、ハンド部品ではなく、第1座標系から独立した第2座標系のターゲットマーカである第2ターゲットマーカ92が取り付けられたロボットアーム6と、第2ターゲットマーカ92に対応して設定された、ハンド部品を表す3次元ハンドモデル82を記憶する記憶部7と、を備え、情報処理部5は、ディスプレイ2に、第1ターゲットマーカ91の撮像データに基づいて3次元モデル81を表示し、第2ターゲットマーカ92の撮像データに基づいて3次元ハンドモデル82を表示し、アーム61の撮像データを現実空間として3次元モデル81及び3次元ハンドモデル82に重畳して表示する。【選択図】図2

Description

本発明は、ロボットアーム試験装置に関する。
昨今、例えば特開2015−125641号公報や特開2004−355131号公報に記載のように、ヘッドマウントディスプレイ(以下、HMDとも称する)を用いた複合現実感(Mixed Reality)(以下、MRとも称する)技術が発展している。特開2015−125641号公報から引用すると、MR技術は、HMDで撮像した現実の世界(現実空間)の画像に、コンピュータで生成された仮想の世界(仮想空間)の画像を重畳させて、HMDの画面に表示する技術である。つまり、現実空間画像と仮想空間画像(3次元モデル)とが重畳されてHMDに表示される。MR技術を利用することで、実際に模型を製作することなく、完成品について、大きさ、又は部品の取り外し(取り付け)の作業性などのチェックが可能となる。MR技術を用いた複合現実感装置としては、例えば、HMDと、HMDを介してユーザに重畳画像である複合現実感を提示する情報処理部と、を備えている。
また、HMDで複合現実感を提示するためには、対象スペース(現実空間)におけるHMDの位置及び姿勢を求める必要がある。例えば特開2015−215191号公報に記載されているように、複合現実感装置を用いるには、現実空間中に定義した基準座標系と、カメラ座標系との間の、相対的な位置及び姿勢を計測することが不可欠である。ここで、例えば特開2015−215191号公報及び特開2008−70267号公報には、HMDに設けられたカメラで撮像したターゲットマーカの情報からカメラの位置姿勢を推定することが記載されている。ターゲットマーカには、座標情報が設定されている。作業スペース(現実空間)に設置されたターゲットマーカを、カメラが撮像することで、公知の演算方法により、カメラの位置及び姿勢を推定することができる。
特開2015−125641号公報 特開2004−355131号公報 特開2015−215191号公報 特開2008−70267号公報
ところで、工場にロボットアームを導入するに際し、ロボットアームの動作が他の装置と干渉するか否かなど、予め細かなシミュレーションが必要となる。例えば、実際の工場現場に導入対象のロボットアームを配置して動作させることで、干渉具合等は把握できる。しかしながら、実際に工場にロボットアームを配置して動作試験を行うと、ロボットアームの先端部に取り付けられたハンド部品(例えば把持ハンド、溶接トーチ、研磨ハンド、又はバキュームハンド等)が他の装置と当接して破損するおそれがある。
また、工場でロボットアームを組み付けて、ロボットアームやハンド部品の配置や種類が適切でないと判断された場合、設置場所又はハンド部品を変更して再度組み立てなければならない。このように、従来の方法では、ロボットアーム導入時の試験において、多大な労力がかかっていた。
本発明の目的は、ロボットアームのハンド部品の損傷が防止されるとともに、容易にハンド部品の動作・干渉試験を実行することができるロボットアームを提供することである。
本発明の第1態様に係るロボットアーム試験装置は、ディスプレイと、外部を撮像するカメラと、前記カメラで撮像された第1座標系のターゲットマーカである第1ターゲットマーカの撮像データ、及び前記第1ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ディスプレイを介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する情報処理部と、アームの先端部に、ハンド部品ではなく、前記第1座標系から独立した第2座標系のターゲットマーカである第2ターゲットマーカが取り付けられたロボットアームと、前記第2ターゲットマーカに対応して設定された、前記ハンド部品を表す3次元ハンドモデルを記憶する記憶部と、を備え、前記情報処理部は、前記ディスプレイに、前記第1ターゲットマーカの撮像データに基づいて前記3次元モデルを表示し、前記第2ターゲットマーカの撮像データに基づいて前記3次元ハンドモデルを表示し、前記アームの撮像データを前記現実空間として前記3次元モデル及び前記3次元ハンドモデルに重畳して表示する。
本発明の第2態様に係るロボットアーム試験装置は、ディスプレイと、外部を撮像するカメラと、前記カメラで撮像されたターゲットマーカの撮像データ、及び前記ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ディスプレイを介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する情報処理部と、アームの先端部に、ハンド部品ではなく前記ターゲットマーカが取り付けられたロボットアームと、前記ターゲットマーカに対応して設定された、前記ハンド部品を表す前記3次元モデルを記憶する記憶部と、を備え、前記情報処理部は、前記ディスプレイに、前記現実空間とともに、前記ターゲットマーカの撮像データに基づいて前記3次元モデルを表示する。
本発明の第1態様によれば、ディスプレイには、第1座標系で定義された3次元モデル、第2座標系で定義されたハンド部品を表す3次元ハンドモデル、及び実機のアームを撮像データのままで表す現実空間が重畳的に表示される。カメラで撮像しているアームを実際に作動させると、ディスプレイでは、3次元モデル(第1座標)上をアームの撮像データが作動する。そして、アームの先端部が移動すると、それに応じて第2ターゲットマーカ(第2座標の原点)が移動し、3次元ハンドモデルが第1座標上を移動する。第2ターゲットマーカが首を振って位置や姿勢を変えるたびに、第2座標系における3次元ハンドモデルの位置姿勢が変化する。
この構成によれば、3次元ハンドモデル又はアームが3次元モデルに接触しても、実際にハンド部品が他のものに接触するわけではないため、ハンド部品の損傷は防止される。また、3次元モデルとして工場の実機配置データを設定することで、実際に工場にロボットアームを配置することなく、別の場所で予め動作・干渉試験を実施できる。また、3次元ハンドモデルのデータを変更するだけで、別のハンド部品に対する試験が可能となる。このように第1態様によれば、ロボットアームのハンド部品の損傷が防止されるとともに、容易にハンド部品の動作・干渉試験を実行することができる。
本発明の第2態様によれば、ディスプレイには、実際にカメラが撮像した撮像データ(現実空間)上に、ハンド部品が3次元モデルとして表示される。実際のアームの移動に応じてターゲットマーカの位置姿勢が変化し、ディスプレイ上の3次元モデルも位置姿勢が変化する。このように、ターゲットマーカの撮像データの変化により、ディスプレイにおける現実空間上に浮かび上がるハンド部品の3次元モデルの位置姿勢が変化する。
この構成によれば、実際に工場にロボットアームを配置して試験する際、ターゲットマーカと他の装置との接触は生じ得るが、実際のハンド部品と他の装置との接触は生じ得ない。したがって、ハンド部品の損傷は防止される。また、実際のハンド部品を取り換えることなく、表示される3次元モデルのデータを変更するだけで、複数種類のハンド部品の動作・干渉試験を行うことができる。このように第2態様によれば、ロボットアームのハンド部品の損傷が防止されるとともに、容易にハンド部品の動作・干渉試験を実行することができる。
第1実施形態のロボットアーム試験装置の構成図である。 第1実施形態のディスプレイの表示状態を説明するための説明図である。 第1実施形態の座標系の原点の設定例である。 第1実施形態のディスプレイの別例の表示状態を説明するための説明図である。 第2実施形態のロボットアーム試験装置の構成図である。
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。また、説明に用いる各図は概念図である。実施形態相互に説明及び図面を参照できる。
<第1実施形態>
第1実施形態のロボットアーム試験装置1は、図1に示すように、ディスプレイ2と、カメラ3と、位置姿勢計測部4と、情報処理部5と、ロボットアーム6と、記憶部7と、を備えている。カメラ3は、外部を撮像する装置である。第1実施形態の例において、ロボットアーム試験装置1は、CPUやメモリを備えるタブレット端末100と、ロボットアーム6と、を備えている。
タブレット端末100は、ディスプレイ2と、カメラ3と、位置姿勢計測部4と、情報処理部5と、記憶部7と、を備えている。タブレット端末100は、MRに関するソフトウェアが搭載されたコンピュータである。ディスプレイ2はタブレット端末100の表面に設けられ、カメラ3はタブレット端末100の背面に設けられている。各機能部4、5、7は、タブレット端末100の内部に配置されている。
位置姿勢計測部4は、カメラ3で撮像された第1座標系のターゲットマーカである第1ターゲットマーカ91の撮像データ、及び第1ターゲットマーカ91に対して設定された座標情報に基づいて、カメラ3の位置及び姿勢を計測する。第1座標系は、3次元のいわゆる世界座標系(ワールド座標系)であり、原点位置と3軸とで規定されている。位置姿勢計測部4は、撮像データにおける第1ターゲットマーカ91の大きさや形状により、カメラ3の位置姿勢を演算する。
位置姿勢計測部4は、第1ターゲットマーカ91のパターンに応じて設定された座標情報を読み取り、カメラ3がどの位置からどの方向を向いているかを推測する。ロボットアーム6の背後に配置された壁面や設置面、又はディスプレイには、複数の第1ターゲットマーカ91が表示されている。
情報処理部5は、位置姿勢計測部4で計測されたカメラ3の位置及び姿勢に基づき、ディスプレイ2を介してユーザに現実空間と3次元モデル81との重畳画像である複合現実感(MR)を提示する。3次元モデル81は、例えば工場をスキャンして得た点群データ又は当該点群データに基づく画像データである。
MRとしてディスプレイ2に表示する3次元モデル81は、第1ターゲットマーカ91の座標情報と対応し、カメラ3が撮像する第1ターゲットマーカ91の位置等の変化に応じて見え方が変化する。例えば第1ターゲットマーカ91の位置、大きさ、パターン、及び形状(撮像角度)に基づき、カメラ3の対象スペースでの位置姿勢が推定できる。例えば特開2015−215191号公報及び特開2008−70267号公報に記載されているように、複合現実感装置(MR装置)は、カメラ3で撮像されたターゲットマーカの撮像データに基づいて、公知の方法でカメラ3の位置と姿勢を計測できる。複合現実感装置(MR装置)は、公知の装置であって、詳細な説明は省略する。
ロボットアーム6は、アーム61の先端部に、ハンド部品でなく、第1座標系から独立した第2座標系のターゲットマーカである第2ターゲットマーカ92が取り付けられたロボットアームである。つまり、ロボットアーム6には、実際のハンド部品は取り付けられておらず、代わりにハンド部品が配置される予定の場所に第2ターゲットマーカ92が取り付けられている。第2座標系は、副座標系である。つまり、第2座標系の原点は、第1座標上を第1座標の原点位置に影響することなく、アーム61の移動に伴い移動する。
アーム61は、例えば、1つ又は複数の関節を持ち、回転や小アームごとの作動が可能である。複数の第2ターゲットマーカ92がアーム61の先端部に設置されている。第2ターゲットマーカ92は、例えば、複数の6面体を組み合わせた部材の表面に複数配置されている。複数の第2ターゲットマーカ92が立体的に(垂線が交差するように)配置されている。
記憶部7は、第2ターゲットマーカ92に対応して設定された、ロボットアーム6のハンド部品を表す複数の3次元ハンドモデル82を記憶する装置である。3次元ハンドモデルは、例えば、把持ハンド、溶接トーチ、研磨ハンド、又はバキュームハンド等のCG(コンピュータグラフィックス)である。記憶部7には、形状が異なる複数の3次元ハンドモデル82が記憶されている。
ここで、図2に示すように、情報処理部5は、ディスプレイ2に、第1ターゲットマーカ91の撮像データに基づいて3次元モデルを表示し、第2ターゲットマーカ92の撮像データに基づいて3次元ハンドモデル82を表示し、アーム61の撮像データを現実空間として3次元モデル及び3次元ハンドモデルに重畳して表示する。
情報処理部5では、カメラ3の撮像データのうち特定の色の部分が重畳画像での現実空間として表示されるように設定されている。この特定色として、アーム61表面の色(大部分が同色)が設定されている。したがって、情報処理部5は、アーム61表面の色を現実空間としてディスプレイ2に表示するため、実機のアーム61の撮像データがそのままディスプレイ2に表示される。カメラ3の撮像範囲内でアーム61が移動すると、ディスプレイ2でもCGなしに表示されたアーム61が第1座標上を移動する。このように、第1実施形態では、アーム61の3次元モデルは不要である。
ロボットアーム6を作動させ、第2ターゲットマーカ92のみを移動・姿勢変更させると、ディスプレイ2では、3次元ハンドモデル82だけが移動・姿勢変更する。位置姿勢計測部4は、第2ターゲットマーカ92の見え方により、第1座標上で第2座標の原点の移動、姿勢変更等を把握する。位置姿勢計測部4は、第2座標の原点により第1座標上のアーム61の位置が決まるため、第2ターゲットマーカ92とアーム61との相対位置関係も把握できる。したがって、ディスプレイ2において、3次元ハンドモデル82とアーム61との前後関係(手前・背後)により、3次元ハンドモデル82がアーム61の手前に見えたりアーム61に隠れたりする。なお、図3は、原点位置の設定例である。
第1実施形態では、アーム61は、少なくとも一部の色が、カメラ3の撮像データにおけるアーム61の背景の色と異なる特定色となるように配色されている。そして、情報処理部5は、特定色を3次元モデル81の手前に表示する。これにより、より明確にアーム61が表示される。
3次元モデル81と3次元ハンドモデル82とが接触する(同座標になる)と、例えば接触部分の3次元ハンドモデル82が表示されなくなる。あるいは、接触部分だけを別の表示(色、点滅等)することも可能である。このように、情報処理部5は、3次元モデル81と3次元ハンドモデル82との接触部分に対して、色変更処理及び点滅処理の少なくとも一方を含む特殊表示処理を実行してもよい。
(第1実施形態の効果)
第1実施形態によれば、ディスプレイ2には、第1座標系で定義された3次元モデル81、第2座標系で定義されたハンド部品を表す3次元ハンドモデル82、及び実機のアーム61を撮像データのままで表す現実空間(特定色の表示)が重畳的に表示される。カメラ3で撮像しているアーム61を実際に作動させると、ディスプレイ2では、3次元モデル81(第1座標)上をアーム61の撮像データが作動する。そして、アーム61の先端部が移動すると、それに応じて第2ターゲットマーカ92(第2座標の原点)が移動し、3次元ハンドモデル82が第1座標上を移動する。第2ターゲットマーカ92が首を振って位置や姿勢を変えるたびに、第2座標系における3次元ハンドモデル82の位置姿勢が変化する。
この構成によれば、3次元ハンドモデル82又はアーム61が3次元モデルに接触しても、実際にハンド部品が他のものに接触するわけではないため、ハンド部品の損傷は防止される。また、3次元モデル81として工場の実機配置データを設定することで、実際に工場にロボットアーム6を配置することなく、別の場所で予め動作・干渉試験を実施できる。また、3次元ハンドモデル82のデータを変更するだけで、別のハンド部品に対する試験が可能となる。このように第1実施形態によれば、ロボットアーム6のハンド部品の損傷が防止されるとともに、容易にハンド部品の動作・干渉試験を実行することができる。
(別の例)
図4に示す例では、カメラ3とディスプレイ2とが別体(有線で接続)である。また、複数の第2ターゲットマーカ92が1つの立体(複数の立方体で形成)に添付されている。この場面では、第2ターゲットマーカ92の背後にアーム61が位置するように、カメラ3が第2ターゲットマーカ92を正面から撮像している。これにより、第2ターゲットマーカ92(立体)の背後に隠れたアーム61の一部は、特定色が検出されないため、白色に抜けた状態でディスプレイ2に表示される。このように、タブレット端末100は、座標から前後関係(奥行き)を把握したうえで、ディスプレイ2に対象を表示する。
<第2実施形態>
第2実施形態のロボットアーム試験装置1Aは、図5に示すように、タブレット端末100と、ロボットアーム6と、を備えている。タブレット端末100は、ディスプレイ2と、外部を撮像するカメラ3と、位置姿勢計測部4と、情報処理部5と、記憶部7と、を備えている。
位置姿勢計測部4は、カメラ3で撮像されたターゲットマーカ93の撮像データ、及びターゲットマーカ93に対して設定された座標情報に基づいて、カメラ3の位置及び姿勢を計測する。情報処理部5は、位置姿勢計測部4で計測されたカメラ3の位置及び姿勢に基づき、ディスプレイ2を介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する。ロボットアーム6は、アーム61の先端部に、ハンド部品でなくターゲットマーカ93が取り付けられたロボットアームである。記憶部7は、ターゲットマーカ93に対応して設定された、ハンド部品を表す3次元モデルを記憶する装置である。記憶部7には、形状が異なる複数の3次元モデルが記憶されている。
第2実施形態の情報処理部5は、ディスプレイ2に、現実空間とともに、ターゲットマーカ93の撮像データに基づいて3次元モデルを表示する。つまり、第2実施形態では、第1実施形態と異なり、ハンド部品を表す3次元モデルだけがCGで表示され、その他は撮像データそのままが現実空間として表示される。第2実施形態でディスプレイ2に表示される画面は、例えば図4における3次元ハンドモデル82以外の部分が実際の撮像データである状態に相当する。第2実施形態では、副座標系のみが座標系として存在する。
(第2実施形態の効果)
第2実施形態によれば、ディスプレイ2には、実際にカメラ3が撮像した撮像データ(現実空間)上に、ハンド部品が3次元モデルとして表示される。実際のアーム61の移動に応じてターゲットマーカ93の位置姿勢が変化し、ディスプレイ2上の3次元モデルも位置姿勢が変化する。このように、ターゲットマーカ93の撮像データの変化により、ディスプレイ2における現実空間上に浮かび上がるハンド部品の3次元モデルの位置姿勢が変化する。
この構成によれば、実際に工場にロボットアーム6を配置して試験する際、ターゲットマーカ93と他の装置との接触は生じ得るが、実際のハンド部品と他の装置との接触は生じ得ない。したがって、ハンド部品の損傷は防止される。また、実際のハンド部品を取り換えることなく、表示される3次元モデルのデータを変更するだけで、複数種類のハンド部品の動作・干渉試験を行うことができる。このように第2実施形態によれば、ロボットアーム6のハンド部品の損傷が防止されるとともに、容易にハンド部品の動作・干渉試験を実行することができる。
<その他>
本発明は、上記実施形態に限られない。例えば、ディスプレイ2とカメラ3とは、例えばヘッドマウントディスプレイやタブレット端末のように一体的に配置されてもよいし、あるいは互いに相対移動できるように両者が有線又は無線により通信可能に接続されていてもよい。タブレット端末100によれば、容易に且つ複数人でMR画像を確認できる。また、各機能は、タブレット端末100に限らず、別のコンピュータにより実現されてもよい。
また、参考として、複数のカメラを配置して、球状反射マーカの位置を検出する光学式センサを用いても、上記試験は実行可能である。ただし、上記実施形態のように、平板状のターゲットマーカを用いた装置のほうが、設備の簡素化が可能であり、より容易に試験を実行することができる。
第1実施形態によれば、ARとは異なり、2つの座標系が別々に設定されており、3次元ハンドモデル82の独立した動きを可能としている。また、第1実施形態では、仮想空間に3次元の仮想工場を再現することができ、実機と仮想工場空間との融合が可能となる。
また、ロボットアーム試験装置1、1Aによれば、CGと実機との距離感を精度よく反映してディスプレイ2に表示することができる。また、ロボットアーム試験装置1、1Aは、例えば、作業者の訓練に、ロボットティーチに、又はトレーニング機として利用することができる。ロボットアーム試験装置1Aは、設置工場空間での障害物との仮想事前干渉確認が可能となる。ロボットアーム試験装置1、1Aによれば、工場又は仮想工場空間でのロボットモーション確認が容易に可能となる。ロボットアーム試験装置は、バーチャルロボットハンドシミュレーションシステムともいえる。ハンド部品は、ロボットハンドともいえる。
1、1A…ロボットアーム試験装置、2…ディスプレイ、3…カメラ、4…位置姿勢計測部、5…情報処理部、6…ロボットアーム、61…アーム、81…3次元モデル(例えば点群データによる背景画像)、82…3次元ハンドモデル、91…第1ターゲットマーカ、92…第2ターゲットマーカ、93…ターゲットマーカ。

Claims (5)

  1. ディスプレイと、
    外部を撮像するカメラと、
    前記カメラで撮像された第1座標系のターゲットマーカである第1ターゲットマーカの撮像データ、及び前記第1ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、
    前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ディスプレイを介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する情報処理部と、
    アームの先端部に、ハンド部品ではなく、前記第1座標系から独立した第2座標系のターゲットマーカである第2ターゲットマーカが取り付けられたロボットアームと、
    前記第2ターゲットマーカに対応して設定された、前記ハンド部品を表す3次元ハンドモデルを記憶する記憶部と、
    を備え、
    前記情報処理部は、前記ディスプレイに、前記第1ターゲットマーカの撮像データに基づいて前記3次元モデルを表示し、前記第2ターゲットマーカの撮像データに基づいて前記3次元ハンドモデルを表示し、前記アームの撮像データを前記現実空間として前記3次元モデル及び前記3次元ハンドモデルに重畳して表示するロボットアーム試験装置。
  2. 前記アームは、少なくとも一部の色が、前記カメラの撮像データにおける前記アームの背景の色と異なる特定色となるように配色され、
    前記情報処理部は、前記特定色を前記3次元モデルの手前に表示する請求項1に記載のロボットアーム試験装置。
  3. 前記情報処理部は、前記3次元モデルと前記3次元ハンドモデルとの接触部分に対して、色変更処理及び点滅処理の少なくとも一方を含む特殊表示処理を実行する請求項1又は2に記載のロボットアーム試験装置。
  4. ディスプレイと、
    外部を撮像するカメラと、
    前記カメラで撮像されたターゲットマーカの撮像データ、及び前記ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、
    前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ディスプレイを介してユーザに現実空間と3次元モデルとの重畳画像である複合現実感を提示する情報処理部と、
    アームの先端部に、ハンド部品ではなく前記ターゲットマーカが取り付けられたロボットアームと、
    前記ターゲットマーカに対応して設定された、前記ハンド部品を表す前記3次元モデルを記憶する記憶部と、
    を備え、
    前記情報処理部は、前記ディスプレイに、前記現実空間とともに、前記ターゲットマーカの撮像データに基づいて前記3次元モデルを表示するロボットアーム試験装置。
  5. 前記ディスプレイ、前記カメラ、前記情報処理部、前記位置姿勢計測部、及び前記記憶部を有するタブレット端末を備える請求項1〜4の何れか一項に記載のロボットアーム試験装置。
JP2019185557A 2019-10-08 2019-10-08 ロボットアーム試験装置 Active JP7443014B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019185557A JP7443014B2 (ja) 2019-10-08 2019-10-08 ロボットアーム試験装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019185557A JP7443014B2 (ja) 2019-10-08 2019-10-08 ロボットアーム試験装置

Publications (2)

Publication Number Publication Date
JP2021058979A true JP2021058979A (ja) 2021-04-15
JP7443014B2 JP7443014B2 (ja) 2024-03-05

Family

ID=75381128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019185557A Active JP7443014B2 (ja) 2019-10-08 2019-10-08 ロボットアーム試験装置

Country Status (1)

Country Link
JP (1) JP7443014B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658247A (zh) * 2021-07-29 2021-11-16 武汉联影智融医疗科技有限公司 器械空间预测方法、装置、计算机设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136420B2 (ja) 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
JP4835616B2 (ja) 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP5891125B2 (ja) 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
JP2014079824A (ja) 2012-10-15 2014-05-08 Toshiba Corp 作業画面表示方法および作業画面表示装置
US9457470B2 (en) 2013-04-05 2016-10-04 Abb Technology Ltd Robot system and method for calibration
JP2015058488A (ja) 2013-09-17 2015-03-30 セイコーエプソン株式会社 ロボット制御システム、ロボット、ロボット制御方法及びプログラム
JP6723738B2 (ja) 2015-04-03 2020-07-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN104819707B (zh) 2015-04-23 2018-07-13 上海大学 一种多面体主动光标靶
JP6420229B2 (ja) 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6755711B2 (ja) 2016-05-20 2020-09-16 日本信号株式会社 サービス提供システム
JP6860776B2 (ja) 2016-06-30 2021-04-21 キヤノンマーケティングジャパン株式会社 仮想空間制御装置、その制御方法、及びプログラム
JP6538760B2 (ja) 2017-06-22 2019-07-03 ファナック株式会社 複合現実シミュレーション装置及び複合現実シミュレーションプログラム
JP6474179B2 (ja) 2017-07-30 2019-02-27 国立大学法人 奈良先端科学技術大学院大学 学習データセット作製方法、並びに、物体認識及び位置姿勢推定方法
JP6886620B2 (ja) 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658247A (zh) * 2021-07-29 2021-11-16 武汉联影智融医疗科技有限公司 器械空间预测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP7443014B2 (ja) 2024-03-05

Similar Documents

Publication Publication Date Title
JP6810093B2 (ja) ロボットのシミュレーション装置
JP5032343B2 (ja) 仮想物体を表示する方法および装置、ならびに環境画像に仮想物体を重ね合せるための方法および装置
JP3944019B2 (ja) 情報処理装置および方法
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
JP4817603B2 (ja) 工業ロボットをプログラミングするための方法およびシステム
US7236854B2 (en) Method and a system for programming an industrial robot
US7818091B2 (en) Process and device for determining the position and the orientation of an image reception means
JP5390813B2 (ja) 空間情報表示装置及び支援装置
JP7238060B2 (ja) 情報処理装置及びその制御方法、並びに、プログラム
JP2006302034A (ja) 画像処理方法、画像処理装置
JP2010042466A (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
JP6693981B2 (ja) ロボットの動作をシミュレーションするシミュレーション装置
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
JP6295296B2 (ja) 複合システム及びターゲットマーカ
JP7414395B2 (ja) 情報投影システム、制御装置、及び情報投影制御方法
JP7443014B2 (ja) ロボットアーム試験装置
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
JP4689344B2 (ja) 情報処理方法、情報処理装置
JP6253834B1 (ja) 仮想作業表示方法、仮想作業データ作成方法、及び3次元空間けがきデータ作成方法
WO2022176928A1 (ja) 教示装置
JP6800599B2 (ja) 情報処理装置、方法及びプログラム
JP7249221B2 (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
JP2016099839A (ja) 情報処理装置、情報処理方法、およびプログラム
CN114465910B (zh) 一种基于增强现实技术的机械加工设备校准方法
WO2022249295A1 (ja) ロボットシミュレーション装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240221

R150 Certificate of patent or registration of utility model

Ref document number: 7443014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150