JP2021062463A - Robot system - Google Patents

Robot system Download PDF

Info

Publication number
JP2021062463A
JP2021062463A JP2019189938A JP2019189938A JP2021062463A JP 2021062463 A JP2021062463 A JP 2021062463A JP 2019189938 A JP2019189938 A JP 2019189938A JP 2019189938 A JP2019189938 A JP 2019189938A JP 2021062463 A JP2021062463 A JP 2021062463A
Authority
JP
Japan
Prior art keywords
robot
coordinate system
marker
unit
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019189938A
Other languages
Japanese (ja)
Other versions
JP7359633B2 (en
Inventor
太樹 片桐
Taiki Katagiri
太樹 片桐
雅文 大場
Masafumi Oba
雅文 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019189938A priority Critical patent/JP7359633B2/en
Priority to US17/026,369 priority patent/US11400602B2/en
Priority to DE102020212013.7A priority patent/DE102020212013A1/en
Priority to CN202011103367.8A priority patent/CN112677148A/en
Publication of JP2021062463A publication Critical patent/JP2021062463A/en
Application granted granted Critical
Publication of JP7359633B2 publication Critical patent/JP7359633B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36159—Detachable or portable programming unit, display, pc, pda
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

To provide a robot system that can accurately measure a positional relation between an AR device and a marker regardless of a type of a robot, and enables the AR device to recognise a position or a direction of a robot comparatively easily and with good accuracy.SOLUTION: A robot system 1 comprises; a marker detecting part 4 that simultaneously detects reference markers A, B and the others and a marker M for identifying a robot coordinate system by one-time detection operation; a robot system information receiving part 5 that receives information concerning the robot system; a robot coordinate system identifying part 6 that identifying a coordinate system of a robot 3 from the position of the marker M for identifying a robot coordinate system and information on the coordinate system; an AR device 2 for displaying the information concerning the robot system 1 on the basis of the coordinate system of the robot 3; a coordinate system setting part 7 that sets an origin coordinate system by moving the robot 3 to a designated position; and a coordinate system information transmitting part 8 that transmits the information on the coordinate system set by the coordinate system setting part 7 to the AR device 2.SELECTED DRAWING: Figure 1

Description

本発明は、ロボットシステムに関する。 The present invention relates to a robot system.

産業用ロボットなどのロボットシステムにおいては、拡張現実感（ＡＲ）を使用する技術が注目され、研究開発が盛んに行われている。 In robot systems such as industrial robots, technologies that use augmented reality (AR) are attracting attention, and research and development are being actively carried out.

この種のロボットシステムには、例えば、撮影装置で撮影されたロボットの画像に基づいてロボットのＣＧ映像を生成し、タッチスクリーン上に表示したＣＧ映像をユーザがタッチ操作することによって、タッチスクリーン上でのＣＧ映像のロボットを仮想的に動作させ、仮想的なロボットの動作に追従して実際のロボットを動作させるように構成したものが提案されている。 In this type of robot system, for example, a CG image of a robot is generated based on an image of the robot taken by a photographing device, and the user touch-operates the CG image displayed on the touch screen on the touch screen. It has been proposed that the robot of the CG image in the above is virtually operated, and the actual robot is operated by following the operation of the virtual robot.

なお、ロボットシステムに設定された設定情報をロボットの画像に重畳し、設定情報のＣＧ映像を生成することで、ユーザが設定情報をより直感的に理解することができる。また、設定情報のＣＧ映像をタッチ操作することもできる。 By superimposing the setting information set in the robot system on the image of the robot and generating a CG image of the setting information, the user can understand the setting information more intuitively. It is also possible to touch-operate the CG image of the setting information.

ここで、このロボットシステムでは、撮影装置で撮影された処理対象物の画像に基づいて、処理対象物に追従するようにロボットの移動先の位置補正を行うことが重要であり、ロボット、撮影装置及び処理対象物の位置に関する情報を予め設定する必要がある。 Here, in this robot system, it is important to correct the position of the movement destination of the robot so as to follow the processing object based on the image of the processing object taken by the photographing device, and the robot and the photographing device. And it is necessary to set information about the position of the object to be processed in advance.

ロボット、撮影装置及び処理対象物の位置に関する情報としては、例えば、（１）ロボットの位置補正の基準となる座標系の原点及び各軸の方向、（２）ロボットの位置補正の基準となるロボットの位置（ロボットの各関節の回転角度又は並進量など）、（３）ロボットと撮影装置との相対位置関係、（４）撮影装置と処理対象物との相対位置関係などが挙げられる。 Information on the positions of the robot, the photographing device, and the object to be processed includes, for example, (1) the origin of the coordinate system that is the reference for the position correction of the robot and the direction of each axis, and (2) the robot that is the reference for the position correction of the robot. Positions (rotation angle or translation amount of each joint of the robot, etc.), (3) relative positional relationship between the robot and the imaging device, (4) relative positional relationship between the imaging device and the object to be processed, and the like.

また、ＡＲデバイスでロボット座標系を認識する方法として、ロボットの所定の位置にマーカを設置し、マーカをＡＲデバイスで検出することによってロボット座標系を認識する方法、ＡＲデバイスでロボットの形状を認識することによってロボット座標系を認識する方法、ある決まった位置及び向きに表示されたＡＲグラフィックの位置及び向きを手動で実際のロボットの位置及び向きに合わせる方法などが提案されている。 Further, as a method of recognizing the robot coordinate system with the AR device, a method of recognizing the robot coordinate system by installing a marker at a predetermined position of the robot and detecting the marker with the AR device, and a method of recognizing the shape of the robot with the AR device. By doing so, a method of recognizing the robot coordinate system, a method of manually adjusting the position and orientation of the AR graphic displayed at a certain fixed position and orientation to the actual position and orientation of the robot, and the like have been proposed.

例えば、特許文献１には、「ロボットアームと、ワークの撮影用に設置されるカメラと、画像認識可能なマーカを有し、前記ロボットアームの先端部に取り付けられるキャリブレーション治具と、前記カメラにより撮影される画像内の座標であるカメラ座標と、前記ロボットアームを基準とする座標であるロボット座標との相関を導出するキャリブレーション装置と、を備え、前記キャリブレーション装置は、前記マーカを前記カメラに向けた状態で、前記カメラの光軸に直交する平面内の複数の撮影位置に前記マーカを移動させるように前記ロボットアームを制御するアーム制御部と、前記マーカが前記撮影位置にあるときの前記マーカの前記カメラ座標を取得するカメラ座標取得部と、前記マーカが前記撮影位置にあるときの前記ロボットアームの姿勢情報を取得する姿勢情報取得部と、前記カメラ座標取得部及び前記姿勢情報取得部がそれぞれ取得した前記カメラ座標及び前記姿勢情報に基づいて、前記カメラ座標と前記ロボット座標との相関を導出する相関導出部と、を有するロボットシステム。」が開示されている。 For example, Patent Document 1 states that "a robot arm, a camera installed for photographing a work, a calibration jig having an image-recognizable marker and attached to the tip of the robot arm, and the camera. The camera includes a camera coordinate that is a coordinate in an image taken by the camera and a calibration device that derives a correlation between a robot coordinate that is a coordinate based on the robot arm, and the calibration device uses the marker as the marker. When the arm control unit that controls the robot arm to move the marker to a plurality of imaging positions in a plane orthogonal to the optical axis of the camera while facing the camera, and the marker at the imaging position. A camera coordinate acquisition unit that acquires the camera coordinates of the marker, an attitude information acquisition unit that acquires the attitude information of the robot arm when the marker is in the shooting position, the camera coordinate acquisition unit, and the attitude information. A robot system including a correlation derivation unit that derives a correlation between the camera coordinates and the robot coordinates based on the camera coordinates and the attitude information acquired by the acquisition units, respectively. "

特開２０１４−１８０７２０号公報Japanese Unexamined Patent Publication No. 2014-180720

しかしながら、マーカをＡＲデバイス（拡張現実表示装置など）で検出することによってロボット座標系を認識する方法は、ロボットの機種によってマーカを貼る位置を予め決めておく必要がある。このため、ＡＲ提供者側に非常に大きな手間と労力などの負担が生じる。 However, in the method of recognizing the robot coordinate system by detecting the marker with an AR device (augmented reality display device or the like), it is necessary to determine in advance the position where the marker is attached depending on the model of the robot. For this reason, the AR provider side is burdened with a great deal of labor and labor.

ＡＲデバイスでロボットの形状を認識することによってロボット座標系を認識する方法においても、機種ごとにロボットのモデルを記録（登録）しておく必要があり、ＡＲ提供者側の負担が大きくなる。 Even in the method of recognizing the robot coordinate system by recognizing the shape of the robot with the AR device, it is necessary to record (register) the robot model for each model, which increases the burden on the AR provider side.

ある決まった位置及び向きに表示されたＡＲグラフィックの位置及び向きを手動で実際のロボットの位置及び向きに合わせる方法においては、ＡＲ利用者側に非常に大きな負担が生じる。 In the method of manually adjusting the position and orientation of the AR graphic displayed in a certain fixed position and orientation to the actual position and orientation of the robot, an extremely large burden is generated on the AR user side.

さらに、ＡＲデバイスでロボット座標系を認識した後、マーカから離れた場所にＡＲデバイスを移動させると、ＡＲデバイスとマーカの位置関係が正確に測定できず、ＡＲグラフィックの表示位置がずれてしまうおそれがあった。ＡＲデバイスは、ジャイロセンサなどを備えて移動を検出するが、この検出結果に基づいて位置や向きを修正しても表示ずれが生じてしまう。特に回転移動時に表示ずれが生じやすい。 Furthermore, if the AR device is moved to a location away from the marker after recognizing the robot coordinate system with the AR device, the positional relationship between the AR device and the marker cannot be measured accurately, and the display position of the AR graphic may shift. was there. The AR device is equipped with a gyro sensor or the like to detect movement, but even if the position or orientation is corrected based on the detection result, display deviation will occur. In particular, display deviation is likely to occur during rotational movement.

このため、ロボットの機種に依存せず、ＡＲデバイスとマーカの位置関係が正確に測定でき、比較的容易で精度よくロボットの位置または向きをＡＲデバイスで認識可能な手法の開発が強く望まれていた。 Therefore, it is strongly desired to develop a method that can accurately measure the positional relationship between the AR device and the marker regardless of the robot model, and can recognize the position or orientation of the robot with the AR device relatively easily and accurately. It was.

本開示のロボットシステムの一態様は、座標が明確な基準用の特徴点を有し、所定の位置に設置された少なくとも１つ以上の基準用指標と、ロボットの動作範囲内に設けられ、ロボット座標系を特定するための特定用の特徴点を有するロボット座標系特定用指標と、１回の検出操作で少なくとも１つの前記基準用指標と前記ロボット座標系特定用指標とを同時に検出する指標検出部と、ロボットシステムに関する情報を受信するロボットシステム情報受信部と、前記指標検出部により検出された前記ロボット座標系特定用指標の少なくとも位置と前記ロボットシステム情報受信部により受信された座標系情報とからロボットの座標系を特定するロボット座標系特定部と、前記ロボット座標系特定部により特定されたロボットの座標系を基に前記ロボットシステム情報受信部により受信されたロボットシステムに関する情報を表示するための拡張現実表示装置と、ロボットを指定の位置へ動かすことにより原点座標系を設定する座標系設定部と、前記座標系設定部により設定された座標系情報を前記拡張現実表示装置へ送信する座標系情報送信部と、を備える構成とした。 One aspect of the robot system of the present disclosure has at least one reference index installed at a predetermined position and provided within the operating range of the robot, having feature points for reference with clear coordinates, and the robot. Index detection that simultaneously detects a robot coordinate system identification index having specific feature points for specifying the coordinate system, and at least one reference index and the robot coordinate system identification index in one detection operation. A unit, a robot system information receiving unit that receives information about the robot system, at least the position of the robot coordinate system specifying index detected by the index detecting unit, and coordinate system information received by the robot system information receiving unit. To display information about the robot system received by the robot system information receiving unit based on the robot coordinate system specifying unit that specifies the coordinate system of the robot and the coordinate system of the robot specified by the robot coordinate system specifying unit. The extended reality display device, the coordinate system setting unit that sets the origin coordinate system by moving the robot to a specified position, and the coordinates that transmit the coordinate system information set by the coordinate system setting unit to the extended reality display device. It is configured to include a system information transmission unit.

本開示のロボットシステムの一態様においては、ロボットの機種に依存せず、比較的容易にロボットの位置または向きをＡＲデバイス（拡張現実表示装置）で認識できる。また、ＡＲデバイスの移動範囲内の基準用指標を検出可能な範囲内に基準用指標が設置されてさえいれば、ＡＲグラフィックの表示位置のずれを抑えることができる。 In one aspect of the robot system of the present disclosure, the position or orientation of the robot can be relatively easily recognized by the AR device (augmented reality display device) regardless of the model of the robot. Further, as long as the reference index is installed within the range in which the reference index within the moving range of the AR device can be detected, the deviation of the display position of the AR graphic can be suppressed.

よって、本開示のロボットシステムの一態様によれば、ロボットの機種に依存せず、常時ＡＲデバイスとロボット座標系特定用指標、基準用指標の位置関係が正確に測定でき、比較的容易で精度よくロボットの位置または向きをＡＲデバイスで認識することが可能になる。 Therefore, according to one aspect of the robot system of the present disclosure, the positional relationship between the AR device, the robot coordinate system identification index, and the reference index can be accurately measured at all times without depending on the robot model, which is relatively easy and accurate. It is often possible to recognize the position or orientation of the robot with an AR device.

一態様のロボットシステムを示す図である。It is a figure which shows the robot system of one aspect. 一態様のロボットシステムを示す図である。It is a figure which shows the robot system of one aspect. 一態様のロボットシステムにおいて、複数のマーカ（指標）を検出して位置ずれを抑える方法の説明で用いた図である。It is a figure used in the description of the method of detecting a plurality of markers (indexes) and suppressing a misalignment in a robot system of one aspect. 一態様のロボットシステムにおいて、マーカ（指標）を検出して位置ずれを抑える方法の説明で用いた図である。It is a figure used in the description of the method of detecting a marker (index) and suppressing a misalignment in a robot system of one aspect.

以下、図１から図４を参照し、一実施形態に係るロボットシステムについて説明する。 Hereinafter, the robot system according to the embodiment will be described with reference to FIGS. 1 to 4.

本実施形態のロボットシステム１は、図１に示すように、ヘッドマウントディスプレイやプロジェクタなどのＡＲデバイス（拡張現実表示装置）２を移動させたい範囲内に、座標が明確な少なくとも１つ以上の基準用マーカ（座標が明確な基準用の特徴点を有する少なくとも１つ以上の基準用指標）Ａ，Ｂ・・・を設置するとともに、ロボット３の動作範囲内に、ロボット座標系を特定するためのロボット座標系特定用マーカ（ロボット座標系を特定するための特定用の特徴点を有するロボット座標系特定用指標）Ｍを設置し、ＡＲデバイス２でそれぞれの基準用マーカＡ，Ｂ・・・とロボット座標系特定用マーカＭを少なくとも２つ同時に検出することで、基準用マーカＡ，Ｂ・・・に対するロボット座標系特定用マーカＭ上に設定された座標系の位置や向きを認識するように構成されている。
なお、拡張現実表示装置２は、少なくともＡＲ表示部（拡張現実表示部）で実機材に対応した仮想モデルを表示するためのアプリケーションを備えていれば、特にその構成を限定する必要はない。 As shown in FIG. 1, the robot system 1 of the present embodiment has at least one reference whose coordinates are clear within the range in which the AR device (augmented reality display device) 2 such as a head mount display or a projector is desired to be moved. Markers (at least one reference index having reference feature points with clear coordinates) A, B ... For specifying the robot coordinate system within the operating range of the robot 3. A marker for specifying the robot coordinate system (an index for specifying the robot coordinate system having a feature point for specifying the robot coordinate system) M is installed, and the AR device 2 has the respective reference markers A, B ... By detecting at least two robot coordinate system identification markers M at the same time, the position and orientation of the coordinate system set on the robot coordinate system identification marker M with respect to the reference markers A, B ... Are recognized. It is configured.
The configuration of the augmented reality display device 2 does not need to be particularly limited as long as the AR display unit (augmented reality display unit) has at least an application for displaying a virtual model corresponding to the actual equipment.

このロボットシステム１においては、ロボット座標系特定用マーカＭ上に設定された座標系がロボット３の座標系に対して設定されていることにより、ＡＲデバイス２でロボット３の座標系を認識でき、例えば、コンベヤで搬送されるワークの払い出しラインや、工場内ラインで障害物が多く、ＡＲデバイス２の回り込みが必要なラインなどに対しても精度よくロボット３の位置や向きなどを特定、表示でき、有用、好適なシステムを実現できる。 In this robot system 1, since the coordinate system set on the robot coordinate system identification marker M is set with respect to the coordinate system of the robot 3, the AR device 2 can recognize the coordinate system of the robot 3. For example, the position and orientation of the robot 3 can be accurately identified and displayed even for a work payout line transported by a conveyor or a line in a factory where there are many obstacles and the AR device 2 needs to wrap around. , A useful and suitable system can be realized.

より具体的に、本実施形態のロボットシステム１は、図１に示すように、ヘッドマウントディスプレイやプロジェクタなどのＡＲデバイス２の移動範囲内に設けられた少なくとも２つ以上の座標が明確な基準用マーカＡ，Ｂ・・・と、ロボット３の動作範囲内に設けられ、ロボット座標系を特定するための少なくとも１つ以上のロボット座標系特定用マーカＭと、を備えている。 More specifically, as shown in FIG. 1, the robot system 1 of the present embodiment is provided for a reference in which at least two or more coordinates provided within the moving range of the AR device 2 such as a head-mounted display or a projector are clear. It includes markers A, B ..., And at least one or more robot coordinate system specifying markers M provided within the operating range of the robot 3 and for specifying the robot coordinate system.

本実施形態のロボットシステム１は、所定の位置に設置された基準用マーカＡ，Ｂ・・・、ロボット座標系特定マーカＭの少なくとも位置を検出するマーカ検出部（指標検出部）４と、ロボットシステム１に関する情報を受信するロボットシステム情報受信部５と、マーカ検出部４により検出された基準用マーカＡ，Ｂ・・・、ロボット座標系特定マーカＭの少なくとも位置、及びロボットシステム情報受信部５により受信された座標系情報からロボットの座標系を特定するロボット座標系特定部６と、ロボット３を指定の位置へ動かすことにより原点座標系を設定する座標系設定部７と、座標系設定部７により設定された座標系情報をＡＲデバイス２に送信する座標系情報送信部８と、を備え、ロボット座標系特定部６により特定されたロボット３の座標系を基にロボットシステム情報受信部５で受信されたロボットシステム１に関する情報をＡＲデバイス２の表示部（アプリケーション）で表示するように構成されている。 The robot system 1 of the present embodiment includes reference markers A, B ... Installed at predetermined positions, a marker detection unit (index detection unit) 4 for detecting at least the position of a robot coordinate system specific marker M, and a robot. The robot system information receiving unit 5 that receives information about the system 1, the reference markers A, B ... Detected by the marker detecting unit 4, at least the position of the robot coordinate system specific marker M, and the robot system information receiving unit 5 A robot coordinate system specifying unit 6 that identifies the robot's coordinate system from the coordinate system information received by, a coordinate system setting unit 7 that sets the origin coordinate system by moving the robot 3 to a specified position, and a coordinate system setting unit. A coordinate system information transmitting unit 8 for transmitting the coordinate system information set by 7 to the AR device 2 is provided, and a robot system information receiving unit 5 is provided based on the coordinate system of the robot 3 specified by the robot coordinate system specifying unit 6. The information about the robot system 1 received in is displayed on the display unit (application) of the AR device 2.

ロボット座標系特定部６は、座標系設定部７によってロボット座標系特定マーカＭ上に設定された座標系を基にロボット３の座標系を特定するように構成されている。また、本実施形態のロボット座標系特定マーカＭは、姿勢が一意に定められ、ロボット３の動作範囲内またはロボット自身に設置されている。 The robot coordinate system specifying unit 6 is configured to specify the coordinate system of the robot 3 based on the coordinate system set on the robot coordinate system specifying marker M by the coordinate system setting unit 7. Further, the robot coordinate system specific marker M of the present embodiment has a unique posture and is installed within the operating range of the robot 3 or in the robot itself.

このロボットシステム１は、ＡＲデバイス２でそれぞれの基準用マーカＡ，Ｂ・・・とロボット座標系特定用マーカＭを少なくとも２つ同時に検出することで、基準用マーカＡ，Ｂ・・・に対するロボット座標系特定用マーカＭ上に設定された座標系の位置や向きを認識するように構成されている。 The robot system 1 detects at least two reference markers A, B ... And a robot coordinate system identification marker M at the same time by the AR device 2, so that the robot for the reference markers A, B ... It is configured to recognize the position and orientation of the coordinate system set on the coordinate system specifying marker M.

＜実施例１：ロボット座標系特定用マーカ上に設定した座標系を基に位置合わせ＞
ここで、上記のように構成した本実施形態のロボットシステム１においては、「マーカ上に設定した座標系を基に位置合わせ」を行う一例を以下に説明する。 <Example 1: Alignment based on the coordinate system set on the robot coordinate system identification marker>
Here, in the robot system 1 of the present embodiment configured as described above, an example of performing "positioning based on the coordinate system set on the marker" will be described below.

図１に示すように、ＡＲグラフィックに基準用マーカＡ，Ｂを設置する。このとき、基準用マーカＡと基準用マーカＢはＡＲデバイス２で同時に検出できる範囲内に設ける。 As shown in FIG. 1, reference markers A and B are installed in the AR graphic. At this time, the reference marker A and the reference marker B are provided within a range that can be simultaneously detected by the AR device 2.

ＡＲデバイス２で基準用マーカＡと基準用マーカＢとを同時に検出する。これにより、ＡＲデバイス２で基準用マーカＡと基準用マーカＢのそれぞれの位置を認識させる。 The AR device 2 simultaneously detects the reference marker A and the reference marker B. As a result, the AR device 2 is made to recognize the positions of the reference marker A and the reference marker B.

次に、ロボット３の動作範囲内で、且つ、ＡＲデバイス２でいずれかの基準用マーカ（ここでは基準用マーカＡとする）と同時に検出できる範囲内にロボット座標系特定用マーカＭを設置する。 Next, the robot coordinate system identification marker M is installed within the operating range of the robot 3 and within the range that can be detected at the same time as any reference marker (here, the reference marker A) by the AR device 2. ..

ロボット３を動かし、ロボット３のツールでロボット座標系特定用マーカＭの原点、Ｘ方向点、Ｙ方向点をタッチアップ（原点座標系設定）する。これにより、ロボット座標系特定用マーカＭ上に座標系が設定される。 The robot 3 is moved, and the origin, the X direction point, and the Y direction point of the robot coordinate system identification marker M are touched up (origin coordinate system setting) by the tool of the robot 3. As a result, the coordinate system is set on the robot coordinate system identification marker M.

次に、ロボット座標系特定用マーカＭと基準用マーカＡをＡＲデバイス２で同時に検出する。これにより、ＡＲデバイス２でロボット座標系特定用マーカＭ上の座標系を認識させ、また、基準用マーカＡ、基準用マーカＢ、ロボット座標系特定用マーカＭのそれぞれの位置関係を認識させる。なお、ロボット座標系特定用マーカＭ上の座標系はロボット３の座標系を認識している。 Next, the robot coordinate system specifying marker M and the reference marker A are simultaneously detected by the AR device 2. As a result, the AR device 2 is made to recognize the coordinate system on the robot coordinate system specifying marker M, and is made to recognize the positional relationship between the reference marker A, the reference marker B, and the robot coordinate system specifying marker M. The coordinate system on the robot coordinate system specifying marker M recognizes the coordinate system of the robot 3.

そして、ロボット３側からＡＲデバイス２に（ロボットコントローラからＡＲデバイスコントローラに）ロボット座標系特定用マーカＭ上の座標系に対するロボット座標系を送信する。これにより、ＡＲデバイス２でロボット３の座標系を認識することができる。 Then, the robot coordinate system with respect to the coordinate system on the robot coordinate system specifying marker M is transmitted from the robot 3 side to the AR device 2 (from the robot controller to the AR device controller). As a result, the AR device 2 can recognize the coordinate system of the robot 3.

また、ＡＲデバイス２で基準用マーカＡ、Ｂが検出できる範囲内であれば、ＡＲグラフィックの表示位置のずれを抑えることができる。 Further, as long as the reference markers A and B can be detected by the AR device 2, the deviation of the display position of the AR graphic can be suppressed.

なお、ＡＲデバイス２でロボット３の座標系を認識した後には、ロボット座標系特定用マーカＭを設置場所から取り除いてもよい。 After the AR device 2 recognizes the coordinate system of the robot 3, the robot coordinate system specifying marker M may be removed from the installation location.

＜実施例２：ロボットハンドに設置したロボット座標系特定用マーカに設定した座標系を基に位置合わせ＞
次に、図２に示すように、「ロボットのハンドに設置したマーカ（ツール座標系マーカ）に設定した座標系を基に位置合わせ」を行う一例を以下に説明する。 <Example 2: Alignment based on the coordinate system set in the robot coordinate system identification marker installed in the robot hand>
Next, as shown in FIG. 2, an example of performing "positioning based on the coordinate system set in the marker (tool coordinate system marker) installed in the robot's hand" will be described below.

ＡＲグラフィックに基準用マーカＡ，Ｂを設置する。このとき、基準用マーカＡと基準用マーカＢはＡＲデバイス２で同時に検出できる範囲内に設ける。 Reference markers A and B are installed on the AR graphic. At this time, the reference marker A and the reference marker B are provided within a range that can be simultaneously detected by the AR device 2.

ＡＲデバイス２で基準用マーカＡと基準用マーカＢとを同時に検出する。これにより、ＡＲデバイス２で基準用マーカＡと基準用マーカＢのそれぞれの位置を認識させる。 The AR device 2 simultaneously detects the reference marker A and the reference marker B. As a result, the AR device 2 is made to recognize the positions of the reference marker A and the reference marker B.

次に、ロボット３のハンドにロボット座標系特定用マーカＭを設置する。設置したロボット座標系特定用マーカＭに対してツール座標系を設定する。 Next, the robot coordinate system identification marker M is installed in the hand of the robot 3. The tool coordinate system is set for the installed robot coordinate system identification marker M.

ロボット座標系特定用マーカＭと基準用マーカＡをＡＲデバイス２で同時に検出する。これにより、ＡＲデバイス２でロボット座標系特定用マーカＭ上のツール座標系を認識させ、また、基準用マーカＡ、基準用マーカＢ、ロボット座標系特定用マーカＭのそれぞれの位置関係を認識させる。なお、ロボット座標系特定用マーカＭ上のツール座標系はロボット３の座標系を認識している。 The robot coordinate system specifying marker M and the reference marker A are simultaneously detected by the AR device 2. As a result, the AR device 2 is made to recognize the tool coordinate system on the robot coordinate system identification marker M, and is made to recognize the positional relationship between the reference marker A, the reference marker B, and the robot coordinate system identification marker M. .. The tool coordinate system on the robot coordinate system specifying marker M recognizes the coordinate system of the robot 3.

そして、ロボット３側からＡＲデバイス２に（ロボットコントローラからＡＲデバイスコントローラに）ロボット座標系特定用マーカＭ上の座標系に対するロボット座標系を送信する。これにより、ＡＲデバイス２でロボット３の座標系を認識することができる。 Then, the robot coordinate system with respect to the coordinate system on the robot coordinate system specifying marker M is transmitted from the robot 3 side to the AR device 2 (from the robot controller to the AR device controller). As a result, the AR device 2 can recognize the coordinate system of the robot 3.

また、ＡＲデバイス２で基準用マーカＡ、Ｂが検出できる範囲内であれば、ＡＲグラフィックの表示位置のずれを抑えることができる。 Further, as long as the reference markers A and B can be detected by the AR device 2, the deviation of the display position of the AR graphic can be suppressed.

なお、ＡＲデバイス２でロボット３の座標系を認識した後には、ロボット座標系特定用マーカＭを設置場所から取り除いてもよい。 After the AR device 2 recognizes the coordinate system of the robot 3, the robot coordinate system specifying marker M may be removed from the installation location.

したがって、本実施形態のロボットシステム１においては、ロボット３の機種に依存せず、比較的容易にロボット３の位置または向きをＡＲデバイス２で認識できる。また、ＡＲデバイス２の移動範囲内に基準用マーカＡ，Ｂ・・・を設置しておくことで、基準用マーカＡ，Ｂ・・・を検出できる範囲内であれば、ＡＲグラフィックの表示位置のずれを抑えることが可能になる。 Therefore, in the robot system 1 of the present embodiment, the position or orientation of the robot 3 can be relatively easily recognized by the AR device 2 without depending on the model of the robot 3. Further, by installing the reference markers A, B ... Within the moving range of the AR device 2, the display position of the AR graphic is within the range where the reference markers A, B ... Can be detected. It becomes possible to suppress the deviation of.

よって、本実施形態のロボットシステム１によれば、ロボット３の機種に依存せず、常時ＡＲデバイス２とロボット座標系特定用マーカＭの位置関係が正確に測定でき、比較的容易で精度よくロボット３の位置または向きをＡＲデバイス２で認識することが可能になる。 Therefore, according to the robot system 1 of the present embodiment, the positional relationship between the AR device 2 and the robot coordinate system identification marker M can be accurately measured at all times without depending on the model of the robot 3, and the robot is relatively easy and accurate. The position or orientation of 3 can be recognized by the AR device 2.

また、本実施形態のロボットシステム１においては、図３に示すように、３つ以上の基準用マーカＡ，Ｂ，Ｃ，Ｄ・・・を設けた場合、適宜基準用マーカＡ，Ｂ，Ｃ，Ｄ・・・を２つずつ同時に検出することによって、どの基準用マーカＡ，Ｂ，Ｃ，Ｄ・・・からもロボット座標系を認識することが可能になる。 Further, in the robot system 1 of the present embodiment, as shown in FIG. 3, when three or more reference markers A, B, C, D ... Are provided, the reference markers A, B, C are appropriately provided. By simultaneously detecting two, D ..., The robot coordinate system can be recognized from any reference markers A, B, C, D ...

さらに、図４に示すように、ＡＲデバイス２でいずれかの基準用マーカＡ，Ｂ，Ｃ，Ｄ・・・を検出していれば、ＡＲグラフィックの表示のずれを抑えることが可能である。 Further, as shown in FIG. 4, if any of the reference markers A, B, C, D ... Is detected by the AR device 2, it is possible to suppress the deviation of the AR graphic display.

以上、ロボットシステムの一実施形態について説明したが、上記の一実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で適宜変更可能である。 Although one embodiment of the robot system has been described above, the present invention is not limited to the above-mentioned one embodiment, and can be appropriately changed as long as the purpose is not deviated.

１ ロボットシステム
２ ＡＲデバイス（拡張現実表示装置）
３ ロボット
４ マーカ検出部（指標検出部）
５ ロボットシステム情報受信部
６ ロボット座標系特定部
７ 座標系設定部
８ 座標系情報送信部
Ａ〜Ｄ 基準用マーカ（基準用指標）
Ｍ ロボット座標系特定用マーカ（ロボット座標系特定用指標） 1 Robot system 2 AR device (Augmented reality display device)
3 Robot 4 Marker detection unit (index detection unit)
5 Robot system information receiving unit 6 Robot coordinate system specifying unit 7 Coordinate system setting unit 8 Coordinate system information transmitting unit A to D Reference marker (reference index)
M Robot coordinate system identification marker (robot coordinate system identification index)

Claims (3)

座標が明確な基準用の特徴点を有し、所定の位置に設置された少なくとも１つ以上の基準用指標と、
ロボットの動作範囲内に設けられ、ロボット座標系を特定するための特定用の特徴点を有するロボット座標系特定用指標と、
１回の検出操作で少なくとも１つの前記基準用指標と前記ロボット座標系特定用指標とを同時に検出する指標検出部と、
ロボットシステムに関する情報を受信するロボットシステム情報受信部と、
前記指標検出部により検出された前記ロボット座標系特定用指標の少なくとも位置と前記ロボットシステム情報受信部により受信された座標系情報とからロボットの座標系を特定するロボット座標系特定部と、
前記ロボット座標系特定部により特定されたロボットの座標系を基に前記ロボットシステム情報受信部により受信されたロボットシステムに関する情報を表示するための拡張現実表示装置と、
ロボットを指定の位置へ動かすことにより原点座標系を設定する座標系設定部と、
前記座標系設定部により設定された座標系情報を前記拡張現実表示装置へ送信する座標系情報送信部と、
を備える、ロボットシステム。 With at least one reference index with well-defined reference feature points and in place.
A robot coordinate system identification index that is provided within the robot's operating range and has specific feature points for specifying the robot coordinate system.
An index detection unit that simultaneously detects at least one reference index and the robot coordinate system identification index in one detection operation.
A robot system information receiver that receives information about the robot system,
A robot coordinate system specifying unit that identifies the robot coordinate system from at least the position of the robot coordinate system specifying index detected by the index detecting unit and the coordinate system information received by the robot system information receiving unit.
An augmented reality display device for displaying information about the robot system received by the robot system information receiving unit based on the robot coordinate system specified by the robot coordinate system specifying unit.
A coordinate system setting unit that sets the origin coordinate system by moving the robot to a specified position,
A coordinate system information transmission unit that transmits the coordinate system information set by the coordinate system setting unit to the augmented reality display device, and a coordinate system information transmission unit.
A robot system equipped with. 前記ロボット座標系特定部は、前記座標系設定部によって前記ロボット座標系特定用指標上に設定された座標系を基にロボットの座標系を特定する、
請求項１に記載のロボットシステム。 The robot coordinate system specifying unit identifies the robot coordinate system based on the coordinate system set on the robot coordinate system specifying index by the coordinate system setting unit.
The robot system according to claim 1. 前記ロボット座標系特定用指標は、姿勢が一意に定められ、ロボットの動作範囲内またはロボット自身に設置する、
請求項１または請求項２に記載のロボットシステム。 The posture of the robot coordinate system identification index is uniquely determined, and the robot is installed within the operating range of the robot or in the robot itself.
The robot system according to claim 1 or 2.
JP2019189938A 2019-10-17 2019-10-17 robot system Active JP7359633B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019189938A JP7359633B2 (en) 2019-10-17 2019-10-17 robot system
US17/026,369 US11400602B2 (en) 2019-10-17 2020-09-21 Robot system
DE102020212013.7A DE102020212013A1 (en) 2019-10-17 2020-09-24 Robotic system
CN202011103367.8A CN112677148A (en) 2019-10-17 2020-10-15 Robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019189938A JP7359633B2 (en) 2019-10-17 2019-10-17 robot system

Publications (2)

Publication Number Publication Date
JP2021062463A true JP2021062463A (en) 2021-04-22
JP7359633B2 JP7359633B2 (en) 2023-10-11

Family

ID=75268772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019189938A Active JP7359633B2 (en) 2019-10-17 2019-10-17 robot system

Country Status (4)

Country Link
US (1) US11400602B2 (en)
JP (1) JP7359633B2 (en)
CN (1) CN112677148A (en)
DE (1) DE102020212013A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190552B1 (en) * 2021-11-05 2022-12-15 株式会社ダイヘン Robot teaching system
EP4177837A1 (en) 2021-11-05 2023-05-10 DAIHEN Corporation Marker detection apparatus and robot teaching system
EP4177838A1 (en) 2021-11-05 2023-05-10 DAIHEN Corporation Marker detection apparatus and robot teaching system
EP4289565A1 (en) 2022-06-09 2023-12-13 DAIHEN Corporation Device, method and program for marker position registration and corresponding marker

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3946825A1 (en) * 2019-03-25 2022-02-09 ABB Schweiz AG Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014180720A (en) * 2013-03-19 2014-09-29 Yaskawa Electric Corp Robot system and calibration method
WO2019046559A1 (en) * 2017-08-30 2019-03-07 Linkedwyz Using augmented reality for controlling intelligent devices

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
NO317898B1 (en) * 2002-05-24 2004-12-27 Abb Research Ltd Procedure and system for programming an industrial robot
DE10305384A1 (en) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Method and device for visualizing computer-aided information
SE526119C2 (en) * 2003-11-24 2005-07-05 Abb Research Ltd Method and system for programming an industrial robot
US7236854B2 (en) * 2004-01-05 2007-06-26 Abb Research Ltd. Method and a system for programming an industrial robot
DE102005061211B4 (en) * 2004-12-22 2023-04-06 Abb Schweiz Ag Method for creating a human-machine user interface
JP5423406B2 (en) * 2010-01-08 2014-02-19 ソニー株式会社 Information processing apparatus, information processing system, and information processing method
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP2015001875A (en) * 2013-06-17 2015-01-05 ソニー株式会社 Image processing apparatus, image processing method, program, print medium, and print-media set
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9964765B2 (en) * 2015-09-11 2018-05-08 The Boeing Company Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object
US10078916B2 (en) * 2016-07-01 2018-09-18 Invia Robotics, Inc. Pick to augmented reality
EP3737537A4 (en) * 2017-11-20 2022-05-04 Kindred Systems Inc. Systems, devices, articles, and methods for calibration of rangefinders and robots
WO2019189661A1 (en) * 2018-03-29 2019-10-03 国立大学法人奈良先端科学技術大学院大学 Learning dataset creation method and device
US11850755B2 (en) * 2018-06-26 2023-12-26 Fanuc America Corporation Visualization and modification of operational bounding zones using augmented reality
JP6856583B2 (en) * 2018-07-25 2021-04-07 ファナック株式会社 Sensing system, work system, augmented reality image display method, augmented reality image storage method, and program
KR102619004B1 (en) * 2018-12-14 2023-12-29 삼성전자 주식회사 Robot control apparatus and method for learning task skill of the robot
JP7260428B2 (en) * 2019-07-18 2023-04-18 ファナック株式会社 Augmented reality glasses device and display program
US10665036B1 (en) * 2019-08-03 2020-05-26 VIRNECT inc. Augmented reality system and method with dynamic representation technique of augmented images
US10719993B1 (en) * 2019-08-03 2020-07-21 VIRNECT inc. Augmented reality system and method with space and object recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014180720A (en) * 2013-03-19 2014-09-29 Yaskawa Electric Corp Robot system and calibration method
WO2019046559A1 (en) * 2017-08-30 2019-03-07 Linkedwyz Using augmented reality for controlling intelligent devices

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190552B1 (en) * 2021-11-05 2022-12-15 株式会社ダイヘン Robot teaching system
EP4177015A1 (en) 2021-11-05 2023-05-10 DAIHEN Corporation Robot teaching system
EP4177837A1 (en) 2021-11-05 2023-05-10 DAIHEN Corporation Marker detection apparatus and robot teaching system
EP4177838A1 (en) 2021-11-05 2023-05-10 DAIHEN Corporation Marker detection apparatus and robot teaching system
KR20230065880A (en) 2021-11-05 2023-05-12 가부시키가이샤 다이헨 Marker detecting device and robot teaching system
KR20230065879A (en) 2021-11-05 2023-05-12 가부시키가이샤 다이헨 Marker detecting device and robot teaching system
KR20230065881A (en) 2021-11-05 2023-05-12 가부시키가이샤 다이헨 Robot teaching system
JP2023069373A (en) * 2021-11-05 2023-05-18 株式会社ダイヘン Marker detection apparatus and robot teaching system
JP2023069265A (en) * 2021-11-05 2023-05-18 株式会社ダイヘン Marker detection apparatus and robot teaching system
TWI806761B (en) * 2021-11-05 2023-06-21 日商達誼恆股份有限公司 Mark detection device and robot teaching system
TWI806762B (en) * 2021-11-05 2023-06-21 日商達誼恆股份有限公司 Mark detection device and robot teaching system
EP4289565A1 (en) 2022-06-09 2023-12-13 DAIHEN Corporation Device, method and program for marker position registration and corresponding marker
KR20230169836A (en) 2022-06-09 2023-12-18 가부시키가이샤 다이헨 A non-transitory computer readable medium to store a marker location registration program, a marker location registration device, a marker location registration method and a marker used in said method

Also Published As

Publication number Publication date
JP7359633B2 (en) 2023-10-11
US11400602B2 (en) 2022-08-02
CN112677148A (en) 2021-04-20
DE102020212013A1 (en) 2021-04-22
US20210114231A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
JP2021062463A (en) Robot system
US11565427B2 (en) Robot system
CN101909828B (en) Method and system for the high-precision positioning of at least one object in a final location in space
CN104758066B (en) Equipment for surgical navigation and surgical robot
EP1215017B1 (en) Robot teaching apparatus
JP6855492B2 (en) Robot system, robot system control device, and robot system control method
JP6235664B2 (en) Measuring device used to calibrate mechanism parameters of robot
CN110621447B (en) Robot conveyor calibration method, robot system and control system
JP2008046687A (en) Photographic environment calibration method and information processor
WO2019193859A1 (en) Camera calibration method, camera calibration device, camera calibration system and camera calibration program
JP2012223871A (en) Origin correction method and system of robot joint
JP7414395B2 (en) Information projection system, control device, and information projection control method
JP5446887B2 (en) Control device, robot, robot system, and robot tracking method
US8717579B2 (en) Distance measuring device using a method of spanning separately targeted endpoints
US20230249341A1 (en) Robot teaching method and robot working method
JP2009279677A (en) Robot control apparatus which carries out position teaching of robot using measuring device
JP3754340B2 (en) Position detection device
JPH04269194A (en) Plane measuring method
EP4382258A1 (en) Robot control device, robot control system, and robot control method
KR101122857B1 (en) Vision tracking system and method using landmarks
WO2020235694A1 (en) Spatial recognition system, spatial recognition device, spatial recognition method, and program
JP4259910B2 (en) Robot teaching method and teaching apparatus
WO2022190240A1 (en) Work information projection system and relative information calibration method
JP2023180509A (en) Marker position registration program, marker position registration device, marker position registration method, and marker for use in the method
JP2006051550A (en) Position teaching device and position teaching method to mover

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230928

R150 Certificate of patent or registration of utility model

Ref document number: 7359633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150