JP2018144228A - Robot control apparatus, robot, robot system, teaching method, and program - Google Patents

Robot control apparatus, robot, robot system, teaching method, and program Download PDF

Info

Publication number
JP2018144228A
JP2018144228A JP2018122129A JP2018122129A JP2018144228A JP 2018144228 A JP2018144228 A JP 2018144228A JP 2018122129 A JP2018122129 A JP 2018122129A JP 2018122129 A JP2018122129 A JP 2018122129A JP 2018144228 A JP2018144228 A JP 2018144228A
Authority
JP
Japan
Prior art keywords
robot
unit
gripping
image
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018122129A
Other languages
Japanese (ja)
Inventor
大内 真
Makoto Ouchi
真 大内
Original Assignee
セイコーエプソン株式会社
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社, Seiko Epson Corp filed Critical セイコーエプソン株式会社
Priority to JP2018122129A priority Critical patent/JP2018144228A/en
Publication of JP2018144228A publication Critical patent/JP2018144228A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To teach a robot various kinds of robot's motion more easily.SOLUTION: A robot control apparatus includes: a display part for displaying an image of a robot; a receiving section for receiving an operation to the image of the robot displayed by the display part; and a teaching section for teaching the robot robot's motion. The display part displays an image indicating movement of a grip part of the robot, rotation of the grip part, or opening/closing of the grip part in response to the operation. The teaching section teaches the robot the movement of the grip part of the robot, the rotation of the grip part, or the opening/closing of the grip part in response to the operation.SELECTED DRAWING: Figure 1

Description

本発明は、ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラムに関する。   The present invention relates to a robot control device, a robot, a robot system, a teaching method, and a program.
特許文献1には、タッチスクリーンにロボットのCG映像を表示し、当該タッチスクリーン上でロボットのCG映像を仮想的に動作させ、当該仮想的な動作に追従するようにロボットを動作させるロボットシステムが記載されている。また、特許文献1では、例えば、ドラッグ操作によりCG映像のアームの関節角度を変更することが記載されている。   Patent Document 1 discloses a robot system that displays a CG image of a robot on a touch screen, virtually operates the CG image of the robot on the touch screen, and operates the robot so as to follow the virtual operation. Have been described. Patent Document 1 describes, for example, that the joint angle of the arm of the CG image is changed by a drag operation.
特開2012−171024号公報JP 2012-171024 A
しかしながら、特許文献1では、実際にロボットの作業に必要な動作を、十分に教示することができない。例えば、ハンドで対象物を把持する動作を教示する場合、アームの角度の変更、ハンドの開閉、ハンドの対象物への位置合わせ等、様々な教示をする必要があり、操作が複雑である。また、実際にハンドで対象物を把持できるように、タッチスクリーン上で、アームの角度の変更、ハンドの開閉、ハンドの対象物への位置合わせ等を詳細に教示するのは、困難である。   However, in Patent Document 1, it is not possible to sufficiently teach the operation actually required for the robot operation. For example, when teaching an operation of gripping an object with a hand, it is necessary to provide various teachings such as changing the angle of the arm, opening and closing the hand, positioning the hand to the object, and the operation is complicated. In addition, it is difficult to teach in detail on the touch screen how to change the angle of the arm, open and close the hand, align the hand with the target, and the like so that the target can actually be gripped by the hand.
そこで、本発明は、より容易にロボットの多種多様な動作の教示を行うことを目的とする。   Accordingly, an object of the present invention is to teach a variety of operations of a robot more easily.
上記の課題を解決する本発明の第一態様は、ロボット制御装置であって、ロボットの画像を表示する表示部と、前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、前記ロボットの動作を教示する教示部と、を備え、前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する。これにより、画像の様々な操作に応じた動作を表すロボットの画像が表示され、この動作に対応する教示が行われるため、より容易にロボットの多種多様な動作の教示を行うことができる。   A first aspect of the present invention that solves the above problem is a robot control device, a display unit that displays an image of a robot, a reception unit that receives an operation on the image of the robot displayed by the display unit, A teaching unit that teaches the operation of the robot, and the display unit displays an image representing movement of the gripping part of the robot, rotation of the gripping part, or opening / closing of the gripping part according to the operation. The teaching unit teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part in accordance with the operation. As a result, a robot image representing operations corresponding to various operations on the image is displayed, and teaching corresponding to these operations is performed. Therefore, teaching of various operations of the robot can be performed more easily.
前記ロボット制御装置において、前記受付部は、画面上の接触位置の動きを前記操作として受け付ける、ようにしてもよい。これにより、画像が表示される画面上でタッチ操作等により操作を行えるため、より直感的にロボットの動作を教示することができる。   In the robot control apparatus, the receiving unit may receive a movement of a contact position on a screen as the operation. As a result, the operation of the robot can be taught more intuitively because the operation can be performed by a touch operation or the like on the screen on which the image is displayed.
前記ロボット制御装置において、前記受付部が、前記把持部の画像上から対象物の画像上まで前記接触位置を移動する操作を受け付けた場合、前記表示部は、前記把持部を前記対象物まで移動して把持する動作を表す画像を表示し、前記教示部は、前記把持部を前記対象物まで移動して把持する動作を前記ロボットに教示する、ようにしてもよい。これにより、把持動作を教示する際に、ロボットの詳細な動作を入力しなくても、ドラッグ等の移動操作で、より容易にロボットの把持動作を教示することができる。   In the robot control device, when the receiving unit receives an operation of moving the contact position from the image of the gripping unit to the image of the target, the display unit moves the gripping unit to the target Then, an image representing a gripping operation may be displayed, and the teaching unit may teach the robot to move and grip the gripping unit to the object. Thereby, when teaching the gripping operation, the gripping operation of the robot can be taught more easily by a moving operation such as dragging without inputting the detailed operation of the robot.
前記ロボット制御装置において、前記受付部は、前記把持部の画像を選択した状態で対象物の画像を選択する操作を受け付けた場合、前記表示部は、前記把持部を前記対象物まで移動して把持する動作を表す画像を表示し、前記教示部は、前記把持部を前記対象物まで移動して把持する動作を前記ロボットに教示する、ようにしてもよい。これにより、把持動作を教示する際に、ロボットの詳細な動作を入力しなくても、タップ操作等の選択操作で、より容易にロボットの把持動作を教示することができる。   In the robot control apparatus, when the reception unit receives an operation of selecting an object image in a state where the image of the grip unit is selected, the display unit moves the grip unit to the target object. An image representing a gripping operation may be displayed, and the teaching unit may teach the robot to perform a gripping operation by moving the gripping unit to the object. Thereby, when teaching the gripping operation, the gripping operation of the robot can be taught more easily by the selection operation such as the tap operation without inputting the detailed operation of the robot.
前記ロボット制御装置において、前記受付部は、前記対象物の画像上の前記接触位置を、把持位置として受け付け、前記表示部は、前記把持部を前記把持位置まで移動して把持する動作を表す画像を表示し、前記教示部は、前記把持部を前記把持位置まで移動して把持する動作を前記ロボットに教示する、ようにしてもよい。これにより、ドラッグ等の移動操作やタップ操作等の選択操作を行いつつ、把持位置を容易に教示することができる。   In the robot control apparatus, the accepting unit accepts the contact position on the image of the target object as a gripping position, and the display unit represents an operation of moving and gripping the gripping part to the gripping position. May be displayed, and the teaching unit may teach the robot to move and hold the gripping unit to the gripping position. Thus, the grip position can be easily taught while performing a selection operation such as a drag operation or a tap operation.
前記ロボット制御装置において、前記対象物を撮像した撮像画像を取得する画像取得部を備え、前記表示部は、前記撮像画像に基づいて前記対象物の画像を生成し、表示する、ようにしてもよい。これにより、実際の対象物に対する動作を簡単に教示できる。   The robot control device may further include an image acquisition unit that acquires a captured image obtained by capturing the target object, and the display unit may generate and display an image of the target object based on the captured image. Good. Thereby, the operation | movement with respect to an actual target object can be taught easily.
前記ロボット制御装置において、前記受付部が、前記接触位置を、円弧を描くように移動させる操作を受け付けた場合、前記表示部は、前記把持部を回転する動作を表す画像を表示し、前記教示部は、前記把持部を回転させる動作を前記ロボットに教示する、ようにしてもよい。これにより、把持部の回転動作を容易に教示することができる。   In the robot control device, when the receiving unit receives an operation of moving the contact position so as to draw an arc, the display unit displays an image representing an operation of rotating the gripping unit, and the teaching The unit may teach the robot to perform an operation of rotating the grip unit. Thereby, the rotation operation of the grip portion can be easily taught.
前記ロボット制御装置において、前記接触位置には、第一接触位置と第二接触位置が含まれ、前記受付部が、前記第一接触位置と前記第二接触位置とを近づける又は遠ざける操作を受け付けた場合、前記表示部は、前記把持部を閉じる又は開く動作を表す画像を表示し、前記教示部は、前記把持部を閉じる又は開く動作を前記ロボットに教示する、ようにしてもよい。これにより、把持部の開閉動作を容易に教示することができる。   In the robot control apparatus, the contact position includes a first contact position and a second contact position, and the reception unit has received an operation of moving the first contact position and the second contact position closer to or away from each other. In this case, the display unit may display an image representing an operation of closing or opening the gripping unit, and the teaching unit may teach the robot to close or open the gripping unit. Thereby, the opening / closing operation | movement of a holding part can be taught easily.
前記ロボット制御装置において、前記受付部が、前記画面上の所定の領域で、前記接触位置を移動させる操作を受け付けた場合、前記表示部は、視点を変更して前記把持部の画像を表示する、ようにしてもよい。これにより、視点の変更を容易に行うことができる。   In the robot control device, when the reception unit receives an operation of moving the contact position in a predetermined area on the screen, the display unit displays an image of the grip unit by changing a viewpoint. You may do it. Thereby, a viewpoint can be changed easily.
前記ロボット制御装置において、前記受付部は、前記画面上の接触位置の動きに替えて、ポインティングデバイスにより操作される前記画面上の指示画像が示す指示位置の動きを前記操作として受け付ける、ようにしてもよい。これにより、マウス等を用いても容易に教示を行うことができる。   In the robot control apparatus, the accepting unit accepts, as the operation, a movement of an instruction position indicated by an instruction image on the screen operated by a pointing device, instead of the movement of the contact position on the screen. Also good. Thereby, teaching can be easily performed even using a mouse or the like.
上記の課題を解決する本発明の第二態様は、ロボットであって、前記ロボットの画像を表示する表示部と、前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、前記ロボットの動作を教示する教示部と、を備え、前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する。これにより、画像の様々な操作に応じた動作を表すロボットの画像が表示され、この動作に対応する教示が行われるため、より容易にロボットの多種多様な動作の教示を行うことができる。   A second aspect of the present invention that solves the above problem is a robot, wherein the display unit displays an image of the robot, a reception unit that receives an operation on the image of the robot displayed by the display unit, A teaching unit that teaches the operation of the robot, and the display unit displays an image representing movement of the gripping part of the robot, rotation of the gripping part, or opening / closing of the gripping part according to the operation. The teaching unit teaches the robot to move the gripping unit of the robot, rotate the gripping unit, or open / close the gripping unit according to the operation. As a result, a robot image representing operations corresponding to various operations on the image is displayed, and teaching corresponding to these operations is performed. Therefore, teaching of various operations of the robot can be performed more easily.
上記の課題を解決する本発明の第三態様は、ロボットと、前記ロボットを制御するロボット制御装置とを備えるロボットシステムであって、前記ロボットの画像を表示する表示部と、前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、前記ロボットの動作を教示する教示部と、を備え、前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する。これにより、画像の様々な操作に応じた動作を表すロボットの画像が表示され、この動作に対応する教示が行われるため、より容易にロボットの多種多様な動作の教示を行うことができる。   A third aspect of the present invention that solves the above problem is a robot system including a robot and a robot control device that controls the robot, the display unit displaying an image of the robot, and the display by the display unit A receiving unit that receives an operation on the image of the robot, and a teaching unit that teaches the operation of the robot, and the display unit moves the gripping unit of the robot according to the operation, and the gripping unit Image indicating rotation or opening / closing of the gripping unit, and the teaching unit moves the gripping unit of the robot, rotates the gripping unit, or opens / closes the gripping unit according to the operation. Teach the robot. As a result, a robot image representing operations corresponding to various operations on the image is displayed, and teaching corresponding to these operations is performed. Therefore, teaching of various operations of the robot can be performed more easily.
上記の課題を解決する本発明の第四態様は、ロボットの動作の教示方法であって、前記ロボットの画像を表示する表示ステップと、前記表示ステップで表示された前記ロボットの画像に対する操作を受け付ける受付ステップと、前記ロボットの動作を教示する教示部ステップ、を含み、前記表示ステップは、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、前記教示ステップは、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する。これにより、画像の様々な操作に応じた動作を表すロボットの画像が表示され、この動作に対応する教示が行われるため、より容易にロボットの多種多様な動作の教示を行うことができる。   A fourth aspect of the present invention that solves the above problem is a robot motion teaching method, comprising: a display step for displaying an image of the robot; and an operation for the image of the robot displayed in the display step. A receiving step and a teaching unit step for teaching the operation of the robot, and the display step moves the gripping unit of the robot, rotates the gripping unit, or opens and closes the gripping unit according to the operation. The teaching step teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part according to the operation. As a result, a robot image representing operations corresponding to various operations on the image is displayed, and teaching corresponding to these operations is performed. Therefore, teaching of various operations of the robot can be performed more easily.
上記の課題を解決する本発明の第五態様は、ロボット制御装置のプログラムであって、ロボットの画像を表示する表示部と、前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、前記ロボットの動作を教示する教示部として、前記ロボット制御装置を機能させ、前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する。これにより、画像の様々な操作に応じた動作を表すロボットの画像が表示され、この動作に対応する教示が行われるため、より容易にロボットの多種多様な動作の教示を行うことができる。   A fifth aspect of the present invention that solves the above problem is a program for a robot control apparatus, which includes a display unit that displays an image of the robot, and a reception unit that receives an operation on the image of the robot displayed by the display unit And the robot control device functions as a teaching unit for teaching the operation of the robot, and the display unit moves the gripping unit of the robot, rotates the gripping unit, or the gripping unit according to the operation. The teaching unit teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part in accordance with the operation. As a result, a robot image representing operations corresponding to various operations on the image is displayed, and teaching corresponding to these operations is performed. Therefore, teaching of various operations of the robot can be performed more easily.
本発明の一実施形態に係るロボットシステムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the robot system which concerns on one Embodiment of this invention. ロボットシステムの機能構成の一例を示す図である。It is a figure which shows an example of a function structure of a robot system. ロボット制御装置の機能を実現するハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions which implement | achieve the function of a robot control apparatus. 教示処理の一例を示すフロー図(その1)である。It is a flowchart (the 1) which shows an example of a teaching process. 教示処理の一例を示すフロー図(その2)である。It is a flowchart (the 2) which shows an example of a teaching process. タッチパネル上の操作及び表示の一例を示す図(その1)である。It is FIG. (1) which shows an example of operation and a display on a touch panel. タッチパネル上の操作及び表示の一例を示す図(その2)である。It is FIG. (2) which shows an example of operation and a display on a touch panel. タッチパネル上の操作及び表示の一例を示す図(その3)である。It is FIG. (3) which shows an example of operation and a display on a touch panel.
本発明の一実施形態について、図面を参照して説明する。   An embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態に係るロボットシステムの概略構成の一例を示す図である。   FIG. 1 is a diagram illustrating an example of a schematic configuration of a robot system according to an embodiment of the present invention.
ロボットシステム1は、ロボット2と、ロボット制御装置3とを有する。ロボット2とロボット制御装置3は、通信可能に接続される。また、ロボット制御装置3には、操作端末4が通信可能に接続される。   The robot system 1 includes a robot 2 and a robot control device 3. The robot 2 and the robot control device 3 are connected to be communicable. In addition, the operation terminal 4 is connected to the robot control device 3 so as to be communicable.
ロボット2は、ロボット制御装置3からの指示に従って作業を行う。ロボット2は、例えば、作業台Tの近くに配置され、作業台T上の所定の作業領域内で作業を行う。ロボット2の作業内容は特に限定されないが、例えば、対象物(以下、「ワーク」ともいう)Wを把持したり、把持したワークWを移動したり、複数のワークWを組み合わせたりする作業がある。   The robot 2 performs work according to instructions from the robot control device 3. The robot 2 is disposed near the work table T, for example, and performs work in a predetermined work area on the work table T. Although the work content of the robot 2 is not particularly limited, for example, there is a work of gripping an object (hereinafter also referred to as “work”) W, moving the gripped work W, or combining a plurality of works W. .
ロボット2は、胴部20と、アーム21と、ハンド22と、脚部24と、頭部25とを有する。頭部25には、2台の撮像装置26が設けられている。なお、ハンド22は、本発明の把持部に相当する。   The robot 2 includes a body part 20, an arm 21, a hand 22, a leg part 24, and a head part 25. The head 25 is provided with two imaging devices 26. The hand 22 corresponds to the gripping part of the present invention.
アーム21は、胴部20に設けられる。アーム21は、一以上のジョイント(「回転軸」ともいう)21a及び一以上のアーム部材(「リンク」ともいう)21bを含む。   The arm 21 is provided on the trunk portion 20. The arm 21 includes one or more joints (also referred to as “rotary shafts”) 21 a and one or more arm members (also referred to as “links”) 21 b.
ジョイント21aには、それらを動作させるためのアクチュエーター(図示せず)が設けられる。アクチュエーターは、例えば、サーボモーターやエンコーダーなどを備える。エンコーダーが出力するエンコーダー値は、ロボット2のフィードバック制御などに使用される。   The joint 21a is provided with an actuator (not shown) for operating them. The actuator includes, for example, a servo motor and an encoder. The encoder value output from the encoder is used for feedback control of the robot 2 and the like.
また、アーム21の先端には、力覚センサー21c(図示せず)が設けられる。力覚センサー21cは、ロボット2が出している力に対する反力として受けている力や、モーメントを検出するセンサーである。力覚センサー21cとしては、例えば、並進3軸方向の力成分と、回転3軸回りのモーメント成分の6成分を同時に検出することができる6軸力覚センサーを用いることができる。なお、力覚センサーは、6軸に限らず、例えば3軸でもよい。   Further, a force sensor 21 c (not shown) is provided at the tip of the arm 21. The force sensor 21c is a sensor that detects a force and a moment received as a reaction force with respect to the force generated by the robot 2. As the force sensor 21c, for example, a 6-axis force sensor capable of simultaneously detecting 6 components of a force component in the translational 3 axis direction and a moment component around the 3 rotation axes can be used. The force sensor is not limited to six axes, and may be, for example, three axes.
各回転軸を連動させることにより、アーム部材21bの姿勢を変化させ、アーム21の先端部などに設定された注目位置(「エンドポイント」ともいう)を、所定の可動範囲内で自在に移動させたり自由な方向へ向けたりすることができる。なお、エンドポイントの位置は、アームの先端部に限定されず、例えば、ハンド22の先端部などに設定されてもよい。   By linking each rotation axis, the posture of the arm member 21b is changed, and the position of interest (also referred to as “end point”) set at the tip of the arm 21 is freely moved within a predetermined movable range. Can be directed in any direction. Note that the position of the end point is not limited to the tip of the arm, and may be set at the tip of the hand 22, for example.
なお、アーム21は、マニピュレーターの一種ということができる。マニピュレーターは、エンドポイントの位置を移動させる機構であり、アームに限られず様々な形態をとることができる。また、マニピュレーターは、図示するように2本に限られず、1本あるいは3本以上設けるようにしてもよい。   The arm 21 can be said to be a kind of manipulator. The manipulator is a mechanism that moves the position of the end point, and is not limited to an arm and can take various forms. Further, the number of manipulators is not limited to two as shown in the figure, and one or three or more manipulators may be provided.
ハンド22は、アーム21の先端に設けられる。ハンド22は、例えば、複数の指を備え、少なくとも2本の指でワークを把持したり解放したりすることができる。以下では、ハンド22は、4本の指を備えているものとする。ハンド22は、アーム21の先端部に対して着脱可能であってもよい。なお、各指には、それらを動作させるためのアクチュエーター(図示せず)が設けられる。アクチュエーターは、例えば、サーボモーターやエンコーダーなどを備える。   The hand 22 is provided at the tip of the arm 21. The hand 22 includes, for example, a plurality of fingers, and can hold or release the workpiece with at least two fingers. In the following, it is assumed that the hand 22 has four fingers. The hand 22 may be detachable from the tip of the arm 21. Each finger is provided with an actuator (not shown) for operating them. The actuator includes, for example, a servo motor and an encoder.
なお、ハンド22は、エンドエフェクターの一種ということができる。エンドエフェクターは、ワークを把持したり、持ち上げたり、吊り上げたり、吸着したり、ワークを加工したりするための部材である。エンドエフェクターは、ハンド、フック、吸盤など、様々な形態をとることができる。また、エンドエフェクターは、一本のアームに対して複数設けるようにしてもよい。   The hand 22 can be said to be a kind of end effector. The end effector is a member for gripping, lifting, lifting, adsorbing, or processing a workpiece. The end effector can take various forms such as a hand, a hook, and a suction cup. Further, a plurality of end effectors may be provided for one arm.
撮像装置26は、作業台T上の作業領域、アーム21、ハンド22等を撮像することができるように頭部25に配置されている。撮像装置26は、撮像画像データをロボット2内の制御部(図示せず)や、ロボット制御装置3に出力する。撮像装置26は、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等を有するカメラである。本実施形態では、2台の撮像装置26によりステレオ画像を撮像し、画像処理により3次元の立体視、物体認識等が可能である。   The imaging device 26 is disposed on the head 25 so that the work area on the work table T, the arm 21, the hand 22, and the like can be imaged. The imaging device 26 outputs the captured image data to a control unit (not shown) in the robot 2 and the robot control device 3. The imaging device 26 is a camera having, for example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like. In the present embodiment, a stereo image is captured by the two imaging devices 26, and three-dimensional stereoscopic vision, object recognition, and the like can be performed by image processing.
もちろん、ロボット2の構成は図示した例に限られない。例えば、図1ではジョイント数が7個(7軸)の例が示されているが、ジョイントの数(「軸数」ともいう)やリンクの数を増減させてもよい。また、ジョイント、リンク、ハンド等の各種部材の形状、大きさ、配置、構造等も適宜変更してよい。   Of course, the configuration of the robot 2 is not limited to the illustrated example. For example, FIG. 1 shows an example in which the number of joints is seven (seven axes), but the number of joints (also referred to as “number of axes”) and the number of links may be increased or decreased. In addition, the shape, size, arrangement, structure, and the like of various members such as joints, links, and hands may be changed as appropriate.
ロボット制御装置3は、ロボット2の動作に関する操作入力をユーザーから受け付ける。例えば、ロボット制御装置3は、ロボット2のモデル画像等を、操作端末4又は表示装置96(図3参照)に出力し、表示させる。また、例えば、ロボット制御装置3は、操作端末4又は入力装置95(図3参照)を介して、ロボット2のモデル画像等に対する操作をユーザーから受け付ける。また、例えば、ロボット制御装置3は、受け付けたモデル画像に対する操作に基づいて、ロボット2の動作を示す教示情報を生成する。   The robot control device 3 receives an operation input related to the operation of the robot 2 from the user. For example, the robot control device 3 outputs a model image or the like of the robot 2 to the operation terminal 4 or the display device 96 (see FIG. 3) and displays it. Further, for example, the robot control device 3 receives an operation on the model image of the robot 2 from the user via the operation terminal 4 or the input device 95 (see FIG. 3). Further, for example, the robot control device 3 generates teaching information indicating the operation of the robot 2 based on an operation on the received model image.
また、ロボット制御装置3は、教示情報に基づいて、軌道計画に基づく位置制御、ビジュアルサーボ制御等によりロボット2を動作させる制御命令を生成し、生成した制御命令をロボット2に出力する。ロボット2は、ロボット制御装置3から出力された制御命令に従ってアクチュエーターを駆動させることで動作する。また、ロボット制御装置3は、撮像装置26を制御して、撮像を行わせ、撮像画像を取得する。   Further, the robot control device 3 generates a control command for operating the robot 2 by position control based on the trajectory plan, visual servo control, or the like based on the teaching information, and outputs the generated control command to the robot 2. The robot 2 operates by driving an actuator in accordance with a control command output from the robot control device 3. In addition, the robot control device 3 controls the imaging device 26 to perform imaging and acquire a captured image.
操作端末4は、ロボット制御装置3により制御され、ユーザーからの操作の入力、ユーザーに対する情報の出力等を行うユーザーインターフェイスとして機能する。本実施形態では、操作端末4は、タッチスクリーン、通信インターフェイス等を備える。タッチスクリーンは、例えば、静電容量型のタッチパネル、ディスプレイ等を備える。操作端末4は、例えば、タッチスクリーン上のユーザーの操作を表す操作信号を生成し、通信インターフェイスを介してロボット制御装置3に送信する。また、操作端末4は、例えば、ロボット制御装置3から、通信インターフェイスを介して画面情報を受信し、画面情報に応じた画面をタッチスクリーンに表示する。   The operation terminal 4 is controlled by the robot control device 3 and functions as a user interface for inputting an operation from the user, outputting information to the user, and the like. In the present embodiment, the operation terminal 4 includes a touch screen, a communication interface, and the like. The touch screen includes, for example, a capacitive touch panel, a display, and the like. For example, the operation terminal 4 generates an operation signal representing a user operation on the touch screen, and transmits the operation signal to the robot control device 3 via the communication interface. For example, the operation terminal 4 receives screen information from the robot control device 3 via a communication interface, and displays a screen corresponding to the screen information on the touch screen.
上記のロボットシステム1の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成例に限られない。また、一般的なロボットシステムが備える構成を排除するものではない。   The configuration of the robot system 1 described above is the main configuration in describing the features of the present embodiment, and is not limited to the above configuration example. Further, the configuration of a general robot system is not excluded.
例えば、撮像装置26は、ロボット2のアーム21の先端部分、胴部20などに設けられてもよい。また、例えば、撮像装置26は、天井、壁などに設置することもできる。また、例えば、撮像装置26に加えて、他の撮像装置を設けるようにしてもよい。また、例えば、撮像装置26は、ロボット制御装置3に接続されていてもよい。また、例えば、ロボット制御装置3は、制御部としてロボット2に内蔵されていてもよい。また、例えば、ロボット制御装置3の教示に関する機能は、ロボット制御装置3とは別の教示装置として設けられ、当該教示装置からロボット制御装置3又はロボット2の制御部に対して教示又は制御命令を送るようにしてもよい。   For example, the imaging device 26 may be provided on the tip portion of the arm 21 of the robot 2, the trunk portion 20, or the like. For example, the imaging device 26 can be installed on a ceiling, a wall, or the like. Further, for example, in addition to the imaging device 26, another imaging device may be provided. For example, the imaging device 26 may be connected to the robot control device 3. For example, the robot control apparatus 3 may be incorporated in the robot 2 as a control unit. Further, for example, the function related to teaching of the robot control device 3 is provided as a teaching device different from the robot control device 3, and a teaching or control command is sent from the teaching device to the control unit of the robot control device 3 or the robot 2. You may make it send.
図2は、ロボットシステムの機能構成の一例を示す図である。   FIG. 2 is a diagram illustrating an example of a functional configuration of the robot system.
ロボット2は、動作制御部200等を備える。ロボット制御装置3は、記憶部300、受付部310、表示部320、教示部330、画像取得部340、制御部350等を備える。   The robot 2 includes an operation control unit 200 and the like. The robot control device 3 includes a storage unit 300, a reception unit 310, a display unit 320, a teaching unit 330, an image acquisition unit 340, a control unit 350, and the like.
動作制御部200は、例えば、ロボット制御装置3から出力される移動指令値を含む制御命令と、各ジョイント21aのアクチュエーターのエンコーダー値等とに基づいて、エンドポイントの現在位置が移動指令値が示す目標位置となるように、各ジョイント21aのアクチュエーターを駆動させる。なお、エンドポイントの現在位置は、例えば各ジョイント21aのアクチュエーターにおけるエンコーダー値等から求めることができる。   The motion control unit 200 indicates the current position of the end point by the movement command value based on, for example, the control command including the movement command value output from the robot control device 3 and the encoder value of the actuator of each joint 21a. The actuator of each joint 21a is driven so that it may become a target position. Note that the current position of the end point can be obtained from, for example, an encoder value in the actuator of each joint 21a.
また、動作制御部200は、例えば、ロボット制御装置3から出力されるハンド22の各指に対する制御命令に従って、指定された移動量だけ指を閉じたり開いたりする。また、動作制御部200は、例えば、ロボット制御装置3から出力される所定のジョイントの回転させる制御命令に従って、指定された回転量だけ当該所定のジョイントを回転させる。   Further, the operation control unit 200 closes or opens the finger by a designated movement amount in accordance with, for example, a control command for each finger of the hand 22 output from the robot control device 3. In addition, for example, the operation control unit 200 rotates the predetermined joint by a specified rotation amount in accordance with a control command for rotating the predetermined joint output from the robot control device 3.
また、動作制御部200は、例えば、ロボット制御装置3からの指示に従って、撮像装置26を制御して撮像を行い、撮像画像を取得し、ロボット制御装置3に出力する。   Further, for example, the operation control unit 200 controls the imaging device 26 according to an instruction from the robot control device 3 to perform imaging, acquires a captured image, and outputs the captured image to the robot control device 3.
記憶部300は、モデル画像記憶部として、ワークWやロボット2等のモデル画像を記憶する。モデル画像は、例えば、3次元CG(コンピューターグラフィックス)である。ワークWのモデル画像は、ロボット2の異なる複数の作業内容に対応できるように、ワークWごとに用意することができる。また、ロボット2のモデル画像は、パーツ(ジョイント21a、アーム部材21b、ハンド22、ハンド22の指、頭部25、胴部20、脚部24等)ごとに用意することもできる。なお、3次元CGは、実物のロボット2のパーツやワークWをデフォルメしたもので構わない。   The storage unit 300 stores model images of the workpiece W, the robot 2, and the like as a model image storage unit. The model image is, for example, three-dimensional CG (computer graphics). A model image of the workpiece W can be prepared for each workpiece W so as to correspond to a plurality of different work contents of the robot 2. The model image of the robot 2 can also be prepared for each part (joint 21a, arm member 21b, hand 22, finger of hand 22, head 25, trunk 20, leg 24, etc.). The three-dimensional CG may be a deformed part of the actual robot 2 or the workpiece W.
受付部310は、操作端末4又は入力装置95(図3参照)を介してユーザーの操作を受け付ける。受付部310は、例えば、操作端末4又は表示装置96(図3参照)の画面上の操作を表す操作信号を、操作端末4又は入力装置95から受け付ける。受付部310については、後に詳述する。なお、以下では、入力手段として操作端末4のタッチスクリーンを用いる場合を中心に説明する。   The accepting unit 310 accepts a user operation via the operation terminal 4 or the input device 95 (see FIG. 3). The accepting unit 310 accepts an operation signal representing an operation on the screen of the operation terminal 4 or the display device 96 (see FIG. 3) from the operation terminal 4 or the input device 95, for example. The receiving unit 310 will be described in detail later. In the following, the case where the touch screen of the operation terminal 4 is used as the input means will be mainly described.
表示部320は、操作端末4又は表示装置96(図3参照)を介してユーザーに対して情報を表示する。表示部320は、例えば、操作端末4又は表示装置96にロボット2のモデル画像等を出力して表示させる。また、表示部320は、例えば、受付部310により受け付けた操作信号に応じた画面情報を生成し、操作端末4又は表示装置96に表示させる。表示部320については、後に詳述する。なお、以下では、表示手段として操作端末4を用いる場合を中心に説明する。   The display unit 320 displays information to the user via the operation terminal 4 or the display device 96 (see FIG. 3). The display unit 320 outputs and displays a model image of the robot 2 on the operation terminal 4 or the display device 96, for example. For example, the display unit 320 generates screen information corresponding to the operation signal received by the reception unit 310 and causes the operation terminal 4 or the display device 96 to display the screen information. The display unit 320 will be described in detail later. In the following, the case where the operation terminal 4 is used as the display means will be mainly described.
教示部330は、受付部310により受け付けた操作信号に基づいて、ロボット2の動作を示す教示情報を生成する。教示情報には、例えば、ハンド22を移動させる指示(目標位置等を含む)、ハンド22を開閉させる指示(指の移動量、移動方向(開閉のいずれか)等を含む)、ハンド22を回転させる指示(ジョイントの回転量、回転方向等を含む)等が含まれる。教示部330については、後に詳述する。   The teaching unit 330 generates teaching information indicating the operation of the robot 2 based on the operation signal received by the receiving unit 310. The teaching information includes, for example, an instruction to move the hand 22 (including a target position), an instruction to open / close the hand 22 (including a finger movement amount, a moving direction (either opening / closing), etc.), and rotating the hand 22 Instructions (including the amount of rotation of the joint, the direction of rotation, etc.). The teaching unit 330 will be described in detail later.
画像取得部340は、ロボット2に対して撮像の指示を送り、撮像装置26により撮像された撮像画像を取得する。また、画像取得部340は、撮像画像からワークW等の位置及び向きを認識する。例えば、画像取得部340は、パターンマッチング等により、記憶部300に格納されているワークWのモデル画像とマッチする形状を、撮像画像から抽出する。物体認識には、一般的な技術を採用することができるため、詳細な説明は省略する。   The image acquisition unit 340 sends an imaging instruction to the robot 2 and acquires a captured image captured by the imaging device 26. Further, the image acquisition unit 340 recognizes the position and orientation of the workpiece W or the like from the captured image. For example, the image acquisition unit 340 extracts a shape that matches the model image of the workpiece W stored in the storage unit 300 from the captured image by pattern matching or the like. Since general techniques can be adopted for object recognition, detailed description is omitted.
制御部350は、教示部330により生成された教示情報に基づいて、軌道計画に基づく位置制御、ビジュアルサーボ制御等によりロボット2を動作させる制御命令を生成し、生成した制御命令をロボット2に出力する。   Based on the teaching information generated by the teaching unit 330, the control unit 350 generates a control command for operating the robot 2 by position control based on the trajectory plan, visual servo control, and the like, and outputs the generated control command to the robot 2. To do.
例えば、制御部350は、ハンド22を移動させる指示が教示情報に含まれる場合、ロボット2から取得したエンドポイントの現在位置と教示情報に含まれる目標位置とに基づいて、軌道計画を行う。そして、制御部350は、計画した軌道に基づいて、ロボット2のエンドポイントを次に移動させる移動指令値を生成し、ロボット2に出力する。   For example, when an instruction to move the hand 22 is included in the teaching information, the control unit 350 performs a trajectory plan based on the current position of the end point acquired from the robot 2 and the target position included in the teaching information. Then, the control unit 350 generates a movement command value for moving the end point of the robot 2 next based on the planned trajectory, and outputs the movement command value to the robot 2.
なお、関節を持つロボット2では、各関節の角度を決定すると、フォワードキネマティクス処理によりエンドポイントの位置は一意に決定される。つまり、N関節ロボットではN個の関節角度により1つの位置を表現できることになるから、当該N個の関節角度の組を1つの目標関節角度とすれば、エンドポイントの軌道を目標関節角度の集合と考えることができる。よって、移動指令値は、位置に関する値(目標位置)であってもよいし、関節の角度に関する値(目標角度)であってもよい。   In the robot 2 having a joint, when the angle of each joint is determined, the position of the end point is uniquely determined by forward kinematics processing. In other words, an N-joint robot can express one position by N joint angles, and if the set of N joint angles is one target joint angle, the trajectory of the end point is a set of target joint angles. Can be considered. Therefore, the movement command value may be a value related to the position (target position) or a value related to the joint angle (target angle).
また、制御部350は、教示部330により生成された教示情報に基づいて、ハンド22を開閉したり、ハンド22を回転させたりする。   Further, the control unit 350 opens / closes the hand 22 or rotates the hand 22 based on the teaching information generated by the teaching unit 330.
例えば、制御部350は、ハンド22を開閉させる指示が教示情報に含まれる場合、教示情報に含まれる指の移動量及び移動方向に基づいて、各指の移動指令値を生成し、ロボット2に出力する。また、例えば、制御部350は、ハンド22を回転させる指示が教示情報に含まれる場合、教示情報に含まれるジョイントの回転量及び回転方向に基づいて、ハンド22に最も近い所定のジョイントの回転指令値を生成し、ロボット2に出力する。   For example, when an instruction to open and close the hand 22 is included in the teaching information, the control unit 350 generates a movement command value for each finger based on the movement amount and movement direction of the finger included in the teaching information, and Output. In addition, for example, when the instruction to rotate the hand 22 is included in the teaching information, the control unit 350 rotates the predetermined joint closest to the hand 22 based on the rotation amount and the rotation direction of the joint included in the teaching information. A value is generated and output to the robot 2.
図3は、ロボット制御装置の機能を実現するハードウェア構成の一例を示す図である。   FIG. 3 is a diagram illustrating an example of a hardware configuration for realizing the functions of the robot control device.
ロボット制御装置3は、例えば、図3に示すような、CPU(Central Processing Unit)等の演算装置91と、RAM(Random Access Memory)等の主記憶装置92と、HDD(Hard Disk Drive)等の補助記憶装置93と、有線又は無線により通信ネットワークと接続するための通信インターフェイス(I/F)94と、マウス、キーボード、タッチセンサーやタッチパネルなどの入力装置95と、液晶ディスプレイなどの表示装置96と、DVD(Digital Versatile Disk)などの持ち運び可能な記憶媒体に対する情報の読み書きを行う読み書き装置97と、を備えるコンピューター90で実現することができる。   The robot controller 3 includes, for example, an arithmetic device 91 such as a CPU (Central Processing Unit), a main storage device 92 such as a RAM (Random Access Memory), an HDD (Hard Disk Drive), and the like as shown in FIG. An auxiliary storage device 93, a communication interface (I / F) 94 for connecting to a communication network by wire or wireless, an input device 95 such as a mouse, keyboard, touch sensor, and touch panel, and a display device 96 such as a liquid crystal display It can be realized by a computer 90 including a read / write device 97 that reads and writes information from and on a portable storage medium such as a DVD (Digital Versatile Disk).
受付部310、表示部320、教示部330、画像取得部340、制御部350等は、例えば、補助記憶装置93等から主記憶装置92にロードされた所定のプログラムを演算装置91が実行することで実現される。記憶部300は、例えば、演算装置91が主記憶装置92又は補助記憶装置93を利用することで実現されてもよい。ロボット2との通信は、例えば、演算装置91が通信I/F94を利用することで実現される。なお、上記の所定のプログラムは、例えば、読み書き装置97により読み取られた記憶媒体からインストールされてもよいし、通信I/F94を介してネットワークからインストールされてもよい。   In the reception unit 310, the display unit 320, the teaching unit 330, the image acquisition unit 340, the control unit 350, and the like, for example, the arithmetic device 91 executes a predetermined program loaded from the auxiliary storage device 93 or the like to the main storage device 92. It is realized with. The storage unit 300 may be realized by the arithmetic device 91 using the main storage device 92 or the auxiliary storage device 93, for example. Communication with the robot 2 is realized, for example, when the arithmetic device 91 uses the communication I / F 94. The predetermined program may be installed from, for example, a storage medium read by the read / write device 97 or may be installed from the network via the communication I / F 94.
なお、操作端末4も、図3に示すようなコンピューター90で実現することができる。また、動作制御部200は、例えば、演算装置、記憶装置、処理回路、駆動回路などを備えるコントローラー基板等により実現することができる。   The operation terminal 4 can also be realized by a computer 90 as shown in FIG. Further, the operation control unit 200 can be realized by, for example, a controller board including an arithmetic device, a storage device, a processing circuit, a driving circuit, and the like.
上述したロボットシステム1の機能構成は、ロボットシステム1の構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。ロボットシステム1の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。   The functional configuration of the robot system 1 described above is classified according to main processing contents in order to facilitate understanding of the configuration of the robot system 1. The present invention is not limited by the way of classification and names of the constituent elements. The configuration of the robot system 1 can be classified into more components depending on the processing content. Moreover, it can also classify | categorize so that one component may perform more processes. Further, the processing of each component may be executed by one hardware or may be executed by a plurality of hardware.
また、ロボットシステム1の機能及び処理の分担は、説明した例に限られない。例えば、ロボット制御装置3の少なくとも一部の機能は、ロボット2に含まれ、ロボット2により実現されてもよい。また、例えば、ロボット2の少なくとも一部の機能は、ロボット制御装置3に含まれ、ロボット制御装置3により実現されてもよい。   Further, the sharing of functions and processes of the robot system 1 is not limited to the example described. For example, at least a part of the functions of the robot control device 3 may be included in the robot 2 and realized by the robot 2. Further, for example, at least a part of the functions of the robot 2 may be included in the robot control device 3 and realized by the robot control device 3.
図4は、教示処理の一例を示すフロー図(その1)である。図5は、教示処理の一例を示すフロー図(その2)である。図4のフローは、例えば、受付部310が、操作端末4を介して教示の開始指示をユーザーから受け付けた場合に開始される。   FIG. 4 is a flowchart (part 1) illustrating an example of the teaching process. FIG. 5 is a flowchart (part 2) illustrating an example of the teaching process. The flow in FIG. 4 is started when, for example, the reception unit 310 receives a teaching start instruction from the user via the operation terminal 4.
適宜、図6(タッチパネル上の操作及び表示の一例を示す図(その1))、図7(タッチパネル上の操作及び表示の一例を示す図(その2))、及び図8(タッチパネル上の操作及び表示の一例を示す図(その3))を参照して説明する。   FIG. 6 (a diagram showing an example of operation and display on the touch panel (part 1)), FIG. 7 (a diagram showing an example of operation and display on the touch panel (part 2)), and FIG. And a diagram showing an example of display (No. 3)).
まず、制御部350は、ロボットの現在の姿勢を取得する(ステップS1)。具体的には、制御部350は、ロボット2から、各パーツ(ジョイント21a、アーム部材21b、ハンド22、ハンド22の指、頭部25、胴部20、脚部24等)の現在の姿勢を示す情報を取得する。現在の姿勢を示す情報は、例えば、各パーツの位置及び向き(x、y、z、u、v、w等の値で表せる)とすることができる。なお、ロボット2は、自身のパーツ毎に当該パーツの位置及び向きを保持しているものとする。   First, the control unit 350 acquires the current posture of the robot (step S1). Specifically, the control unit 350 determines the current posture of each part (the joint 21a, the arm member 21b, the hand 22, the finger of the hand 22, the head 25, the torso 20, the leg 24, etc.) from the robot 2. Get the information shown. The information indicating the current posture can be, for example, the position and orientation of each part (represented by values such as x, y, z, u, v, and w). In addition, the robot 2 shall hold | maintain the position and direction of the said part for every own part.
それから、表示部320は、ロボット2のモデル画像を表示する(ステップS2)。具体的には、表示部320は、ステップS1で取得された各パーツの位置及び向きを示す情報に基づいて、記憶部300に格納されている各パーツのモデル画像を配置することで、ロボット2の3次元モデル画像を生成する。また、表示部320は、生成したロボット2の3次元モデル画像を、設定されているユーザーの視点の位置及び向き(x、y、z、u、v、w等の値で表せる)から所定の視野角で見たときの3次元モデル画像を生成する。そして、表示部320は、生成したロボット2の3次元モデル画像を、2次元モデル画像に変換し、操作端末4に表示する。   Then, the display unit 320 displays a model image of the robot 2 (step S2). Specifically, the display unit 320 arranges the model image of each part stored in the storage unit 300 based on the information indicating the position and orientation of each part acquired in step S1, thereby allowing the robot 2 The three-dimensional model image is generated. Further, the display unit 320 generates a predetermined three-dimensional model image of the robot 2 from a set position and orientation of the user's viewpoint (represented by values such as x, y, z, u, v, and w). A three-dimensional model image when viewed at a viewing angle is generated. Then, the display unit 320 converts the generated three-dimensional model image of the robot 2 into a two-dimensional model image and displays it on the operation terminal 4.
それから、画像取得部340は、画像を取得する(ステップS3)。具体的には、画像取得部340は、ロボット2に対して撮像の指示を送り、撮像装置26により撮像された撮像画像を取得する。また、画像取得部340は、記憶部300に格納されているワークWのモデル画像を用いて、パターンマッチング等により、取得した撮像画像からワークWを認識する。このとき、画像取得部340は、認識したワークWの位置及び向き(x、y、z、u、v、w等の値で表せる)を特定する。   Then, the image acquisition unit 340 acquires an image (step S3). Specifically, the image acquisition unit 340 sends an imaging instruction to the robot 2 and acquires a captured image captured by the imaging device 26. Further, the image acquisition unit 340 recognizes the workpiece W from the acquired captured image by pattern matching or the like using the model image of the workpiece W stored in the storage unit 300. At this time, the image acquisition unit 340 specifies the position and orientation (represented by values such as x, y, z, u, v, and w) of the recognized workpiece W.
それから、表示部320は、ワークWのモデル画像を表示する(ステップS4)。具体的には、表示部320は、ステップS3で認識されたワークWの位置及び向きに基づいて、記憶部300に格納されている当該ワークWの3次元モデル画像を配置し、当該ワークWの3次元モデル画像を、設定されているユーザーの視点の位置及び向きから所定の視野角で見たときの3次元モデル画像を生成する。そして、表示部320は、生成したワークWの3次元モデル画像を、2次元モデル画像に変換し、ステップS2で表示したロボット2の2次元モデル画像とともに、操作端末4に表示する。なお、ステップS3でワークWが認識されていない場合には、ステップS4の処理はスキップしてよい。   Then, the display unit 320 displays a model image of the workpiece W (Step S4). Specifically, the display unit 320 arranges the three-dimensional model image of the workpiece W stored in the storage unit 300 based on the position and orientation of the workpiece W recognized in step S3, and A three-dimensional model image is generated when the three-dimensional model image is viewed at a predetermined viewing angle from the set position and orientation of the user's viewpoint. Then, the display unit 320 converts the generated three-dimensional model image of the workpiece W into a two-dimensional model image and displays it on the operation terminal 4 together with the two-dimensional model image of the robot 2 displayed in step S2. In addition, when the workpiece | work W is not recognized by step S3, you may skip the process of step S4.
このようにして、例えば図6(A)、図7(A)、図8(A)に示すように、ロボット2のモデル画像RG(アーム21のモデル画像、ハンド22のモデル画像HG等を含む)と、ワークWのモデル画像WGとが、初期画像として表示される。なお、図6〜図8では、説明を分かり易くするため、ワークW、ハンド22、及びアーム21の一部のモデル画像が表示されているが、表示部320は、ロボット2の全体のモデル画像を表示するようにしてもよい。   In this way, for example, as shown in FIGS. 6A, 7A, and 8A, the model image RG of the robot 2 (the model image of the arm 21, the model image HG of the hand 22 and the like are included. ) And the model image WG of the workpiece W are displayed as initial images. 6 to 8 show model images of part of the workpiece W, the hand 22 and the arm 21 for easy understanding, but the display unit 320 displays the model image of the entire robot 2. May be displayed.
それから、受付部310は、ユーザーの操作を受け付ける(ステップS11)。具体的には、受付部310は、操作端末4を介して、ステップS4でロボット2のモデル画像等が表示された画面上でのユーザーの操作を表す操作信号を受け付ける。受付部310は、操作信号として、例えば、タップ、ドラッグ、回転、ピンチイン、ピンチアウト等の操作種類や、タップ位置、タッチ位置、ドラッグ操作の始点位置及び終点位置、回転操作の回転方向及び回転量、ピンチイン及びピンチアウト操作の移動量等の操作パラメーターを受け付ける。受付部310は、表示部320により現在表示されている画面の内容と操作信号とに基づいて、ユーザーの操作内容を特定する。   Then, the reception unit 310 receives a user operation (step S11). Specifically, the accepting unit 310 accepts an operation signal representing a user operation on the screen on which the model image or the like of the robot 2 is displayed in step S4 via the operation terminal 4. For example, the operation unit 310 receives, as operation signals, operation types such as tap, drag, rotation, pinch-in, and pinch-out, tap position, touch position, drag operation start and end positions, rotation operation rotation direction and rotation amount. , Receiving operation parameters such as the amount of movement for pinch-in and pinch-out operations. The accepting unit 310 identifies the operation content of the user based on the content of the screen currently displayed by the display unit 320 and the operation signal.
なお、ドラッグ操作は、例えば、指等による画面上の接触を始点位置から終点位置まで連続的に移動させる操作である。回転操作は、例えば、指等による画面上の接触位置を、円弧を描くように移動させる操作である。一方の指等を円弧の中心として画面に接触させ(第一の接触位置)、他方の指等で円弧を描くように接触位置(第二の接触位置)を移動させてもよい。円弧を描く方向が回転方向に対応し、円弧の回転角が回転量に対応する。また、ピンチイン操作は、例えば、2本の指等を画面上に接触させ(第一の接触位置及び第二の接触位置)、これらの指の接触位置を近付ける操作である。また、ピンチアウト操作は、例えば、2本の指等を画面上に接触させ(第一の接触位置及び第二の接触位置)、これらの指の接触位置を遠ざける操作である。第一の接触位置及び第二の接触位置の距離の変化が移動量に対応する。   The drag operation is, for example, an operation for continuously moving contact on the screen with a finger or the like from the start position to the end position. The rotation operation is an operation for moving the contact position on the screen with a finger or the like so as to draw an arc. One finger or the like may be brought into contact with the screen as the center of the arc (first contact position), and the contact position (second contact position) may be moved so as to draw an arc with the other finger or the like. The direction in which the arc is drawn corresponds to the rotation direction, and the rotation angle of the arc corresponds to the rotation amount. In addition, the pinch-in operation is an operation in which, for example, two fingers or the like are brought into contact with the screen (first contact position and second contact position), and the contact positions of these fingers are brought closer. In addition, the pinch-out operation is an operation in which, for example, two fingers or the like are brought into contact with the screen (first contact position and second contact position) and the contact positions of these fingers are moved away. A change in the distance between the first contact position and the second contact position corresponds to the amount of movement.
ステップS11でユーザーの操作を受け付けると、受付部310は、受け付けた操作が、教示の終了指示(例えば、画面上の「終了」ボタンのタップ)であるか否かを判定する(ステップS12)。教示の終了指示である場合(ステップS12でY)、受付部310は、図4及び図5に示すフローを終了する。   When accepting the user's operation in step S11, the accepting unit 310 determines whether or not the accepted operation is a teaching end instruction (for example, a tap of an “end” button on the screen) (step S12). If the instruction is an instruction to end teaching (Y in step S12), the receiving unit 310 ends the flow shown in FIGS.
教示の終了指示でない場合(ステップS12でN)、受付部310は、ステップS11の操作が、選択操作(例えば、画面上のタップ)であるか否かを判定する(ステップS21)。   If it is not an instruction to end teaching (N in Step S12), the receiving unit 310 determines whether or not the operation in Step S11 is a selection operation (for example, a tap on the screen) (Step S21).
選択操作である場合(ステップS21でY)、受付部310は、ステップS11の操作が、画面上のハンド22のモデル画像HGを選択するものであるか否かを判定する(ステップS22)。   If it is a selection operation (Y in step S21), the accepting unit 310 determines whether or not the operation in step S11 is to select the model image HG of the hand 22 on the screen (step S22).
ハンド22のモデル画像HGの選択である場合(ステップS22でY)、表示部320は、画面上のハンド22のモデル画像HGを強調表示し(ステップS23)、処理をステップS11に戻す。強調表示は、例えばハンド22のモデル画像HGの色を他のパーツやワークWのモデル画像の色と異ならせればよい。   If the model image HG of the hand 22 is selected (Y in Step S22), the display unit 320 highlights the model image HG of the hand 22 on the screen (Step S23), and the process returns to Step S11. The highlighting may be performed by making the color of the model image HG of the hand 22 different from the color of the model image of other parts or the workpiece W, for example.
このようにして、例えば図6(B1)、図8(B1)、図8(C1)に示すように、ロボット2のハンド22のモデル画像HGが選択され、強調表示される。なお、図6〜図8では、タップ位置、タッチ位置等を接触位置Pとして示している。   In this way, for example, as shown in FIG. 6 (B1), FIG. 8 (B1), and FIG. 8 (C1), the model image HG of the hand 22 of the robot 2 is selected and highlighted. 6 to 8, the tap position, the touch position, and the like are shown as the contact position P.
ハンド22のモデル画像HGの選択でない場合(ステップS22でN)、受付部310は、ステップS11の操作が、画面上のワークWのモデル画像WGを選択するものであるか否かを判定する(ステップS24)。ワークWのモデル画像WGの選択でない場合(ステップS24でN)、受付部310は、処理をステップS11に戻す。   When the model image HG of the hand 22 is not selected (N in Step S22), the receiving unit 310 determines whether or not the operation in Step S11 is to select the model image WG of the work W on the screen ( Step S24). If the model image WG of the workpiece W is not selected (N in Step S24), the reception unit 310 returns the process to Step S11.
ワークWのモデル画像WGの選択である場合(ステップS24でY)、表示部320は、画面上のワークWのモデル画像WGを強調表示する(ステップS25)。強調表示は、例えばワークWのモデル画像WGの色を他のパーツやワークWのモデル画像の色と異ならせればよい。   When the model image WG of the work W is selected (Y in Step S24), the display unit 320 highlights the model image WG of the work W on the screen (Step S25). The highlighting may be performed by making the color of the model image WG of the work W different from the color of the model image of other parts or the work W, for example.
このようにして、例えば図6(B2)に示すように、ワークWのモデル画像WGが選択され、強調表示される。   In this way, for example, as shown in FIG. 6 (B2), the model image WG of the workpiece W is selected and highlighted.
それから、受付部310は、画面上のハンド22のモデル画像HGが選択済みであるか否かを判定する(ステップS26)。ハンド22のモデル画像HGが選択済みでない場合(ステップS26でN)、受付部310は、処理をステップS11に戻す。   Then, the reception unit 310 determines whether the model image HG of the hand 22 on the screen has been selected (step S26). When the model image HG of the hand 22 has not been selected (N in step S26), the reception unit 310 returns the process to step S11.
ハンド22のモデル画像HGが選択済みである場合(ステップS26でY)、表示部320は、ハンド22の把持動作を画面上に表示する(ステップS27)。具体的には、表示部320は、ワークWのモデル画像WGが選択されたときのタップ位置を、ハンド22の指によるワークWの把持位置として、受付部310から取得する。また、表示部320は、画面上に表示されているハンド22のモデル画像HGの現在位置を取得する。また、表示部320は、現在位置から把持位置の近く(把持位置から所定距離離れた所定位置)まで移動し、ワークWを把持する動作を表すハンド22のモデル画像HGを生成し、順次画面上に表示する。   When the model image HG of the hand 22 has been selected (Y in step S26), the display unit 320 displays the gripping operation of the hand 22 on the screen (step S27). Specifically, the display unit 320 acquires the tap position when the model image WG of the workpiece W is selected from the reception unit 310 as the gripping position of the workpiece W by the finger of the hand 22. In addition, the display unit 320 acquires the current position of the model image HG of the hand 22 displayed on the screen. Further, the display unit 320 moves from the current position to a position near the gripping position (a predetermined position that is a predetermined distance away from the gripping position), generates a model image HG of the hand 22 representing the operation of gripping the workpiece W, and sequentially displays it on the screen. To display.
また、教示部330は、ステップS27で表示された動作に対応する教示情報を生成し(ステップS28)、処理をステップS11に戻す。具体的には、教示部330は、表示部320から、ハンド22の指によるワークWの把持位置から所定距離離れた所定位置を目標位置として取得し、ハンド22を移動させる教示(目標位置を含む)を生成する。このとき、教示部330は、画面上の2次元の目標位置を、ロボット2における3次元の目標位置に変換して、教示に含める。また、教示部330は、ハンド22を開閉させる教示(指の移動量、移動方向を含む)を生成する。このとき、教示部330は、ステップS3で認識されているワークWの形状、位置、向き等に基づいて、指の移動量、移動方向を決定し、教示に含める。教示部330は、生成した教示を教示情報として記憶部300に格納する。なお、生成する教示の内容は、上記の例に限定されない。例えば、ハンド22を把持位置から所定距離離れた所定位置まで移動させる教示、ハンド22を開く教示、ハンド22を所定位置から把持位置まで移動する教示、ハンド22を閉じる教示、などを生成してもよい。   The teaching unit 330 generates teaching information corresponding to the operation displayed in step S27 (step S28), and the process returns to step S11. Specifically, the teaching unit 330 acquires, from the display unit 320, a predetermined position that is a predetermined distance away from the gripping position of the workpiece W by the finger of the hand 22 as a target position, and teaches to move the hand 22 (including the target position). ) Is generated. At this time, the teaching unit 330 converts the two-dimensional target position on the screen into a three-dimensional target position in the robot 2 and includes it in the teaching. Further, the teaching unit 330 generates a teaching (including a finger movement amount and a moving direction) for opening and closing the hand 22. At this time, the teaching unit 330 determines the amount and direction of movement of the finger based on the shape, position, orientation, and the like of the workpiece W recognized in step S3, and includes them in the teaching. The teaching unit 330 stores the generated teaching in the storage unit 300 as teaching information. Note that the content of the teaching to be generated is not limited to the above example. For example, a teaching that moves the hand 22 to a predetermined position that is a predetermined distance away from the gripping position, a teaching that opens the hand 22, a teaching that moves the hand 22 from the predetermined position to the gripping position, a teaching that closes the hand 22, etc. Good.
このようにして、例えば図6(B1)及び図6(B2)に示すように、ハンド22のモデル画像HGとワークWのモデル画像WGを選択する操作を行うと、図6(B3)に示すように、ハンド22を現在位置から把持位置に移動し、ワークWを把持する動作を表したモデル画像HGが順次表示される。また、表示内容に対応した教示情報が生成される。   In this way, when an operation for selecting the model image HG of the hand 22 and the model image WG of the work W is performed, for example, as shown in FIGS. 6B1 and 6B2, it is shown in FIG. 6B3. As described above, the model image HG representing the operation of moving the hand 22 from the current position to the gripping position and gripping the workpiece W is sequentially displayed. Further, teaching information corresponding to the display content is generated.
一方、選択操作でない場合(ステップS21でN)、受付部310は、ステップS11の操作が、ドラッグ操作であるか否かを判定する(図5のステップS31)。   On the other hand, when it is not a selection operation (N in step S21), the reception unit 310 determines whether or not the operation in step S11 is a drag operation (step S31 in FIG. 5).
ドラッグ操作である場合(ステップS31でY)、受付部310は、ステップS11のドラッグ操作の始点が、画面上のハンド22のモデル画像HG上にあるか否かを判定する(ステップS32)。   When it is a drag operation (Y in step S31), the reception unit 310 determines whether or not the start point of the drag operation in step S11 is on the model image HG of the hand 22 on the screen (step S32).
ドラッグ操作の始点がハンド22のモデル画像HG上にある場合(ステップS32でY)、受付部310は、ステップS11のドラッグ操作の終点が、画面上のワークWのモデル画像WG上にあるか否かを判定する(ステップS33)。   When the starting point of the drag operation is on the model image HG of the hand 22 (Y in step S32), the accepting unit 310 determines whether the end point of the drag operation in step S11 is on the model image WG of the work W on the screen. Is determined (step S33).
ドラッグ操作の終点がワークWのモデル画像WG上にある場合(ステップS33でY)、表示部320は、ハンド22の把持動作を画面上に表示する(ステップS34)。具体的には、表示部320は、ドラッグ操作されたときの終点位置を、ハンド22の指によるワークWの把持位置として、受付部310から取得する。また、表示部320は、画面上に表示されているハンド22のモデル画像HGの現在位置を取得する。また、表示部320は、現在位置から把持位置の近く(把持位置から所定距離離れた所定位置)まで移動し、ワークWを把持する動作を表すハンド22のモデル画像HGを生成し、順次画面上に表示する。なお、表示部320は、ドラッグ操作の始点位置のモデル画像HGと終点位置のモデル画像WGとを強調表示するようにしてもよい。   When the end point of the drag operation is on the model image WG of the workpiece W (Y in step S33), the display unit 320 displays the gripping operation of the hand 22 on the screen (step S34). Specifically, the display unit 320 acquires the end point position when the drag operation is performed as the gripping position of the workpiece W by the finger of the hand 22 from the reception unit 310. In addition, the display unit 320 acquires the current position of the model image HG of the hand 22 displayed on the screen. Further, the display unit 320 moves from the current position to a position near the gripping position (a predetermined position that is a predetermined distance away from the gripping position), generates a model image HG of the hand 22 representing the operation of gripping the workpiece W, and sequentially displays it on the screen. To display. Note that the display unit 320 may highlight the model image HG at the start position of the drag operation and the model image WG at the end position.
また、教示部330は、ステップS34で表示された動作に対応する教示情報を生成し(ステップS35)、処理をステップS11(図4)に戻す。具体的には、教示部330は、表示部320から、ハンド22の指によるワークWの把持位置から所定距離離れた所定位置を目標位置として取得し、ハンド22を移動させる教示(目標位置を含む)を生成する。このとき、教示部330は、画面上の2次元の目標位置を、ロボット2における3次元の目標位置に変換し、教示に含める。また、教示部330は、ハンド22を開閉させる教示(指の移動量、移動方向を含む)を生成する。このとき、教示部330は、ステップS3で認識されているワークWの形状、位置、向き等に基づいて、指の移動量、移動方向を決定し、教示に含める。教示部330は、生成した教示を教示情報として記憶部300に格納する。なお、生成する教示の内容は、上記の例に限定されない。例えば、ハンド22を把持位置から所定距離離れた所定位置まで移動させる指示、ハンドを開く指示、ハンドを所定位置から把持位置まで移動する指示、ハンドを閉じる指示、などを生成してもよい。   The teaching unit 330 generates teaching information corresponding to the operation displayed in step S34 (step S35), and returns the process to step S11 (FIG. 4). Specifically, the teaching unit 330 acquires, from the display unit 320, a predetermined position that is a predetermined distance away from the gripping position of the workpiece W by the finger of the hand 22 as a target position, and teaches to move the hand 22 (including the target position). ) Is generated. At this time, the teaching unit 330 converts the two-dimensional target position on the screen into a three-dimensional target position in the robot 2 and includes it in the teaching. Further, the teaching unit 330 generates a teaching (including a finger movement amount and a moving direction) for opening and closing the hand 22. At this time, the teaching unit 330 determines the amount and direction of movement of the finger based on the shape, position, orientation, and the like of the workpiece W recognized in step S3, and includes them in the teaching. The teaching unit 330 stores the generated teaching in the storage unit 300 as teaching information. Note that the content of the teaching to be generated is not limited to the above example. For example, an instruction to move the hand 22 to a predetermined position away from the gripping position, an instruction to open the hand, an instruction to move the hand from the predetermined position to the gripping position, an instruction to close the hand, and the like may be generated.
このようにして、例えば図7(B1)に示すように、ハンド22のモデル画像HGをワークWのモデル画像WGまでドラッグする操作を行うと、図7(B2)に示すように、ハンド22を現在位置から把持位置に移動し、ワークWを把持する動作を表したモデル画像HGが順次表示される。また、表示内容に対応した教示情報が生成される。   In this way, for example, as shown in FIG. 7B1, when the operation of dragging the model image HG of the hand 22 to the model image WG of the work W is performed, the hand 22 is moved as shown in FIG. 7B2. The model image HG representing the operation of moving from the current position to the gripping position and gripping the workpiece W is sequentially displayed. Further, teaching information corresponding to the display content is generated.
一方、ドラッグ操作の終点がワークWのモデル画像WG上にない場合(ステップS33でN)、表示部320は、ハンド22の移動動作を画面上に表示する(ステップS36)。具体的には、表示部320は、ドラッグ操作されたときの終点位置を、ハンド22の移動の目標位置として、受付部310から取得する。また、表示部320は、画面上に表示されているハンド22のモデル画像HGの現在位置を取得する。また、表示部320は、現在位置から目標位置まで移動する動作を表すハンド22のモデル画像HGを生成し、順次画面上に表示する。なお、表示部320は、ドラッグ操作の始点位置のモデル画像HGを強調表示するようにしてもよい。   On the other hand, when the end point of the drag operation is not on the model image WG of the workpiece W (N in step S33), the display unit 320 displays the movement operation of the hand 22 on the screen (step S36). Specifically, the display unit 320 acquires the end point position when the drag operation is performed from the reception unit 310 as the target position of the movement of the hand 22. In addition, the display unit 320 acquires the current position of the model image HG of the hand 22 displayed on the screen. In addition, the display unit 320 generates a model image HG of the hand 22 representing an operation of moving from the current position to the target position, and sequentially displays it on the screen. Note that the display unit 320 may highlight the model image HG at the starting point position of the drag operation.
また、教示部330は、ステップS36で表示された動作に対応する教示情報を生成し(ステップS37)、処理をステップS11(図4)に戻す。具体的には、教示部330は、表示部320から、ハンド22のモデル画像HGの移動の目標位置を取得し、ハンド22を移動させる教示(目標位置を含む)を生成する。このとき、教示部330は、画面上の2次元の目標位置を、ロボット2における3次元の目標位置に変換し、教示に含める。教示部330は、生成した教示を教示情報として記憶部300に格納する。   The teaching unit 330 generates teaching information corresponding to the operation displayed in step S36 (step S37), and the process returns to step S11 (FIG. 4). Specifically, the teaching unit 330 acquires the target position of movement of the model image HG of the hand 22 from the display unit 320 and generates teaching (including the target position) for moving the hand 22. At this time, the teaching unit 330 converts the two-dimensional target position on the screen into a three-dimensional target position in the robot 2 and includes it in the teaching. The teaching unit 330 stores the generated teaching in the storage unit 300 as teaching information.
このようにして、例えば図7(C1)に示すように、ハンド22のモデル画像HGをワークWのモデル画像WG以外の領域までドラッグする操作を行うと、図7(C2)に示すように、ハンド22を現在位置から目標位置に移動する動作を表したモデル画像HGが順次表示される。また、表示内容に対応した教示情報が生成される。   Thus, for example, as shown in FIG. 7 (C1), when an operation of dragging the model image HG of the hand 22 to an area other than the model image WG of the work W is performed, as shown in FIG. 7 (C2), Model images HG representing the movement of moving the hand 22 from the current position to the target position are sequentially displayed. Further, teaching information corresponding to the display content is generated.
一方、ドラッグ操作の始点がハンド22のモデル画像HG上にない場合(ステップS32でN)、受付部310は、ドラッグ操作の始点が、ワークWのモデル画像WG以外の領域(その他領域)上にあるか否かを判定する(ステップS38)。ドラッグ操作の始点がその他領域上にない場合(ステップS38でN)、受付部310は、処理をステップS11(図4)に戻す。   On the other hand, when the starting point of the drag operation is not on the model image HG of the hand 22 (N in step S32), the accepting unit 310 sets the start point of the drag operation on an area (other area) other than the model image WG of the workpiece W. It is determined whether or not there is (step S38). If the starting point of the drag operation is not on the other area (N in step S38), the reception unit 310 returns the process to step S11 (FIG. 4).
ドラッグ操作の始点がその他領域上にある場合(ステップS38でY)、表示部320は、視点変更を行い(ステップS39)、処理をステップS11(図4)に戻す。具体的には、表示部320は、ドラッグ操作されたときの始点位置及び終点位置を、受付部310から取得する。また、表示部320は、始点位置から終点位置までの方向と距離を求める。また、表示部320は、予め定められた、ドラッグ操作の方向及び距離と、ユーザーの視点の位置及び向きの変化方向及び変化量とを対応付けたテーブルあるいは数式に基づいて、ユーザーの視点の位置及び向きを変更する。また、表示部320は、現在のロボット2及びワークWの3次元モデル画像を、変更後のユーザーの視点の位置及び向きから、所定の視野角で見たときの3次元モデル画像を生成する。そして、表示部320は、生成したロボット2及びワークWの3次元モデル画像を、2次元モデル画像に変換し、操作端末4に表示する。   If the starting point of the drag operation is on the other area (Y in step S38), the display unit 320 changes the viewpoint (step S39), and returns the process to step S11 (FIG. 4). Specifically, the display unit 320 acquires the start point position and the end point position when the drag operation is performed from the reception unit 310. The display unit 320 obtains the direction and distance from the start point position to the end point position. Further, the display unit 320 determines the position of the user's viewpoint based on a table or a mathematical expression in which a predetermined direction and distance of the drag operation are associated with a change direction and a change amount of the position and direction of the user's viewpoint. And change the orientation. In addition, the display unit 320 generates a three-dimensional model image when the current three-dimensional model image of the robot 2 and the workpiece W is viewed at a predetermined viewing angle from the changed position and orientation of the user's viewpoint. Then, the display unit 320 converts the generated three-dimensional model image of the robot 2 and the workpiece W into a two-dimensional model image and displays it on the operation terminal 4.
このようにして、例えば図7(D1)に示すように、ハンド22のモデル画像HGやワークWのモデル画像WG以外の領域でドラッグ操作を行うと、図7(D2)に示すように、視点が変更されて、モデル画像HG及びモデル画像WGが表示される。   Thus, for example, as shown in FIG. 7 (D1), when a drag operation is performed in an area other than the model image HG of the hand 22 or the model image WG of the work W, the viewpoint as shown in FIG. 7 (D2). Is changed to display the model image HG and the model image WG.
一方、ドラッグ操作でない場合(ステップS31でN)、受付部310は、ステップS11の操作が、回転操作であるか否かを判定する(ステップS41)。   On the other hand, when it is not a drag operation (N in step S31), the reception unit 310 determines whether or not the operation in step S11 is a rotation operation (step S41).
回転操作である場合(ステップS41でY)、受付部310は、画面上のハンド22のモデル画像HGが選択済みであるか否かを判定する(ステップS42)。ハンド22のモデル画像HGが選択済みでない場合(ステップS42でN)、受付部310は、処理をステップS11(図4)に戻す。   When it is a rotation operation (Y in step S41), the reception unit 310 determines whether the model image HG of the hand 22 on the screen has been selected (step S42). When the model image HG of the hand 22 has not been selected (N in Step S42), the reception unit 310 returns the process to Step S11 (FIG. 4).
ハンド22のモデル画像HGが選択済みである場合(ステップS42でY)、表示部320は、ハンド22の回転動作を画面上に表示する(ステップS43)。具体的には、表示部320は、回転操作されたときの回転方向及び回転量を、受付部310から取得する。また、表示部320は、予め定められた、回転操作の回転方向及び回転量と、ハンド22に最も近い所定のジョイントの回転方向及び回転量とを対応付けたテーブルあるいは数式に基づいて、当該ジョイントの回転方向及び回転量を決定する。また、表示部320は、決定した回転方向及び回転量に基づいてハンド22を回転させる動作を表すハンド22のモデル画像HGを生成し、順次画面上に表示する。   When the model image HG of the hand 22 has been selected (Y in step S42), the display unit 320 displays the rotation operation of the hand 22 on the screen (step S43). Specifically, the display unit 320 acquires the rotation direction and the rotation amount when the rotation operation is performed from the reception unit 310. Further, the display unit 320 displays the joint based on a table or a mathematical expression in which a predetermined rotation direction and rotation amount of the rotation operation and a rotation direction and rotation amount of a predetermined joint closest to the hand 22 are associated with each other. Determine the rotation direction and amount of rotation. Further, the display unit 320 generates a model image HG of the hand 22 representing the operation of rotating the hand 22 based on the determined rotation direction and rotation amount, and sequentially displays them on the screen.
また、教示部330は、ステップS43で表示された動作に対応する教示情報を生成し(ステップS44)、処理をステップS11(図4)に戻す。具体的には、教示部330は、表示部320から、所定のジョイントの回転方向及び回転量を取得し、ハンド22を回転させる教示(ジョイントの回転量及び回転方向を含む)を生成する。このとき、教示部330は、画面上のジョイントの回転量及び回転方向を、ロボット2におけるジョイントの回転量及び回転方向に変換し、教示に含める。教示部330は、生成した教示を教示情報として記憶部300に格納する。   The teaching unit 330 generates teaching information corresponding to the operation displayed in step S43 (step S44), and returns the process to step S11 (FIG. 4). Specifically, the teaching unit 330 acquires the rotation direction and rotation amount of a predetermined joint from the display unit 320, and generates a teaching (including the rotation amount and rotation direction of the joint) for rotating the hand 22. At this time, the teaching unit 330 converts the rotation amount and rotation direction of the joint on the screen into the rotation amount and rotation direction of the joint in the robot 2 and includes them in the teaching. The teaching unit 330 stores the generated teaching in the storage unit 300 as teaching information.
このようにして、例えば図8(B2)に示すように、ハンド22を回転させる操作を行うと、図8(B3)に示すように、ハンド22を回転させる動作を表したモデル画像HGが順次表示される。また、表示内容に対応した教示情報が生成される。   Thus, for example, as shown in FIG. 8 (B2), when an operation of rotating the hand 22 is performed, model images HG representing the operation of rotating the hand 22 are sequentially displayed as shown in FIG. 8 (B3). Is displayed. Further, teaching information corresponding to the display content is generated.
一方、回転操作でない場合(ステップS41でN)、受付部310は、ステップS11の操作が、ピンチイン操作又はピンチアウト操作であるか否かを判定する(ステップS51)。ピンチイン操作又はピンチアウト操作でない場合(ステップS51でN)、受付部310は、処理をステップS11(図4)に戻す。   On the other hand, when it is not a rotation operation (N in step S41), the reception unit 310 determines whether the operation in step S11 is a pinch-in operation or a pinch-out operation (step S51). If it is not a pinch-in operation or a pinch-out operation (N in step S51), the accepting unit 310 returns the process to step S11 (FIG. 4).
ピンチイン操作又はピンチアウト操作である場合(ステップS51でY)、受付部310は、画面上のハンド22のモデル画像HGが選択済みであるか否かを判定する(ステップS52)。ハンド22のモデル画像HGが選択済みでない場合(ステップS52でN)、受付部310は、処理をステップS11(図4)に戻す。   If the operation is a pinch-in operation or a pinch-out operation (Y in step S51), the reception unit 310 determines whether the model image HG of the hand 22 on the screen has been selected (step S52). When the model image HG of the hand 22 has not been selected (N in Step S52), the reception unit 310 returns the process to Step S11 (FIG. 4).
ハンド22のモデル画像HGが選択済みである場合(ステップS52でY)、表示部320は、ハンド22を閉じる又は開く動作を画面上に表示する(ステップS53)。具体的には、表示部320は、ピンチイン操作又はピンチアウト操作がされたときのピンチインの移動量又はピンチアウトの移動量を、受付部310から取得する。また、表示部320は、予め定められた、ピンチインの移動量又はピンチアウトの移動量と、ハンド22の指を閉じる移動量又は指を開く移動量とを対応付けたテーブルあるいは数式に基づいて、指の移動方向(閉じる又は開く)及び移動量を決定する。また、表示部320は、決定した移動方向及び移動量に基づいてハンド22を閉じる又は開く動作を表すハンド22のモデル画像HG画像を生成し、順次画面上に表示する。   When the model image HG of the hand 22 has been selected (Y in step S52), the display unit 320 displays an operation for closing or opening the hand 22 on the screen (step S53). Specifically, the display unit 320 acquires, from the reception unit 310, the amount of pinch-in movement or the amount of pinch-out movement when a pinch-in operation or a pinch-out operation is performed. Further, the display unit 320 is based on a predetermined table or formula that associates the amount of movement of pinch-in or pinch-out with the amount of movement of closing the finger of the hand 22 or the amount of movement of opening the finger. Determine the direction of finger movement (closed or opened) and the amount of movement. Further, the display unit 320 generates a model image HG image of the hand 22 representing an operation of closing or opening the hand 22 based on the determined moving direction and moving amount, and sequentially displays them on the screen.
また、教示部330は、ステップS53で表示された動作に対応する教示情報を生成し(ステップS54)、処理をステップS11(図4)に戻す。具体的には、教示部330は、表示部320から、指の移動方向及び移動量を取得し、ハンド22の指を移動させる教示(移動方向及び移動量を含む)を生成する。このとき、教示部330は、画面上の指の移動方向及び移動量を、ロボット2における指の移動方向及び移動量に変換し、教示に含める。教示部330は、生成した教示を教示情報として記憶部300に格納する。   The teaching unit 330 generates teaching information corresponding to the operation displayed in step S53 (step S54), and returns the process to step S11 (FIG. 4). Specifically, the teaching unit 330 acquires the moving direction and moving amount of the finger from the display unit 320 and generates teaching (including the moving direction and moving amount) for moving the finger of the hand 22. At this time, the teaching unit 330 converts the finger movement direction and movement amount on the screen into the finger movement direction and movement amount in the robot 2 and includes them in the teaching. The teaching unit 330 stores the generated teaching in the storage unit 300 as teaching information.
このようにして、例えば図8(C2)に示すように、ハンド22のピンチアウト操作を行うと、図8(C3)に示すように、ハンド22の指を開く動作を表したモデル画像HGが順次表示される。また、表示内容に対応した教示情報が生成される。   Thus, for example, as shown in FIG. 8 (C2), when a pinch-out operation of the hand 22 is performed, as shown in FIG. 8 (C3), a model image HG representing an operation of opening the finger of the hand 22 is displayed. Displayed sequentially. Further, teaching information corresponding to the display content is generated.
なお、図4及び図5のフローチャートが終了した場合(ステップS12でY)、制御部350は、記憶部300に格納されている教示情報に基づいて、ロボット2を動作させる制御命令を生成し、ロボット2に出力する。もちろん、制御部350は、受付部310を介してユーザーから指示を受け付けた場合に、制御命令を生成し、ロボット2に出力するようにしてもよい。   When the flowcharts of FIGS. 4 and 5 are finished (Y in step S12), the control unit 350 generates a control command for operating the robot 2 based on the teaching information stored in the storage unit 300, Output to the robot 2. Of course, the control unit 350 may generate a control command and output it to the robot 2 when receiving an instruction from the user via the receiving unit 310.
以上、本発明の一実施形態について説明した。本実施形態によれば、タッチスクリーン等の入力手段を介して、より容易にロボットの多種多様な動作の教示を行うことができる。   The embodiment of the present invention has been described above. According to the present embodiment, it is possible to more easily teach various operations of the robot through an input unit such as a touch screen.
例えば、本実施形態では、画像の様々な操作に応じた動作を表すロボットの画像が表示されるとともに、この動作に対応する教示が行われるため、より容易にロボットの多種多様な動作の教示を行うことができる。また、例えば、本実施形態では、画像が表示される画面上でタッチ操作等により操作を行えるため、より直感的にロボットの動作を教示することができる。   For example, in the present embodiment, an image of a robot representing an operation corresponding to various operations on the image is displayed and teaching corresponding to this operation is performed. Therefore, teaching of various operations of the robot can be performed more easily. It can be carried out. Further, for example, in the present embodiment, since an operation can be performed by a touch operation or the like on a screen on which an image is displayed, the operation of the robot can be taught more intuitively.
また、例えば、本実施形態では、把持動作を教示する際に、ロボットの詳細な動作を入力しなくても、ドラッグ等の移動操作で、より容易にロボットの把持動作を教示することができる。また、例えば、本実施形態では、把持動作を教示する際に、ロボットの詳細な動作を入力しなくても、タップ操作等の選択操作で、より容易にロボットの把持動作を教示することができる。   Further, for example, in this embodiment, when teaching a gripping operation, the robot's gripping operation can be taught more easily by a moving operation such as dragging without inputting a detailed operation of the robot. Further, for example, in this embodiment, when teaching a gripping operation, it is possible to more easily teach the robot's gripping operation by a selection operation such as a tap operation without inputting a detailed operation of the robot. .
また、例えば、本実施形態では、把持動作を教示する際に、対象物の画像上の接触位置を把持位置とするため、ドラッグ等の移動操作やタップ操作等の選択操作を行いつつ、把持位置を容易に教示することができる。また、例えば、本実施形態では、撮像画像に基づいて対象物の画像を生成するため、実際の対象物に対する動作を簡単に教示できる。   Further, for example, in this embodiment, when teaching a gripping operation, the gripping position is determined while performing a selection operation such as a drag operation or a tap operation in order to set the contact position on the image of the object as the gripping position. Can be taught easily. Further, for example, in the present embodiment, an image of the target object is generated based on the captured image, so that an operation on the actual target object can be easily taught.
もちろん、上記の本発明の実施形態は、本発明の要旨と範囲を例示することを意図し、限定するものではない。例えば、上記の実施形態に以下のような変形を加えてもよい。   Of course, the above-described embodiments of the present invention are intended to illustrate the spirit and scope of the present invention and are not intended to be limiting. For example, the following modifications may be added to the above embodiment.
例えば、上記の実施形態では、ハンド22の動作を教示できるようにしているが、アーム部材21bの動作を教示できてもよい。また、例えば、胴部20の動作、頭部25の動作、撮像装置26の動作等を教示できるようにしてもよい。また、ハンド22以外のエンドエフェクターについても同様に適用できる。   For example, in the above embodiment, the operation of the hand 22 can be taught, but the operation of the arm member 21b may be taught. Further, for example, the operation of the torso 20, the operation of the head 25, the operation of the imaging device 26, and the like may be taught. Further, the same can be applied to end effectors other than the hand 22.
また、例えば、上記の実施形態では、ユーザーの操作を受け付ける前に、撮像画像からのワークWの認識とモデル画像WGの表示を行っているが(図4のステップS3、S4)、この処理は、ユーザーの操作により任意のタイミングで実行されるようにしてもよい。具体的には、受付部310が画像取得指示(例えば、画面上の「画像取得」ボタンのタップ)を受け付けた場合に、ステップS3及びステップS4と同様の処理が行われるようにすればよい。このようにすれば、例えば作業領域にワークWを追加したり、作業領域からワークWを排除したり、ワークW姿勢を変更したりといった作業内容の変更に柔軟に対応できる。   Further, for example, in the above embodiment, the work W is recognized from the captured image and the model image WG is displayed before accepting the user's operation (steps S3 and S4 in FIG. 4). It may be executed at an arbitrary timing by a user operation. Specifically, when the receiving unit 310 receives an image acquisition instruction (for example, a tap on an “image acquisition” button on the screen), the same processing as in steps S3 and S4 may be performed. In this way, it is possible to flexibly deal with changes in work content such as adding a work W to the work area, removing the work W from the work area, or changing the work W posture.
また、例えば、受付部310がカメラ画像を表示する指示(例えば、画面上の「カメラ画像」ボタンのタップ)を受け付けた場合に、表示部320は、画像取得部340により現在の撮像画像を取得し、当該取得した撮像画像を画面上に表示するようにしてもよい。このようにすれば、ユーザーは、作業領域の状況等を確認することができる。   Further, for example, when the reception unit 310 receives an instruction to display a camera image (for example, a tap of a “camera image” button on the screen), the display unit 320 acquires a current captured image by the image acquisition unit 340. Then, the acquired captured image may be displayed on the screen. In this way, the user can check the status of the work area.
また、例えば、教示情報の生成(図4のステップS28、図5のステップS35、S37、S44、S54等)が開始される前に、表示部320は、教示情報の生成を行うか否かを確認するメッセージ等を画面上に表示してもよい。この場合、受付部310が教示情報の生成を行う指示を受け付けた場合に、教示部330は、教示情報の生成を行う。なお、受付部310が教示情報の生成を行わない指示を受け付けた場合には、受付部310は、最後に行われたロボット2の動作に関するユーザーの操作をキャンセルし、表示部320は、モデル画像を当該操作が行われる前の状態に戻して、画面上に表示すればよい。   Further, for example, before the generation of teaching information (step S28 in FIG. 4, steps S35, S37, S44, S54, etc. in FIG. 5) is started, the display unit 320 determines whether or not to generate teaching information. A message to be confirmed may be displayed on the screen. In this case, when the reception unit 310 receives an instruction to generate teaching information, the teaching unit 330 generates teaching information. When the reception unit 310 receives an instruction not to generate teaching information, the reception unit 310 cancels the user operation related to the operation of the robot 2 performed last, and the display unit 320 displays the model image. May be returned to the state before the operation is performed and displayed on the screen.
また、例えば、上記の実施形態では、入力手段として操作端末4のタッチスクリーンを用いる場合を中心に説明したが、操作端末4に接続されるマウス等の各種ポインティングデバイスを入力手段として用いてもよい。この場合、受付部310は、画面上の接触位置Pの替わりに、ポインティングデバイスにより操作される画面上のポインター等の指示画像が示す指示位置を受け付ける。なお、入力手段として、ロボット制御装置3の入力装置95を用い、表示手段として、ロボット制御装置3の表示装置96を用いるようにしてもよい。   For example, in the above-described embodiment, the case where the touch screen of the operation terminal 4 is used as the input unit has been mainly described. However, various pointing devices such as a mouse connected to the operation terminal 4 may be used as the input unit. . In this case, the accepting unit 310 accepts an instruction position indicated by an instruction image such as a pointer on the screen operated by the pointing device, instead of the contact position P on the screen. Note that the input device 95 of the robot control device 3 may be used as the input means, and the display device 96 of the robot control device 3 may be used as the display means.
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。本発明の提供の態様にも、様々な態様が取り得る。本発明は、例えば、ロボット制御装置の機能が含まれるロボットとして提供してもよい。また、例えば、ロボット制御装置の教示に関する機能を、教示装置に含め、教示装置と、ロボット制御装置と、ロボットとを別個に有するロボットシステムとして提供してもよい。また、例えば、教示装置と、ロボット制御装置の機能が含まれるロボットとを含むロボットシステムとして提供してもよい。また、本発明は、ロボット制御方法、プログラム、当該プログラムを記憶した記憶媒体などとしても提供することもできる。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be made to the above embodiment. In addition, it is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention. Various aspects of the provided aspects of the invention can also be employed. For example, the present invention may be provided as a robot including the function of the robot control device. Further, for example, a function related to teaching of the robot control device may be included in the teaching device, and provided as a robot system having the teaching device, the robot control device, and the robot separately. Further, for example, a robot system including a teaching device and a robot including the function of the robot control device may be provided. The present invention can also be provided as a robot control method, a program, a storage medium storing the program, and the like.
1:ロボットシステム、2:ロボット、3:ロボット制御装置、4:操作端末、20:胴部、21:アーム、21a:ジョイント、21b:アーム部材、21c:力覚センサー、22:ハンド、24:脚部、25:頭部、26:撮像装置、90:コンピューター、91:演算装置、92:主記憶装置、93:補助記憶装置、94:通信I/F、95:入力装置、96:表示装置、97:読み書き装置、200:動作制御部、300:記憶部、310:受付部、320:表示部、330:教示部、340:画像取得部、350:制御部、HG:ハンドのモデル画像、P:接触位置、RG:ロボットのモデル画像、T:作業台、W:ワーク、WG:ワークのモデル画像 1: Robot system, 2: Robot, 3: Robot control device, 4: Operation terminal, 20: Body, 21: Arm, 21a: Joint, 21b: Arm member, 21c: Force sensor, 22: Hand, 24: Leg part, 25: head, 26: imaging device, 90: computer, 91: arithmetic device, 92: main storage device, 93: auxiliary storage device, 94: communication I / F, 95: input device, 96: display device 97: read / write device, 200: operation control unit, 300: storage unit, 310: reception unit, 320: display unit, 330: teaching unit, 340: image acquisition unit, 350: control unit, HG: model image of a hand, P: contact position, RG: model image of robot, T: work table, W: work, WG: model image of work

Claims (14)

  1. ロボットの画像を表示する表示部と、
    前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、
    前記ロボットの動作を教示する教示部と、を備え、
    前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、
    前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する、ロボット制御装置。
    A display for displaying an image of the robot;
    A receiving unit that receives an operation on the image of the robot displayed by the display unit;
    A teaching unit that teaches the operation of the robot,
    The display unit displays an image indicating movement of the gripping unit of the robot, rotation of the gripping unit, or opening / closing of the gripping unit according to the operation,
    The teaching unit teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part according to the operation.
  2. 請求項1に記載のロボット制御装置であって、
    前記受付部は、画面上の接触位置の動きを前記操作として受け付ける、ロボット制御装置。
    The robot control device according to claim 1,
    The said reception part is a robot control apparatus which receives the motion of the contact position on a screen as said operation.
  3. 請求項2に記載のロボット制御装置であって、
    前記受付部が、前記把持部の画像上から対象物の画像上まで前記接触位置を移動する操作を受け付けた場合、
    前記表示部は、前記把持部を前記対象物まで移動して把持する動作を表す画像を表示し、
    前記教示部は、前記把持部を前記対象物まで移動して把持する動作を前記ロボットに教示する、ロボット制御装置。
    The robot control device according to claim 2,
    When the reception unit receives an operation of moving the contact position from the image of the gripping unit to the image of the object,
    The display unit displays an image representing an operation of moving and gripping the gripping unit to the object;
    The teaching unit is a robot control device that teaches the robot an operation of moving and gripping the gripping unit to the object.
  4. 請求項2に記載のロボット制御装置であって、
    前記受付部は、前記把持部の画像を選択した状態で対象物の画像を選択する操作を受け付けた場合、
    前記表示部は、前記把持部を前記対象物まで移動して把持する動作を表す画像を表示し、
    前記教示部は、前記把持部を前記対象物まで移動して把持する動作を前記ロボットに教示する、ロボット制御装置。
    The robot control device according to claim 2,
    When the receiving unit receives an operation of selecting an image of an object in a state where the image of the gripping unit is selected,
    The display unit displays an image representing an operation of moving and gripping the gripping unit to the object;
    The teaching unit is a robot control device that teaches the robot an operation of moving and gripping the gripping unit to the object.
  5. 請求項3又は4に記載のロボット制御装置であって、
    前記受付部は、前記対象物の画像上の前記接触位置を、把持位置として受け付け、
    前記表示部は、前記把持部を前記把持位置まで移動して把持する動作を表す画像を表示し、
    前記教示部は、前記把持部を前記把持位置まで移動して把持する動作を前記ロボットに教示する、ロボット制御装置。
    The robot control device according to claim 3 or 4,
    The receiving unit receives the contact position on the image of the object as a gripping position;
    The display unit displays an image representing an operation of moving the gripping unit to the gripping position and gripping;
    The robot teaching apparatus, wherein the teaching unit teaches the robot to move and grip the gripping unit to the gripping position.
  6. 請求項3〜5いずれか一項に記載のロボット制御装置であって、
    前記対象物を撮像した撮像画像を取得する画像取得部を備え、
    前記表示部は、前記撮像画像に基づいて前記対象物の画像を生成し、表示する、ロボット制御装置。
    The robot control device according to any one of claims 3 to 5,
    An image acquisition unit that acquires a captured image obtained by imaging the object;
    The said control part is a robot control apparatus which produces | generates and displays the image of the said target object based on the said captured image.
  7. 請求項2〜6いずれか一項に記載のロボット制御装置であって、
    前記受付部が、前記接触位置を、円弧を描くように移動させる操作を受け付けた場合、
    前記表示部は、前記把持部を回転する動作を表す画像を表示し、
    前記教示部は、前記把持部を回転させる動作を前記ロボットに教示する、ロボット制御装置。
    The robot control device according to any one of claims 2 to 6,
    When the accepting unit accepts an operation for moving the contact position so as to draw an arc,
    The display unit displays an image representing an operation of rotating the gripping unit;
    The teaching unit is a robot control device that teaches the robot to perform an operation of rotating the gripping unit.
  8. 請求項2〜6いずれか一項に記載のロボット制御装置であって、
    前記接触位置には、第一接触位置と第二接触位置が含まれ、
    前記受付部が、前記第一接触位置と前記第二接触位置とを近づける又は遠ざける操作を受け付けた場合、
    前記表示部は、前記把持部を閉じる又は開く動作を表す画像を表示し、
    前記教示部は、前記把持部を閉じる又は開く動作を前記ロボットに教示する、ロボット制御装置。
    The robot control device according to any one of claims 2 to 6,
    The contact position includes a first contact position and a second contact position,
    When the accepting unit accepts an operation of bringing the first contact position and the second contact position closer or away from each other,
    The display unit displays an image representing an operation of closing or opening the gripping unit;
    The teaching unit is a robot control device that teaches the robot to close or open the gripping unit.
  9. 請求項2〜6いずれか一項に記載のロボット制御装置であって、
    前記受付部が、前記画面上の所定の領域で、前記接触位置を移動させる操作を受け付けた場合、
    前記表示部は、視点を変更して前記把持部の画像を表示する、ロボット制御装置。
    The robot control device according to any one of claims 2 to 6,
    When the accepting unit accepts an operation for moving the contact position in a predetermined area on the screen,
    The robot controller according to claim 1, wherein the display unit displays an image of the grip unit by changing a viewpoint.
  10. 請求項1〜9いずれか一項に記載のロボット制御装置であって、
    前記受付部は、前記画面上の接触位置の動きに替えて、ポインティングデバイスにより操作される前記画面上の指示画像が示す指示位置の動きを前記操作として受け付ける、ロボット制御装置。
    The robot control device according to any one of claims 1 to 9,
    The robot control apparatus, wherein the reception unit receives, as the operation, a movement of an instruction position indicated by an instruction image on the screen operated by a pointing device instead of the movement of the contact position on the screen.
  11. ロボットであって、
    前記ロボットの画像を表示する表示部と、
    前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、
    前記ロボットの動作を教示する教示部と、を備え、
    前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、
    前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する、ロボット。
    A robot,
    A display unit for displaying an image of the robot;
    A receiving unit that receives an operation on the image of the robot displayed by the display unit;
    A teaching unit that teaches the operation of the robot,
    The display unit displays an image indicating movement of the gripping unit of the robot, rotation of the gripping unit, or opening / closing of the gripping unit according to the operation,
    The teaching unit teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part according to the operation.
  12. ロボットと、前記ロボットを制御するロボット制御装置とを備えるロボットシステムであって、
    前記ロボットの画像を表示する表示部と、
    前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、
    前記ロボットの動作を教示する教示部と、を備え、
    前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、
    前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する、ロボットシステム。
    A robot system comprising a robot and a robot control device that controls the robot,
    A display unit for displaying an image of the robot;
    A receiving unit that receives an operation on the image of the robot displayed by the display unit;
    A teaching unit that teaches the operation of the robot,
    The display unit displays an image indicating movement of the gripping unit of the robot, rotation of the gripping unit, or opening / closing of the gripping unit according to the operation,
    The teaching unit teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part in accordance with the operation.
  13. ロボットの動作の教示方法であって、
    前記ロボットの画像を表示する表示ステップと、
    前記表示ステップで表示された前記ロボットの画像に対する操作を受け付ける受付ステップと、
    前記ロボットの動作を教示する教示部ステップ、を含み、
    前記表示ステップは、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、
    前記教示ステップは、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する、教示方法。
    A robot motion teaching method comprising:
    A display step for displaying an image of the robot;
    An accepting step of accepting an operation on the image of the robot displayed in the displaying step;
    A teaching unit step for teaching the operation of the robot,
    The display step displays an image representing movement of the gripping part of the robot, rotation of the gripping part, or opening / closing of the gripping part according to the operation,
    In the teaching method, the teaching step teaches the robot to move the gripping part of the robot, rotate the gripping part, or open / close the gripping part in accordance with the operation.
  14. ロボット制御装置のプログラムであって、
    ロボットの画像を表示する表示部と、
    前記表示部により表示された前記ロボットの画像に対する操作を受け付ける受付部と、
    前記ロボットの動作を教示する教示部として、前記ロボット制御装置を機能させ、
    前記表示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を表す画像を表示し、
    前記教示部は、前記操作に応じて、前記ロボットの把持部の移動、前記把持部の回転、又は前記把持部の開閉、を前記ロボットに教示する、プログラム。
    A program for a robot controller,
    A display for displaying an image of the robot;
    A receiving unit that receives an operation on the image of the robot displayed by the display unit;
    As the teaching unit for teaching the operation of the robot, the robot control device is caused to function,
    The display unit displays an image indicating movement of the gripping unit of the robot, rotation of the gripping unit, or opening / closing of the gripping unit according to the operation,
    The teaching unit teaches the robot to move the gripping unit of the robot, rotate the gripping unit, or open / close the gripping unit according to the operation.
JP2018122129A 2018-06-27 2018-06-27 Robot control apparatus, robot, robot system, teaching method, and program Pending JP2018144228A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018122129A JP2018144228A (en) 2018-06-27 2018-06-27 Robot control apparatus, robot, robot system, teaching method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018122129A JP2018144228A (en) 2018-06-27 2018-06-27 Robot control apparatus, robot, robot system, teaching method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014063230A Division JP6361213B2 (en) 2014-03-26 2014-03-26 Robot control apparatus, robot, robot system, teaching method, and program

Publications (1)

Publication Number Publication Date
JP2018144228A true JP2018144228A (en) 2018-09-20

Family

ID=63589594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018122129A Pending JP2018144228A (en) 2018-06-27 2018-06-27 Robot control apparatus, robot, robot system, teaching method, and program

Country Status (1)

Country Link
JP (1) JP2018144228A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177239A1 (en) * 2020-03-05 2021-09-10 ファナック株式会社 Extraction system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177239A1 (en) * 2020-03-05 2021-09-10 ファナック株式会社 Extraction system and method

Similar Documents

Publication Publication Date Title
JP6361213B2 (en) Robot control apparatus, robot, robot system, teaching method, and program
JP6343353B2 (en) Robot motion program generation method and robot motion program generation device
JP3841439B2 (en) Robot jog feed method
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
JPWO2014013605A1 (en) Robot simulator, robot teaching apparatus, and robot teaching method
WO2009113339A1 (en) Operation teaching system and operation teaching method
US11090814B2 (en) Robot control method
JP6450960B2 (en) Robot, robot system and teaching method
JP6816364B2 (en) Controls, robots, and robot systems
CN109834709B (en) Robot control device for setting micro-motion coordinate system
JP2019188530A (en) Simulation device of robot
CN109689310A (en) To the method for industrial robot programming
JP2017071018A (en) Robot system, robot, and robot controlling device
US20180029232A1 (en) Control apparatus and robot
WO2019044766A1 (en) Robot system and method for operating same
JP2020055075A (en) Robot control device using augmented reality and composite reality and display device
JP2013049102A (en) Robot control device and method of determining robot attitude
JP2018144228A (en) Robot control apparatus, robot, robot system, teaching method, and program
JP2015186834A (en) Robot control apparatus, holding unit control device, robot, holding unit, robot control method and program
JP2013059815A (en) Positioning posture interpolation method and control device for robot
JP6326765B2 (en) Teaching apparatus, robot, robot system, method, and program
JP2015182210A (en) Robot control device, robot, robot system, robot control method, and program
JP2020075354A (en) External input device, robot system, control method for robot system, control program, and recording medium
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
JP2019111588A (en) Robot system, information processor, and program