JP2021058949A

JP2021058949A - Teaching system, teaching method, and teaching program

Info

Publication number: JP2021058949A
Application number: JP2019183318A
Authority: JP
Inventors: 田中　友和; Tomokazu Tanaka; 友和田中; 亨高木; Toru Takagi; 良則佐藤; Yoshinori Sato; 三雄福富; Mitsuo Fukutomi
Original assignee: Mamezou Co Ltd; Nextscape Inc
Current assignee: Mamezou Co Ltd; Nextscape Inc
Priority date: 2019-10-03
Filing date: 2019-10-03
Publication date: 2021-04-15
Anticipated expiration: 2039-10-03
Also published as: JP7386451B2; JP2023181513A

Abstract

To provide a teaching system by which content to be processed can be taught to a robot easily and sensuously.SOLUTION: A teaching system includes: a display part which displays an image; an imaging part which images a visual field direction of a user; an image generation part which generates a synthesized image, which is formed by synthesizing a virtual robot and an imaged image imaged by the imaging part and is displayed on the display; a detection part which detects operation to the virtual robot by a hand of the user from the image generated by the image generation part; an instruction generation part which generates an operation instruction of an actual robot on the basis of operation detected by the detection part; and a transmission part which transmits the operation instruction to the actual robot.SELECTED DRAWING: Figure 1

Description

本発明は、ロボットが実行する処理を教示する教示システム、教示方法及び教示プログラムに関する。 The present invention relates to a teaching system, a teaching method, and a teaching program that teach a process executed by a robot.

従来、ロボットに所定の作業を実行させるにあたって、様々なティーチングの手法が行われている。特許文献１には、ロボットの教示操作を行う教示装置であって、教示点の修正をハンドガイドまたはジョグ送りで修正する手法が開示されている。また、特許文献２には、拡張現実対応ディスプレイを用いて、実映像にロボットの状態や操作ガイドに関する情報をロボットの使用者に提供する技術が開示されている。また、特許文献３には、ロボットの動作プログラムをユーザが作成し、その動作に従った動作を仮想空間上のロボットに実行させて動作確認を行うことが開示されている。 Conventionally, various teaching methods have been used to make a robot perform a predetermined work. Patent Document 1 discloses a teaching device that performs a teaching operation of a robot, and a method of correcting a teaching point by a hand guide or a jog feed. Further, Patent Document 2 discloses a technique for providing a robot user with information on a robot state and an operation guide in an actual image by using an augmented reality compatible display. Further, Patent Document 3 discloses that a user creates an operation program of a robot, causes a robot in a virtual space to execute an operation according to the operation, and confirms the operation.

特開２０１９−０９３４９１号公報JP-A-2019-093491 特開２０１６−１０７３７９号公報Japanese Unexamined Patent Publication No. 2016-107379 特開２０１４−１８０７０７号公報Japanese Unexamined Patent Publication No. 2014-180707

ところで、通常ロボットに対する教示においては、一般的には、上記特許文献１のように実際にユーザがロボットを動かさなければならないという煩雑さや、上記特許文献３のように、動作プログラムを作成するにあたって、専門的知識が必要になるという問題がある。しかしながら、今後、このようなロボットを一般のユーザにも簡単に操作でき、ロボットに対して実行すべき指示を出せるようなシステムが望まれている。 By the way, in the teaching to a normal robot, in general, the complexity that the user actually has to move the robot as in Patent Document 1 and the creation of an operation program as in Patent Document 3 are performed. There is a problem that specialized knowledge is required. However, in the future, there is a demand for a system in which such a robot can be easily operated by a general user and an instruction to be executed can be given to the robot.

そこで、本発明は上記要望に鑑みて成されたものであり、専門知識がなくとも、ロボットが実行すべき処理を感覚的に教示することができる教示システム、教示方法、及び、教示プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of the above requirements, and provides a teaching system, a teaching method, and a teaching program capable of intuitively teaching a process to be executed by a robot without specialized knowledge. The purpose is to do.

上記課題を解決するために、本発明に係る教示システムは、画像を表示する表示部と、ユーザの視野方向を撮像する撮像部と、表示部に表示する、仮想的なロボットと、撮像部により撮像された撮像映像とを合成した合成映像を生成する画像生成部と、画像生成部により生成された映像からユーザの手による仮想的なロボットに対する操作を検出する検出部と、検出部により検出された操作に基づき実際のロボットの動作命令を生成する命令生成部と、動作命令を実際のロボットに送信する送信部とを備える。 In order to solve the above problems, the teaching system according to the present invention comprises a display unit that displays an image, an image pickup unit that captures the viewing direction of the user, a virtual robot that displays the image on the display unit, and an image pickup unit. An image generation unit that generates a composite image that combines the captured images, a detection unit that detects the user's manual operation on the robot from the image generated by the image generation unit, and a detection unit that detects it. It includes a command generation unit that generates an actual robot operation command based on the operation, and a transmission unit that transmits the operation command to the actual robot.

また、本発明の一態様に係る教示方法は、教示システムが実行するロボットへの教示方法であって、画像を表示する表示ステップと、ユーザの視野方向を撮像する撮像ステップと、表示ステップにおいて表示する、仮想的なロボットと、撮像ステップにより撮像された撮像映像とを合成した合成映像を生成する画像生成ステップと、画像生成ステップにより生成された映像からユーザの手による仮想的なロボットに対する操作を検出する検出ステップと、検出ステップにより検出された操作に基づき実際のロボットの動作命令を生成する命令生成ステップと、動作命令を実際のロボットに送信する送信ステップとを含む。 Further, the teaching method according to one aspect of the present invention is a teaching method to a robot executed by the teaching system, and is displayed in a display step of displaying an image, an imaging step of capturing an image of a user's viewing direction, and a display step. An image generation step that generates a composite image that combines the virtual robot and the image captured by the image generation step, and an operation on the virtual robot by the user from the image generated by the image generation step. It includes a detection step to be detected, a command generation step to generate an operation command of an actual robot based on an operation detected by the detection step, and a transmission step to transmit the operation command to the actual robot.

また、本発明の一態様に係る教示プログラムは、教示システムのコンピュータに、画像を表示する表示機能と、ユーザの視野方向を撮像する撮像機能と、表示機能が表示する、仮想的なロボットと、撮像機能により撮像された撮像映像とを合成した合成映像を生成する画像生成機能と、画像生成機能により生成された映像からユーザの手による仮想的なロボットに対する操作を検出する検出機能と、検出機能により検出された操作に基づき実際のロボットの動作命令を生成する命令生成機能と、動作命令を実際のロボットに送信する送信機能とを実現させる。 Further, the teaching program according to one aspect of the present invention includes a display function for displaying an image on the computer of the teaching system, an imaging function for capturing the viewing direction of the user, a virtual robot displayed by the display function, and the like. An image generation function that generates a composite image that combines the captured image captured by the image generation function, a detection function that detects the user's manual operation on the robot from the image generated by the image generation function, and a detection function. A command generation function for generating an actual robot operation command based on the operation detected by the robot and a transmission function for transmitting the operation command to the actual robot are realized.

上記教示システムにおいて、ロボットは、物品を把持する把持部を有し、画像生成部は、更に、仮想的な物品を合成した合成映像を生成し、検出部は、ユーザが仮想的なロボットの把持部を操作して把持させた物品を特定するとともに、把持部に物品をリリースさせた場所または対象を特定し、命令生成部は、実際のロボットに対して、検出部が特定した物品を、場所又は対象まで運搬させる動作命令を生成することとしてもよい。 In the above teaching system, the robot has a grip portion for gripping an article, an image generation unit further generates a composite image obtained by synthesizing a virtual article, and a detection unit allows a user to grip the virtual robot. The article is specified by operating the unit, and the place or target where the article is released by the grip is specified, and the command generation unit places the article specified by the detection unit on the actual robot. Alternatively, an operation command for carrying the robot to the target may be generated.

上記教示システムにおいて、ロボットは、自立移動可能なロボットであり、検出部は、ユーザが仮想的なロボットを合成映像内を移動させた移動経路を検出し、命令生成部は、実際のロボットに対して、検出部が特定した移動経路上を移動する動作命令を生成することとしてもよい。 In the above teaching system, the robot is a robot that can move independently, the detection unit detects the movement path in which the user moves the virtual robot in the composite video, and the command generation unit refers to the actual robot. Therefore, an operation command for moving on the movement path specified by the detection unit may be generated.

上記教示システムにおいて、撮像部は、実際のロボットを含む映像を撮像映像として撮像し、合成映像は、仮想的なロボットを、撮影映像中の実際のロボットに対して重畳した合成映像を生成することとしてもよい。 In the above teaching system, the imaging unit captures an image including an actual robot as an captured image, and the composite image generates a composite image in which a virtual robot is superimposed on the actual robot in the captured image. May be.

上記教示システムにおいて、ロボットは、７軸ロボットであることとしてもよい。 In the above teaching system, the robot may be a 7-axis robot.

本発明の一態様に係る教示システムは、仮想上のロボットに対するユーザからの感覚的な入力を解釈して、実際のロボットが実行すべき処理に対する教示命令を生成して出力することができる。したがって、実際のロボットを動かす煩雑さやロボットを動作させるための専門的知識がなくとも、ロボットに対する教示を実行することができる。 The teaching system according to one aspect of the present invention can interpret a sensory input from a user to a virtual robot and generate and output a teaching command for a process to be executed by an actual robot. Therefore, it is possible to execute the teaching to the robot without the complexity of moving the actual robot and the specialized knowledge for operating the robot.

教示システムの構成例を示す概要図である。It is a schematic diagram which shows the configuration example of a teaching system. 教示システムに係る各装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of each apparatus which concerns on a teaching system. オブジェクトの管理表の構成例を示すデータ概念図である。It is a data conceptual diagram which shows the structure example of the object management table. 映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。It is an example of a video display screen, and is a screen view showing an example of robot operation by a user. 図４に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。It is an example of the display screen of the image following FIG. 4, and is the screen view which shows the operation example of the robot by a user. 図５に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。It is an example of the display screen of the image following FIG. 5, and is the screen view which shows the operation example of the robot by the user. 図６に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。It is an example of the display screen of the image following FIG. 6, and is the screen view which shows the operation example of the robot by the user. 図７に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。It is an example of the display screen of the image following FIG. 7, and is the screen view which shows the operation example of the robot by the user. 教示システムに係る各装置間のやり取りを示すシーケンス図である。It is a sequence diagram which shows the exchange between each apparatus which concerns on a teaching system. ヘッドマウントディスプレイの動作例を示すフローチャートである。It is a flowchart which shows the operation example of a head-mounted display. 情報処理装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of an information processing apparatus. ロボットの動作例を示すフローチャートである。It is a flowchart which shows the operation example of a robot. 他のロボットを操作する際の例を示す画面図である。It is a screen view which shows an example at the time of operating another robot.

以下、本発明の一実施態様に係る教示システムについて、図面を参照しながら詳細に説明する。 Hereinafter, the teaching system according to one embodiment of the present invention will be described in detail with reference to the drawings.

＜実施の形態＞
＜概要＞
図１は、本発明に係る教示システム１の概要を示す概要図である。図１に示すように、教示システム１には、情報処理装置１２０と、情報処理装置１２０から提供される映像を視聴可能なヘッドマウントディスプレイ１１０と、ロボット２００とを含む。情報処理装置１２０は、ヘッドマウントディスプレイ１１０を装着したユーザ１０に、仮想空間上のロボット２００と、ゴミ箱２０と、ペットボトル３０とを含む映像を表示する。当該映像は、ＡＲ（Augumented Reality）映像であってもよいし、ＶＲ（Virtual Reality）映像であってもよいし、ＭＲ（Mixed Reality）映像であってもよい。ヘッドマウントディスプレイ１１０には撮像部（カメラ）が搭載され、その撮像部から得られた映像を情報処理装置１２０に送信する。ユーザ１０は、視界内に存在する仮想ロボットに対して自身の指で操作するようにして、ＡＲ映像としてのロボットを操作する。この操作は撮像部が撮像した映像内に、ユーザの手が含まれ、その形状が予め定めた動作をしている場合にロボットに対する操作として検出する。例えば、ユーザは仮想ロボットのハンドを操作して、ペットボトル３０を把持させ、ゴミ箱２０の位置にまで持ってこさせ、リリースしたとする。情報処理装置１２０は、一連の操作を解析し、ユーザによる指示が「ペットボトルをゴミ箱に捨てる」ことであると解釈する。そして、その解釈にしたがって、実際のロボット２００に対して、「ペットボトルを探索して、指定のゴミ箱に捨てろ」という内容の教示命令を生成して、送信する。これにより、ロボットに対するティーチングを簡便かつ容易な教示システム１を提供することができる。 <Embodiment>
<Overview>
FIG. 1 is a schematic diagram showing an outline of the teaching system 1 according to the present invention. As shown in FIG. 1, the teaching system 1 includes an information processing device 120, a head-mounted display 110 capable of viewing an image provided by the information processing device 120, and a robot 200. The information processing device 120 displays an image including the robot 200 in the virtual space, the trash can 20, and the PET bottle 30 on the user 10 who wears the head-mounted display 110. The video may be an AR (Augumented Reality) video, a VR (Virtual Reality) video, or an MR (Mixed Reality) video. An imaging unit (camera) is mounted on the head-mounted display 110, and an image obtained from the imaging unit is transmitted to the information processing device 120. The user 10 operates the robot as an AR image by operating the virtual robot existing in the field of view with his / her finger. This operation is detected as an operation on the robot when the user's hand is included in the image captured by the imaging unit and the shape is performing a predetermined operation. For example, suppose that the user operates the hand of the virtual robot to grasp the PET bottle 30 and bring it to the position of the trash can 20 to release it. The information processing device 120 analyzes a series of operations and interprets that the instruction from the user is "discard the PET bottle into the trash can". Then, according to the interpretation, a teaching command having the content of "search for a PET bottle and throw it in a designated trash can" is generated and transmitted to the actual robot 200. This makes it possible to provide a teaching system 1 that makes teaching to a robot simple and easy.

なお、情報処理装置１２０は、他のユーザ１０ａがヘッドマウントディスプレイ１１０ａを装着することでユーザ１０ａの位置から視聴可能な角度で、ユーザ１０が視聴している映像と同様の映像を提供することとしてもよい。以下、詳細に説明する。 The information processing device 120 is intended to provide an image similar to the image being viewed by the user 10 at an angle that can be viewed from the position of the user 10a by the other user 10a wearing the head-mounted display 110a. May be good. Hereinafter, a detailed description will be given.

＜構成＞
図２は、教示システム１に係る各装置の機能構成の一例を示すブロック図である。図２に示すように教示システム１は、ヘッドマウントディスプレイ１１０と、情報処理装置１２０と、ロボット２００とを含む。ヘッドマウントディスプレイ１１０と情報処理装置１２０とは互いに通信可能に接続され、同様に情報処理装置１２０とロボット２００も互いに通信可能に接続されている。これらの接続は、無線接続であってもよいし、有線接続であってもよい。 <Structure>
FIG. 2 is a block diagram showing an example of the functional configuration of each device according to the teaching system 1. As shown in FIG. 2, the teaching system 1 includes a head-mounted display 110, an information processing device 120, and a robot 200. The head-mounted display 110 and the information processing device 120 are communicatively connected to each other, and similarly, the information processing device 120 and the robot 200 are communicably connected to each other. These connections may be wireless connections or wired connections.

図２に示すように、ヘッドマウントディスプレイ１１０は、通信部１１１と、記憶部１１２と、制御部１１３と、撮像部１１４と、表示部１１５とを備える。ヘッドマウントディスプレイ１１０は、ユーザに映像を提供する機能と、撮像する機能とを備えていれば、ヘッドマウントディスプレイ以外の機器によって実現されてよく、一例として、ウェアラブルグラスなどにより実現されてもよい。また、ユーザ視点の映像を撮像できるカメラだけをユーザの頭部等に装着し、映像はプロジェクタなどにより提供される構成としてもよい。 As shown in FIG. 2, the head-mounted display 110 includes a communication unit 111, a storage unit 112, a control unit 113, an imaging unit 114, and a display unit 115. The head-mounted display 110 may be realized by a device other than the head-mounted display as long as it has a function of providing an image to a user and a function of capturing an image, and may be realized by a wearable glass or the like as an example. Further, only a camera capable of capturing an image from the user's viewpoint may be attached to the user's head or the like, and the image may be provided by a projector or the like.

通信部１１１は、情報処理装置１２０と通信するための通信インターフェースである。通信部１１１は、情報処理装置１２０と通信ができれば、有線及び無線のいずれで通信を実行してもよく、また、通信プロトコルもいずれを用いてもよい。通信部１１１は、情報処理装置１２０からＡＲ映像やＶＲ映像、ＭＲ映像を受信し、制御部１１３に伝達したり、制御部１１３からの指示に従って、撮像部１１４が撮像した映像を情報処理装置１２０に送信したりする。 The communication unit 111 is a communication interface for communicating with the information processing device 120. The communication unit 111 may execute communication by wire or wirelessly as long as it can communicate with the information processing device 120, and may use any communication protocol. The communication unit 111 receives AR video, VR video, and MR video from the information processing device 120 and transmits them to the control unit 113, or receives an image captured by the imaging unit 114 according to an instruction from the control unit 113 to be imaged by the information processing device 120. Or send to.

記憶部１１２は、ヘッドマウントディスプレイ１１０が動作上必要とする各種プログラム及びデータを記憶する機能を有する記憶媒体である。記憶部１１２は、例えば、HDD、SSD、フラッシュメモリなどにより実現することができるが、この限りではない。記憶部１１２は、情報処理装置１２０から提供された映像を表示するためのプログラムや、ＡＲ映像やＶＲ映像、ＭＲ映像のデータそのものを記憶していてもよい。 The storage unit 112 is a storage medium having a function of storing various programs and data required for operation of the head-mounted display 110. The storage unit 112 can be realized by, for example, an HDD, an SSD, a flash memory, or the like, but the present invention is not limited to this. The storage unit 112 may store the program for displaying the video provided by the information processing device 120, and the data itself of the AR video, the VR video, and the MR video.

制御部１１３は、ヘッドマウントディスプレイ１１０の各部を制御する機能を有するプロセッサである。制御部１１３は、記憶部１１２に記憶されている動作プログラムを実行することにより、ヘッドマウントディスプレイ１１０の各部を制御する。制御部１１３は、例えば、通信部１１１から伝達されたＡＲ（ＶＲ、ＭＲ）映像を表示部１１５に表示させたり、撮像部１１４が撮像した映像を通信部１１１から情報処理装置１２０に送信させたりする。 The control unit 113 is a processor having a function of controlling each part of the head-mounted display 110. The control unit 113 controls each unit of the head-mounted display 110 by executing an operation program stored in the storage unit 112. For example, the control unit 113 causes the display unit 115 to display the AR (VR, MR) image transmitted from the communication unit 111, or causes the communication unit 111 to transmit the image captured by the imaging unit 114 to the information processing device 120. To do.

撮像部１１４は、いわゆるカメラであり、特にユーザの正面方向（ユーザの視界）を撮像可能に配置されている。撮像部１１４は、撮像して得られた映像を、通信部１１１に伝達する。撮像部１１４により撮像された撮像映像は、逐次リアルタイムで情報処理装置１２０に送信されるが、この限りではなく、一定の時間長を有する撮像映像が得られてから、あるいは、撮像が終了してから得られた撮像映像を送信するようにしてもよい。 The image pickup unit 114 is a so-called camera, and is arranged so as to be able to take an image in the front direction (user's field of view) of the user. The imaging unit 114 transmits the image obtained by imaging to the communication unit 111. The captured image captured by the imaging unit 114 is sequentially transmitted to the information processing apparatus 120 in real time, but this is not limited to this, and the captured image having a certain time length is obtained or the imaging is completed. The captured image obtained from the above may be transmitted.

表示部１１５は、制御部１１３からの指示に従って、情報処理装置１２０から提供されたＡＲ（ＶＲ、ＭＲ）映像を表示する。表示部１１５は、例えば、液晶モニタや有機ＥＬディスプレイなどにより実現することができる。 The display unit 115 displays the AR (VR, MR) image provided by the information processing device 120 in accordance with the instruction from the control unit 113. The display unit 115 can be realized by, for example, a liquid crystal monitor or an organic EL display.

以上がヘッドマウントディスプレイの構成である。次に、情報処理装置１２０について説明する。 The above is the configuration of the head-mounted display. Next, the information processing device 120 will be described.

図２に示すように、情報処理装置１２０は、通信部１２１と、記憶部１２２と、制御部１２３とを備える。情報処理装置１２０は、ヘッドマウントディスプレイ１１０に映像を提供するとともに、ロボット２００に対する命令を生成して送信するサーバ、コンピュータシステムなどである。 As shown in FIG. 2, the information processing device 120 includes a communication unit 121, a storage unit 122, and a control unit 123. The information processing device 120 is a server, a computer system, or the like that provides an image to the head-mounted display 110 and generates and transmits a command to the robot 200.

通信部１２１は、ヘッドマウントディスプレイ１１０やロボット２００と通信するための通信インターフェースである。通信部１２１は、ヘッドマウントディスプレイ１１０やロボット２００と通信ができれば、有線及び無線のいずれで通信を実行してもよく、また、通信プロトコルもいずれを用いてもよい。通信部１２１は、ヘッドマウントディスプレイ１１０に対してＡＲ（ＶＲ、ＭＲ）映像を送信したり、ヘッドマウントディスプレイ１１０から撮像部１１４により撮像された撮像映像を受信して制御部１２３に伝達したり、ロボット２００に対して、その動作を規定する教示命令を送信したりする。通信部１２１は、ヘッドマウントディスプレイ１１０と通信するための回路と、ロボット２００と通信するための回路とでそれぞれ別個に構成されてもよいし、共通の通信回路を共用して通信を行うこととしてもよい。また、通信部１２１は、ヘッドマウントディスプレイ１１０やロボット２００以外の機器と通信を行ってもよい。 The communication unit 121 is a communication interface for communicating with the head-mounted display 110 and the robot 200. The communication unit 121 may execute communication by wire or wirelessly as long as it can communicate with the head-mounted display 110 and the robot 200, and may use any communication protocol. The communication unit 121 transmits an AR (VR, MR) image to the head-mounted display 110, receives an image captured by the image pickup unit 114 from the head-mounted display 110, and transmits the captured image to the control unit 123. A teaching command that defines the operation is transmitted to the robot 200. The communication unit 121 may be separately configured as a circuit for communicating with the head-mounted display 110 and a circuit for communicating with the robot 200, or may share a common communication circuit for communication. May be good. Further, the communication unit 121 may communicate with a device other than the head-mounted display 110 and the robot 200.

記憶部１２２は、情報処理装置１２０が動作上必要とする各種プログラム及びデータを記憶する機能を有する記憶媒体である。記憶部１２２は、例えば、HDD、SSD、フラッシュメモリなどにより実現することができるが、この限りではない。記憶部１１２は、ヘッドマウントディスプレイ１００から提供された撮像映像からユーザによるロボットに対する指示内容を解析するための解析プログラムや、解析結果に基づいてロボットに対する教示命令を生成する教示命令生成プログラムを記憶していてもよい。 The storage unit 122 is a storage medium having a function of storing various programs and data required for operation by the information processing device 120. The storage unit 122 can be realized by, for example, an HDD, an SSD, a flash memory, or the like, but the present invention is not limited to this. The storage unit 112 stores an analysis program for analyzing the content of instructions given to the robot by the user from the captured image provided by the head-mounted display 100, and a teaching instruction generation program for generating a teaching command for the robot based on the analysis result. You may be.

制御部１２３は、情報処理装置１２０の各部を制御する機能を有するプロセッサである。制御部１２３は、記憶部１２２に記憶されている動作プログラムを実行することにより、情報処理装置１２０の各部を制御する。 The control unit 123 is a processor having a function of controlling each unit of the information processing device 120. The control unit 123 controls each unit of the information processing device 120 by executing an operation program stored in the storage unit 122.

制御部１２３は、ヘッドマウントディスプレイ１１０から送信された撮像映像を解析する解析部として機能する。具体的には、制御部１２３は、制御部１２３が生成した映像に含まれる各オブジェクト（ロボット、ペットボトル、ゴミ箱）に対して、ユーザが何らかの操作を加えたか否かを解析する。制御部１２３は、ヘッドマウントディスプレイ１１０から送信された撮像映像の中にユーザの手指が含まれるか否かを解析する。これは、既存の画像解析技術により実現できるが、一例として、パターンマッチング等を利用することにより実現することができる。そして、ユーザの手指が含まれる場合に、その手指がどのような所作をしているかを解析する。また、ユーザの視界において、その手指が何を操作の対象としているのかを解析する。即ち、撮像映像中のユーザの手指の位置と、その位置に対して存在するオブジェクトを特定する。したがって、制御部１２３は、撮像映像を解析して、ユーザ１０が、どの対象（オブジェクト）に対して、何の操作をしたのかを解析する。 The control unit 123 functions as an analysis unit that analyzes the captured image transmitted from the head-mounted display 110. Specifically, the control unit 123 analyzes whether or not the user has performed any operation on each object (robot, PET bottle, trash can) included in the video generated by the control unit 123. The control unit 123 analyzes whether or not the user's finger is included in the captured image transmitted from the head-mounted display 110. This can be realized by existing image analysis technology, but as an example, it can be realized by using pattern matching or the like. Then, when the user's fingers are included, what kind of behavior the fingers are doing is analyzed. It also analyzes what the finger is targeting in the user's field of view. That is, the position of the user's finger in the captured image and the object existing with respect to the position are specified. Therefore, the control unit 123 analyzes the captured image to analyze what operation the user 10 has performed on which object (object).

制御部１２３は、撮像映像を解析した結果から、ユーザ１０が、ロボットに何をさせたいのかを解釈する。そして、制御部１２３は、その解釈にしたがって、実際のロボット２００に対する教示命令を生成する生成部として機能する。ここでいう教示命令とは、何を、どこに、どうする、という内容が含まれる命令であってよい。制御部１２３は、生成した教示命令を、通信部１２１を介して、実際のロボット２００に送信する。 The control unit 123 interprets what the user 10 wants the robot to do from the result of analyzing the captured image. Then, the control unit 123 functions as a generation unit that generates a teaching command for the actual robot 200 according to the interpretation. The teaching instruction referred to here may be an instruction including the contents of what, where, and what to do. The control unit 123 transmits the generated teaching command to the actual robot 200 via the communication unit 121.

また、制御部１２３は、撮像映像の解析結果から次のＡＲ映像またはＶＲ映像またはＭＲ映像を生成する生成部として機能する。制御部１２３は、解析結果から提供しているオブジェクトに対してユーザ１０により何らかの操作が加えられた場合には、その操作後の状態を含むＡＲ映像またはＶＲ映像を生成する。ＡＲ（ＭＲ）映像の場合は、ヘッドマウントディスプレイ１１０から受信した撮像映像に対して、ヘッドマウントディスプレイ１１０の位置に応じた態様でのＡＲ（ＭＲ）映像を合成することで、ＡＲ（ＭＲ）映像を生成する。そして、制御部１２３は、生成した映像を、通信部１２１を介して、ヘッドマウントディスプレイ１１０に送信する。なお、このとき、制御部１２３は、撮像映像中に、生成するオブジェクトの実物が含まれる場合には、その実物に重畳するように、仮想のオブジェクトのＡＲ映像を生成することとしてもよい。 Further, the control unit 123 functions as a generation unit that generates the next AR image, VR image, or MR image from the analysis result of the captured image. When the user 10 performs some operation on the object provided from the analysis result, the control unit 123 generates an AR image or a VR image including the state after the operation. In the case of AR (MR) video, the AR (MR) video is obtained by synthesizing the AR (MR) video in a mode corresponding to the position of the head-mounted display 110 with the captured video received from the head-mounted display 110. To generate. Then, the control unit 123 transmits the generated video to the head-mounted display 110 via the communication unit 121. At this time, if the captured image includes the actual object to be generated, the control unit 123 may generate the AR image of the virtual object so as to be superimposed on the actual object.

以上が、情報処理装置１２０の説明である。次に、ロボット２００について説明する。 The above is the description of the information processing device 120. Next, the robot 200 will be described.

図２に示すように、ロボット２００は、通信部２０１と、記憶部２０２と、制御部２０３と、駆動部２０４と、検出部２０５とを備える。ロボット２００は、通信機能を備え、用途として必要とされる機能を実行できるロボットであれば、どのようなロボットであってもよい。ロボット２００は、一例として、７軸ロボットであってよい。７軸ロボットは、回転軸を７個有する多関節のロボットであり、各軸の端部が連接することによってロボットアームとして形成され、一例として物品の運搬を実行したり、工場等での所定の工程を実行したりする。なお、ロボット２００は、７軸ロボットに限定するものではなく、他の形態のロボット、例えば、６軸ロボットや５軸ロボットなどであってもよいし、あるいは、所定のアルゴリズムや指示に従って移動する移動ロボットや案内ロボットであってもよいし、ユーザ等の人間とコミュニケーションを交わすコミュニケーションロボットなどであってもよい。 As shown in FIG. 2, the robot 200 includes a communication unit 201, a storage unit 202, a control unit 203, a drive unit 204, and a detection unit 205. The robot 200 may be any robot as long as it has a communication function and can execute a function required for the purpose. The robot 200 may be a 7-axis robot as an example. A 7-axis robot is an articulated robot having 7 rotation axes, and is formed as a robot arm by connecting the ends of each axis. Execute the process. The robot 200 is not limited to the 7-axis robot, and may be a robot of another form, for example, a 6-axis robot or a 5-axis robot, or a movement that moves according to a predetermined algorithm or instruction. It may be a robot, a guidance robot, or a communication robot that communicates with a human such as a user.

通信部２０１は、情報処理装置１２０と通信するための通信インターフェースである。通信部２０１は、情報処理装置１２０と通信ができれば、有線及び無線のいずれで通信を実行してもよく、また、通信プロトコルもいずれを用いてもよい。通信部２０１は、情報処理装置１２０から、教示命令を受信して、制御部２０３に伝達する。また、通信部２０１は、制御部２０３からの指示に従って、自装置（ロボット２００）の各部の動作状態やセンサ等を利用して収集したセンシングデータを情報処理装置１２０に送信することとしてもよい。 The communication unit 201 is a communication interface for communicating with the information processing device 120. The communication unit 201 may execute communication by wire or wirelessly as long as it can communicate with the information processing device 120, and may use any communication protocol. The communication unit 201 receives a teaching command from the information processing device 120 and transmits it to the control unit 203. Further, the communication unit 201 may transmit the sensing data collected by using the operating state of each unit of the own device (robot 200), the sensor, or the like to the information processing device 120 in accordance with the instruction from the control unit 203.

記憶部２０２は、ロボット２００が動作上必要とする各種プログラム及びデータを記憶する機能を有する記憶媒体である。記憶部２０２は、例えば、HDD、SSD、フラッシュメモリなどにより実現することができるが、この限りではない。記憶部２０２は、情報処理装置１２０から指示された教示命令や、その教示命令を解釈してその命令内容を実行する実行プログラムを記憶していてもよい。また、動作上必要とするパターンマッチング等に用いる参照データなども保持していてもよい。 The storage unit 202 is a storage medium having a function of storing various programs and data required for operation by the robot 200. The storage unit 202 can be realized by, for example, an HDD, an SSD, a flash memory, or the like, but the present invention is not limited to this. The storage unit 202 may store the teaching instruction instructed by the information processing device 120 and the execution program that interprets the teaching instruction and executes the instruction content. In addition, reference data or the like used for pattern matching or the like required for operation may be held.

制御部２０３は、ロボット２００の各部を制御する機能を有するプロセッサである。制御部２０３は、記憶部２０２に記憶されているプログラムを実行することにより、ロボット２００の各部を制御する。制御部２０３は、予め定められた基準に従って、ロボット２００を動作させることとしてよい。また、制御部２０３は、教示命令を受け付けた場合に、その教示命令に従って、検出部２０５が検出した状況に応じた動作を実行する。例えば、教示命令が、「ペットボトルを青いゴミ箱に捨てろ」というものであった場合に、検出部２０５が取得した周囲の画像を解析して、ペットボトルがあるか否か、そして、ゴミ箱がどこにあるかを特定する。そして、ペットボトルがあった場合に、ペットボトルを把持させ、ゴミ箱２０の位置まで移動させるように、駆動部２０４を駆動させてロボット２００を制御する。 The control unit 203 is a processor having a function of controlling each unit of the robot 200. The control unit 203 controls each unit of the robot 200 by executing a program stored in the storage unit 202. The control unit 203 may operate the robot 200 according to a predetermined standard. Further, when the control unit 203 receives the instruction command, the control unit 203 executes an operation according to the situation detected by the detection unit 205 according to the instruction command. For example, when the instruction command is "discard the PET bottle in the blue trash can", the surrounding image acquired by the detection unit 205 is analyzed to see if there is a PET bottle and where the trash can is. Identify if there is. Then, when there is a PET bottle, the drive unit 204 is driven to control the robot 200 so as to grip the PET bottle and move it to the position of the trash can 20.

また、制御部２０３は、情報処理装置１２０やリモートコントローラによりユーザから直接指示を受け付けた場合に、その指示に従ってロボット２００を動作させることとしてもよい。 Further, when the control unit 203 receives an instruction directly from the user by the information processing device 120 or the remote controller, the control unit 203 may operate the robot 200 according to the instruction.

駆動部２０４は、ロボット２００の各部を駆動させる機能を有する。ロボット２００が７軸ロボットの場合であれば、駆動部２０４は、各軸を回動させるモータにより実現され、制御部２０３からの指示に従って駆動する。また、ロボット２００が移動ロボットの場合で車輪により移動する場合には、その車輪を回転させるモータにより実現され、制御部２０３からの指示に従って駆動する。 The drive unit 204 has a function of driving each unit of the robot 200. If the robot 200 is a 7-axis robot, the drive unit 204 is realized by a motor that rotates each axis, and is driven according to an instruction from the control unit 203. Further, in the case of a mobile robot, when the robot 200 is moved by wheels, it is realized by a motor that rotates the wheels and is driven according to an instruction from the control unit 203.

検出部２０５は、ロボット２００が自装置の周囲の情報や自装置の状態を検出する機能を有する。検出部２０５は、各種のセンサにより実現することができる。センサとしては、例えば、他の物体までの距離を測定可能な距離センサ（例えば、超音波センサ）、人を検知できる人センサ（例えば、赤外線センサ）、所定の方向（例えば、７軸ロボットの場合であれば、先端の向いている方向、移動ロボットの場合であれば進行方向）の画像を取得可能なイメージセンサなどにより実現することができる。どのようなセンサを用いるかは、ロボット２００として果たすべき機能に応じて、選択されて、搭載される。
以上がロボット２００の構成である。 The detection unit 205 has a function of the robot 200 detecting information around the own device and the state of the own device. The detection unit 205 can be realized by various sensors. Examples of the sensor include a distance sensor capable of measuring the distance to another object (for example, an ultrasonic sensor), a human sensor capable of detecting a person (for example, an infrared sensor), and a predetermined direction (for example, in the case of a 7-axis robot). If this is the case, it can be realized by an image sensor or the like capable of acquiring an image of the direction in which the tip is facing, or the traveling direction in the case of a mobile robot. What kind of sensor is used is selected and mounted according to the function to be performed by the robot 200.
The above is the configuration of the robot 200.

＜データ＞
図３は、情報処理装置１２０が保持するデータであって、各オブジェクトを管理するためのオブジェクトデータの管理表３００の構成例を示すデータ概念図である。図３に示すように、オブジェクトデータの管理表３００は、物体ＩＤ３０１と、座標３０２と、属性情報３０３とが対応付けられた情報である。 <Data>
FIG. 3 is a data conceptual diagram showing a configuration example of the object data management table 300 for managing each object, which is data held by the information processing apparatus 120. As shown in FIG. 3, the object data management table 300 is information in which the object ID 301, the coordinates 302, and the attribute information 303 are associated with each other.

物体ＩＤ３０１は、ＡＲ映像もしくはＶＲ映像として、ユーザに提供する映像の中で存在させるオブジェクト各々を識別するための識別情報である。物体ＩＤ３０１は、例えば、ロボット２００やペットボトル３０などを仮想空間（拡張現実空間を含む）上に存在させる場合に、情報処理装置１２０もしくはそのオペレータが付与することとしてもよい。 The object ID 301 is identification information for identifying each object existing in the image provided to the user as an AR image or a VR image. The object ID 301 may be assigned by the information processing device 120 or its operator when, for example, the robot 200 or the PET bottle 30 exists in the virtual space (including the augmented reality space).

座標３０２は、対応する物体ＩＤ３０１で示されるオブジェクトが、仮想空間上のどの位置に存在するかを示す情報である。座標３０２は、オブジェクトの特定の一点（例えば、中心点）の座標位置を示すものであってもよいし、オブジェクトの複数の特徴点各々の座標位置を示すものであってもよいし、オブジェクトが存在する座標範囲を示すものであってもよい。座標３０２は、実際のロボット２００を存在させる現実空間の座標位置にリンクさせる。ここで、座標をリンクさせるとは、オブジェクト各々の位置や部屋の壁の位置などの対応関係をとることをいう。このとき、この対応が取れていれば、仮想物体であるオブジェクト等を規定する座標の座標系と、現実空間の座標系とは縮尺が異なってもよい。 Coordinates 302 are information indicating at which position in the virtual space the object indicated by the corresponding object ID 301 exists. The coordinate 302 may indicate the coordinate position of a specific point (for example, the center point) of the object, may indicate the coordinate position of each of the plurality of feature points of the object, or the object may indicate the coordinate position of each of the plurality of feature points of the object. It may indicate an existing coordinate range. The coordinates 302 are linked to the coordinate positions in the real space where the actual robot 200 exists. Here, linking the coordinates means taking a correspondence relationship such as the position of each object and the position of the wall of the room. At this time, if this correspondence is taken, the scale may be different between the coordinate system of the coordinates defining the object or the like which is a virtual object and the coordinate system of the real space.

座標３０２は、ユーザ１０により対応する物体ＩＤ３０１で示されるオブジェクトが操作されて移動させられた場合に、制御部１２３によって、移動後の座標位置に修正される。 When the object indicated by the corresponding object ID 301 is operated and moved by the user 10, the coordinate 302 is corrected to the coordinate position after the movement by the control unit 123.

属性情報３０３は、対応する物体ＩＤ３０１で示されるオブジェクトの属性を示す情報である。属性とは、オブジェクトの性質を示す情報であり、形状、色、そのオブジェクトが何であるか、状態などを示す情報であるがこれらに限定するものではない。オブジェクトを特徴付ける情報であれば、その他の情報であってもよい。 The attribute information 303 is information indicating the attributes of the object indicated by the corresponding object ID 301. The attribute is information indicating the property of the object, and is information indicating the shape, color, what the object is, the state, and the like, but is not limited thereto. Other information may be used as long as it is information that characterizes the object.

図３によれば、物体ＩＤ３０１が「Ｂ０１１」であるオブジェクトは、座標（Ｘ１、Ｙ１、Ｚ１）に位置し、その属性情報３０３から、円筒形で青色のペットボトルであることが理解できる。なお、これがロボット２００であれば、ロボット２００を構成する各アーム毎に、その位置や形状が特定されてもよいし、一つの情報として属性情報３０３において、各軸の位置や各軸を駆動させる駆動部２０４（モータ）の軸角度（回動角、回転角と呼称してもよい）などの情報が定義されることとしてもよい。 According to FIG. 3, the object whose object ID 301 is "B011" is located at the coordinates (X1, Y1, Z1), and from the attribute information 303, it can be understood that it is a cylindrical blue PET bottle. If this is a robot 200, its position and shape may be specified for each arm constituting the robot 200, and the position and each axis of each axis are driven in the attribute information 303 as one piece of information. Information such as the shaft angle (which may be referred to as a rotation angle or a rotation angle) of the drive unit 204 (motor) may be defined.

なお、図３には図示していないが、その他に、各物体ＩＤ（オブジェクト）に対しては、さらに、実際に映像として用いる表示用データなども対応付けられていてもよい。 Although not shown in FIG. 3, each object ID (object) may be associated with display data or the like that is actually used as an image.

＜操作具体例＞
ここから、図４〜図８を用いて、実際の操作の具体例を説明する。図４は、情報処理装置１２０から、ヘッドマウントディスプレイ１１０に提供される映像であって、ヘッドマウントディスプレイ１１０に表示される映像の一例である。図４は、図１におけるユーザ１０が視認可能な映像の一例でもある。 <Specific operation example>
From here, a specific example of the actual operation will be described with reference to FIGS. 4 to 8. FIG. 4 is an image provided from the information processing device 120 to the head-mounted display 110, and is an example of the image displayed on the head-mounted display 110. FIG. 4 is also an example of an image that can be visually recognized by the user 10 in FIG.

図４は、まず、最初に、ヘッドマウントディスプレイ１１０の撮像部１１４により撮像された映像に基づいて情報処理装置１２０により生成されたＡＲ映像が、ヘッドマウントディスプレイ１１０の表示部１１５に表示された表示画面４００を示している。 In FIG. 4, first, the AR image generated by the information processing apparatus 120 based on the image captured by the image pickup unit 114 of the head-mounted display 110 is displayed on the display unit 115 of the head-mounted display 110. The screen 400 is shown.

図４に示すように表示画面４００には、ロボット２００ａと、ゴミ箱２０と、ペットボトル３０が３本表示された状態を示している。これらのオブジェクトのうち、少なくともロボット２００ａと、ペットボトル３０は、仮想的なものであり、情報処理装置１２０により生成された仮想データである。一方、ゴミ箱２０は、撮像部１１４により撮像された実際のものであってもよいし、情報処理装置１２０により生成された仮想データであってもよい。また、図４には図示していないが、ロボット２００ａについては、実際にその位置にロボット２００の実物を配置し、配置したロボット２００を撮像した撮像映像に重畳させた態様で、仮想上のロボット２００ａを表示する態様としてよい。 As shown in FIG. 4, the display screen 400 shows a state in which the robot 200a, the trash can 20, and the three PET bottles 30 are displayed. Of these objects, at least the robot 200a and the PET bottle 30 are virtual objects and are virtual data generated by the information processing device 120. On the other hand, the trash can 20 may be an actual one imaged by the imaging unit 114, or may be virtual data generated by the information processing device 120. Although not shown in FIG. 4, the robot 200a is a virtual robot in which the actual robot 200 is actually placed at that position and the placed robot 200 is superimposed on the captured image. The mode may be a mode for displaying 200a.

図４に示すような状況下で、ユーザ１０は、ロボット２００ａに対して操作を行う。例えば、一例として、図５に示すように、ユーザ１０は、自身の指５０１で、ロボット２００ａに対する操作を行う。図５は、図４に示した表示画面４００に続く光景であって、ヘッドマウントディスプレイ１１０の表示部１１５に表示される表示画面５００の一例を示す図である。図５に示されるように、表示画面５００では、ユーザ１０の指５０１で、ロボット２００ａの先端部２０１ａをつまむ（保持）するようにしていることが理解できる。これは、実際のロボット２００を指でつかんでいるわけではなく、情報処理装置１２０が提供する映像の中で、ユーザ自身の指５０１で、仮想上のロボット２００ａをつまんだように見えるように指を動かすことを意味している。情報処理装置１２０は、撮像部１１４による撮像映像から、ユーザの指が所定の動き（ここでは、２本の指で、ロボット２００ａの先端部２０１ａを挟み込むという動き）を検出して、ユーザにより、ロボット２００ａの先端が把持されたという解釈を行い、以降、ユーザの動きに応じて、ロボット２００ａを動かすように、ＡＲ映像を生成する。 Under the situation shown in FIG. 4, the user 10 operates the robot 200a. For example, as shown in FIG. 5, the user 10 operates the robot 200a with his / her finger 501. FIG. 5 is a view following the display screen 400 shown in FIG. 4, and is a diagram showing an example of the display screen 500 displayed on the display unit 115 of the head-mounted display 110. As shown in FIG. 5, it can be understood that on the display screen 500, the finger 501 of the user 10 pinches (holds) the tip portion 201a of the robot 200a. This does not mean that the actual robot 200 is grasped by a finger, but the user's own finger 501 in the image provided by the information processing device 120 is used to make the virtual robot 200a appear to be pinched. Means to move. The information processing device 120 detects a predetermined movement of the user's finger (here, the movement of sandwiching the tip portion 201a of the robot 200a with two fingers) from the image captured by the imaging unit 114, and the user detects the movement. It is interpreted that the tip of the robot 200a is gripped, and thereafter, an AR image is generated so as to move the robot 200a according to the movement of the user.

図６は、そのようにして、ロボット２００ａを動かした後の、表示画面６００を示している。図６に示すように、ユーザ１０は、自身の指５０１で、先端部２０１ａを挟んだ状態を維持した状態で、手を動かすことで、ロボット２００ａを仮想的に動かすことができる。図６は、図５に示す表示画面５００に続く表示画面６００を示している。図６には、先端部２０１ａをペットボトル３０ａの位置まで移動させた状態を示している。 FIG. 6 shows the display screen 600 after moving the robot 200a in this way. As shown in FIG. 6, the user 10 can virtually move the robot 200a by moving his / her hand while maintaining the state in which the tip portion 201a is sandwiched between his / her fingers 501. FIG. 6 shows a display screen 600 following the display screen 500 shown in FIG. FIG. 6 shows a state in which the tip portion 201a is moved to the position of the PET bottle 30a.

ここで、ユーザ１０は、ロボット２００ａの先端部２０１ａの把持部にペットボトル３０ａを把持させたいとする。そこで、一例として、図６に示す状態を所定時間維持することで、先端部２０１ａの把持部にペットボトル３０ａを把持させた状態にすることができる。またあるいは、図示はしていないが、ユーザ１０が指５０１をもう一度つまむ動作をすることで、把持部にペットボトル３０ａを把持させた状態にするように構成してもよい。 Here, the user 10 wants the PET bottle 30a to be gripped by the gripping portion of the tip portion 201a of the robot 200a. Therefore, as an example, by maintaining the state shown in FIG. 6 for a predetermined time, the PET bottle 30a can be held by the gripping portion of the tip portion 201a. Alternatively, although not shown, the user 10 may perform the operation of pinching the finger 501 again so that the grip portion holds the PET bottle 30a.

ユーザ１０は、把持部にペットボトル３０ａを把持させた状態にすると、その状態でロボット２００ａを動かして、図７に示す表示画面７００に示すように、ゴミ箱２０の上まで先端部２０１ａを移動させる。図７は、図６に示す表示画面６００に続く表示画面７００を示している。図７に示されるように、先端部２０１ａの把持部はペットボトル３０ａを把持した状態の映像が、ユーザ１０のヘッドマウントディスプレイ１１０の表示部１１５に表示される。 When the user 10 holds the PET bottle 30a in the gripping portion, the user 10 moves the robot 200a in that state to move the tip portion 201a to the top of the trash can 20 as shown in the display screen 700 shown in FIG. .. FIG. 7 shows a display screen 700 following the display screen 600 shown in FIG. As shown in FIG. 7, an image of the state in which the grip portion of the tip portion 201a grips the PET bottle 30a is displayed on the display portion 115 of the head-mounted display 110 of the user 10.

そして、図７に示す状態で、ユーザ１０は、例えば、指をロボット２００ａの先端部２０１ａから離すように動かすとする。図８は、図７に示す表示画面７００に続く表示画面８００を示している。図８に示すように、ユーザ１０は、自身の指５０１をロボット２００ａの先端部２０１ａから離すように動かす。図７と図８を比較すれば理解できるように、ユーザ１０が指を先端部２０１ａから離している。情報処理装置１２０は、この動作を示す撮像映像を解析することで、ユーザ１０からの入力として受け付けて、ロボット２００ａの把持部によるペットボトル３０ａの把持状態を解除する。そして、これにより、情報処理装置１２０は、ペットボトル３０ａがゴミ箱２０に落下するという映像をヘッドマウントディスプレイ１１０に提供することになる。 Then, in the state shown in FIG. 7, the user 10 is assumed to move, for example, a finger away from the tip portion 201a of the robot 200a. FIG. 8 shows a display screen 800 following the display screen 700 shown in FIG. 7. As shown in FIG. 8, the user 10 moves his finger 501 away from the tip 201a of the robot 200a. As can be understood by comparing FIGS. 7 and 8, the user 10 has his finger away from the tip 201a. By analyzing the captured image showing this operation, the information processing device 120 receives the input from the user 10 and releases the gripping state of the PET bottle 30a by the gripping portion of the robot 200a. As a result, the information processing device 120 provides the head-mounted display 110 with an image that the PET bottle 30a falls into the trash can 20.

その一方で、情報処理装置１２０は、図４〜図８に示すような態様で、ユーザ１０に、仮想的にロボット２００ａを操作させて、ユーザ１０がロボット２００に実行させたい処理を認識することができる。この図４〜図８に示す動作をユーザ１０が仮想のロボット２００ａにさせることで、情報処理装置１２０は、一例として、ユーザ１０は、ロボット２００に対して、ペットボトルをゴミ箱に捨てさせる処理を実行したいという解釈をすることができる。そして、この解釈に従って、情報処理装置１２０は、ロボット２００に対して、ペットボトルをゴミ箱に捨てるという教示命令を送信することができ、ロボット２００は、ペットボトルをゴミ箱に捨てるという処理を学習することができる。 On the other hand, the information processing apparatus 120 causes the user 10 to virtually operate the robot 200a in the manner shown in FIGS. 4 to 8 and recognizes the process that the user 10 wants the robot 200 to execute. Can be done. By causing the user 10 to perform the operations shown in FIGS. 4 to 8 on the virtual robot 200a, the information processing device 120, as an example, causes the robot 200 to dispose of the PET bottle in the trash can. You can interpret that you want to do it. Then, according to this interpretation, the information processing apparatus 120 can send a teaching command to the robot 200 to throw the PET bottle into the trash can, and the robot 200 learns the process of throwing the PET bottle into the trash can. Can be done.

＜動作＞
ここから、教示システム１に係る各装置の動作について説明する。まず図９を用いて、教示システム１に係る各装置、即ち、ヘッドマウントディスプレイ１１０と、情報処理装置１２０と、ロボット２００との間のやり取りについて説明する。 <Operation>
From here, the operation of each device related to the teaching system 1 will be described. First, with reference to FIG. 9, each device related to the teaching system 1, that is, the exchange between the head-mounted display 110, the information processing device 120, and the robot 200 will be described.

図９は、教示システム１に係る各装置の間のやり取りの例を示すシーケンス図である。図９に示すように、ヘッドマウントディスプレイ（ＨＭＤ）１１０は、撮像部１１４が撮像した撮像映像（画像）を情報処理装置１２０に送信する（ステップＳ９０１）。 FIG. 9 is a sequence diagram showing an example of communication between each device according to the teaching system 1. As shown in FIG. 9, the head-mounted display (HMD) 110 transmits the captured image (image) captured by the imaging unit 114 to the information processing device 120 (step S901).

情報処理装置１２０は、撮像映像を受信すると、その撮像映像に、仮想ロボット２００ａを含むＡＲ映像を生成して、ヘッドマウントディスプレイ１１０に送信する（ステップＳ９０２）。 When the information processing device 120 receives the captured image, it generates an AR image including the virtual robot 200a in the captured image and transmits it to the head-mounted display 110 (step S902).

ヘッドマウントディスプレイ１１０は、受信したＡＲ映像を表示する（ステップＳ９０３）。ヘッドマウントディスプレイ１１０は、ユーザ１０の仮想ロボット２００ａに対する動作（操作）を含む撮像映像を、情報処理装置１２０に送信する（ステップＳ９０４）。 The head-mounted display 110 displays the received AR image (step S903). The head-mounted display 110 transmits an captured image including an operation (operation) of the user 10 to the virtual robot 200a to the information processing device 120 (step S904).

情報処理装置１２０は、受信した撮像映像の内容を解析する（ステップＳ９０５）。そして、解析した内容から、ユーザが実際のロボット２００に実行させたい処理を解釈し、その解釈に従った教示命令を生成する（ステップＳ９０６）。情報処理装置１２０は、生成した教示命令を、ロボット２００に送信する（ステップＳ９０７）。 The information processing device 120 analyzes the content of the received captured image (step S905). Then, from the analyzed contents, the process that the user wants to be executed by the actual robot 200 is interpreted, and a teaching instruction is generated according to the interpretation (step S906). The information processing device 120 transmits the generated teaching command to the robot 200 (step S907).

ロボット２００は、教示命令を受信すると、その教示命令で示される命令を実行する（ステップＳ９０８）。これにより、教示システム１においては、ユーザは、拡張現実あるいは仮想現実で生成された仮想的なロボット２００ａを感覚的に操作するだけで、ロボット２００に実行させた処理を教示することができる。 Upon receiving the teaching command, the robot 200 executes the command indicated by the teaching command (step S908). Thereby, in the teaching system 1, the user can teach the processing executed by the robot 200 only by intuitively operating the virtual robot 200a generated in the augmented reality or the virtual reality.

ここから、図９に示すシーケンスを実現するための各装置の動作例を説明する。図１０は、ヘッドマウントディスプレイ１１０の動作例を示すフローチャートである。 From here, an operation example of each device for realizing the sequence shown in FIG. 9 will be described. FIG. 10 is a flowchart showing an operation example of the head-mounted display 110.

図１０に示すように、制御部１１３からの指示に従って、撮像部１１４は、撮影（撮像）を実行する（ステップＳ１００１）。撮像部１１４は、撮像して得られた画像（もしくは映像。即ち動画）を、制御部１１３に伝達する。制御部１１３は、得られた撮像画像を、通信部１１１を介して、情報処理装置１２０に送信する（ステップＳ１００２）。 As shown in FIG. 10, the imaging unit 114 executes photographing (imaging) according to the instruction from the control unit 113 (step S1001). The imaging unit 114 transmits the image (or video, that is, moving image) obtained by imaging to the control unit 113. The control unit 113 transmits the obtained captured image to the information processing device 120 via the communication unit 111 (step S1002).

ヘッドマウントディスプレイ１１０の通信部１１１は、仮想ロボットを含む映像を受信する。通信部１１１は、受信した映像を制御部１１３に伝達する。そして、制御部１１３は、伝達された映像を、表示部１１５に表示させる（ステップＳ１００３）。これにより、ヘッドマウントディスプレイ１１０は、装着しているユーザ１０に、仮想ロボット２００ａを含むＡＲ映像（もしくはＶＲ映像）を提供することができる。 The communication unit 111 of the head-mounted display 110 receives an image including the virtual robot. The communication unit 111 transmits the received video to the control unit 113. Then, the control unit 113 causes the display unit 115 to display the transmitted image (step S1003). As a result, the head-mounted display 110 can provide the user 10 who wears the head-mounted display 110 with an AR image (or VR image) including the virtual robot 200a.

ヘッドマウントディスプレイ１１０の制御部１１３は、ユーザからの終了入力を受け付けたか否かを判断する（ステップＳ１００４）。ユーザからの終了入力は、例えば、図示しない電源ボタンの押下や、ＡＲ映像またはＶＲ映像の提供の終了入力であるが、これらに限定するものではない。ユーザからの終了入力を受け付けていた場合には（ステップＳ１００４のＹＥＳ）、処理を終了する。ユーザからの終了入力を受け付けていない場合には（ステップＳ１００４のＮＯ）、ヘッドマウントディスプレイ１１０は、ステップＳ１００１の処理に戻って、以降の処理を実行する。 The control unit 113 of the head-mounted display 110 determines whether or not the end input from the user has been accepted (step S1004). The end input from the user is, for example, pressing a power button (not shown) or an end input for providing an AR image or a VR image, but is not limited thereto. If the end input from the user is accepted (YES in step S1004), the process ends. If the end input from the user is not accepted (NO in step S1004), the head-mounted display 110 returns to the process of step S1001 and executes the subsequent processes.

ステップＳ１００１〜Ｓ１００３の処理が繰り返されることにより、ヘッドマウントディスプレイ１１０は、操作対象を含むＡＲ映像またはＶＲ映像を表示しつつ、表示された仮想的なオブジェクトに対する入力を行っている様子を撮像した撮像映像を、情報処理装置１２０に送信することができる。 By repeating the processes of steps S1001 to S1003, the head-mounted display 110 captures an image of inputting to the displayed virtual object while displaying an AR image or a VR image including an operation target. The video can be transmitted to the information processing device 120.

図１１は、図９に示すやり取りを実現するための情報処理装置１２０の動作例を示すフローチャートである。図１１に示すフローチャートは、一度、制御部１２３が生成したＡＲ映像またはＶＲ映像を既に提供している状態から開始している。 FIG. 11 is a flowchart showing an operation example of the information processing apparatus 120 for realizing the exchange shown in FIG. The flowchart shown in FIG. 11 starts from a state in which the AR image or VR image generated by the control unit 123 has already been provided.

図１１に示すように、情報処理装置１２０の通信部１２１は、ヘッドマウントディスプレイ１１０から、ヘッドマウントディスプレイ１１０が撮像した撮像画像を受信する（ステップＳ１１０１）。通信部１２１は、受信した撮像画像を、制御部１２３に伝達する。 As shown in FIG. 11, the communication unit 121 of the information processing device 120 receives the captured image captured by the head-mounted display 110 from the head-mounted display 110 (step S1101). The communication unit 121 transmits the received captured image to the control unit 123.

制御部１２３は、通信部１２１から撮像画像を伝達されると、撮像画像の内容を解析する（ステップＳ１１０２）。画像の解析には一般的な画像認識技術を用いるとよい。 When the captured image is transmitted from the communication unit 121, the control unit 123 analyzes the content of the captured image (step S1102). It is advisable to use a general image recognition technique for image analysis.

制御部１２３は、解析した結果から、仮想ロボット２００ａに対する操作があるか否かを判定する（ステップＳ１１０３）。仮想ロボット２００ａに対する操作とは、例えば、一例として、ユーザ１０の指によるロボットの所定の位置の指定であったり、ロボットアームを動かす指示であったり、ロボットが実行可能な特定の処理の実行の指定であったりしてよく、これらは、ユーザの指による特定の動作を検出することにより特定することができる。 The control unit 123 determines from the analysis result whether or not there is an operation on the virtual robot 200a (step S1103). The operation on the virtual robot 200a is, for example, a designation of a predetermined position of the robot by the finger of the user 10, an instruction to move the robot arm, or a designation of execution of a specific process that can be executed by the robot. These may be identified by detecting a particular action by the user's finger.

仮想ロボット２００ａに対する操作入力があると判定した場合に（ステップＳ１１０３のＹＥＳ）、制御部１２３は、操作後の状態の仮想ロボット２００ａを含む合成画像を生成する（ステップＳ１１０４）。仮想ロボット２００ａに対する操作入力がないと判定した場合に（ステップＳ１１０３のＮＯ）、制御部１２３は、仮想ロボット２００ａの状態を維持した合成画像を生成する（ステップＳ１１０５）。 When it is determined that there is an operation input to the virtual robot 200a (YES in step S1103), the control unit 123 generates a composite image including the virtual robot 200a in the state after the operation (step S1104). When it is determined that there is no operation input for the virtual robot 200a (NO in step S1103), the control unit 123 generates a composite image in which the state of the virtual robot 200a is maintained (step S1105).

そして、制御部１２３は生成した合成画像を、通信部１２１を介して、ヘッドマウントディスプレイ１１０に送信する（ステップＳ１１０６）。 Then, the control unit 123 transmits the generated composite image to the head-mounted display 110 via the communication unit 121 (step S1106).

制御部１２３は、仮想ロボット２００ａに対する入力が終了したか否かを判定する（ステップＳ１１０７）。制御部１２３は、例えば、情報処理装置１２０に対するユーザからの終了入力を受け付けたり、あるいは、ヘッドマウントディスプレイ１１０に対するユーザ１０からの終了入力を検出したり、撮像映像中において、ユーザの手や指の特定の操作を検出したりすることによって、仮想ロボット２００ａに対する入力が終了したことを判定してよい。 The control unit 123 determines whether or not the input to the virtual robot 200a is completed (step S1107). The control unit 123 receives, for example, the end input from the user to the information processing apparatus 120, or detects the end input from the user 10 to the head-mounted display 110, or the user's hand or finger in the captured image. By detecting a specific operation, it may be determined that the input to the virtual robot 200a is completed.

仮想ロボット２００ａに対する入力が終了していないと判定した場合には（ステップＳ１１０７のＮＯ）、ステップＳ１１０１の処理に戻って以降の処理を実行する。仮想ロボット２００ａに対する入力が終了したと判定した場合には（ステップＳ１１０７のＹＥＳ）、制御部１２３は、仮想ロボット２００ａに対するユーザ１０による一連の操作から、ユーザ１０がロボット２００に実行させた処理が何であるかを解釈する。そして、その解釈結果から、ロボット２００に対する動作命令である教示命令を生成する（ステップＳ１１０８）。制御部１２３は、通信部１２１を介して、生成した教示命令を実際のロボット２００に送信し（ステップＳ１１０９）、処理を終了する。 If it is determined that the input to the virtual robot 200a has not been completed (NO in step S1107), the process returns to the process of step S1101 and the subsequent processes are executed. When it is determined that the input to the virtual robot 200a is completed (YES in step S1107), the control unit 123 has the process executed by the user 10 to the robot 200 from the series of operations by the user 10 to the virtual robot 200a. Interpret if there is. Then, from the interpretation result, a teaching instruction which is an operation instruction for the robot 200 is generated (step S1108). The control unit 123 transmits the generated teaching command to the actual robot 200 via the communication unit 121 (step S1109), and ends the process.

これにより、情報処理装置１２０は、ユーザからの詳細な入力（実際にロボット２００を手で動かしてのティーチングや、時間毎の各駆動軸の細やかな指定によるティーチング）なしで、実際のロボット２００に対する指示を出力することができる。 As a result, the information processing device 120 can refer to the actual robot 200 without detailed input from the user (teaching by actually moving the robot 200 by hand or teaching by finely specifying each drive axis for each time). Instructions can be output.

最後に、図１２は、実際のロボット２００の動作を示すフローチャートである。 Finally, FIG. 12 is a flowchart showing the actual operation of the robot 200.

図１２に示すように、ロボット２００の通信部２０１は、情報処理装置１２０から教示命令を受信する（ステップＳ１２０１）。通信部２０１は、受信した教示命令を、制御部２０３に伝達する。 As shown in FIG. 12, the communication unit 201 of the robot 200 receives a teaching command from the information processing device 120 (step S1201). The communication unit 201 transmits the received teaching command to the control unit 203.

制御部２０３は、受信した教示命令を記憶部２０２に記憶する（ステップＳ１２０２）。 The control unit 203 stores the received teaching command in the storage unit 202 (step S1202).

制御部２０３は、教示命令の内容を解釈して、実行すべき処理内容を特定する（ステップＳ１２０３）。検出部２０５は、検出した周囲の状況を示すセンシングデータを制御部２０３に伝達する。これにより、制御部２０３は、ロボット２００の周囲の状況を把握する（ステップＳ１２０４）。 The control unit 203 interprets the content of the teaching instruction and specifies the processing content to be executed (step S1203). The detection unit 205 transmits the sensing data indicating the detected surrounding situation to the control unit 203. As a result, the control unit 203 grasps the situation around the robot 200 (step S1204).

制御部２０３は、伝達されたセンシングデータから、教示命令で示される状況に合致するか否かを判定する（Ｓ１２０５）。周囲の状況が教示命令で示される状況に合致すると判定した場合（ステップＳ１２０５のＹＥＳ）、即ち、教示命令を実行すべき状況であると判定した場合に、制御部１２３は、教示命令で示される命令内容を、駆動部２０４を制御して実行し（ステップＳ１２０６）、処理を終了する。 The control unit 203 determines from the transmitted sensing data whether or not it matches the situation indicated by the teaching instruction (S1205). When it is determined that the surrounding situation matches the situation indicated by the teaching instruction (YES in step S1205), that is, when it is determined that the situation should execute the teaching instruction, the control unit 123 is indicated by the teaching instruction. The instruction content is executed by controlling the drive unit 204 (step S1206), and the process ends.

これにより、ロボット２００は、ユーザから詳細な指示なく、感覚的になされた指示に従って生成された教示命令にしたがって、ユーザの望む動作を実行することができる。 Thereby, the robot 200 can execute the operation desired by the user according to the teaching instruction generated according to the instruction given sensuously without the detailed instruction from the user.

＜まとめ＞
従来のロボットに対するティーチングは、実際のロボットを動かしたりする場合には重労働となったり、プログラムによるティーチングであれば高度な専門知識を要求されたりするなど、通常のユーザには困難を伴うものがあった。これに対して、本実施の形態に係る教示システム１によれば、仮想上のロボットに対する間隔的な操作で、実際のロボットに対して実行すべき処理を教示することができるので、従来よりも、簡易かつ感覚的にロボットのティーチングを実行できる。したがって、本実施の形態に係る情報処理装置１２０及び情報処理装置１２０を含む教示システム１は、ロボットのティーチングの利便性の向上を促すことができる。 <Summary>
Teaching for conventional robots can be difficult for ordinary users, such as heavy labor when moving an actual robot, and high-level expertise is required for programmatic teaching. It was. On the other hand, according to the teaching system 1 according to the present embodiment, it is possible to teach the processing to be executed to the actual robot by the interval operation for the virtual robot, so that the processing to be executed can be taught to the actual robot. , Robot teaching can be performed easily and intuitively. Therefore, the teaching system 1 including the information processing device 120 and the information processing device 120 according to the present embodiment can promote the improvement of the convenience of teaching the robot.

＜変形例＞
上記実施の形態に係る各装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。 <Modification example>
It goes without saying that each device according to the above embodiment is not limited to the above embodiment and may be realized by another method. Hereinafter, various modification examples will be described.

（１）上記実施の形態においては、情報処理装置１２０と、ヘッドマウントディスプレイ１１０とを別個の装置として説明したが、これはその限りではない。ヘッドマウントディスプレイ１１０と情報処理装置１２０と一体に形成されてもよい。即ち、ヘッドマウントディスプレイ１１０は、情報処理装置１２０が保持する全ての機能を保持していてもよい。 (1) In the above embodiment, the information processing device 120 and the head-mounted display 110 have been described as separate devices, but this is not the case. The head-mounted display 110 and the information processing device 120 may be integrally formed. That is, the head-mounted display 110 may hold all the functions held by the information processing device 120.

また、ヘッドマウントディスプレイ１１０は、情報処理装置１２０の一部の機能（例えば、映像を生成する機能）を備えることとしてもよい。この場合、ヘッドマウントディスプレイ１１０の制御部１１３は、撮像部１１４で撮像した撮像映像に基づいて、ユーザ１０が実行している操作内容を解析して、映像を生成し、表示部１１５に表示させる。その一方で、制御部１１３は、通信部１１１を介して撮像映像を情報処理装置１２０に送信し、情報処理装置１２０の制御部１２３は、その撮像映像から、ユーザ１０がロボットに実行させたい処理内容を解釈して教示命令を生成するようにしてよい。 Further, the head-mounted display 110 may include a part of the functions of the information processing device 120 (for example, a function of generating an image). In this case, the control unit 113 of the head-mounted display 110 analyzes the operation content executed by the user 10 based on the captured image captured by the imaging unit 114, generates an image, and displays the image on the display unit 115. .. On the other hand, the control unit 113 transmits the captured image to the information processing device 120 via the communication unit 111, and the control unit 123 of the information processing device 120 processes the robot 10 from the captured image. The content may be interpreted to generate a teaching instruction.

（２）上記実施の形態においては、ロボット２００ａの先端部２０１ａを動作させる例を示したが、ロボット２００ａに対する操作は、その先端部２０１ａに対する操作だけに限るものではない。例えば、ロボット２００ａを構成する複数の関節のうちのいずれかを１つの指（例えば、人差し指）で指示した状態で、他の２本の指（例えば、親指と中指）で１つの指の周りを回転させることで、関節の回転を指示する操作としてもよい。同様に、関節ではなくロボットを構成する軸のいずれかを指定して、同様の操作で軸の回転を指示する操作としてもよい。 (2) In the above embodiment, an example of operating the tip portion 201a of the robot 200a has been shown, but the operation on the robot 200a is not limited to the operation on the tip portion 201a. For example, in a state where one of a plurality of joints constituting the robot 200a is indicated by one finger (for example, the index finger), the other two fingers (for example, the thumb and the middle finger) are used to rotate around one finger. By rotating it, it may be an operation of instructing the rotation of the joint. Similarly, one of the axes constituting the robot may be specified instead of the joint, and the rotation of the axis may be instructed by the same operation.

（３）上記実施の形態においては、一具体例としてロボットの７軸ロボットにより物品の把持、運搬を教示する例を示したが、上述の通り、ロボットは７軸ロボットに限定するものではなく、また、実行する作業も把持、運搬作業に限定するものではない。図１３には、ロボット２００の他の例として、所謂、自動掃除ロボットを用いる例を示している。 (3) In the above embodiment, as a specific example, an example of teaching gripping and transporting an article by a robot's 7-axis robot is shown, but as described above, the robot is not limited to the 7-axis robot. Further, the work to be performed is not limited to the gripping and transporting work. FIG. 13 shows an example in which a so-called automatic cleaning robot is used as another example of the robot 200.

図１３は、ユーザ１０ａが視認している映像であって、ヘッドマウントディスプレイ１１０の表示部１１５に表示された映像を示している。ここでは、ロボット２００の一例として、自動掃除ロボット２００ｂを用いる例を示している。自動掃除ロボット２００ｂは、自身のセンサで周囲の環境を確認して、移動経路を自動生成する機能を有するものがあるが、生成された移動経路での清掃は効率が悪い場合がある。そこで、教示システム１を利用して、ユーザが移動経路を指定することができる。図１３の例では、点線で示される位置にあるロボット２００ｂをユーザが自身の指１３０１で所定時間指し示す。このとき、ユーザは、実際のロボット２００に触れている必要はなく、仮想上のロボット２００ｂに触れているように見える状態であればよい。情報処理装置１２０は、ロボット２００ｂに対してユーザが所定時間以上触れていることを検出すると、ロボット２００ｂがユーザの指に追随するように移動する映像を生成する。ユーザは、指１３０１を移動させることで、ロボット２００ｂが移動すべき移動経路を指示する。ここでは、矢印１３０２で示すように、指を移動させたとする。すると、情報処理装置１２０は、その操作から、矢印１３０２で示される位置を走行するように、図１３に示す表示画面と、現実の位置との対応をとって、矢印１３０２で示す経路の実際の位置（現実座標系）を特定し、特定した座標系での移動経路での掃除を実行させる教示命令を生成する。そして、情報処理装置１２０は、生成した教示命令をロボット２００に送信する。これによって、自動掃除ロボット２００は、指定された経路での清掃を実行することができるので、効率的な清掃を行うことができる。 FIG. 13 is an image visually recognized by the user 10a and shows an image displayed on the display unit 115 of the head-mounted display 110. Here, as an example of the robot 200, an example of using the automatic cleaning robot 200b is shown. Some automatic cleaning robots 200b have a function of checking the surrounding environment with their own sensors and automatically generating a movement path, but cleaning on the generated movement path may be inefficient. Therefore, the user can specify the movement route by using the teaching system 1. In the example of FIG. 13, the user points to the robot 200b at the position indicated by the dotted line with his / her finger 1301 for a predetermined time. At this time, the user does not have to touch the actual robot 200, as long as it appears to be touching the virtual robot 200b. When the information processing device 120 detects that the user is touching the robot 200b for a predetermined time or longer, the information processing device 120 generates an image in which the robot 200b moves so as to follow the user's finger. By moving the finger 1301, the user instructs the movement route to be moved by the robot 200b. Here, it is assumed that the finger is moved as shown by the arrow 1302. Then, from the operation, the information processing device 120 takes the correspondence between the display screen shown in FIG. 13 and the actual position so as to travel at the position indicated by the arrow 1302, and the actual route indicated by the arrow 1302. The position (real coordinate system) is specified, and a teaching command is generated to execute cleaning along the movement path in the specified coordinate system. Then, the information processing device 120 transmits the generated teaching command to the robot 200. As a result, the automatic cleaning robot 200 can perform cleaning on a designated route, so that efficient cleaning can be performed.

なお、ここでは、ロボット２００ｂを指で所定時間以上指し示すことで、ロボット２００ｂを操作できるようにしているが、これは一例であり、例えば、上記実施の形態と同様にロボット２００ｂをつまむようにして指を動かすことで、ロボット２００ｂを保持し、移動させて、その後につまむ動作を解除するように指を動かすことでロボット２００ｂの移動経路を指定するように構成してもよい。仮想的なロボット２００に対する操作方法は、ユーザが間隔的に操作できるものであれば、どのような操作方法であってもよい。 Here, the robot 200b can be operated by pointing the robot 200b with a finger for a predetermined time or longer. This is an example, and for example, the finger is pinched by pinching the robot 200b as in the above embodiment. By moving the robot 200b, the robot 200b may be held and moved, and then the movement path of the robot 200b may be specified by moving a finger so as to release the pinching operation. The operation method for the virtual robot 200 may be any operation method as long as the user can operate the robot 200 at intervals.

（４）上記実施の形態において、仮想的なロボット２００ａを実物のロボット２００に重畳させたＡＲ映像を表示させることとしてもよい旨を説明したが、更に、ユーザが仮想的なロボット２００ａを操作するごとに、その操作内容に連動させて、実物のロボット２００も同時に（伝達のためのタイムラグは発生してもよい）動作させるように構成してもよい。 (4) In the above embodiment, it has been explained that the AR image in which the virtual robot 200a is superimposed on the real robot 200 may be displayed, but further, the user operates the virtual robot 200a. Each time, the actual robot 200 may be configured to operate at the same time (a time lag for transmission may occur) in conjunction with the operation content.

（５）上記実施の形態においては、特に説明していないが、ロボットに対する教示においてより細かく操作したい場合に、情報処理装置１２０は、ユーザが作業している箇所（例えば、仮想的なロボット２００ａに対する所定の入力を行って操作している箇所）の拡大映像をヘッドマウントディスプレイ１１０に提供することとしてよい。この拡大映像は、ＶＲ映像により別のウィンドウで操作箇所の拡大画像を表示することとしてもよいし、現在視認している映像をズームする態様で拡大画像を表示することとしてもよい。したがって、その拡大画像を提供することで、ユーザはロボット２００ａに対する指示入力を実行しやすくなる。なお、教示システム１は、作業箇所の拡大映像を提供するために、実物のロボットの作業箇所（上記実施の形態の例でいえば、把持部）を撮像するための撮像用カメラを備えてもよい。この撮像用カメラは、一例として、ロボット２００の先端部２０１ａに設けることとしてもよいし、ロボット２００とは別個に外部から撮像できるように備えることとしてもよい。また、この撮像用カメラは、ロボット２００とは別個に設ける場合であって、ロボットの作業箇所が移動するときに、その作業箇所の撮像を継続する（作業箇所を追随する）ための移動機構を設けてもよい。例えば、教示システム１において、撮像用カメラをロボット２００とは別個のロボットアームに取り付けて、そのロボットアームが動くことによって、作業箇所の撮像を継続できるように構成してもよい。本変形例は、上記変形例（４）に示したように、仮想的なロボット２００ａを用いて、実際のロボット２００をリアルタイムで操作する際に特に有用となる。 (5) Although not particularly described in the above embodiment, when it is desired to perform more detailed operations in teaching the robot, the information processing device 120 is used for a place where the user is working (for example, for the virtual robot 200a). The head-mounted display 110 may be provided with an enlarged image of (a place where a predetermined input is performed and operated). As the enlarged image, the enlarged image of the operation portion may be displayed in another window by the VR image, or the enlarged image may be displayed in a mode of zooming the currently visually recognized image. Therefore, by providing the enlarged image, the user can easily execute the instruction input to the robot 200a. In addition, the teaching system 1 may be provided with an imaging camera for imaging the working portion of the actual robot (in the example of the above embodiment, the grip portion) in order to provide an enlarged image of the working portion. Good. As an example, the image pickup camera may be provided at the tip portion 201a of the robot 200, or may be provided so that the image can be taken from the outside separately from the robot 200. Further, this imaging camera is provided separately from the robot 200, and when the working part of the robot moves, a moving mechanism for continuing the imaging of the working part (following the working part) is provided. It may be provided. For example, in the teaching system 1, an imaging camera may be attached to a robot arm separate from the robot 200 so that imaging of a work portion can be continued by moving the robot arm. As shown in the above-mentioned modification (4), this modification is particularly useful when the actual robot 200 is operated in real time by using the virtual robot 200a.

（６）上記実施の形態においては、教示システムによりロボットに実行すべき内容教示する手法として、情報処理装置１２０が教示プログラム等を実行することにより、教示命令を生成することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。 (6) In the above embodiment, as a method of teaching the contents to be executed to the robot by the teaching system, the information processing apparatus 120 executes a teaching program or the like to generate a teaching command. It may be realized by a logic circuit (hardware) or a dedicated circuit formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)) or the like in the apparatus. Further, these circuits may be realized by one or a plurality of integrated circuits, and the functions of the plurality of functional units shown in the above-described embodiment may be realized by one integrated circuit. LSIs are sometimes called VLSIs, super LSIs, ultra LSIs, etc., depending on the degree of integration.

また、上記教示プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記教示プログラムは、当該教示プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記歩行教示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 Further, the teaching program may be recorded on a recording medium that can be read by a processor, and the recording medium may be a "non-temporary tangible medium" such as a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit. Etc. can be used. Further, the teaching program may be supplied to the processor via an arbitrary transmission medium (communication network, broadcast wave, etc.) capable of transmitting the teaching program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the walking teaching program is embodied by electronic transmission.

なお、上記教示プログラムは、例えば、Ｃ言語、Ｃ＋＋、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。 The teaching program includes, for example, script languages such as C language, C ++, ActionScript, and JavaScript (registered trademark), object-oriented programming languages such as Objective-C and Java (registered trademark), and markup languages such as HTML5. Can be implemented using.

（７）上記実施の形態及び各変形例は、適宜、必要に応じて組み合わせて、所望する機能を実現するように構成されてよい。 (7) The above-described embodiment and each modification may be appropriately combined as necessary to realize a desired function.

１教示システム
１１０、１１０ａヘッドマウントディスプレイ
１１１通信部
１１２記憶部
１１３制御部
１１４撮像部
１１５表示部
１２０情報処理装置
１２１通信部
１２２記憶部
１２３制御部
２００ロボット
２０１通信部
２０２記憶部
２０３制御部
２０４駆動部
２０５検出部 1 Teaching system 110, 110a Head-mounted display 111 Communication unit 112 Storage unit 113 Control unit 114 Imaging unit 115 Display unit 120 Information processing device 121 Communication unit 122 Storage unit 123 Control unit 200 Robot 201 Communication unit 202 Storage unit 203 Control unit 204 Drive Part 205 Detection part

Claims

A display unit that displays images and
An imaging unit that captures the user's field of view,
An image generation unit that generates a composite image that combines a virtual robot displayed on the display unit and an image captured by the image pickup unit.
A detection unit that detects an operation on the virtual robot by the user's hand from the video generated by the image generation unit, and a detection unit.
An instruction generation unit that generates an actual robot operation command based on the operation detected by the detection unit,
A teaching system including a transmission unit that transmits the operation command to the actual robot.

The robot has a grip portion for gripping an article.
The image generation unit further generates the composite image obtained by synthesizing a virtual article.
The detection unit identifies an article gripped by the user by operating the grip portion of the virtual robot, and identifies a place or target at which the grip portion releases the article.
The teaching system according to claim 1, wherein the command generation unit generates an operation command for the actual robot to carry the article specified by the detection unit to the place or the target.

The robot is a robot that can move independently.
The detection unit detects a movement path in which the user moves the virtual robot in the composite video, and then detects the movement path.
The teaching system according to claim 1, wherein the command generation unit generates an operation command for the actual robot to move on the movement path specified by the detection unit.

The imaging unit captures an image including the actual robot as the captured image.
The teaching according to any one of claims 1 to 3, wherein the composite image generates the composite image in which the virtual robot is superimposed on the actual robot in the captured image. system.

The teaching system according to any one of claims 1 to 4, wherein the robot is a 7-axis robot.

It is a teaching method to the robot executed by the teaching system.
Display steps to display images and
An imaging step that captures the user's field of view
An image generation step of generating a composite image obtained by synthesizing a virtual robot to be displayed in the display step and an image captured by the image pickup step.
A detection step for detecting an operation on the virtual robot by the user's hand from the video generated by the image generation step, and a detection step.
An instruction generation step that generates an actual robot operation instruction based on the operation detected by the detection step, and
A teaching method including a transmission step of transmitting the operation command to the actual robot.

To the computer of the teaching system
Display function to display images and
An imaging function that captures the user's field of view,
An image generation function that generates a composite image that combines a virtual robot displayed by the display function and an image captured by the image pickup function.
A detection function that detects an operation on the virtual robot by the user's hand from the video generated by the image generation function, and a detection function.
An instruction generation function that generates an actual robot operation instruction based on the operation detected by the detection function, and
A teaching program that realizes a transmission function that transmits the operation command to the actual robot.