JP2007213190A - Communication robot improvement system - Google Patents

Communication robot improvement system Download PDF

Info

Publication number
JP2007213190A
JP2007213190A JP2006030689A JP2006030689A JP2007213190A JP 2007213190 A JP2007213190 A JP 2007213190A JP 2006030689 A JP2006030689 A JP 2006030689A JP 2006030689 A JP2006030689 A JP 2006030689A JP 2007213190 A JP2007213190 A JP 2007213190A
Authority
JP
Japan
Prior art keywords
robot
information
autonomous control
control program
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006030689A
Other languages
Japanese (ja)
Other versions
JP4386367B2 (en
Inventor
Takayuki Kanda
崇行 神田
Tomohito Koizumi
智史 小泉
Masahiro Shiomi
昌裕 塩見
Noriaki Mitsunaga
法明 光永
Keiko Miyashita
敬宏 宮下
Hiroshi Ishiguro
浩 石黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2006030689A priority Critical patent/JP4386367B2/en
Publication of JP2007213190A publication Critical patent/JP2007213190A/en
Application granted granted Critical
Publication of JP4386367B2 publication Critical patent/JP4386367B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a robot capable of efficiently and successively improving the control of motion in compliance with a scene. <P>SOLUTION: This communication robot 12 combines autonomous control based on an autonomous control program and remote control by an operator to carry out a communication action with a human A. An operation terminal 14 stores information including information acquired from a sensor in a robot 12 and operation command information inputted to the operation terminal 14. The operation terminal 14 acquires information necessary for the generation of a new autonomous control program from the stored information in compliance with an input by an operator or automatically and transmits it to a development terminal 16 via a network 100. In the development terminal 16, the new autonomous control program for the robot 12 is generated based on the information transmitted from the operation terminal 14, and the program is transmitted to the robot 12. The robot 12 adds the received program to an existing autonomous control program. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明はコミュニケーションロボット改良システムに関し、特にたとえば、自律制御と遠隔制御との双方によって自身の動作を制御するコミュニケーションロボットを改良する、コミュニケーションロボット改良システムに関する。   The present invention relates to a communication robot improvement system, and more particularly to a communication robot improvement system that improves a communication robot that controls its own operation by both autonomous control and remote control.

自律制御と遠隔制御とを組み合わせて自身の動作を制御するロボットを含むロボット制御システムの一例が、たとえば特許文献１に開示されている。特許文献１の技術は、警備などに利用されるロボットを遠隔操作するためのロボット遠隔操作システムである。当該ロボットは、基本的には自律行動を行い、操作装置ではロボットのカメラで撮影された画像が表示される。オペレータは画像に基づいてロボットを監視し、また、操作レバーによって自律モード、自律遠隔協調モードおよび完全遠隔モードを切り替えることができる。たとえば、自律遠隔協調モードでは、ロボットの動作の修正が必要な場合には、遠隔操作によって自律動作を修正することができる。
特開２００３−２５１５８１号公報［Ｂ２５Ｊ １３／００］ An example of a robot control system including a robot that controls its own operation by combining autonomous control and remote control is disclosed in Patent Document 1, for example. The technology of Patent Document 1 is a robot remote operation system for remotely operating a robot used for security or the like. The robot basically performs autonomous behavior, and an image captured by the robot camera is displayed on the operation device. The operator can monitor the robot based on the image, and can switch between the autonomous mode, the autonomous remote cooperation mode, and the complete remote mode by the operation lever. For example, in the autonomous remote cooperation mode, when the robot operation needs to be corrected, the autonomous operation can be corrected by remote operation.
JP 2003-251581 A [B25J 13/00]

特許文献１の技術では、自律制御と遠隔制御とを組み合わせてロボットの動作を制御できた。しかし、自律制御では、予め設定した自律制御プログラムに基づいて動作を制御するだけであるため、自律制御プログラムに無い動作は、単純なものであっても、オペレータが繰り返し遠隔操作によって制御しなければならなかった。つまり、オペレータの負担が大きかった。   With the technology of Patent Document 1, the robot operation can be controlled by combining autonomous control and remote control. However, since the autonomous control only controls the operation based on the preset autonomous control program, even if the operation that is not in the autonomous control program is simple, the operator must control it repeatedly by remote operation. did not become. In other words, the burden on the operator was great.

それゆえに、この発明の主たる目的は、コミュニケーションロボットの自律制御を効率よく改良することができ、オペレータによる遠隔操作の負担を減らすことのできる、コミュニケーションロボット改良システムを提供することである。   Therefore, a main object of the present invention is to provide a communication robot improvement system capable of improving the autonomous control of the communication robot efficiently and reducing the burden of remote operation by the operator.

請求項１の発明は、自律制御プログラムによる自律制御とオペレータによる遠隔制御とが可能なコミュニケーションロボットと、その遠隔制御の際にオペレータによって操作コマンドが入力される操作端末とを含むコミュニケーションロボット改良システムである。コミュニケーションロボットは、自律制御プログラムに基づく自律的コミュニケーション行動で対応できなくなったときに、オペレータによる遠隔操作に基づいて自身の動作を制御するコミュニケーションロボットである。操作端末は、オペレータによって入力された操作コマンドをコミュニケーションロボットに対して送信するコマンド送信手段を備える。また、当該システムは、少なくとも操作コマンドの履歴を含むロボット操作情報を記憶するロボット操作情報記憶手段、およびロボット操作情報記憶手段によって記憶されたロボット操作情報から、プログラム化するために利用する情報を示すプログラム化情報を取得する取得手段を備え、コミュニケーションロボットは、取得手段によって取得されたプログラム化情報に基づいて作成された新規自律制御プログラムを自律制御プログラムに追加する追加手段を備える。   The invention of claim 1 is a communication robot improvement system including a communication robot capable of autonomous control by an autonomous control program and remote control by an operator, and an operation terminal to which an operation command is input by the operator during the remote control. is there. A communication robot is a communication robot that controls its own operation based on a remote operation by an operator when it cannot be handled by an autonomous communication action based on an autonomous control program. The operation terminal includes command transmission means for transmitting an operation command input by the operator to the communication robot. The system also shows robot operation information storage means for storing robot operation information including at least a history of operation commands, and information used for programming from the robot operation information stored by the robot operation information storage means. The communication robot includes acquisition means for acquiring programmed information, and the communication robot includes addition means for adding a new autonomous control program created based on the programmed information acquired by the acquisition means to the autonomous control program.

請求項１の発明では、コミュニケーションロボット改良システム（１０：実施例で相当する参照番号。以下同じ。）は、コミュニケーションロボット（１２）と操作端末（１４）とを含む。コミュニケーションロボットは、身体動作および音声の少なくとも一方を用いて人間との間でコミュニケーション行動を実行するコミュニケーションロボットであり、自律制御プログラムによる自律制御とオペレータによる遠隔制御とが可能である。たとえば、コミュニケーションロボットは、或るイベント会場や会社の受付のような様々な場所や状況に配置され、通常は自律制御によって人間との対話などのコミュニケーション行動を実行し、受付や道案内などの役割を果たす（サービスを提供する）。しかし、コミュニケーションロボットは、自律制御プログラムに基づくコミュニケーション行動（自律的コミュニケーション行動）では対応できない状態や状況になったとき、オペレータ（操作者）による遠隔操作に基づいて自身の動作を制御する（オペレータによる遠隔制御を行う）。操作端末では、その遠隔制御の際に、オペレータによる操作コマンドの入力が行われる。操作端末は、コマンド送信手段（Ｓ２９）を備え、コマンド送信手段は、オペレータによって入力された操作コマンドをコミュニケーションロボットに対して送信する。コミュニケーションロボットは、操作端末から送信された操作コマンドを受信すると、当該操作コマンドに基づいたコミュニケーション行動（身体動作や発話）を実行する。ロボット操作情報記憶手段（Ｓ３１）は、ロボット操作情報を記憶する。ここで、ロボット操作情報とは、ロボットに対して行われた遠隔操作に関する情報を意味する。ロボット操作情報には、たとえば、時刻に対応付けてコミュニケーションロボットに対して行われた遠隔操作に関する情報が登録されてよく、少なくともオペレータによって操作端末に入力された操作コマンドの履歴が含まれる。また、ロボット操作情報には、たとえば、コミュニケーションロボットの位置や対話相手などを含むコミュニケーションロボットに関する情報やオペレータに関する情報が含まれてもよい。取得手段（Ｓ３５，Ｓ４１〜Ｓ４５）は、プログラム化情報を取得する。ここで、プログラム化情報とは、自律制御プログラムを作成するときに利用する情報を意味し、プログラム化情報は、ロボット操作情報記憶手段に記憶されたロボット操作情報から取得される。コミュニケーションロボットは、追加手段（６６，７０）を備え、追加手段は、取得手段によって取得されたプログラム化情報に基づいて新たに作成された新規自律制御プログラムを従来の自律制御プログラムに追加する（実装する）。コミュニケーションロボットは、新規自律制御プログラムを加えた自律制御プログラムに基づいて、自律的コミュニケーション行動を実行する。なお、ロボット操作情報記憶手段および取得手段はそれぞれ、たとえば、操作端末に備えるようにしてもよいし、コミュニケーションロボットに備えるようにしてもよい。また、たとえば複数のロボットや複数の操作端末が当該システムに含まれる場合は、たとえば当該システムにプログラム化情報の取得に関する全体処理を制御する中央制御装置をさらに備えるようにし、この中央制御装置にロボット操作情報記憶手段および取得手段を備えるようにしてもよい。また、たとえば、複数の操作端末の中から或る操作端末を選択し、当該選択した操作端末を上述した中央制御装置として用いてもかまわない。さらにまた、たとえば当該システムをインターネットやＬＡＮのようなネットワークを介して接続し、コミュニケーションロボット、操作端末および中央制御装置のそれぞれの情報を送受信可能にしておけば、ロボット操作情報記憶手段および取得手段が、それぞれ異なる装置に備えられるようにしてもかまわない（たとえば、ロボット操作情報記憶手段はロボットが備え、取得手段は操作端末が備える）。   In the invention of claim 1, the communication robot improvement system (10: reference number corresponding to the embodiment, the same applies hereinafter) includes a communication robot (12) and an operation terminal (14). The communication robot is a communication robot that performs communication behavior with a human using at least one of body movement and voice, and can be controlled autonomously by an autonomous control program and remotely controlled by an operator. For example, communication robots are placed in various places and situations, such as certain event venues and company receptions, and usually perform communication behaviors such as dialogue with humans by autonomous control. Fulfill (provide service). However, when a communication robot enters a state or situation that cannot be handled by a communication action based on an autonomous control program (autonomous communication action), it controls its operation based on a remote operation by the operator (operator). Remote control). In the operation terminal, an operation command is input by the operator during the remote control. The operation terminal includes command transmission means (S29), and the command transmission means transmits the operation command input by the operator to the communication robot. When the communication robot receives an operation command transmitted from the operation terminal, the communication robot executes a communication action (physical action or speech) based on the operation command. The robot operation information storage means (S31) stores robot operation information. Here, the robot operation information means information related to a remote operation performed on the robot. The robot operation information may register, for example, information related to a remote operation performed on the communication robot in association with the time, and includes at least a history of operation commands input to the operation terminal by the operator. Further, the robot operation information may include, for example, information related to the communication robot including the position of the communication robot and the conversation partner, and information related to the operator. The acquisition means (S35, S41 to S45) acquires programmed information. Here, the programmed information means information used when creating an autonomous control program, and the programmed information is acquired from the robot operation information stored in the robot operation information storage means. The communication robot includes adding means (66, 70), and the adding means adds a new autonomous control program newly created based on the programmed information acquired by the acquiring means to the conventional autonomous control program (implementation). To do). The communication robot executes autonomous communication behavior based on an autonomous control program including a new autonomous control program. Note that each of the robot operation information storage means and the acquisition means may be provided in an operation terminal, for example, or may be provided in a communication robot. In addition, for example, when a plurality of robots and a plurality of operation terminals are included in the system, for example, the system is further provided with a central control device that controls overall processing related to acquisition of programmed information. Operation information storage means and acquisition means may be provided. Further, for example, a certain operation terminal may be selected from a plurality of operation terminals, and the selected operation terminal may be used as the above-described central control device. Furthermore, for example, if the system is connected via a network such as the Internet or a LAN so that each information of the communication robot, the operation terminal, and the central control device can be transmitted and received, the robot operation information storage means and the acquisition means These may be provided in different apparatuses (for example, the robot operation information storage means is provided in the robot, and the acquisition means is provided in the operation terminal).

請求項１の発明によれば、オペレータによって入力された操作コマンドの履歴を記憶し、自律制御プログラムの作成に必要な情報（プログラム化情報）を取得するので、新規自律制御プログラムの作成が容易になる。また、作成された新規自律制御プログラムは、コミュニケーションロボットの従来の自律制御プログラムに追加されるので、コミュニケーションロボットが自律制御によって実行できる動作を増加させることができ、オペレータによる遠隔操作の負担を減少させることができる。   According to the first aspect of the present invention, the history of operation commands input by the operator is stored, and the information (programmed information) necessary for creating the autonomous control program is acquired, so the creation of a new autonomous control program is easy. Become. In addition, since the created new autonomous control program is added to the conventional autonomous control program of the communication robot, the operations that the communication robot can execute by autonomous control can be increased, and the burden of remote operation by the operator can be reduced. be able to.

請求項２の発明は、請求項１の発明に従属し、コミュニケーションロボットは、周囲情報を検出するセンサ、センサによって検出された周囲情報に基づいて、自律制御プログラムに基づく自律的コミュニケーション行動で対応できなくなったことを示す呼出条件を満たすか否かを判定する呼出判定手段、および呼出判定手段によって呼出条件を満たすと判定されたとき、操作端末に対して遠隔制御の要求を送信する遠隔制御要求送信手段を含む。   The invention of claim 2 is dependent on the invention of claim 1, and the communication robot can respond by an autonomous communication action based on an autonomous control program based on a sensor for detecting ambient information and the ambient information detected by the sensor. Call determination means for determining whether or not a call condition indicating that the call has been lost is satisfied, and remote control request transmission for transmitting a remote control request to the operation terminal when the call determination means determines that the call condition is satisfied Including means.

請求項２の発明では、コミュニケーションロボットは、センサ（２６，３０，４０，４２，４４，５４，９２）を含み、センサは、たとえば、視覚情報や聴覚情報などを含む当該コミュニケーションロボット周囲の情報（周囲情報）を検出する。呼出判定手段（６６，Ｓ５）は、センサによって検出された周囲情報（センサ情報）に基づいて、呼出条件が満たされたか否かを判定する。ここで、呼出条件は、自律制御プログラムに基づく自律的コミュニケーション行動では対応できない状態や状況になったことを示す条件であり、具体的には、音声認識が不能な場合やトラブルが発生した場合などを示す条件である。遠隔制御要求送信手段は、呼出判定手段によって呼出条件を満たすと判定されたとき、操作端末に対して遠隔制御の要求を送信する（つまり、オペレータを呼び出す）。   In the invention of claim 2, the communication robot includes sensors (26, 30, 40, 42, 44, 54, 92), and the sensors include, for example, information around the communication robot (visual information, auditory information, etc.) Detect ambient information). The call determination means (66, S5) determines whether or not the call condition is satisfied based on the surrounding information (sensor information) detected by the sensor. Here, the calling condition is a condition that indicates that the autonomous communication behavior based on the autonomous control program has become a state or situation that cannot be handled, and specifically, when voice recognition is impossible or trouble occurs. It is the condition which shows. The remote control request transmission unit transmits a remote control request to the operation terminal when the call determination unit determines that the calling condition is satisfied (that is, calls the operator).

請求項２の発明によれば、コミュニケーションロボットに備えたセンサで検出した情報に基づいてオペレータによる遠隔制御が必要な状況を適切に判断し、オペレータを呼び出す。したがって、オペレータは、常にコミュニケーションロボットを監視する必要は無く、必要に応じて遠隔操作を行えばよいので、オペレータによる遠隔操作の負担を減少させることができる。   According to the second aspect of the present invention, based on information detected by a sensor provided in the communication robot, a situation that requires remote control by the operator is appropriately determined, and the operator is called. Therefore, the operator does not always need to monitor the communication robot, and may perform remote operation as necessary, so that the burden of remote operation by the operator can be reduced.

請求項３の発明は、請求項１または２の発明に従属し、プログラマの入力によって新規自律制御プログラムを作成するための開発端末、および取得手段によって取得されたプログラム化情報を含む新規自律制御プログラムの作成依頼を開発端末に送信する作成依頼送信手段をさらに備える。開発端末は、作成依頼に応じてプログラマによって作成された新規自律制御プログラムをコミュニケーションロボットに送信するプログラム送信手段を含む。追加手段は、プログラム送信手段から送信された新規自律制御プログラムを受信するプログラム受信手段を含み、プログラム受信手段によって受信された当該新規自律制御プログラムを自律制御プログラムに追加する。   The invention of claim 3 is dependent on the invention of claim 1 or 2, and is a development terminal for creating a new autonomous control program by the input of a programmer, and a new autonomous control program including programmed information obtained by the obtaining means A creation request transmitting means for transmitting the creation request to the development terminal. The development terminal includes program transmission means for transmitting a new autonomous control program created by the programmer in response to the creation request to the communication robot. The adding means includes program receiving means for receiving a new autonomous control program transmitted from the program transmitting means, and adds the new autonomous control program received by the program receiving means to the autonomous control program.

請求項３の発明では、当該システムは、開発端末（１６）および作成依頼送信手段（Ｓ３７，Ｓ４７）をさらに備える。開発端末は、プログラマが新規自律制御プログラムを作成するための端末である。作成依頼送信手段は、新規自律制御プログラムをプログラマに作成してもらうために、プログラム化情報を含む作成依頼を開発端末に対して送信する。開発端末では、プログラム化情報を参考にして、プログラマによって自律制御プログラムの作成が可能か否かが判断され、可能と判断された場合は新規自律制御プログラムが作成される。開発端末はプログラム送信手段を含み、プログラム送信手段は、たとえばネットワークを介して、作成された新規自律制御プログラムをコミュニケーションロボットに送信する。コミュニケーションロボットの追加手段は、プログラム受信手段（６６，９０）を含み、プログラム受信手段は、開発端末のプログラム送信手段から送信された新規自律制御プログラムを受信する。追加手段は、当該受信した新規自律制御プログラムを従来の自律制御プログラムに追加し、自律制御プログラムを更新する（すなわち、開発端末から送信された新規自律制御プログラムを実装する）。なお、作成依頼送信手段は、操作端末に備えるようにしてもよいし、コミュニケーションロボットに備えるようにしてもよい。また、上述した中央制御装置に備えるようにしてもよい。なお、開発端末の機能を操作端末に備えるようにし、操作端末においてプログラマが新規自律制御プログラムの作成を行うようにしてもよい。   According to a third aspect of the present invention, the system further includes a development terminal (16) and creation request transmission means (S37, S47). The development terminal is a terminal for a programmer to create a new autonomous control program. The creation request transmission means transmits a creation request including programmed information to the development terminal so that a programmer can create a new autonomous control program. In the development terminal, with reference to the programming information, the programmer determines whether or not an autonomous control program can be created. If it is determined that the autonomous terminal program can be created, a new autonomous control program is created. The development terminal includes a program transmission unit, and the program transmission unit transmits the created new autonomous control program to the communication robot via a network, for example. The communication robot adding means includes program receiving means (66, 90), and the program receiving means receives the new autonomous control program transmitted from the program transmitting means of the development terminal. The adding means adds the received new autonomous control program to the conventional autonomous control program and updates the autonomous control program (that is, mounts the new autonomous control program transmitted from the development terminal). The creation request transmission means may be provided in the operation terminal or in the communication robot. Moreover, you may make it provide in the central control apparatus mentioned above. The function of the development terminal may be provided in the operation terminal, and the programmer may create a new autonomous control program in the operation terminal.

請求項３の発明によれば、プログラマは、プログラム化情報を参考にすれば、新規自律制御プログラムの作成が容易になる。また、プログラマによって作成された新規自律制御プログラムをロボットに実装することができる。   According to the invention of claim 3, the programmer can easily create a new autonomous control program by referring to the programmed information. In addition, a new autonomous control program created by a programmer can be installed in the robot.

なお、好ましい実施例として、以下に示すような発明も適用することができる。   In addition, as a preferred embodiment, the following invention can also be applied.

請求項２または３の発明に従属する或る発明（変形例１）では、ロボット操作情報記憶手段は、センサによって検出された周囲情報の履歴をさらに含むロボット操作情報を記憶する。変形例１の発明では、ロボット操作情報記憶手段には、ロボットに備えた超音波距離センサ（３０）やタッチセンサ（５４）などのセンサによって検出された周囲情報（センサ情報）の履歴をさらに含むロボット操作情報が記憶される。変形例１の発明によれば、プログラマは、当該ロボット操作情報から取得したプログラム化情報を参考にすれば、より具体的な状況を把握して新規自律制御プログラムを作成することができる。   In a certain invention (variation 1) subordinate to the invention of claim 2 or 3, the robot operation information storage means stores robot operation information further including a history of surrounding information detected by the sensor. In the invention of Modification 1, the robot operation information storage means further includes a history of ambient information (sensor information) detected by sensors such as an ultrasonic distance sensor (30) and a touch sensor (54) provided in the robot. Robot operation information is stored. According to the invention of Modification 1, the programmer can grasp a more specific situation and create a new autonomous control program by referring to the programmed information acquired from the robot operation information.

また、請求項３または変形例１の発明に従属する或る発明（変形例２）では、操作端末は、オペレータによって開発端末に対するプログラム化の要求が入力されるプログラム化要求入力手段を含み、取得手段は、プログラム化要求入力手段によってプログラム化の要求が入力されたとき、当該入力がされた時刻直前の所定時間にロボット操作情報記憶手段に記憶されたロボット操作情報をプログラム化情報として取得する。   According to another aspect of the invention dependent on the invention of claim 3 or modification 1 (modification 2), the operation terminal includes a programming request input means for inputting a programming request to the development terminal by the operator, The means acquires, as programmed information, robot operation information stored in the robot operation information storage means at a predetermined time immediately before the input time when a program request is input by the program request input means.

変形例２の発明では、操作端末は、プログラム化要求入力手段（１１８，Ｓ３３）を含み、プログラム化要求入力手段には、オペレータによって、プログラマに対する自律制御プログラム化の要求が入力される。たとえば、オペレータは、遠隔操作を行っているときに、直前に入力した操作コマンド（もしくは、操作コマンド系列）が、或る周囲情報（センサ情報）を受信したとき（ロボットが或る状況のとき）に必ず入力する操作コマンドであると気付く場合がある。このような場合などに、オペレータは、プログラム化要求入力手段によってプログラム化の要求を入力する。ここで、操作コマンド系列とは、所定時間の間に入力された一連の操作コマンドを意味する。取得手段（Ｓ３１）は、プログラム化要求入力手段によってプログラム化の要求が入力されると、当該入力がされた時刻直前の所定時間（たとえば６０秒）の間にロボット操作情報記憶手段に記憶されたロボット操作情報を、プログラム化情報として取得する。なお、当該プログラム化情報の取得は、ロボット操作情報記憶手段に記憶されたロボット操作情報から自動的に取得されるものである。なお、作成依頼送信手段は、プログラム化情報が取得されたとき、当該プログラム化情報を含む作成依頼を開発端末（プログラマ）に送信してよい。すなわち、オペレータによってプログラム化の要求が入力されたときに、プログラム化情報が取得されてその作成依頼が送信されてよい。   In the invention of the second modification, the operation terminal includes programmed request input means (118, S33), and a request for autonomous control programming to the programmer is input to the programmed request input means by the operator. For example, when the operator is performing a remote operation, the operation command (or operation command series) input immediately before receives certain ambient information (sensor information) (when the robot is in a certain situation). You may find that this is an operation command that must be entered. In such a case, the operator inputs a request for programming using the programming request input means. Here, the operation command series means a series of operation commands input during a predetermined time. When the programming request is input by the programming request input unit, the acquiring unit (S31) is stored in the robot operation information storage unit during a predetermined time (for example, 60 seconds) immediately before the input time. Robot operation information is acquired as programmed information. Note that the acquisition of the programmed information is automatically acquired from the robot operation information stored in the robot operation information storage means. The creation request transmitting means may transmit a creation request including the programmed information to the development terminal (programmer) when the programmed information is acquired. That is, when a request for programming is input by an operator, programming information may be acquired and a request for creation thereof may be transmitted.

変形例２の発明によれば、オペレータが実際に操作コマンドの入力を行ったときに、自律制御で行うことが望ましい動作（コミュニケーション行動）があると気付いた場合、当該操作コマンドの履歴を含むロボット操作情報をプログラム化情報として取得することができる。全てのロボット操作情報の中から自律制御プログラム化が可能な動作を見つけることは困難であるが、オペレータが実際の遠隔操作の経験に基づいてそれまで遠隔操作で行っていた動作が新たに自律制御プログラム化すべきものか否かを判断するので、プログラマは当該プログラム化情報を参考にすれば、新たに自律制御プログラム化することが可能な動作を容易に見つけることができる。すなわち、新規自律制御プログラムの作成に要する時間を短縮することができる。   According to the second modification, when an operator actually inputs an operation command, when he / she notices that there is an operation (communication behavior) that is desirably performed by autonomous control, the robot includes a history of the operation command. Operation information can be acquired as programmed information. Although it is difficult to find an operation that can be programmed into an autonomous control from all robot operation information, the operation previously performed by the operator remotely based on actual remote operation experience is now autonomously controlled. Since it is determined whether or not it should be programmed, the programmer can easily find an operation that can be newly programmed as an autonomous control program by referring to the programming information. That is, the time required to create a new autonomous control program can be shortened.

さらにまた、請求項３、変形例１または変形例２のいずれかに従属する或る発明（変形例３）では、操作端末は、ロボット操作情報記憶手段に記憶されたロボット操作情報を表示するロボット操作情報表示手段、およびロボット操作情報表示手段に表示されたロボット操作情報から、オペレータによってプログラム化するために利用する情報が選択される選択手段をさらに含み、取得手段は、選択手段によって選択された情報をプログラム化情報としてロボット操作情報記憶手段に記憶されたロボット操作情報から取得する。   Furthermore, in a certain invention (Modification 3) subordinate to either Claim 3, Modification 1 or Modification 2, the operation terminal displays a robot operation information stored in the robot operation information storage means. The operation information display means and the robot operation information displayed on the robot operation information display means further include selection means for selecting information used for programming by the operator, and the acquisition means is selected by the selection means Information is acquired from the robot operation information stored in the robot operation information storage means as programmed information.

変形例３の発明では、操作端末は、ロボット操作情報表示手段（１１０）および選択手段をさらに含む。ロボット操作情報表示手段には、ロボット操作情報記憶手段に記憶したロボット操作情報が表示される。選択手段では、オペレータの入力に応じて、ロボット操作情報表示手段に表示されたロボット操作情報からプログラム化するために利用する情報が選択される。選択手段では、たとえば、或る時刻のロボット操作情報が選択されてもよいし、或る時刻から別の或る時刻までのロボット操作情報が選択されてもよい。取得手段は、選択手段によって選択された情報をプログラム化情報として、ロボット操作情報記憶手段に記憶したロボット操作情報から取得する。なお、作成依頼送信手段は、プログラム化情報が取得されたとき、当該プログラム化情報を含む作成依頼を開発端末（プログラマ）に送信してよい。すなわち、オペレータによってプログラム化に利用する情報の選択およびプログラム化の要求の入力が行われたときに、プログラム化情報が取得されてその作成依頼が送信されてよい。   In the invention of Modification 3, the operation terminal further includes robot operation information display means (110) and selection means. The robot operation information display means displays the robot operation information stored in the robot operation information storage means. In the selection means, information to be used for programming is selected from the robot operation information displayed on the robot operation information display means in accordance with an input from the operator. In the selection means, for example, robot operation information at a certain time may be selected, or robot operation information from a certain time to another certain time may be selected. The acquisition unit acquires the information selected by the selection unit as programmed information from the robot operation information stored in the robot operation information storage unit. The creation request transmitting means may transmit a creation request including the programmed information to the development terminal (programmer) when the programmed information is acquired. That is, when the operator selects information used for programming and inputs a request for programming, the programming information may be acquired and a request for creation thereof may be transmitted.

変形例３の発明によれば、オペレータは、実際に遠隔操作を行ったときに自律制御で行うことが望ましい動作があると感じた場合、以前に入力した操作コマンドの履歴（ロボット操作情報）を見て確認しながらプログラム化するために利用する情報を選択することができる。プログラマは、当該情報を参考にして、新たに自律制御プログラム化することが可能な動作があるか否かを容易に判断することができる。したがって、請求項５の発明と同様に、新規自律制御プログラムの作成の効率性を向上できる。   According to the modification 3 of the invention, when the operator feels that there is a desirable operation to be performed by autonomous control when actually performing remote operation, the history of operation commands (robot operation information) input previously is displayed. Information to be used for programming can be selected while viewing and checking. The programmer can easily determine whether there is an operation that can be newly programmed into an autonomous control program with reference to the information. Therefore, similarly to the invention of claim 5, the efficiency of creating a new autonomous control program can be improved.

また、変形例２または変形例３に従属する或る発明（変形例４）では、操作端末は、オペレータによってコメントが入力されるコメント入力手段をさらに含み、作成依頼送信手段は、コメント入力手段によって入力されたコメントをさらに含む新規自律制御プログラムの作成依頼を開発端末に送信する。変形例４の発明では、操作端末は、コメント入力手段（１１８）をさらに含む。コメント入力手段は、オペレータがコメントを入力するための手段であり、コメント入力手段には、たとえば、オペレータが遠隔操作を行っている際に気付いたことを入力してもよい。作成依頼送信手段は、プログラム化情報とオペレータによってコメント入力手段に入力されたコメントとを含む新規自律制御プログラムの作成依頼を開発端末に対して送信する。変形例４の発明によれば、作成依頼を送信するとき、プログラム化情報（ロボット操作情報）を開発端末に送信するだけでなく、オペレータのコメント（意見もしくは説明）も送信することができるため、プログラマは、より具体的な状況を把握して新規自律制御プログラムを作成することができる。   In a certain invention (Modification 4) subordinate to Modification 2 or Modification 3, the operation terminal further includes comment input means for inputting a comment by the operator, and the creation request transmission means is provided by the comment input means. A request for creating a new autonomous control program further including the input comment is transmitted to the development terminal. In the invention of Modification 4, the operation terminal further includes comment input means (118). The comment input means is a means for the operator to input a comment. For example, the comment input means may input what the operator noticed when performing a remote operation. The creation request transmission means transmits a creation request for a new autonomous control program including the program information and the comment input to the comment input means by the operator to the development terminal. According to the modification 4 of the invention, when sending a creation request, not only can the program information (robot operation information) be sent to the development terminal, but also the operator's comments (opinions or explanations) can be sent. The programmer can grasp a more specific situation and create a new autonomous control program.

また、請求項１ないし３のいずれかに従属する、或いは変形例１ないし４のいずれかに従属する或る発明（変形例５）では、取得手段は、ロボット操作情報記憶手段に記憶されたロボット操作情報から同一の操作コマンド系列を抽出する抽出手段をさらに含み、抽出手段によって抽出された操作コマンド系列に対応するロボット操作情報をプログラム化情報としてロボット操作情報記憶手段から取得する。   Moreover, in a certain invention (modification 5) dependent on any of claims 1 to 3 or dependent on any of modifications 1 to 4, the acquisition means is a robot stored in the robot operation information storage means. Extraction means for extracting the same operation command series from the operation information is further included, and robot operation information corresponding to the operation command series extracted by the extraction means is acquired from the robot operation information storage means as programmed information.

変形例５の発明では、取得手段は抽出手段（Ｓ４１〜Ｓ４５）をさらに含む。抽出手段は、ロボット操作情報記憶手段に記憶したロボット操作情報の中から同一の操作コマンド系列を抽出する。たとえば、ロボット操作情報の全ての時刻から所定時間の間にオペレータがコミュニケーションロボットに対して行った一連の操作コマンドを操作コマンド系列として抽出し、当該抽出した操作コマンド系列の中から同一のものを抽出する。取得手段は、抽出手段によって同一の操作コマンド系列が抽出されたとき、この操作コマンド系列に対応する（を含む）ロボット操作情報をプログラム化情報として取得する。すなわち、当該操作コマンド系列を抽出した或る時間から所定時間（たとえば３０秒）の間のロボット操作情報をプログラム化情報として取得する。なお、作成依頼送信手段は、抽出手段によって同一の操作コマンド系列が抽出され、取得手段によって当該操作コマンド系列に対応するプログラム化情報が取得されたとき、当該取得されたプログラム化情報を含む作成依頼を開発端末に対して自動的に送信する。   In the invention of Modification 5, the acquisition means further includes extraction means (S41 to S45). The extraction means extracts the same operation command series from the robot operation information stored in the robot operation information storage means. For example, a series of operation commands performed by an operator on a communication robot during a predetermined time from all times of robot operation information is extracted as an operation command series, and the same one is extracted from the extracted operation command series To do. When the same operation command sequence is extracted by the extraction unit, the acquisition unit acquires robot operation information corresponding to (including) the operation command sequence as programmed information. That is, the robot operation information from a certain time from which the operation command series is extracted to a predetermined time (for example, 30 seconds) is acquired as programmed information. The creation request transmitting means extracts the same operation command sequence by the extracting means, and when the obtaining means obtains the programming information corresponding to the operation command series, the creation request transmission means includes the obtained programming information. Is automatically sent to the development terminal.

変形例５の発明によれば、繰り返し入力される一連の操作コマンドの内容（操作コマンド系列）を自動的に抽出して開発端末に送信することができる。すなわち、オペレータの手を煩わすことなくプログラム化情報を取得することができ、プログラマは、当該プログラム化情報に基づいて容易に新規自律制御プログラムの作成が可能か否かを判断することができる。   According to the invention of the modified example 5, the contents (operation command series) of a series of operation commands that are repeatedly input can be automatically extracted and transmitted to the development terminal. That is, the programmed information can be acquired without bothering the operator, and the programmer can easily determine whether a new autonomous control program can be created based on the programmed information.

さらにまた、変形例５に従属する或る発明（変形例６）では、抽出手段は、さらに周囲情報系列も同一である操作コマンド系列を抽出する。変形例６の発明では、抽出手段は、同一の操作コマンド系列を抽出するときに、さらに周囲情報系列も同一である操作コマンド系列を抽出する。ここで、周囲情報系列とは、所定時間の間に入力された一連の操作コマンドに対応付けて記憶されている周囲情報（センサ情報）である。なお、取得手段は、操作コマンド系列が同一でありかつ周囲情報系列が同一である、所定時間の間のロボット操作情報をプログラム化情報として取得する。変形例６の発明によれば、より自律制御化できる可能性が高い操作コマンド系列（ロボットの動作）を含むプログラム化情報を取得することができる。   Furthermore, in a certain invention (Modification 6) subordinate to Modification 5, the extraction means further extracts an operation command series having the same surrounding information series. In the invention of the modified example 6, when extracting the same operation command series, the extracting means extracts an operation command series having the same surrounding information series. Here, the ambient information series is ambient information (sensor information) stored in association with a series of operation commands input during a predetermined time. The acquisition means acquires the robot operation information for a predetermined time as the programmed information, in which the operation command series is the same and the surrounding information series is the same. According to the sixth modification, it is possible to acquire programmed information including an operation command sequence (robot operation) that is more likely to be autonomously controlled.

この発明によれば、オペレータによって入力された操作コマンドの履歴とロボットのセンサによって取得された周囲情報の履歴とを記憶する。そして、プログラマにプログラム化を依頼するときには、新規自律制御プログラムのプログラム化に必要な情報を取得して送信するので、プログラマは新規自律制御プログラムの作成が容易になる。また、作成された新規自律制御プログラムはコミュニケーションロボットに送信され、コミュニケーションロボットの自律制御プログラムは追加、更新される（すなわち、実装される）。この新規自律制御プログラムの実装によって、ロボットが自律制御で行える動作が増え、オペレータによる遠隔操作の負担を減少させることができる。さらに、このような新規自律制御プログラムの実装は、開発したロボットを実際に現場（イベント会場や会社の受付など）で使用しながら継続して行えるので、効率よくその現場に適応して動作を制御できるロボットに改良していくことができる。   According to the present invention, the history of operation commands input by the operator and the history of surrounding information acquired by the sensor of the robot are stored. When the programmer is requested to program, information necessary for programming the new autonomous control program is acquired and transmitted, so that the programmer can easily create a new autonomous control program. In addition, the created new autonomous control program is transmitted to the communication robot, and the autonomous control program of the communication robot is added or updated (that is, implemented). By implementing this new autonomous control program, the number of operations that the robot can perform by autonomous control increases, and the burden of remote operation by the operator can be reduced. Furthermore, implementation of such a new autonomous control program can be performed continuously while using the developed robot at the actual site (event venue or company reception etc.), so the operation can be efficiently adapted to the site. It can be improved to a robot that can.

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図１を参照して、この実施例のコミュニケーションロボット改良システム１０は、たとえば無線ＬＡＮやインターネットなどのネットワーク１００を介して接続された、コミュニケーションロボット１２、操作端末１４および開発端末１６を含む。   Referring to FIG. 1, a communication robot improvement system 10 of this embodiment includes a communication robot 12, an operation terminal 14 and a development terminal 16 connected via a network 100 such as a wireless LAN or the Internet.

コミュニケーションロボット１２（以下、単に「ロボット」ということがある。）は、主として人間のようなコミュニケーションの対象とコミュニケーションすることを目的とした相互作用指向のもので、音声によって人間と対話することが可能である。また、音声に代えて、或いは音声とともに、身振り手振りのような身体動作を用いてコミュニケーション行動を実行することもできる。ロボット１２は、たとえば、受付ロボットや道案内ロボットなどであり、或るイベント会場や会社の受付などの様々な場所および状況に配置される。ロボット１２は、通常は自律制御によって受付や道案内などの役割を果たすが、自律制御プログラムに基づく自律的コミュニケーション行動では対応困難な状況になった場合などには、操作端末１４に対して遠隔制御の要求を送信する（オペレータを呼び出す）。そして、ロボット１２は、呼び出したオペレータによって操作端末１４に入力された操作コマンドに従ったコミュニケーション行動（身体動作や発話）を実行する。つまり、ロボット１２は、自律制御プログラムによる自律制御とオペレータによる遠隔制御とを組み合わせて自身の動作を制御する。なお、図１には、ロボット１２が応対する人間Ａを１人だけ示してあるが、複数でもかまわない。   The communication robot 12 (hereinafter, simply referred to as “robot”) is an interaction-oriented one that is mainly intended to communicate with a communication target such as a human, and can interact with a human by voice. It is. Further, the communication action can be executed by using a body action such as gesture gesture instead of or together with the voice. The robot 12 is, for example, a reception robot or a route guidance robot, and is arranged in various places and situations such as a certain event venue or a company reception. The robot 12 normally plays a role such as reception and route guidance by autonomous control, but is remote controlled with respect to the operation terminal 14 when it becomes difficult to cope with autonomous communication behavior based on the autonomous control program. Send a request for (call operator). Then, the robot 12 executes a communication action (physical movement or speech) according to the operation command input to the operation terminal 14 by the calling operator. That is, the robot 12 controls its own operation by combining autonomous control by the autonomous control program and remote control by the operator. In FIG. 1, only one person A who the robot 12 serves is shown, but a plurality of persons A may be used.

図２は、この実施例のロボット１２の外観を示す正面図であり、この図２を参照して、ロボット１２のハードウェアの構成について説明する。   FIG. 2 is a front view showing the appearance of the robot 12 of this embodiment. The hardware configuration of the robot 12 will be described with reference to FIG.

図２に示すように、ロボット１２は台車２０を含み、この台車２０の下面にはロボット１２を自律移動させる車輪２２が設けられる。車輪２２は車輪モータ２４（図３参照）によって駆動され、台車２０すなわちロボット１２を前後左右任意の方向に動かすことができる。このように、ロボット１２は配置された環境内を移動可能なものであるが、場合によっては環境内の所定位置に固定的に設けられてもよい。   As shown in FIG. 2, the robot 12 includes a carriage 20, and wheels 22 for autonomously moving the robot 12 are provided on the lower surface of the carriage 20. The wheel 22 is driven by a wheel motor 24 (see FIG. 3), and the carriage 20, that is, the robot 12 can be moved in any direction, front, back, left, and right. As described above, the robot 12 can move within the environment in which it is arranged. However, the robot 12 may be fixedly provided at a predetermined position in the environment.

なお、図２においては省略するが、台車２０の前面には、衝突センサ２６（図３参照）が取り付けられ、この衝突センサ２６は台車２０への人や他の障害物の接触を検知する。つまり、ロボット１２の移動中に障害物との接触を検知すると、直ちに車輪２２の駆動を停止してロボット１２の移動を急停止させる。   Although omitted in FIG. 2, a collision sensor 26 (see FIG. 3) is attached to the front surface of the carriage 20, and the collision sensor 26 detects contact of a person and other obstacles to the carriage 20. That is, when contact with an obstacle is detected during the movement of the robot 12, the driving of the wheels 22 is immediately stopped and the movement of the robot 12 is suddenly stopped.

また、この実施例では、ロボット１２の背の高さは、人、特に子供に威圧感を与えることのないように、１００ｃｍ程度とされる。ただし、この背の高さは変更可能である。   In this embodiment, the height of the robot 12 is set to about 100 cm so as not to give intimidation to a person, particularly a child. However, this height can be changed.

台車２０の上には、多角形柱のセンサ取付パネル２８が設けられ、このセンサ取付パネル２８の各面には、超音波距離センサ３０が取り付けられる。この超音波距離センサ３０は、センサ取付パネル２８すなわちロボット１２の周囲の主として人との距離を計測するものである。   A polygonal column sensor mounting panel 28 is provided on the carriage 20, and an ultrasonic distance sensor 30 is mounted on each surface of the sensor mounting panel 28. The ultrasonic distance sensor 30 measures a distance from the sensor mounting panel 28, that is, a person mainly around the robot 12.

また、台車２０の上には、さらに、その下部がセンサ取付パネル２８に囲まれて、ロボット１２の胴体が直立するように設けられる。この胴体は、下部胴体３２と上部胴体３４とによって構成され、下部胴体３２および上部胴体３４は、連結部３６によって互いに連結される。図示は省略するが、連結部３６には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体３４の高さすなわちロボット１２の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ３８（図３参照）によって駆動される。   Moreover, the lower part of the robot 20 is surrounded by the sensor mounting panel 28 so that the body of the robot 12 stands upright. This body is composed of a lower body 32 and an upper body 34, and the lower body 32 and the upper body 34 are connected to each other by a connecting portion 36. Although illustration is omitted, the connecting portion 36 has a built-in lifting mechanism, and by using this lifting mechanism, the height of the upper body 34, that is, the height of the back of the robot 12 can be changed. As will be described later, the lifting mechanism is driven by a waist motor 38 (see FIG. 3).

なお、上述したロボット１２の背の高さは、上部胴体３４をそれの最下位置にしたときのものである。したがって、ロボット１２の背の高さは、１００ｃｍ以上にすることも可能である。   The height of the robot 12 described above is the height when the upper body 34 is at its lowest position. Therefore, the height of the back of the robot 12 can be 100 cm or more.

上部胴体３４の正面側のほぼ中央には、１つの全方位カメラ４０と１つのマイク４２とが設けられる。全方位カメラ４０は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ４４とは区別される。この全方位カメラ４０としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。また、マイク４２は、周囲の音、とりわけコミュニケーション対象である人の声を取り込む。なお、これら全方位カメラ４０およびマイク４２の設置位置は上部胴体３４に限られず適宜変更され得る。   One omnidirectional camera 40 and one microphone 42 are provided approximately at the center of the front side of the upper body 34. The omnidirectional camera 40 captures the surroundings of the robot 12 and is distinguished from an eye camera 44 described later. As this omnidirectional camera 40, for example, a camera using a solid-state imaging device such as a CCD or a CMOS can be adopted. The microphone 42 captures ambient sounds, particularly the voice of a person who is a communication target. The installation positions of the omnidirectional camera 40 and the microphone 42 are not limited to the upper body 34 and can be changed as appropriate.

上部胴体３４の両肩には、それぞれ、肩関節４６Ｒおよび４６Ｌによって、上腕４８Ｒおよび４８Ｌが設けられる。肩関節４６Ｒおよび４６Ｌは、それぞれ、３軸の自由度を有する。すなわち、肩関節４６Ｒは、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕４８Ｒの角度を制御できる。Ｙ軸は、上腕４８Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に対して、それぞれ異なる方向から直交する軸である。他方、肩関節４６Ｌは、Ａ軸、Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕４８Ｌの角度を制御できる。Ｂ軸は、上腕４８Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に対して、それぞれ異なる方向から直交する軸である。   Upper arms 48R and 48L are provided on both shoulders of the upper body 34 by shoulder joints 46R and 46L, respectively. The shoulder joints 46R and 46L each have three axes of freedom. That is, the shoulder joint 46R can control the angle of the upper arm 48R around each of the X axis, the Y axis, and the Z axis. The Y axis is an axis parallel to the longitudinal direction (or axis) of the upper arm 48R, and the X axis and the Z axis are orthogonal to the Y axis from different directions. On the other hand, the shoulder joint 46L can control the angle of the upper arm 48L around each of the A, B, and C axes. The B axis is an axis parallel to the longitudinal direction (or axis) of the upper arm 48L, and the A axis and the C axis are axes orthogonal to the B axis from different directions.

また、上腕４８Ｒおよび４８Ｌのそれぞれの先端には、肘関節５０Ｒおよび５０Ｌを介して、前腕５２Ｒおよび５２Ｌが設けられる。肘関節５０Ｒおよび５０Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕５２Ｒおよび５２Ｌの角度を制御できる。   Also, forearms 52R and 52L are provided at the tips of the upper arms 48R and 48L via elbow joints 50R and 50L, respectively. The elbow joints 50R and 50L can control the angles of the forearms 52R and 52L around the axes of the W axis and the D axis, respectively.

なお、上腕４８Ｒおよび４８Ｌならびに前腕５２Ｒおよび５２Ｌの変位を制御するＸ軸，Ｙ軸，Ｚ軸，Ｗ軸およびＡ軸，Ｂ軸，Ｃ軸，Ｄ軸では、それぞれ、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、上腕４８Ｒおよび４８Ｌならびに前腕５２Ｒおよび５２Ｌは下方に向けられる。   In the X axis, Y axis, Z axis, W axis, A axis, B axis, C axis, and D axis that control the displacement of the upper arms 48R and 48L and the forearms 52R and 52L, "0 degrees" is the home position, respectively. In this home position, as shown in FIG. 2, the upper arms 48R and 48L and the forearms 52R and 52L are directed downward.

また、図示は省略するが、上部胴体３４の肩関節４６Ｒおよび４６Ｌを含む肩の部分や上述の上腕４８Ｒおよび４８Ｌならびに前腕５２Ｒおよび５２Ｌには、それぞれ、タッチセンサ（図３で包括的に示す。：５４）が設けられていて、これらのタッチセンサ５４は、人がロボット１２の当該各部位に触れたかどうかを検知する。   In addition, although not shown in the figure, touch sensors (shown comprehensively in FIG. 3) are respectively provided on the shoulder portion of the upper body 34 including the shoulder joints 46R and 46L, the upper arms 48R and 48L, and the forearms 52R and 52L. : 54) are provided, and these touch sensors 54 detect whether or not a person has touched each part of the robot 12.

前腕５２Ｒおよび５２Ｌのそれぞれの先端には、手に相当する球体５６Ｒおよび５６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。   Spheres 56R and 56L corresponding to hands are fixedly provided at the tips of the forearms 52R and 52L, respectively. However, if a finger or palm function is required, a “hand” in the shape of a human hand can be used.

上部胴体３４の中央上方には、首関節５８を介して頭部６０が設けられる。首関節５８は、３軸の自由度を有し、Ｓ軸、Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上（鉛直上向き）に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、そのＳ軸に対して異なる方向で直交する軸である。頭部６０には、人の口に相当する位置に、スピーカ６２が設けられる。スピーカ６２は、ロボット１２が、それの周辺の人に対して音声ないし音によってコミュニケーションを取るために用いられる。ただし、スピーカ６２は、ロボット１２の他の部位、たとえば胴体などに設けられてもよい。   A head 60 is provided above the center of the upper body 34 via a neck joint 58. The neck joint 58 has a degree of freedom of three axes, and the angle can be controlled around each of the S axis, the T axis, and the U axis. The S-axis is an axis that extends from the neck directly upward (vertically upward), and the T-axis and the U-axis are axes that are orthogonal to the S-axis in different directions. The head 60 is provided with a speaker 62 at a position corresponding to a human mouth. The speaker 62 is used for the robot 12 to communicate with people around it by voice or sound. However, the speaker 62 may be provided in another part of the robot 12, for example, the trunk.

また、頭部６０には、目に相当する位置に眼球部６４Ｒおよび６４Ｌが設けられる。眼球部６４Ｒおよび６４Ｌは、それぞれ眼カメラ４４Ｒおよび４４Ｌを含む。以下、右の眼球部６４Ｒと左の眼球部６４Ｌとをまとめて眼球部６４ということがあり、また、右の眼カメラ４４Ｒと左の眼カメラ４４Ｌとをまとめて眼カメラ４４ということもある。   The head 60 is provided with eyeball portions 64R and 64L at positions corresponding to the eyes. Eyeball portions 64R and 64L include eye cameras 44R and 44L, respectively. Hereinafter, the right eyeball portion 64R and the left eyeball portion 64L may be collectively referred to as the eyeball portion 64, and the right eye camera 44R and the left eye camera 44L may be collectively referred to as the eye camera 44.

眼カメラ４４は、ロボット１２に接近した人の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。眼カメラ４４としては、上述した全方位カメラ４０と同様のカメラを用いることができる。   The eye camera 44 captures a human face approaching the robot 12 and other parts or objects, and captures a corresponding video signal. As the eye camera 44, a camera similar to the omnidirectional camera 40 described above can be used.

たとえば、眼カメラ４４は眼球部６４内に固定され、眼球部６４は眼球支持部（図示せず）を介して頭部６０内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部６０に対して設けられる軸であり、α軸は頭部６０の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部６０の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部６０がホームポジションにあるとき、α軸はＳ軸と平行であり、β軸はＵ軸と平行であるように設定される。このような頭部６０において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部６４ないし眼カメラ４４の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。   For example, the eye camera 44 is fixed in the eyeball part 64, and the eyeball part 64 is attached to a predetermined position in the head 60 via an eyeball support part (not shown). The eyeball support unit has two degrees of freedom and can be controlled in angle around each of the α axis and the β axis. The α axis and the β axis are axes provided with respect to the head 60, the α axis is an axis in a direction toward the top of the head 60, the β axis is orthogonal to the α axis and the front side of the head 60 ( It is an axis in a direction perpendicular to the direction in which the face is facing. In this embodiment, when the head 60 is in the home position, the α axis is set to be parallel to the S axis, and the β axis is set to be parallel to the U axis. In such a head 60, by rotating the eyeball support portion around each of the α axis and the β axis, the tip (front) side of the eyeball portion 64 or the eye camera 44 is displaced, and the camera axis, that is, the line-of-sight direction is changed. Moved.

なお、眼カメラ４４の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、眼カメラ４４のカメラ軸は頭部６０の正面側（顔）が向く方向に向けられ、視線は正視状態となる。   In the α axis and β axis that control the displacement of the eye camera 44, “0 degree” is the home position. At this home position, the camera axis of the eye camera 44 is the head 60 as shown in FIG. The direction of the front side (face) is directed, and the line of sight is in the normal viewing state.

図３はロボット１２の電気的な構成を示すブロック図であり、この図３を参照して、ロボット１２は、全体を制御するＣＰＵ６６を含む。ＣＰＵ６６は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス６８を介して、メモリ７０、モータ制御ボード７２、センサ入力／出力ボード７４および音声入力／出力ボード７６に接続される。   FIG. 3 is a block diagram showing an electrical configuration of the robot 12. With reference to FIG. 3, the robot 12 includes a CPU 66 for controlling the whole. The CPU 66 is also called a microcomputer or a processor, and is connected to the memory 70, the motor control board 72, the sensor input / output board 74, and the audio input / output board 76 via the bus 68.

メモリ７０は、図示は省略するが、ＲＯＭやＨＤＤおよびＲＡＭを含み、ＲＯＭやＨＤＤにはロボット１２の動作を制御するためのプログラムやデータなどが予め記憶される。プログラムには、たとえば、各センサ２６，３０，４０，４２，４４，５４，９２などによる検知情報を検出するための検出プログラム、外部コンピュータたとえば操作端末１４および開発端末１６との間で必要なデータを送受信するための通信プログラム、自律制御によって自身の動作を制御するための自律制御プログラムおよび受信した操作コマンド情報に基づいて自身の動作を制御するための遠隔制御プログラムなどがある。お辞儀などの個々のコミュニケーション行動は、モジュール化された各行動プログラムによって実現され、メモリ７０には複数の行動プログラムが各識別情報（操作コマンド）に対応付けて記憶されてよい。ＣＰＵ６６は複数のルールと現在の状況に基づいて次の行動を決定していくことでコミュニケーション行動を自律制御する。また、メモリ７０には各行動を実行する際に発生すべき音声または声の音声データ（音声合成データ）および所定の身振りを提示するための角度データなども記憶される。また、ＲＡＭはワークメモリやバッファメモリとして用いられる。   Although not shown, the memory 70 includes a ROM, an HDD, and a RAM, and programs and data for controlling the operation of the robot 12 are stored in the ROM and the HDD in advance. The program includes, for example, a detection program for detecting detection information by each sensor 26, 30, 40, 42, 44, 54, 92, etc., and data required between external computers such as the operation terminal 14 and the development terminal 16 There are a communication program for transmitting and receiving, an autonomous control program for controlling its own operation by autonomous control, and a remote control program for controlling its own operation based on received operation command information. Individual communication actions such as bowing are realized by each modularized behavior program, and a plurality of behavior programs may be stored in the memory 70 in association with each identification information (operation command). The CPU 66 autonomously controls the communication behavior by determining the next behavior based on the plurality of rules and the current situation. The memory 70 also stores voice data or voice data (speech synthesis data) to be generated when each action is executed, angle data for presenting a predetermined gesture, and the like. The RAM is used as a work memory or a buffer memory.

また、メモリ７０には、図示は省略するが、操作端末１４に対して遠隔制御の要求を行うか否かを判定するための呼出条件が記憶されている。呼出条件は、自律的コミュニケーション行動では対応できなくなったことを示す条件であり、たとえば、トラブルが生じたり、高度な言語理解が必要な場合などより細やかな対応（コミュニケーション行動）が必要な状況になったりしたことを示す条件であってよい。   In addition, although not shown in the figure, the memory 70 stores a calling condition for determining whether or not to make a remote control request to the operation terminal 14. The calling condition is a condition that indicates that it is no longer possible to deal with autonomous communication behavior. For example, when trouble occurs or advanced language understanding is required, a more detailed response (communication behavior) is required. It may be a condition indicating that

また、呼出条件は、各種センサの出力情報に基づいて判定される条件であってよい。たとえば、条件の１つは、音声認識で所定のキーワード（「責任者を呼んで」など）が検出されたことであってよい。キーワードとしては、ロボット１２が相手の意図を分かっていないことを伝えるワード、たとえば「違う」、「そうじゃないんだけど」もしくは「わからないかなあ」も考えられる。また、他の条件は、超音波距離センサ３２で取得された距離が１ｍ以内である状態が５分以上になったこと（すなわち、人がロボット１２と長い間対話している状態）であってよい。さらにまた、他の条件は、特定のＩＤの無線タグを検出したこと（たとえばＶＩＰとして登録された人が現れたこと）であってもよい。なお、呼出条件としては、適宜、様々な条件が設定され得る。たとえば、人の顔表情認識で怒りが検出されたこと、顔同定機能で特定の人を検出したことが考えられる。なお、他の実施例では、呼出条件として、ロボット１２または周囲の環境に設けられた他のセンサの出力に基づく条件が設定されてよい。たとえば、オペレータ呼出ボタンがロボット１２または周囲の環境に設けられてよい。また、体表に設けた触覚センサ（たとえば皮膚センサ）で殴られた場合の反応が検出されたこと、赤外センサで長時間連続して人が検知されたこと、環境の混雑センサで一定以上の混雑度が検出されたことなども考えられる。   The calling condition may be a condition determined based on output information from various sensors. For example, one of the conditions may be that a predetermined keyword (such as “call a responsible person”) is detected by voice recognition. As a keyword, a word that conveys that the robot 12 does not understand the intention of the other party, for example, “No”, “I don't think so” or “I don't know” can be considered. Another condition is that the distance acquired by the ultrasonic distance sensor 32 is within 1 m for 5 minutes or longer (that is, a state in which a person has been interacting with the robot 12 for a long time). Good. Furthermore, another condition may be that a wireless tag having a specific ID is detected (for example, a person registered as a VIP appears). Note that various conditions can be appropriately set as the calling conditions. For example, it is conceivable that anger has been detected by recognizing a human facial expression, and that a specific person has been detected by the face identification function. In another embodiment, a condition based on the output of another sensor provided in the robot 12 or the surrounding environment may be set as the calling condition. For example, an operator call button may be provided on the robot 12 or the surrounding environment. In addition, when a tactile sensor (for example, a skin sensor) provided on the body surface is hit, a reaction is detected, an infrared sensor detects a person continuously for a long time, and an environmental congestion sensor exceeds a certain level. It is also conceivable that the degree of congestion is detected.

モータ制御ボード７２は、たとえばＤＳＰで構成され、各腕や首関節５８および眼球部６４などの各軸モータの駆動を制御する。すなわち、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、右眼球部６４Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」と示す。）７８の回転角度を制御する。同様に、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、左眼球部６４Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」と示す。）８０の回転角度を制御する。   The motor control board 72 is configured by, for example, a DSP, and controls driving of motors of axes such as the arms, the neck joint 58, and the eyeball unit 64. That is, the motor control board 72 receives control data from the CPU 66, and shows two motors for controlling the angles of the α axis and β axis of the right eyeball portion 64R (in FIG. 3, collectively referred to as “right eyeball motor”). .) Control the rotation angle of 78. Similarly, the motor control board 72 receives control data from the CPU 66 and controls two angles of the α axis and β axis of the left eyeball portion 64L (in FIG. 3, collectively referred to as “left eyeball motor”). Shown) Control the rotation angle of 80.

また、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、右肩関節４６ＲのＸ軸、Ｙ軸およびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節５０ＲのＷ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」と示す。）８２の回転角度を調節する。同様に、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、左肩関節４６ＬのＡ軸、Ｂ軸およびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節５０ＬのＤ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」と示す。）８４の回転角度を調整する。   Further, the motor control board 72 receives control data from the CPU 66, and controls the angles of the X axis, Y axis and Z axis of the right shoulder joint 46R and the W axis angle of the right elbow joint 50R. The rotation angle of a total of four motors (one collectively shown as “right arm motor” in FIG. 3) 82 with one motor to be controlled is adjusted. Similarly, the motor control board 72 receives control data from the CPU 66, and controls the angles of the three motors for controlling the angles of the A-axis, B-axis, and C-axis of the left shoulder joint 46L and the D-axis angle of the left elbow joint 50L. The rotation angle of a total of four motors (one collectively shown as “left arm motor” in FIG. 3) 84 including one motor to be controlled is adjusted.

さらに、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、首関節５８のＳ軸、Ｔ軸およびＵ軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」と示す。）８６の回転角度を制御する。さらにまた、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、腰モータ３８および車輪２２を駆動する２つのモータ（図３では、まとめて「車輪モータ」と示す。）２４の回転角度を制御する。   Further, the motor control board 72 receives control data from the CPU 66, and controls three angles of the S-axis, T-axis, and U-axis of the neck joint 58 (in FIG. 3, "head motor" collectively). The rotation angle of 86 is controlled. Furthermore, the motor control board 72 receives control data from the CPU 66 and controls the rotation angle of two motors (collectively referred to as “wheel motors” in FIG. 3) 24 that drive the waist motor 38 and the wheels 22. To do.

なお、この実施例では、車輪モータ２４を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ２４と同様に、直流モータを用いるようにしてもよい。   In this embodiment, a motor other than the wheel motor 24 is a stepping motor or a pulse motor in order to simplify the control. However, as with the wheel motor 24, a DC motor may be used.

センサ入力／出力ボード７４もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ６６に与える。すなわち、超音波距離センサ３０のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード７４を通してＣＰＵ６６に入力される。また、全方位カメラ４０からの映像信号が、必要に応じてこのセンサ入力／出力ボード７４で所定の処理を施された後、ＣＰＵ６６に入力される。眼カメラ４４からの映像信号も、同様にして、ＣＰＵ６６に入力される。また、上述した複数のタッチセンサ（図３では、まとめて「タッチセンサ５４」と示す。）、および衝突センサ２６からの信号がセンサ入力／出力ボード７４を介してＣＰＵ６６に与えられる。   Similarly, the sensor input / output board 74 is also constituted by a DSP, and takes in a signal from each sensor and gives it to the CPU 66. That is, data relating to the reflection time from each of the ultrasonic distance sensors 30 is input to the CPU 66 through the sensor input / output board 74. Further, a video signal from the omnidirectional camera 40 is input to the CPU 66 after being subjected to predetermined processing by the sensor input / output board 74 as required. Similarly, the video signal from the eye camera 44 is also input to the CPU 66. Further, the plurality of touch sensors described above (collectively indicated as “touch sensor 54” in FIG. 3) and signals from the collision sensor 26 are given to the CPU 66 via the sensor input / output board 74.

音声入力／出力ボード７６もまた、同様に、ＤＳＰで構成され、ＣＰＵ６６から与えられる音声合成データに従った音声または声がスピーカ６２から出力される。また、マイク４２からの音声入力が、音声入力／出力ボード７６を介してＣＰＵ６６に取り込まれる。   Similarly, the voice input / output board 76 is also configured by a DSP, and voice or voice in accordance with voice synthesis data provided from the CPU 66 is output from the speaker 62. Also, the voice input from the microphone 42 is taken into the CPU 66 via the voice input / output board 76.

また、ＣＰＵ６６は、バス６８を介して通信ＬＡＮボード８８および無線通信装置９０に接続される。ＣＰＵ６６は、通信ＬＡＮボード８８および無線通信装置９０を用いて、たとえば無線ＬＡＮアクセスポイントを介して無線回線、電話回線、ＬＡＮ，インターネットのようなネットワーク１００に通信接続する。通信ＬＡＮボード８８は、ＤＳＰで構成され、ＣＰＵ６６から送られる送信データを無線通信装置９０に与え、無線通信装置９０からネットワーク１００を介して操作端末１４もしくは開発端末１６に送信する。具体的には、通信ＬＡＮボード８８は、全方位カメラ４０および眼カメラ４４によって検知した視覚情報やマイク４２によって検知した聴覚情報などの検知情報を操作端末１４に送信する。また、通信ＬＡＮボード８８は、無線通信装置９０を介して操作端末１４からの操作コマンドを受信し、受信した操作コマンドをＣＰＵ６６に与える。なお、ロボット１２が移動不可能に設置されている場合、ネットワーク１００へは有線で接続されてもよい。また、ロボット１２と操作端末１４とが無線により直接通信するように構成してもよい。   The CPU 66 is connected to the communication LAN board 88 and the wireless communication device 90 via the bus 68. The CPU 66 uses the communication LAN board 88 and the wireless communication device 90 to connect to a network 100 such as a wireless line, a telephone line, a LAN, and the Internet via a wireless LAN access point, for example. The communication LAN board 88 is configured by a DSP, applies transmission data sent from the CPU 66 to the wireless communication device 90, and transmits the transmission data from the wireless communication device 90 to the operation terminal 14 or the development terminal 16 via the network 100. Specifically, the communication LAN board 88 transmits detection information such as visual information detected by the omnidirectional camera 40 and the eye camera 44 and auditory information detected by the microphone 42 to the operation terminal 14. In addition, the communication LAN board 88 receives an operation command from the operation terminal 14 via the wireless communication device 90 and gives the received operation command to the CPU 66. When the robot 12 is installed so as not to move, it may be connected to the network 100 by wire. Further, the robot 12 and the operation terminal 14 may be configured to directly communicate with each other wirelessly.

また、ＣＰＵ６６には無線タグ読取装置９２が接続される。無線タグ読取装置９２は、無線タグ（ＲＦＩＤタグ）から送信される識別情報の重畳された電波をアンテナを介して受信し、電波信号を増幅し、当該電波信号から識別情報を分離し、当該識別情報を復調（デコード）してＣＰＵ６６に与える。無線タグはイベント会場や会社などにいる人に装着されており、無線タグ読取装置９２は通信可能範囲内の無線タグを検出する。なお、無線タグはアクティブ型であってもよいし、無線タグ読取装置９２から発信される電波に応じて駆動されるパッシブ型であってもよい。   Further, a wireless tag reading device 92 is connected to the CPU 66. The wireless tag reader 92 receives a radio wave superimposed with identification information transmitted from the radio tag (RFID tag) via an antenna, amplifies the radio signal, separates the identification information from the radio signal, and performs the identification. Information is demodulated (decoded) and supplied to the CPU 66. A wireless tag is attached to a person in an event venue or a company, and the wireless tag reader 92 detects a wireless tag within a communicable range. Note that the wireless tag may be an active type or a passive type that is driven in accordance with radio waves transmitted from the wireless tag reader 92.

図１に戻って、
操作端末１４は、コンピュータであり、図示は省略するがＣＰＵを含み、ＣＰＵには、メモリ、データベース、表示装置、入力装置、スピーカおよび通信装置などが接続される。操作端末１４は、通信装置を介しネットワーク１００に有線または無線で接続されている。 Returning to FIG.
The operation terminal 14 is a computer and includes a CPU (not shown). A memory, a database, a display device, an input device, a speaker, a communication device, and the like are connected to the CPU. The operation terminal 14 is connected to the network 100 via a communication device in a wired or wireless manner.

操作端末１４のメモリには、当該操作端末１４の動作を制御するためのプログラムおよび必要なデータが記憶される。プログラムには、たとえば、ロボット１２および開発端末１６との間でデータを送受信するための通信プログラム、入力装置に入力された操作コマンドを検出するための検出プログラムおよび表示装置に画像などを表示するための表示プログラムなどがある。   The memory of the operation terminal 14 stores a program for controlling the operation of the operation terminal 14 and necessary data. Examples of the program include a communication program for transmitting and receiving data between the robot 12 and the development terminal 16, a detection program for detecting an operation command input to the input device, and an image on the display device. Display programs.

操作端末１４のデータベースには、ロボット１２に対して行われた遠隔操作に関する情報を示すロボット操作情報が記憶される。ロボット操作情報には、時刻に対応付けてロボット１２に対して行われた操作に関する情報が登録されており、少なくともオペレータによって操作端末１４に入力された操作コマンドの履歴とロボット１２のセンサによって検出された周囲情報（センサ情報）の履歴とが含まれる。また、ロボット操作情報には、ロボット１２の位置や対話相手などを含むロボット１２に関する情報やオペレータに関する情報などが含まれてよい。さらに、データベースには、図示は省略するが、イベント会場や会社などに存在する人間の情報（たとえば、無線タグの識別情報、使用言語や行動履歴）なども記憶されてよい。   The database of the operation terminal 14 stores robot operation information indicating information related to the remote operation performed on the robot 12. In the robot operation information, information related to operations performed on the robot 12 in association with the time is registered, and is detected by at least the history of operation commands input to the operation terminal 14 by the operator and the sensor of the robot 12. And a history of surrounding information (sensor information). Further, the robot operation information may include information on the robot 12 including the position of the robot 12 and the conversation partner, information on the operator, and the like. Furthermore, although not shown, the database may also store human information (for example, identification information of the wireless tag, language used, and action history) existing in the event venue or company.

具体例としては、ロボット操作情報テーブルには、図４に示すように、時刻に対応付けて、オペレータ名、位置、状態、距離センサおよび後述する操作コマンドの情報などが登録される。時刻を示す情報としては、一定時間毎（たとえば、１秒毎）の時刻（たとえば、ｔ０，ｔ１，・・・，ｔｐ，・・・）が登録される。オペレータ名を示す情報としては、現在ロボット１２の遠隔操作を担当しているオペレータ名（もしくは、オペレータの識別情報）が登録される（たとえば、ｏｐ１）。位置を示す情報としては、当該ロボット１２が配置されている現在位置の情報が登録される。具体的には、当該ロボット１２の配置された建物や会場などの場所を示す情報（たとえば、ＡＴＲ受付）、および当該場所においてロボット１２が現在存在している位置の座標（たとえば、１２０，１４０）が登録される。状態を示す情報としては、ロボット１２の現在の状態が登録される。具体的には、対話者が存在するか否かや、対話者が存在する場合は対話者との位置関係（たとえば、対話者正面）などが登録される。距離センサを示す情報としては、超音波距離センサ３０で取得した対象物（対話者）との距離（たとえば、１００ｃｍ）が登録される。操作コマンドを示す情報としては、オペレータによってたとえば時刻ｔｐから単位時間経過するまで（次の時刻ｔｐ＋１になるまで）の間に入力された操作コマンドが登録される。具体的には、「お辞儀」や「前進」などの情報が登録される。また、当該時刻に操作コマンドの入力がない場合は、「なし」と登録される。また、図４には示していないが、ロボット１２が備える各センサ（タッチセンサ５４や衝突センサ２６など）から取得した各情報も適宜登録される。なお、ロボット１２がさらに他のセンサ（たとえば、皮膚センサや赤外センサ）を備えるようにした場合も、各センサからの取得情報が適宜登録される。   As a specific example, as shown in FIG. 4, an operator name, a position, a state, a distance sensor, operation command information to be described later, and the like are registered in the robot operation information table in association with time. As information indicating the time, a time (for example, t0, t1,..., Tp,...) At regular time intervals (for example, every second) is registered. As the information indicating the operator name, the name of the operator who is currently in charge of remote operation of the robot 12 (or operator identification information) is registered (for example, op1). As information indicating the position, information on the current position where the robot 12 is arranged is registered. Specifically, information (for example, ATR reception) indicating a place such as a building or a venue where the robot 12 is arranged, and coordinates (for example, 120, 140) of the position where the robot 12 currently exists at the location. Is registered. As information indicating the state, the current state of the robot 12 is registered. More specifically, whether or not a dialogue person exists, and if a dialogue person exists, a positional relationship with the dialogue person (for example, the front of the conversation person) is registered. As information indicating the distance sensor, a distance (for example, 100 cm) from the object (interactive person) acquired by the ultrasonic distance sensor 30 is registered. As the information indicating the operation command, for example, an operation command input by the operator until a unit time elapses from time tp (until the next time tp + 1 is reached) is registered. Specifically, information such as “bow” and “advance” is registered. If no operation command is input at the time, “none” is registered. Although not shown in FIG. 4, information acquired from each sensor (such as the touch sensor 54 and the collision sensor 26) included in the robot 12 is also registered as appropriate. Even when the robot 12 is further provided with other sensors (for example, a skin sensor or an infrared sensor), acquired information from each sensor is appropriately registered.

操作端末１４は、ロボット１２との通信によって、ロボット１２の現在位置座標、状態およびセンサ情報などの情報をたとえば一定時間毎（たとえば、１秒毎）に取得して、このロボット操作情報テーブルを生成し更新する。   The operation terminal 14 acquires information such as the current position coordinates, state, and sensor information of the robot 12 at regular time intervals (for example, every second) through communication with the robot 12, and generates this robot operation information table. And update.

たとえば、図４に示すロボット操作情報からは、時刻「ｔ０」には、オペレータ「ｏｐ１」がロボット１２の遠隔操作を担当しており、ロボット１２の配置されている場所は「ＡＴＲ受付」で、現在位置の座標は「１２０，１４０」であるということが分かる。また、ロボット１２には対話者が存在し、対話者との位置関係は「対話者正面」であり、その対話者との距離は「１００ｃｍ」である。さらに、当該時刻には、「お辞儀」という操作コマンドがオペレータによって入力されている。また、時刻「ｔｐ」、「ｔｐ＋１５」および「ｔｐ＋３０」には、続いてオペレータ「ｏｐ１」がロボット１２の遠隔操作を担当しており、ロボット１２が配置されている場所は「ＡＴＲ受付」で、対話者が存在し、対話者との位置関係は「対話者正面」であるということが分かる。また、時刻「ｔｐ」には、ロボット１２の現在の位置座標は「１２０，１４０」、対話者との距離は「１００ｃｍ」であり、「前進」という操作コマンドが入力されている。また、時刻「ｔｐ＋１５」には、ロボット１２の現在の位置座標は「１３０，１４０」、対話者との距離は「９０ｃｍ」であり、「前進」という操作コマンドが入力されている。さらに、時刻「ｔｐ＋３０」には、ロボット１２の現在の位置座標は「１４０，１４０」、対話者との距離は「８０ｃｍ」であり、操作コマンドの入力は「なし」である。   For example, from the robot operation information shown in FIG. 4, at time “t0”, the operator “op1” is in charge of remote operation of the robot 12, and the location where the robot 12 is located is “ATR reception”. It can be seen that the coordinates of the current position are “120, 140”. Further, the robot 12 has an interlocutor, the positional relationship with the interlocutor is “the front of the interlocutor”, and the distance from the interlocutor is “100 cm”. Further, an operation command “bow” is input by the operator at the time. At times “tp”, “tp + 15”, and “tp + 30”, the operator “op1” is in charge of remote operation of the robot 12, and the place where the robot 12 is located is “ATR reception”. It can be seen that there is a dialogue person and the positional relationship with the dialogue person is “dialogue front”. At time “tp”, the current position coordinates of the robot 12 are “120, 140”, the distance to the conversation person is “100 cm”, and an operation command “forward” is input. At time “tp + 15”, the current position coordinates of the robot 12 are “130, 140”, the distance to the conversation person is “90 cm”, and an operation command “forward” is input. Furthermore, at the time “tp + 30”, the current position coordinates of the robot 12 are “140, 140”, the distance to the conversation person is “80 cm”, and the input of the operation command is “none”.

操作端末１４の表示装置には、ＧＵＩとして、遠隔操作画面１１０が表示される。遠隔操作画面１１０では、図５に示すように、たとえば、ロボットカメラ画像１１２、ロボット情報１１４、操作パネル１１６および依頼パネル１１８が表示される。   On the display device of the operation terminal 14, a remote operation screen 110 is displayed as a GUI. On the remote operation screen 110, for example, a robot camera image 112, robot information 114, an operation panel 116, and a request panel 118 are displayed as shown in FIG.

ロボットカメラ画像１１２には、ロボット１２から受信した眼カメラ４４の撮影画像が表示される。これによって、オペレータは、ロボット１２の眼カメラ４４が捕らえている画像、たとえば対話している人間をリアルタイムで確認しながらロボット１２の遠隔操作を実行する。なお、ロボットカメラ画像１１２には、眼カメラ４４による撮影画像の代わりに、ロボット１２の全方位カメラ４０によって撮影した画像を表示してもよいし、ロボット１２の周囲に設けた天井カメラからの画像を表示するようにしてもよい。また、カメラ画像の表示は１つに限定されず、複数のカメラ画像を表示するようにしてもかまわない。   In the robot camera image 112, a captured image of the eye camera 44 received from the robot 12 is displayed. Thus, the operator performs remote operation of the robot 12 while confirming in real time an image captured by the eye camera 44 of the robot 12, for example, a person who is interacting. The robot camera image 112 may display an image taken by the omnidirectional camera 40 of the robot 12 instead of the image taken by the eye camera 44, or an image from a ceiling camera provided around the robot 12. May be displayed. The display of camera images is not limited to one, and a plurality of camera images may be displayed.

ロボット情報１１４には、ロボット１２自体の情報、当該ロボット１２の状況および対話相手の情報などが表示される。具体的には、当該ロボット１２の配置された場所（施設、会場、会社など）、名前（もしくは識別情報）、配置された場所の地図および対話している人間の情報などが表示される。地図には、ロボット１２および対話相手を示すアイコンが各存在位置に表示される。これによって、オペレータは、ロボット１２が設置場所のどこに存在しているのか、対話相手がロボット１２に対してどこに存在しているのかなどを把握する。なお、操作端末１４は、地図情報を予め記憶しておいてもよいし、ロボット１２からセンサ情報とともに受信するようにしてもよい。ロボット１２および対話相手の位置は、たとえばロボット１２から一定時間ごとに操作端末１４に送信される。ロボット１２は初期の配置位置および向きを記憶しているので、自分の現在の位置および向きを常に把握している。また、ロボット１２は、超音波距離センサ３０の出力情報と自分の位置などから対話相手のおよその位置を推定できる。また、地図には、その場所に存在する対話相手以外の人間を示すアイコンも表示されてよい。   In the robot information 114, information on the robot 12 itself, the status of the robot 12, information on a conversation partner, and the like are displayed. Specifically, the location (facility, venue, company, etc.) where the robot 12 is arranged, the name (or identification information), the map of the arranged location, the information of the person who is interacting, and the like are displayed. On the map, icons indicating the robot 12 and the conversation partner are displayed at each location. As a result, the operator knows where the robot 12 is located at the installation location, where the dialogue partner is located with respect to the robot 12, and the like. The operation terminal 14 may store map information in advance, or may receive the map information together with the sensor information from the robot 12. The positions of the robot 12 and the conversation partner are transmitted from the robot 12 to the operation terminal 14 at regular intervals, for example. Since the robot 12 stores the initial arrangement position and orientation, it always knows its current position and orientation. Further, the robot 12 can estimate the approximate position of the conversation partner from the output information of the ultrasonic distance sensor 30 and its own position. In addition, an icon indicating a person other than the conversation partner existing at the place may be displayed on the map.

なお、ロボット１２の配置場所における人間の位置情報は、周囲に設置された天井カメラ、無線タグ読取装置などのような環境のセンサを用いて、当該環境のセンサと接続された他のコンピュータで検出してもよく、当該他のコンピュータからロボット１２に与え、ロボット１２から操作端末１４に送信されてもよい。なお、環境のセンサによってロボット１２の位置なども検出可能であるので、ロボット１２は、自分の位置および向きなどの情報も、人間の位置情報などとともに上記他のコンピュータから取得してもよい。   It should be noted that the position information of the human at the place where the robot 12 is arranged is detected by another computer connected to the sensor of the environment using a sensor of the environment such as a ceiling camera or a wireless tag reader installed in the surroundings. Alternatively, it may be given to the robot 12 from the other computer and transmitted from the robot 12 to the operation terminal 14. Since the position of the robot 12 and the like can be detected by the environmental sensor, the robot 12 may acquire information such as its own position and orientation from the other computer together with the position information of the human.

また、対話している人間の情報としては、名前、所属（たとえば、受付の人間や来客）、来訪回数、前回の来訪日、今回の来訪後の経過時間およびロボット１２が当該相手に既に行ったコミュニケーション行動の履歴などが表示される。なお、対話している人間の情報は、上述したように、データベースに記憶されているので、たとえば、ロボット１２から対話相手の識別情報（ＩＤ）を受信すると、この識別情報に基づいて当該人間の行動履歴などの情報が読み出され、ロボット情報１１４に表示される。これによって、オペレータは、ロボット１２の周囲の状況や対話している人間の情報などをリアルタイムで確認しながらロボット１２の遠隔操作を実行する。なお、これらオペレータに提示される情報は一例であり、ロボット情報１１４には適宜な情報が表示される。   In addition, as information of the person who is interacting, the name, affiliation (for example, reception person or visitor), the number of visits, the date of the previous visit, the elapsed time after this visit, and the robot 12 has already performed for the partner. A history of communication behavior is displayed. In addition, since the information of the person who is interacting is stored in the database as described above, for example, when the identification information (ID) of the conversation partner is received from the robot 12, the person's information is based on the identification information. Information such as an action history is read and displayed in the robot information 114. As a result, the operator executes the remote operation of the robot 12 while confirming the surroundings of the robot 12 and information of the person who is interacting with in real time. Note that the information presented to these operators is an example, and appropriate information is displayed in the robot information 114.

操作パネル１１６では、オペレータが入力装置を操作することにより、ロボット１２の動作を制御する操作コマンドが入力される。たとえば、操作パネル１１６には、移動を指示するためのボタン、コミュニケーション行動を指示するためのボタンおよび遠隔操作の終了を指示するためのボタンなどが設けられる。具体的には、「前進」ボタンは、ロボット１２を前進させるためのボタンである。オペレータが「前進」ボタンを選択すると、ロボット１２は、たとえば一定距離だけ前進する。同様に、「後退」ボタンはロボット１２を後退させ、「右」ボタンはロボット１２を右旋回させ、「左」ボタンはロボット１２を左旋回させる。また、「お辞儀」ボタンは、ロボット１２にお辞儀というコミュニケーション行動を実行させるためのボタンである。オペレータが「お辞儀」ボタンを選択すると、ロボット１２は、首関節５８を制御して頭部６０を下に向け、すなわち、お辞儀をする。また、「右指差し」のボタンは、ロボット１２に右指差しというコミュニケーション行動を実行させるためのボタンである。オペレータが「右指差し」のボタンを選択すると、ロボット１２は、右肩関節４６Ｒおよび右肘関節５０Ｒを制御して腕を前方に上げる。同様にして、操作パネル１１６に表示されたボタンをオペレータが選択ことにより、ロボット１２に、うなずき、左指差しなどの身振りや発話を含む所定のコミュニケーション行動を実行させることができる。また、「終了」ボタンは、オペレータによる遠隔制御を終了させるためのボタンである。オペレータが「終了」のボタンを選択すると、ロボット１２は、自律制御プログラムに基づいて自身の動作を制御するようになる。なお、操作パネル１１６に設けられるこれらのボタンは例示であり、様々な操作コマンドに対応したボタンが適宜設けられる。   On the operation panel 116, an operation command for controlling the operation of the robot 12 is input by the operator operating the input device. For example, the operation panel 116 is provided with a button for instructing movement, a button for instructing communication behavior, a button for instructing termination of remote operation, and the like. Specifically, the “forward” button is a button for moving the robot 12 forward. When the operator selects the “forward” button, the robot 12 moves forward, for example, by a certain distance. Similarly, the “reverse” button causes the robot 12 to retract, the “right” button causes the robot 12 to turn right, and the “left” button causes the robot 12 to turn left. The “bow” button is a button for causing the robot 12 to execute a communication action of bowing. When the operator selects the “bow” button, the robot 12 controls the neck joint 58 and turns the head 60 downward, that is, bows. The “right pointing” button is a button for causing the robot 12 to execute a communication action of pointing right. When the operator selects the “right pointing” button, the robot 12 controls the right shoulder joint 46R and the right elbow joint 50R to raise the arm forward. Similarly, when an operator selects a button displayed on the operation panel 116, the robot 12 can execute a predetermined communication action including gestures and speech such as nodding and pointing to the left. The “end” button is a button for ending the remote control by the operator. When the operator selects the “end” button, the robot 12 controls its own operation based on the autonomous control program. Note that these buttons provided on the operation panel 116 are examples, and buttons corresponding to various operation commands are appropriately provided.

依頼パネル１１８では、オペレータが入力装置を操作することによって、開発端末１６（プログラマ）に対する自律制御プログラムの作成依頼が選択され、またはコメントが入力される。依頼パネル１１８には、たとえば、自律制御プログラムの作成を依頼するプログラム作成依頼ボタンおよびコメントを記述するコメント記述欄が設けられる。   In the request panel 118, an operator operates the input device to select an autonomous control program creation request for the development terminal 16 (programmer) or input a comment. The request panel 118 is provided with, for example, a program creation request button for requesting creation of an autonomous control program and a comment description field describing a comment.

具体的には、プログラム作成依頼ボタンが選択されると、プログラム作成ボタンが選択された直前の所定時間（たとえば、６０秒）にデータベースに記憶されたロボット操作情報がプログラム化情報として自動的に取得され、当該プログラム化情報を含む自律制御プログラムの作成依頼が、開発端末１６に対してネットワーク１００を介して送信される。ここで、プログラム化情報とは、ロボット１２がオペレータの遠隔操作によって実行している動作を自律制御プログラム化するために利用される情報をいう。また、コメント記述欄には、オペレータによって、プログラマ（開発者）に対する補足説明、たとえば、自律制御プログラムの作成に役立つ情報が入力される。プログラム作成依頼ボタンが選択されたときに、コメント記述欄にコメントが入力されていると、プログラム化情報および当該コメントを含む作成依頼が開発端末１６に送信される。   Specifically, when a program creation request button is selected, robot operation information stored in the database at a predetermined time (for example, 60 seconds) immediately before the program creation button is selected is automatically acquired as program information. Then, a request for creating an autonomous control program including the programmed information is transmitted to the development terminal 16 via the network 100. Here, the program information refers to information used for converting the operation performed by the robot 12 by an operator's remote operation into an autonomous control program. Further, in the comment description column, a supplementary explanation for the programmer (developer), for example, information useful for creating an autonomous control program is input by the operator. If a comment is input in the comment description field when the program creation request button is selected, the creation request including the program information and the comment is transmitted to the development terminal 16.

操作端末１４の入力装置は、マウス、キーボードまたはタッチパネルなどであり、オペレータは入力装置を操作することによってロボット１２を遠隔操作するための操作コマンドやコメントを遠隔操作画面１１０で入力することができる。スピーカは、ロボット１２のマイク４２が取得した聴覚情報を出力する。   The input device of the operation terminal 14 is a mouse, a keyboard, a touch panel, or the like. The operator can input operation commands and comments for remotely operating the robot 12 on the remote operation screen 110 by operating the input device. The speaker outputs the auditory information acquired by the microphone 42 of the robot 12.

なお、操作端末１４は、ロボット１２と離れた場所、たとえばオフィスに配置されるが、たとえばオペレータによって持ち運び可能もしくは携帯可能に形成されてもよいし、また、或る場所に固定的に設けられてもよい。   The operation terminal 14 is disposed in a place away from the robot 12, for example, in an office, but may be formed to be portable or portable by an operator, or may be fixedly provided in a certain place. Also good.

開発端末１６は、コンピュータであり、図示は省略するがＣＰＵを含み、ＣＰＵには、メモリ、表示装置、入力装置および通信装置などが接続される。開発端末１６は、通信装置を介しネットワーク１００に有線または無線で接続されている。   The development terminal 16 is a computer and includes a CPU (not shown). A memory, a display device, an input device, a communication device, and the like are connected to the CPU. The development terminal 16 is connected to the network 100 via a communication device in a wired or wireless manner.

開発端末１６のメモリには、当該開発端末１６の動作を制御するためのプログラムおよび必要なデータが記憶される。プログラムには、たとえば、ロボット１２および操作端末１４との間でデータを送受信するための通信プログラムおよび表示装置にプログラム化情報などを表示するための表示プログラムが含まれる。   The memory of the development terminal 16 stores a program for controlling the operation of the development terminal 16 and necessary data. The programs include, for example, a communication program for transmitting / receiving data between the robot 12 and the operation terminal 14 and a display program for displaying programmed information on the display device.

開発端末１６の表示装置には、図示は省略するが、たとえば、プログラムを作成するプログラム作成画面や受信したプログラム化情報が表示される。プログラマは、入力装置を操作することによって、プログラムを作成する。   For example, a program creation screen for creating a program and received program information are displayed on the display device of the development terminal 16. The programmer creates a program by operating the input device.

開発端末１６の通信装置は、たとえば、操作端末１４から新規自律制御プログラムの作成依頼を受信し、作成した新規自律制御プログラムをロボット１２に対して送信する。   For example, the communication device of the development terminal 16 receives a request for creating a new autonomous control program from the operation terminal 14 and transmits the created new autonomous control program to the robot 12.

このコミュニケーションロボット改良システム１０では、上述したように、ロボット１２は、通常、自律制御によって受付や道案内などのコミュニケーション行動を伴う動作を行う。   In this communication robot improvement system 10, as described above, the robot 12 normally performs an operation accompanied by communication behavior such as reception and route guidance by autonomous control.

ロボット１２が自律制御によって実行するコミュニケーション行動（自律的コミュニケーション行動）には、たとえば、人間に肩を触れられると、「なーに」と発話して手を振るというようなものがある。具体的には、ロボット１２のＣＰＵ６６は、タッチセンサ５４からの、肩部のタッチセンサ５４が“ＯＮ”の状態になったことを表す信号をセンサ入力／出力ボードを介して読み込むと、メモリ７０から音声入力／出力ボード７６へ音声データを送信し、スピーカ６２から合成音声「なーに」を出力する。また、ＣＰＵ６６は、メモリ７０から角度データをモータ制御ボード７２へ送信し、手を振るように、腕（図２に示す、Ａ，Ｂ，Ｃ，Ｄ，Ｘ，Ｙ，Ｚ，Ｗ軸）の角度を制御する。また、コミュニケーション行動には、たとえば、人間に頭を触れられると、「わーい」と発話して首を振るというものや、人間とのコミュニケーションがない状態が続くと、「暇だな」と発話して首を振る、もしくは、「触ってね」と発話して手を差し出すというものがあり、ＣＰＵ６６は、上述したものと同様にこれらの動作を制御する。なお、これらのコミュニケーション行動は例示であり、ロボット１２は、これらの他にも様々なコミュニケーション行動を行うことができる。ロボット１２は、上述のように、通常の、単純で定型的なコミュニケーション行動については自律制御によって行う。   Examples of the communication behavior (autonomous communication behavior) executed by the robot 12 by autonomous control include, for example, when a person touches his shoulder, he speaks “what” and shakes his hand. Specifically, when the CPU 66 of the robot 12 reads a signal from the touch sensor 54 indicating that the shoulder touch sensor 54 is in the “ON” state via the sensor input / output board, the memory 70. Audio data is transmitted to the audio input / output board 76, and the synthesized voice “NANI” is output from the speaker 62. Further, the CPU 66 transmits the angle data from the memory 70 to the motor control board 72, and the arms (A, B, C, D, X, Y, Z, and W axes shown in FIG. 2) of the arm so as to wave their hands. Control the angle. In addition, for example, when a person touches his head, he speaks “wai” and shakes his head, or when there is no communication with a human being, he says “I am free”. Shake the head, or say "Please touch" and put out a hand, and the CPU 66 controls these operations in the same manner as described above. Note that these communication behaviors are examples, and the robot 12 can perform various communication behaviors in addition to these. As described above, the robot 12 performs normal, simple and regular communication behavior by autonomous control.

しかし、自律的コミュニケーション行動では対応することが難しい状況や事態になった場合（上述した呼出条件を満たす場合）には、ロボット１２は、遠隔制御の要求を操作端末１４に対して送信する。   However, when a situation or situation that is difficult to cope with by autonomous communication behavior occurs (when the above-described calling condition is satisfied), the robot 12 transmits a remote control request to the operation terminal 14.

操作端末１４では、ロボット１２からの呼出要求を受信すると、表示装置に、図５に示すような遠隔操作画面１１０が表示され、オペレータは、ロボット１２の遠隔操作を開始する。ロボット１２の遠隔操作は、上述したように、オペレータが操作端末１４の入力装置を操作することによって行われる。オペレータは、たとえば、図５に示すような操作パネル１１６に設けられた「前進」、「後退」、「右」、「左」などの移動を指示するための各ボタンを選択することによってロボット１２の移動を制御する。また、たとえば、「お辞儀」、「うなずき」、「右指差し」、「左指差し」などのコミュニケーション行動を指示するための各ボタンを選択することによってロボット１２にコミュニケーション行動を実行させる。操作端末１４は、入力データとボタン配置データとに基づいて操作パネル１１６でのボタン選択を検出すると、選択されたボタンに対応する操作コマンドを特定し、当該操作コマンド情報をネットワーク１００を介してロボット１２に送信する。ロボット１２は、操作端末１４から操作コマンド情報を受信すると、当該操作コマンド情報に基づいて自身の動作を制御する。具体的には、ロボット１２のＣＰＵ６６は、操作コマンド情報に対応するコミュニケーション行動のプログラムに従って処理を実行する。これによって、ロボット１２は所定の身振りを提示し、所定の音声を出力し、或いは移動もしくは旋回する。   When the operation terminal 14 receives a call request from the robot 12, a remote operation screen 110 as shown in FIG. 5 is displayed on the display device, and the operator starts remote operation of the robot 12. The remote operation of the robot 12 is performed by the operator operating the input device of the operation terminal 14 as described above. The operator selects, for example, each button for instructing movement such as “forward”, “backward”, “right”, “left”, etc., provided on the operation panel 116 as shown in FIG. Control the movement of. Further, for example, the robot 12 is caused to execute the communication action by selecting each button for instructing the communication action such as “bow”, “nodding”, “right pointing”, “left pointing”, and the like. When the operation terminal 14 detects button selection on the operation panel 116 based on the input data and the button arrangement data, the operation terminal 14 specifies an operation command corresponding to the selected button, and the operation command information is transmitted to the robot via the network 100. 12 to send. When receiving the operation command information from the operation terminal 14, the robot 12 controls its own operation based on the operation command information. Specifically, the CPU 66 of the robot 12 executes processing according to a communication behavior program corresponding to the operation command information. As a result, the robot 12 presents a predetermined gesture, outputs a predetermined voice, or moves or turns.

また、操作端末１４には、ロボット１２から周囲情報（センサ情報）などが一定時間毎（たとえば、１秒毎）に送信され、当該周囲情報は、操作端末１４のデータベースに記録される。さらに、オペレータによって操作コマンドが入力されたときは、当該操作コマンド情報も操作端末１４のデータベースに記録される。このようにして、たとえば、図４に示したようなロボット操作情報が操作端末１４のデータベースに記録されていく。なお、上述したように、ロボット操作情報には、当該周囲情報および操作コマンド情報の他にも、時刻に対応付けて、ロボット１２の位置情報やオペレータ情報などのロボットの操作に関する情報が適宜記憶される。   In addition, ambient information (sensor information) or the like is transmitted from the robot 12 to the operation terminal 14 at regular intervals (for example, every second), and the ambient information is recorded in the database of the operation terminal 14. Further, when an operation command is input by the operator, the operation command information is also recorded in the database of the operation terminal 14. In this way, for example, robot operation information as shown in FIG. 4 is recorded in the database of the operation terminal 14. As described above, in addition to the surrounding information and the operation command information, information related to the operation of the robot such as the position information of the robot 12 and the operator information is appropriately stored in the robot operation information in association with the time. The

オペレータは、上述したように、必要に応じてロボット１２の遠隔操作を行う。しかし、現在遠隔操作で行っている動作（コミュニケーション行動）の中にも、自律制御プログラムを作成すれば、ロボット１２の自律制御だけで対応できるような定型的なものが存在する場合がある。このような場合には、操作端末１４から開発端末１６に対して自律制御プログラムの作成依頼が送信される。たとえば、オペレータは、実際に遠隔操作を行っているときに、現在入力した操作コマンド、あるいは操作コマンドの一連の入力（操作コマンド系列）が、ロボット１２から或るセンサ情報を受信したときに必ず入力する操作コマンド、あるいは或る状況で必ず行う一連の入力であると気付く場合がある。このような場合には、オペレータは、上述した、遠隔操作画面１１０に表示される依頼パネル１１８のプログラム作成依頼ボタンを選択する。すると、操作端末１４のＣＰＵは、データベースに記憶されたロボット操作情報から、プログラム作成依頼ボタンが選択された時刻直前の所定時間（たとえば、６０秒）の情報（すなわち、プログラム化情報）を読み出し、当該プログラム化情報を含むプログラムの作成依頼をネットワーク１００を介して開発端末１６に送信する。さらに、オペレータが依頼パネル１１８のコメント記述欄にコメント（プログラムを作成するときに役立つ意見や情報など）を入力しておくと、当該コメントをさらに含む作成依頼が開発端末１６に送信される。   As described above, the operator performs remote operation of the robot 12 as necessary. However, there are cases where there is a fixed type of operation (communication behavior) currently being performed by remote operation that can be handled only by the autonomous control of the robot 12 by creating an autonomous control program. In such a case, a request for creating an autonomous control program is transmitted from the operation terminal 14 to the development terminal 16. For example, when an operator is actually performing a remote operation, the currently input operation command or a series of input operation commands (operation command series) is always input when certain sensor information is received from the robot 12. It may be noticed that it is an operation command to be performed or a series of inputs that must be performed in a certain situation. In such a case, the operator selects the program creation request button on the request panel 118 displayed on the remote operation screen 110 described above. Then, the CPU of the operation terminal 14 reads information (that is, programmed information) of a predetermined time (for example, 60 seconds) immediately before the time when the program creation request button is selected from the robot operation information stored in the database. A request for creating a program including the program information is transmitted to the development terminal 16 via the network 100. Further, when the operator inputs a comment (an opinion or information useful when creating a program) in the comment description field of the request panel 118, a creation request further including the comment is transmitted to the development terminal 16.

具体例としては、ロボット１２が人間と対話しているときに、超音波距離センサ３０によって検出された対話者との距離が１００ｃｍであったとする。この場合に、オペレータは、たとえば、対話者の音声を検出し難いという理由から、常に対話者との距離が８０ｃｍになるまでロボット１２を遠隔操作によって前進させていたとする。すると、オペレータは、当該動作（すなわち、人間と対話するときには、当該人間との距離を８０ｃｍに保つという動作）を自律制御で行えるように、開発端末１６（プログラマ）に対して、新規自律制御プログラムの作成を依頼する。すなわち、当該操作コマンドの履歴と距離センサの検出データの履歴とを含むロボット操作情報をプログラム化情報として含む作成依頼が開発端末１６に対して送信される。また、コメント記述欄には、たとえば、「人間と対話するときの距離を８０ｃｍに保つような新規自律制御プログラム作成希望」などと記述してよい。すると、当該コメントをさらに含む作成依頼が送信される。   As a specific example, it is assumed that when the robot 12 is interacting with a human, the distance to the interlocutor detected by the ultrasonic distance sensor 30 is 100 cm. In this case, it is assumed that the operator always advances the robot 12 by remote control until the distance to the conversation person becomes 80 cm, for example, because it is difficult to detect the voice of the conversation person. Then, the operator can make a new autonomous control program for the development terminal 16 (programmer) so that the operation (that is, the operation of keeping the distance to the person at 80 cm when interacting with the person) can be performed by the autonomous control. Request creation. That is, a creation request including robot operation information including the history of the operation command and the history of detection data of the distance sensor as program information is transmitted to the development terminal 16. Further, in the comment description column, for example, “desired to create a new autonomous control program that keeps the distance when talking with a human being 80 cm” may be described. Then, a creation request that further includes the comment is transmitted.

このように、オペレータが実際にロボット１２の遠隔操作を行っているときに、自律制御で行うことが望ましい動作（コミュニケーション行動）があると気付いた場合、当該動作に対応するプログラム化情報およびコメントが、オペレータの入力に応じて開発端末１６に対して送信される。これに応じて、プログラマは受信したプログラム化情報およびコメントを調査して、新規に自律制御プログラム化が可能な動作が有るか否かを容易に判断することができる。   As described above, when the operator actually performs remote operation of the robot 12 and notices that there is an operation (communication behavior) that is desirably performed by autonomous control, the programmed information and the comment corresponding to the operation are displayed. And sent to the development terminal 16 in response to the operator's input. In response to this, the programmer can easily determine whether or not there is an operation that can be newly made into an autonomous control program by examining the received program information and comments.

また、操作端末１４のＣＰＵは、定期的にたとえば１日に１回または数時間に１回程度、データベースに記憶したロボット操作情報から同一の操作コマンド系列を抽出し、開発端末１６に送信する。たとえば、ロボット操作情報に記憶された全ての時刻から所定時間（たとえば、３０秒）の間に入力された一連の操作コマンドを操作コマンド系列として抽出し、各操作コマンド系列について同一の操作コマンド系列が有るか否かを判断する。同一の操作コマンド系列が有る場合は、当該操作コマンド系列に基づくロボット１２の動作は自律制御プログラム化できる可能性があると判断して、当該操作コマンド系列に対応するロボット操作情報をプログラム化情報として送信する。なお、同一の操作コマンド系列を抽出する際、さらに周囲情報（センサ情報）系列も同一のものを抽出するようにしてもよい。   Further, the CPU of the operation terminal 14 periodically extracts the same operation command series from the robot operation information stored in the database, for example, once a day or once every several hours, and transmits it to the development terminal 16. For example, a series of operation commands input during a predetermined time (for example, 30 seconds) from all times stored in the robot operation information are extracted as operation command sequences, and the same operation command sequence is obtained for each operation command sequence. Judge whether or not there is. If there is the same operation command series, it is determined that there is a possibility that the operation of the robot 12 based on the operation command series can be made into an autonomous control program, and the robot operation information corresponding to the operation command series is used as program information. Send. When extracting the same operation command series, the same surrounding command (sensor information) series may also be extracted.

このように、操作端末１４のＣＰＵは新規に自律制御プログラム化ができそうな動作を自動的に抽出して、開発端末１６に送信するので、実際に遠隔操作しているオペレータが気付かないような場合にもプログラム化の作成依頼を行うことができ、また、作成依頼というオペレータの負担を減少させることができる。   In this way, the CPU of the operation terminal 14 automatically extracts an operation that is likely to be made into an autonomous control program and transmits it to the development terminal 16, so that the operator who is actually remotely operating does not notice it. Even in this case, it is possible to make a program creation request, and to reduce the burden on the operator of the creation request.

また、開発端末１６では、操作端末１４から新規自律制御プログラムの作成依頼を受信すると、プログラマは、受信したプログラム化情報を参考にして、新規自律制御プログラムの作成が可能であるか否かを判断する。プログラマ自らがロボット１２の動作に関する全ての情報から新たに自律制御化できるものを見つけることに比べて、受信したプログラム化情報を参考にすると、プログラマは容易に自律制御化できる動作を見つけることができる。プログラマは、新規に自律制御化できる動作が存在すると、新規自律制御プログラムを作成する。新規自律制御プログラムが作成された場合、作成されたプログラムはロボット１２に送信される。   In addition, when the development terminal 16 receives a request for creating a new autonomous control program from the operation terminal 14, the programmer determines whether or not a new autonomous control program can be created with reference to the received program information. To do. The programmer can easily find an operation that can be autonomously controlled by referring to the received programmed information as compared to finding new information that can be autonomously controlled from all information related to the operation of the robot 12 by the programmer himself / herself. . The programmer creates a new autonomous control program when there is a new operation that can be autonomously controlled. When a new autonomous control program is created, the created program is transmitted to the robot 12.

ロボット１２は、開発端末１６から送信された新規自律制御プログラムを受信すると、当該プログラムをたとえばメモリ７０に記憶する。ロボット１２は、メモリ７０に新たに記憶したプログラムを加えて更新された自律制御プログラムに基づいて、自律的コミュニケーション行動を実行する。このように、開発端末１６で作成された新規自律制御プログラムは、ロボット１２に自律制御プログラムとして実装することができる。このような新規自律制御プログラムの実装は、開発したロボット１２を実際に現場で使用しながら継続的に行うことができるので、効率よくその現場に適応して動作を制御できるロボットに改良していくことができる。   When the robot 12 receives the new autonomous control program transmitted from the development terminal 16, the robot 12 stores the program in the memory 70, for example. The robot 12 executes autonomous communication behavior based on the autonomous control program updated by adding the program newly stored in the memory 70. Thus, the new autonomous control program created by the development terminal 16 can be implemented in the robot 12 as an autonomous control program. The implementation of such a new autonomous control program can be performed continuously while actually using the developed robot 12 at the site, so that the robot can be efficiently adapted to the site and controlled to operate. be able to.

具体的には、ロボット１２のＣＰＵ６６は、図６に示すフロー図に従って、自律制御と遠隔制御とを組み合わせたコミュニケーション行動の全体処理を実行し、操作端末１４のＣＰＵは、図７および図８に示すフローチャートに従って、開発端末１６に対する新規自律制御プログラムの作成依頼処理を実行する。   Specifically, the CPU 66 of the robot 12 executes the entire process of communication behavior combining autonomous control and remote control according to the flowchart shown in FIG. The creation request process for the new autonomous control program for the development terminal 16 is executed according to the flowchart shown.

図６に示すように、ロボット１２のＣＰＵ６６は、コミュニケーション行動処理を開始すると、ステップＳ１で停止命令が有るか否かを判断する。たとえば、停止命令は、ロボット１２に停止ボタンを設けておき、当該ボタンが操作されたか否かで判断するようにしてもよいし、操作端末１４からの停止命令が有るか否かで判断するようにしてもよい。ステップＳ１で“ＹＥＳ”の場合、すなわち停止命令が有る場合は、そのまま当該処理を終了する。一方、ステップＳ１で“ＮＯ”の場合、すなわち、停止命令が無い場合は、ステップＳ３に進む。   As shown in FIG. 6, when starting the communication behavior process, the CPU 66 of the robot 12 determines whether or not there is a stop command in step S1. For example, the stop command may be determined by providing a stop button on the robot 12 and determining whether or not the button is operated, or by determining whether or not there is a stop command from the operation terminal 14. It may be. If “YES” in the step S1, that is, if there is a stop command, the process is finished as it is. On the other hand, if “NO” in the step S1, that is, if there is no stop command, the process proceeds to a step S3.

ステップＳ３では、周囲情報（センサ情報）を取得する。たとえば、超音波距離センサ３０、マイク４２、眼カメラ４４、タッチセンサ５４および無線タグ読取装置９２からの周囲情報を取得する。   In step S3, ambient information (sensor information) is acquired. For example, ambient information from the ultrasonic distance sensor 30, the microphone 42, the eye camera 44, the touch sensor 54, and the wireless tag reader 92 is acquired.

次のステップＳ５では、上述した呼出条件が満たされたか否かを判断する。すなわち、ステップＳ３で取得した情報に基づいて、自律制御プログラムによる自律的コミュニケーション行動で対応できる状況であるか否かを判断する。ステップＳ５で“ＮＯ”の場合、すなわち、呼出条件を満たさない場合は、ステップＳ７に進み、上述したような自律的コミュニケーション行動を必要に応じて実行し、ステップＳ１に戻る。一方、ステップＳ５で“ＹＥＳ”の場合、すなわち、呼出条件を満たした場合は、自律的コミュニケーション行動では対応できない状況であると判断し、ステップＳ９に進む。   In the next step S5, it is determined whether or not the above-described calling conditions are satisfied. That is, based on the information acquired in step S3, it is determined whether or not the situation can be handled by the autonomous communication action by the autonomous control program. If “NO” in the step S5, that is, if the calling condition is not satisfied, the process proceeds to a step S7, and the autonomous communication behavior as described above is executed as necessary, and the process returns to the step S1. On the other hand, if “YES” in the step S5, that is, if the calling condition is satisfied, it is determined that the situation cannot be handled by the autonomous communication behavior, and the process proceeds to the step S9.

ステップＳ９では、遠隔制御の要求を操作端末１４に対して送信する。つまり、オペレータを呼び出す。次のステップＳ１１では、ステップＳ３で取得した周囲情報を操作端末１４に対して送信する。なお、操作端末１４では、当該周囲情報が記憶され、当該周囲情報に基づいて遠隔操作画面１１０が表示され、必要に応じてオペレータによる操作コマンドの入力が行われる。   In step S9, a remote control request is transmitted to the operation terminal 14. That is, the operator is called. In the next step S11, the surrounding information acquired in step S3 is transmitted to the operation terminal 14. The operation terminal 14 stores the surrounding information, displays the remote operation screen 110 based on the surrounding information, and inputs an operation command by the operator as necessary.

ステップＳ１３では、操作端末１４から操作コマンドが有るか否かを判断する。ステップＳ１３で“ＮＯ”の場合、すなわち操作コマンドが無ければ、そのままステップＳ１７に進む。一方、ステップＳ１３で“ＹＥＳ”の場合、すなわち、操作コマンドが有る場合は、ステップＳ１５で操作コマンドに従うコミュニケーション行動（身体動作や発話）を実行して、ステップＳ１７に進む。   In step S13, it is determined whether or not there is an operation command from the operation terminal 14. If “NO” in the step S13, that is, if there is no operation command, the process proceeds to a step S17 as it is. On the other hand, if “YES” in the step S13, that is, if there is an operation command, a communication action (physical action or speech) according to the operation command is executed in a step S15, and the process proceeds to a step S17.

ステップＳ１７では、操作端末１４から遠隔制御の終了要求（終了コマンド）が有るか否かを判断する。たとえば、上述した操作端末１４の操作パネル１１６の「終了」ボタン（図５参照）が選択されたか否かを判断する。なお、遠隔制御の終了要求と上述したステップＳ１の停止命令とは別のものである。ステップＳ１７で“ＮＯ”の場合、すなわち、遠隔制御の終了要求が無い場合は、遠隔制御を継続すると判断してステップＳ１１に戻る。一方、ステップＳ１７で“ＹＥＳ”の場合、すなわち、遠隔制御の終了要求が有る場合は、遠隔制御を終了すると判断して、ステップＳ１に戻る。   In step S17, it is determined whether or not there is a remote control end request (end command) from the operation terminal. For example, it is determined whether or not the “end” button (see FIG. 5) on the operation panel 116 of the operation terminal 14 is selected. Note that the remote control termination request and the stop command in step S1 described above are different. If “NO” in the step S17, that is, if there is no remote control termination request, it is determined that the remote control is continued, and the process returns to the step S11. On the other hand, if “YES” in the step S17, that is, if there is a remote control termination request, it is determined that the remote control is terminated, and the process returns to the step S1.

なお、この実施例では、操作端末１４からの操作コマンドが有ると、直ぐに当該操作コマンドに従うコミュニケーション行動を実行するようにしてある。ただし、操作端末１４からの操作コマンドを受信したときに、コミュニケーション行動を実行中である場合には、当該コミュニケーション行動の実行を終了してから、制御コマンドに従うコミュニケーション行動を実行するようにしてもよい。   In this embodiment, when there is an operation command from the operation terminal 14, a communication action according to the operation command is immediately executed. However, when the communication action is being executed when the operation command is received from the operation terminal 14, the communication action according to the control command may be executed after the execution of the communication action is terminated. .

図７は、操作端末１４のＣＰＵがオペレータの操作に従って開発端末１６に対して新規自律制御プログラムの作成を依頼するときの全体処理の一例を示すフロー図である。図７を参照して、操作端末１４のＣＰＵは、当該処理を開始すると、ステップＳ２１で、ロボット１２から遠隔制御の要求を受信したか否かを判定する。このステップＳ２１の判定は、所定時間毎に繰り返し実行される。   FIG. 7 is a flowchart showing an example of overall processing when the CPU of the operation terminal 14 requests the development terminal 16 to create a new autonomous control program in accordance with the operation of the operator. Referring to FIG. 7, when starting the process, the CPU of operation terminal 14 determines whether or not a request for remote control has been received from robot 12 in step S21. The determination in step S21 is repeatedly executed every predetermined time.

ステップＳ２１で“ＹＥＳ”の場合、すなわち、ロボット１２から遠隔制御の要求を受信したときは、ステップＳ２３でロボット１２から周囲情報（センサ情報）を受信し、データベースに記録する。具体的には、所定時間毎（たとえば、１秒毎）にロボット１２の超音波距離センサ３０やタッチセンサ５４などからの周囲情報を取得し、図４に示すようなロボット操作情報テーブルを更新する。なお、ロボットの位置や状態などのロボットに関する情報およびオペレータに関する情報も適宜取得し、ロボット操作情報テーブルを更新する。   If “YES” in the step S21, that is, if a request for remote control is received from the robot 12, the surrounding information (sensor information) is received from the robot 12 in step S23 and recorded in the database. Specifically, the surrounding information from the ultrasonic distance sensor 30 and the touch sensor 54 of the robot 12 is acquired every predetermined time (for example, every second), and the robot operation information table as shown in FIG. 4 is updated. . Information regarding the robot such as the position and state of the robot and information regarding the operator are also acquired as appropriate, and the robot operation information table is updated.

次のステップＳ２５では、現在のロボットカメラからの画像（映像）とロボット情報とを遠隔操作画面１１０に表示する。ロボットカメラ画像１１２およびロボット情報１１４は、ステップＳ２３で受信した情報に基づいて生成および更新される。なお、遠隔操作画面１１０には、操作パネル１１６および依頼パネル１１８も表示される。すなわち、遠隔操作画面１１０には、上述した図５に示すような、ロボットカメラ画像１１２、ロボット情報１１４、操作パネル１１６および依頼パネル１１８が表示される。   In the next step S25, an image (video) from the current robot camera and robot information are displayed on the remote operation screen 110. The robot camera image 112 and the robot information 114 are generated and updated based on the information received in step S23. Note that an operation panel 116 and a request panel 118 are also displayed on the remote operation screen 110. That is, the remote operation screen 110 displays the robot camera image 112, the robot information 114, the operation panel 116, and the request panel 118 as shown in FIG.

ステップＳ２７では、操作コマンドが入力されたか否かを判断する。たとえば、入力装置からの入力データと操作パネル１１６のボタン配置データとに基づいて、オペレータによって操作コマンドの選択が行われたか否かを判断する。ステップＳ２７で“ＹＥＳ”の場合、すなわち、操作コマンドの入力が有った場合は、ステップＳ２９に進む。   In step S27, it is determined whether an operation command has been input. For example, based on input data from the input device and button arrangement data on the operation panel 116, it is determined whether or not an operation command has been selected by the operator. If “YES” in the step S27, that is, if an operation command is input, the process proceeds to a step S29.

ステップＳ２９では、当該選択された操作コマンドを特定してロボット１２に送信する。なお、ロボット１２では、当該送信された操作コマンドに応じたコミュニケーション行動（身体動作や発話）が行われる。   In step S29, the selected operation command is specified and transmitted to the robot 12. Note that the robot 12 performs a communication action (physical action or speech) according to the transmitted operation command.

次のステップＳ３１では、ステップＳ２７で入力された操作コマンドをデータベースに記憶する。たとえば、入力された操作コマンドが「前進」であれば、図４に示すようなロボット操作情報テーブルの操作コマンドの欄の当該入力を行った時刻の欄に「前進」と登録する。ステップＳ３１を終了すると、処理はステップＳ２３に戻る。   In the next step S31, the operation command input in step S27 is stored in the database. For example, if the input operation command is “advance”, “advance” is registered in the input time column of the operation command column of the robot operation information table as shown in FIG. When step S31 ends, the process returns to step S23.

また、ステップＳ２７で“ＮＯ”の場合、すなわち、操作コマンドの入力が無かった場合は、ステップＳ３３に進む。   If “NO” in the step S27, that is, if there is no input of an operation command, the process proceeds to a step S33.

ステップＳ３３では、オペレータによるプログラム化の要求が有るか否かを判断する。具体的には、上述した遠隔操作画面１１０に表示される依頼パネル１１８のプログラム作成依頼ボタンが選択されたか否かを判断する。ステップＳ３３で“ＹＥＳ”の場合、すなわち、オペレータによるプログラム化の要求が有る場合は、ステップＳ３５に進む。   In step S33, it is determined whether or not there is a request for programming by the operator. Specifically, it is determined whether or not the program creation request button on the request panel 118 displayed on the remote operation screen 110 is selected. If “YES” in the step S33, that is, if there is a request for programming by the operator, the process proceeds to a step S35.

ステップＳ３５では、データベースから過去ｋ秒間のロボット操作情報（すなわち、プログラム化情報）を読み出す。所定値ｋは適宜な値（たとえば６０秒程度）に設定される。ｋの値は、オペレータの入力によって変更可能にされてもよい。具体的には、たとえば、時刻「ｔｐ＋６０」にプログラム作成依頼ボタンが選択されると、たとえば、時刻「ｔｐ＋６０」から時刻「ｔｐ」までのロボット操作情報をプログラム化情報として読み出す。   In step S35, robot operation information (that is, programmed information) for the past k seconds is read from the database. The predetermined value k is set to an appropriate value (for example, about 60 seconds). The value of k may be made changeable by operator input. Specifically, for example, when a program creation request button is selected at time “tp + 60”, for example, robot operation information from time “tp + 60” to time “tp” is read as programmed information.

次のステップＳ３７では、ステップＳ３５で読み出したプログラム化情報を含む新規自律制御プログラムの作成依頼を開発端末１６に送信する。なお、ステップＳ３３でプログラム作成ボタンが選択されたときに、コメント記述欄にコメントの記載が有る場合は、当該コメントも開発端末１６に送信する。なお、開発端末１６では、プログラマによって、送信されたプログラム化情報に基づいて自律制御プログラムの作成が可能か否かが判断され、可能な場合は新規自律制御プログラムが作成される。また、プログラムが作成された場合は、当該作成されたプログラムはロボット１２に送信され、実装される。ステップＳ３７の処理が終了すると、処理はステップＳ２３に戻る。   In the next step S37, a request for creating a new autonomous control program including the programmed information read in step S35 is transmitted to the development terminal 16. If a comment is written in the comment description field when the program creation button is selected in step S33, the comment is also transmitted to the development terminal 16. In the development terminal 16, the programmer determines whether or not an autonomous control program can be created based on the transmitted program information, and if possible, creates a new autonomous control program. When a program is created, the created program is transmitted to the robot 12 and mounted. When the process of step S37 ends, the process returns to step S23.

また、ステップＳ３３で“ＮＯ”の場合、すなわち、プログラム化の要求が無い場合は、ステップＳ３９に進み、終了要求が有るか否かを判断する。なお、当該判断は、たとえば、操作端末１４の遠隔操作画面１１０に当該処理終了用（遠隔制御終了用）のボタンを設けておき、これをオペレータが操作したか否かで判断するようにしてよい。このステップＳ３７で“ＹＥＳ”の場合は当該処理を終了する。一方、ステップＳ３７で“ＮＯ”の場合は、処理はステップＳ２３に戻る。   If “NO” in the step S33, that is, if there is no request for programming, the process proceeds to a step S39 to determine whether or not there is an end request. The determination may be made, for example, by providing a button for ending the process (for ending remote control) on the remote operation screen 110 of the operation terminal 14 and determining whether or not the operator has operated it. . If “YES” in the step S37, the process is ended. On the other hand, if “NO” in the step S37, the process returns to the step S23.

なお、図７に示した処理では、プログラム化情報の取得は、オペレータによってプログラム作成依頼ボタンが選択されたときに、当該時刻直前の所定時間ｋのロボット操作情報をプログラム化情報として自動的に取得する（ステップＳ３５）というように実行されたが、これに限定されない。たとえば、オペレータが過去に記憶されたロボット操作情報からプログラム化に利用する情報を任意的に選択できるようにしてもかまわない。たとえば、データベースに記憶されたロボット操作情報を表示装置に表示する操作履歴表示ボタンを遠隔操作画面１１０（たとえば、依頼パネル１１８）に設ける。オペレータによって、この操作履歴表示ボタンが選択されると、表示装置には、データベースに記憶されたロボット操作情報が表示される。オペレータは、当該表示されたロボット操作情報から自律制御プログラム化して欲しい部分に対応する情報をプログラム化情報として選択する、というようにしてもよい。たとえば、オペレータは、以前に入力した操作コマンド（あるいは、操作コマンド系列）が、ロボット１２から或るセンサ情報を受信したときに必ず入力する操作コマンド（系列）である、と後になって気付く場合がある。このような場合には、オペレータは、表示装置にロボット操作情報を表示させ、表示されたロボット操作情報を見て確認しながら、自律制御プログラム化に利用する情報を適切に取得することができる。   In the processing shown in FIG. 7, the program information is acquired automatically when the operator selects the program creation request button as the robot operation information for a predetermined time k immediately before the time as the program information. (Step S35). However, the present invention is not limited to this. For example, the operator may arbitrarily select information used for programming from robot operation information stored in the past. For example, an operation history display button for displaying the robot operation information stored in the database on the display device is provided on the remote operation screen 110 (for example, the request panel 118). When the operation history display button is selected by the operator, the robot operation information stored in the database is displayed on the display device. The operator may select information corresponding to a portion desired to be autonomously programmed from the displayed robot operation information as programmed information. For example, the operator may later realize that an operation command (or operation command sequence) that has been input before is an operation command (sequence) that is always input when certain sensor information is received from the robot 12. is there. In such a case, the operator can appropriately acquire information used for programming the autonomous control while displaying the robot operation information on the display device and checking the displayed robot operation information.

具体的には、操作端末１４のＣＰＵは、オペレータによって上述した操作履歴表示ボタンが選択されると、たとえば図４に示したようなロボット操作情報をメモリから読み出し、表示装置に表示する。オペレータによって、自律制御プログラムで実行したほうがよいと気付いた動作（操作コマンドもしくは操作コマンド系列）を含むプログラム化するために利用する情報（たとえば、時刻ｔｐから時刻ｔｐ＋３０までの情報）が選択されると、当該オペレータによって選択された情報をプログラム化情報としてメモリから読み出す。そして、上述した自動的に取得されるプログラム化情報の代わりに、当該プログラム化情報を含むプログラムの作成依頼をネットワーク１００を介して開発端末１６に送信する。たとえば、図７に示したフロー図において、ステップＳ３３でプログラム化の要求が入力される前にオペレータによってプログラム化するために利用する情報が選択されると、ステップＳ３５で当該選択された情報をプログラム化情報として読み出し、ステップＳ３７で開発端末１６に送信するというようにしてもよい。   Specifically, when the operation history display button described above is selected by the operator, the CPU of the operation terminal 14 reads out, for example, robot operation information as shown in FIG. 4 from the memory and displays it on the display device. When the operator selects information (for example, information from time tp to time tp + 30) to be used for programming including an operation (an operation command or an operation command sequence) that is recognized to be executed by the autonomous control program. The information selected by the operator is read from the memory as programmed information. Then, a program creation request including the program information is transmitted to the development terminal 16 via the network 100 instead of the program information acquired automatically. For example, in the flowchart shown in FIG. 7, if information used for programming is selected by the operator before the programming request is input in step S33, the selected information is programmed in step S35. It is also possible to read out the information as information and send it to the development terminal 16 in step S37.

図８は、操作端末１４のＣＰＵが自動的にロボット操作情報からプログラム化情報を抽出し、開発端末１６に新規自律制御プログラムの作成依頼を行う処理を示すフロー図である。なお、図８では、簡単のため、操作端末１４のデータベースにロボット操作情報が蓄積された後の処理を示してある。また、当該処理は、たとえば数時間に１度もしくは１日に１度程度、定期的に行われる。   FIG. 8 is a flowchart showing a process in which the CPU of the operation terminal 14 automatically extracts programmed information from the robot operation information and requests the development terminal 16 to create a new autonomous control program. In FIG. 8, for the sake of simplicity, the processing after the robot operation information is accumulated in the database of the operation terminal 14 is shown. Further, the processing is periodically performed, for example, once every several hours or once a day.

図８を参照して、ステップＳ４１では、データベースに記憶されたロボット操作情報の全ての時刻ｔｉから所定時間であるＴ秒間（たとえば３０秒間）にオペレータがロボット１２に対して行った操作コマンド系列Ｓ（Ｓ＝｛ｃｏｍ_ｔｉ，ｃｏｍ_ｔｉ＋１，・・・，ｃｏｍ_ｔｉ＋Ｔ｝）を抽出し、Ｓｘ＝{Ｓ０，Ｓ１，・・・，Ｓｎ}とする。つまり、或る時刻ｔｉからＴ秒間の一連の操作コマンドの入力Ｓ＝{ｃｏｍ_ｔｉ，ｃｏｍ_ｔｉ＋１，・・・，ｃｏｍ_ｔｉ＋Ｔ}を抽出し、これを時刻Ｔ０からＴ１まで（たとえば、この日の始め（Ｔ０）から終わり（Ｔ１）までなど当該抽出処理対象期間）の全ての時刻ｔｉについて行い、Ｓｘ＝{Ｓ０，Ｓ１，・・・，Ｓｎ}を抽出する。ここで、「ｉ」は或る時刻を指定するための変数である。また、「ｘ」は或る時刻の操作コマンド系列を指定するための変数である。「ｎ」はＴ０から（Ｔ１−Ｔ）までの単位時間（たとえば１秒）の総数である。また、「ｃｏｍ_ｔｉ」は時刻ｔｉに対応する操作コマンドである。「Ｓｘ」は時刻ｔｘに対応する操作コマンド系列（すなわち、時刻ｔｘから時刻ｔｘ＋Ｔまでに入力された一連の操作コマンド）である。   Referring to FIG. 8, in step S41, an operation command sequence S performed by the operator on the robot 12 for a predetermined time T seconds (for example, 30 seconds) from all times ti of the robot operation information stored in the database. (S = {com_ti, com_ti + 1,..., Com_ti + T}) is extracted, and Sx = {S0, S1,..., Sn}. That is, a series of operation command inputs S = {com_ti, com_ti + 1,..., Com_ti + T} for a period of T seconds from a certain time ti is extracted from time T0 to T1 (for example, the beginning of this day (T0)). Sx = {S0, S1,..., Sn} is extracted for all times ti in the extraction process target period such as from to the end (T1). Here, “i” is a variable for designating a certain time. “X” is a variable for designating an operation command series at a certain time. “N” is the total number of unit times (for example, 1 second) from T0 to (T1-T). “Com_ti” is an operation command corresponding to the time ti. “Sx” is an operation command sequence corresponding to time tx (that is, a series of operation commands input from time tx to time tx + T).

具体例としては、図４を参照して、「ｃｏｍ_ｔｐ」は時刻ｔｐに入力された操作コマンド、すなわち「前進」であり、「Ｓｐ」は、たとえば時刻ｔｐから時刻ｔｐ＋３０までに入力された操作コマンド系列、すなわち「前進，・・・，前進，・・・，なし」である。   As a specific example, referring to FIG. 4, “com_tp” is an operation command input at time tp, that is, “forward”, and “Sp” is an operation command input from time tp to time tp + 30, for example. It is a series, that is, "forward, ..., forward, ..., none".

次のステップＳ４３では、全てのＳｘについて、同一の操作コマンド系列（Ｓｙ）が有るか否かを判断する。ここで、「ｙ」は「ｘ」とは異なる時刻の操作コマンド系列を指定するための変数である。ステップＳ４３で“ＮＯ”の場合、すなわち、ロボット操作情報テーブルに記憶されたロボット操作情報の中に同一の操作コマンド系列が存在しない場合は、そのまま当該処理を終了する。一方、ステップＳ４３で“ＹＥＳ”の場合、すなわち、ロボット操作情報テーブルに記憶されたロボット操作情報の中に同一の操作コマンド系列が存在する場合は、ステップＳ４５に進む。   In the next step S43, it is determined whether or not the same operation command sequence (Sy) exists for all Sx. Here, “y” is a variable for designating an operation command sequence at a time different from “x”. If “NO” in the step S43, that is, if the same operation command series does not exist in the robot operation information stored in the robot operation information table, the process is ended as it is. On the other hand, if “YES” in the step S43, that is, if the same operation command series exists in the robot operation information stored in the robot operation information table, the process proceeds to a step S45.

ステップＳ４５では、同一の操作コマンド系列が存在したＳｘに対応する（を含む）ロボット操作情報をデータベースから抽出する。具体例としては、図４を参照して、時刻ｔｐから時刻ｔｐ＋３０までの操作コマンド系列Ｓｐに同一の操作コマンド系列が存在した場合には、時刻ｔｐから時刻ｔｐ＋３０までのロボット操作情報をデータベースから抽出する。   In step S45, robot operation information corresponding to (including) the Sx in which the same operation command sequence exists is extracted from the database. As a specific example, referring to FIG. 4, if the same operation command sequence exists in the operation command sequence Sp from time tp to time tp + 30, the robot operation information from time tp to time tp + 30 is extracted from the database. To do.

次のステップＳ４７では、ステップＳ４５で抽出したロボット操作情報（つまり、プログラム化情報）を開発端末１６に送信する。すなわち、自律制御プログラムの作成依頼を行い、当該処理を終了する。なお、上述したように、開発端末１６では、プログラマによって、送信されたプログラム化情報に基づいて新規自律制御プログラムの作成が可能か否かが判断され、可能な場合は新規自律制御プログラムが作成される。また、作成されたプログラムはロボット１２に送信され、実装される。   In the next step S47, the robot operation information (that is, programmed information) extracted in step S45 is transmitted to the development terminal 16. That is, a request for creation of an autonomous control program is made, and the process ends. As described above, in the development terminal 16, the programmer determines whether a new autonomous control program can be created based on the transmitted program information, and if possible, creates a new autonomous control program. The The created program is transmitted to the robot 12 and mounted.

なお、プログラム化情報を抽出するときには、操作コマンド系列が同一である場合だけでなく、さらにセンサ情報の系列も同一であるロボット操作情報をプログラム化情報として抽出するようにしてもよい。このようにすれば、自律制御化の可能性のより高いプログラム化情報を抽出できる。   When extracting the programmed information, not only when the operation command series is the same, but also the robot operation information with the same sensor information series may be extracted as the programmed information. In this way, it is possible to extract program information with a higher possibility of autonomous control.

この実施例によれば、オペレータの入力に応じてもしくは自動的に、自律制御プログラムの作成に必要な情報を取得し、開発端末１６に送信する。したがって、プログラマは、プログラマ自らロボット１２の全ての動作に関する情報から自律制御化できるものを見つけることと比較して、送信される情報（プログラム化情報）を参考にすれば、容易に自律制御化できる動作を発見することができる。また、プログラマによって新規自律制御プログラムが作成された場合は、当該新規自律制御プログラムはロボット１２に送信され、実装される。このような新規自律制御プログラムの実装は、開発したロボット１２を実際に現場で使用しながら継続的に行えるので、ロボット１２が自律制御で行える動作が増えていき、オペレータによる遠隔操作の負担を減少させていくことができる。つまり、より効率的に自律制御と遠隔制御とを組み合わせて自身の動作を制御するロボット１２に改良していくことができる。具体的には、単純で定型的パターンの対話は自律制御で行い、高度な対話はオペレータによる遠隔制御で行うというように、自律制御と遠隔制御の双方をシームレスに効率よく実行するロボット１２に改良していくことができる。   According to this embodiment, information necessary for creating an autonomous control program is acquired in response to an input from an operator or automatically, and is transmitted to the development terminal 16. Therefore, the programmer can easily perform autonomous control by referring to the transmitted information (programmed information) as compared to finding information that can be autonomously controlled from information related to all operations of the robot 12 by the programmer himself / herself. You can discover the behavior. When a new autonomous control program is created by the programmer, the new autonomous control program is transmitted to the robot 12 and installed. Implementation of such a new autonomous control program can be carried out continuously while actually using the developed robot 12 in the field, so the number of operations that the robot 12 can perform by autonomous control increases, and the burden of remote operation by the operator is reduced. I can let you. That is, it is possible to improve the robot 12 to control its own operation by combining autonomous control and remote control more efficiently. Specifically, the robot 12 is improved to perform both autonomous control and remote control seamlessly and efficiently, such that simple and regular patterns of dialogue are performed by autonomous control and advanced dialogue is performed by remote control by an operator. Can continue.

なお、上述の実施例では、ロボット１２は、周囲情報（センサ情報）に基づいて自律的コミュニケーション行動では対応できなくなったことを判断し、オペレータを呼び出すようにした。そして、ロボット１２がオペレータを呼び出したときにだけ、オペレータによる遠隔制御を行うようにした。しかし、これに限定されず、たとえば、オペレータが常にロボット１２の動作を監視するようにしておき、オペレータが遠隔操作の必要性を判断して、ロボット１２の遠隔操作を実行するようにしてもかまわない。   In the above-described embodiment, the robot 12 determines that the autonomous communication action cannot be performed based on the surrounding information (sensor information), and calls the operator. Only when the robot 12 calls the operator, remote control by the operator is performed. However, the present invention is not limited to this. For example, the operator may always monitor the operation of the robot 12, and the operator may determine the necessity for remote operation and execute the remote operation of the robot 12. Absent.

また、上述の各実施例では、ロボット操作情報を操作端末１４のデータベースに記憶するようにしたが、これに限定されず、ロボット操作情報は、ロボット１２に記憶するようにしてもかまわない。このような場合には、図８に示すようなプログラム化情報の抽出および新規自律制御プログラムの作成依頼処理をロボット１２のＣＰＵ６６が実施するようにしてもよい。また、操作端末１４がオペレータの入力に応じて、ロボット１２に記憶された当該ロボット操作情報を読み出し、操作端末１４がオペレータの入力に応じてもしくは自動的に必要な情報（プログラム化情報）を選択（取得）して開発端末１６に送信するようにしてもかまわない。   In each of the above-described embodiments, the robot operation information is stored in the database of the operation terminal 14. However, the present invention is not limited to this, and the robot operation information may be stored in the robot 12. In such a case, the CPU 66 of the robot 12 may perform the extraction of programmed information and the process for requesting creation of a new autonomous control program as shown in FIG. Further, the operation terminal 14 reads out the robot operation information stored in the robot 12 in response to an operator input, and the operation terminal 14 selects necessary information (programmed information) in response to the operator input or automatically. (Acquisition) may be transmitted to the development terminal 16.

また、上述の各実施例では、操作端末１４とは別に、開発端末１６を備えるようにしたが、開発端末１６の機能（プログラマの入力による新規自律制御プログラムの作成）を操作端末１４に備えるようにしてもかまわない。この場合、上述した新規自律制御プログラムの作成依頼を送信する必要は無いので、たとえば、当該操作端末１４の表示装置に、たとえば或るマークやメッセージを表示することによって、新規自律制御プログラムの作成依頼が有る旨をプログラマに伝えるようにしてもよい。そして、たとえば、プログラマの操作によって上述したプログラム化情報を当該操作端末１４の表示装置に表示させるようにし、当該プログラム化情報を参考にしてプログラマが新規自律制御プログラムを作成するというようにしてもかまわない。   Further, in each of the above-described embodiments, the development terminal 16 is provided separately from the operation terminal 14, but the operation terminal 14 is provided with the function of the development terminal 16 (creation of a new autonomous control program by programmer input). It doesn't matter. In this case, since it is not necessary to transmit the above-mentioned request for creating a new autonomous control program, for example, a request for creating a new autonomous control program is displayed by displaying, for example, a certain mark or message on the display device of the operation terminal 14. You may make it tell a programmer that there is. Then, for example, the programmed information described above may be displayed on the display device of the operation terminal 14 by a programmer operation, and the programmer may create a new autonomous control program with reference to the programmed information. Absent.

また、上述の各実施例では、ロボット１２、操作端末１４および開発端末１６は、それぞれ１台ずつネットワーク１００を介して接続するようにした。しかし、これに限定されず、コミュニケーションロボット改良システム１０は、ネットワーク１００を介して接続した複数のロボット１２、複数の操作端末１４および複数の開発端末１６を含むように構成してもかまわない。たとえば、ロボット１２が５台、操作端末１４が２台、開発端末１６が１台というような構成でもかまわない。   In each of the above-described embodiments, the robot 12, the operation terminal 14, and the development terminal 16 are connected to each other via the network 100. However, the present invention is not limited to this, and the communication robot improvement system 10 may include a plurality of robots 12, a plurality of operation terminals 14, and a plurality of development terminals 16 connected via the network 100. For example, the configuration may be such that five robots 12, two operation terminals 14, and one development terminal 16 are used.

また、たとえばロボット改良システム１０が複数のロボット１２や操作端末１４、開発端末１６を含む場合は、当該システム１０は、ネットワーク１００を介して接続され、プログラム化情報の取得および新規自律制御プログラムの作成依頼に関する全体処理を制御する中央制御装置をさらに備えるようにしてもかまわない。たとえば、複数のロボット１２によってそれぞれ取得された周囲情報（センサ情報）の履歴や複数の操作端末１４にそれぞれ入力された操作コマンド情報の履歴を含むロボット操作情報を中央制御装置に記憶させ、プログラム化情報の抽出および自律制御プログラムの作成依頼処理（図８）を中央制御装置のＣＰＵが実施するようにしてもかまわない。また、たとえば、操作端末１４がオペレータの入力に応じて、中央制御装置に記憶させた複数のロボット１２や複数の操作端末１４から送信されたロボット操作情報を読み出し、操作端末１４がオペレータの入力に応じてもしくは自動的に必要な情報を選択して開発端末１６に送信するようにしてもかまわない。さらにまた、たとえば、複数の操作端末１４の中から或る操作端末１４を選択し、選択した操作端末１４を上述した中央制御装置として用いてもかまわない。   For example, when the robot improvement system 10 includes a plurality of robots 12, operation terminals 14, and development terminals 16, the system 10 is connected via the network 100 to acquire programmed information and create a new autonomous control program. You may make it further provide the central control apparatus which controls the whole process regarding a request. For example, robot operation information including the history of ambient information (sensor information) acquired by each of the plurality of robots 12 and the history of operation command information input to each of the plurality of operation terminals 14 is stored in the central control device and programmed. The CPU of the central control unit may perform the information extraction and autonomous control program creation request processing (FIG. 8). Further, for example, the operation terminal 14 reads out the robot operation information transmitted from the plurality of robots 12 and the plurality of operation terminals 14 stored in the central control device in response to the operator's input, and the operation terminal 14 receives the operator's input. In response or automatically, necessary information may be selected and transmitted to the development terminal 16. Furthermore, for example, a certain operation terminal 14 may be selected from a plurality of operation terminals 14, and the selected operation terminal 14 may be used as the above-described central control device.

また、上述の各実施例では、ロボット１２は予め設定した動作を行うようにしたが、他の実施例では、オペレータが、遠隔操作画面１１０でロボット１２の各モータ２４，３８，７８〜８６を個別に操作し、ロボット１２の動作を制御するようにしてもよい。   Further, in each of the above-described embodiments, the robot 12 performs a preset operation. However, in another embodiment, the operator operates the motors 24, 38, 78 to 86 of the robot 12 on the remote operation screen 110. The operation of the robot 12 may be controlled individually.

また、上述の各実施例では、遠隔操作画面１１０上に操作パネル１１６を表示してマウスクリック方式またはタッチパネル方式などでロボット１２の動作を指示するようにしたが、他の実施例では、操作端末１４に、操作スイッチまたはジョイスティックなどの操作部を表示装置とは別に設けて、当該操作部の操作でロボット１２の動作を指示するようにしてもよい。   Further, in each of the above-described embodiments, the operation panel 116 is displayed on the remote operation screen 110 and the operation of the robot 12 is instructed by a mouse click method or a touch panel method. 14, an operation unit such as an operation switch or a joystick may be provided separately from the display device, and the operation of the robot 12 may be instructed by operation of the operation unit.

この発明の一実施例のコミュニケーションロボット改良システムの概要を示す図解図である。It is an illustration figure which shows the outline | summary of the communication robot improvement system of one Example of this invention. 図１のコミュニケーションロボットの外観を正面から見た図解図である。It is the illustration figure which looked at the external appearance of the communication robot of FIG. 1 from the front. 図１のコミュニケーションロボットの電気的な構成を示すブロック図である。It is a block diagram which shows the electrical structure of the communication robot of FIG. 図１の操作端末のデータベースに記憶されるロボット操作情報テーブルの一例を示す図解図である。It is an illustration figure which shows an example of the robot operation information table memorize | stored in the database of the operation terminal of FIG. 図１の操作端末の表示装置に表示される遠隔操作画面の一例を示す図解図である。It is an illustration figure which shows an example of the remote operation screen displayed on the display apparatus of the operating terminal of FIG. 図１のコミュニケーションロボットのＣＰＵによって実行されるコミュニケーション行動の全体処理の動作の一例を示すフロー図である。It is a flowchart which shows an example of the operation | movement of the whole process of the communication action performed by CPU of the communication robot of FIG. 図１の操作端末のＣＰＵによって実行される新規自律制御プログラムの作成依頼処理の動作の一例を示すフロー図である。It is a flowchart which shows an example of operation | movement of the production request process of the new autonomous control program performed by CPU of the operating terminal of FIG. 図１の操作端末のＣＰＵによって実行される新規自律制御プログラムの作成依頼処理の動作の他の一例を示すフロー図である。It is a flowchart which shows another example of operation | movement of the production request process of the new autonomous control program performed by CPU of the operation terminal of FIG.

符号の説明Explanation of symbols

１０ …コミュニケーションロボット改良システム
１２ …コミュニケーションロボット
１４ …操作端末
１６ …開発端末
３０ …超音波距離センサ
４０ …全方位カメラ
４２ …マイク
４４ …眼カメラ
５４ …タッチセンサ
６６ …ＣＰＵ
７０ …メモリ
７２ …モータ制御ボード
７４ …センサ入力／出力ボード
７６ …音声入力／出力ボード
８８ …通信ＬＡＮボード
９０ …無線通信装置
９２ …無線タグ読取装置
１００ …ネットワーク
１１０ …遠隔操作画面 DESCRIPTION OF SYMBOLS 10 ... Communication robot improvement system 12 ... Communication robot 14 ... Operation terminal 16 ... Development terminal 30 ... Ultrasonic distance sensor 40 ... Omnidirectional camera 42 ... Microphone 44 ... Eye camera 54 ... Touch sensor 66 ... CPU
DESCRIPTION OF SYMBOLS 70 ... Memory 72 ... Motor control board 74 ... Sensor input / output board 76 ... Voice input / output board 88 ... Communication LAN board 90 ... Wireless communication apparatus 92 ... Wireless tag reader 100 ... Network 110 ... Remote operation screen

Claims (3)

自律制御プログラムによる自律制御とオペレータによる遠隔制御とが可能なコミュニケーションロボットと、その遠隔制御の際にオペレータによって操作コマンドが入力される操作端末とを含むコミュニケーションロボット改良システムであって、
前記コミュニケーションロボットは、前記自律制御プログラムに基づく自律的コミュニケーション行動で対応できなくなったときに、オペレータによる遠隔操作に基づいて自身の動作を制御するコミュニケーションロボットであって、
前記操作端末は、オペレータによって入力された操作コマンドをコミュニケーションロボットに対して送信するコマンド送信手段を備え、
少なくとも前記操作コマンドの履歴を含むロボット操作情報を記憶するロボット操作情報記憶手段、および
前記ロボット操作情報記憶手段によって記憶されたロボット操作情報から、プログラム化するために利用する情報を示すプログラム化情報を取得する取得手段を備え、
前記コミュニケーションロボットは、前記取得手段によって取得されたプログラム化情報に基づいて作成された新規自律制御プログラムを前記自律制御プログラムに追加する追加手段を備える、コミュニケーションロボット改良システム。 A communication robot improvement system including a communication robot capable of autonomous control by an autonomous control program and remote control by an operator, and an operation terminal to which an operation command is input by the operator during the remote control,
The communication robot is a communication robot that controls its own operation based on a remote operation by an operator when it cannot be handled by an autonomous communication action based on the autonomous control program,
The operation terminal includes command transmission means for transmitting an operation command input by an operator to the communication robot,
Robot operation information storage means for storing robot operation information including at least a history of the operation commands, and programmed information indicating information used for programming from the robot operation information stored by the robot operation information storage means An acquisition means for acquiring,
The communication robot is provided with an adding means for adding a new autonomous control program created based on the programmed information acquired by the acquiring means to the autonomous control program. 前記コミュニケーションロボットは、
周囲情報を検出するセンサ、
前記センサによって検出された周囲情報に基づいて、前記自律制御プログラムに基づく自律的コミュニケーション行動で対応できなくなったことを示す呼出条件を満たすか否かを判定する呼出判定手段、および
前記呼出判定手段によって前記呼出条件を満たすと判定されたとき、前記操作端末に対して遠隔制御の要求を送信する遠隔制御要求送信手段を含む、請求項１記載のコミュニケーションロボット改良システム。 The communication robot is
Sensors that detect ambient information,
Based on the surrounding information detected by the sensor, a call determination unit that determines whether or not a call condition that indicates that the autonomous communication action based on the autonomous control program can no longer handle the call condition is satisfied, and the call determination unit The communication robot improvement system according to claim 1, further comprising remote control request transmission means for transmitting a request for remote control to the operation terminal when it is determined that the calling condition is satisfied. プログラマの入力によって前記新規自律制御プログラムを作成するための開発端末、および
前記取得手段によって取得されたプログラム化情報を含む新規自律制御プログラムの作成依頼を前記開発端末に送信する作成依頼送信手段をさらに備え、
前記開発端末は、前記作成依頼に応じてプログラマによって作成された新規自律制御プログラムを前記コミュニケーションロボットに送信するプログラム送信手段を含み、
前記追加手段は、前記プログラム送信手段から送信された新規自律制御プログラムを受信するプログラム受信手段を含み、前記プログラム受信手段によって受信された当該新規自律制御プログラムを前記自律制御プログラムに追加する、請求項１または２記載のコミュニケーションロボット改良システム。 A development terminal for creating the new autonomous control program by a programmer's input; and a creation request transmission means for sending a creation request for a new autonomous control program including the programmed information acquired by the acquisition means to the development terminal Prepared,
The development terminal includes a program transmission means for transmitting a new autonomous control program created by a programmer in response to the creation request to the communication robot,
The adding means includes program receiving means for receiving a new autonomous control program transmitted from the program transmitting means, and adds the new autonomous control program received by the program receiving means to the autonomous control program. The communication robot improvement system according to 1 or 2.
JP2006030689A 2006-02-08 2006-02-08 Communication robot improvement system Active JP4386367B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006030689A JP4386367B2 (en) 2006-02-08 2006-02-08 Communication robot improvement system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006030689A JP4386367B2 (en) 2006-02-08 2006-02-08 Communication robot improvement system

Publications (2)

Publication Number Publication Date
JP2007213190A true JP2007213190A (en) 2007-08-23
JP4386367B2 JP4386367B2 (en) 2009-12-16

Family

ID=38491586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006030689A Active JP4386367B2 (en) 2006-02-08 2006-02-08 Communication robot improvement system

Country Status (1)

Country Link
JP (1) JP4386367B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011201002A (en) * 2010-03-26 2011-10-13 Sony Corp Robot device, method and program of remote control of the robot device
WO2016002236A1 (en) * 2014-07-02 2016-01-07 三菱重工業株式会社 Indoor monitoring system and method for structure
JP2017064831A (en) * 2015-09-29 2017-04-06 日立Ｇｅニュークリア・エナジー株式会社 Remote work support system and remote work support method
JP2017199168A (en) * 2016-04-27 2017-11-02 富士ゼロックス株式会社 Mobile equipment, service providing system, and control program
JP2018027613A (en) * 2016-08-10 2018-02-22 パナソニックＩｐマネジメント株式会社 Customer service device, customer service method and customer service system
JP2019021200A (en) * 2017-07-20 2019-02-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Control device, control method, control program and control system
JP2020123070A (en) * 2019-01-29 2020-08-13 新東工業株式会社 controller
JP2021083488A (en) * 2019-11-25 2021-06-03 株式会社バンダイ Program and structure control system
JP2021132284A (en) * 2020-02-19 2021-09-09 トヨタ自動車株式会社 Communication system
WO2022080006A1 (en) * 2020-10-12 2022-04-21 東京ロボティクス株式会社 Robot system, control method for same, program, and system
JP2022067744A (en) * 2020-10-21 2022-05-09 トヨタ自動車株式会社 Robot system, control method for robot system, and program
JP2022132166A (en) * 2021-02-26 2022-09-07 株式会社キビテク Robot supporting system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06190692A (en) * 1992-12-28 1994-07-12 Mazda Motor Corp Return device for production facility
JP2000207215A (en) * 1999-01-14 2000-07-28 Sharp Corp Autonomous travel type robot
JP2002268663A (en) * 2001-03-08 2002-09-20 Sony Corp Voice synthesizer, voice synthesis method, program and recording medium
JP2003016203A (en) * 2001-06-27 2003-01-17 Casio Comput Co Ltd System and method for preparing operating program, system, method and server device for vending operating program
JP2003089079A (en) * 2001-09-11 2003-03-25 Hitachi Hybrid Network Co Ltd Autonomous moving system for emergency of robot and autonomous moving program for emergency
JP2003089078A (en) * 2001-09-11 2003-03-25 Hitachi Hybrid Network Co Ltd Autonomous moving system for emergency of robot and autonomous moving program for emergency
JP2004145394A (en) * 2002-10-21 2004-05-20 Hitachi Ltd Device for supporting man machine interface design
JP2005313303A (en) * 2004-04-30 2005-11-10 Japan Science & Technology Agency Robot remote control system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06190692A (en) * 1992-12-28 1994-07-12 Mazda Motor Corp Return device for production facility
JP2000207215A (en) * 1999-01-14 2000-07-28 Sharp Corp Autonomous travel type robot
JP2002268663A (en) * 2001-03-08 2002-09-20 Sony Corp Voice synthesizer, voice synthesis method, program and recording medium
JP2003016203A (en) * 2001-06-27 2003-01-17 Casio Comput Co Ltd System and method for preparing operating program, system, method and server device for vending operating program
JP2003089079A (en) * 2001-09-11 2003-03-25 Hitachi Hybrid Network Co Ltd Autonomous moving system for emergency of robot and autonomous moving program for emergency
JP2003089078A (en) * 2001-09-11 2003-03-25 Hitachi Hybrid Network Co Ltd Autonomous moving system for emergency of robot and autonomous moving program for emergency
JP2004145394A (en) * 2002-10-21 2004-05-20 Hitachi Ltd Device for supporting man machine interface design
JP2005313303A (en) * 2004-04-30 2005-11-10 Japan Science & Technology Agency Robot remote control system

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10105843B2 (en) 2010-03-26 2018-10-23 Sony Corporation Robot device, remote control method of robot device, and program
JP2011201002A (en) * 2010-03-26 2011-10-13 Sony Corp Robot device, method and program of remote control of the robot device
WO2016002236A1 (en) * 2014-07-02 2016-01-07 三菱重工業株式会社 Indoor monitoring system and method for structure
US10359778B2 (en) 2014-07-02 2019-07-23 Mitsubishi Heavy Industries, Ltd. Indoor monitoring system and method for structure
JP2017064831A (en) * 2015-09-29 2017-04-06 日立Ｇｅニュークリア・エナジー株式会社 Remote work support system and remote work support method
JP2017199168A (en) * 2016-04-27 2017-11-02 富士ゼロックス株式会社 Mobile equipment, service providing system, and control program
JP2018027613A (en) * 2016-08-10 2018-02-22 パナソニックＩｐマネジメント株式会社 Customer service device, customer service method and customer service system
CN107731225A (en) * 2016-08-10 2018-02-23 松下知识产权经营株式会社 Receive guests device, method of receiving guests and system of receiving guests
JP2019021200A (en) * 2017-07-20 2019-02-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Control device, control method, control program and control system
JP2021144732A (en) * 2017-07-20 2021-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Control device, control method, control program and control system
JP2020123070A (en) * 2019-01-29 2020-08-13 新東工業株式会社 controller
JP7291340B2 (en) 2019-01-29 2023-06-15 新東工業株式会社 controller
JP2021083488A (en) * 2019-11-25 2021-06-03 株式会社バンダイ Program and structure control system
JP2021132284A (en) * 2020-02-19 2021-09-09 トヨタ自動車株式会社 Communication system
WO2022080006A1 (en) * 2020-10-12 2022-04-21 東京ロボティクス株式会社 Robot system, control method for same, program, and system
JP2022067744A (en) * 2020-10-21 2022-05-09 トヨタ自動車株式会社 Robot system, control method for robot system, and program
JP7420047B2 (en) 2020-10-21 2024-01-23 トヨタ自動車株式会社 robot system
JP2022132166A (en) * 2021-02-26 2022-09-07 株式会社キビテク Robot supporting system

Also Published As

Publication number Publication date
JP4386367B2 (en) 2009-12-16

Similar Documents

Publication Publication Date Title
JP4386367B2 (en) Communication robot improvement system
JP4639343B2 (en) Robot remote control system
JP5033994B2 (en) Communication robot
JP5070441B2 (en) Robot remote control system
JP5429462B2 (en) Communication robot
JP4822319B2 (en) Communication robot and attention control system using the same
CN101316550B (en) A multi-camera mobile teleconferencing platform
JP4512830B2 (en) Communication robot
JP5028568B2 (en) Robot control system
JP4599522B2 (en) Communication robot
JP2007260822A (en) Guide robot
JP2009241166A (en) Robot remote operation system
JP2010231470A (en) Information providing system
JP5145569B2 (en) Object identification method and apparatus
WO2019138619A1 (en) Information processing device, information processing method and program
JP2007160427A (en) Robot control system
KR20130060952A (en) Remote control system for service robot
JP4962940B2 (en) Route guidance system
WO2019155735A1 (en) Information processing device, information processing method, and program
JP2009131914A (en) Robot control system
JP2005131713A (en) Communication robot
JP4798581B2 (en) Robot system
WO2012008553A1 (en) Robot system
JP4517085B2 (en) Robot remote control system
WO2019054037A1 (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090925

R150 Certificate of patent or registration of utility model

Ref document number: 4386367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131009

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250