JP2021064299A - Control system, terminal device, control method, and computer program - Google Patents
Control system, terminal device, control method, and computer program Download PDFInfo
- Publication number
- JP2021064299A JP2021064299A JP2019189797A JP2019189797A JP2021064299A JP 2021064299 A JP2021064299 A JP 2021064299A JP 2019189797 A JP2019189797 A JP 2019189797A JP 2019189797 A JP2019189797 A JP 2019189797A JP 2021064299 A JP2021064299 A JP 2021064299A
- Authority
- JP
- Japan
- Prior art keywords
- control
- robot
- unit
- voice
- control information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
- Toys (AREA)
Abstract
Description
本発明は、制御システム、端末装置、制御方法及びコンピュータプログラムに関する。 The present invention relates to control systems, terminal devices, control methods and computer programs.
ロボットを制御する方法に、音声を用いた制御がある。音声を用いた制御では、音声に対応付けされた制御内容に基づいて、ロボットが制御される。音声を用いて制御することで、遠隔地にいたり、移動したりすることが困難な人でもロボットを制御することができる。このような技術を開示した文献として特許文献1がある。特許文献1に開示された技術は、携帯電話等の通信装置を用いてロボットに音声を送信することで、ロボットを制御する技術である。 As a method of controlling a robot, there is a control using voice. In the control using voice, the robot is controlled based on the control content associated with the voice. By controlling using voice, the robot can be controlled even by a person who is difficult to move or move to a remote place. Patent Document 1 is a document that discloses such a technique. The technique disclosed in Patent Document 1 is a technique for controlling a robot by transmitting voice to the robot using a communication device such as a mobile phone.
しかしながら、特許文献1に開示された技術は、ロボットを制御することを目的とした音声をロボットに伝えることで、ロボットを制御する技術である。このため、ロボットを制御する者が、ロボットを介してロボットが対峙している人と会話をしながら、その会話の内容に応じてロボット等の装置を動作させることは難しい。 However, the technique disclosed in Patent Document 1 is a technique for controlling a robot by transmitting a voice for controlling the robot to the robot. For this reason, it is difficult for a person who controls a robot to operate a device such as a robot according to the content of the conversation while having a conversation with a person whom the robot is facing via the robot.
上記事情に鑑み、本発明は、より簡単にロボット等の装置を制御することができる技術を提供することを目的としている。 In view of the above circumstances, it is an object of the present invention to provide a technique capable of controlling a device such as a robot more easily.
本発明の一態様は、所定の装置が対峙する人に向けて発話された音声を収音する収音部と、前記所定の装置又は前記所定の装置に係る機器に対する制御の内容を示す制御情報を収音された音声に基づいて生成する制御情報生成部と、前記制御情報に基づいて前記所定の装置又は前記所定の装置に係る機器を制御する機器制御部と、を備える、制御システムである。 One aspect of the present invention is control information indicating a sound collecting unit that picks up a sound uttered by a predetermined device toward a person facing the person, and control of the predetermined device or a device related to the predetermined device. It is a control system including a control information generation unit that generates sound based on the picked-up voice, and a device control unit that controls the predetermined device or the device related to the predetermined device based on the control information. ..
本発明の一態様は、上記の制御システムであって、前記音声に基づいて、前記音声を示す文字列を生成する音声認識部をさらに備え、前記制御情報生成部は、前記制御情報を前記文字列に基づいて生成する。 One aspect of the present invention is the control system, further including a voice recognition unit that generates a character string indicating the voice based on the voice, and the control information generation unit generates the control information into the character. Generate based on columns.
本発明の一態様は、上記の制御システムであって、前記所定の装置と前記所定の装置が向いている方向の空間とを示す映像を表示する表示部と、前記音声を発話するユーザによって指定された前記映像上の座標に基づいて、前記座標が示す空間を向くように前記所定の装置の方向を算出する算出部と、をさらに備え、前記機器制御部は、前記算出された結果に基づいて所定の装置の方向を制御する。 One aspect of the present invention is the control system, which is designated by a display unit that displays an image showing a space indicating the predetermined device and the space in the direction in which the predetermined device is facing, and a user who speaks the voice. The device control unit further includes a calculation unit that calculates the direction of the predetermined device so as to face the space indicated by the coordinates based on the coordinates on the image, and the device control unit is based on the calculated result. To control the direction of a predetermined device.
本発明の一態様は、上記の制御システムであって、前記機器制御部は、前記音声の内容に合わせて、前記所定の装置又は前記所定の装置に係る機器を駆動、発光又は発音させる。 One aspect of the present invention is the control system, wherein the device control unit drives, emits light, or sounds the predetermined device or the device related to the predetermined device according to the content of the voice.
本発明の一態様は、上記の制御システムであって、前記制御情報生成部は、音声と前記所定の装置又は前記所定の装置に係る機器に対する制御の内容とを対応付けた学習データを機械学習することで生成された推定器と、前記収音部によって収音された音声と、に基づいて、前記制御情報を生成する。 One aspect of the present invention is the above-mentioned control system, in which the control information generation unit machine-learns learning data in which voice is associated with the content of control for the predetermined device or the device related to the predetermined device. The control information is generated based on the estimator generated by the above and the sound picked up by the sound collecting unit.
本発明の一態様は、所定の装置が対峙する人に向けて発話された音声を収音する収音部と、前記所定の装置又は前記所定の装置に係る機器に対する制御の内容を示す制御情報を収音された音声に基づいて生成する制御情報生成部と、を備える、端末装置である。 One aspect of the present invention is control information indicating a sound collecting unit that picks up a sound uttered by a predetermined device toward a person facing the person, and a control content for the predetermined device or a device related to the predetermined device. It is a terminal device including a control information generation unit that generates sound based on the picked-up voice.
本発明の一態様は、コンピュータが、所定の装置が対峙する人に向けて発話された音声を収音する収音ステップと、前記所定の装置又は前記所定の装置に係る機器に対する制御の内容を示す制御情報を収音された音声に基づいて生成する制御情報生成ステップと、前記制御情報に基づいて前記所定の装置又は前記所定の装置に係る機器を制御する機器制御ステップと、を有する、制御方法である。 One aspect of the present invention is a sound collection step in which a computer picks up a voice uttered to a person facing a predetermined device, and controls the predetermined device or a device related to the predetermined device. Control having a control information generation step for generating the indicated control information based on the picked-up voice, and a device control step for controlling the predetermined device or the device related to the predetermined device based on the control information. The method.
本発明の一態様は、上記の制御システムとしてコンピュータを機能させるためのコンピュータプログラムである。 One aspect of the present invention is a computer program for operating a computer as the control system described above.
本発明により、より簡単にロボット等の装置を制御することが可能となる。 According to the present invention, it becomes possible to control a device such as a robot more easily.
図1は、ロボット制御システム1のシステム構成を示すシステム構成図である。ロボット制御システム1は、端末装置100、制御装置200、中継サーバ300、ロボット400、マイク・スピーカー500、カメラ600及び発光部700を備える。ロボット制御システム1は、端末装置100に入力された音声に基づいて、ロボット400及びロボット400に係る機器を制御する。
FIG. 1 is a system configuration diagram showing a system configuration of the robot control system 1. The robot control system 1 includes a
端末装置100、制御装置200及び中継サーバ300は、いずれもネットワーク800を介して通信可能である。ネットワーク800は、例えばLAN(Local Area Network)、WAN(Wide Area Network)又はインターネット等のネットワークである。ネットワーク800は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク800は、複数のネットワークが組み合わされて構成されてもよい。ネットワーク800は、VPN(Virtual Private Network)等の閉域通信網であってもよい。なお、ネットワーク800は、各装置の通信を実現するためのネットワークの具体例にすぎず、各装置の通信を実現するためのネットワークとして他の構成が採用されてもよい。例えば、特定の装置間の通信が他の装置間の通信に用いられるネットワークとは異なるネットワークを用いて実現されてもよい。具体的には、端末装置100と中継サーバ300との間の通信は、制御装置200及び中継サーバ300の各装置間の通信とは異なるネットワークで実現されてもよい。本実施形態では、ロボット400、マイク・スピーカー500、カメラ600及び発光部700は、いずれも制御装置200に接続されているが、これに限定されない。例えば、ロボット400、マイク・スピーカー500、カメラ600及び発光部700は、いずれもネットワーク800を介して制御装置200と通信可能に接続されていてもよい。
The
端末装置100は、パーソナルコンピュータ、タブレットコンピュータ又はサーバ等の情報処理装置を用いて構成される。端末装置100は、制御装置200にロボット400の制御に関する情報を送信するための制御指示機能が実装されている。制御指示機能は、ハードウェアによって端末装置100に実装されてもよいし、ソフトウェアのインストールによって実装されてもよい。端末装置100は、通信部101、入力部102、表示部103、マイク104、カメラ105、制御内容記憶部106及び制御部107を備える。
The
通信部101は、ネットワークインタフェース等の通信装置である。通信部101は所定のプロトコルでネットワーク800に通信可能に接続する。通信部101は、制御部107の制御に応じてネットワーク800を介して、他の装置との間でデータ通信する。
The
入力部102は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の入力装置を用いて構成される。入力部102は、ユーザの指示を端末装置100に入力する際にユーザによって操作される。入力部102は、入力装置を端末装置100に接続するためのインタフェースであってもよい。この場合、入力部102は、入力装置においてユーザの入力に応じて生成された入力信号を端末装置100に入力する。
The
表示部103は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、電子泳動方式ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の画像表示装置である。表示部103は、制御部107の制御に応じて画像を表示する。表示部103は、画像表示装置を端末装置100に接続するためのインタフェースであってもよい。この場合、表示部103は、制御部107の制御に応じた画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
The
マイク104は、自装置近傍の音声を収音する。マイク104は、例えば端末装置100の操作者によって発話された音声を収音する。端末装置100の操作者は、例えば、ロボット400が対峙する人に対して発話する。マイク104は、収音された音声に基づいて音声信号を生成する。マイク104は、生成された音声信号を端末装置100に出力する。なお、マイク104は、外付けマイク等の収音装置を端末装置100に接続するためのインタフェースであってもよい。この場合、マイク104は、収音装置において入力された音声から音声信号を生成し、端末装置100に出力する。マイク104は、収音部の一具体例である。収音部は、所定の装置が対峙する人に向けて発話された音声を収音する。
The
カメラ105は、端末装置100の操作者及び操作者の近傍の動画像を撮像する。カメラ105は、カメラ等の撮像装置を端末装置100に接続するためのインタフェースであってもよい。この場合、カメラ105は、撮像装置において撮像された動画像から映像信号を生成し、端末装置100に入力する。
The
制御内容記憶部106は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。制御内容記憶部106は、ロボット400に対する制御の内容を示す情報を記憶する。ロボット400に対する制御の内容は、マイク104によって収音された音声から生成された文字列又は文字列の一部分に対応付けされる。
The control
図2は、ロボット400に対する制御の内容の一具体例を示す図である。制御内容記憶部106は、認識文字列と制御内容とを対応付けて記憶する。認識文字列は、ロボット400又はロボット400に係る機器を制御するための文字列である。マイク104によって収音された音声に基づいて生成された文字列が、認識文字列を含む場合、認識文字列に対応付けされた制御内容に基づいて、ロボット400又はロボット400に係る機器が制御される。制御内容は、マイク104によって収音された音声に基づいて生成された文字列が、認識文字列を含む場合におけるロボット400に対する制御の内容を示す。制御内容は、複数の認識文字列と対応付けされてもよい。
FIG. 2 is a diagram showing a specific example of the content of control for the
図2の最上段に示される例では、認識文字列の値が“おはよう,こんにちは,こんばんは,・・・”、制御内容の値が“event:greeting”である。従って、図2の最上段に示される例によると、マイク104によって収音された音声に基づいて生成された文字列が“おはよう”、“こんにちは”、“こんばんは”等の認識文字列のいずれか1つを含む場合、制御内容“event:greeting”に基づいてロボット400又はロボット400に係る機器は制御される。
In the example shown at the top of Figure 2, recognized the value of the string "Good morning, hello, good evening, ...", the value of the control contents: a "event greeting". Therefore, according to the example shown at the top of FIG. 2, the string is generated based on the sound collected by the
また、認識文字列が“<任意のテキスト>”である場合について説明する。認識文字列が“<任意のテキスト>”である場合、マイク104によって収音された音声に基づいて生成された文字列がどのような文字列であっても、その制御内容が実行されることを示す。すなわち、認識文字列がどのような文字列であっても、制御内容“event:talking”に基づいてロボット400又はロボット400に係る機器は制御される。
Further, a case where the recognition character string is "<arbitrary text>" will be described. When the recognition character string is "<arbitrary text>", the control content is executed regardless of the character string generated based on the voice picked up by the
また、認識文字列が“<認識終了>”である場合について説明する。認識文字列が“<認識終了>”である場合、音声の収音が終了したこと(文字列が生成されなくなったこと)に伴って、実行される制御であることを示す。すなわち、マイク104による音声の収音が終了すると、ロボット400又はロボット400に係る機器は、制御内容“event:talking_final”に基づいて制御される。
Further, a case where the recognition character string is "<recognition end>" will be described. When the recognition character string is "<recognition end>", it indicates that the control is executed when the sound collection of the voice ends (the character string is no longer generated). That is, when the sound collection of the voice by the
また、認識文字列が“<認識終了3秒後>”である場合について説明する。認識文字列が“<認識終了3秒後>”である場合、音声の収音が終了した(文字列が生成されなくなった)後、3秒後に実行される制御であることを示す。すなわち、マイク104による音声の収音が終了して3秒経過すると、ロボット400又はロボット400に係る機器は、制御内容“event:silent”に基づいて制御される。なお、図2に示される制御の内容は一具体例に過ぎない。そのため、制御内容記憶部106は、さらに多くの制御の内容を記憶してもよいし、より少ない制御の内容を記憶してもよい。
Further, a case where the recognition character string is "<3 seconds after the end of recognition>" will be described. When the recognition character string is "<3 seconds after the end of recognition>", it indicates that the control is executed 3 seconds after the sound collection of the voice is completed (the character string is no longer generated). That is, when 3 seconds have passed after the sound collection by the
図1に戻って、ロボット制御システム1の説明を続ける。制御部107は、端末装置100の各部の動作を制御する。制御部107は、CPU(Central Processing Unit)等のプロセッサ及びRAM(Random Access Memory)を用いて構成される。制御部107は、プロセッサが特定のプログラムを実行することによって、通信制御部171、音声認識部172、制御情報生成部173、映像制御部174、角度算出部175及び状態推定部176として機能する。
Returning to FIG. 1, the description of the robot control system 1 will be continued. The
通信制御部171は、所定の通信プログラムを実行することによって、他の装置と通信する。例えば、通信制御部171は、中継サーバ300を介して制御装置200に制御情報又は角度情報を送信する。制御情報及び角度情報については後述する。
The
音声認識部172は、音声認識処理を実行する。音声認識処理は、音声信号に基づいて文字列を生成する処理である。音声認識部172は、音声認識処理を実行することで、マイク104によって出力された音声信号に基づいて文字列を生成する。音声認識部172は、生成された文字列を制御情報生成部173に出力する。音声認識部172は、公知の手法を用いて文字列を生成してもよい。
The
制御情報生成部173は、生成された文字列に基づいて制御情報を生成する。制御情報は、ロボット400又はロボット400に係る機器に対する制御の内容を示す。具体的には、制御情報は、制御内容記憶部106に記憶される制御内容を含む。ロボット400に係る機器は、ロボット400と同様に制御情報に基づいて制御される機器である。ロボット400に係る機器は、例えば、マイク・スピーカー500又は発光部700である。
The control
例えば、制御情報生成部173は、制御内容記憶部106に記憶された認識文字列を生成された文字列から検索する。制御情報生成部173は、認識文字列を生成された文字列から見つけた場合、その認識文字列に対応付けされた制御内容を取得する。制御情報生成部173は、取得された制御内容を示す制御情報を生成する。制御情報生成部173は、中継サーバ300を介して制御装置200に制御情報を送信する。
For example, the control
なお、制御情報生成部173は、複数の制御内容を示す制御情報を生成してもよい。例えば、生成された文字列が“おはようございます”である場合について説明する。この場合、制御情報生成部173は、制御内容記憶部106に記憶された認識文字列を“おはようございます”から検索する。この例では、制御情報生成部173は、認識文字列“おはよう”を見つけることができる。このため、制御情報生成部173は、認識文字列“おはよう”に対応付けされた制御内容“event:greeting”を取得する。また、制御情報生成部173は、認識文字列“<任意のテキスト>”を見つけることができる。このため、制御情報生成部173は、制御内容“event:talking”を取得する。制御情報生成部173は、取得された制御内容“event:greeting”及び“event:talking”を含む制御情報を生成する。なお、制御情報生成部173は、生成された文字列が“おはようございます”で終了している場合、認識文字列“<認識終了>”に対応付けされた制御内容“event:greeting_final”をさらに取得してもよい。この場合、制御情報生成部173は、制御内容“event:greeting_final”をさらに含む制御情報を生成する。
The control
制御情報生成部173は、文字列の生成が終了してから3秒経過すると、認識文字列“<認識終了3秒後>”に対応付けされた制御内容“event:silent”を取得する。制御情報生成部173は、制御内容“event:silent”を含む制御情報を生成する。
The control
映像制御部174は、所定の映像制御プログラムを実行することによって、他の装置と通信する。例えば、映像制御部174は、マイク104によって出力された音声信号を制御装置200に送信する。また、映像制御部174は、制御装置200から映像信号を受信する。映像制御部174は、受信した映像信号を表示部103に出力する。
The
角度算出部175は、ロボット400の頭部の角度を算出する。具体的には、端末装置100のユーザは、入力部102を操作することでロボット400の頭部を向かせたい方向を示す座標を表示部103に表示されたカメラ映像から指定する。カメラ映像とは、カメラ600によって撮像された動画像である。例えば、端末装置100のユーザは、表示部103に表示されたマウスカーソルで、任意のカメラ映像上の座標をクリックすることで、座標を指定する。角度算出部175は、入力部102を介して表示部103に出力されたカメラ映像上の座標を受け付ける。受け付けた座標は、ロボット400の頭部が向く方向を示す。角度算出部175は、受け付けた座標によって示される方向を向くようにロボット400が向く角度を算出する。例えば、角度算出部175は、以下の数式(1)で示される座標に基づいて、ロボット400の頭部が向く3次元座標を算出する。角度算出部175は、算出された三次元座標に基づいて、ロボット400の頭部が向く角度を算出する。角度算出部175は、算出された角度を角度情報として制御装置200に送信する。
The
数式(1)は、角度算出部175が受け付けた座標から、ロボット400の頭部が向く三次元座標Pを算出する数式である。数式(1)では、表示部103に表示されるカメラ映像の幅は、Wで表される。数式(1)では、表示部103に表示されるカメラ映像の高さは、Hで表される。数式(1)では、カメラ600のX軸方向の画角はA_x(radian)で表される。数式(1)では、カメラ600のY軸方向の画角はA_y(radian)で表される。数式(1)では、Z軸方向の距離はD_z(cm)で固定である。このように、映像上で入力された座標(x、y)における三次元座標Pは、数式(1)で表される。
The mathematical formula (1) is a mathematical formula for calculating the three-dimensional coordinates P to which the head of the
状態推定部176は、カメラ105によって撮像された映像に基づいて、端末装置100のユーザの状態を推定する。例えば、状態推定部176は、端末装置100のユーザが端末装置100の操作を許可されたユーザであるか否かを判定してもよい。この場合、端末装置100の操作を許可されたユーザである場合、状態推定部176は、ユーザから端末装置100に対する操作を受け付けるように制御してもよい。端末装置100の操作を許可されたユーザではない場合、状態推定部176は、ユーザから端末装置100に対する操作を受け付けないように制御してもよい。また、状態推定部176は、入力部102に対する入力や、マイク104の収音の状態に基づいて、操作状況を推定してもよい。
The
制御装置200は、パーソナルコンピュータ、タブレットコンピュータ又はサーバ等の情報処理装置を用いて構成される。制御装置200は、ロボット400を動作させるための動作機能が実装されている。動作機能は、ハードウェアによって制御装置200に実装されてもよいし、ソフトウェアのインストールによって実装されてもよい。制御装置200は、通信部201、状態遷移情報記憶部202、動作内容記憶部203及び制御部204を備える。
The
通信部201は、ネットワークインタフェース等の通信装置である。通信部201は所定のプロトコルでネットワーク800に通信可能に接続する。通信部201は、制御部204の制御に応じてネットワーク800を介して、他の装置との間でデータ通信する。
The
状態遷移情報記憶部202は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。状態遷移情報記憶部202は、ロボット400の制御の状態の遷移に関する状態遷移情報を記憶する。状態遷移情報は、端末装置100から受信した制御情報に基づいて、ロボット400の状態を遷移させるための情報を示す。ロボット400は、同じ制御情報を受信しても、制御状態に応じて異なる動作を行う。
The state transition
図3は、ロボット400の状態遷移に対する状態遷移情報の一具体例を示す図である。状態遷移情報では、制御情報が示す制御内容を縦一列目に表す。状態遷移情報では、ロボット400のとりうる制御状態を横一行目に表す。図3では、状態遷移情報は、“state:waiting”と“state:talking”との2つの制御状態を有する。制御状態“state:waiting”とは、例えば、ロボット400が制御装置200からの動作指示を待っている状態である。制御状態が“state:waiting”である場合、ロボット400は停止していてもよい。制御状態“state:talking”とは、例えば、マイク・スピーカー500が端末装置100から送信された音声信号を出力し、ロボット400が、ロボット400に対峙している人に対して、制御装置200からの動作指示に応じて所定の動作を行っている状態である。
FIG. 3 is a diagram showing a specific example of state transition information for the state transition of the
以下、制御装置200が、ロボット400の制御状態が“state:waiting”である場合に、制御内容として“event:talking”を示す制御情報を受信した場合について説明する。この場合、ロボット400は、制御内容“event:talking”、制御状態“state:waiting”によって示される状態制御情報に基づいて制御される。この場合、状態遷移情報記憶部202に記憶される状態制御情報は、“action:talking→state:talking”を示す。この状態制御情報では、“action:talking”が実行された後に、制御状態“state:talking”に遷移することを示す。“action:talking”は、ロボット400に動作させる動作内容の識別情報を示す。このため、制御装置200は、ロボット400に“action:talking”によって識別される動作内容を動作させた後、ロボット400の状態を“state:talking”に遷移させる。なお、“action:talking”等のロボットを動作させる動作内容の具体例は、後述する。このように、制御装置200は、端末装置100から受信した制御情報が示す制御内容と状態遷移情報記憶部202に記憶される状態遷移情報とに基づいて、ロボット400の制御状態と動作内容を決定する。なお、状態遷移情報は、図3に示す態様に限定されない。例えば、状態遷移情報は、状態として“state:waiting”、“state:talking”以外の制御状態を有してもよい。例えば、状態遷移情報は、状態として“state:dancing”等の状態を有してもよい。例えば、ロボット400の状態が“state:dancing”である場合には、ロボット400は左右の腕を上下に駆動させる等のダンスをしているような動作を維持してもよい。
Hereinafter, a case where the
図1に戻って、ロボット制御システム1の説明を続ける。動作内容記憶部203は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。動作内容記憶部203は、ロボット400の動作の内容を記憶する。
Returning to FIG. 1, the description of the robot control system 1 will be continued. The operation
図4は、ロボット400の動作内容の一具体例を示す図である。動作内容記憶部203は、動作内容と実行内容とを対応付けて記憶する。動作内容は、ロボット400に動作させる内容を識別するための識別情報を示す。動作内容は、動作内容記憶部203において一意に識別される。実行内容は、ロボット400に所定の動作を実行させる命令の内容を示す。実行内容は、複数の動作内容を示していてもよい。
FIG. 4 is a diagram showing a specific example of the operation content of the
図4に示す実行内容の具体的な内容について説明する。robot eyeColor greenは、ロボットが備える第一発光部材(両目に相当)を緑色に発光させる動作を実行させる命令である。robot motion raiseHandは、ロボットが備える左肩関節部を上まで上げる動作を実行させる命令である。sound play sound1は、マイク・スピーカー500にラッパ口音を発音させる動作を実行させる命令である。led play animation1は、発光部700を点滅させる動作を実行させる命令である。robot repeat eyeColor blue/offは、ロボットが備える第一発光部材を青色に点滅させる動作を実行させる命令である。robot motion mojimojiは、左腕部及び右腕部をランダムに駆動させる動作を実行させる命令である。sound play sound2は、マイク・スピーカー500に時計口音を発音させる動作を実行させる命令である。時計口音とは、例えば“チクタク”等の音である。led play animation2は、右肩関節部を下方向に下げて、右腕関節部を閉じる、発光部を吹き出しの形状と吹き出しの内部で“・・・”の文字の形とに点灯させる動作を実行させる命令である。robot repeat eyeColor green/blueは、左目及び右目に相当する第一発光部材を緑と青とに交互に点滅を繰り返す動作を実行させる命令である。robot motion randomHeadは、ロボット400の頭部をランダム間隔でプラスマイナス5度ずつ変更する動作を実行させる命令である。robot motion openHandは、左肩関節部と右肩関節部とを下に移動させ、右腕関節部と左腕関節部とを開く動作を実行させる命令である。robot motion homePoseは、全ての駆動部材を初期位置に戻し、発光部700を消灯する動作を実行させる命令である。
The specific contents of the execution contents shown in FIG. 4 will be described. robot eyeColor green is a command to execute an operation of making the first light emitting member (corresponding to both eyes) of the robot emit green light. The robot motion raiseHand is a command for executing the action of raising the left shoulder joint portion of the robot. sound play sound1 is a command for causing the microphone /
図4の最上段の動作内容及び実行内容に基づいて動作内容を説明する。図4の最上段の動作内容は、“action:greeting”、実行内容の値が“robot eyeColor green、robot motion raiseHand、sound play sound1、led play animation1”である。従って、図4の最上段の動作内容によると、状態遷移情報が“action:greeting”を示す場合、制御装置200は、動作内容“action:greeting”に対応付けされた実行内容に基づいてロボット400及びロボット400に係る機器を制御する。具体的には、制御装置200は、“robot eyeColor green”を実行することで、ロボット400の第一発光部を緑に発光させる。次に、制御装置200は、“robot motion raiseHand”を実行することで、ロボット400の左肩関節部を上に上げる。次に、制御装置200は、“sound play sound1”を実行することで、ロボット400に係る機器であるマイク・スピーカー500から、ラッパ口音を発音させる。次に、制御装置200は、“led play animation1”を実行することで、ロボット400に係る機器である発光部700を点滅させる。なお、動作内容は、図4に示す態様に限定されない。例えば、実行内容は、図4に示す内容以外の実行内容を有してもよい。
The operation contents will be described based on the operation contents and the execution contents at the top of FIG. The operation content at the top of FIG. 4 is “action: greeting”, and the value of the execution content is “robot eyeColor green, robot motion raiseHand, sound play sound1, led play animation1”. Therefore, according to the operation content at the top of FIG. 4, when the state transition information indicates “action: greeting”, the
図1に戻って、ロボット制御システム1の説明を続ける。制御部204は、制御装置200の各部の動作を制御する。制御部204は、CPU等のプロセッサ及びRAMを用いて構成される。制御部204は、プロセッサが特定のプログラムを実行することによって、通信制御部241、機器制御部242及び映像制御部243として機能する。
Returning to FIG. 1, the description of the robot control system 1 will be continued. The
通信制御部241は、所定の通信プログラムを実行することによって、他の装置と通信する。例えば、通信制御部241は、中継サーバ300を介して端末装置100から制御情報を受信する。また、通信制御部241は、端末装置100から角度情報を受信する。
The
機器制御部242は、制御情報又は角度情報に基づいて、ロボット400又はロボット400に係る機器を制御する。例えば、機器制御部242は、動作指示をロボット400又はロボット400に係る機器に送信することで、これらの機器を制御する。動作指示は、制御情報又は角度情報の内容を示す。例えば、端末装置100から制御情報を受信した場合、機器制御部242は、制御情報の内容を示す動作指示をロボット400又はロボット400に係る機器に送信する。例えば、制御情報が、“robot eyeColor green”を示す場合、機器制御部242は、ロボット400に第一発光部を緑に発光させる動作指示を送信する。
The
また、機器制御部242は、端末装置100から角度情報を受信した場合、角度情報の内容を示す動作指示をロボット400又はロボット400に係る機器に送信する。例えば、座標情報がP=(X、Y、Z)である場合について説明する。この場合、機器制御部242は、ロボット400の頭部を制御することで、ロボット400の頭部が、座標P=(X、Y、Z)の方向を向くようにロボット400の頭部を制御する動作指示を送信する。
When the
映像制御部243は、所定の映像制御プログラムを実行することによって、他の装置と通信する。例えば、映像制御部243は、マイク・スピーカー500によって収音された音声信号を端末装置100に送信する。また、映像制御部243は、カメラ600によって出力された映像信号を制御装置200に送信する。また、映像制御部243は、端末装置100から音声信号を受信する。映像制御部243は、受信した音声信号をマイク・スピーカー500に出力する。
The
中継サーバ300は、パーソナルコンピュータ、産業用コンピュータ又はサーバ等の情報処理装置を用いて構成される。中継サーバ300は、端末装置100と制御装置200との通信を中継するための中継機能が実装されている。中継機能は、ハードウェアによって中継サーバ300に実装されてもよいし、ソフトウェアのインストールによって実装されてもよい。中継サーバ300は、例えばWebRTC(Web Real-Time Communication)シグナリングを実行することで、端末装置100と制御装置200との映像信号及び音声信号の送受信を実現させる。また、中継サーバ300は、端末装置100から制御装置200に制御情報又は角度情報を送信するためのWebSocketサーバとして機能してもよい。
The
ロボット400は、制御装置200によって送信された動作指示に応じて各駆動機構や発光部、スピーカー又はカメラ等のロボット400に設けられた機能を制御して所定の動作を行う。ロボット400は、例えば、首、肩又は腕の各関節部に設けられた駆動機構を作動して動作してもよい。ロボット400は、例えば、肩又は脚等の各関節部に設けられた駆動機構を作動して歩行する動物型であってもよい。ロボット400は、肩又は脚等の各関節部に設けられた駆動機構を作動して自立歩行する二足歩行等のロボットであってもよい。ロボット400は車輪又は無限軌道で移動できるような移動型ロボットであってもよい。ロボット400は、例えばテーブルや受付台等の板状の台の上に設置される。ロボットは所定の装置の一具体例である。
The
図5は、ロボット400の一具体例を示す図である。ロボット400は、頭部410と、左腕部420、右腕部430及び脚部440を備える胴体部とから構成される。頭部410は、マイク411、カメラ412、第一発光部413及び第二発光部414を備える。頭部410は、制御装置200の機器制御部242によって指示される動作指示に基づいて、上下左右等の3軸方向に駆動する。ロボット400は、例えば動作指示が示す角度の方向に頭部410の向きを制御する。
FIG. 5 is a diagram showing a specific example of the
マイク411は、自装置近傍の音声を収音する。マイク411は、例えばロボット400が対峙する人によって発話された音声を収音する。マイク411は、収音された音声に基づいて音声信号を生成する。マイク411は、生成された音声信号を制御装置200に記録してもよいし、ネットワーク800を介して外部の装置に記録してもよい。マイク411は、制御装置200の機器制御部242によって指示される実行内容に応じて、音声を収音してもよい。
The
カメラ412は、ロボット400が対峙する人及びロボット400が対峙する人の近傍の動画像又は静止画像を撮像する。カメラ412は、撮像された動画像又は静止画像を制御装置200に記録してもよいし、ネットワーク800を介して外部の装置に記録してもよい。カメラ412は、制御装置200の機器制御部242によって指示される動作指示に応じて、動画像又は静止画像を撮像してもよい。
The
第一発光部413は、フルカラーLED等の発光部材である。第一発光部413は、制御装置200の機器制御部242によって指示される動作指示に応じて、所定の色で発光してもよい。例えば、第一発光部413は、動作指示として“robot eyeColor green”を指示された場合、緑色に発光する。なお、第一発光部413は、ロボット400の右目と左目とに相当する。第一発光部413は、左右の目を同時に同じ色で発光してもよいし、交互に異なる色で発光してもよい。第二発光部414は、フルカラーLED等の発光部材である。第二発光部414は、制御装置200の機器制御部242によって指示される実行内容に応じて、所定の色で発光してもよい。例えば、第二発光部414は、制御内容として“event:talking”が指示された場合、赤色に点滅する。このように構成されることで、マイク・スピーカー500が音声を出力している時に、第二発光部414を点滅させることができる。このように第二発光部414が発行することで、ロボット400が、ロボット400に対峙している人に話しかけているように見せることができる。
The first
左腕部420は、左肩関節部421と左腕関節部422とを備える。左肩関節部421は、左腕部420を上下左右に駆動させる駆動機構である。左肩関節部421は、制御装置200の機器制御部242によって指示される動作指示に応じて、回転駆動する。例えば、左肩関節部421は、制御内容として“robot motion raiseHand”が指示された場合、左腕部420を上方向に移動させるように回転駆動させる。左肩関節部421は、回転方向に応じて左腕部420を上下左右に駆動させる。左腕関節部422は、回転方向に応じて左腕部420を開いたり閉じたりする。左腕関節部422は、制御装置200の機器制御部242によって指示される実行内容に応じて、回転駆動してもよい。例えば、左腕関節部422は、実行内容として“robot motion openHand”が指示された場合、左腕部420を開くように回転駆動してもよい。
The
右腕部430は、右肩関節部431と右腕関節部432とを備える。右腕部430は、左腕部420と同様に、制御装置200の機器制御部242によって指示される動作指示に応じて、右肩関節部431と右腕関節部432とを駆動させる。
The
脚部440は、制御装置200の機器制御部242によって指示される動作指示に応じて、ロボット400の向きを変更したり、前後左右に移動させたりする。ロボット400は、例えば動作情報が示す角度の方向に脚部440の向きを制御する。
The
図1に戻って、ロボット制御システム1の説明を続ける。マイク・スピーカー500は、マイクとスピーカーとから構成される。マイク・スピーカー500は、自装置近傍の音声を収音する。マイク・スピーカー500は、例えばロボット400が対峙する人によって発話された音声を収音する。マイク・スピーカー500は、収音された音声に基づいて音声信号を生成する。マイク・スピーカー500は、生成された音声信号を制御装置200に出力する。マイク・スピーカー500は、端末装置100から送信された音声信号を出力する。このように構成されることで、ロボット400が、ロボット400に対峙する人に話しかけているように見せることができる。また、マイク・スピーカー500は、制御装置200の機器制御部242によって指示される動作指示に応じて、音声を出力してもよい。例えば、マイク・スピーカー500は、動作指示として“sound play sound1”が指示された場合、ラッパ口音を出力する。
Returning to FIG. 1, the description of the robot control system 1 will be continued. The microphone /
カメラ600は、動画像の撮像装置である。カメラ600は、例えばロボット400の後部に設けられる。カメラ600は、例えば、ロボット400の後ろ姿が映るように、ロボット400の近傍の動画像を撮像する。カメラ600は、撮像された動画像を示す映像信号を生成し、制御装置200に出力する。なお、カメラ600は、ロボット400の前後左右のいずれの位置に設けられてもよい。カメラ600は、ロボット400が対峙する人を撮像できるならば、どの位置に設けられてもよい。
The
発光部700は、LEDや電球等の発光部材である。発光部700は、例えば所定の形状をしたパネルに複数の発光部材を備えてもよい。所定の形状とは、円形であってもよいし、四角形等の多角形であってもよい。発光部700は、制御装置200の機器制御部242によって指示される動作指示に応じて、発光してもよい。例えば、機器制御部242が動作指示として“led play animation1”を指示した場合、発光部700は、点滅するように発光する。なお、発光部700は、実行内容に応じて、異なる態様で発光してもよい。例えば、発光部700が複数の発光部材を備える場合、動作指示に応じて一部の発光部材を発行させるように構成されてもよい。
The
図6は、ロボット400の頭部410が向く方向を示す座標を受け付ける一具体例を示す図である。図6に示す映像130は、カメラ600によって撮像されるカメラ映像である。映像130は、表示部103に表示される。映像130は、図5に示すようなロボット400の背面を映す。なお、映像130には、発光部700とロボット400とが映されているように描画されているが、ロボット400は、発光部700の前方向(奥行き方向)に設置されている。このため、ロボット400は、発光部700によって遮られており、表示部103には映らない。図6において、ロボット400は、説明のために記載されている。
FIG. 6 is a diagram showing a specific example of accepting coordinates indicating the direction in which the
映像130は、高さH、幅Wの解像度を持つ。高さ及び幅は、カメラ600の性能や、端末装置100及び制御装置200に導入されている映像ソフトウェアの性能に応じて定まる。映像130において、X軸方向の画角はA_xで表される。映像130において、Y軸方向の画角はA_yで表される。点131は、映像130におけるX軸及びY軸の原点を示す。点132は、入力部102を介して受け付けた座標を示す。端末装置100の操作者は、例えば、入力部102に基づいて、表示部103に表示される映像130の任意の座標を選択することができる。点132は、入力部102を介して選択された座標を表す。制御装置200は、点132に基づいて算出される方向に頭部410を向くようにロボット400を制御する。
The image 130 has a resolution of height H and width W. The height and width are determined according to the performance of the
図7は、音声でロボット400を制御する処理の一具体例を示す図である。端末装置100のマイク104は、端末装置100を操作する人の音声を収音する(ステップS101)。端末装置100を操作する人は、表示部103に表示されるカメラ映像に基づき、発話する。端末装置100を操作する人は、ロボット400が対峙する人に向けて発話する。ロボット400が対峙する人は、カメラ600によって撮像される。ロボット400が対峙する人は、表示部103に表示される。マイク104は、収音された音声に基づいて音声信号を生成する。マイク104は、生成された音声信号を端末装置100に出力する。端末装置100の音声認識部172は、音声認識処理を実行する(ステップS102)。音声認識部172は、マイク104によって出力された音声信号に基づいて文字列を生成する。端末装置100の制御情報生成部173は、生成された文字列に基づいて制御情報を生成する(ステップS103)。
FIG. 7 is a diagram showing a specific example of a process of controlling the
端末装置100の映像制御部174は、マイク104によって出力された音声信号を制御装置200に送信する(ステップS104)。また、制御装置200の映像制御部243は、端末装置100から受信した音声信号をマイク・スピーカー500に出力する(ステップS105)。制御情報生成部173は、生成された制御情報を中継サーバ300に送信する(ステップS106)。中継サーバ300は、受信した制御情報を制御装置200に送信する(ステップS107)。
The
制御装置200の機器制御部242は、制御情報に基づいて動作指示を生成する(ステップS108)。機器制御部242は、動作指示をロボット400に送信する(ステップS109)。マイク・スピーカー500は、制御装置200から受信した音声信号を音声として出力する(ステップS111)。マイク・スピーカー500は、音声を出力することで、ロボット400が対峙する人に、端末装置100を操作する人の発話を伝えることができる。ロボット400は、動作指示に基づいて、動作する(ステップS111)。ロボット400は、マイク・スピーカー500から出力される音声と合わせた動作をすることで、ロボット400が対峙する人と円滑な対話をすることが可能になる。
The
図8は、ロボット400の向きを制御する処理の一具体例を示す図である。本実施形態では、図6のようにカメラ600は、ロボット400の後ろ姿が映った動画像を撮像する。ロボット400の向きを制御する処理は、ロボット制御システム1が動作している間、カメラ映像上の座標を受け付けることで実行されてもよい。カメラ600は、撮像された動画像の映像信号を生成する。カメラ600は映像信号を制御装置200に出力する(ステップS201)。制御装置200の映像制御部243は、受信した映像信号を端末装置100に送信する(ステップS202)。端末装置100の映像制御部174は、受信した映像信号を表示部103に出力する(ステップS203)。
FIG. 8 is a diagram showing a specific example of a process for controlling the orientation of the
端末装置100の角度算出部175は、入力部102を介して表示部103に出力されたカメラ映像上の座標を受け付ける(ステップS204)。角度算出部175は、受け付けた座標によって示される方向を向くようにロボット400の頭部410の角度を算出する(ステップS205)。角度算出部175は、算出された角度を角度情報として制御装置200に送信する(ステップS206)。
The
制御装置200の機器制御部242は、受信した角度情報に基づいて動作指示を生成する(ステップS207)。機器制御部242は、動作指示をロボット400に送信する(ステップS208)。ロボット400は、動作指示に基づいて、動作を実行する(ステップS209)。具体的には、ロボット400は、動作指示が示す角度に頭部410を駆動させる。
The
このように構成されたロボット制御システム1は、ロボット400が対峙する人に対して発話された音声に基づいて制御情報を生成する。機器制御部242が、制御情報に基づいてロボット400又はロボット400に係る機器を制御する。このため、端末装置100のユーザは、ロボット400を介して、ロボット400が対峙する人と会話をしながら、ロボット400を制御することが可能になる。このため、ロボット制御システム1では、より簡単にロボット400を制御することができる。
The robot control system 1 configured in this way generates control information based on the voice spoken by the
また、ロボット制御システム1は、ロボット400とロボット400の前方向の空間とを示す映像を端末装置100の表示部103に表示する。角度算出部175は、端末装置100のユーザから、カメラ映像の座標を受け付けることで、ロボット400が指定された座標の方向を向くためのロボット400の頭部410の角度を算出する。機器制御部242は、算出された角度に基づいてロボット400を制御する。このため、端末装置100のユーザは、座標を入力するだけで、ロボット400の向きを変更することができる。このため、ロボット制御システム1では、より簡単にロボット400を制御することができる。
Further, the robot control system 1 displays an image showing the
上述の実施形態では、ロボット制御システム1はロボット400に係る機器として、マイク・スピーカー500、カメラ600及び発光部700を備えるものとして説明したが、これらに限定されない。例えば、ロボット制御システム1は、ロボット400に係る機器として、端末装置100のユーザによって発話された音声を示す文字列を表示する表示装置を備えてもよい。文字列は、例えば音声認識処理によって生成される。このように構成されることで、ロボット制御システム1では、端末装置100のユーザは、ロボット400を介して聴覚障害を持つ人とも会話をすることが可能になる。
In the above-described embodiment, the robot control system 1 has been described as including a microphone /
上述の実施形態では、ロボット制御システム1は、ロボット400の代わりにディスプレイ等の表示装置や、アクチュエータ等の駆動装置を備えるように構成されてもよい。図9は、ロボット制御システムがロボットの代わりに表示装置又はアクチュエータ等の所定の装置を備える場合の一具体例を示す図である。図9(a)は、ロボット制御システムが、ロボットの代わりに表示装置を備える場合の一具体例を示す図である。図9(a)によると、ロボット制御システム1は、ロボット400の代わりに表示装置400aを備える。表示装置400aは、タッチパネルやディスプレイ等の表示装置である。表示装置400aは、人画像401を表示する。人画像401は、人の姿を示す画像である。人の姿は、全身を表す姿であってもよいし、バストアップ等の姿の一部であってもよい。人画像401は、実写が用いられてもよいし、CG(Computer Graphics)が用いられてもよい。人画像401は、制御装置200から受信した動作指示に基づいて動作する。人画像401は、ロボット400と同様の動作を行ってもよい。なお、表示装置400aに示す画像は、複数の人画像を表示してもよいし、動物、物又は植物等の人以外の画像を表示してもよい。
In the above-described embodiment, the robot control system 1 may be configured to include a display device such as a display or a drive device such as an actuator instead of the
図9(b)は、ロボット制御システムが、ロボットの代わりにアクチュエータを備える場合の一具体例を示す図である。図9(b)によると、ロボット制御システム1は、ロボット400の代わりにアクチュエータ400bを備える。アクチュエータ400bは、内部にモータや伝達ギア等を備える。アクチュエータ400bには、物体402を載せることができる。物体402は、本、食品又は道具等の物である。アクチュエータ400bは、制御装置200から受信した動作指示に基づいて動作する。具体的には、アクチュエータ400bは、回転移動をしたり、上下に振動したり等の所定の動作を行う。アクチュエータ400bに載せられた物体402は、アクチュエータ400bの動作に応じて、回転移動したり、上下に振動したりする。このように、ロボット制御システム1は、アクチュエータ400bを動作させながら、マイク・スピーカー500から音声を出力させることで、物体402を生き物のようにふるまわせることができる。このため、物体402がショップの商品である場合には、来店客の購買意欲を駆り立てることが可能になる。
FIG. 9B is a diagram showing a specific example of a case where the robot control system includes an actuator instead of the robot. According to FIG. 9B, the robot control system 1 includes an actuator 400b instead of the
上述の実施形態では、端末装置100の制御情報生成部173はマイク104によって収音された音声信号に基づいて制御情報を生成するように構成されたがこれに限定されない。例えば、制御情報生成部173は、入力部102を介して入力された文字列に基づいて制御情報を生成するように構成されてもよい。この場合、制御部107は、入力された文字列に基づいて音声信号を生成して、制御装置200に送信する。がこのように構成されることで、端末装置100のユーザが、喋ることができない人であっても、ロボット400を介して、ロボット400が対峙する人と会話することが可能になる。
In the above-described embodiment, the control
上述の実施形態では、ロボット制御システム1は、1台のロボット400を制御する者として説明したが、1台に限定されない。例えば、ロボット制御システム1は、2台以上のロボットを制御するように構成されてもよい。例えば、端末装置100のユーザが、いずれのロボットを制御するのか、入力部102を介して指定できるように構成されてもよい。この場合、機器制御部242は指定されたロボット又はロボットに係る機器に対して動作指示を送信する。また、ロボット制御システム1は、複数台のロボットに対して同一の制御情報を送信するように構成されてもよい。
In the above-described embodiment, the robot control system 1 has been described as a person who controls one
上述の実施形態では、ロボット制御システム1は、入力された音声信号に基づいて文字列を生成し、制御情報を生成することでロボット400等を動作させる。しかし、ロボット制御システム1は、収音された音声と所定の推定器とに基づいてロボット400等の動作を行うように構成されてもよい。推定器とは、複数の学習データを機械学習することで生成される学習モデルである。推定器は、ロボット400が対峙する人に向けて発話された音声に基づいて、制御情報を生成する機能を持つ。この場合、制御情報生成部173は、マイク104によって収音された音声と推定器とに基づいて制御情報を生成する。例えば、制御情報生成部173は、“おはよう”、“こんにちは”又は“こんばんは”等のあいさつを表す音声が収音された場合、制御情報生成部173は、推定器に基づいて、ロボット400の片腕を上げる動作をする制御情報を生成してもよい。推定器は、例えば制御情報生成部173によって生成されてもよいし、予め端末装置100が記憶していてもよい。学習データは、音声とロボット400又はロボット400に係る機器に対する制御の内容とを対応付けたデータである。学習データは、推定器の生成に用いられる。機械学習は、例えば、SGD(Stochastic Gradient Descent)、ランダムフォレスト、線形回帰、決定木又はCNN(Convolutional Neural Network)等の公知の機械学習であればどのような機械学習であってもよい。なお、学習データには、音声の代わりに、音声に基づいて生成された波形が用いられてもよいし、音声に基づいて生成された文字列が用いられてもよい。
In the above-described embodiment, the robot control system 1 generates a character string based on the input voice signal, and operates the
端末装置100は、ネットワーク800を介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、端末装置100が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば、制御情報生成部173と状態推定部176とはそれぞれ異なる情報処理装置に実装されてもよい。
The
制御装置200は、ネットワーク800を介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、制御装置200が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば、機器制御部242と映像制御部243とはそれぞれ異なる情報処理装置に実装されてもよい。
The
上述した実施形態における端末装置100及び制御装置200をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
The
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.
1…ロボット制御システム, 100…端末装置, 101…通信部, 102…入力部, 103…表示部, 104…マイク, 105…カメラ, 106…制御内容記憶部, 107…制御部, 171…通信制御部, 172…音声認識部, 173…制御情報生成部, 174…映像制御部, 175…角度算出部, 176…状態推定部, 200…制御装置, 201…通信部, 202…状態遷移情報記憶部, 203…動作内容記憶部, 204…制御部, 241…通信制御部, 242…機器制御部, 243…映像制御部, 300…中継サーバ, 400…ロボット, 500…マイク・スピーカー, 600…カメラ, 700…発光部, 800…ネットワーク 1 ... Robot control system, 100 ... Terminal device, 101 ... Communication unit, 102 ... Input unit, 103 ... Display unit, 104 ... Microphone, 105 ... Camera, 106 ... Control content storage unit, 107 ... Control unit, 171 ... Communication control Unit, 172 ... Voice recognition unit, 173 ... Control information generation unit, 174 ... Video control unit, 175 ... Angle calculation unit, 176 ... State estimation unit, 200 ... Control device, 201 ... Communication unit, 202 ... State transition information storage unit , 203 ... Operation content storage unit, 204 ... Control unit, 241 ... Communication control unit, 242 ... Equipment control unit, 243 ... Video control unit, 300 ... Relay server, 400 ... Robot, 500 ... Microphone / speaker, 600 ... Camera, 700 ... light emitting part, 800 ... network
Claims (8)
前記所定の装置又は前記所定の装置に係る機器に対する制御の内容を示す制御情報を収音された音声に基づいて生成する制御情報生成部と、
前記制御情報に基づいて前記所定の装置又は前記所定の装置に係る機器を制御する機器制御部と、を備える、
制御システム。 A sound collecting unit that collects the voice uttered to the person facing the predetermined device, and a sound collecting unit.
A control information generation unit that generates control information indicating the content of control for the predetermined device or the device related to the predetermined device based on the picked-up voice.
A device control unit that controls the predetermined device or the device related to the predetermined device based on the control information is provided.
Control system.
前記制御情報生成部は、前記制御情報を前記文字列に基づいて生成する、
請求項1に記載の制御システム。 A voice recognition unit that generates a character string indicating the voice based on the voice is further provided.
The control information generation unit generates the control information based on the character string.
The control system according to claim 1.
前記音声を発話するユーザによって指定された前記映像上の座標に基づいて、前記座標が示す空間を向くように前記所定の装置の方向を算出する算出部と、をさらに備え、
前記機器制御部は、前記算出された結果に基づいて所定の装置の方向を制御する、
請求項1又は2に記載の制御システム。 A display unit that displays an image showing the predetermined device and the space in the direction in which the predetermined device is facing.
A calculation unit that calculates the direction of the predetermined device so as to face the space indicated by the coordinates based on the coordinates on the image designated by the user who speaks the voice is further provided.
The device control unit controls the direction of a predetermined device based on the calculated result.
The control system according to claim 1 or 2.
請求項1から3のいずれか一項に記載の制御システム。 The device control unit drives, emits light, or sounds the predetermined device or the device related to the predetermined device according to the content of the voice.
The control system according to any one of claims 1 to 3.
請求項1に記載の制御システム。 The control information generation unit is generated by machine learning of learning data in which the voice is associated with the voice and the content of control for the predetermined device or the device related to the predetermined device, and the sound collecting unit. The control information is generated based on the picked-up sound.
The control system according to claim 1.
前記所定の装置又は前記所定の装置に係る機器に対する制御の内容を示す制御情報を収音された音声に基づいて生成する制御情報生成部と、
を備える、端末装置。 A sound collecting unit that collects the voice uttered to the person facing the predetermined device, and a sound collecting unit.
A control information generation unit that generates control information indicating the content of control for the predetermined device or the device related to the predetermined device based on the picked-up voice.
A terminal device.
所定の装置が対峙する人に向けて発話された音声を収音する収音ステップと、
前記所定の装置又は前記所定の装置に係る機器に対する制御の内容を示す制御情報を収音された音声に基づいて生成する制御情報生成ステップと、
前記制御情報に基づいて前記所定の装置又は前記所定の装置に係る機器を制御する機器制御ステップと、を有する、
制御方法。 The computer
A sound collection step that collects the voice spoken to the person facing the predetermined device, and
A control information generation step of generating control information indicating the content of control for the predetermined device or the device related to the predetermined device based on the picked-up voice.
It has a device control step for controlling the predetermined device or the device related to the predetermined device based on the control information.
Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019189797A JP2021064299A (en) | 2019-10-16 | 2019-10-16 | Control system, terminal device, control method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019189797A JP2021064299A (en) | 2019-10-16 | 2019-10-16 | Control system, terminal device, control method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021064299A true JP2021064299A (en) | 2021-04-22 |
Family
ID=75488051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019189797A Pending JP2021064299A (en) | 2019-10-16 | 2019-10-16 | Control system, terminal device, control method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021064299A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7216379B1 (en) | 2021-10-07 | 2023-02-01 | 株式会社サイバーエージェント | Control system, control method and program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0634489B2 (en) * | 1986-01-22 | 1994-05-02 | 株式会社トミー | Telephone notification device |
JP2000349920A (en) * | 1999-06-01 | 2000-12-15 | Interrobot Inc | Intention transmitter |
JP2001156930A (en) * | 1999-11-30 | 2001-06-08 | Nippon Telegr & Teleph Corp <Ntt> | Gesture transmitter |
JP2003108502A (en) * | 2001-09-28 | 2003-04-11 | Interrobot Inc | Physical media communication system |
JP2007129626A (en) * | 2005-11-07 | 2007-05-24 | Advanced Telecommunication Research Institute International | System for conversation between remote places |
JP2007190641A (en) * | 2006-01-19 | 2007-08-02 | Advanced Telecommunication Research Institute International | Communication robot |
JP2009241166A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Robot remote operation system |
JP2018067785A (en) * | 2016-10-19 | 2018-04-26 | 前川 博文 | Communication robot system |
-
2019
- 2019-10-16 JP JP2019189797A patent/JP2021064299A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0634489B2 (en) * | 1986-01-22 | 1994-05-02 | 株式会社トミー | Telephone notification device |
JP2000349920A (en) * | 1999-06-01 | 2000-12-15 | Interrobot Inc | Intention transmitter |
JP2001156930A (en) * | 1999-11-30 | 2001-06-08 | Nippon Telegr & Teleph Corp <Ntt> | Gesture transmitter |
JP2003108502A (en) * | 2001-09-28 | 2003-04-11 | Interrobot Inc | Physical media communication system |
JP2007129626A (en) * | 2005-11-07 | 2007-05-24 | Advanced Telecommunication Research Institute International | System for conversation between remote places |
JP2007190641A (en) * | 2006-01-19 | 2007-08-02 | Advanced Telecommunication Research Institute International | Communication robot |
JP2009241166A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Robot remote operation system |
JP2018067785A (en) * | 2016-10-19 | 2018-04-26 | 前川 博文 | Communication robot system |
Non-Patent Citations (2)
Title |
---|
ゲームのムーブ/ルック コントロール, JPN6020045309, 8 February 2017 (2017-02-08), ISSN: 0004531156 * |
渡辺富夫: "身体的コミュニケーションにおける引き込みと身体性", ベビーサイエンス, vol. 2002 Vol.2, JPN6010074764, May 2003 (2003-05-01), JP, ISSN: 0004531155 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7216379B1 (en) | 2021-10-07 | 2023-02-01 | 株式会社サイバーエージェント | Control system, control method and program |
JP2023056421A (en) * | 2021-10-07 | 2023-04-19 | 株式会社サイバーエージェント | Control system, control method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11491661B2 (en) | Communication robot and control program of communication robot | |
US20230305530A1 (en) | Information processing apparatus, information processing method and program | |
WO2019138619A1 (en) | Information processing device, information processing method and program | |
JP5318623B2 (en) | Remote control device and remote control program | |
JP7375748B2 (en) | Information processing device, information processing method, and program | |
JP2007118129A (en) | Communication robot and caution control system using the same | |
CN210155626U (en) | Information processing apparatus | |
US20200269421A1 (en) | Information processing device, information processing method, and program | |
JP7375770B2 (en) | Information processing device, information processing method, and program | |
JP7259843B2 (en) | Information processing device, information processing method, and program | |
WO2019087478A1 (en) | Information processing device, information processing method, and program | |
JP2007160427A (en) | Robot control system | |
WO2020213245A1 (en) | Information processing device, information processing method, and program | |
JP2005131713A (en) | Communication robot | |
WO2019123744A1 (en) | Information processing device, information processing method, and program | |
JP2021064299A (en) | Control system, terminal device, control method, and computer program | |
JP2004298975A (en) | Robot device and obstacle searching method | |
JP6887035B1 (en) | Control systems, control devices, control methods and computer programs | |
WO2020166373A1 (en) | Information processing device and information processing method | |
JP7363823B2 (en) | Information processing device and information processing method | |
JP2004130427A (en) | Robot device and method for controling operation of robot device | |
JP7216379B1 (en) | Control system, control method and program | |
TWI503099B (en) | Multimodal interpersonal communication system for home telehealth with telepresence robot | |
US20230367312A1 (en) | Information processing apparatus, information processing method, and program | |
JP2001222626A (en) | Device and method for providing information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191016 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20191114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191212 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210622 |