JP2010064154A - Robot control system, remote management device, robot, robot control and remote management methods, and robot control and remote management programs - Google Patents
Robot control system, remote management device, robot, robot control and remote management methods, and robot control and remote management programs Download PDFInfo
- Publication number
- JP2010064154A JP2010064154A JP2008229890A JP2008229890A JP2010064154A JP 2010064154 A JP2010064154 A JP 2010064154A JP 2008229890 A JP2008229890 A JP 2008229890A JP 2008229890 A JP2008229890 A JP 2008229890A JP 2010064154 A JP2010064154 A JP 2010064154A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- item
- information
- unit
- remote management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、ロボット制御システム、遠隔管理装置、ロボット、遠隔管理方法、ロボット制御方法、遠隔管理プログラム及びロボット制御プログラムに関する。 The present invention relates to a robot control system, a remote management device, a robot, a remote management method, a robot control method, a remote management program, and a robot control program.
ロボット制御システムの関連技術として例えば特許文献１などが挙げられる。特許文献１では、ロボットは、音声や画像を通じてなされる利用者のリクエストに応じて、特定のサーバにリクエストを転送する。サーバは、ロボット側にない情報が要求されたときには、さらに、インターネットなどの広域ネットワーク上の情報空間を検索し、検索結果をロボットの動きや発話内容などのデータとしてロボット側に送信する。ロボットは、受信した前記データを用いて機体動作や音声として利用者のリクエストに答えることができる。 For example, Patent Document 1 is cited as a related technology of the robot control system. In Patent Literature 1, a robot transfers a request to a specific server in response to a user request made through sound or an image. When information that is not on the robot side is requested, the server further searches an information space on a wide area network such as the Internet, and transmits the search result to the robot side as data such as the movement of the robot and the content of speech. The robot can respond to the user's request as the body motion or voice using the received data.
より具体的には、特許文献１では、インターネット接続が可能なロボットは、利用者との会話のコンテキストに応じて、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）情報空間を探索し、ニュースなどの生活・情報系のサービス、占いやゲームなどのエンターティンメント系のサービス、お店案内や辞書引きなどのデータベース系のサービス、モバイル・バンキングなどの取引系のサービス、音楽サービス、口演童話のようなストリーミング（ｓｔｒｅａｍｉｎｇ）サービスなどをユーザに提供できる。さらには、ロボット自身の行動制御を規定するプログラム・コードなども随時取得して、新規の動作を発現したりすることができる。
ところで、特許文献１のように、ロボットが利用者との対話の中で最新の情報（例えば天気予報など）を音声などにより提供するサービスでは、ロボットが例えば「大阪は、６時から雨の確率が６０％になっているよ」と解答するのみであった。 By the way, as in Patent Document 1, in a service in which the robot provides the latest information (for example, weather forecast) in a dialogue with the user by voice or the like, the robot is, for example, “Osaka is the probability of rain from 6:00. Was only 60% ".
このため、傘が必要であるにもかかわらず、傘が手元にない場合には利用者自身が自分で傘を探しだしたりする必要があり、ロボットの言動が利用者に不親切であり、適切なアドバイスができなかった。
すなわち、利用者が所在する周囲の環境にアイテム（物品）が存在していないにもかかわらず、アイテムが利用者に必要であるかのような告知の仕方をロボットが言動してしまうことがあり、適切なアドバイスができなかった。
換言すれば、外部情報を利用者にロボットを通じて提供する際に、ロボットが所在する周囲の環境によっては、ロボットが利用者に対し適切かつ詳細なアドバイスやナビゲーションを与えることができなかった。
For this reason, if an umbrella is necessary but the umbrella is not at hand, the user needs to find the umbrella himself, and the robot's behavior is unfriendly to the user and appropriate I could not give any advice.
In other words, the robot may behave in a manner of notifying that the item is necessary for the user even though the item (article) does not exist in the surrounding environment where the user is located. Could not give proper advice.
In other words, when providing external information to the user through the robot, the robot cannot give appropriate and detailed advice or navigation to the user depending on the surrounding environment where the robot is located.
本発明の目的は、上述の関連技術の課題を解決することにあり、外部情報を利用者にロボットを通じて提供する際に、利用者に対する不適切なアドバイスやナビゲーションを防止できるロボット制御システム、遠隔管理装置、ロボット、遠隔管理方法、ロボット制御方法、遠隔管理プログラム及びロボット制御プログラムを提供することにある。 An object of the present invention is to solve the above-mentioned problems of the related art, and when providing external information to a user through a robot, a robot control system and remote management capable of preventing inappropriate advice and navigation for the user An apparatus, a robot, a remote management method, a robot control method, a remote management program, and a robot control program are provided.
上記目的を達成するため、本発明のロボット制御システムは、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備え、前記遠隔管理装置は、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、前記外部情報に関連するアイテムを決定するアイテム決定手段と、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段と、前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、を備え、前記ロボットは、前記アイテム探索制御手段からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段と、前記コンテンツ供給手段からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段と、を備えたことを特徴としている。 In order to achieve the above object, a robot control system of the present invention comprises at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot, The remote management device is configured to acquire external information through the communication network in which an information providing space is constructed based on a request for behavior of the user to the robot or a service start request generated at a predetermined time; Item determining means for determining an item related to external information, control for causing the robot to search whether the item is in the vicinity of the robot, and item search control means for determining the presence or absence of the item, If the item search control means determines that the item is present, the external information and the user A behavior determining means for determining the behavior condition of the robot so as to announce information including the item and generating the behavior condition as content; and a content supply means for supplying the content to the robot. , Receiving an item search execution unit for searching for the item in response to an item search request from the item search control unit, and receiving the content from the content supply unit, and executing the behavior condition included in the content And a behavior execution control means.
本発明の遠隔管理装置は、少なくとも利用者と対話可能なロボットと通信網を介して通信接続され前記ロボットを遠隔制御するとともに前記ロボットに対して情報提供可能な遠隔管理装置であって、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、前記外部情報に関連するアイテムを決定するアイテム決定手段と、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御手段と、前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、を備えたことを特徴としている。 A remote management device according to the present invention is a remote management device that is connected to at least a robot capable of interacting with a user via a communication network, remotely controls the robot, and can provide information to the robot. An acquisition means for acquiring external information through the communication network in which an information providing space is constructed based on a request for behavior of the person to the robot or a service start request generated at a predetermined time, and an item related to the external information When there is the item in the item determination means to determine, the item search control means for causing the robot to search whether the item is in the vicinity of the robot, and determining the presence or absence of the item, and the item search control means If determined, the user is notified of the information including the external information and the item. A behavior determination means for determining the behavior condition of the robot that generates the behavior condition as content, it is characterized in that the content with a content supplying means for supplying to said robot.
本発明のロボットは、情報提供可能な遠隔管理装置と通信網を介して通信接続され少なくとも利用者と対話可能なロボットであって、前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索するアイテム探索実行手段と、前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する言動実行制御手段と、を備えたことを特徴としている。 The robot of the present invention is a robot that is communicably connected to a remote management device capable of providing information via a communication network and can interact with at least a user, and items related to external information acquired by the remote management device are Item search execution means for searching whether the robot is in the vicinity of the robot, and when there is the item, the robot's speech condition is executed so as to notify the user of the external information and the information including the item. And a speech execution control means.
本発明の遠隔管理方法は、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記ロボットを遠隔管理する遠隔管理方法であって、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し、前記外部情報に関連するアイテムを決定し、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし、前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する、ことを特徴としている。 The remote management method of the present invention is a robot control system comprising at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot, A remote management method for remotely managing a robot, wherein external information is transmitted through the communication network in which an information providing space is constructed based on a request for speech from the user to the robot or a service start request generated at a predetermined time. Obtaining, determining an item related to the external information, causing the robot to search whether the item is in the vicinity of the robot, performing item search control for determining the presence or absence of the item, and If determined, the robot is notified so as to notify the user of the external information and information including the item. Determining the dynamic conditions to produce this behavior condition as content, it is characterized by.
本発明のロボット制御方法は、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記ロボットを制御するロボット制御方法であって、前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索し、前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する、ことを特徴としている。 A robot control method of the present invention is a robot control system comprising at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot, A robot control method for controlling a robot, searching for whether an item related to external information acquired by the remote management device is in the vicinity of the robot. The robot's behavior condition is executed so as to notify the information including the external information and the item.
本発明の遠隔管理プログラムは、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記遠隔管理装置が備えたコンピュータに諸機能を実現可能な遠隔管理プログラムであって、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得機能と、前記外部情報に関連するアイテムを決定するアイテム決定機能と、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御機能と、前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定機能とを前記コンピュータに実現させることを特徴としている。 The remote management program of the present invention is a robot control system comprising at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot, A remote management program capable of realizing various functions in a computer provided in a remote management device, wherein an information providing space is constructed based on a speech request to the robot of the user or a service start request generated at a predetermined time An acquisition function for acquiring external information through the communication network, an item determination function for determining an item related to the external information, and causing the robot to search whether the item is in the vicinity of the robot, If it is determined that there is an item search control function for determining the presence or absence of the item, the user It is characterized in that to realize a behavior decision function for generating the external information and determines the behavior condition of the robot so as to notify the information including the item this behavior condition as content for the computer.
本発明のロボット制御プログラムは、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置と、を備えたロボット制御システムにあって、前記ロボットが備えたコンピュータに諸機能を実現可能なロボット制御ログラムであって、前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索するアイテム探索実行機能と、前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する言動実行制御機能と、を前記コンピュータに実現させることを特徴としている。 A robot control program according to the present invention is a robot control system comprising at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot. An item search execution function for searching for whether or not an item related to external information acquired by the remote management device is in the vicinity of the robot, which is a robot control program capable of realizing various functions in a computer provided in the robot And, when there is the item, causing the computer to realize a behavior execution control function for executing the behavior condition of the robot so as to notify the user of the information including the external information and the item. It is a feature.
本発明によれば、外部情報をロボットを通じて利用者に提供する際に、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる、という関連技術にない優れたロボット制御システム、遠隔管理装置、ロボット、遠隔管理方法、ロボット制御方法、遠隔管理プログラム及びロボット制御プログラムを提供することができる。 According to the present invention, when external information is provided to a user through a robot, the behavior is performed after confirming the presence of an item in the surrounding environment where the robot is located. The robot control system, the remote management device, the robot, the remote management method, the robot control method, the remote management program, and the robot control program, which are not available in related technology, are capable of providing appropriate and detailed advice and navigation to the user in response. Can be provided.
〔第１の実施の形態〕
（ロボット制御システムの基本的構成）
先ず、ロボット制御システムの基本的構成について説明する。図１に示すように、本発明のロボット制御システム１は、少なくとも利用者と対話可能なロボット１０と、前記ロボット１０と通信網ＮＷを介して通信接続され前記ロボットを制御する遠隔管理装置としてのロボット制御サーバ１１０とを含むものである。
[First Embodiment]
(Basic configuration of robot control system)
First, the basic configuration of the robot control system will be described. As shown in FIG. 1, a robot control system 1 according to the present invention is a
この遠隔管理装置としてのロボット制御サーバ１１０は、図５に示すように、利用者のロボット１０に対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された通信網ＮＷを通じて天気情報などの外部情報を取得する取得手段としての外部情報取得部１１２と、この外部情報に関連する雨具などのアイテム（関連アイテム）を決定するアイテム決定手段としての関連アイテム情報決定部１１３とを含むものである。
As shown in FIG. 5, the
更に、ロボット制御サーバ１１０は、前記アイテムがロボット１０の周辺にあるかどうかをロボット１０に探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段としてのアイテム探索制御部１１４と、前記アイテム探索制御手段としてのアイテム探索制御部１１４にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段としての言動決定部１１５と、前記コンテンツを前記ロボットに供給するコンテンツ供給手段としてコンテンツ供給部１１６とを含む。
Further, the
ロボット１０は、図４に示すように、ロボット制御サーバ１１０におけるアイテム探索制御部１１４からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段としてのアイテム探索実行部９２と、ロボット制御サーバ１１０におけるコンテンツ供給部１１６からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段としてのコンテンツ再生部（言動実行部）９４とを含むものである。
As shown in FIG. 4, the
アイテム探索実行部９２は、ロボット１０が備えるＣＣＤカメラ（画像取得部）から取得した画像情報をもとに画像認識機能によりロボットの周囲にある各種物品を識別することができるように構成される。
又、アイテム探索実行部９２は、ロボット１０が備えるタグリーダ（タグ識別情報取得部）から取得したタグ識別情報をもとにロボットの周囲にある各種物品を識別することができるように構成される。
The item
The item
ロボット制御サーバ１１０のアイテム探索制御部１１４は、このアイテム探索実行部９２により得られた情報をもとにアイテム探索を行う。すなわち、前記アイテム探索制御部１１４は、前記アイテムの有無を画像認識情報により探索する第１のアイテム探索制御部１１４ａを備える。
また、アイテム探索制御部１１４は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する第２のアイテム探索制御部１１４ｂを備える。
The item
In addition, when it is determined that the item does not exist based on the image recognition information, the item
このようなロボット制御システムでは、ロボット制御サーバ１１０にて受信した天候等の外部情報を取得し、その外部情報に関連するアイテムを予め定義しておき、アイテムをロボット１０が備える機能の一つである例えば画像認識などにより取得した場合に、利用者にナビゲーション、注意喚起等を行う。
例えば、雨天の天候情報をサーバより取得した場合に、室内で傘を画像認識すると、利用者に”傘を持っていく”よう通知する。
In such a robot control system, external information such as weather received by the
For example, when rainy weather information is acquired from a server, when an image of an umbrella is recognized indoors, the user is notified to “take the umbrella”.
これにより、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる。 This confirms the presence of an item in the surrounding environment where the robot is located, and then executes the action, so appropriate and detailed advice and navigation can be given to the user according to the surrounding environment where the robot is located. it can.
以下、このような本発明の「ロボット制御システム」のさらに詳細な実施の形態の一例について、図面を参照して具体的に説明する。 Hereinafter, an example of a more detailed embodiment of the “robot control system” of the present invention will be specifically described with reference to the drawings.
（ロボット制御システムの全体構成）
先ず、本実施の形態のロボット制御システムの具体的構成について、全体構成から説明し、続いてロボットの全体構成、ロボットのコントローラの詳細構成、ＬＥＤの点灯パター、ロボット制御サーバ（遠隔管理装置）の詳細構成について説明することとする。図１は、本発明における第１実施の形態のロボット制御システムの全体の概略構成の一例を示すブロック図である。
(Whole structure of robot control system)
First, the specific configuration of the robot control system of the present embodiment will be described from the overall configuration, followed by the overall configuration of the robot, the detailed configuration of the controller of the robot, the LED lighting pattern, and the robot control server (remote management device). The detailed configuration will be described. FIG. 1 is a block diagram showing an example of an overall schematic configuration of the robot control system according to the first embodiment of the present invention.
図１に示すように、本実施の形態のロボット制御システム１は、１以上のロボット１０と、ロボット１０と無線通信接続されるＡＰ（アクセスポイント）と、ＡＰと通信網ＮＷを介して通信接続され各ロボット１０と情報の授受を行なうことにより各ロボット１０の遠隔管理を行い前記各ロボット１０を制御するロボット制御サーバ１１０と、前記通信網ＮＷを介してロボット制御サーバ１１０と通信可能に形成される情報提供サーバ１３０とを含む。
ロボット１０は、例えば無線ＬＡＮなどによってＡＰ（アクセスポイント）との間で通信可能に構成される。ＡＰは、通信網ＮＷに通信接続されている。
As shown in FIG. 1, the robot control system 1 according to the present embodiment includes one or
The
本実施の形態において、ロボット１０は、利用者との対話が可能で、音声出力とともに、動作パターンを選択し、ロボットの言動を決定する。
本実施の形態において、ロボット１０は、たとえば各種施設等で利用者に情報提供サービスを行う。本実施の形態におけるロボット制御システム１では、ロボット１０が利用者に愛くるしい表現にて内容を伝えるようにロボットの言動を決定できる。
In the present embodiment, the
In the present embodiment, the
遠隔管理装置の一例であるロボット制御サーバ１１０、情報提供サーバ１３０は、それぞれ、プログラム制御により動作するものであり、ネットワーク関連の通信機能を有していれば、デスクトップ、ラップトップコンピュータ、その他無線・有線通信機能を有する情報機器、情報家電機器、またはこれに類するコンピュータなどいかなるコンピュータでもよく、移動式・固定式を問わない。
The
ロボット制御サーバ１１０、情報提供サーバ１３０のハードウエア構成は、それぞれ、種々の情報等を表示するための表示部（スクリーン）、この表示部の表示画面上（の各種入力欄等）にデータを操作入力するための操作入力部（例えばキーボード・マウス・各種ボタン・表示操作部＜画面上のボタン＞・タッチパネル等）、各種信号・データを送受信するための送受信部ないしは通信部（モデムなど）、各種プログラム・各種データを記憶しておく記憶部（例えばメモリ、ハードディスク等）、これらの制御を司る制御部（例えばＣＰＵ、ＭＰＵ、ＤＳＰ等）などを有することができる。
The hardware configuration of the
（ロボットの全体構成）
図２は、図１に示すロボット制御システムにおけるロボットのハードウエア詳細構成の一例を示すブロック図である。
本実施形態のロボット１０は、図２及び図３に示されるように、例えば、胴体部２０と頭部５０が連結されることにより構成されている。
(Whole structure of robot)
2 is a block diagram showing an example of a detailed hardware configuration of the robot in the robot control system shown in FIG.
As shown in FIGS. 2 and 3, the
胴体部２０は、例えば円筒形にて構成される。胴体部２０の下端部には、左右にそれぞれ車輪６１Ａ，６１Ｂが取り付けられており、それらの車輪６１Ａ，６１Ｂは、独立に前後に回転することができる。また、胴体部２０の下端部には、回動自在に支持されたキャスター６２を有する。ロボット１０は、このキャスター６２、車輪６１Ａ、６１Ｂの３点で支持できる。従って、前進，後退，旋回，信地旋回，超信地旋回等の動作が可能である。
The trunk | drum 20 is comprised by cylindrical shape, for example.
頭部５０は、胴体部２０に垂直に取り付けられた垂直軸（図３に示すＺ軸）とその垂直軸に対して９０度の角度で設置された水平軸（図３に示すＸ軸）に関して決められた範囲で各々回転する（図３に示すθ１方向、θ２方向）ことができる。
垂直軸は、頭部５０の中心を通るように設置されており、水平軸は、胴体部２０と頭部５０が正面を向いた状態で頭部５０の中心を通りかつ左右方向に水平に設置されている。つまり、頭部５０は左右と上下の２自由度で、決められた範囲内で回転することができる。
また、胴体部２０は、頭部５０と独立して図３に示すθ３方向で回転することもできる。
The
The vertical axis is installed so as to pass through the center of the
Moreover, the trunk | drum 20 can also rotate in the (theta) 3 direction shown in FIG.
また、胴体部２０には、図２に示されるように、ロボット全体の制御を司るコントローラ（ロボット制御装置）２２と、ロボットの動力源となるバッテリ３１と、スピーカ３２（音声出力部）と、左右の車輪６１Ａ，６１Ｂを動かすためのアクチュエータ３４Ａ，３４Ｂ（駆動機構）と、予め物品に取り付けられた無線電子タグのタグ識別情報を無線通信にて読み取るためのタグリーダ４４（ダグ識別情報取得部）と、ロボット１０の感情状態をパターンとして表示可能な胸ＬＥＤ群４５（感情パターン表示部）と、メンテナンス時の各部の状態などを表示可能なその他の各種ＬＥＤ群４６（４６Ａ、４６Ｂ）と、音の方向や周囲の雑音などを検出するための環境認識用の各種マイク群３３と、障害物回避・衝突検知・持ち上げ防止・タッチ検出などの各種センサ群４７（図３では４７Ａ〜４７Ｇ）と、外部表示部などを接続可能な各種端子４３と、他の通信装置と通信可能な通信Ｉ／Ｆ（通信インターフェース）４３等が収納される。
As shown in FIG. 2, the
通信Ｉ／Ｆ４３（送受信部）は、無線ＬＡＮ、ＡＰ（アクセスポント）２、通信網ＮＷなどを介して、他の通信装置との間で通信を行う。
スピーカ３２は、文章を出力するための出力手段の一部である。アクチュエータ３４Ａ，３４Ｂは、ロボット１０を物理的に動作させるためのアクチュエータである。
The communication I / F 43 (transmission / reception unit) communicates with other communication devices via a wireless LAN, an AP (access point) 2, a communication network NW, and the like.
The
頭部５０には、図２に示すように、マイク５３と、ＣＣＤカメラ５１Ａ，５１Ｂと、頭部５０を回転するためのアクチュエータ５２Ａ（スイヴェル用），５２Ｂ（俯仰用）と、利用者の声や他の音を聞いているかどうかを表示するための耳ＬＥＤ群５６と、感情状態を表示可能な顔（口）ＬＥＤ群５７と、周辺の探索状況を表示可能な目ＬＥＤ群５８（探索状況表示部）と、なでたり触られたりすることを検知するタッチセンサ５４と、昼夜を問わず周辺を監視するためのサーモグラフィ５５（温度分布検知部）などが収納されている。
As shown in FIG. 2, the
ＣＣＤカメラ５１Ａ、５１Ｂは、ロボット周辺の人物を認識する場合、周囲の物品を検知する場合などに利用することもできる。
アクチュエータ５２Ａ，５２Ｂは、ロボット１０の頭部５０を上下左右に回転させる。
The
The
頭部５０におけるマイク５３は、利用者からの発話を含む周囲の音声を集音し、得られた音声情報をコントローラ２２に送出する。
The
頭部５０におけるＣＣＤカメラ５１Ａ，５１Ｂは、ロボット周辺の人物及び物品や周囲の状況を撮像し、得られた画像情報を、コントローラ２２に送出する。
The CCD cameras 51 </ b> A and 51 </ b> B in the
頭部５０におけるタッチセンサ５４、胴体部２０における各種センサ群４７に含まれるタッチセンサは、人間がタッチセンサに触れたことを検知し、接触検知情報をコントローラ２２に送出する。
The touch sensors included in the
コントローラ（ロボット制御装置）２２は、ＣＰＵ２２Ａやメモリ２２Ｂを内蔵しており、ＣＰＵ２２Ａにおいて、メモリ２２Ｂに記憶された制御プログラムが実行されることにより、各種の処理を行う。
The controller (robot control device) 22 includes a
すなわち、コントローラ２２は、マイク５３や通信Ｉ／Ｆ４２を介して得られる音声情報と、ＣＣＤカメラ５１ＡおよびＣＣＤカメラ５１Ｂから得られる画像情報と、タッチセンサ５４などから得られる接触検知情報とに基づいて、メモリ２２Ｂから適宜情報を読み出し、周囲の状況やユーザからの指令を判断する。
さらに、コントローラ２２は、この判断結果などに基づいて、続く言動を決定し、その決定結果に基づいて、スピーカ３２，アクチュエータ３４Ａ，３４Ｂ，５２Ａ，５２Ｂ、各ＬＥＤやその他の各部のうち必要なものを駆動させる。
これにより、頭部５０の上下左右の回転あるいはロボット１０の移動や回転等の行動を行わせる。
また、コントローラ２２は、合成音を生成し、スピーカ３２に供給して、ロボット１０に決定した発話を出力させる。
さらに、コントローラ２２は、点灯制御信号を生成し、各種ＬＥＤに決定した点灯パターンを実行させる。
That is, the
Further, the
Thereby, actions such as rotation of the
In addition, the
Further, the
以上のようにして、ロボットは、周囲の状況などに基づいて行動をとるようになっている。 As described above, the robot takes action based on the surrounding situation.
（ロボットにおけるコントローラの詳細機能構成）
次に、メモリ２２Ｂに記憶された制御プログラムに従って動作するＣＰＵ２２Ａによって実現される各部の相互的な関連について図４を参照して説明する。
(Detailed function configuration of controller in robot)
Next, the mutual relationship of each part implement | achieved by CPU22A which operate | moves according to the control program memorize | stored in memory 22B is demonstrated with reference to FIG.
コントローラ（ロボット制御装置）２２は、画像認識部２３１、音声認識部２３２、接触認識部２３３、言動決定部２１５、コンテンツ再生部（言動実行部）２１７、アイテム探索実行部９２、音声認識辞書記憶部２２７、動作パターン情報記憶部２２４、シナリオ情報記憶部２２５、コンテンツ記憶部２２６を含む。
このうち、音声認識辞書記憶部２２７、動作パターン情報記憶部２２４、シナリオ情報記憶部２２５、コンテンツ記憶部２２６などは、メモリ２２Ｂの記憶領域の一部により構成されている。また、これらの記憶部の情報は、遠隔管理装置であるロボット制御サーバ１１０から適宜、更新、変更、追加、削除を行うこともできる。
The controller (robot control device) 22 includes an
Among these, the speech recognition
画像認識部２３１は、ＣＣＤカメラ５１Ａ、５１Ｂからの画像情報に基づき物品認識（物品認識用画像認識機能）、人物認識（人物認識用画像認識機能）などを行うことができる。
画像認識部２３１における物品認識用画像認識機能は、ＣＣＤカメラ５１Ａ、５１Ｂから入力される映像に対して画像処理（例えば特徴点パターン抽出など）を行い画像認識情報を生成し画像認識情報をアイテム探索実行部９２へ送出する。
また、画像認識部２３１では、２ＣＣＤカメラによりステレオ視覚認識処理を行うことができる。
The
The image recognition function for article recognition in the
In addition, the
更に、画像認識部２３１における人物認識用画像認識機能では、ＣＣＤカメラ５１Ａ、５１Ｂから入力される映像に対して画像処理を施して人の識別を行い、人物記憶部（不図示）に人の識別子を記憶することもできる。
又、ＣＣＤカメラ５１Ａ、５１Ｂに代えて他のイメージセンサを用いてもよく、さらには、対象物の形状や輪郭を捉えるカメラやセンサといった技術にとらわれない。またさらに、ロボットがテレビなどの映像表示機器に映像を表示し、そこに表示した内容を検知結果として利用するという方法も考えられる。
Furthermore, in the image recognition function for person recognition in the
In addition, other image sensors may be used in place of the
音声認識部２３２は、マイク５３（音声入力部）から入力される人間の音声情報を音声認識する。
音声認識辞書記憶部２２７は、音声認識単語の集合である音声認識語彙を記憶する音声認識単語記憶部を含む。音声認識単語記憶部は、各外国語の言語に応じて用意することができる。
音声認識部２３２は、マイク５３が入力した音声情報と、音声認識辞書記憶部２２７に記憶された音声認識語彙とのマッチングを行う。
音声認識部２３２は、音声認識した音声認識結果を言動決定部２１５へ送出する。
音声認識結果は、「おはよう」、「こんにちは」や「何かお話して」などの、人がロボットに対して話しかけた言葉である。
音声認識部２３２が認識する言葉は、「おはよう」や「こんにちは」などの通常命令を含む。通常命令は、例えば、ロボット側から出力された話題に対するユーザ側の応答等をも含むものである。
The
The speech recognition
The
The
Speech recognition results, "Good morning", such as "Hello" or "to talk about something", a person is a word that spoke to the robot.
The
接触認識部２３３は、人がタッチセンサ５４に触れたときに出力される検知情報を受け、これを接触認識情報として言動決定部２１５に送出する。
The
また、タグリーダ４４により、予め物品に取り付けられた識別タグ（無線電子タグ）のタグ識別情報が読み取られ、該読み取られたタグ識別情報は、アイテム探索実行部９２に送出され、物品を認識できるようにしている。識別タグとしては、アクティブ、パッシブのＲＦＩＤタグ、超音波タグ、赤外線タグなど、電波や電磁波、超音波、赤外線などにより読み取り可能なタグを用いてよい。
The
発話トリガー発生部２３４は、音声認識部２３２を参照して、予め決められた一定時間以上の間、音声認識部２３２から言動決定部２１５への出力が無い場合に、ユーザの応答に相当する発話トリガー情報を言動決定部２１５へ送出する。
発話トリガー情報は、音声認識部２３２によって音声認識が可能な言葉のうちから選ばれる一つの言葉であり、ランダム（任意）に選択される。したがって、発話トリガー情報は、話題選択命令であるか通常命令であるかのどちらかである。音声認識が可能な言葉の登録方法や乱数等を用いた任意選択の手法については慣用技術に属することであるので、ここでは特に説明しない。
発話トリガー情報の選択方法は、ランダム選択に限るものではない。それまでに音声認識した言葉や、発話トリガー発生部２３４が送出した言葉を予め決められた時間の範囲内で記憶しておき、そこに含まれない言葉を選ぶという方法を取ることもできる。
The utterance
The utterance trigger information is one word selected from words that can be recognized by the
The selection method of the utterance trigger information is not limited to random selection. It is also possible to take a method of storing words that have been recognized by speech or words sent by the utterance
言動決定部２１５は、接触認識部２３３から接触認識情報が送られてきたとき、あるいは、音声認識部２３２から音声認識結果（例えば予め決められた通常命令を含む）が送られてきたとき、さらには画像認識部２３１における人物認識用画像認識機能から１以上の人物認識結果が送られてきたとき、またアイテム探索実行部９２からのアイテム探索に必要な動作要求が送られてきたとき、それらに応じてロボットの言動（例えば応答言動）を決定することができる。
When the contact recognition information is sent from the
また、言動決定部２１５は、発話トリガー発生部２３４から発話トリガー情報が送られてきたときに、その発話トリガー情報が「おはよう」や「こんにちは」などの、予め決められた通常命令に含まれるとき、対応するロボットの言動（例えば応答言動）を決定する。
Moreover,
具体的には、言動決定部２１５は、シナリオ選択部２１５ａと、動作パターン選択部２１５ｂと、コンテンツ生成部２１５ｃとを含む。
Specifically, the
シナリオ選択部２１５ａは、対応するシナリオをシナリオ情報記憶部１２５を参照して選択する。
シナリオ情報記憶部２２５には、音声認識語に対応する（応答文章および動作パターンを含む）シナリオが記憶されている。
応答文章に対応する動作パターンは、ロボットのアクチュエータ３４Ａ，３４Ｂ，５２Ａ，５２Ｂを動かす命令になっている。
また、シナリオ情報記憶部２２５には、タッチセンサ４７、５４が人間に触れられたときの応答動作も記憶されている。
The
The scenario
The operation pattern corresponding to the response text is a command to move the
The scenario
シナリオ選択部２１５ａは、音声認識部２３２から音声認識語を受け取ったとき、シナリオ情報記憶部２２５に記憶されているシナリオの中から一つを選択して、シナリオに記述された発話ファイル及びそれに関連づけられた動作パターンを示すモーションファイルなどをコンテンツ生成部１１５ｃへ送出する。
また、シナリオ選択部２１５ａは、接触認識部２３３から接触認識情報を受け取ったとき、接触認識情報に対応する動作パターンをシナリオ情報記憶部２２５から選択し、シナリオに記述された発話ファイル及びそれに関連づけられた動作パターンを示すモーションファイルなどをコンテンツ生成部１１５ｃへ送出する。
タッチセンサ４７、５４および接触認識部２３３の構造によっては、接触力の強弱やその継続時間に応じた接触認識情報を生成し、シナリオ選択部２１５ａによって接触認識情報に応じた動作パターンを選択するといったことも可能である。
When the
Further, when the
Depending on the structure of the
動作パターン選択部２１５ｂは、シナリオ選択部２１５ａが読み込んだシナリオに基づき、動作パターン情報記憶部２２４からロボットの動作パターンを選択する。
The motion
動作パターン情報記憶部２２４には、ロボットが発話を行う際に、効果的な愛くるしい表現が実行できるような各動作パターンが記憶される。
本実施の形態において、動作パターンは、ロボットの利用者に対する愛くるしい表現を胸ＬＥＤ群、顔ＬＥＤ群、頭部の２方向の動作などを制御する各動作パターン、発話ファイルなどを含む。
The motion pattern
In the present embodiment, the operation pattern includes each operation pattern that controls the movement of the chest LED group, the face LED group, the head in two directions, etc., a speech file, etc.
コンテンツ生成部２１５ｃは、シナリオ選択部２１５ａの指示を受け、シナリオ選択部２１５ａにて選択されたシナリオと、動作パターン選択部２１５ｂが選択した動作パターンとに基づき、シナリオ選択部２１５ａにて選択された基本構成のシナリオ内に、様々な要求に応じて動作パターン選択部２１５ｂが選択した動作パターンを設定するようにして、コンテンツを生成する。
The
言動実行部２１７は、言動決定部１１５のコンテンツ生成部２１５ｃから発話する文章を示す発話ファイルとそれに対応する動作を示す各モーションファイルを含むコンテンツが送られてきたとき、発話ファイルに基づく発話コマンドを生成して音声合成部２１７ａへ送出すると共に、対応する動作を示す各モーションファイルに基づく各駆動コマンドをメカ制御部２１７ｂ及びＬＥＤ制御部２１７ｃへ送出する。
The speech execution unit 217 receives an utterance command based on the utterance file when a content including an utterance file indicating a sentence to be uttered and a motion file indicating an operation corresponding to the utterance file is sent from the
コンテンツ再生部（言動実行部）２１７は、言動実行制御手段の一例であり、通常状態では、ロボット１０のコンテンツ生成部２１５ｃからの指示によりコンテンツに含まれる言動条件を実行する。
また、コンテンツ再生部（言動実行部）２１７は、遠隔管理などのサービスを受けている状態では、ロボット制御サーバ１１０におけるコンテンツ供給部１１６からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する。いずれの言動条件を優先するかは設定条件次第である。
コンテンツ再生部（言動実行部）２１７は、メカ制御部（駆動制御部）２１７ｂ、音声合成部２１７ａ、ＬＥＤ制御部２１７ｃを含む。
The content reproduction unit (speech execution unit) 217 is an example of a behavior execution control unit, and in a normal state, the content reproduction unit (speech execution unit) 217 executes a speech condition included in the content according to an instruction from the
In addition, the content playback unit (speech execution unit) 217 receives the content from the
The content reproduction unit (speech execution unit) 217 includes a mechanical control unit (drive control unit) 217b, a
コンテンツ再生部２１７は、コンテンツ生成部２１５ｃの指示又はロボット制御サーバ１１０からの指示を受け、コンテンツ記憶部１１８から該当するモーションファイルや発話ファイルを読み出し、ロボットのモーション再生のためのメカ駆動コマンドやロボットの発話コマンド、ＬＥＤ駆動コマンドを発行して、メカ制御部（駆動制御部）２１７ｂ、音声合成部２１７ａ、ＬＥＤ制御部２１７ｃにそれぞれ実行し、シナリオ再生を実行する。
The content playback unit 217 receives an instruction from the
音声合成部２１７ａは、言動決定部２１５から与えられる文章から合成音声を生成し、出力手段の一部である音声出力制御部（不図示）へ供給する。
音声出力制御部には、音声合成部２１７ａからの合成音のディジタルデータが供給されるようになっており、それらのディジタルデータを、アナログの音声信号にＤ／Ａ変換し、スピーカ１２（音声出力部）に供給して出力させる。
The
The voice output control unit is supplied with digital data of the synthesized sound from the
メカ制御部２１７ｂは、言動決定部２１５からのコンテンツに含まれる動作パターン（アクチュエータ動作パターン）に基づいて、アクチュエータ３４Ａ，３４Ｂ，５２Ａ，５２Ｂを各々駆動するための各駆動制御信号を生成し、これをアクチュエータ３４Ａ，３４Ｂ，５２Ａ，５２Ｂへ送出する。これにより、アクチュエータ３４Ａ，３４Ｂ，５２Ａ，５２Ｂは、各駆動制御信号にしたがって駆動し、ロボット１０を動作させる。
The
ＬＥＤ制御部２１７ｃ（点灯制御部）は、言動決定部２１５からのコンテンツに含まれる動作パターン（ＬＥＤ動作パターン）に基づいて、胸ＬＥＤ群４５，顔ＬＥＤ群５７，目ＬＥＤ群５８，耳ＬＥＤ群５６，その他の各種ＬＥＤ群４６を各々駆動するための各点灯制御信号を生成し、これを胸ＬＥＤ群４５，顔ＬＥＤ群５７，目ＬＥＤ群５８，耳ＬＥＤ群５６，その他の各種ＬＥＤ群４６へ送出する。これにより、胸ＬＥＤ群４５，顔ＬＥＤ群５７，目ＬＥＤ群５８，耳ＬＥＤ群５６，その他の各種ＬＥＤ群４６は、各点灯制御信号にしたがって点滅する。
The
以上のような前提となる基本構成に加えて、本実施の形態では以下のような特徴的構成を有する。 In addition to the basic configuration as the premise as described above, the present embodiment has the following characteristic configuration.
アイテム探索実行部９２（アイテム探索実行手段）は、ロボット制御サーバ１１０におけるアイテム探索制御部１１４からのアイテム探索要求に応じて前記アイテムの探索を実行する。
The item search execution unit 92 (item search execution means) executes a search for the item in response to an item search request from the item
アイテム探索実行部９２は、第１のアイテム探索実行部９２ａを有し、この第１のアイテム探索実行部９２ａは、ロボット制御サーバ１１０からの第１のアイテム探索要求に基づいて、先ずＣＣＤカメラ５１Ａ、５１Ｂが特定の第１の方向を向いた状態で第１の視野中の周囲環境における第１画像を取得し、画像認識部２３１により前記第１の視野中における各物品の各特徴点パターンを抽出し、特徴点パターン情報（画像認識情報）を収集する。
次に、第１のアイテム探索実行部９２ａは、前記第１の方向から他の第２の方向にＣＣＤカメラ５１Ａ、５１Ｂを移動させ（アクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂ、を駆動させる）、第２の方向を向いた状態で第２の視野中の周囲環境における第２画像を取得し、画像認識部２３１により前記第２の視野中における各物品の各特徴点パターンを抽出し、特徴点パターン情報（画像認識情報）を収集する。
更に、第１のアイテム探索実行部９２ａは、順次ＣＣＤカメラ５１Ａ、５１Ｂの向きを移動させ（アクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂ、を駆動させる）、左右３６０度、上下１８０度の全方角についての各視野中の周囲環境における各画像を取得し、画像認識部２３１により前記各視野中における各物品の各特徴点パターンを各々抽出し、特徴点パターン情報（画像認識情報）を収集する。
そして、第１のアイテム探索実行部９２ａは、収集された特徴点パターン情報（画像認識情報）を順次ないしはまとめてロボット制御サーバ１１０に送信する。
本実施の形態では、管理側主導の例であるので、物品の検出判定をロボット制御サーバ１１０側で行うこととしている。このため、ロボット１０側で物品判定用の特徴点パターン情報記憶部（ＤＢ）をもつ必要がなく、メモリ２２Ｂ消費量を低減して応答速度を向上させることができる。
このように、第１のアイテム探索実行部９２ａは、ロボット１０が備えるＣＣＤカメラ（画像取得部）から取得した画像情報をもとに画像認識機能によりロボットの周囲にある各種物品を識別するための情報収集を行う。
The item
Next, the first item
Further, the first item
Then, the first item
In the present embodiment, since it is an example led by the management side, the article detection determination is performed on the
As described above, the first item
ここで、第１のアイテム探索実行部９２ａは、順次ＣＣＤカメラ５１Ａ、５１Ｂの向きを移動させるようにアクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂを駆動させる必要があるが、この駆動制御は、動作パターン情報記憶部２２４にアイテム探索用動作パターンを記憶させておき、動作パターン選択部２１５ｂに該パターンを選択するようにソフトウエア的に制御してもよいし、通常行うロボットの言動実行とは独立して探索専用の回路などによってアクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂの駆動制御を行うようにしてもよい。さらには、探索専用のＣＣＤカメラを回動可能に他に設け（物品探索用画像取得部）、収集するようにしてもよい。
Here, the first item
又、アイテム探索実行部９２は、第２のアイテム探索実行部９２ｂを有し、この第２のアイテム探索実行部９２ｂは、ロボット制御サーバ１１０からの第２のアイテム探索要求に基づいて、先ずタグリーダ４４が特定の第１の方向の周囲環境におけるタグ識別情報を取得し、第１の方向における各物品のタグ識別情報を収集する。
次に、第２のアイテム探索実行部９２ｂは、前記第１の方向から他の第２の方向にタグリーダ４４を移動させ（アクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂ、を駆動させる）、第２の方向を向いた状態で周囲環境におけるタグ識別情報を取得し、第２の方向における各物品のタグ識別情報を収集する。
更に、第２のアイテム探索実行部９２ｂは、順次タグリーダ４４を移動させ（アクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂ、を駆動させる）、左右３６０度、上下１８０度の全方角についての周囲環境における各物品のタグ識別情報を取得し収集する。
そして、第２のアイテム探索実行部９２ｂは、収集されたタグ識別情報を順次ないしはまとめてロボット制御サーバ１１０に送信する。
本実施の形態では、管理側主導の例であるので、物品の検出判定をロボット制御サーバ１１０側で行うこととしている。このため、ロボット１０側で物品判定用のタグ識別情報記憶部（ＤＢ）をもつ必要がなく、メモリ２２Ｂ消費量を低減して応答速度を向上させることができる。
このように、第２のアイテム探索実行部９２ｂは、ロボット１０が備えるタグリーダ（タグ識別情報取得部）から取得したタグ識別情報をロボットの周囲にある各種物品について情報収集を行う。
Further, the item
Next, the second item search execution unit 92b moves the
Further, the second item search execution unit 92b sequentially moves the tag reader 44 (actuates the
Then, the second item search execution unit 92b sequentially or collectively transmits the collected tag identification information to the
In the present embodiment, since it is an example led by the management side, the article detection determination is performed on the
As described above, the second item search execution unit 92b collects information on the tag identification information acquired from the tag reader (tag identification information acquisition unit) included in the
また、第２のアイテム探索実行部９２ｂは、タグリーダ４４により予め物品に取り付けられた識別タグのタグ識別情報を読み取る処理を行い、目的のタグ識別情報を有する識別タグの位置情報を取得可能な位置情報取得機能を備える。
In addition, the second item search execution unit 92b performs a process of reading the tag identification information of the identification tag attached to the article in advance by the
ここで、第２のアイテム探索実行部９２ｂは、順次タグリーダ４４を移動させるようにアクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂを駆動させる必要があるが、この駆動制御は、動作パターン情報記憶部２２４にアイテム探索用動作パターンを記憶させておき、動作パターン選択部２１５ｂに該パターンを選択するようにソフトウエア的に制御してもよいし、通常行うロボットの言動実行とは独立して探索専用の回路などによってアクチュエータ５１Ａ、５１Ｂ、３４Ａ、３４Ｂの駆動制御を行うようにしてもよい。さらには、タグリーダを回動可能に設け、収集するようにしてもよい。
Here, the second item search execution unit 92b needs to drive the
また、アイテム探索実行部９２は、ロボットが所在する位置の近傍や周囲における環境情報（どの位置にどのような物品があるのか）を取得することもできる。
アイテム探索実行部９２は、たとえば、２以上のＣＣＤカメラ、温度センサ等の人体検知センサ、超音波タグセンサ、無線タグセンサ等各取得部からの情報をもとに探索するこもできる。
In addition, the item
The item
（ＬＥＤ制御について）
ＬＥＤ制御部２１７ｃは、ＬＥＤの点滅速度を制御する。これにより、ロボットの心拍状態を擬似的に表現できる。
(About LED control)
The
ＬＥＤ制御部２１７ｃは、各ＬＥＤの表示色パターンを制御する。これにより、ロボットの欲求状態を利用者は視認できる。
The
また、ＬＥＤ制御部２１７ｃは、ロボットの欲求状態を表示する第１モードと、特別に表現すべきロボットの欲求の解消状況を表示する第２モードとを適宜切り替え選択制御するモード制御機能を備える。
In addition, the
第１モードでは、例えばマズローの欲求段階にほぼ対応するように予め定義されたロボットの欲求段階に応じた表示パターンにて表示制御することができる。
例えば、第１欲求表示段階（タスク実現の欲求）では、利用者を楽しませたり、利用者に役立ったりしたいという欲求を示し、白とタスクの象徴色（第１の表示色パターン）を表示するように表示制御する。
また、第２欲求表示段階（コミュニケーションの欲求）では、利用者とのやりとりを上手くやりたいという欲求を示し、白（第２の表示色パターン）を表示するように表示制御する。
さらに、第３欲求表示段階（関係の欲求）では、他者と関わりたいという欲求を示し、オレンジ（第３の表示色パターン）を表示するように表示制御する。
さらにまた、第４欲求表示段階（安全の欲求）では、自分の身を守りたいという欲求を示し、赤（第４の表示色パターン）を表示するように表示制御する。
これらのうち、第１モードで心拍が通常（第１の点滅速度）の場合、
対話モード、自律行動モード、伝言や顔登録などタスク系サブシナリオモードにおいて表示制御することが好ましい。
一方、第１モードで心拍が早い（第２の点滅速度）の場合、なぞなぞやまいとなどエンタメ系サブシナリオモード、自動充電モード、緊急モードにおいて表示制御することが好ましい。
In the first mode, for example, display control can be performed with a display pattern corresponding to a robot's desire level that is defined in advance so as to substantially correspond to Maslow's desire level.
For example, in the first desire display stage (the desire for task realization), the desire to entertain the user or be useful to the user is displayed, and white and the symbol color of the task (first display color pattern) are displayed. Display control as follows.
Further, in the second desire display stage (communication desire), the display control is performed so as to display a white (second display color pattern) indicating a desire to exchange with the user well.
Further, in the third desire display stage (relationship desire), the desire to be involved with another person is shown, and display control is performed to display orange (third display color pattern).
Furthermore, in the fourth desire display stage (safety desire), the desire to protect oneself is displayed, and display control is performed to display red (fourth display color pattern).
Of these, if the heart rate is normal (first blinking speed) in the first mode,
It is preferable to perform display control in a task system sub-scenario mode such as a dialogue mode, an autonomous action mode, a message, and face registration.
On the other hand, when the heart rate is fast in the first mode (second blinking speed), display control is preferably performed in the entertainment sub-scenario mode such as riddles and performances, the automatic charging mode, and the emergency mode.
第２モードでは、ユーザからの設定入力によって、特別に表現したいリアクションを実行できる。
この第２モード（特別演出状態）では、ほめられ反応モードやダンスモード、歌モードにおいて表示制御することが好ましい。
表示色パターンの例としては例えば「嬉しい」場合はピンク、「楽しい」場合は３色、設定中は青などが挙げられる。
この場合、３色以上の組み合わせでは、明るい色、中間の色、暗い色を組み合わせる。
色を組み合わせる場合、暖色系と寒色系を組み合わせたり、色合い（色相）だけでなく見た目の明るさが異なる２色を組み合わせることが好ましい。
In the second mode, a reaction to be specifically expressed can be executed by a setting input from the user.
In the second mode (special effect state), display control is preferably performed in the praise reaction mode, dance mode, and song mode.
Examples of display color patterns include pink for “happy”, three colors for “fun”, and blue during setting.
In this case, a combination of three or more colors combines a light color, an intermediate color, and a dark color.
When combining colors, it is preferable to combine warm colors and cold colors, or to combine two colors that differ not only in hue (hue) but also in appearance.
例えば、「嬉しい」場合の表示パターンの例として、図８及び図９が挙げられる。図８では、胸ＬＥＤ群４５のうちＬＥＤ４５ａ（第１表示部）、ＬＥＤ４５ｂ（第２表示部）、ＬＥＤ４５ｃ（第３表示部）の３つをハート型に配置し、ハートイメージを構成する。この場合の各ＬＥＤ４５ａ、４５ｂ、４５ｃの点灯パターンは、図９に示すように、第１の輝度（例えば０）と第２の輝度との間で変化させるパターンと、第１の輝度（例えば０）と第２の輝度より高い第３の輝度との間で変化させるパターンとを交互に繰り返し、３粒同時に次第に輝度を上げ点灯する第１の感情表示パターンとしている。
For example, FIGS. 8 and 9 are examples of display patterns in the case of “happy”. In FIG. 8, in the
また、例えば、「楽しい」場合の表示パターンの例として、図１０及び図１１が挙げられる。図１０では、胸ＬＥＤ群４５のうちＬＥＤ４５ａ（第１表示部）、ＬＥＤ４５ｂ（第２表示部）、ＬＥＤ４５ｃ（第３表示部）の３つをハート型に配置し、ハートイメージを構成する。この場合の各ＬＥＤ４５ａ、４５ｂ、４５ｃの表示色パターンは、各ＬＥＤ４５ａ、４５ｂ、４５ｃを赤、ピンク、オレンジとする第１サブ表示色パターンと、各ＬＥＤ４５ａ、４５ｂ、４５ｃを全てオレンジとする第２サブ表示色パターンと、各ＬＥＤ４５ａ、４５ｂ、４５ｃを全てピンクとする第３サブ表示色パターンと、を有し、第１サブ表示色パターン、第２サブ表示色パターン、第１サブ表示色パターン、第３サブ表示色パターンを交互に繰り返す表示色パターンとしている。これにより、各ＬＥＤ４５ａ、４５ｂ、４５ｃを各ＬＥＤ４５ｃ、４５ｂ、４５ａの順に回転するイメージを作り出すことができる。
さらに、図１１に示すように、第１サブ表示色パターンにおける第１サブ点灯パターンは、第１の輝度と第２の輝度との間で第１周期にて３粒変化させるパターンとする。また、第２、第３サブ表示色パターンにおける第２サブ点灯パターンは、第１の輝度と第２の輝度との間で第１周期の半分の第２周期にて変化させるパターンとする。この際、各ＬＥＤ４５ｃ、４５ａ、４５ｂ、４５ｃの順に点灯し、これらを組み合わせてる第２の感情表示パターンとしている。
For example, FIGS. 10 and 11 are examples of display patterns in the case of “fun”. In FIG. 10, three
Furthermore, as shown in FIG. 11, the first sub lighting pattern in the first sub display color pattern is a pattern in which three grains are changed in the first period between the first luminance and the second luminance. In addition, the second sub lighting pattern in the second and third sub display color patterns is a pattern that is changed between the first luminance and the second luminance in the second period which is half of the first period. At this time, the
また、例えば、盛り上がり系サブシナリオとして「なぞなぞ、お話」など場合の表示パターンの例として、図１２及び図１３が挙げられる。図１２では、胸ＬＥＤ群４５のうちＬＥＤ４５ｃ（第３表示部）、ＬＥＤ４５ｄ（第４表示部）の２つを異なる大きさの表示パターンを構成する。この場合の各ＬＥＤ４５ｃ、４５ｄの表示色パターンは、各ＬＥＤ４５ｃ、ｄをピンク、白とする表示色パターンを有する。
さらに、図１３に示すように、ＬＥＤ４５ｄの第１点灯パターンは、第１の輝度と第２の輝度との間で第１周期にて変化させるパターンとする。また、ＬＥＤ４５ｃの第２点灯パターンは、第１の輝度と第２の輝度より低い第３の輝度との間で第１周期にて変化させ、第１の輝度の期間を第２の輝度の期間よりも長くするパターンとする。これらを組み合わせてる第３の感情表示パターンとしている。
これにより、白とピンクのパターンと白のみのパターンとが交互に繰り返し、楽しいコンテンツを一緒に行い心拍が早いイメージを作り出すことができる。
このようにして、ダンスなどの演劇的表現が増大し、エンタテイメントにも適するロボットを提供できる。
Further, for example, FIGS. 12 and 13 are examples of display patterns in the case of “mystery, story” as the climax subscenario. In FIG. 12, two
Furthermore, as shown in FIG. 13, the first lighting pattern of the
Thereby, a white and pink pattern and a white-only pattern are alternately repeated, and it is possible to create an image with a fast heartbeat by performing fun content together.
In this way, theatrical expressions such as dance increase, and a robot suitable for entertainment can be provided.
以上の各表示パターンは、動作パターン情報記憶部２２４に記憶され、シナリオや外部情報、アイテムの種類などに応じて動作パターン選択部２１５ｂにより適宜選択変更され、ＬＥＤ制御部２１７ｃが選択されたパターンを実行制御する。
Each display pattern described above is stored in the operation pattern
（遠隔管理装置の詳細構成）
図５は、ロボット制御サーバの詳細構成の一例を示すブロック図である。
遠隔管理装置の一例であるロボット制御サーバ１１０は、図５に示すように、取得手段としての外部情報取得部１１２と、アイテム決定手段としての関連アイテム情報決定部１１３と、アイテム探索制御手段としてのアイテム探索制御部１１４と、言動決定手段としての言動決定部１１５と、コンテンツ供給手段としてコンテンツ供給部１１６と、関連アイテム情報記憶部１２１と、特徴点パターン情報記憶部１２２と、タグ識別情報記憶部１２３と、動作パターン情報記憶部１２４と、シナリオ情報記憶部１２５と、コンテンツ記憶部１２６とを含む。
(Detailed configuration of remote management device)
FIG. 5 is a block diagram illustrating an example of a detailed configuration of the robot control server.
As shown in FIG. 5, the
外部情報取得部１１２は、利用者のロボット１０に対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された通信網ＮＷを通じて外部情報を取得する。
例えば、天気情報のサービスをうけるサービス提供開始時刻を予め利用者が登録の際に設定すると、現在時刻が当該時刻に至ったかどうかをチェックし、前記時刻であると判定された場合には、シナリオ選択部１１５ａは、シナリオ情報記憶部１２５からサービス内容に応じたシナリオを読み込む。
外部情報取得部１１２が、外部情報を取得する際、情報提供サーバに対して情報検索を行い、外部情報を得ることになる。
ここでは、例えば天気予報サービスに対応するシナリオを選択した場合、当該シナリオに記述された天気予報情報の提供サイト（情報提供サーバ）にアクセスし、ロボットが所在する位置に応じた天気予報情報を取得する。
The external
For example, when the user provides a service provision start time for receiving weather information service in advance during registration, the current time is checked to see if it has reached the time. The
When the external
Here, for example, when a scenario corresponding to the weather forecast service is selected, the weather forecast information providing site (information providing server) described in the scenario is accessed, and the weather forecast information corresponding to the position where the robot is located is acquired. To do.
関連アイテム情報記憶部１２１は、外部情報と、この外部情報に関連するアイテムとが対応づけられて記憶されている。
外部情報が例えば天気予報の天候情報「雨」である場合には、関連するアイテムとして例えば「傘」などが挙げられる。このため、「雨」と「傘」とが対応づけられている。
The related item
If the external information is, for example, the weather information “rain” in the weather forecast, “umbrella” or the like may be cited as a related item. For this reason, “rain” and “umbrella” are associated with each other.
関連アイテム情報決定部１１３は、関連アイテム情報記憶部１２１を参照し、外部情報に関連するアイテム（関連アイテム）を決定する。さらに、関連アイテム情報決定部１１３は、関連アイテム情報が得られた場合、得られた関連アイテム情報及び外部情報をアイテム探索制御部１１４に送出する。一方、関連アイテム情報決定部１１３は、関連アイテム情報が得られない場合、外部情報を言動決定部１１５の動作パターン選択部１１５ｂに送出する。
The related item
例えば、関連アイテム情報決定部１１３は、外部情報が「雨」の場合、関連アイテムを「傘」と決定し、得られた「傘」という関連アイテム情報をアイテム探索制御部１１４に送出する。一方、関連アイテム情報決定部１１３は、外部情報が「晴れ」の場合、関連アイテムが見つからず、「晴れ」という外部情報を動作パターン選択部１１５ｂに送出する。
For example, when the external information is “rain”, the related item
アイテム探索制御部１１４は、前記アイテムがロボット１０の周辺にあるかどうかをロボット１０に探索させるための制御をし、前記アイテムの有無を判定する。
アイテム探索制御部１１４は、このアイテム探索実行部９２により得られた情報をもとにアイテム探索を行う。すなわち、前記アイテム探索制御部１１４は、前記アイテムの有無を画像認識情報により探索する第１のアイテム探索制御部１１４ａを備える。また、アイテム探索制御部１１４は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する第２のアイテム探索制御部１１４ｂを備える。
The item
The item
第１のアイテム探索制御部１１４ａは、ロボット１０の第１のアイテム探索実行部９２ａに対し第１のアイテム探索要求を送出し、ロボット１０に関連アイテムの探索を実行させる。この際、ＣＣＤカメラ５１Ａ、５１Ｂから得られた画像をもとに画像認識を行い関連アイテムの探索を行う。
The first item search control unit 114a sends a first item search request to the first item
特徴点パターン情報記憶部１２２は、予め登録段階で、ロボットの周辺にある各種物品の特徴点パターン情報（既登録特徴点パターン情報）が物品識別子とともに記憶されている。
第１のアイテム探索制御部１１４ａは、ロボット１０が収集して画像認識処理をした画像認識情報をロボット１０より受信し、特徴点パターン情報記憶部１２２を参照してマッチング処理を行う。
The feature point pattern
The first item search control unit 114 a receives image recognition information collected by the
第１のアイテム探索制御部１１４ａは、関連アイテムを見つけた場合、関連アイテム情報を外部情報とともに動作パターン選択部１１５ｂに送出する。一方、第１のアイテム探索制御部１１４ａは、関連アイテムが見つからない場合、第２のアイテム探索制御部１１４ｂに指示を行うとともに関連アイテム情報及び外部情報を第２のアイテム探索制御部１１４ｂに送出する。
When the first item search control unit 114a finds a related item, the first item search control unit 114a sends the related item information together with external information to the operation
第２のアイテム探索制御部１１４ｂは、ロボット１０の第２のアイテム探索実行部９２ｂに対し第２のアイテム探索要求を送出し、ロボット１０に関連アイテムの探索を実行させる。この際、タグリーダ４４から得られたタグ識別情報により関連アイテムの探索を行う。
The second item search control unit 114b sends a second item search request to the second item search execution unit 92b of the
タグ識別情報記憶部１２３は、予め登録段階で、ロボットの周辺にある各種物品に取り付けられた無線電子タグのタグ識別情報（既登録タグ識別情報）が記憶されている。
第２のアイテム探索制御部１１ｂａは、ロボット１０が収集したタグ識別情報をロボット１０より受信し、タグ識別情報記憶部１２３を参照して前記関連アイテムに対応する物品があるかどうかの探索を行う。
The tag identification
The second item search control unit 11ba receives the tag identification information collected by the
第２のアイテム探索制御部１１４ｂは、関連アイテムを見つけた場合、関連アイテム情報とともに外部情報を動作パターン選択部１１５ｂに送出する。一方、第２のアイテム探索制御部１１４ｂは、関連アイテムが見つからない場合、関連アイテムがない旨の通知を外部情報とともに言動実行部１１５の動作パターン選択部１１５ｂに送出する。
When the second item search control unit 114b finds the related item, the second item search control unit 114b sends the external information together with the related item information to the operation
例えば、第１のアイテム探索制御部１１４ａは、関連アイテム情報が「傘」である場合、前記「傘」がロボット１０の周辺にあるかどうかをロボット１０に探索させる。
第１のアイテム探索制御部１１４ａは、画像認識により「傘」を見つけた場合、関連アイテム情報「傘」を外部情報「雨」とともに動作パターン選択部１１５ｂに送出する。一方、第１のアイテム探索制御部１１４ａは、「傘」が見つからない場合、第２のアイテム探索制御部１１４ｂに指示する。
第２のアイテム探索制御部１１４ｂは、タグ識別情報により「傘」を探索する。第２のアイテム探索制御部１１４ｂは、タグ識別情報により「傘」を見つけた場合、関連アイテム情報「傘」を外部情報「雨」とともに動作パターン選択部１１５ｂに送出する。一方、第２のアイテム探索制御部１１４ａは、「傘」が見つからない場合、関連アイテムがない旨の通知を外部情報「雨」とともに言動実行部１１５の動作パターン選択部１１５ｂに送出する。
このように、アイテム探索制御部１１４は、アイテムが鞄の中にあるなど画像認識によりアイテムを発見できない場合でも、タグ識別情報によりアイテムを見つけ出すことができる。
For example, when the related item information is “umbrella”, the first item search control unit 114 a causes the
When the first item search control unit 114a finds “umbrella” by image recognition, the first item search control unit 114a sends the related item information “umbrella” together with the external information “rain” to the operation
The second item search control unit 114b searches for “umbrella” based on the tag identification information. When the second item search control unit 114b finds “umbrella” by the tag identification information, the second item search control unit 114b sends the related item information “umbrella” together with the external information “rain” to the operation
As described above, the item
アイテム探索制御部１１４は、取得した環境情報を解析し、ロボットの近傍にある物品の種類、およびそれらの物品のロボットに対する位置を把握する。
The item
アイテム探索制御部１１４は、取得した画像から物品と識別される領域を抜き出す検出を行う。
つづいて、アイテム探索制御部１１４は、検出した物品画像の大きさおよび形状、ならびにロボットの位置に基づき、ロボットの近傍にいる物品の種類、各物品のロボットに対する位置（角度および距離）を推定する。
The item
Subsequently, the item
また、予め物品画像と、その属性情報との対応データ等を取得しておき、アイテム探索部により物品の画像認識を行い、物品の有無の判定を行う。 Also, correspondence data between the article image and its attribute information is acquired in advance, and the item search unit performs image recognition of the article to determine the presence or absence of the article.
また、アイテム探索制御部１１４は、タグリーダから取得した情報をもとに探索することもできる。たとえば、予め物品に識別情報や属性情報を記憶したタグを付与しておくことができる。
この場合、アイテム探索制御部１１４は、タグリーダにより、タグから情報を読み取ることにより、ロボットの近傍にいる物品の種類、各物品のロボットに対する位置を推定することができる。
The item
In this case, the item
アイテム探索制御部１１４は、把握した物品の種類や位置等の状況を 記憶部 に記憶する。
アイテム探索制御部１１４は、取得する情報および記憶部に記憶された情報に基づき、物品配置の変化も検出する。
The item
The item
言動決定部１１５は、アイテム探索制御部１１４にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する。
When the item
シナリオ情報記憶部１２５は、ロボットの振る舞いについて記載されたシナリオを記憶する。シナリオは、たとえば、ロボットに再生させるべきモーションファイルや発話ファイル、およびその再生手段等が記述されたプログラムとすることができる。すなわち、シナリオ情報記憶部１２５は、モーションファイルや発話ファイルを指定し、順番に再生していくためのスクリプト言語などを記憶している。ここで、モーションファイルは、ロボットのモーションを示す。発話ファイルは、ロボットの発話を示す。
モーションファイルは、ロボットの動作パターンを有し、アクチュエータ３４Ａ，３４Ｂ，５２Ａ，５２Ｂを動作させるものである。
The scenario
The motion file has a robot operation pattern and operates the
シナリオ選択部１１５ａは、設定またはユーザの指示に従い、シナリオ情報記憶部１２５からシナリオを選択し、それを読み込む。
シナリオ選択部１１５ａは、シナリオ情報記憶部１２５から読み込んだシナリオに従い、動作パターン選択部１１５ｂおよびコンテンツ生成部１１５ｃに指示を行う。
The
The
動作パターン選択部１１５ｂは、アイテム探索部 が探索した物品の種類、およびシナリオ選択部１１５ａが読み込んだシナリオに基づき、動作パターン情報記憶部１２４からロボットの動作パターンを選択する。
The motion
動作パターン情報記憶部１２４には、ロボットが発話を行う際に、効果的な愛くるしい表現が実行できるような各動作パターンが記憶される。
本実施の形態において、動作パターンは、ロボットの利用者に対する愛くるしい表現を胸ＬＥＤ群、顔ＬＥＤ群、頭部の２方向の動作などを制御する各動作パターンを含む。
The motion pattern
In the present embodiment, the operation pattern includes each operation pattern for controlling the movement of the chest LED group, the face LED group, the head in two directions, and the like for a lovely expression for the robot user.
たとえば、動作パターン選択部１１５ｂは、天候が雨の場合には、頭部をうつむき加減に動作させる頭部動作パターンとするために第１頭部モーションファイルを選択し、胸ＬＥＤ群を「悲しい」感情を示す点灯制御パターンとするために第１胸点灯制御モーションファイルを選択し、発話ファイルは「本日の天候は雨です」という音声情報の第１発話ファイルを選択する。
そして、選択されたシナリオに、前記第１発話ファイル、第１頭部モーションファイル、第１胸点灯制御モーションファイルのファイル名を設定し、コンテンツを生成する。
For example, when the weather is raining, the motion
Then, the file names of the first utterance file, the first head motion file, and the first chest lighting control motion file are set in the selected scenario, and content is generated.
例えば、第１言動パターンは、判定の結果「傘」があると判定された場合であり、天気予報の雨に傘を関連づけた言動パターン「今日の天気は雨です。傘が＊＊にありますので傘をお持ち下さい。」などが挙げられる。この際、動作パターンは、胸ＬＥＤ群、顔ＬＥＤ群、頭部の２方向の動作を「悲しい」動作となるパターンを選択設定する。
また、第２言動パターンは、判定の結果「傘」がないと判定された場合であり、「今日の天気は雨です。」「今日の天気は雨です。ここには傘はありません。」などが挙げられる。
さらに、第３の言動パターンは、「今日の天気は晴れです。」などが挙げられる。この際、動作パターンは、胸ＬＥＤ群、顔ＬＥＤ群、頭部の２方向の動作を「うれしい」動作となるパターンを選択設定する。
For example, the first behavior pattern is the case where it is determined that there is an “umbrella” as a result of the judgment, and the behavior pattern “Today's weather is rain. The umbrella is in **. Please bring an umbrella. " At this time, as the operation pattern, a pattern that makes the operation in two directions of the chest LED group, the face LED group, and the head “sad” is selected and set.
The second behavior pattern is a case where it is determined that there is no “umbrella” as a result of the determination, such as “Today's weather is rainy” or “Today's weather is rainy. There is no umbrella here”. Is mentioned.
Furthermore, the third behavior pattern includes “Today's weather is sunny”. At this time, as the operation pattern, a pattern that makes the operation in two directions of the chest LED group, the face LED group, and the head “a happy” operation is selected and set.
このようにして、動作パターン選択部１１５ｂは、動作パターン情報記憶部１２４から動作パターンを選択する。
In this manner, the operation
また、動作パターン記憶部１２４は、各動作の時間の設定を含むことができる。動作パターン情報記憶部１２４には、物品の位置情報とロボットの現在位置とに基づき、物品まで移動するための動作パターンも記憶することができる。
Further, the operation
コンテンツ記憶部１２６は、モーションファイルおよび発話ファイルを記憶する。
The
コンテンツ生成部１１５ｃは、シナリオ選択部１１５ａの指示を受け、シナリオ選択部１１５ａにて選択されたシナリオと、動作パターン選択部１１５ｂが選択した動作パターンとに基づき、シナリオ選択部１１５ａにて選択された基本構成のシナリオ内に、アイテム探索結果などの結果に応じて動作パターン選択部１１５ｂが選択した動作パターンを設定するようにして、コンテンツを生成する。
具体的には、コンテンツ生成部１１５ｃは、ロボットが適切な動作を行うよう、ロボットの首、胴体、の一つ以上を移動させ、ＬＥＤを点灯動作させるためのモーションファイルを生成する。
また、コンテンツ生成部１１５ｃは、記憶部に記憶された物品の位置、および動作パターン選択部が選択した動作パターンに基づき、コンテンツを生成することもできる。
The content generation unit 115c receives an instruction from the
Specifically, the content generation unit 115c generates a motion file for moving one or more of the robot's neck and torso and lighting the LED so that the robot performs an appropriate operation.
The content generation unit 115c can also generate content based on the position of the article stored in the storage unit and the operation pattern selected by the operation pattern selection unit.
コンテンツ供給部１１６は、前記コンテンツを前記ロボットに供給する。
コンテンツ供給部１１６は、コンテンツ生成部１１５ｃの指示を受け、コンテンツ記憶部１１８から該当するモーションファイルや発話ファイルを読み出し、ロボット１０に送信し、ロボット１０側のコンテンツ記憶部２２６に書き込むよう指示するとともに、ロボット１０側のコンテンツ再生部２１７に当該ファイルを実行するように指示する。
The
Upon receiving an instruction from the content generation unit 115c, the
ロボット制御サーバ１１０側のアイテム探索制御部１１４は、ロボット１０側のコンテンツ再生部２１７がコマンドを発行中も定期的に周囲の状況を取得することができる。
アイテム探索制御部１１４は、取得したデータを解析し、ロボットの近傍の物品の種類、およびそれらの物品のロボットに対する位置の変化を検出する。
アイテム探索制御部１１４は、動作パターン選択部１１５ｂに指示し、ロボットの移動などにより、ロボットの近傍にいる物品の数や位置に変化があった場合、動作パターン選択部２１５ｂは、新たな状況に応じて、動作パターン記憶部２２４から動作パターンを選択しなおすことができる。
The item
The item
When the item
（動作処理手順について）
（全体の概略動作）
次に、上述のような構成を有するロボット制御システムの全体の概略動作処理手順について、図６を参照しつつ説明する。図６は、図１のロボット制御システムにおける処理手順の一例を示すネットワークシーケンス図である。
(About operation procedure)
(Overall outline operation)
Next, an overall operation processing procedure of the entire robot control system having the above-described configuration will be described with reference to FIG. FIG. 6 is a network sequence diagram showing an example of a processing procedure in the robot control system of FIG.
本実施の形態に係るロボット制御システムにおける動作処理手順は、少なくとも利用者と対話可能なロボットと、前記ロボットと通信網を介して通信接続され前記ロボットを制御する遠隔管理装置とを備えたロボット制御システムを対象とするものである。 An operation processing procedure in the robot control system according to the present embodiment includes a robot control including at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot. It is intended for the system.
この遠隔管理を行う際の動作処理手順は、基本的手順として、遠隔管理装置としてのロボット制御サーバが、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し（図６に示すステップＳ１１２：外部情報取得ステップ）、次に、前記外部情報に関連するアイテムを決定し（図６に示すステップＳ１１３：アイテム決定ステップ）、続いて、前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし（図６に示すステップＳ１２０ａ：アイテム探索制御処理ステップ）、しかる後、前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する（図６に示すステップＳ１３１：言動決定ステップ）ことを行うものである。 The operation processing procedure at the time of performing remote management is based on a basic procedure in which a robot control server as a remote management device is based on a request for speech from the user to the robot or a service start request generated at a predetermined time. Then, external information is acquired through the communication network in which the information providing space is constructed (step S112 shown in FIG. 6: external information acquisition step), and then an item related to the external information is determined (step shown in FIG. 6). S113: Item determining step) Subsequently, the robot searches for whether or not the item is in the vicinity of the robot, and performs item search control for determining the presence or absence of the item (step S120a shown in FIG. 6: item search). Control processing step), and if it is determined that there is an item after that, the external to the user Determining the behavior condition of the robot so as to notify the broadcast and information comprising the items to produce this behavior condition as the content (step shown in FIG. 6 S131: behavior decision step) is performed that.
さらに、この遠隔管理を行う際の動作処理手順では、前記アイテム探索制御に際しては、前記アイテムの有無を画像認識情報により探索することができる（図６に示すステップＳ１２１、Ｓ１２３、Ｓ１２４からなるステップ）。 Furthermore, in the operation processing procedure when performing this remote management, the presence or absence of the item can be searched by the image recognition information in the item search control (steps consisting of steps S121, S123, and S124 shown in FIG. 6). .
また、この遠隔管理を行う際の動作処理手順では、前記アイテム探索制御に際しては、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することができる（図６に示すステップＳ１２５、Ｓ１２７、Ｓ１２８からなるステップ）。 In the operation processing procedure when performing the remote management, in the item search control, when it is determined by the image recognition information that the item is not present, the wireless electronic device provided with the item in advance as to the presence or absence of the item. A search can be made based on tag identification information from the tag (steps consisting of steps S125, S127, and S128 shown in FIG. 6).
更に、ロボット側におけるロボット制御の際の動作処理手順では、前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索し（図６に示すステップＳ１２０ｂ：アイテム探索実行処理ステップ）、前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する（図６に示すステップＳ１３３：言動実行処理ステップ）ことができる。 Further, in the operation processing procedure at the time of robot control on the robot side, it is searched whether or not there is an item related to the external information acquired by the remote management device around the robot (step S120b shown in FIG. 6: Item search execution processing step) When there is the item, the behavior condition of the robot is executed so as to notify the user of the external information and information including the item (step S133: behavior in FIG. 6). Execution processing step).
（動作処理手順の詳細）
以下、これを詳述する。
(Details of operation processing procedure)
This will be described in detail below.
まず、図６に示すように、プログラムがスタートすると、所定時刻かどうかを判定する（ステップＳ１１０：サービス提供開始時刻判定ステップ）。
例えば、天気情報のサービスをうけるサービス提供開始時刻を予め利用者が登録の際に設定すると、現在時刻が当該時刻に至ったかどうかをチェックする。
First, as shown in FIG. 6, when the program starts, it is determined whether it is a predetermined time (step S110: service provision start time determination step).
For example, if the user provides a service provision start time for receiving the weather information service in advance during registration, it is checked whether or not the current time has reached that time.
前記時刻であると判定された場合には、シナリオ選択部１１５ａは、シナリオ情報記憶部１２５からサービス内容に応じたシナリオを読み込む（Ｓ１１１：シナリオ選択ステップ）。
又は、前記利用者の前記ロボットに対する言動要求の一例である音声指示入力（ステップＳ１０１）によりロボットが音声認識を行い（ステップＳ１０２）、音声認識結果がロボット制御サーバに伝達される（ステップＳ１０３）ことによっても情報提供サービス用のシナリオ選択を行うことができる。
どのシナリオを読み込むかは、設定またはユーザの指示に基づき決定される。
If it is determined that it is the time, the
Alternatively, the robot performs voice recognition (step S102) by voice instruction input (step S101), which is an example of the user's speech request to the robot, and the voice recognition result is transmitted to the robot control server (step S103). The scenario for the information providing service can also be selected.
Which scenario is read is determined based on settings or user instructions.
続いて、取得手段（外部情報取得部１１２）として機能するロボット制御サーバのコンピュータが、外部情報を取得する（Ｓ１１２：外部情報取得ステップ）。
このため、外部情報取得は、前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて行われる。
この際、情報提供サーバに対して情報検索を行い（ステップＳ１１２ａ）、外部情報を得る（ステップＳ１１２ｂ）ことになる。
ここでは、例えば天気予報サービスに対応するシナリオを選択した場合、当該シナリオに記述された天気予報情報の提供サイト（情報提供サーバ）にアクセスし、ロボットが所在する位置に応じた天気予報情報を取得する。
Subsequently, the computer of the robot control server that functions as an acquisition unit (external information acquisition unit 112) acquires external information (S112: external information acquisition step).
For this reason, external information acquisition is performed based on the user's behavior request to the robot or a service start request generated at a predetermined time.
At this time, information retrieval is performed on the information providing server (step S112a), and external information is obtained (step S112b).
Here, for example, when a scenario corresponding to the weather forecast service is selected, the weather forecast information providing site (information providing server) described in the scenario is accessed, and the weather forecast information corresponding to the position where the robot is located is acquired. To do.
次に、アイテム決定手段（関連アイテム情報決定部１１３）として機能するロボット制御サーバのコンピュータは、取得した外部情報に基づき、関連アイテム情報記憶部１２１を参照して外部情報に対応するアイテムが何であるかを決定する（ステップＳ１１３：アイテム決定ステップ）。
関連アイテム情報記憶部１２１には、予め外部情報とアイテムとが対応づけられて記憶されている。
このため、例えば、外部情報が天気予報情報である場合、天気予報「雨」に関連するアイテムとして「傘」という情報を取得することができる。
Next, the computer of the robot control server that functions as the item determination unit (related item information determination unit 113) refers to the related item
In the related item
Therefore, for example, when the external information is weather forecast information, information “umbrella” can be acquired as an item related to the weather forecast “rain”.
そして、アイテム探索手段（アイテム探索制御部１１４）として機能するロボット制御サーバのコンピュータは、前記アイテムがロボットの周辺にあるかどうかをロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をする（ステップＳ１２０ａ：アイテム探索制御処理ステップ）。 Then, the computer of the robot control server that functions as item search means (item search control unit 114) causes the robot to search whether the item is in the vicinity of the robot, and performs item search control for determining the presence or absence of the item. (Step S120a: Item search control processing step).
より詳細には、ロボット制御サーバのコンピュータは、第１のアイテム探索要求をロボットに対して送信する（ステップＳ１２１：第１のアイテム探索要求送信ステップ）。
ロボットは、第１のアイテム探索要求を受信すると、この第１のアイテム探索要求に基づき画像認識情報を取得する処理を行う（ステップＳ１２２：画像認識情報取得ステップ）。
ロボットは、取得した画像認識情報をロボット制御サーバに通知し、ロボット制御サーバは、これを受信する（ステップＳ１２３：画像認識情報受信ステップ）。
ロボット制御サーバのコンピュータは、受信した画像認識情報と、特徴点パターン情報記憶部１２２の既登録画像認識情報とに基づいて、ロボットの周辺にアイテムがあるかどうかを判定する（ステップＳ１２４：第１のアイテム有無判定ステップ）。
例えば、アイテムが「傘」である場合には、ロボットが所在する周囲環境に実物の「傘」があるかどうかをＣＣＤカメラ及び画像認識部による画像認識情報をもとに探索する。
More specifically, the computer of the robot control server transmits a first item search request to the robot (step S121: first item search request transmission step).
When the robot receives the first item search request, the robot performs a process of acquiring image recognition information based on the first item search request (step S122: image recognition information acquisition step).
The robot notifies the acquired image recognition information to the robot control server, and the robot control server receives this (step S123: image recognition information receiving step).
The computer of the robot control server determines whether there is an item around the robot based on the received image recognition information and the registered image recognition information in the feature point pattern information storage unit 122 (step S124: first). Item presence / absence determination step).
For example, when the item is “umbrella”, it is searched based on the image recognition information obtained by the CCD camera and the image recognition unit whether there is an actual “umbrella” in the surrounding environment where the robot is located.
さらに、ステップＳ１２４の判定の結果、アイテムが無いと判定された場合、タグリーダによる探索を行う。すなわち、画像認識による探索でアイテムが発見されなかったときには、タグリーダによってアイテムの探索を行う。
具体的には、ロボット制御サーバのコンピュータは、第２のアイテム探索要求をロボットに対して送信する（ステップＳ１２５：第２のアイテム探索要求送信ステップ）。
ロボットは、第２のアイテム探索要求を受信すると、この第２のアイテム探索要求に基づきタグ識別情報を取得する処理を行う（ステップＳ１２６：タグ識別情報取得ステップ）。
ロボットは、取得したタグ識別情報をロボット制御サーバに通知し、ロボット制御サーバは、これを受信する（ステップＳ１２７：タグ識別情報受信ステップ）。
ロボット制御サーバのコンピュータは、受信したタグ識別情報と、タグ識別情報記憶部１２３の既登録タグ識別情報とに基づいて、ロボットの周辺にアイテムがあるかどうかを判定する（ステップＳ１２８：第２のアイテム有無判定ステップ）。
例えば、アイテムが「傘」である場合には、ロボットが所在する周囲環境に実物の「傘」があるかどうかをタグリーダによるタグ識別情報をもとに探索する。
Furthermore, when it is determined that there is no item as a result of the determination in step S124, a search by a tag reader is performed. That is, when an item is not found by the search by image recognition, the item is searched by the tag reader.
Specifically, the computer of the robot control server transmits a second item search request to the robot (step S125: second item search request transmission step).
When receiving the second item search request, the robot performs processing for acquiring tag identification information based on the second item search request (step S126: tag identification information acquisition step).
The robot notifies the acquired tag identification information to the robot control server, and the robot control server receives the tag identification information (step S127: tag identification information reception step).
The computer of the robot control server determines whether there is an item around the robot based on the received tag identification information and the registered tag identification information in the tag identification information storage unit 123 (step S128: second). Item existence determination step).
For example, when the item is an “umbrella”, a search is performed based on tag identification information by the tag reader to determine whether or not the actual “umbrella” is in the surrounding environment where the robot is located.
次に、言動決定手段（言動決定部１１５）として機能するロボット制御サーバのコンピュータは、以上のステップＳ１２４及びステップＳ１２８の判定結果に基づいて、言動パターンを動作パターン情報記憶部１２４を参照することによって選択し、言動決定を行う（ステップＳ１３１：言動決定ステップ）。
Next, the computer of the robot control server functioning as the behavior determination unit (speech determination unit 115) refers to the behavior pattern
より詳細には、以上のステップＳ１２４の判定の結果アイテムが有ると判定された場合、又は、以上のステップＳ１２５の判定の結果アイテムが有ると判定された場合、外部情報とアイテムとを含む情報の言動パターン（第１言動パターン）を選択し言動決定を行う。
一方、以上のステップＳ１２４の判定の結果アイテムが無いと判定された場合、又は、以上のステップＳ１２５の判定の結果アイテムが無いと判定された場合、外部情報とアイテムが無い旨の情報とを含む情報の言動パターン（第２言動パターン）を選択し言動決定を行う。
さらに、ステップＳ１１３のアイテム決定の際に、外部情報に対応するアイテムが関連づけられていない場合、外部情報のみの情報の言動パターン（第３言動パターン）を選択し言動決定を行う。
More specifically, when it is determined that there is an item as a result of the determination in the above step S124, or when it is determined that there is an item as a result of the determination in the above step S125, the information including the external information and the item A behavior pattern is selected by selecting a behavior pattern (first behavior pattern).
On the other hand, if it is determined that there is no item as a result of the determination in step S124, or if it is determined that there is no item as a result of the determination in step S125, external information and information indicating that there is no item are included. The behavior pattern of information is selected by selecting the behavior pattern (second behavior pattern).
Furthermore, when the item corresponding to the external information is not associated at the time of item determination in step S113, the behavior determination is performed by selecting the behavior pattern (third behavior pattern) of the information of only the external information.
例えば、第１言動パターンは、判定の結果「傘」があると判定された場合であり、天気予報の雨に傘を関連づけた言動パターン「今日の天気は雨です。傘が＊＊にありますので傘をお持ち下さい。」などが挙げられる。
また、第２言動パターンは、判定の結果「傘」がないと判定された場合であり、「今日の天気は雨です。」「今日の天気は雨です。ここには傘はありません。」などが挙げられる。
さらに、第３の言動パターンは、「今日の天気は晴れです。」などが挙げられる。
For example, the first behavior pattern is the case where it is determined that there is an “umbrella” as a result of the judgment, and the behavior pattern “Today's weather is rain. The umbrella is in **. Please bring an umbrella. "
The second behavior pattern is a case where it is determined that there is no “umbrella” as a result of the determination, such as “Today's weather is rainy” or “Today's weather is rainy. There is no umbrella here”. Is mentioned.
Furthermore, the third behavior pattern includes “Today's weather is sunny”.
このようにして、動作パターン選択部１１５ｂは、動作パターン情報記憶部１２４から動作パターンを選択し、コンテンツ生成部１１５ｃは、動作パターン選択部１０４が選択した動作パターンと、シナリオ選択部１１５ａが選択したシナリオに基づき、コンテンツを生成し、コンテンツ記憶部１２６に記憶する。
In this way, the operation
そして、コンテンツ供給手段（コンテンツ供給部１１６）として機能するロボット制御サーバのコンピュータは、コンテンツ記憶部１２６のコンテンツをロボットに対して送信する処理を行う（ステップＳ１３２：コンテンツ供給ステップ）。
Then, the computer of the robot control server functioning as the content supply means (content supply unit 116) performs a process of transmitting the content stored in the
次に、ロボットは、ロボット制御サーバからのコンテンツを受信すると、言動実行手段（コンテンツ再生部９４）として機能するロボットのＣＰＵは、言動実行を行う（ステップＳ１３３：言動実行ステップ）。
すなわち、コンテンツ再生部９４は、該当するコンテンツ情報を再生し、音声による結果報告（ステップＳ１３３ａ）、動作による結果報告（ステップＳ１３３ｂ）とを行う。
Next, when the robot receives the content from the robot control server, the CPU of the robot that functions as the speech execution means (content reproduction unit 94) executes the speech (step S133: speech execution step).
That is, the content reproduction unit 94 reproduces the corresponding content information, and performs a result report by voice (step S133a) and a result report by operation (step S133b).
ロボット制御サーバは、次のシナリオを選択するか否かを判断し（Ｓ１４０）、次のシナリオを選択する場合（Ｓ１４０のＹＥＳ）、ステップＳ１１１に戻り、新たなシナリオを選択する。一方、ステップＳ１４０において、次のシナリオを選択しない場合（Ｓ１４０のＮＯ）、処理を終了する。 The robot control server determines whether or not to select the next scenario (S140). If the next scenario is selected (YES in S140), the process returns to step S111 to select a new scenario. On the other hand, when the next scenario is not selected in step S140 (NO in S140), the process is terminated.
ここで、以上のステップＳ１２２、ステップＳ１２６からなるステップは、アイテム探索実行処理ステップないしはアイテム探索実行処理機能ということもできる。 Here, the step consisting of the above steps S122 and S126 can also be called an item search execution processing step or an item search execution processing function.
このようにすることで、図７に示すように、利用者ＵＳとロボットＰＯとの対話中に、ロボットＰＯは、外部情報を通信網を介して取得するが、この外部情報に関連するアイテムが周囲環境ＳＰ内にあるかどうかを探索する。
そして、傘立てＢＯ内の傘Ｐ１をＣＣＤカメラを通じて画像認識により認識できる。
或いは、傘Ｐ１しか認識されない場合には、タグリーダによってタグ識別情報を得ることにより、机ＤＥ内の折り畳み傘Ｐ２を認識することができる。
これらを認識した上で、利用者ＵＳに対して「今日の天気は雨です。傘が＊＊にありますので傘をお持ち下さい。」などの言動を行うことができる。
In this way, as shown in FIG. 7, during the dialogue between the user US and the robot PO, the robot PO obtains external information via the communication network. It is searched whether it is in the surrounding environment SP.
The umbrella P1 in the umbrella stand BO can be recognized by image recognition through a CCD camera.
Alternatively, when only the umbrella P1 is recognized, the folding umbrella P2 in the desk DE can be recognized by obtaining tag identification information with a tag reader.
After recognizing these, it is possible to perform actions such as “Today's weather is rainy. Please bring an umbrella because there is an umbrella in **”.
また、アイテム探索実行処理、アイテム探索制御処理の際に、画像認識及びタグ識別情報のいづれか一方又は双方により、利用者が既に傘を持参しているか否かを判定する機能を実行することもできる。この場合、既に傘を含む鞄などを持参しており、出かける直前に玄関などでロボットに対して天気を聞くといった場合が想定され、このような場合、ロボットは、他の種々の言動実行、例えば「今日の午後の天気は雨だけど、既に鞄に折りたたみ傘が入っているので、そちらをご使用下さい。傘立ての傘はあらためて持参する必要はありません」などの言動を行なうこともできる。 In addition, in the item search execution process and the item search control process, it is possible to execute a function of determining whether the user has already brought an umbrella by one or both of image recognition and tag identification information. . In this case, it is assumed that the user has already brought a bag including an umbrella and listens to the robot at the entrance immediately before going out. In such a case, the robot performs various other actions such as "It's raining this afternoon, but there's a folding umbrella already in the bag, so please use it. You don't need to bring an umbrella stand again."
以上のように本実施の形態によれば、外部情報に関連するアイテムがロボットの周辺にある場合に、前記外部情報及びアイテムを含む情報を利用者に告知することができる。
これにより、ロボットが所在する周囲の環境にあるアイテムの存在を確認した上で言動を実行するので、ロボットが所在する周囲の環境に応じて利用者に適切かつ詳細なアドバイスやナビゲーションを行うことができる。利用者の利便性を向上させることができる。
As described above, according to the present embodiment, when an item related to external information is in the vicinity of the robot, the information including the external information and the item can be notified to the user.
This confirms the presence of an item in the surrounding environment where the robot is located, and then executes the action, so appropriate and detailed advice and navigation can be given to the user according to the surrounding environment where the robot is located. it can. User convenience can be improved.
ここで、図４、図５に示すブロック図における一部の各ブロックは、コンピュータにより実行可能なプログラムにより機能化された状態を示すソフトウエアモジュール構成であってもよい。 Here, a part of each block in the block diagrams shown in FIG. 4 and FIG. 5 may have a software module configuration showing a state functionalized by a program executable by a computer.
すなわち、物理的構成は例えば一又は複数のＣＰＵ（或いは一又は複数のＣＰＵと一又は複数のメモリ）等ではあるが、各部（回路・手段）によるソフトウエア構成は、プログラムの制御によってＣＰＵが発揮する複数の機能を、それぞれ複数の部（手段）による構成要素として表現したものである。 That is, the physical configuration is, for example, one or a plurality of CPUs (or one or a plurality of CPUs and one or a plurality of memories), etc., but the software configuration by each unit (circuit / means) is exhibited by the CPU by controlling the program. A plurality of functions are expressed as components by a plurality of units (means).
ＣＰＵがプログラムによって実行されている動的状態（プログラムを構成する各手順を実行している状態）を機能表現した場合、ＣＰＵ内に各部（手段）が構成されることになる。プログラムが実行されていない静的状態にあっては、各手段の構成を実現するプログラム全体（或いは各手段の構成に含まれるプログラム各部）は、メモリなどの記憶領域に記憶されている。 When the CPU dynamically expresses a dynamic state (a state in which each procedure constituting the program is executed) executed by the program, each unit (means) is configured in the CPU. In a static state in which the program is not executed, the entire program (or each program part included in the configuration of each unit) that realizes the configuration of each unit is stored in a storage area such as a memory.
以上に示した各部、モジュール（手段）は、プログラムにより機能化されたコンピュータをプログラムの機能と共に実現し得るように構成しても、また、固有のハードウエアにより恒久的に機能化された複数の電子回路ブロックからなる装置で構成してもよい。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。 Each of the units and modules (means) described above may be configured so that a computer functionalized by a program can be realized together with the functions of the program, or a plurality of functions that are permanently functionalized by specific hardware. You may comprise with the apparatus which consists of an electronic circuit block. Therefore, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
また、各部は、通信可能な専用のコンピュータからなる装置としてそれぞれ構成し、これらの各装置によりシステムを構成してもよい。逆に、各部を単一の装置として構成したシステムであってもよい。 In addition, each unit may be configured as a device including a dedicated computer capable of communication, and the system may be configured by each of these devices. Conversely, a system in which each unit is configured as a single device may be used.
［第２の実施の形態］
次に、本発明にかかる第２の実施の形態について、図１４に基づいて説明する。以下には、前記第１の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図１４は、本発明のロボット制御システムの第２の実施の形態の一例を示すブロック図である。
[Second Embodiment]
Next, a second embodiment according to the present invention will be described with reference to FIG. In the following, description of the substantially similar configuration of the first embodiment will be omitted, and only different parts will be described. FIG. 14 is a block diagram showing an example of the second embodiment of the robot control system of the present invention.
上述の第１の実施の形態では、ロボット制御サーバ側主導で処理を行う構成の一例を示したが、本実施の形態では、ロボット側で主な処理を行う構成の一例を示している。
本実施の形態では、ロボット側に前記第１の実施の形態におけるロボット制御サーバ１１０の機能を備えるようにしている。本実施の形態の場合、ロボット制御サーバの管理側制御手段は、サービス内容に応じた外部情報の取得とロボットへの提供を行う機能のみを備え、アイテム有無判定などをロボット側で行うようにしている。
In the first embodiment described above, an example of a configuration in which processing is performed on the initiative of the robot control server side is shown. However, in the present embodiment, an example of a configuration in which main processing is performed on the robot side is illustrated.
In the present embodiment, the function of the
具体的には、本実施の形態のロボット制御システムにおけるロボット２１０のコントローラ２２は、図１４に示すように、前記第１の実施の形態におけるロボット１０が有する機能に加え、前記第１の実施の形態におけるロボット制御サーバ１１０が有する機能と同様の外部情報取得部２１２、関連アイテム情報決定部２１３、関連アイテム情報記憶部２２１、特徴点パターン情報記憶部２２２、タグ識別情報記憶部２２３を備える。
Specifically, as shown in FIG. 14, the
また、ロボット２１０のコントローラ２２は、前記第１の実施の形態におけるロボット制御サーバ１１０のアイテム探索制御部１１４とロボット１０のアイテム探索実行部９２の双方の機能を備えたアイテム探索部２１４と、その他の各処理部２１８とを備える。
In addition, the
アイテム探索部２１４は、前記第１の実施の形態におけるロボット制御サーバ１１０の第１のアイテム探索制御部１１４ａとロボット１０の第１のアイテム探索実行部９２ａの双方の機能を備えた第１のアイテム探索部２１４ａと、前記第１の実施の形態におけるロボット制御サーバ１１０の第２のアイテム探索制御部１１４ｂとロボット１０の第２のアイテム探索実行部９２ｂの双方の機能を備えた第２のアイテム探索部２１４ｂとを備える。
また、アイテム探索部２１４は、アイテム探索制御手段の一部で一例であるということもできる。
The
In addition, the
第１のアイテム探索部２１４ａは、関連アイテム情報決定部１１３からの指示を受けて作動し、ＣＣＤカメラ５１Ａ、５１Ｂから入力される映像に対して画像認識部２３１により画像処理された画像認識情報（特徴点パターン情報）に基づいて、予め登録された特徴点パターン情報記憶部２２２の既登録特徴点パターン情報との照合により物品を識別しアイテムの判定を行う。
第１のアイテム探索部２１４ａは、予め登録段階では、特徴点パターン記憶部１２２に物品の識別子を特徴点パターン情報とともに記憶することできる。物品の識別子は、ＩＤである場合もあるし、物品名である場合もある。
The first
The first
第１のアイテム探索部２１４ａは、周囲の物品を検知し、関連アイテムに合致する物品の探索を行ない、関連アイテムに合致する物品を見つけた場合には、関連アイテム情報を言動決定部２１５の動作パターン選択部２１５ｂに送出する。発見できない場合、第２のアイテム探索部２１４ｂを作動させる。
When the first
また、検知対象とする物品を予め登録しておいて、入力された画像の中から探す際には、画像自体のマッチングで検出する手法や、特徴を抽出したあとで学習により識別を行う手法など様々な手法を採用できる。
第１のアイテム探索部２１４ａは、ＣＣＤカメラ５１Ａ、５１Ｂの視野中に存在する物品例えば「傘」を検知し、その「傘」を検知すると、関連アイテム情報「傘」を動作パターン選択部２１５ｂへ送出できる。
Also, when pre-registering articles to be detected and searching from the input image, a method of detecting by matching the image itself, a method of identifying by learning after extracting features, etc. Various methods can be adopted.
The first
第２のアイテム探索部２１４ｂは、タグリーダ４４から入力されるタグ識別情報に基づいて、予め登録されたタグ識別情報記憶部２２３の既登録タグ識別情報との照合により物品を識別しアイテムの判定を行う。
また、第２のアイテム探索部２１４ｂは、目的のタグ識別情報を有する識別タグの位置情報を取得可能な位置情報取得機能を備える。
Based on the tag identification information input from the
Further, the second
この際、アイテム探索部２１４は、ロボットから物品までの距離なども推定可能であり、動作パターン情報記憶部２２４で予め用意されている動作パターンに位置情報を書き込むことによって、言動実行部では、ロボットが言動実行をする際にアイテム位置まで案内動作することも可能となる。
位置情報は、第１、第２のアイテム探索部２１４ａ、２１４ｂのいずれによっても求めることができる。或いは必要に応じて双方を組み合わせるようにしてもよい。
At this time, the
The position information can be obtained by any of the first and second
その他の各処理部２１８は、ロボット制御サーバからサービス提供される情報に基づきコントローラ２２の各記憶部を更新する機能、発話トリガー発生機能などが挙げられる。例えば、関連アイテム情報や音声認識辞書、画像認識エンジン、動作パターン（ＬＥＤ点灯表示パターンや頭部動作パターン、発話ファイル）などを適宜、更新、追加、削除などを行うことができる。
The
（動作について）
次に、メモリ２２Ｂの制御プログラムに従って外部情報取得部２１２、関連アイテム情報決定部２１３、アイテム探索部２１４、言動決定部２１５、コンテンツ再生部（言動実行部）２１７として機能するコントローラ２２（ロボット制御装置）のＣＰＵの処理動作を説明する。
(About operation)
Next, the controller 22 (robot control device) that functions as the external
まず、図１５に示すように、利用者の前記ロボットに対する言動要求の一例である音声指示入力（ステップＳ２１０）によりロボットが音声認識を行い音声認識結果が言動実行部に伝達されると、シナリオ選択部２１５ａは、シナリオ情報記憶部２２５からサービス内容に応じたシナリオを読み込む（Ｓ２１１：シナリオ選択ステップ）。
どのシナリオを読み込むかは、設定またはユーザの指示に基づき決定される。
First, as shown in FIG. 15, when the robot recognizes a voice in response to a voice instruction input (step S210), which is an example of a behavior request to the robot, a scenario is selected. The
Which scenario is read is determined based on settings or user instructions.
続いて、取得手段（外部情報取得部２１２）として機能するロボットのコントローラが、外部情報を取得する（Ｓ２１２〜Ｓ２１６：外部情報取得ステップ）。
この際、ロボット制御サーバに対して情報取得要求を送信し（ステップＳ２１２）、続いてロボット制御サーバが情報提供サーバに対して情報検索を行い（ステップＳ２１３）、ロボット制御サーバが外部情報を得る（ステップＳ２１４）と、ロボット制御サーバからロボットに外部情報が通知され（ステップＳ２１５）、ロボットが外部情報を取得できる（ステップＳ２１６）。
Subsequently, the controller of the robot that functions as an acquisition unit (external information acquisition unit 212) acquires external information (S212 to S216: external information acquisition step).
At this time, an information acquisition request is transmitted to the robot control server (step S212), then the robot control server searches the information providing server for information (step S213), and the robot control server obtains external information (step S213). In step S214), the robot control server notifies the robot of external information (step S215), and the robot can acquire the external information (step S216).
その後のステップＳ２１７からステップＳ２１１までは、前記第１の実施の形態と同様の処理をロボット側が行うこととなる。
この際、アイテム探索部は、ロボットから物品までの距離なども推定可能で動作パターン情報記憶部予め用意されている動作パターンに位置情報を書き込むことによって、ロボットが言動実行をする際にアイテム位置まで案内動作する（ステップＳ２３２）も可能となる。
In subsequent steps S217 to S211, the robot side performs the same processing as in the first embodiment.
At this time, the item search unit can estimate the distance from the robot to the article, etc., and the operation pattern information storage unit writes the position information to the operation pattern prepared in advance, so that the item position is A guidance operation (step S232) is also possible.
このように本実施の形態では、前記第１の実施の形態と同様の作用効果を奏しながらも、アイテム位置までロボットが案内するので、利用者に対してさらに詳細なアドバイス、ナビゲーションを行うことができる。 As described above, in this embodiment, the robot guides to the item position while providing the same operational effects as the first embodiment, so that more detailed advice and navigation can be performed for the user. it can.
その他の構成およびその他のステップないしは機能並びにその作用効果については、前述した実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素並びにそれらによる各機能をプログラム化（ソフトウエアプログラム）し、コンピュータに実行させてもよい。 Other configurations, other steps or functions, and the effects thereof are the same as those in the above-described embodiment. In the above description, the operation content of each step described above, the constituent elements of each unit, and the functions thereof may be programmed (software program) and executed by a computer.
さらに、以上説明した方法は、コンピュータがプログラムを記録媒体から読み込んで実行することによっても実現することが出来る。すなわち、上述のプログラムを、情報記録媒体に記録した構成であってもよい。 Furthermore, the method described above can also be realized by a computer reading a program from a recording medium and executing it. That is, the structure which recorded the above-mentioned program on the information recording medium may be sufficient.
[その他の各種変形例]
また、本発明にかかる装置及び方法は、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
[Other variations]
Also, although the apparatus and method according to the present invention have been described according to some specific embodiments thereof, the embodiments described in the text of the present invention can be used without departing from the spirit and scope of the present invention. Various modifications are possible.
また、ロボット制御サーバからの制御項目例としては、ロボットの遠隔操作を行う処理の他、利用者の名前などの登録処理、利用者の国籍によりロボットが発話する言語を選択する処理、アンケート機能・目覚まし機能・タイムキーパ機能など利用者の利用する機能内容の登録処理、最新ニュース情報提供サービス登録処理、天気予報提供サービス登録処理、イベント情報提供サービス登録処理、ロボットに新たにコンテンツを追加する処理、ロボットを遠隔監視によりロボットの状態管理を行う処理機能、ロボットの言動を遠隔操作で補助する処理などが挙げられる。 Examples of control items from the robot control server include remote processing of the robot, registration processing of the user's name, etc., processing of selecting the language spoken by the robot according to the user's nationality, questionnaire function / Registration of function contents used by users such as alarm function and time keeper function, latest news information provision service registration process, weather forecast provision service registration process, event information provision service registration process, process for newly adding content to a robot, robot A processing function for managing the state of the robot by remote monitoring, a processing for assisting the robot's behavior by remote operation, and the like.
さらに、ロボット制御サーバは、コンテンツ更新機能、ユーザ履歴蓄積機能、遠隔操作コックピット機能、半自動機能、使用開始アラーム機能、映像をログとする使用履歴記録機能、異常検出アラーム機能、ユーザの質問に対する回答機能などを備えてよい。 Furthermore, the robot control server has a content update function, a user history storage function, a remote operation cockpit function, a semi-automatic function, a use start alarm function, a use history recording function using a video as a log, an abnormality detection alarm function, and a function for answering user questions. Etc. may be provided.
これらの機能を用いてロボット制御システムによる情報提供サービスの例としては、例えば、認知症の脳トレとして活用できる脳トレロボとしての機能、サーモグラフによる昼夜問わずに監視可能な監視ロボとしての機能、語学練習用として活用できる語学練習ロボとしての機能、音声応答機能・遠隔操作機能・遠隔設定機能によるタイムキーパーロボとしての機能などが挙げられる。 Examples of information providing services by robot control systems using these functions include, for example, a function as a brain trerobo that can be used as a brain training for dementia, a function as a monitoring robot that can be monitored day and night by a thermograph, Functions as a language practice robot that can be used for language practice, functions as a time keeper robot with voice response function, remote operation function, and remote setting function.
また、他の情報提供サービスの例としては、アンケート機能（オペレータ・フィードバック、リアルタイム、アフター）、コメント（ライブメッセージ収集）昨日、ユーザ属性記録機能（年齢、性別）、準備しておいたコンテンツを順次展開する機能（特定時刻に言動を実行する）、ユーザの履歴（内容・頻度）に応じた対話・情報提供機能、複数クライアントの使用場所の履歴を活用した観光案内機能、メンタル状況などの健康管理機能、ユーザ履歴（内容・頻度）に応じた対話・情報提供、ユーザ間、家族間のメッセージの取次ぎ、人・店の呼び出し、取次ぎ機能、予約システムとしての機能、店舗商品案内機能などが挙げられる。 Other examples of information services include questionnaire function (operator feedback, real-time, after-sales), comment (live message collection) yesterday, user attribute recording function (age, gender), and prepared content in sequence. Functions to be deployed (execution at specific times), dialogue / information provision function according to user's history (content / frequency), tourist information function utilizing the history of multiple client locations, health management such as mental status Functions, dialogue / information provision according to user history (content / frequency), intermediary of messages between users and family members, calling of people / stores, intermediary functions, functions as a reservation system, store product guidance functions, etc. .
このような機能を利用することによって、例えば、利用者が「今日のニュースは？」と話しかけると、ロボットは「今日は、＊＊が発生したよ」という発話とともに当該発話に対応する動作（頭部の２方向の動作及び各ＬＥＤの表示パターン）を実行することができる。
また、利用者が「今日は何があるの？」と話しかけると、ロボットは「午後に広場で、＊＊がある」という発話とともに当該発話に対応する動作（頭部の２方向の動作及び各ＬＥＤの表示パターン）を実行することができる。
さらに、利用者が「明日＊＊時に起こしてね」と話しかけると、ロボットは所定の時刻に「＊＊時だよ＊＊さん、起きて」という発話とともに当該発話に対応する動作（頭部の２方向の動作及び各ＬＥＤの表示パターン）を実行することができる。
また、ロボット制御システムが他の例えば病院情報システムや電子カルテシステムなどと通信網を介して通信接続することにより、患者ＩＤなどを用いて、ロボットが利用者との対話の最中に、所定の時刻になると服用すべき薬のリストを実際にその場所に前記薬があるかどうかをチェックしつつロボットの愛くるしい表現動作（頭部の２方向の動作及び各ＬＥＤの表示パターン）とともに告知したりすることもでき、利用者（例えば患者など）をなごませることもできる。
By using such a function, for example, when a user speaks “What is today's news?”, The robot responds to the utterance along with the utterance “Today, ** has occurred”. Operation in two directions and display pattern of each LED).
In addition, when the user talks, “What is there today?”, The robot responds to the utterance with the utterance “There is a ** in the square in the afternoon” LED display pattern) can be executed.
Furthermore, when the user speaks “Wake me up to ** tomorrow”, the robot will respond to the utterance with the utterance “Mr. The operation in two directions and the display pattern of each LED) can be executed.
In addition, the robot control system communicates with other, for example, hospital information systems, electronic medical record systems, and the like via a communication network, so that the robot uses a patient ID and the like during a dialog with the user. When the time comes, a list of medicines to be taken is announced along with the robot's lovely expression (two head movements and LED display patterns) while checking whether the medicine is actually there. You can also frustrate users (for example, patients).
例えば、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。すなわち、上記実施の形態では、外部情報に関連するアイテム（物品）を１つ探索する場合を示したが、本発明は、これらの個数を制限するものではない。例えば、２以上の種類のアイテムを探索する場合であってもよい。 For example, the number, position, shape, and the like of the constituent members are not limited to the above-described embodiment, and can be set to a suitable number, position, shape, and the like in practicing the present invention. That is, although the case where one item (article) related to external information is searched for has been described in the above embodiment, the present invention does not limit the number of these items. For example, it may be a case where two or more types of items are searched.
また、アイテム探索を行う際には、ＣＣＤカメラ（画像取得部）からの画像情報を画像認識部により画像認識を行い、この画像認識情報と既登録画像認識情報に基づきアイテム探索を行う第１のアイテム探索と、タグリーダ（タグ識別情報取得部）からのタグ識別情報と既登録タグ識別情報とに基づきアイテム探索を行う第２のアイテム探索を行う構成としたが、他の手法によるアイテム探索を組み合わせてもよい。 Further, when performing an item search, the image information from the CCD camera (image acquisition unit) is recognized by the image recognition unit, and the item search is performed based on the image recognition information and the registered image recognition information. The item search is configured to perform the second item search that performs the item search based on the tag identification information from the tag reader (tag identification information acquisition unit) and the registered tag identification information. May be.
また、ロボット装置は、アーム部およびそれを駆動するアクチュエータを含む構成とすることもでき、コントローラによりアーム部を駆動するアクチュエータを制御して、ロボットに指切りや握手等をさせることもできる。これにより、例えば探索したアイテムを実際に探し出して、利用者の手元に手渡すなども可能となる。 Further, the robot apparatus may include an arm unit and an actuator that drives the arm unit, and the actuator that drives the arm unit may be controlled by a controller to cause the robot to perform finger-cutting, shaking hands, and the like. As a result, for example, the searched item can be actually found and handed to the user.
以上で説明したロボット制御システムの各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた図の構成要素を実現するプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。 Each component of the robot control system described above includes an arbitrary computer CPU, memory, a program for realizing the components shown in the diagram loaded in the memory, a storage unit such as a hard disk for storing the program, and a network connection interface. It is realized by any combination of hardware and software. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
また、ロボット制御システムに用いられるロボットは、自律移動可能なロボット装置とすることもできる。ロボット制御システムは、ロボット装置内に組み込まれてもよく、ロボット装置外部に設けられ、外部からロボット装置を制御するようにすることもできる。
また、ロボット制御システムの一部のみがロボット装置内に組み込まれた構成とすることもできる。ロボット制御システムがロボット装置外部に設けられた場合、無線通信等の種々のネットワークを介して、ロボット装置に制御信号が送信される。また、ロボット制御システムの一部のみがロボット装置内に組み込まれ、残りがロボット装置外部に設けられた場合、それらの間のデータの授受も、無線通信等の種々のネットワークを介して行うことができる。
たとえば、本実施の形態において、外部情報取得部、関連アイテム決定部のみロボット装置外部に設け、それ以外の構成をロボット装置内に組み込んだ構成とすることができる。
Further, the robot used in the robot control system may be a robot device that can move autonomously. The robot control system may be incorporated in the robot apparatus, provided outside the robot apparatus, and controlled from the outside.
Further, only a part of the robot control system may be incorporated in the robot apparatus. When the robot control system is provided outside the robot apparatus, a control signal is transmitted to the robot apparatus via various networks such as wireless communication. In addition, when only a part of the robot control system is incorporated in the robot apparatus and the rest is provided outside the robot apparatus, data can be exchanged between them via various networks such as wireless communication. it can.
For example, in the present embodiment, only the external information acquisition unit and the related item determination unit may be provided outside the robot apparatus, and other configurations may be incorporated in the robot apparatus.
このように、前記実施の形態における「システム」とは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない。このため、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 As described above, the “system” in the above-described embodiment refers to a logical collection of a plurality of devices, and it does not matter whether the devices of each configuration are in the same housing. For this reason, this invention may be applied to the system comprised from a some apparatus, and may be applied to the apparatus which consists of one apparatus.
さらに、ロボットと遠隔管理装置との間の通信構造は、クライアントサーバーシステムに限らず、サーバを介さずに端末同士がネットワークを組み、相互にデータを送受信するピアツーピア（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）通信によるシステムであってもよい。また、通信構造に際し、いずれか一方又は双方に形成されるインタフェースの種類は、例えばパラレルインタフェース、ＵＳＢインタフェース、ＩＥＥＥ１３９４、ＬＡＮやＷＡＮ等のネットワークやその他これに類するもの、もしくは今後開発される如何なるインタフェースであっても構わない。 Furthermore, the communication structure between the robot and the remote management device is not limited to a client server system, but is a system based on peer-to-peer (Peer To Peer) communication in which terminals form a network without passing through a server and transmit / receive data to / from each other. There may be. In addition, in the communication structure, the type of interface formed on one or both of them is, for example, a parallel interface, USB interface, IEEE 1394, LAN, WAN, or the like, or the like, or any interface developed in the future. It does not matter.
さらに、遠隔管理装置は、例えば各種サーバーに限らず、パーソナルコンピュータ、ＥＷＳ（エンジニアリングワークステーション）、中型コンピュータ、メインフレーム、携帯型情報端末、ＰＤＡ、携帯電話機、ウエアラブル情報端末、各種情報通信機能を搭載した家電機器、ネットワーク機能を有するゲーム機器等であってもよい。 Furthermore, the remote management device is not limited to various servers, for example, and is equipped with a personal computer, EWS (engineering workstation), medium-sized computer, mainframe, portable information terminal, PDA, mobile phone, wearable information terminal, various information communication functions It may be a home appliance, a game device having a network function, or the like.
さらに、「通信」では、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。 Further, in “communication”, wireless communication and wired communication as well as communication in which wireless communication and wired communication are mixed, that is, wireless communication is performed in a certain section and wired communication is performed in another section. There may be. Further, communication from one device to another device may be performed by wired communication, and communication from another device to one device may be performed by wireless communication.
そして、この通信には通信網が含まれる。通信網を構成するネットワークとしては、例えば携帯電話回線網（基地局及び交換システムを含む）、公衆電話回線網、ＩＰ電話網、ＩＳＤＮ回線網などこれに類する各種回線網、インターネット（乃ち、ＴＣＰ・ＩＰプロトコルを用いた通信態様）やイントラネット、ＬＡＮ＜イーサネット（登録商標）、やギガビットイーサネット（登録商標）などを含む＞、ＷＡＮ、光ファイバー通信網、電力線通信網、ブロードバンド対応可能な各種専用回線網などいずれのハードウエア構成でもよい。さらに、ネットワークは、ＴＣＰ・ＩＰプロトコルの他、種々の通信プロトコルを用いたネットワークあるいはソフトウエア的に構築された仮想ネットワークやこれに類するあらゆるネットワークを含むネットワークなどいかなる通信プロトコルであってもよい。また、ネットワークは、有線に限らず、無線（衛星通信、各種高周波通信手段等を含む）ネットワーク（例えば、簡易電話システムや携帯電話のようなシングルキャリア通信システム、Ｗ―ＣＤＭＡやＩＥＥＥ８０２．１１ｂに準拠した無線ＬＡＮのようなスペクトラム拡散通信システム、ＩＥＥＥ８０２．１１ａやＨｉｐｅｒＬＡＮ／２のようなマルチキャリア通信システム、などを含むネットワーク）であっても構わず、これらの組み合わせを利用してもよく、他のネットワークと接続されたシステムであってもよい。さらに、ネットワークは、ポイントツーポイント、ポイントツーマルチポイント、マルチポイントツーマルチポイントなど如何なる形態でもよい。 This communication includes a communication network. As a network constituting the communication network, for example, a cellular phone network (including a base station and an exchange system), a public phone network, an IP phone network, an ISDN network such as various network networks, the Internet (Nochi, TCP. Communication mode using IP protocol), Intranet, LAN (including Ethernet (registered trademark), Gigabit Ethernet (registered trademark), etc.), WAN, optical fiber communication network, power line communication network, various dedicated line networks compatible with broadband, etc. Any hardware configuration may be used. In addition to the TCP / IP protocol, the network may be any communication protocol such as a network using various communication protocols, a virtual network constructed in software, or a network including any network similar thereto. Further, the network is not limited to a wired network, but includes a wireless (including satellite communication, various high-frequency communication means, etc.) network (for example, a single carrier communication system such as a simple telephone system or a mobile phone, W-CDMA or IEEE 802.11b). Network including a spread spectrum communication system such as a wireless LAN, a multi-carrier communication system such as IEEE802.11a and HiperLAN / 2, etc., or a combination of these may be used. It may be a system connected to a network. Further, the network may take any form such as point-to-point, point-to-multipoint, multipoint-to-multipoint.
また、発明の範囲は図示例に限定されず、上記以外の様々な構成を採用することもできる。さらに、上記各実施の形態には種々の段階が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。つまり、上述の各実施の形態同士、あるいはそれらのいずれかと各変形例のいずれかとの組み合わせによる例をも含む。 Further, the scope of the invention is not limited to the illustrated example, and various configurations other than the above can be adopted. Further, the above embodiments include various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. That is, examples include combinations of the above-described embodiments, or any of them and any of the modifications.
本発明は、種々のロボット制御全般に利用できる。 The present invention can be used for various types of robot control in general.
１ ロボット制御システム
１０、２１０ ロボット
２０ 胴体部
２２ コントローラ
２２Ａ ＣＰＵ
２２Ｂ メモリ
３１ バッテリ
３２ スピーカ（音声出力部）
３３ マイク群（環境認識マイク）
３４Ａ、３４Ｂ アクチュエータ
４２ 通信Ｉ／Ｆ
４３ 各種端子
４４ タグリーダ（タグ識別情報取得部）
４５ 胸ＬＥＤ群（感情パターン表示部）
４６ 各種ＬＥＤ群
４７ 各種センサ群
５０ 頭部
５１Ａ、５１Ｂ ＣＣＤカメラ（画像情報取得部）
５２Ａ、５２Ｂ アクチュエータ
５３ マイク（音声入力部）
５４ タッチセンサ
５５ サーモグラフィ
５６ 耳ＬＥＤ群
５７ 顔ＬＥＤ群
５８ 目ＬＥＤ群
９２ アイテム探索実行部（アイテム探索実行手段）
９２ａ 第１のアイテム探索実行部
９２ｂ 第２のアイテム探索実行部
１１０ ロボット制御サーバ（遠隔管理装置）
１１２、２１２ 外部情報取得部（取得手段）
１１３、２１３ 関連アイテム情報決定部（アイテム決定手段）
１１４ アイテム探索制御部（アイテム探索制御手段）
１１４ａ 第１のアイテム探索制御部
１１４ｂ 第２のアイテム探索制御部
１１５、２１５ 言動決定部（言動決定手段）
１１５ａ、２１５ａ シナリオ選択部
１１５ｂ、２１５ｂ 動作パターン選択部
１１５ｃ、２１５ｃ コンテンツ生成部
１１６ コンテンツ供給部（コンテンツ供給手段）
１２１、２２１ 関連アイテム情報記憶部
１２２、２２２ 特徴点パターン情報記憶部
１２３、２２３ タグ識別情報記憶部
１２４、２２４ 動作パターン情報記憶部
１２５、２２５ シナリオ情報記憶部
１２６、２２６ コンテンツ記憶部
１３０ 情報提供サーバ
２１４ アイテム探索部（アイテム探索制御手段）
２１４ａ 第１のアイテム探索部
２１４ｂ 第２のアイテム探索部
２１７ コンテンツ再生部（言動実行制御手段）
２１７ａ 音声合成部
２１７ｂ メカ制御部
２１７ｃ ＬＥＤ制御部
２２７ 音声認識辞書記憶部
２３１ 画像認識部
２３２ 音声認識部
２３３ 接触認識部
２３４ 発話トリガー発生部
ＮW 通信網
1 Robot control system
10, 210
33 Microphone group (environment recognition microphone)
34A,
43
45 Chest LED group (Emotion pattern display)
46 Various LED groups 47
52A,
54
92a First item search execution unit 92b Second item search execution unit
110 Robot control server (remote management device)
112, 212 External information acquisition unit (acquisition means)
113, 213 related item information determination part (item determination means)
114 Item Search Control Unit (Item Search Control Unit)
114a 1st item search control part 114b 2nd item search control part 115,215 behavior determination part (speech determination means)
115a, 215a
121, 221 Related item
130 Information provision server
214 Item Search Unit (Item Search Control Unit)
214a First
217a
NW communication network
Claims (14)
前記遠隔管理装置は、
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
前記外部情報に関連するアイテムを決定するアイテム決定手段と、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させるための制御をし、前記アイテムの有無を判定するアイテム探索制御手段と、
前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、
前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、
を備え、
前記ロボットは、
前記アイテム探索制御手段からのアイテム探索要求に応じて前記アイテムの探索を実行するアイテム探索実行手段と、
前記コンテンツ供給手段からの前記コンテンツを受信し、前記コンテンツに含まれる前記言動条件を実行する言動実行制御手段と、
を備えたことを特徴とするロボット制御システム。 A robot capable of interacting with at least a user, and a remote management device that is connected to the robot via a communication network and controls the robot,
The remote management device is:
An acquisition means for acquiring external information through the communication network in which an information providing space is constructed based on a request for speech from the user to the robot or a service start request generated at a predetermined time;
Item determining means for determining an item related to the external information;
Control for causing the robot to search whether the item is in the vicinity of the robot, and item search control means for determining the presence or absence of the item;
When the item search control means determines that the item is present, the behavior condition of the robot is determined so as to notify the user of the external information and the information including the item, and the behavior condition is set as the content. The behavior determination means to generate as
Content supply means for supplying the content to the robot;
With
The robot is
Item search execution means for executing a search for the item in response to an item search request from the item search control means;
Behavior execution control means for receiving the content from the content supply means and executing the behavior conditions included in the content;
A robot control system comprising:
前記アイテム探索制御手段は、前記アイテムの有無を画像認識情報により探索することを特徴とするロボット制御システム。 The robot control system according to claim 1,
The item search control means searches for presence / absence of the item based on image recognition information.
前記アイテム探索制御手段は、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することを特徴とするロボット制御システム。 The robot control system according to claim 2, wherein
The item search control means searches for the presence / absence of the item in advance using tag identification information from a wireless electronic tag provided in the item when it is determined by the image recognition information that the item is not present. Robot control system.
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
前記外部情報に関連するアイテムを決定するアイテム決定手段と、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御手段と、
前記アイテム探索制御手段にて前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定手段と、
前記コンテンツを前記ロボットに供給するコンテンツ供給手段と、
を備えたことを特徴とする遠隔管理装置。 A remote management device capable of communicating with at least a robot capable of interacting with a user via a communication network and remotely controlling the robot and providing information to the robot;
An acquisition means for acquiring external information through the communication network in which an information providing space is constructed based on a request for speech from the user to the robot or a service start request generated at a predetermined time;
Item determining means for determining an item related to the external information;
Item search control means for causing the robot to search whether the item is in the vicinity of the robot and determining the presence or absence of the item;
When the item search control means determines that the item is present, the behavior condition of the robot is determined so as to notify the user of the external information and the information including the item, and the behavior condition is set as the content. The behavior determination means to generate as
Content supply means for supplying the content to the robot;
A remote management device characterized by comprising:
前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索するアイテム探索実行手段と、
前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する言動実行制御手段と、
を備えたことを特徴とするロボット。 A robot that can communicate with a remote management device capable of providing information via a communication network and can communicate with at least a user,
Item search execution means for searching whether an item related to external information acquired by the remote management device is in the vicinity of the robot;
When the item is present, behavior execution control means for executing behavior conditions of the robot so as to notify the user of the external information and information including the item;
A robot characterized by comprising
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得手段と、
前記外部情報に関連するアイテムを決定するアイテム決定手段と、
前記言動条件を決定する言動決定手段と、
をさらに備えたことを特徴とするロボット。 The robot according to claim 5,
An acquisition means for acquiring external information through the communication network in which an information providing space is constructed based on a request for speech from the user to the robot or a service start request generated at a predetermined time;
Item determining means for determining an item related to the external information;
Behavior determining means for determining the behavior conditions;
A robot characterized by further comprising:
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得し、
前記外部情報に関連するアイテムを決定し、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御をし、
前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する、
ことを特徴とする遠隔管理方法。 A remote control method for remotely managing a robot, comprising: a robot capable of interacting with at least a user; and a remote management device that is connected to the robot via a communication network and controls the robot. Because
Based on the user's behavior request for the robot or a service start request generated at a predetermined time, external information is acquired through the communication network in which an information providing space is constructed,
Determining an item related to the external information;
Whether the item is in the vicinity of the robot, the robot searches, and item search control for determining the presence or absence of the item,
When it is determined that the item is present, the behavior condition of the robot is determined so as to notify the user of the information including the external information and the item, and the behavior condition is generated as content.
A remote management method characterized by that.
前記アイテム探索制御に際しては、前記アイテムの有無を画像認識情報により探索することを特徴とする遠隔管理方法。 The remote management method according to claim 7,
In the item search control, a remote management method, wherein the presence or absence of the item is searched by image recognition information.
前記アイテム探索制御に際しては、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索することを特徴とする遠隔管理方法。 The remote management method according to claim 8, wherein
In the item search control, when it is determined by the image recognition information that the item is not present, the presence or absence of the item is searched in advance using tag identification information from a wireless electronic tag provided in the item. Remote management method.
前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索し、
前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する、
ことを特徴とするロボット制御方法。 A robot control system comprising at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot, wherein the robot control method controls the robot. There,
Search whether there is an item related to the external information acquired by the remote management device around the robot,
When the item is present, the behavior condition of the robot is executed so as to notify the user of the external information and information including the item.
A robot control method characterized by the above.
前記利用者の前記ロボットに対する言動要求又は所定の時刻に生成されるサービス開始要求に基づいて、情報提供空間が構築された前記通信網を通じて外部情報を取得する取得機能と、
前記外部情報に関連するアイテムを決定するアイテム決定機能と、
前記アイテムが前記ロボットの周辺にあるかどうかを前記ロボットに探索させ、前記アイテムの有無を判定するアイテム探索制御機能と、
前記アイテムがあると判定された場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を決定しこの言動条件をコンテンツとして生成する言動決定機能と、
を前記コンピュータに実現させることを特徴とする遠隔管理プログラム。 A robot control system comprising at least a robot capable of interacting with a user, and a remote management device that is connected to the robot via a communication network and controls the robot, the computer comprising the remote management device A remote management program capable of realizing various functions,
An acquisition function for acquiring external information through the communication network in which an information providing space is constructed based on a request for speech from the user to the robot or a service start request generated at a predetermined time;
An item determination function for determining an item related to the external information;
An item search control function for causing the robot to search whether the item is in the vicinity of the robot and determining the presence or absence of the item;
A behavior determination function for determining the behavior condition of the robot so as to notify the user of the information including the external information and the item when it is determined that the item is present; ,
A remote management program for causing the computer to realize the above.
前記アイテム探索制御機能では、前記アイテムの有無を画像認識情報により探索する機能をその内容とし、これを前記コンピュータに実現させることを特徴とする遠隔管理プログラム。 The remote management program according to claim 11, wherein
The item search control function includes a function for searching for presence / absence of the item based on image recognition information, and causing the computer to realize this function.
前記アイテム探索制御機能では、前記画像認識情報により前記アイテムが無いと判定された場合に、前記アイテムの有無を予め前記アイテムに備えた無線電子タグからのタグ識別情報により探索する機能をその内容とし、これを前記コンピュータに実現させることを特徴とする遠隔管理プログラム。 The remote management program according to claim 12, wherein
In the item search control function, when it is determined by the image recognition information that the item does not exist, the content is a function of searching for the presence / absence of the item by tag identification information from a wireless electronic tag provided in the item in advance. A remote management program for causing the computer to realize this.
前記遠隔管理装置にて取得された外部情報に関連するアイテムが前記ロボットの周辺にあるかどうかを探索するアイテム探索実行機能と、
前記アイテムがある場合、前記利用者に対して前記外部情報及び前記アイテムを含む情報を告知するように前記ロボットの言動条件を実行する言動実行制御機能と、
を前記コンピュータに実現させることを特徴とするロボット制御プログラム。
A robot control system comprising at least a robot capable of interacting with a user and a remote management device that is connected to the robot via a communication network and controls the robot. Is a robot control program that can realize
An item search execution function for searching whether an item related to external information acquired by the remote management device is in the vicinity of the robot;
When there is the item, a behavior execution control function for executing the behavior condition of the robot so as to notify the user of the information including the external information and the item;
Is realized by the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008229890A JP5040865B2 (en) | 2008-09-08 | 2008-09-08 | Robot control system, remote management device, remote management method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008229890A JP5040865B2 (en) | 2008-09-08 | 2008-09-08 | Robot control system, remote management device, remote management method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010064154A true JP2010064154A (en) | 2010-03-25 |
| JP5040865B2 JP5040865B2 (en) | 2012-10-03 |
Family
ID=42190195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008229890A Active JP5040865B2 (en) | 2008-09-08 | 2008-09-08 | Robot control system, remote management device, remote management method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5040865B2 (en) |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011149902A2 (en) * | 2010-05-24 | 2011-12-01 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
| US8401275B2 (en) | 2004-07-13 | 2013-03-19 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US8515577B2 (en) | 2002-07-25 | 2013-08-20 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
| US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| JP2014075045A (en) * | 2012-10-04 | 2014-04-24 | Sharp Corp | Controller, method for controlling controller, device to be controlled, server, control program, and recording medium |
| JP2014104513A (en) * | 2012-11-22 | 2014-06-09 | Honda Motor Co Ltd | Robot |
| US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
| US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
| US8861750B2 (en) | 2008-04-17 | 2014-10-14 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
| US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
| US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| JP2015013351A (en) * | 2013-07-08 | 2015-01-22 | 有限会社アイドリーマ | Program for controlling robot |
| JP2015036172A (en) * | 2013-08-13 | 2015-02-23 | 三菱重工業株式会社 | Industrial robot |
| US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
| US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US9174342B2 (en) | 2012-05-22 | 2015-11-03 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| USRE45870E1 (en) | 2002-07-25 | 2016-01-26 | Intouch Technologies, Inc. | Apparatus and method for patient rounding with a remote controlled robot |
| JP2016018409A (en) * | 2014-07-09 | 2016-02-01 | シャープ株式会社 | Vehicle travel control device, vehicle travel control system, and vehicle travel control method |
| US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
| US9296107B2 (en) | 2003-12-09 | 2016-03-29 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US9469030B2 (en) | 2011-01-28 | 2016-10-18 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| WO2016203965A1 (en) * | 2015-06-17 | 2016-12-22 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | Emotion control system, system, and program |
| WO2017095570A1 (en) * | 2015-12-03 | 2017-06-08 | Intel Corporation | Machine object determination based on human interaction |
| US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
| JP2018030223A (en) * | 2016-08-26 | 2018-03-01 | 株式会社メニコン | Robot for searching lost objects |
| US9974612B2 (en) | 2011-05-19 | 2018-05-22 | Intouch Technologies, Inc. | Enhanced diagnostics for a telepresence robot |
| WO2018174289A1 (en) * | 2017-03-24 | 2018-09-27 | 株式会社 ゼンショーホールディングス | Conversation control system, and robot control system |
| JP2019098462A (en) * | 2017-12-01 | 2019-06-24 | 株式会社日立ビルシステム | Guide robot system |
| WO2019123744A1 (en) * | 2017-12-22 | 2019-06-27 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2019123055A (en) * | 2018-01-18 | 2019-07-25 | 株式会社ユピテル | apparatus |
| US10471588B2 (en) | 2008-04-14 | 2019-11-12 | Intouch Technologies, Inc. | Robotic based health care system |
| US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
| US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
| US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| JP2021018741A (en) * | 2019-07-23 | 2021-02-15 | 株式会社コンシェルジュ | Interactive input support system and program |
| US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
| US11205510B2 (en) | 2012-04-11 | 2021-12-21 | Teladoc Health, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US11389064B2 (en) | 2018-04-27 | 2022-07-19 | Teladoc Health, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
| US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
| US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
| US11742094B2 (en) | 2017-07-25 | 2023-08-29 | Teladoc Health, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
| US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345435A (en) * | 2002-05-24 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | Robot and robot system |
| JP2006079217A (en) * | 2004-09-07 | 2006-03-23 | Nec Corp | Ic tag management device, robot including the same and ic tag management method |
| JP3925140B2 (en) * | 2001-10-09 | 2007-06-06 | ソニー株式会社 | Information providing method, information providing apparatus, and computer program |
-
2008
- 2008-09-08 JP JP2008229890A patent/JP5040865B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3925140B2 (en) * | 2001-10-09 | 2007-06-06 | ソニー株式会社 | Information providing method, information providing apparatus, and computer program |
| JP2003345435A (en) * | 2002-05-24 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | Robot and robot system |
| JP2006079217A (en) * | 2004-09-07 | 2006-03-23 | Nec Corp | Ic tag management device, robot including the same and ic tag management method |
Cited By (104)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10315312B2 (en) | 2002-07-25 | 2019-06-11 | Intouch Technologies, Inc. | Medical tele-robotic system with a master remote station with an arbitrator |
| USRE45870E1 (en) | 2002-07-25 | 2016-01-26 | Intouch Technologies, Inc. | Apparatus and method for patient rounding with a remote controlled robot |
| US9849593B2 (en) | 2002-07-25 | 2017-12-26 | Intouch Technologies, Inc. | Medical tele-robotic system with a master remote station with an arbitrator |
| US8515577B2 (en) | 2002-07-25 | 2013-08-20 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
| US9296107B2 (en) | 2003-12-09 | 2016-03-29 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US10882190B2 (en) | 2003-12-09 | 2021-01-05 | Teladoc Health, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US9375843B2 (en) | 2003-12-09 | 2016-06-28 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US9956690B2 (en) | 2003-12-09 | 2018-05-01 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US8983174B2 (en) | 2004-07-13 | 2015-03-17 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US9766624B2 (en) | 2004-07-13 | 2017-09-19 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US8401275B2 (en) | 2004-07-13 | 2013-03-19 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US10241507B2 (en) | 2004-07-13 | 2019-03-26 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| US10259119B2 (en) | 2005-09-30 | 2019-04-16 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
| US10682763B2 (en) | 2007-05-09 | 2020-06-16 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| US11787060B2 (en) | 2008-03-20 | 2023-10-17 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| US10471588B2 (en) | 2008-04-14 | 2019-11-12 | Intouch Technologies, Inc. | Robotic based health care system |
| US11472021B2 (en) | 2008-04-14 | 2022-10-18 | Teladoc Health, Inc. | Robotic based health care system |
| US8861750B2 (en) | 2008-04-17 | 2014-10-14 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
| US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US10493631B2 (en) | 2008-07-10 | 2019-12-03 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US10878960B2 (en) | 2008-07-11 | 2020-12-29 | Teladoc Health, Inc. | Tele-presence robot system with multi-cast features |
| US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
| US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| US9429934B2 (en) | 2008-09-18 | 2016-08-30 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
| US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US10059000B2 (en) | 2008-11-25 | 2018-08-28 | Intouch Technologies, Inc. | Server connectivity control for a tele-presence robot |
| US10875183B2 (en) | 2008-11-25 | 2020-12-29 | Teladoc Health, Inc. | Server connectivity control for tele-presence robot |
| US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
| US10969766B2 (en) | 2009-04-17 | 2021-04-06 | Teladoc Health, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
| US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
| US10911715B2 (en) | 2009-08-26 | 2021-02-02 | Teladoc Health, Inc. | Portable remote presence robot |
| US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
| US9602765B2 (en) | 2009-08-26 | 2017-03-21 | Intouch Technologies, Inc. | Portable remote presence robot |
| US10404939B2 (en) | 2009-08-26 | 2019-09-03 | Intouch Technologies, Inc. | Portable remote presence robot |
| US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
| US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
| US9089972B2 (en) | 2010-03-04 | 2015-07-28 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US10887545B2 (en) | 2010-03-04 | 2021-01-05 | Teladoc Health, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US11798683B2 (en) | 2010-03-04 | 2023-10-24 | Teladoc Health, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US11389962B2 (en) | 2010-05-24 | 2022-07-19 | Teladoc Health, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| WO2011149902A2 (en) * | 2010-05-24 | 2011-12-01 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| WO2011149902A3 (en) * | 2010-05-24 | 2012-02-23 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
| US10218748B2 (en) | 2010-12-03 | 2019-02-26 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
| US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
| US9785149B2 (en) | 2011-01-28 | 2017-10-10 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US10399223B2 (en) | 2011-01-28 | 2019-09-03 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US11468983B2 (en) | 2011-01-28 | 2022-10-11 | Teladoc Health, Inc. | Time-dependent navigation of telepresence robots |
| US9469030B2 (en) | 2011-01-28 | 2016-10-18 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| US11289192B2 (en) | 2011-01-28 | 2022-03-29 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
| US10591921B2 (en) | 2011-01-28 | 2020-03-17 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
| US9974612B2 (en) | 2011-05-19 | 2018-05-22 | Intouch Technologies, Inc. | Enhanced diagnostics for a telepresence robot |
| US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US10331323B2 (en) | 2011-11-08 | 2019-06-25 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US9715337B2 (en) | 2011-11-08 | 2017-07-25 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US10762170B2 (en) | 2012-04-11 | 2020-09-01 | Intouch Technologies, Inc. | Systems and methods for visualizing patient and telepresence device statistics in a healthcare network |
| US11205510B2 (en) | 2012-04-11 | 2021-12-21 | Teladoc Health, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US11453126B2 (en) | 2012-05-22 | 2022-09-27 | Teladoc Health, Inc. | Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices |
| US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US10658083B2 (en) | 2012-05-22 | 2020-05-19 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US10603792B2 (en) | 2012-05-22 | 2020-03-31 | Intouch Technologies, Inc. | Clinical workflows utilizing autonomous and semiautonomous telemedicine devices |
| US10328576B2 (en) | 2012-05-22 | 2019-06-25 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US10892052B2 (en) | 2012-05-22 | 2021-01-12 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US11628571B2 (en) | 2012-05-22 | 2023-04-18 | Teladoc Health, Inc. | Social behavior rules for a medical telepresence robot |
| US10780582B2 (en) | 2012-05-22 | 2020-09-22 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US11515049B2 (en) | 2012-05-22 | 2022-11-29 | Teladoc Health, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US10061896B2 (en) | 2012-05-22 | 2018-08-28 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US9174342B2 (en) | 2012-05-22 | 2015-11-03 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US9776327B2 (en) | 2012-05-22 | 2017-10-03 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| JP2014075045A (en) * | 2012-10-04 | 2014-04-24 | Sharp Corp | Controller, method for controlling controller, device to be controlled, server, control program, and recording medium |
| JP2014104513A (en) * | 2012-11-22 | 2014-06-09 | Honda Motor Co Ltd | Robot |
| US10334205B2 (en) | 2012-11-26 | 2019-06-25 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US10924708B2 (en) | 2012-11-26 | 2021-02-16 | Teladoc Health, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US11910128B2 (en) | 2012-11-26 | 2024-02-20 | Teladoc Health, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| JP2015013351A (en) * | 2013-07-08 | 2015-01-22 | 有限会社アイドリーマ | Program for controlling robot |
| JP2015036172A (en) * | 2013-08-13 | 2015-02-23 | 三菱重工業株式会社 | Industrial robot |
| JP2016018409A (en) * | 2014-07-09 | 2016-02-01 | シャープ株式会社 | Vehicle travel control device, vehicle travel control system, and vehicle travel control method |
| WO2016203965A1 (en) * | 2015-06-17 | 2016-12-22 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | Emotion control system, system, and program |
| CN107924482A (en) * | 2015-06-17 | 2018-04-17 | 情感爱思比株式会社 | Emotional control system, system and program |
| JP2017010133A (en) * | 2015-06-17 | 2017-01-12 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | Emotion control system, system and program |
| WO2017095570A1 (en) * | 2015-12-03 | 2017-06-08 | Intel Corporation | Machine object determination based on human interaction |
| US9975241B2 (en) | 2015-12-03 | 2018-05-22 | Intel Corporation | Machine object determination based on human interaction |
| JP2018030223A (en) * | 2016-08-26 | 2018-03-01 | 株式会社メニコン | Robot for searching lost objects |
| WO2018174289A1 (en) * | 2017-03-24 | 2018-09-27 | 株式会社 ゼンショーホールディングス | Conversation control system, and robot control system |
| US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
| US11742094B2 (en) | 2017-07-25 | 2023-08-29 | Teladoc Health, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
| US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
| JP2019098462A (en) * | 2017-12-01 | 2019-06-24 | 株式会社日立ビルシステム | Guide robot system |
| WO2019123744A1 (en) * | 2017-12-22 | 2019-06-27 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2019123055A (en) * | 2018-01-18 | 2019-07-25 | 株式会社ユピテル | apparatus |
| US11389064B2 (en) | 2018-04-27 | 2022-07-19 | Teladoc Health, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
| JP2021018741A (en) * | 2019-07-23 | 2021-02-15 | 株式会社コンシェルジュ | Interactive input support system and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5040865B2 (en) | 2012-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5040865B2 (en) | Robot control system, remote management device, remote management method and program | |
| KR102306624B1 (en) | Persistent companion device configuration and deployment platform | |
| JP4595436B2 (en) | Robot, control method thereof and control program | |
| US8103382B2 (en) | Method and system for sharing information through a mobile multimedia platform | |
| US20230305530A1 (en) | Information processing apparatus, information processing method and program | |
| JP2020531999A (en) | Continuous selection of scenarios based on identification tags that describe the user's contextual environment for the user's artificial intelligence model to run by the autonomous personal companion | |
| CN107000210A (en) | Apparatus and method for providing lasting partner device | |
| WO2012010437A1 (en) | Humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program | |
| JP2003205483A (en) | Robot system and control method for robot device | |
| US11074491B2 (en) | Emotionally intelligent companion device | |
| CN107658016A (en) | The Nounou intelligent guarding systems accompanied for health care for the aged | |
| CN210155626U (en) | Information processing apparatus | |
| CN106730234A (en) | A kind of intelligent mood persuasion system | |
| CN110995812A (en) | Cross-platform artificial intelligence assistant system application scheme | |
| US20210201914A1 (en) | Interactive playground system with enhanced user interaction and computerized method for providing enhanced user interaction in a playground system | |
| CN112204563A (en) | System and method for visual scene construction based on user communication | |
| CN109119080A (en) | Sound identification method, device, wearable device and storage medium | |
| WO2020116233A1 (en) | Information processing device, information processing method, and program | |
| US11511410B2 (en) | Artificial intelligence (AI) robot and control method thereof | |
| JP2019124855A (en) | Apparatus and program and the like | |
| CN107895101A (en) | The Nounou intelligent monitoring devices accompanied for health care for the aged | |
| CN105388786B (en) | A kind of intelligent marionette idol control method | |
| WO2016206644A1 (en) | Robot control engine and system | |
| JP6864831B2 (en) | Robot devices and programs | |
| JP2002261966A (en) | Communication support system and photographing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120625 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5040865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |