JP2019084628A - Autonomous mobile robot - Google Patents
Autonomous mobile robot Download PDFInfo
- Publication number
- JP2019084628A JP2019084628A JP2017214903A JP2017214903A JP2019084628A JP 2019084628 A JP2019084628 A JP 2019084628A JP 2017214903 A JP2017214903 A JP 2017214903A JP 2017214903 A JP2017214903 A JP 2017214903A JP 2019084628 A JP2019084628 A JP 2019084628A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- mobile robot
- autonomous mobile
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、自律移動ロボットに関する。 The present invention relates to an autonomous mobile robot.
特許文献1には、ユーザが操作する機器と、ユーザによる機器の操作を支援する処理を実行する支援装置と、ユーザの位置と姿勢を表わすユーザ情報を取得するユーザ情報取得手段と、機器の位置と姿勢を表わす機器情報を取得する機器情報取得手段と、機器の作動状態を表す作動状態情報を取得する作動状態情報取得手段と、を備え、上記支援装置は、支援装置自体の位置と姿勢のうち少なくとも一方が変化するよう可動する可動部を有していることを特徴とするユーザ支援システムが開示されている。 In Patent Document 1, a device operated by a user, a support device for executing processing for supporting a user's operation of the device, a user information acquisition unit for acquiring user information representing the position and posture of the user, and a position of the device And device information acquiring means for acquiring device information representing attitude, and operation state information acquisition means for acquiring operation state information representing the operation state of the device; There is disclosed a user support system characterized in that at least one of the movable parts has a movable part that is movable to change.
本発明の目的は、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することである。 An object of the present invention is to provide an autonomous mobile robot capable of changing the orientation of a display device in a direction in which the user can easily view without explicit operation by the user.
請求項1に係る本発明は、ロボット本体部と、前記ロボット本体部を移動させる移動手段と、前記ロボット本体部に対して、少なくとも複数軸以上の自由度で可動可能な表示装置と、移動先のユーザの状況を検出する検出手段と、前記検出手段により検出されたユーザの状況に合わせて前記表示装置の向きを制御する制御手段と、を備えた自律移動ロボットである。 The present invention according to claim 1 is a robot main body, moving means for moving the robot main body, a display device movable with respect to the robot main body with at least a plurality of axes of freedom, and a movement destination An autonomous mobile robot comprising: detection means for detecting the user's situation; and control means for controlling the orientation of the display device in accordance with the user's situation detected by the detection means.
請求項2に係る本発明は、前記表示装置は、ピッチ軸、ロール軸およびヨー軸の三軸のうち少なくとも複数軸以上の自由度で可動可能である請求項1記載の自律移動ロボットである。 The present invention according to claim 2 is the autonomous mobile robot according to claim 1, wherein the display device is movable with at least a plurality of degrees of freedom among at least three axes of a pitch axis, a roll axis and a yaw axis.
請求項3に係る本発明は、前記表示装置の地上からの位置を上下方向に変更する変更手段をさらに備えた請求項1又は2記載の自律移動ロボットである。 The present invention according to claim 3 is the autonomous mobile robot according to claim 1 or 2, further comprising changing means for changing the position of the display device from the ground in the vertical direction.
請求項4に係る本発明は、前記制御手段は、前記検出手段により検出されたユーザの目の高さに合わせて、前記表示装置の地上からの位置を変更するよう前記変更手段を制御する請求項3記載の自律移動ロボットである。 According to a fourth aspect of the present invention, the control means controls the change means to change the position of the display device from the ground according to the eye height of the user detected by the detection means. An autonomous mobile robot according to item 3.
請求項5に係る本発明は、前記検出手段は、ユーザの顔を認識して、そのユーザの視線方向を推定する推定手段を有する請求項1から4のいずれか記載の自律移動ロボットである。 The present invention according to claim 5 is the autonomous mobile robot according to any one of claims 1 to 4, wherein the detection means has an estimation means for recognizing a face of a user and estimating a gaze direction of the user.
請求項6に係る本発明は、前記制御手段は、前記推定手段により推定されたユーザの視線方向と相対する位置に向くように前記表示装置の向きを制御する請求項5記載の自律移動ロボットである。 According to a sixth aspect of the present invention, in the autonomous mobile robot according to the fifth aspect, the control means controls the direction of the display device to be directed to a position opposite to the gaze direction of the user estimated by the estimation means. is there.
請求項7に係る本発明は、前記検出手段は、音声を認識する認識手段を有する請求項1から4のいずれか記載の自律移動ロボットである。 The present invention according to claim 7 is the autonomous mobile robot according to any one of claims 1 to 4, wherein the detection means has a recognition means for recognizing a voice.
請求項8に係る本発明は、前記制御手段は、前記認識手段により認識された音声が発せられた方向に前記表示装置が向くように制御する請求項7記載の自律移動ロボットである。 According to an eighth aspect of the present invention, in the autonomous mobile robot according to the seventh aspect, the control means controls the display device to be directed in the direction in which the voice recognized by the recognition means is emitted.
請求項9に係る本発明は、前記制御手段は、前記認識手段により認識された音声によるユーザの指示により前記表示装置が上方向に向くように制御する請求項7記載の自律移動ロボットである。 According to a ninth aspect of the present invention, in the autonomous mobile robot according to the seventh aspect, the control means controls the display device to face upward according to an instruction of the user by the voice recognized by the recognition means.
請求項10に係る本発明は、前記認識手段により認識された音声によるユーザの会話内容から情報を抽出する抽出手段と、前記抽出手段により抽出された情報に関する情報をサーバから取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボットである。 According to a tenth aspect of the present invention, there is provided an extraction means for extracting information from conversation contents of a user recognized by voice recognized by the recognition means, and an acquisition means for acquiring information related to information extracted by the extraction means from a server. The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.
請求項11に係る本発明は、前記認識手段により認識された音声によるユーザの要求を受付ける受付手段と、前記受付手段により受付けられたユーザの要求に関する情報をサーバから取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボットである。 The present invention according to claim 11 has a receiving means for receiving a user request by voice recognized by the recognition means, and an obtaining means for acquiring from a server information on the user request received by the receiving means. The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.
請求項1に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。 According to the first aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.
請求項2に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。 According to the second aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.
請求項3に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい高さに合わせて表示装置の地上からの位置を変えることが可能な自律移動ロボットを提供することができる。 According to the third aspect of the present invention, there is provided an autonomous mobile robot capable of changing the position of the display device from the ground according to the height at which the user can easily view without explicit operation by the user. Can.
請求項4に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい高さに合わせて表示装置の地上からの位置を変えることが可能な自律移動ロボットを提供することができる。 According to the fourth aspect of the present invention, there is provided an autonomous mobile robot capable of changing the position of the display device from the ground according to the height at which the user can easily view without explicit operation by the user. Can.
請求項5に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。 According to the fifth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.
請求項6に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。 According to the sixth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.
請求項7に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。 According to the seventh aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.
請求項8に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。 According to the eighth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in the direction in which the user can easily view without explicit operation by the user.
請求項9に係る本発明によれば、音声により、表示装置の向きを書込みモードに変更することが可能な自律移動ロボットを提供することができる。 According to the ninth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the direction of the display device to the writing mode by voice.
請求項10に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが必要な情報を表示装置に提示することが可能な自律移動ロボットを提供することができる。 According to the tenth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of presenting information required by the user on the display device without the user's explicit operation.
請求項11に係る本発明によれば、音声により、ユーザが必要な情報を表示装置に提示することが可能な自律移動ロボットを提供することができる。 According to the eleventh aspect of the present invention, it is possible to provide an autonomous mobile robot capable of presenting information required by the user on a display device by voice.
次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施形態の自律移動ロボットとしての自走式のディスプレイ型ロボット10を用いたシステムの構成を示す図である。
FIG. 1 is a view showing the configuration of a system using a self-propelled
本発明の一実施形態のディスプレイ型ロボット10を用いたシステムは、図1に示されるように、ディスプレイ型ロボット10と、サーバ12とから構成されている。
A system using a
そして、ディスプレイ型ロボット10とサーバ12とは、例えば無線LANターミナル14、インターネット16を経由して相互に接続されている。
The
図2は、本発明の一実施形態に係るディスプレイ型ロボット10を用いたシステムを適用したオフィス18の一例を示す。オフィス18内では、会議領域20a〜20cやフリースペース等の端末装置22を備えていない場所やモバイル端末等の端末装置を備えていない場合であってもディスプレイ型ロボット10を用いることにより端末装置と同様の操作を実行でき、ディスプレイ上にユーザが必要な情報を表示させることができる。
FIG. 2 shows an example of an
ディスプレイ型ロボット10は、無線LANターミナル14との間でデータ等を送受信するようになっている。また、ディスプレイ型ロボット10は、オフィス18内のマップを記憶し、オフィス18内を自走するよう構成されている。そして、ディスプレイ型ロボット10は、例えばユーザの呼びかけやジェスチャーによりユーザに接近し、ユーザはディスプレイ型ロボット10を利用して、ディスプレイ上にユーザの要求する情報を表示させたり、ディスプレイを利用してメモを書き込んだり等のユーザ支援を実行することができる。
The
次に、ディスプレイ型ロボット10の構成を説明する。
図3(A)は、ディスプレイ型ロボット10の外観を示す正面図であり、図3(B)は、ディスプレイ型ロボット10の外観を示す側面図である。
Next, the configuration of the
FIG. 3A is a front view showing the appearance of the
ディスプレイ型ロボット10は、ロボット本体部24、移動手段としての移動装置26、表示装置としてのディスプレイ部28、ロボット本体部24に対してディスプレイ部28を支持する支持部25、検出手段としてのセンサ30を備えている。
The
センサ30は、ロボット本体部24に設けられ、ユーザを検出して、ユーザの位置、動き、声、顔を認識する。そして、センサ30は、ユーザの顔の位置や顔の向き、姿勢等のユーザの状況を認識する。センサ30として、例えばKinectカメラが用いられ、RGBカメラや3Dカメラ等のカメラ、深度センサ、マイクロフォン、赤外線センサ、超音波センサ、レーザ距離計(LRF)等を組み合わせて用いることもできる。
The
移動装置26は、ロボット本体部24の下部に設けられ、ロボット本体部24を移動させる。移動装置26として、例えば車輪や脚等が用いられる。車輪や脚等に駆動源としての例えばモータ、アクチュエータ、エンジン、油圧ポンプ等が接続される。
The moving
ディスプレイ部28は、ロボット本体部24の上部に設けられ、文書データや画像データ等の各種情報を表示する。また、ディスプレイ部28は、タッチパネルとしての入力機能を有し、文字または画像の書き込みを受け付ける。
The
支持部25は、第1の支持部25aと第2の支持部25bとで構成され、ディスプレイ部28の地上からの位置を変更する変更手段として機能する。
The
図4〜図6は、ディスプレイ型ロボット10の動作を説明する図である。
4 to 6 are diagrams for explaining the operation of the
ディスプレイ部28は、図4(A)及び図4(B)に示されるように、ロボット本体部24に対して、ディスプレイ型ロボット10の前後方向(図4においてX軸)を軸にしてロール軸方向に360度回転可能である。つまり、ロボット本体部24に対して、ディスプレイ部28を横長に配置したり、縦長に配置したりすることができる。
As shown in FIGS. 4A and 4B, the
また、ディスプレイ部28は、図5(A)及び図5(B)に示されるように、ロボット本体部24に対して、ディスプレイ型ロボット10の左右方向(幅方向、図5においてY軸)を軸にしてピッチ軸方向に90度回転可能である。つまり、ロボット本体部24に対して、ディスプレイ部28が前(正面)方向に向くように配置したり、上方向に向くように配置したりすることができる。
Further, as shown in FIG. 5A and FIG. 5B, the
また、ディスプレイ部28は、第1の支持部25aが、ロボット本体部24に装着されている第2の支持部25bに対してスライドして上下方向に移動することにより、図4(B)、図4(C)又は図5(B)、図5(C)に示されるように、ディスプレイ部28を上下方向(図4及び図5においてZ軸方向)に移動可能な構成となっている。すなわち、ディスプレイ部28の地上からの位置を変更可能な構成となっている。
In addition, the
また、ディスプレイ部28は、図6に示されるように、移動装置26の動作により、ディスプレイ部28をディスプレイ型ロボット10の上下方向(図6においてZ軸方向)を軸にしてヨー軸方向に360度回転可能である。
In addition, as shown in FIG. 6, the
すなわち、ディスプレイ部28は、上下、ピッチ軸、ロール軸及びヨー軸の自由度4で可動可能である。これにより、ディスプレイ部28の位置、高さ、向きが可動可能に構成されている。
That is, the
図7は、ディスプレイ型ロボット10のハードウェア構成を示すブロック図である。
FIG. 7 is a block diagram showing the hardware configuration of the
ディスプレイ型ロボット10は、図7に示されるように、制御手段としてのCPU32、メモリ34、記憶装置36、センサ30、無線通信部38、ディスプレイ部28、移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を有し、これらが制御バス46を介して接続されている。
As shown in FIG. 7, the
CPU32は、メモリ34に格納された制御プログラムに基づいて予め定められた処理を実行する。
The
記憶装置36は、ディスプレイ型ロボット10の各部を制御するための制御プログラムを記憶する。また、オフィス18等のマップを記憶する。
The
無線通信部38は、無線LANターミナル14との間で無線回線を介してデータの送受信を行っている。
The
図8は、プログラムが実行されることにより実現されるディスプレイ型ロボット10の機能構成を示すブロック図である。
FIG. 8 is a block diagram showing a functional configuration of the
ディスプレイ型ロボット10は、センサ30によりユーザを検出して接近する。そして、記憶装置36に記憶されている制御プログラムをCPU32において実行することにより、図8に示されるように、センサ30は、音声認識部48、顔認識部50、視線方向推定部52として機能する。そして、CPU32は、駆動制御部54として機能して、ディスプレイ型ロボット10のヨー軸方向駆動部として機能する移動装置26、上下方向駆動部として機能する支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44等を制御する。また、CPU32が、表示制御部49として機能して、ディスプレイ部28のディスプレイ上の画面(表示画面)を制御する。
The
音声認識部48は、音声を認識し、ユーザの呼びかけによりユーザの位置を認識する。また、ユーザの声を文字列に変換して認識する。また、会話内容を認識して話題に関連する情報を抽出し、文字列に変換して認識する。
The
顔認識部50は、音声認識部48により認識されたユーザの顔や、ジェスチャーにより支援を必要としているユーザの顔を認識する。
The
視線方向推定部52は、顔認識部50により認識されたユーザの視線方向を推定する。
The gaze
そして、CPU32は、顔認識部50により認識された情報及び視線方向推定部52により推定された視線方向等に基づいてユーザの状況を推定する。
Then, the
具体的には、顔認識部50及び視線方向推定部52により認識されたユーザの位置、動き、顔、視線等の情報から、ユーザが何をしているのか推定し、例えば、立っているのか、座っているのか、どちらを向いているのか、対面で会話しているのか等の情報を取得することができる。また、複数の人がいるときに、どのような配置であるのか、お互い対面しているのか、並んでいるのか、ばらばらの方向を向いているのかを推定することができる。
Specifically, it is estimated what the user is doing from the information of the user's position, motion, face, line of sight, etc. recognized by the
駆動制御部54は、センサ30により検出されたユーザに向かって移動するよう移動装置26を制御する。
The
そして、駆動制御部54は、センサ30により検出されたユーザの状況に合わせて、ヨー軸方向駆動部としての移動装置26、上下方向駆動部としての支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。
The
また、駆動制御部54は、音声によるユーザの指示であって、音声認識部48により認識された予め定められた文字列により、ディスプレイ型ロボット10が移動し、ディスプレイ部28の位置や向きを変更するように移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。
Further, the
また、駆動制御部54は、音声認識部48により認識された音声が発せられた方向にディスプレイ型ロボット10が移動し、ディスプレイ部28が向くように移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。
Further, the
すなわち、ディスプレイ型ロボット10は、センサ30で検出されたユーザの顔位置、顔の向き、姿勢等のユーザの状況に合わせて、移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44等を制御してディスプレイ部28の位置を調整したり、ユーザの目の高さに合わせてディスプレイ部28の地上からの位置を調整したり、ディスプレイ部28の向きを調整したりすることができる。
That is, according to the user's face position, face orientation, posture, and the like detected by the
また、音声認識部48により認識された音声によるユーザの指示(予め定められた文字列)により、ディスプレイ部28を上方向に向くように制御したり、前(正面)方向に向くように制御したり、ディスプレイ部28の位置や地上からの高さを調整したり、ディスプレイ部28の向きを調整したりすることができる。
The
ここで、ユーザの位置、姿勢、顔の向き等の状況に合わせてディスプレイ部28の位置、高さ、向きを調整するとは、例えば、顔認識部50により認識されたユーザの身長に合わせてディスプレイ部28の地上からの位置を調整することや、顔認識部50により認識されたユーザの目の高さに合わせてディスプレイ部28の地上からの位置を調整することや、顔認識部50により認識されたユーザの頭のてっぺんから50cm程度の位置にディスプレイ部28の中央が配置されるように調整することや、顔認識部50により認識されたユーザの視線方向と相対する位置に向くようにディスプレイ部28の向きを調整することや、顔認識部50により認識されたユーザの顔がディスプレイ部28の中央(正面)に配置されるように調整すること等を意味している。
Here, adjusting the position, height, and orientation of the
図9は、サーバ12のハードウェア構成を示すブロック図である。
FIG. 9 is a block diagram showing the hardware configuration of the
サーバ12は、図9に示されるように、CPU56、メモリ58、記憶装置60、データベース61、インターネット16を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース(IF)62を有する。これらの構成要素は、制御バス64を介して互いに接続されている。
As shown in FIG. 9, the
CPU56は、メモリ58または記憶装置60に格納された制御プログラムに基づいて所定の処理を実行して、サーバ12の動作を制御する。なお、本実施形態では、CPU56は、メモリ58または記憶装置60内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをCD−ROM等の記憶媒体に格納してCPU56に提供することも可能である。
The
データベース61は、文書推薦エンジン、検索エンジン等を格納する。文書推薦エンジンは、データベース61に格納されている情報やインターネット上の情報の中から話題に関連する情報を抽出する。検索エンジンは、データベース61に格納されている情報やインターネット上の情報の中からユーザに指定された情報と関連する情報を抽出する。
The
次に、ディスプレイ型ロボット10の動作について図10及び図11に基づいて説明する。図10は、ディスプレイ型ロボット10の制御フローを示すフローチャートである。図11(A)〜(D)は、ディスプレイ型ロボット10の動作を説明する上面図である。
Next, the operation of the
まず、ディスプレイ型ロボット10は、センサ30により会話中のユーザa、ユーザbを検出する(ステップS10)。
First, the
次に、CPU32は、ユーザa、ユーザbが支援が必要か否かを判定する(ステップS11)。例えば、ユーザの呼びかけや手招き等のジェスチャーによりユーザの支援が必要か否かを判定する。そして、ユーザの支援が必要であると判定された場合には次のステップS12へ進む。ユーザの支援が必要でないと判定された場合には、処理を終了し、ホームポジションに移動したり、巡回動作に戻る。
Next, the
そして、ユーザの支援が必要であると判定された場合には、CPU32は、顔認識部50、視線方向推定部52によりユーザa及びユーザbの位置、姿勢、顔の向き(視線方向)等のユーザa、ユーザbの状況を推定する(ステップS12)。
When it is determined that the user's assistance is necessary, the
そして、図11(A)に示されるようにユーザa、ユーザbの視界に入るようにできるだけ横から接近(移動)する。そして、図11(B)に示されるように、CPU32は、推定されたユーザa、ユーザbの位置、姿勢、顔の向き等の状況に合わせて、ユーザaとユーザbの両方から見易い位置にディスプレイ部28が配置されるように、駆動制御部54により移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44を制御して、ディスプレイ部28の位置や高さや向きを調整する(ステップS13)。
Then, as shown in FIG. 11A, the user approaches from the side as much as possible (moves) so as to enter the view of the user a and the user b. Then, as shown in FIG. 11B, the
なお、ディスプレイに表示する内容に応じて、駆動制御部54によりロール軸方向駆動部44を制御して、ディスプレイ部28の向きをユーザに対して横長にして表示したり、回転して縦長にして表示したりする。
The
そして、CPU32は、ユーザの要求する情報をディスプレイ部28に表示する等のユーザ支援を実行するよう制御する(ステップS14)。
Then, the
また、ユーザaが、ディスプレイに視線を向けたり呼びかけ(インタラクション)をした場合には、図11(C)及び図12に示されるように、CPU32は、ユーザaの方にディスプレイ部28を向けるように制御する。具体的には、CPU32は、ユーザaの顔位置、姿勢、顔の向き等のユーザaの状況に合わせてディスプレイ部28の位置、高さ、向きを制御する。
In addition, when the user a directs a line of sight to the display or makes an interaction (interaction), as shown in FIG. 11C and FIG. 12, the
つまり、ユーザaのインタラクションにより、駆動制御部54により支持部(上下方向駆動部)25を制御して、ディスプレイ部28の高さをユーザaの顔位置、姿勢、顔の向きに合わせて調整する。また、駆動制御部54により移動装置(ヨー軸方向駆動部)26を制御して、ディスプレイ部28の向きをユーザaの顔位置、姿勢、顔の向きに合わせて調整する。すなわち、ディスプレイ部28が、センサ30により検出されたユーザaの視線方向と相対する位置に向くようにディスプレイ部28の位置、高さ、向きを調整する。
That is, the
また、CPU32は、ユーザの「ブレストモードにして!」等の呼びかけにより、図11(D)及び図13に示されるように、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が90度倒れて上方向を向くように制御する。すなわち、ロボット本体部24に対してディスプレイ型ロボット10の左右方向を軸にしてディスプレイ部28をピッチ軸方向に90度回転させて書込みモードにすることができる。
Further, the
さらに、CPU32は、ユーザの「戻って!」等の呼びかけにより、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が倒れて上方向を向いた状態(書込みモード)からディスプレイ部28が前(正面)方向を向くように制御する。
Furthermore, the
つまり、ユーザの予め定められた呼びかけにより、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が上方向に向くように制御したり正面方向を向くように制御することができる。そして、上方向を向いたディスプレイ部28を利用して、ユーザは書込み操作等をすることができる。
That is, according to a predetermined call from the user, the
次に、ディスプレイ型ロボット10のユーザ支援動作の一例について説明する。
Next, an example of the user assistance operation of the
図14は、ディスプレイ型ロボット10の文書推薦機能の動作フローを示すフローチャートである。
FIG. 14 is a flowchart showing an operation flow of the document recommendation function of the
ここで、文書推薦機能とは、ユーザの明示的な指示がなくても、所定間隔で会話内容を音声認識して会話内容に含まれるキーワードを抽出し、抽出されたキーワードに関連する文書等の情報をデータベース61に格納されたデータ又はインターネット上から抽出して、関連文書としてユーザに推薦する機能をいう。
Here, with the document recommendation function, even if there is no explicit instruction from the user, speech contents are voice-recognized at predetermined intervals to extract keywords contained in the contents of the conversation, and a document related to the extracted keywords, etc. It refers to the function of extracting information from data stored in the
まず、センサ30により会話内容を聴き取る(ステップS20)。 First, the conversation contents are listened to by the sensor 30 (step S20).
そして、会話内容を音声認識して文字列に変換し、会話内容に含まれるキーワードを抽出する(ステップS21)。このとき、所定間隔であって、例えば15秒毎に音声認識して会話内容に含まれるキーワードを抽出する。 Then, the conversation content is voice-recognized and converted into a character string, and a keyword included in the conversation content is extracted (step S21). At this time, speech recognition is performed at predetermined intervals, for example, every 15 seconds, and keywords included in the contents of conversation are extracted.
そして、抽出されたキーワードの情報を無線通信部38を介してサーバ12へ送信する。そして、文書推薦エンジンにより解析を行って、データベース61に格納されている情報やインターネット上の情報の中から、キーワードに関連する文書等の情報を解析結果として取得する(ステップS22)。
Then, the information of the extracted keyword is transmitted to the
そして、解析結果一覧をディスプレイ部28に表示する(ステップS23)。具体的には、例えば、会話内容に含まれるキーワードとして「ロボット」、「AI」、「社内文書」が抽出されると、抽出された「ロボット」、「AI」、「社内文書」に関連する文書が検出され、図15に示されるように、検出された解析結果がディスプレイ部28に表示される。
Then, the analysis result list is displayed on the display unit 28 (step S23). Specifically, for example, when "robot", "AI", or "in-house document" is extracted as a keyword included in the conversation content, it is related to the extracted "robot," "AI," or "in-house document" A document is detected, and the detected analysis result is displayed on the
そして、解析結果一覧の中からユーザにより選択された文書がディスプレイ部28に表示される(ステップS24)。 Then, the document selected by the user from the analysis result list is displayed on the display unit 28 (step S24).
図16は、ディスプレイ型ロボット10の検索機能の動作フローを示すフローチャートである。
FIG. 16 is a flowchart showing the operation flow of the search function of the
ここで、検索機能とは、ユーザの質問等の知りたい情報に基づいて、この知りたい情報(質問)に関連する文書等の情報をデータベース61に格納されたデータ又はインターネット上から検索してユーザに提示する機能をいう。
Here, the search function refers to a user who searches for information such as a document related to the information (question) that he / she wants to know from data stored in the
まず、図17に示されるように、ディスプレイ部28の検索画面においてユーザの質問(知りたい情報)を受け付ける(ステップS30)。 First, as shown in FIG. 17, the user's question (information to be known) is accepted on the search screen of the display unit 28 (step S30).
そして、質問内容を音声認識して文字列に変換する(ステップS31)。 Then, the question content is voice-recognized and converted into a character string (step S31).
そして、認識結果を無線通信部38を介してサーバ12へ送信する。そして、検索エンジンにより解析を行って、データベース61に格納されている情報やインターネット上の情報の中からユーザの知りたい情報に関連する文書等の情報を解析結果として取得する(ステップS32)。
Then, the recognition result is transmitted to the
そして、解析結果一覧をディスプレイ部28に表示する(ステップS33)。 Then, the analysis result list is displayed on the display unit 28 (step S33).
そして、ユーザにより選択を受け付けると、選択された文書をディスプレイ部28に表示する(ステップS34)。 Then, when the selection is accepted by the user, the selected document is displayed on the display unit 28 (step S34).
具体的には、例えば、ユーザが検索画面において「旅費の精算方法」について質問すると、音声認識されることにより、データベース61に格納された「旅費の精算方法」に関連する文書がディスプレイ部28に表示される。
Specifically, for example, when the user makes a question about the “travel expense settlement method” on the search screen, the document related to the “travel expense settlement method” stored in the
なお、本発明は、上記実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。例えば、上記実施形態では、ディスプレイ部28が、上下、ピッチ軸、ロール軸及びヨー軸の自由度4で可動可能な構成について説明したが、これに限らず、少なくとも複数軸以上の自由度で可動可能な構成に適用することができる。
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, in the above embodiment, the
10 ディスプレイ型ロボット(自律移動ロボット)
12 サーバ
24 ロボット本体部
25 支持部(変更手段、上下方向駆動部)
26 移動装置(ヨー軸方向駆動部)
28 ディスプレイ部(表示装置)
30 センサ
32 CPU(制御手段)
34 メモリ
36 記憶装置
38 無線通信部
42 ピッチ軸方向駆動部
44 ロール軸方向駆動部
10 Display Robot (Autonomous Mobile Robot)
12
26 Moving device (Yaw axis direction drive unit)
28 Display (Display Device)
30
34
Claims (11)
前記ロボット本体部を移動させる移動手段と、
前記ロボット本体部に対して、少なくとも複数軸以上の自由度で可動可能な表示装置と、
移動先のユーザの状況を検出する検出手段と、
前記検出手段により検出されたユーザの状況に合わせて前記表示装置の向きを制御する制御手段と、
を備えた自律移動ロボット。 The robot body,
Moving means for moving the robot body;
A display device movable with respect to the robot main body with at least a plurality of axes of freedom;
Detection means for detecting the situation of the destination user;
Control means for controlling the orientation of the display device according to the situation of the user detected by the detection means;
Mobile robot with.
前記抽出手段により抽出された情報に関する情報をサーバから取得する取得手段と、を有し、
前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボット。 Extracting means for extracting information from the conversation content of the user by the voice recognized by the recognition means;
And acquiring means for acquiring information related to the information extracted by the extraction means from a server,
The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.
前記受付手段により受付けられたユーザの要求に関する情報をサーバから取得する取得手段と、を有し、
前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボット。 Reception means for receiving a user request by voice recognized by the recognition means;
Obtaining means for obtaining from the server information on the user request accepted by the accepting means;
The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214903A JP2019084628A (en) | 2017-11-07 | 2017-11-07 | Autonomous mobile robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214903A JP2019084628A (en) | 2017-11-07 | 2017-11-07 | Autonomous mobile robot |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019084628A true JP2019084628A (en) | 2019-06-06 |
Family
ID=66763769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017214903A Pending JP2019084628A (en) | 2017-11-07 | 2017-11-07 | Autonomous mobile robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019084628A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022009349A1 (en) * | 2020-07-08 | 2022-01-13 | 日本電気株式会社 | Conversation monitoring device, control method, and computer readable medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038252A (en) * | 2002-06-28 | 2004-02-05 | Toshiba Solutions Corp | Information provision support system and method |
JP2004214895A (en) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | Auxiliary communication apparatus |
JP2010082714A (en) * | 2008-09-30 | 2010-04-15 | Mitsubishi Heavy Ind Ltd | Communication robot |
US20100180709A1 (en) * | 2009-01-22 | 2010-07-22 | Samsung Electronics Co., Ltd. | Robot |
-
2017
- 2017-11-07 JP JP2017214903A patent/JP2019084628A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038252A (en) * | 2002-06-28 | 2004-02-05 | Toshiba Solutions Corp | Information provision support system and method |
JP2004214895A (en) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | Auxiliary communication apparatus |
JP2010082714A (en) * | 2008-09-30 | 2010-04-15 | Mitsubishi Heavy Ind Ltd | Communication robot |
US20100180709A1 (en) * | 2009-01-22 | 2010-07-22 | Samsung Electronics Co., Ltd. | Robot |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022009349A1 (en) * | 2020-07-08 | 2022-01-13 | 日本電気株式会社 | Conversation monitoring device, control method, and computer readable medium |
JP7416253B2 (en) | 2020-07-08 | 2024-01-17 | 日本電気株式会社 | Conversation monitoring device, control method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200225910A1 (en) | Hands-free navigation of touch-based operating systems | |
US9483113B1 (en) | Providing user input to a computing device with an eye closure | |
US11126257B2 (en) | System and method for detecting human gaze and gesture in unconstrained environments | |
US11100608B2 (en) | Determining display orientations for portable devices | |
US20170256096A1 (en) | Intelligent object sizing and placement in a augmented / virtual reality environment | |
US9910505B2 (en) | Motion control for managing content | |
US10877564B2 (en) | Approaches for displaying alternate views of information | |
JP6126076B2 (en) | A system for rendering a shared digital interface for each user's perspective | |
US9288471B1 (en) | Rotatable imaging assembly for providing multiple fields of view | |
US10360876B1 (en) | Displaying instances of visual content on a curved display | |
Caggianese et al. | Natural interaction and wearable augmented reality for the enjoyment of the cultural heritage in outdoor conditions | |
JP4907483B2 (en) | Video display device | |
US9794516B1 (en) | Telepresence system | |
WO2016189390A2 (en) | Gesture control system and method for smart home | |
US20180316911A1 (en) | Information processing apparatus | |
CN104364753A (en) | Approaches for highlighting active interface elements | |
US9672588B1 (en) | Approaches for customizing map views | |
US10019140B1 (en) | One-handed zoom | |
US20190312917A1 (en) | Resource collaboration with co-presence indicators | |
CN108369451B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
JP2007265329A (en) | Route guidance system | |
JP2019084628A (en) | Autonomous mobile robot | |
Chacón-Quesada et al. | Augmented reality controlled smart wheelchair using dynamic signifiers for affordance representation | |
US9857869B1 (en) | Data optimization | |
JP2018005663A (en) | Information processing unit, display system, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220125 |