JP2019084628A - Autonomous mobile robot - Google Patents

Autonomous mobile robot Download PDF

Info

Publication number
JP2019084628A
JP2019084628A JP2017214903A JP2017214903A JP2019084628A JP 2019084628 A JP2019084628 A JP 2019084628A JP 2017214903 A JP2017214903 A JP 2017214903A JP 2017214903 A JP2017214903 A JP 2017214903A JP 2019084628 A JP2019084628 A JP 2019084628A
Authority
JP
Japan
Prior art keywords
user
display
mobile robot
autonomous mobile
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017214903A
Other languages
Japanese (ja)
Inventor
良太 水谷
Ryota Mizutani
良太 水谷
喜浩 北川
Yoshihiro Kitagawa
喜浩 北川
タプリヤ ローシャン
Roshan Thapliya
タプリヤ ローシャン
彰 一星
Akira Ichiboshi
彰 一星
一成 小松崎
Kazunari Komatsuzaki
一成 小松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017214903A priority Critical patent/JP2019084628A/en
Publication of JP2019084628A publication Critical patent/JP2019084628A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

To allow a direction of a display device to be changed to a direction in which a user can easily view without explicit operation by the user.SOLUTION: A sensor 30 functions as a sound recognizing part 48, a face recognizing part 50 and a visual line direction estimating part 52. A CPU 32 functions as a driving control part 54, which controls a moving device 26 that functions as a yaw-directional driving part for a display-type robot 10, a support part 25 that functions as a vertical directional driving part, a pitch-shaft directional driving part 42 and a roll-shaft directional driving part 44. Further, the driving control part 54 controls the moving device 26, the support part 25, the pitch-shaft directional driving part 42 and the roll-shaft directional driving part 44 so that a position, a height and a direction of the display part 28 are adjusted, in accordance with a situation of a user detected by the sensor 30.SELECTED DRAWING: Figure 8

Description

本発明は、自律移動ロボットに関する。   The present invention relates to an autonomous mobile robot.

特許文献1には、ユーザが操作する機器と、ユーザによる機器の操作を支援する処理を実行する支援装置と、ユーザの位置と姿勢を表わすユーザ情報を取得するユーザ情報取得手段と、機器の位置と姿勢を表わす機器情報を取得する機器情報取得手段と、機器の作動状態を表す作動状態情報を取得する作動状態情報取得手段と、を備え、上記支援装置は、支援装置自体の位置と姿勢のうち少なくとも一方が変化するよう可動する可動部を有していることを特徴とするユーザ支援システムが開示されている。   In Patent Document 1, a device operated by a user, a support device for executing processing for supporting a user's operation of the device, a user information acquisition unit for acquiring user information representing the position and posture of the user, and a position of the device And device information acquiring means for acquiring device information representing attitude, and operation state information acquisition means for acquiring operation state information representing the operation state of the device; There is disclosed a user support system characterized in that at least one of the movable parts has a movable part that is movable to change.

特開2011−143511号公報JP, 2011-143511, A

本発明の目的は、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することである。   An object of the present invention is to provide an autonomous mobile robot capable of changing the orientation of a display device in a direction in which the user can easily view without explicit operation by the user.

請求項1に係る本発明は、ロボット本体部と、前記ロボット本体部を移動させる移動手段と、前記ロボット本体部に対して、少なくとも複数軸以上の自由度で可動可能な表示装置と、移動先のユーザの状況を検出する検出手段と、前記検出手段により検出されたユーザの状況に合わせて前記表示装置の向きを制御する制御手段と、を備えた自律移動ロボットである。   The present invention according to claim 1 is a robot main body, moving means for moving the robot main body, a display device movable with respect to the robot main body with at least a plurality of axes of freedom, and a movement destination An autonomous mobile robot comprising: detection means for detecting the user's situation; and control means for controlling the orientation of the display device in accordance with the user's situation detected by the detection means.

請求項2に係る本発明は、前記表示装置は、ピッチ軸、ロール軸およびヨー軸の三軸のうち少なくとも複数軸以上の自由度で可動可能である請求項1記載の自律移動ロボットである。   The present invention according to claim 2 is the autonomous mobile robot according to claim 1, wherein the display device is movable with at least a plurality of degrees of freedom among at least three axes of a pitch axis, a roll axis and a yaw axis.

請求項3に係る本発明は、前記表示装置の地上からの位置を上下方向に変更する変更手段をさらに備えた請求項1又は2記載の自律移動ロボットである。   The present invention according to claim 3 is the autonomous mobile robot according to claim 1 or 2, further comprising changing means for changing the position of the display device from the ground in the vertical direction.

請求項4に係る本発明は、前記制御手段は、前記検出手段により検出されたユーザの目の高さに合わせて、前記表示装置の地上からの位置を変更するよう前記変更手段を制御する請求項3記載の自律移動ロボットである。   According to a fourth aspect of the present invention, the control means controls the change means to change the position of the display device from the ground according to the eye height of the user detected by the detection means. An autonomous mobile robot according to item 3.

請求項5に係る本発明は、前記検出手段は、ユーザの顔を認識して、そのユーザの視線方向を推定する推定手段を有する請求項1から4のいずれか記載の自律移動ロボットである。   The present invention according to claim 5 is the autonomous mobile robot according to any one of claims 1 to 4, wherein the detection means has an estimation means for recognizing a face of a user and estimating a gaze direction of the user.

請求項6に係る本発明は、前記制御手段は、前記推定手段により推定されたユーザの視線方向と相対する位置に向くように前記表示装置の向きを制御する請求項5記載の自律移動ロボットである。   According to a sixth aspect of the present invention, in the autonomous mobile robot according to the fifth aspect, the control means controls the direction of the display device to be directed to a position opposite to the gaze direction of the user estimated by the estimation means. is there.

請求項7に係る本発明は、前記検出手段は、音声を認識する認識手段を有する請求項1から4のいずれか記載の自律移動ロボットである。   The present invention according to claim 7 is the autonomous mobile robot according to any one of claims 1 to 4, wherein the detection means has a recognition means for recognizing a voice.

請求項8に係る本発明は、前記制御手段は、前記認識手段により認識された音声が発せられた方向に前記表示装置が向くように制御する請求項7記載の自律移動ロボットである。   According to an eighth aspect of the present invention, in the autonomous mobile robot according to the seventh aspect, the control means controls the display device to be directed in the direction in which the voice recognized by the recognition means is emitted.

請求項9に係る本発明は、前記制御手段は、前記認識手段により認識された音声によるユーザの指示により前記表示装置が上方向に向くように制御する請求項7記載の自律移動ロボットである。   According to a ninth aspect of the present invention, in the autonomous mobile robot according to the seventh aspect, the control means controls the display device to face upward according to an instruction of the user by the voice recognized by the recognition means.

請求項10に係る本発明は、前記認識手段により認識された音声によるユーザの会話内容から情報を抽出する抽出手段と、前記抽出手段により抽出された情報に関する情報をサーバから取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボットである。   According to a tenth aspect of the present invention, there is provided an extraction means for extracting information from conversation contents of a user recognized by voice recognized by the recognition means, and an acquisition means for acquiring information related to information extracted by the extraction means from a server. The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.

請求項11に係る本発明は、前記認識手段により認識された音声によるユーザの要求を受付ける受付手段と、前記受付手段により受付けられたユーザの要求に関する情報をサーバから取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボットである。   The present invention according to claim 11 has a receiving means for receiving a user request by voice recognized by the recognition means, and an obtaining means for acquiring from a server information on the user request received by the receiving means. The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.

請求項1に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。   According to the first aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.

請求項2に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。   According to the second aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.

請求項3に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい高さに合わせて表示装置の地上からの位置を変えることが可能な自律移動ロボットを提供することができる。   According to the third aspect of the present invention, there is provided an autonomous mobile robot capable of changing the position of the display device from the ground according to the height at which the user can easily view without explicit operation by the user. Can.

請求項4に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい高さに合わせて表示装置の地上からの位置を変えることが可能な自律移動ロボットを提供することができる。   According to the fourth aspect of the present invention, there is provided an autonomous mobile robot capable of changing the position of the display device from the ground according to the height at which the user can easily view without explicit operation by the user. Can.

請求項5に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。   According to the fifth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.

請求項6に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。   According to the sixth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.

請求項7に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。   According to the seventh aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in a direction in which the user can easily view without explicit operation by the user.

請求項8に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。   According to the eighth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the orientation of the display device in the direction in which the user can easily view without explicit operation by the user.

請求項9に係る本発明によれば、音声により、表示装置の向きを書込みモードに変更することが可能な自律移動ロボットを提供することができる。   According to the ninth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of changing the direction of the display device to the writing mode by voice.

請求項10に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが必要な情報を表示装置に提示することが可能な自律移動ロボットを提供することができる。   According to the tenth aspect of the present invention, it is possible to provide an autonomous mobile robot capable of presenting information required by the user on the display device without the user's explicit operation.

請求項11に係る本発明によれば、音声により、ユーザが必要な情報を表示装置に提示することが可能な自律移動ロボットを提供することができる。   According to the eleventh aspect of the present invention, it is possible to provide an autonomous mobile robot capable of presenting information required by the user on a display device by voice.

本発明の一実施形態に係るディスプレイ型ロボットを適用したシステム構成を示す図である。It is a figure showing the system configuration to which the display type robot concerning one embodiment of the present invention is applied. 本発明の一実施形態に係るディスプレイ型ロボットを適用したオフィスを示す平面図である。It is a top view showing the office to which the display type robot concerning one embodiment of the present invention is applied. (A)は、本発明の一実施形態に係るディスプレイ型ロボットの正面図を示す図である。(B)は、本発明の一実施形態に係るディスプレイ型ロボットの側面図を示す図である。(A) is a figure showing the front view of the display type robot concerning one embodiment of the present invention. (B) is a figure showing the side view of the display type robot concerning one embodiment of the present invention. (A)〜(C)は、本発明の一実施形態に係るディスプレイ型ロボットの動作を示す正面図である。(A)-(C) are front views which show operation | movement of the display type robot which concerns on one Embodiment of this invention. (A)〜(C)は、本発明の一実施形態に係るディスプレイ型ロボットの動作を示す側面図である。(A)-(C) are side views which show operation | movement of the display type robot which concerns on one Embodiment of this invention. 本発明の一実施形態に係るディスプレイ型ロボットの動作を示す上面図である。It is a top view which shows operation | movement of the display type robot which concerns on one Embodiment of this invention. 本発明の一実施形態に係るディスプレイ型ロボットのハードウェア構成を示すブロック図である。It is a block diagram showing the hardware constitutions of the display type robot concerning one embodiment of the present invention. 本発明の一実施形態に係るディスプレイ型ロボットの機能構成を示すブロック図である。It is a block diagram showing functional composition of a display type robot concerning one embodiment of the present invention. 本発明の一実施形態に係るサーバのハードウェア構成を示すブロック図である。It is a block diagram showing the hardware constitutions of the server concerning one embodiment of the present invention. 本発明の一実施形態に係るディスプレイ型ロボットの制御フローを示すフローチャートである。It is a flowchart which shows the control flow of the display type robot which concerns on one Embodiment of this invention. (A)〜(D)は、本発明の一実施形態に係るディスプレイ型ロボットの動作を説明する上面図である。(A)-(D) are top views explaining operation | movement of the display type robot which concerns on one Embodiment of this invention. 本発明の一実施形態に係るディスプレイ型ロボットの動作の一例を示す図である。It is a figure which shows an example of operation | movement of the display type robot which concerns on one Embodiment of this invention. 本発明の一実施形態に係るディスプレイ型ロボットの動作の一例を示す図である。It is a figure which shows an example of operation | movement of the display type robot which concerns on one Embodiment of this invention. 図10に示すディスプレイ型ロボットのユーザ支援動作の一例であって、文書推薦機能の動作フローを示すフローチャートである。11 is a flowchart showing an operation flow of a document recommendation function, which is an example of the user assistance operation of the display type robot shown in FIG. 図14に示す文書推薦機能の動作フローにおいて、ディスプレイに表示される画面の一例を示す図である。FIG. 15 is a diagram showing an example of a screen displayed on the display in the operation flow of the document recommendation function shown in FIG. 14; 図10に示すディスプレイ型ロボットのユーザ支援動作の一例であって、検索機能の動作フローを示すフローチャートである。It is an example of the user assistance operation | movement of the display type robot shown in FIG. 10, Comprising: It is a flowchart which shows the operation | movement flow of a search function. 図16に示す検索機能の動作フローにおいて、ディスプレイに表示される画面の一例を示す図である。FIG. 17 is a diagram showing an example of a screen displayed on the display in the operation flow of the search function shown in FIG. 16;

次に、本発明の実施の形態について図面を参照して詳細に説明する。   Next, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の一実施形態の自律移動ロボットとしての自走式のディスプレイ型ロボット10を用いたシステムの構成を示す図である。   FIG. 1 is a view showing the configuration of a system using a self-propelled display type robot 10 as an autonomous mobile robot according to an embodiment of the present invention.

本発明の一実施形態のディスプレイ型ロボット10を用いたシステムは、図1に示されるように、ディスプレイ型ロボット10と、サーバ12とから構成されている。   A system using a display type robot 10 according to an embodiment of the present invention is composed of a display type robot 10 and a server 12 as shown in FIG.

そして、ディスプレイ型ロボット10とサーバ12とは、例えば無線LANターミナル14、インターネット16を経由して相互に接続されている。   The display robot 10 and the server 12 are connected to each other via, for example, a wireless LAN terminal 14 and the Internet 16.

図2は、本発明の一実施形態に係るディスプレイ型ロボット10を用いたシステムを適用したオフィス18の一例を示す。オフィス18内では、会議領域20a〜20cやフリースペース等の端末装置22を備えていない場所やモバイル端末等の端末装置を備えていない場合であってもディスプレイ型ロボット10を用いることにより端末装置と同様の操作を実行でき、ディスプレイ上にユーザが必要な情報を表示させることができる。   FIG. 2 shows an example of an office 18 to which a system using a display robot 10 according to an embodiment of the present invention is applied. In the office 18, even if the conference areas 20 a to 20 c or free spaces do not have the terminal device 22 or the terminal device such as a mobile terminal is not used, the display robot 10 can be used to Similar operations can be performed, and information required by the user can be displayed on the display.

ディスプレイ型ロボット10は、無線LANターミナル14との間でデータ等を送受信するようになっている。また、ディスプレイ型ロボット10は、オフィス18内のマップを記憶し、オフィス18内を自走するよう構成されている。そして、ディスプレイ型ロボット10は、例えばユーザの呼びかけやジェスチャーによりユーザに接近し、ユーザはディスプレイ型ロボット10を利用して、ディスプレイ上にユーザの要求する情報を表示させたり、ディスプレイを利用してメモを書き込んだり等のユーザ支援を実行することができる。   The display robot 10 transmits and receives data and the like to and from the wireless LAN terminal 14. In addition, the display robot 10 stores a map in the office 18 and is configured to travel in the office 18 by itself. Then, the display type robot 10 approaches the user by, for example, a user's call or gesture, and the user uses the display type robot 10 to display information requested by the user on the display or makes a memo using the display Can perform user support such as writing.

次に、ディスプレイ型ロボット10の構成を説明する。
図3(A)は、ディスプレイ型ロボット10の外観を示す正面図であり、図3(B)は、ディスプレイ型ロボット10の外観を示す側面図である。
Next, the configuration of the display robot 10 will be described.
FIG. 3A is a front view showing the appearance of the display robot 10, and FIG. 3B is a side view showing the appearance of the display robot 10.

ディスプレイ型ロボット10は、ロボット本体部24、移動手段としての移動装置26、表示装置としてのディスプレイ部28、ロボット本体部24に対してディスプレイ部28を支持する支持部25、検出手段としてのセンサ30を備えている。   The display type robot 10 includes a robot body 24, a moving device 26 as a moving means, a display 28 as a display device, a support 25 for supporting the display 28 with respect to the robot body 24, and a sensor 30 as a detecting means. Is equipped.

センサ30は、ロボット本体部24に設けられ、ユーザを検出して、ユーザの位置、動き、声、顔を認識する。そして、センサ30は、ユーザの顔の位置や顔の向き、姿勢等のユーザの状況を認識する。センサ30として、例えばKinectカメラが用いられ、RGBカメラや3Dカメラ等のカメラ、深度センサ、マイクロフォン、赤外線センサ、超音波センサ、レーザ距離計(LRF)等を組み合わせて用いることもできる。   The sensor 30 is provided on the robot body 24 to detect the user and recognize the position, movement, voice and face of the user. Then, the sensor 30 recognizes the user's situation such as the position of the user's face, the direction of the face, and the posture. For example, a Kinect camera is used as the sensor 30, and a camera such as an RGB camera or a 3D camera, a depth sensor, a microphone, an infrared sensor, an ultrasonic sensor, a laser range finder (LRF), or the like can be used in combination.

移動装置26は、ロボット本体部24の下部に設けられ、ロボット本体部24を移動させる。移動装置26として、例えば車輪や脚等が用いられる。車輪や脚等に駆動源としての例えばモータ、アクチュエータ、エンジン、油圧ポンプ等が接続される。   The moving device 26 is provided at the lower part of the robot body 24 and moves the robot body 24. For example, wheels or legs are used as the moving device 26. For example, a motor, an actuator, an engine, a hydraulic pump or the like as a drive source is connected to the wheels or legs.

ディスプレイ部28は、ロボット本体部24の上部に設けられ、文書データや画像データ等の各種情報を表示する。また、ディスプレイ部28は、タッチパネルとしての入力機能を有し、文字または画像の書き込みを受け付ける。   The display unit 28 is provided on the upper portion of the robot body unit 24 and displays various information such as document data and image data. The display unit 28 also has an input function as a touch panel, and accepts writing of characters or images.

支持部25は、第1の支持部25aと第2の支持部25bとで構成され、ディスプレイ部28の地上からの位置を変更する変更手段として機能する。   The support portion 25 includes a first support portion 25a and a second support portion 25b, and functions as changing means for changing the position of the display portion 28 from the ground.

図4〜図6は、ディスプレイ型ロボット10の動作を説明する図である。   4 to 6 are diagrams for explaining the operation of the display robot 10. As shown in FIG.

ディスプレイ部28は、図4(A)及び図4(B)に示されるように、ロボット本体部24に対して、ディスプレイ型ロボット10の前後方向(図4においてX軸)を軸にしてロール軸方向に360度回転可能である。つまり、ロボット本体部24に対して、ディスプレイ部28を横長に配置したり、縦長に配置したりすることができる。   As shown in FIGS. 4A and 4B, the display unit 28 has a roll axis with the display type robot 10 in the front-rear direction (X axis in FIG. 4) as an axis with respect to the robot main body 24. It can rotate 360 degrees in the direction. That is, the display unit 28 can be arranged horizontally long or vertically long with respect to the robot body 24.

また、ディスプレイ部28は、図5(A)及び図5(B)に示されるように、ロボット本体部24に対して、ディスプレイ型ロボット10の左右方向(幅方向、図5においてY軸)を軸にしてピッチ軸方向に90度回転可能である。つまり、ロボット本体部24に対して、ディスプレイ部28が前(正面)方向に向くように配置したり、上方向に向くように配置したりすることができる。   Further, as shown in FIG. 5A and FIG. 5B, the display unit 28 is positioned in the lateral direction (width direction, Y axis in FIG. 5) of the display type robot 10 with respect to the robot main body 24. As an axis, it can rotate 90 degrees in the pitch axis direction. That is, the display unit 28 can be disposed so as to face the front (front) direction, or can be disposed so as to face upward with respect to the robot main body 24.

また、ディスプレイ部28は、第1の支持部25aが、ロボット本体部24に装着されている第2の支持部25bに対してスライドして上下方向に移動することにより、図4(B)、図4(C)又は図5(B)、図5(C)に示されるように、ディスプレイ部28を上下方向(図4及び図5においてZ軸方向)に移動可能な構成となっている。すなわち、ディスプレイ部28の地上からの位置を変更可能な構成となっている。   In addition, the display unit 28 moves in the vertical direction by sliding the first support 25a with respect to the second support 25b mounted on the robot main body 24, as shown in FIG. As shown in FIG. 4C, FIG. 5B, and FIG. 5C, the display unit 28 can be moved in the vertical direction (the Z-axis direction in FIGS. 4 and 5). That is, the position of the display unit 28 from the ground can be changed.

また、ディスプレイ部28は、図6に示されるように、移動装置26の動作により、ディスプレイ部28をディスプレイ型ロボット10の上下方向(図6においてZ軸方向)を軸にしてヨー軸方向に360度回転可能である。   In addition, as shown in FIG. 6, the display unit 28 operates the moving unit 26 to move the display unit 28 in the yaw axis direction 360 about the vertical direction of the display robot 10 (Z axis direction in FIG. 6). It is rotatable.

すなわち、ディスプレイ部28は、上下、ピッチ軸、ロール軸及びヨー軸の自由度4で可動可能である。これにより、ディスプレイ部28の位置、高さ、向きが可動可能に構成されている。   That is, the display unit 28 is movable at four degrees of freedom in the vertical direction, the pitch axis, the roll axis, and the yaw axis. Thereby, the position, height, and direction of the display unit 28 are configured to be movable.

図7は、ディスプレイ型ロボット10のハードウェア構成を示すブロック図である。   FIG. 7 is a block diagram showing the hardware configuration of the display robot 10. As shown in FIG.

ディスプレイ型ロボット10は、図7に示されるように、制御手段としてのCPU32、メモリ34、記憶装置36、センサ30、無線通信部38、ディスプレイ部28、移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を有し、これらが制御バス46を介して接続されている。   As shown in FIG. 7, the display type robot 10 includes a CPU 32, a memory 34, a storage device 36, a sensor 30, a wireless communication unit 38, a display unit 28, a moving device 26, a support 25 and a pitch axis direction. A drive unit 42 and a roll axial drive unit 44 are provided, which are connected via a control bus 46.

CPU32は、メモリ34に格納された制御プログラムに基づいて予め定められた処理を実行する。   The CPU 32 executes a predetermined process based on the control program stored in the memory 34.

記憶装置36は、ディスプレイ型ロボット10の各部を制御するための制御プログラムを記憶する。また、オフィス18等のマップを記憶する。   The storage device 36 stores a control program for controlling each part of the display type robot 10. In addition, the map of the office 18 and the like is stored.

無線通信部38は、無線LANターミナル14との間で無線回線を介してデータの送受信を行っている。   The wireless communication unit 38 transmits and receives data to and from the wireless LAN terminal 14 via a wireless channel.

図8は、プログラムが実行されることにより実現されるディスプレイ型ロボット10の機能構成を示すブロック図である。   FIG. 8 is a block diagram showing a functional configuration of the display type robot 10 realized by executing a program.

ディスプレイ型ロボット10は、センサ30によりユーザを検出して接近する。そして、記憶装置36に記憶されている制御プログラムをCPU32において実行することにより、図8に示されるように、センサ30は、音声認識部48、顔認識部50、視線方向推定部52として機能する。そして、CPU32は、駆動制御部54として機能して、ディスプレイ型ロボット10のヨー軸方向駆動部として機能する移動装置26、上下方向駆動部として機能する支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44等を制御する。また、CPU32が、表示制御部49として機能して、ディスプレイ部28のディスプレイ上の画面(表示画面)を制御する。   The display robot 10 detects the user by the sensor 30 and approaches it. Then, by causing the CPU 32 to execute the control program stored in the storage device 36, the sensor 30 functions as the voice recognition unit 48, the face recognition unit 50, and the gaze direction estimation unit 52, as shown in FIG. . The CPU 32 functions as a drive control unit 54, and functions as a moving device 26 functioning as a drive unit in the yaw axis direction of the display robot 10, a support unit 25 functioning as a vertical drive unit, a pitch axis direction drive unit 42, and a roll. The axial drive unit 44 and the like are controlled. Further, the CPU 32 functions as the display control unit 49 to control a screen (display screen) on the display of the display unit 28.

音声認識部48は、音声を認識し、ユーザの呼びかけによりユーザの位置を認識する。また、ユーザの声を文字列に変換して認識する。また、会話内容を認識して話題に関連する情報を抽出し、文字列に変換して認識する。   The speech recognition unit 48 recognizes speech and recognizes the position of the user by the user's invitation. Also, the voice of the user is converted into a character string and recognized. Also, it recognizes the contents of conversation, extracts information related to the topic, converts it into a character string, and recognizes it.

顔認識部50は、音声認識部48により認識されたユーザの顔や、ジェスチャーにより支援を必要としているユーザの顔を認識する。   The face recognition unit 50 recognizes the face of the user recognized by the voice recognition unit 48 and the face of the user who needs a support by a gesture.

視線方向推定部52は、顔認識部50により認識されたユーザの視線方向を推定する。   The gaze direction estimating unit 52 estimates the gaze direction of the user recognized by the face recognition unit 50.

そして、CPU32は、顔認識部50により認識された情報及び視線方向推定部52により推定された視線方向等に基づいてユーザの状況を推定する。   Then, the CPU 32 estimates the user's situation based on the information recognized by the face recognition unit 50 and the gaze direction estimated by the gaze direction estimation unit 52.

具体的には、顔認識部50及び視線方向推定部52により認識されたユーザの位置、動き、顔、視線等の情報から、ユーザが何をしているのか推定し、例えば、立っているのか、座っているのか、どちらを向いているのか、対面で会話しているのか等の情報を取得することができる。また、複数の人がいるときに、どのような配置であるのか、お互い対面しているのか、並んでいるのか、ばらばらの方向を向いているのかを推定することができる。   Specifically, it is estimated what the user is doing from the information of the user's position, motion, face, line of sight, etc. recognized by the face recognition unit 50 and the line of sight direction estimation unit 52, for example, standing up It is possible to obtain information such as sitting, facing, and talking in person. In addition, when there are a plurality of people, it is possible to estimate what kind of arrangement, whether they face each other, whether they are lined up, or whether they are pointing in the direction of pieces.

駆動制御部54は、センサ30により検出されたユーザに向かって移動するよう移動装置26を制御する。   The drive control unit 54 controls the moving device 26 to move toward the user detected by the sensor 30.

そして、駆動制御部54は、センサ30により検出されたユーザの状況に合わせて、ヨー軸方向駆動部としての移動装置26、上下方向駆動部としての支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。   The drive control unit 54 adjusts the moving device 26 as the yaw axial direction drive unit, the support unit 25 as the vertical direction drive unit, the pitch axial direction drive unit 42, and the roll according to the user's situation detected by the sensor 30. The axial drive unit 44 is controlled.

また、駆動制御部54は、音声によるユーザの指示であって、音声認識部48により認識された予め定められた文字列により、ディスプレイ型ロボット10が移動し、ディスプレイ部28の位置や向きを変更するように移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。   Further, the drive control unit 54 moves the display type robot 10 by a predetermined character string recognized by the voice recognition unit 48, which is a user's instruction by voice, and changes the position and orientation of the display unit 28. The moving device 26, the support portion 25, the pitch axial direction drive portion 42, and the roll axial direction drive portion 44 are controlled to do this.

また、駆動制御部54は、音声認識部48により認識された音声が発せられた方向にディスプレイ型ロボット10が移動し、ディスプレイ部28が向くように移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。   Further, the drive control unit 54 moves the display type robot 10 in the direction in which the voice recognized by the voice recognition unit 48 is emitted, and the moving device 26, the support unit 25, and the pitch axis direction drive so that the display unit 28 faces. The unit 42 and the roll axial direction drive unit 44 are controlled.

すなわち、ディスプレイ型ロボット10は、センサ30で検出されたユーザの顔位置、顔の向き、姿勢等のユーザの状況に合わせて、移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44等を制御してディスプレイ部28の位置を調整したり、ユーザの目の高さに合わせてディスプレイ部28の地上からの位置を調整したり、ディスプレイ部28の向きを調整したりすることができる。   That is, according to the user's face position, face orientation, posture, and the like detected by the sensor 30, the display robot 10 moves the moving device 26, the support 25, the pitch axis direction drive 42, and the roll axis. Control the direction drive unit 44 or the like to adjust the position of the display unit 28, adjust the position of the display unit 28 from the ground according to the height of the user's eyes, or adjust the orientation of the display unit 28 can do.

また、音声認識部48により認識された音声によるユーザの指示(予め定められた文字列)により、ディスプレイ部28を上方向に向くように制御したり、前(正面)方向に向くように制御したり、ディスプレイ部28の位置や地上からの高さを調整したり、ディスプレイ部28の向きを調整したりすることができる。   The display unit 28 is controlled to turn upward or forward (front) according to the user's instruction (predetermined character string) by the voice recognized by the voice recognition unit 48. Alternatively, the position of the display unit 28 and the height from the ground can be adjusted, and the orientation of the display unit 28 can be adjusted.

ここで、ユーザの位置、姿勢、顔の向き等の状況に合わせてディスプレイ部28の位置、高さ、向きを調整するとは、例えば、顔認識部50により認識されたユーザの身長に合わせてディスプレイ部28の地上からの位置を調整することや、顔認識部50により認識されたユーザの目の高さに合わせてディスプレイ部28の地上からの位置を調整することや、顔認識部50により認識されたユーザの頭のてっぺんから50cm程度の位置にディスプレイ部28の中央が配置されるように調整することや、顔認識部50により認識されたユーザの視線方向と相対する位置に向くようにディスプレイ部28の向きを調整することや、顔認識部50により認識されたユーザの顔がディスプレイ部28の中央(正面)に配置されるように調整すること等を意味している。   Here, adjusting the position, height, and orientation of the display unit 28 in accordance with the user's position, posture, face orientation, etc. means, for example, display in accordance with the height of the user recognized by the face recognition unit 50. Adjusting the position of the unit 28 from the ground, adjusting the position of the display unit 28 from the ground according to the height of the user's eyes recognized by the face recognition unit 50, recognizing by the face recognition unit 50 So that the center of the display unit 28 is disposed at a position about 50 cm from the top of the user's head, or the display so as to face the user's gaze direction recognized by the face recognition unit 50 Adjusting the orientation of the unit 28 or adjusting the face of the user recognized by the face recognition unit 50 to be disposed at the center (front) of the display unit 28 It means.

図9は、サーバ12のハードウェア構成を示すブロック図である。   FIG. 9 is a block diagram showing the hardware configuration of the server 12.

サーバ12は、図9に示されるように、CPU56、メモリ58、記憶装置60、データベース61、インターネット16を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース(IF)62を有する。これらの構成要素は、制御バス64を介して互いに接続されている。   As shown in FIG. 9, the server 12 is a communication interface (IF) 62 that transmits and receives data to and from an external device via the CPU 56, the memory 58, the storage device 60, the database 61, and the Internet 16. Have. These components are connected to one another via a control bus 64.

CPU56は、メモリ58または記憶装置60に格納された制御プログラムに基づいて所定の処理を実行して、サーバ12の動作を制御する。なお、本実施形態では、CPU56は、メモリ58または記憶装置60内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをCD−ROM等の記憶媒体に格納してCPU56に提供することも可能である。   The CPU 56 executes predetermined processing based on a control program stored in the memory 58 or the storage device 60 to control the operation of the server 12. In the present embodiment, the CPU 56 is described as reading and executing the control program stored in the memory 58 or the storage device 60. However, the CPU 56 stores the program in a storage medium such as a CD-ROM and the like. It is also possible to provide.

データベース61は、文書推薦エンジン、検索エンジン等を格納する。文書推薦エンジンは、データベース61に格納されている情報やインターネット上の情報の中から話題に関連する情報を抽出する。検索エンジンは、データベース61に格納されている情報やインターネット上の情報の中からユーザに指定された情報と関連する情報を抽出する。   The database 61 stores a document recommendation engine, a search engine, and the like. The document recommendation engine extracts information related to the topic from the information stored in the database 61 and the information on the Internet. The search engine extracts information related to the information designated by the user from the information stored in the database 61 and the information on the Internet.

次に、ディスプレイ型ロボット10の動作について図10及び図11に基づいて説明する。図10は、ディスプレイ型ロボット10の制御フローを示すフローチャートである。図11(A)〜(D)は、ディスプレイ型ロボット10の動作を説明する上面図である。   Next, the operation of the display robot 10 will be described based on FIGS. 10 and 11. FIG. FIG. 10 is a flowchart showing the control flow of the display robot 10. As shown in FIG. 11A to 11D are top views for explaining the operation of the display robot 10. As shown in FIG.

まず、ディスプレイ型ロボット10は、センサ30により会話中のユーザa、ユーザbを検出する(ステップS10)。   First, the display robot 10 detects the user a and the user b in a conversation by the sensor 30 (step S10).

次に、CPU32は、ユーザa、ユーザbが支援が必要か否かを判定する(ステップS11)。例えば、ユーザの呼びかけや手招き等のジェスチャーによりユーザの支援が必要か否かを判定する。そして、ユーザの支援が必要であると判定された場合には次のステップS12へ進む。ユーザの支援が必要でないと判定された場合には、処理を終了し、ホームポジションに移動したり、巡回動作に戻る。   Next, the CPU 32 determines whether the user a and the user b need assistance (step S11). For example, it is determined whether a user's assistance is required by a gesture such as a user's call or a beckon. Then, if it is determined that the user needs to be supported, the process proceeds to the next step S12. If it is determined that the user's assistance is not necessary, the processing is ended, and the user moves to the home position or returns to the patrol operation.

そして、ユーザの支援が必要であると判定された場合には、CPU32は、顔認識部50、視線方向推定部52によりユーザa及びユーザbの位置、姿勢、顔の向き(視線方向)等のユーザa、ユーザbの状況を推定する(ステップS12)。   When it is determined that the user's assistance is necessary, the CPU 32 causes the face recognition unit 50 and the gaze direction estimation unit 52 to determine the positions, postures, and face directions (gaze direction) of the users a and b. The situation of the user a and the user b is estimated (step S12).

そして、図11(A)に示されるようにユーザa、ユーザbの視界に入るようにできるだけ横から接近(移動)する。そして、図11(B)に示されるように、CPU32は、推定されたユーザa、ユーザbの位置、姿勢、顔の向き等の状況に合わせて、ユーザaとユーザbの両方から見易い位置にディスプレイ部28が配置されるように、駆動制御部54により移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44を制御して、ディスプレイ部28の位置や高さや向きを調整する(ステップS13)。   Then, as shown in FIG. 11A, the user approaches from the side as much as possible (moves) so as to enter the view of the user a and the user b. Then, as shown in FIG. 11B, the CPU 32 sets the position easy for both the user a and the user b to see according to the estimated position of the user a, the position of the user b, the posture of the user b, and the like. The drive control unit 54 controls the moving device 26, the support unit 25, the pitch axial direction drive unit 42, and the roll axial direction drive unit 44 so that the display unit 28 is disposed, and the position, height, and orientation of the display unit 28. (Step S13).

なお、ディスプレイに表示する内容に応じて、駆動制御部54によりロール軸方向駆動部44を制御して、ディスプレイ部28の向きをユーザに対して横長にして表示したり、回転して縦長にして表示したりする。   The drive control unit 54 controls the roll axial direction drive unit 44 according to the content to be displayed on the display to display the orientation of the display unit 28 horizontally to the user or rotate it to be vertically elongated. Display.

そして、CPU32は、ユーザの要求する情報をディスプレイ部28に表示する等のユーザ支援を実行するよう制御する(ステップS14)。   Then, the CPU 32 controls to execute user support such as displaying information requested by the user on the display unit 28 (step S14).

また、ユーザaが、ディスプレイに視線を向けたり呼びかけ(インタラクション)をした場合には、図11(C)及び図12に示されるように、CPU32は、ユーザaの方にディスプレイ部28を向けるように制御する。具体的には、CPU32は、ユーザaの顔位置、姿勢、顔の向き等のユーザaの状況に合わせてディスプレイ部28の位置、高さ、向きを制御する。   In addition, when the user a directs a line of sight to the display or makes an interaction (interaction), as shown in FIG. 11C and FIG. 12, the CPU 32 directs the display unit 28 toward the user a. Control. Specifically, the CPU 32 controls the position, height, and orientation of the display unit 28 in accordance with the user's a situation such as the face position, posture, and face orientation of the user a.

つまり、ユーザaのインタラクションにより、駆動制御部54により支持部(上下方向駆動部)25を制御して、ディスプレイ部28の高さをユーザaの顔位置、姿勢、顔の向きに合わせて調整する。また、駆動制御部54により移動装置(ヨー軸方向駆動部)26を制御して、ディスプレイ部28の向きをユーザaの顔位置、姿勢、顔の向きに合わせて調整する。すなわち、ディスプレイ部28が、センサ30により検出されたユーザaの視線方向と相対する位置に向くようにディスプレイ部28の位置、高さ、向きを調整する。   That is, the drive control unit 54 controls the support unit (vertical drive unit) 25 by the interaction of the user a, and adjusts the height of the display unit 28 according to the face position, posture, and face direction of the user a. . The drive control unit 54 controls the moving device (yaw axial direction drive unit) 26 to adjust the orientation of the display unit 28 according to the face position, posture, and face orientation of the user a. That is, the position, height, and direction of the display unit 28 are adjusted so that the display unit 28 faces a position facing the viewing direction of the user a detected by the sensor 30.

また、CPU32は、ユーザの「ブレストモードにして!」等の呼びかけにより、図11(D)及び図13に示されるように、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が90度倒れて上方向を向くように制御する。すなわち、ロボット本体部24に対してディスプレイ型ロボット10の左右方向を軸にしてディスプレイ部28をピッチ軸方向に90度回転させて書込みモードにすることができる。   Further, the CPU 32 controls the pitch axis direction drive unit 42 by the drive control unit 54 to display the display unit as shown in FIG. 11D and FIG. 28 is controlled so that it falls 90 degrees and turns upward. That is, the display unit 28 can be rotated 90 degrees in the pitch axis direction with respect to the robot main body unit 24 with the left and right direction of the display type robot 10 as an axis, to set the writing mode.

さらに、CPU32は、ユーザの「戻って!」等の呼びかけにより、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が倒れて上方向を向いた状態(書込みモード)からディスプレイ部28が前(正面)方向を向くように制御する。   Furthermore, the CPU 32 controls the pitch axial direction drive unit 42 by the drive control unit 54 by a call from the user such as “Back!”, And the display unit 28 falls down and is directed upward (display mode) It controls so that the part 28 turns to the front (front) direction.

つまり、ユーザの予め定められた呼びかけにより、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が上方向に向くように制御したり正面方向を向くように制御することができる。そして、上方向を向いたディスプレイ部28を利用して、ユーザは書込み操作等をすることができる。   That is, according to a predetermined call from the user, the drive control unit 54 can control the pitch axial direction drive unit 42 to control the display unit 28 to face upward or to control to face the front. . Then, the user can perform a writing operation and the like by using the display unit 28 facing upward.

次に、ディスプレイ型ロボット10のユーザ支援動作の一例について説明する。   Next, an example of the user assistance operation of the display robot 10 will be described.

図14は、ディスプレイ型ロボット10の文書推薦機能の動作フローを示すフローチャートである。   FIG. 14 is a flowchart showing an operation flow of the document recommendation function of the display robot 10.

ここで、文書推薦機能とは、ユーザの明示的な指示がなくても、所定間隔で会話内容を音声認識して会話内容に含まれるキーワードを抽出し、抽出されたキーワードに関連する文書等の情報をデータベース61に格納されたデータ又はインターネット上から抽出して、関連文書としてユーザに推薦する機能をいう。   Here, with the document recommendation function, even if there is no explicit instruction from the user, speech contents are voice-recognized at predetermined intervals to extract keywords contained in the contents of the conversation, and a document related to the extracted keywords, etc. It refers to the function of extracting information from data stored in the database 61 or from the Internet and recommending it as a related document to the user.

まず、センサ30により会話内容を聴き取る(ステップS20)。   First, the conversation contents are listened to by the sensor 30 (step S20).

そして、会話内容を音声認識して文字列に変換し、会話内容に含まれるキーワードを抽出する(ステップS21)。このとき、所定間隔であって、例えば15秒毎に音声認識して会話内容に含まれるキーワードを抽出する。   Then, the conversation content is voice-recognized and converted into a character string, and a keyword included in the conversation content is extracted (step S21). At this time, speech recognition is performed at predetermined intervals, for example, every 15 seconds, and keywords included in the contents of conversation are extracted.

そして、抽出されたキーワードの情報を無線通信部38を介してサーバ12へ送信する。そして、文書推薦エンジンにより解析を行って、データベース61に格納されている情報やインターネット上の情報の中から、キーワードに関連する文書等の情報を解析結果として取得する(ステップS22)。   Then, the information of the extracted keyword is transmitted to the server 12 via the wireless communication unit 38. Then, analysis is performed by the document recommendation engine, and information such as a document related to the keyword is acquired as an analysis result from the information stored in the database 61 and the information on the Internet (step S22).

そして、解析結果一覧をディスプレイ部28に表示する(ステップS23)。具体的には、例えば、会話内容に含まれるキーワードとして「ロボット」、「AI」、「社内文書」が抽出されると、抽出された「ロボット」、「AI」、「社内文書」に関連する文書が検出され、図15に示されるように、検出された解析結果がディスプレイ部28に表示される。   Then, the analysis result list is displayed on the display unit 28 (step S23). Specifically, for example, when "robot", "AI", or "in-house document" is extracted as a keyword included in the conversation content, it is related to the extracted "robot," "AI," or "in-house document" A document is detected, and the detected analysis result is displayed on the display unit 28 as shown in FIG.

そして、解析結果一覧の中からユーザにより選択された文書がディスプレイ部28に表示される(ステップS24)。   Then, the document selected by the user from the analysis result list is displayed on the display unit 28 (step S24).

図16は、ディスプレイ型ロボット10の検索機能の動作フローを示すフローチャートである。   FIG. 16 is a flowchart showing the operation flow of the search function of the display robot 10. As shown in FIG.

ここで、検索機能とは、ユーザの質問等の知りたい情報に基づいて、この知りたい情報(質問)に関連する文書等の情報をデータベース61に格納されたデータ又はインターネット上から検索してユーザに提示する機能をいう。   Here, the search function refers to a user who searches for information such as a document related to the information (question) that he / she wants to know from data stored in the database 61 or from the Internet based on the information that the user wants to know Refers to the function presented to

まず、図17に示されるように、ディスプレイ部28の検索画面においてユーザの質問(知りたい情報)を受け付ける(ステップS30)。   First, as shown in FIG. 17, the user's question (information to be known) is accepted on the search screen of the display unit 28 (step S30).

そして、質問内容を音声認識して文字列に変換する(ステップS31)。   Then, the question content is voice-recognized and converted into a character string (step S31).

そして、認識結果を無線通信部38を介してサーバ12へ送信する。そして、検索エンジンにより解析を行って、データベース61に格納されている情報やインターネット上の情報の中からユーザの知りたい情報に関連する文書等の情報を解析結果として取得する(ステップS32)。   Then, the recognition result is transmitted to the server 12 via the wireless communication unit 38. Then, analysis is performed by the search engine, and information such as a document related to information desired by the user is acquired as an analysis result from the information stored in the database 61 and the information on the Internet (step S32).

そして、解析結果一覧をディスプレイ部28に表示する(ステップS33)。   Then, the analysis result list is displayed on the display unit 28 (step S33).

そして、ユーザにより選択を受け付けると、選択された文書をディスプレイ部28に表示する(ステップS34)。   Then, when the selection is accepted by the user, the selected document is displayed on the display unit 28 (step S34).

具体的には、例えば、ユーザが検索画面において「旅費の精算方法」について質問すると、音声認識されることにより、データベース61に格納された「旅費の精算方法」に関連する文書がディスプレイ部28に表示される。   Specifically, for example, when the user makes a question about the “travel expense settlement method” on the search screen, the document related to the “travel expense settlement method” stored in the database 61 is voice-recognized, and the display unit 28 Is displayed.

なお、本発明は、上記実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。例えば、上記実施形態では、ディスプレイ部28が、上下、ピッチ軸、ロール軸及びヨー軸の自由度4で可動可能な構成について説明したが、これに限らず、少なくとも複数軸以上の自由度で可動可能な構成に適用することができる。   The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, in the above embodiment, the display unit 28 has been described as movable in the vertical, pitch, roll, and yaw axes with four degrees of freedom. However, the present invention is not limited thereto. It can be applied to possible configurations.

10 ディスプレイ型ロボット(自律移動ロボット)
12 サーバ
24 ロボット本体部
25 支持部(変更手段、上下方向駆動部)
26 移動装置(ヨー軸方向駆動部)
28 ディスプレイ部(表示装置)
30 センサ
32 CPU(制御手段)
34 メモリ
36 記憶装置
38 無線通信部
42 ピッチ軸方向駆動部
44 ロール軸方向駆動部
10 Display Robot (Autonomous Mobile Robot)
12 server 24 robot main body 25 support (changing means, vertical drive)
26 Moving device (Yaw axis direction drive unit)
28 Display (Display Device)
30 sensor 32 CPU (control means)
34 memory 36 storage unit 38 wireless communication unit 42 pitch axial direction drive unit 44 roll axial direction drive unit

Claims (11)

ロボット本体部と、
前記ロボット本体部を移動させる移動手段と、
前記ロボット本体部に対して、少なくとも複数軸以上の自由度で可動可能な表示装置と、
移動先のユーザの状況を検出する検出手段と、
前記検出手段により検出されたユーザの状況に合わせて前記表示装置の向きを制御する制御手段と、
を備えた自律移動ロボット。
The robot body,
Moving means for moving the robot body;
A display device movable with respect to the robot main body with at least a plurality of axes of freedom;
Detection means for detecting the situation of the destination user;
Control means for controlling the orientation of the display device according to the situation of the user detected by the detection means;
Mobile robot with.
前記表示装置は、ピッチ軸、ロール軸およびヨー軸の三軸のうち少なくとも複数軸以上の自由度で可動可能である請求項1記載の自律移動ロボット。   The autonomous mobile robot according to claim 1, wherein the display device is movable with a degree of freedom of at least a plurality of three axes among a pitch axis, a roll axis and a yaw axis. 前記表示装置の地上からの位置を上下方向に変更する変更手段をさらに備えた請求項1又は2記載の自律移動ロボット。   3. The autonomous mobile robot according to claim 1, further comprising changing means for changing the position of the display device from the ground in the vertical direction. 前記制御手段は、前記検出手段により検出されたユーザの目の高さに合わせて、前記表示装置の地上からの位置を変更するよう前記変更手段を制御する請求項3記載の自律移動ロボット。   The autonomous mobile robot according to claim 3, wherein the control means controls the change means to change the position of the display device from the ground according to the height of the user's eyes detected by the detection means. 前記検出手段は、ユーザの顔を認識して、そのユーザの視線方向を推定する推定手段を有する請求項1から4のいずれか記載の自律移動ロボット。   The autonomous mobile robot according to any one of claims 1 to 4, wherein the detection means comprises an estimation means for recognizing a face of a user and estimating a gaze direction of the user. 前記制御手段は、前記推定手段により推定されたユーザの視線方向と相対する位置に向くように前記表示装置の向きを制御する請求項5記載の自律移動ロボット。   6. The autonomous mobile robot according to claim 5, wherein the control means controls the direction of the display device to be directed to a position opposite to the gaze direction of the user estimated by the estimation means. 前記検出手段は、音声を認識する認識手段を有する請求項1から4のいずれか記載の自律移動ロボット。   The autonomous mobile robot according to any one of claims 1 to 4, wherein the detection means comprises recognition means for recognizing speech. 前記制御手段は、前記認識手段により認識された音声が発せられた方向に前記表示装置が向くように制御する請求項7記載の自律移動ロボット。   The autonomous mobile robot according to claim 7, wherein the control means controls the display device to face in the direction in which the voice recognized by the recognition means is emitted. 前記制御手段は、前記認識手段により認識された音声によるユーザの指示により前記表示装置が上方向に向くように制御する請求項7記載の自律移動ロボット。   8. The autonomous mobile robot according to claim 7, wherein said control means controls said display device to face upward according to a user's instruction by voice recognized by said recognition means. 前記認識手段により認識された音声によるユーザの会話内容から情報を抽出する抽出手段と、
前記抽出手段により抽出された情報に関する情報をサーバから取得する取得手段と、を有し、
前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボット。
Extracting means for extracting information from the conversation content of the user by the voice recognized by the recognition means;
And acquiring means for acquiring information related to the information extracted by the extraction means from a server,
The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.
前記認識手段により認識された音声によるユーザの要求を受付ける受付手段と、
前記受付手段により受付けられたユーザの要求に関する情報をサーバから取得する取得手段と、を有し、
前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボット。
Reception means for receiving a user request by voice recognized by the recognition means;
Obtaining means for obtaining from the server information on the user request accepted by the accepting means;
The autonomous mobile robot according to any one of claims 7 to 9, wherein the control means controls to display the information acquired by the acquisition means on the display device.
JP2017214903A 2017-11-07 2017-11-07 Autonomous mobile robot Pending JP2019084628A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017214903A JP2019084628A (en) 2017-11-07 2017-11-07 Autonomous mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017214903A JP2019084628A (en) 2017-11-07 2017-11-07 Autonomous mobile robot

Publications (1)

Publication Number Publication Date
JP2019084628A true JP2019084628A (en) 2019-06-06

Family

ID=66763769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017214903A Pending JP2019084628A (en) 2017-11-07 2017-11-07 Autonomous mobile robot

Country Status (1)

Country Link
JP (1) JP2019084628A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022009349A1 (en) * 2020-07-08 2022-01-13 日本電気株式会社 Conversation monitoring device, control method, and computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038252A (en) * 2002-06-28 2004-02-05 Toshiba Solutions Corp Information provision support system and method
JP2004214895A (en) * 2002-12-27 2004-07-29 Toshiba Corp Auxiliary communication apparatus
JP2010082714A (en) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd Communication robot
US20100180709A1 (en) * 2009-01-22 2010-07-22 Samsung Electronics Co., Ltd. Robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038252A (en) * 2002-06-28 2004-02-05 Toshiba Solutions Corp Information provision support system and method
JP2004214895A (en) * 2002-12-27 2004-07-29 Toshiba Corp Auxiliary communication apparatus
JP2010082714A (en) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd Communication robot
US20100180709A1 (en) * 2009-01-22 2010-07-22 Samsung Electronics Co., Ltd. Robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022009349A1 (en) * 2020-07-08 2022-01-13 日本電気株式会社 Conversation monitoring device, control method, and computer readable medium
JP7416253B2 (en) 2020-07-08 2024-01-17 日本電気株式会社 Conversation monitoring device, control method, and program

Similar Documents

Publication Publication Date Title
US20200225910A1 (en) Hands-free navigation of touch-based operating systems
US9483113B1 (en) Providing user input to a computing device with an eye closure
US11126257B2 (en) System and method for detecting human gaze and gesture in unconstrained environments
US11100608B2 (en) Determining display orientations for portable devices
US20170256096A1 (en) Intelligent object sizing and placement in a augmented / virtual reality environment
US9910505B2 (en) Motion control for managing content
US10877564B2 (en) Approaches for displaying alternate views of information
JP6126076B2 (en) A system for rendering a shared digital interface for each user's perspective
US9288471B1 (en) Rotatable imaging assembly for providing multiple fields of view
US10360876B1 (en) Displaying instances of visual content on a curved display
Caggianese et al. Natural interaction and wearable augmented reality for the enjoyment of the cultural heritage in outdoor conditions
JP4907483B2 (en) Video display device
US9794516B1 (en) Telepresence system
WO2016189390A2 (en) Gesture control system and method for smart home
US20180316911A1 (en) Information processing apparatus
CN104364753A (en) Approaches for highlighting active interface elements
US9672588B1 (en) Approaches for customizing map views
US10019140B1 (en) One-handed zoom
US20190312917A1 (en) Resource collaboration with co-presence indicators
CN108369451B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP2007265329A (en) Route guidance system
JP2019084628A (en) Autonomous mobile robot
Chacón-Quesada et al. Augmented reality controlled smart wheelchair using dynamic signifiers for affordance representation
US9857869B1 (en) Data optimization
JP2018005663A (en) Information processing unit, display system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125