JP2002355779A - Robot type interface device and control method for the same - Google Patents

Robot type interface device and control method for the same

Info

Publication number
JP2002355779A
JP2002355779A JP2001166227A JP2001166227A JP2002355779A JP 2002355779 A JP2002355779 A JP 2002355779A JP 2001166227 A JP2001166227 A JP 2001166227A JP 2001166227 A JP2001166227 A JP 2001166227A JP 2002355779 A JP2002355779 A JP 2002355779A
Authority
JP
Japan
Prior art keywords
robot
interface device
type interface
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001166227A
Other languages
Japanese (ja)
Inventor
Hironori Yamataka
大乗 山高
Atsuro Nakamura
淳良 中村
Yasuhiro Ueda
泰広 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001166227A priority Critical patent/JP2002355779A/en
Publication of JP2002355779A publication Critical patent/JP2002355779A/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G06F19/00

Abstract

PROBLEM TO BE SOLVED: To provide a robot type interface device that permits a user to recognize presented information accurately. SOLUTION: A drive device is controlled to move the robot type interface device so that the face of a user captured by a video camera 113 is near the center of an image. An angle of a liquid crystal display device 111 relative to the robot type interface device is next changed. The liquid crystal display device 111 is thus controlled into a position continuously opposed to the face of the user, who can accurately recognize presented information.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、使用者との間で情
報の入出力を行なうインタフェース装置に関し、特に、
家庭などにおいて使用される生物的な動作を行なうロボ
ット型インタフェース装置およびその制御方法に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interface device for inputting and outputting information to and from a user.
The present invention relates to a robot-type interface device that performs a biological action used at home or the like and a control method thereof.

【0002】[0002]

【従来の技術】近年、犬型ロボットなどの民生用ロボッ
トが、ホビー用として家庭に普及しつつある。このよう
な民生用ロボットに関連する技術として、特開平7-2
48823号公報に開示された発明がある。
2. Description of the Related Art In recent years, consumer robots such as dog-type robots have become widespread at home for hobby use. As a technology related to such a consumer robot, JP-A-7-2
There is an invention disclosed in Japanese Patent No. 48823.

【0003】特開平7-248823号公報に開示され
たパーソナルロボット装置は、プログラムを記憶するメ
モリと、プログラムを実行するマイコンと、プログラム
に応じて走行する走行ブロックと、ロボット本体に入力
された映像、音声、データおよびロボット本体における
信号や情報の処理内容を外部に対して表示する1つまた
は複数の組合わせによる表示装置とを有している。
A personal robot apparatus disclosed in Japanese Patent Application Laid-Open No. 7-248823 has a memory for storing a program, a microcomputer for executing the program, a traveling block for traveling in accordance with the program, and an image input to the robot body. , And a display device of one or a plurality of combinations for externally displaying the processing contents of voice, data, and signals and information in the robot main body.

【0004】表示装置がロボット本体における信号や情
報の処理内容を外部に対して表示することによって、使
用者は、ロボットが何を見ているのか、何を聞いている
のか、何を考えているのか、次に何をしようとしている
のかを容易に知ることができ、ロボットが自由に動くこ
と自体に不安感を持つ使用者に安心感を与えるものであ
る。
[0004] The display device displays the processing contents of signals and information in the robot body to the outside, so that the user thinks what the robot is looking at, what he is listening to, and what he is listening to. This makes it easy to know what is going to be done next, and gives a sense of security to a user who has anxiety about the robot moving freely.

【0005】[0005]

【発明が解決しようとする課題】上述した特開平7−2
48823号公報に開示された発明のように、使用者と
の間で情報をやり取りするロボット型インタフェース装
置においては、入出力いずれにおいてもその認識率が重
要になる。すなわち、ロボットが使用者の音声や周りの
物体などを正しく認識したり、使用者が正しく認識でき
るように発声や表示を行なったりすることが重要であ
る。特に、民生用ロボットにおいて、使用者とロボット
との間の相互の情報伝達の正確さが、使用者に与えるロ
ボット全体に対する印象に大きく影響する。
SUMMARY OF THE INVENTION The above-mentioned JP-A-7-2
In a robot-type interface device for exchanging information with a user as in the invention disclosed in Japanese Patent No. 48823, the recognition rate is important in both input and output. That is, it is important for the robot to correctly recognize the user's voice, surrounding objects, and the like, and to make a voice or display so that the user can correctly recognize. In particular, in a consumer robot, the accuracy of mutual information transmission between the user and the robot greatly affects the user's impression of the entire robot.

【0006】しかし、特開平7−248823号公報に
開示されたパーソナルロボット装置においては、表示装
置がロボット本体に固定されているため、パーソナルロ
ボット装置の走行によってパーソナルロボット装置と使
用者とを結ぶ平面(地面に対して平行な平面)上での相
対位置を調整することができる。しかし、その平面に対
する表示装置の相対角度を調整することができないた
め、使用者が表示装置に表示された内容を正しく認識す
るためには、表示装置が見える位置まで顔を移動させな
ければならないという問題点があった。また、外光や騒
音などの外乱による表示装置への影響を調整することが
できないという問題点もあった。
However, in the personal robot device disclosed in Japanese Patent Application Laid-Open No. 7-248823, since the display device is fixed to the robot body, a plane connecting the personal robot device and the user by traveling of the personal robot device. (A plane parallel to the ground) can be adjusted. However, since the relative angle of the display device to the plane cannot be adjusted, the user must move his / her face to a position where the display device can be seen in order to correctly recognize the content displayed on the display device. There was a problem. There is also a problem that it is not possible to adjust the influence on the display device due to disturbance such as external light and noise.

【0007】また、ロボットと使用者とのインタラクシ
ョンによって、ユーザが受ける印象には様々な要因があ
ると考えられるが、その中でもロボットの形態によるも
のが大きいと考えられる。しかし、従来のロボットに搭
載されたセンサ類または表示装置などが固定であるた
め、移動時や接触時などにインタラクションの妨げとな
ったり、インタラクション自体が原因でセンサ類または
表示装置などが故障するといった問題点があった。
[0007] Further, it is considered that there are various factors in the impression received by the user due to the interaction between the robot and the user. Among them, it is considered that the impression depends on the form of the robot. However, since sensors or display devices mounted on conventional robots are fixed, they may hinder interaction when moving or touching, or sensors or display devices may break down due to the interaction itself. There was a problem.

【0008】本発明は、上記問題点を解決するためにな
されたものであり、第1の目的は、使用者が提示される
情報を正確に認識することが可能なロボット型インタフ
ェース装置およびその制御方法を提供することである。
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and a first object of the present invention is to provide a robot type interface device capable of accurately recognizing information presented by a user and a control thereof. Is to provide a way.

【0009】第2の目的は、外部情報を正確に取得して
的確な制御を行なうことが可能なロボット型インタフェ
ース装置を提供することである。
A second object is to provide a robot-type interface device capable of accurately acquiring external information and performing accurate control.

【0010】第3の目的は、消費電力を削減することが
可能なロボット型インタフェース装置を提供することで
ある。
A third object is to provide a robot-type interface device capable of reducing power consumption.

【0011】第4の目的は、装置の位置を変更すること
により装置の保護が可能であり、使用者が利用しやすい
形状のロボット型インタフェース装置を提供することで
ある。
A fourth object of the present invention is to provide a robot-type interface device which can be protected by changing the position of the device and which can be easily used by a user.

【0012】[0012]

【課題を解決するための手段】本発明のある局面に従え
ば、周辺の状態に応じて使用者に情報を提示するロボッ
ト型インタフェース装置であって、ロボット型インタフ
ェース装置周辺の状態を検知するための検知手段と、使
用者に対して情報を提示するための表示手段と、ロボッ
ト型インタフェース装置を移動させるための第1の駆動
手段と、表示手段を移動させるための第2の駆動手段
と、検知手段によって検知された周辺の状態に応じて第
1の駆動手段を制御してロボット型インタフェース装置
を移動させ、第2の駆動手段を制御してロボット型イン
タフェース装置に対する表示手段の相対位置と相対角度
との少なくとも一方を変更して使用者に情報を提示させ
るための制御手段とを含む。
According to one aspect of the present invention, there is provided a robot-type interface device for presenting information to a user in accordance with a peripheral state, and for detecting a state around the robot-type interface device. Detecting means, display means for presenting information to the user, first driving means for moving the robot-type interface device, second driving means for moving the display means, The first driving means is controlled in accordance with the peripheral state detected by the detection means to move the robot-type interface device, and the second driving means is controlled to control the relative position and relative position of the display means with respect to the robot-type interface device. Control means for changing at least one of the angles and presenting information to the user.

【0013】制御手段は、第2の駆動手段を制御してロ
ボット型インタフェース装置に対する表示手段の相対位
置と相対角度との少なくとも一方を変更して使用者に情
報を提示させるので、使用者は提示される情報を正確に
認識することが可能となる。
The control means controls the second drive means to change at least one of the relative position and the relative angle of the display means with respect to the robot-type interface device, thereby causing the user to present information. It is possible to accurately recognize the information to be performed.

【0014】好ましくは、検知手段は、周辺の画像を取
得するための画像取得手段を含み、ロボット型インタフ
ェース装置はさらに、画像取得手段を移動させるための
第3の駆動手段を含み、制御手段は、画像取得手段によ
って取得された使用者の顔が画像の中央近傍となるよう
に、第1の駆動手段と第3の駆動手段とを制御した後、
第2の駆動手段を制御してロボット型インタフェース装
置に対する表示手段の相対位置と相対角度との少なくと
も一方を変更する。
Preferably, the detecting means includes an image acquiring means for acquiring an image of the periphery, the robot-type interface device further includes a third driving means for moving the image acquiring means, and the control means comprises: After controlling the first driving means and the third driving means so that the user's face acquired by the image acquiring means is located near the center of the image,
The second driving means is controlled to change at least one of the relative position and the relative angle of the display means with respect to the robot-type interface device.

【0015】したがって、使用者の顔の位置を正確に判
断することができ、ロボット型インタフェース装置の的
確な制御を行なうことが可能となる。
Therefore, the position of the user's face can be accurately determined, and accurate control of the robot-type interface device can be performed.

【0016】さらに好ましくは、制御手段は、画像取得
手段によって取得された使用者の顔の画像が予め記憶さ
れた顔の画像と一致する場合に、表示手段による情報の
提示を開始する。
[0016] More preferably, the control means starts presenting information by the display means when the image of the user's face acquired by the image acquisition means coincides with a previously stored face image.

【0017】したがって、予め登録された使用者以外に
情報が提示されるのを防止することが可能となる。
Therefore, it is possible to prevent information from being presented to a user other than the user registered in advance.

【0018】好ましくは、検知手段はさらに、周辺にあ
る物体までの距離を計測するための距離計測手段を含
み、制御手段は、距離計測手段によって計測された使用
者までの距離が所定値となるように第1の駆動手段を制
御してロボット型インタフェース装置を移動させた後、
画像取得手段によって取得された使用者の顔が画像の中
央近傍となるように、第1の駆動手段と第3の駆動手段
とを制御した後、第2の駆動手段を制御して表示手段の
相対位置と相対角度との少なくとも一方を変更する。
Preferably, the detecting means further includes a distance measuring means for measuring a distance to a peripheral object, and the control means sets the distance to the user measured by the distance measuring means to a predetermined value. After moving the robot-type interface device by controlling the first driving means as described above,
After controlling the first driving means and the third driving means so that the user's face acquired by the image acquiring means is near the center of the image, the second driving means is controlled to control the display means. At least one of the relative position and the relative angle is changed.

【0019】したがって、ロボット型インタフェース装
置は、使用者がいる位置まで正確に移動することが可能
となる。
Therefore, the robot-type interface device can accurately move to the position where the user is.

【0020】好ましくは、ロボット型インタフェース装
置はさらに、周辺の照度を計測するための照度計測手段
を含み、制御手段は、照度計測手段によって計測された
周辺の照度に応じて、表示手段の表示モードを変更す
る。
Preferably, the robot-type interface device further includes illuminance measuring means for measuring peripheral illuminance, and the control means controls the display mode of the display means in accordance with the peripheral illuminance measured by the illuminance measuring means. To change.

【0021】したがって、表示手段の表示モードを的確
に変更でき、消費電力を削減することが可能となる。
Therefore, the display mode of the display means can be accurately changed, and power consumption can be reduced.

【0022】好ましくは、ロボット型インタフェース装
置はさらに、使用者の音声を入力して認識するための音
声入力手段を含み、制御手段は、音声入力手段による認
識結果が第1の所定命令であれば、表示手段による情報
の提示を開始する。
Preferably, the robot-type interface device further includes voice input means for inputting and recognizing a user's voice, and the control means determines that the recognition result by the voice input means is a first predetermined command. Then, presentation of information by the display means is started.

【0023】したがって、ロボット型インタフェース装
置は、情報提示の開始を正確に判断することが可能とな
る。
Therefore, the robot-type interface device can accurately determine the start of information presentation.

【0024】さらに好ましくは、制御手段は、音声入力
手段による認識結果が第2の所定命令であれば、表示手
段による情報の提示を終了する。
[0024] More preferably, the control means terminates the presentation of the information by the display means if the recognition result by the voice input means is the second predetermined command.

【0025】したがって、ロボット型インタフェース装
置は、情報提示の終了を正確に判断することが可能とな
る。
Therefore, the robot type interface device can accurately determine the end of the information presentation.

【0026】さらに好ましくは、ロボット型インタフェ
ース装置はさらに、周辺の照度を計測するための照度計
測手段を含み、制御手段は、照度計測手段によって計測
された周辺の照度が所定値以下の場合に、表示手段によ
る情報の提示を終了する。
More preferably, the robot-type interface device further includes illuminance measuring means for measuring peripheral illuminance, and the control means includes: when the peripheral illuminance measured by the illuminance measuring means is equal to or less than a predetermined value, The presentation of the information by the display means ends.

【0027】したがって、ロボット型インタフェース装
置は、情報提示の終了を正確に判断することが可能とな
る。
Therefore, the robot-type interface device can accurately determine the end of the information presentation.

【0028】好ましくは、ロボット型インタフェース装
置はさらに、表示手段を覆うように設けられたカバーを
含み、第2の駆動手段は、カバーを開いた後、表示手段
を持上げて移動させる。
Preferably, the robot-type interface device further includes a cover provided so as to cover the display means, and the second drive means lifts and moves the display means after opening the cover.

【0029】したがって、情報を提示するとき以外は表
示手段がカバーに覆われているため、衝撃に弱い表示手
段を保護することが可能となる。
Therefore, the display means is covered with the cover except when presenting information, so that the display means which is vulnerable to impact can be protected.

【0030】好ましくは、ロボット型インタフェース装
置はさらに、外部から情報を受信するための受信手段を
含み、表示手段は受信手段によって受信された情報を表
示する。
Preferably, the robot-type interface device further includes receiving means for receiving information from the outside, and the display means displays the information received by the receiving means.

【0031】したがって、外部から表示手段によって提
示される情報を供給でき、ロボット型インタフェース装
置の利便性を向上させることが可能となる。
Therefore, information presented by the display means can be supplied from the outside, and the convenience of the robot-type interface device can be improved.

【0032】本発明の別の局面に従えば、周辺の状態に
応じて使用者に情報を提示する表示装置を含んだロボッ
ト型インタフェース装置の制御方法であって、ロボット
型インタフェース装置周辺の状態を検知するステップ
と、検知された周辺の状態に応じて前記ロボット型イン
タフェース装置を移動させ、ロボット型インタフェース
装置に対する表示装置の相対位置と相対角度との少なく
とも一方を変更して使用者に情報を提示するステップと
を含む。
According to another aspect of the present invention, there is provided a method of controlling a robot-type interface device including a display device for presenting information to a user in accordance with the state of the surroundings. Detecting, moving the robot-type interface device according to the detected surrounding state, and changing at least one of a relative position and a relative angle of the display device with respect to the robot-type interface device to present information to a user. Performing the steps.

【0033】検知された周辺の状態に応じて、ロボット
型インタフェース装置に対する表示装置の相対位置と相
対角度との少なくとも一方を変更して使用者に情報を提
示させるので、使用者は提示される情報を正確に認識す
ることが可能となる。
According to the detected surrounding state, at least one of the relative position and the relative angle of the display device with respect to the robot-type interface device is changed, and the user is presented with information. Can be accurately recognized.

【0034】[0034]

【発明の実施の形態】図1および図2は、本発明の実施
の形態におけるロボット型インタフェース装置の上面図
およびその側面図である。図1および図2はそれぞれ、
本実施の形態におけるロボット型インタフェース装置か
ら、後述するカバー103Tおよび103Bを外した場
合の上面図および側面図を示している。このロボット型
インタフェース装置は、各機能毎にモジュール化された
ボードが接続されるマザーボード101と、メインスイ
ッチ102と、電源ブロック104と、左右の駆動輪1
05Rおよび105Lと、駆動輪105Rおよび105
Lをそれぞれ駆動する駆動輪用駆動装置106Rおよび
106Lと、装置前部および後部の左右に設けられた3
自由度を有する4つのリンク機構107FR、107F
L、107RRおよび107RLと、これらのリンク機
構をそれぞれ駆動するリンク機構用駆動装置108F
R、108FL、108RRおよび108RLと、液晶
表示装置111と、液晶表示装置111を覆う液晶表示
装置用カバー109と、液晶表示装置用カバー109の
開閉を行なう開閉用駆動装置110と、液晶表示装置1
11の一方の端部を持ち上げて液晶表示装置111の格
納および角度の変更を行なう格納用駆動装置112と、
ビデオカメラ113と、装置前部の左右に設けられたマ
イクロホン115Rおよび115Lと、装置前部に設け
られた超音波センサ116Eと、装置前部および後部の
左右に設けられた超音波センサ116FR、116F
L、116RRおよび116RLと、ビデオカメラ11
3および超音波センサ116Eを同時に動かすビデオカ
メラ用駆動装置114と、電源ブロック104の上面中
心に設けられた照度センサ117と、ビデオカメラ11
3の前面に設けられたビデオカメラ用レンズ118と、
装置の前部に設けられたスピーカ119と、マザーボー
ド101に接続される音声入力ブロック120、音声出
力ブロック121、画像処理ブロック122、センサ情
報の取得やモータ類の駆動を制御する入出力ブロック1
23、外部通信ブロック124および装置全体の制御を
行なう制御ブロック125と、外部通信コネクタ126
とを含む。
1 and 2 are a top view and a side view of a robot-type interface device according to an embodiment of the present invention. 1 and 2 respectively
FIG. 4 shows a top view and a side view when covers 103T and 103B described later are removed from the robot-type interface device according to the present embodiment. This robot-type interface device includes a motherboard 101 to which boards modularized for each function are connected, a main switch 102, a power supply block 104, and left and right drive wheels 1
05R and 105L, and drive wheels 105R and 105
L for driving the driving wheels 106R and 106L for driving the driving wheels L, respectively.
Four link mechanisms 107FR and 107F having a degree of freedom
L, 107RR and 107RL, and a link mechanism driving device 108F for driving these link mechanisms, respectively.
R, 108FL, 108RR, and 108RL, a liquid crystal display device 111, a liquid crystal display device cover 109 covering the liquid crystal display device 111, an opening / closing drive device 110 for opening and closing the liquid crystal display device cover 109, and a liquid crystal display device 1.
A storage driving device 112 that lifts one end of the liquid crystal display 11 to store and change the angle of the liquid crystal display device 111;
A video camera 113, microphones 115R and 115L provided on the left and right of the front of the apparatus, ultrasonic sensors 116E provided on the front of the apparatus, and ultrasonic sensors 116FR and 116F provided on the left and right of the front and rear of the apparatus.
L, 116RR and 116RL, and the video camera 11
Camera driving device 114 for simultaneously moving 3 and ultrasonic sensor 116E, illuminance sensor 117 provided at the center of the upper surface of power supply block 104, and video camera 11
3, a video camera lens 118 provided on the front of
A speaker 119 provided at the front of the device, an audio input block 120, an audio output block 121, an image processing block 122 connected to the motherboard 101, an input / output block 1 for controlling acquisition of sensor information and driving of motors and the like.
23, an external communication block 124, a control block 125 for controlling the entire apparatus, and an external communication connector 126.
And

【0035】ロボット型インタフェース装置は、マザー
ボード101がベースとなっており、そのマザーボード
101上のコネクタに、各機能ごとにモジュール化され
たボードである音声入力ブロック120、音声出力ブロ
ック121、画像処理ブロック122、入出力ブロック
123、外部通信ブロック124および制御ブロック1
25が接続される。なお、これらのブロック120〜1
25の詳細は後述する。
The robot-type interface device is based on a motherboard 101, and a connector on the motherboard 101 is provided with a sound input block 120, a sound output block 121, and an image processing block, which are boards modularized for each function. 122, input / output block 123, external communication block 124, and control block 1
25 are connected. In addition, these blocks 120-1
Details of 25 will be described later.

【0036】マザーボード101後部にはメインスイッ
チ102が設けられており、このメインスイッチ102
の操作によってロボット型インタフェース装置の起動/
停止が行なわれる。メインスイッチ102の上部には、
外部通信ブロック124に接続された外部通信コネクタ
126が設けられており、図示しないケーブルを介して
外部から情報を受信したり、外部へ情報を送信したりす
ることができる。
A main switch 102 is provided at the rear of the motherboard 101.
Operation of the robot type interface device /
A stop is performed. Above the main switch 102,
An external communication connector 126 connected to the external communication block 124 is provided, and can receive information from the outside via an unillustrated cable or transmit information to the outside.

【0037】マザーボード101下部には、ロボット型
インタフェース装置を移動させるための駆動輪105R
および105Lと、駆動輪105Rおよび105Lを駆
動するモータ等によって構成される駆動輪用駆動装置1
06Rおよび106Lとが設けられ、さらにリンク機構
107FR、107FL、107RRおよび107RL
と、これらのリンク機構を駆動するリンク機構用駆動装
置108FR、108FL、108RRおよび108R
Lとが駆動脚として取付けられている。
A drive wheel 105R for moving the robot-type interface device is provided below the motherboard 101.
Drive device 1 including drive wheels 105R and 105L, and motors for driving drive wheels 105R and 105L
06R and 106L, and link mechanisms 107FR, 107FL, 107RR and 107RL.
And link mechanism driving devices 108FR, 108FL, 108RR and 108R for driving these link mechanisms.
L is attached as a drive leg.

【0038】マザーボード101前部には、スピーカ1
19が設けられており、音声出力ブロック121によっ
て生成された音声等が出力される。マザーボード101
上部には、リチウムイオン電池などのような充電式の電
池によって構成される電源ブロック104が設けられて
おり、ロボット型インタフェース装置によって消費され
る電力が供給される。
A speaker 1 is provided in front of the motherboard 101.
The audio output block 121 outputs audio and the like generated by the audio output block 121. Motherboard 101
A power supply block 104 composed of a rechargeable battery such as a lithium-ion battery is provided at an upper portion, and supplies power consumed by the robot-type interface device.

【0039】マザーボード101上部には、液晶表示装
置用カバー109、開閉用駆動装置110、液晶表示装
置111および格納用駆動装置112が設けられてい
る。開閉用駆動装置110の駆動によって液晶表示装置
用カバー109が開けられ、さらに格納用駆動装置11
2の駆動によって液晶表示装置111の一方の端部が持
ち上げられて、後述するように液晶表示装置111の角
度が変更される。
A cover 109 for a liquid crystal display device, a driving device 110 for opening and closing, a liquid crystal display device 111, and a driving device 112 for storage are provided on the upper part of the motherboard 101. The driving of the opening / closing drive device 110 opens the cover 109 for the liquid crystal display device.
One end of the liquid crystal display device 111 is lifted by the drive of 2, and the angle of the liquid crystal display device 111 is changed as described later.

【0040】液晶表示装置111の前方にはビデオカメ
ラ113、超音波センサ116Eおよびそれらを同時に
動かす2自由度のビデオカメラ用駆動装置114が設け
られている。すなわち、ビデオカメラ113による撮像
方向と同じ方向に超音波センサ116Eが向くように、
ビデオカメラ113および超音波センサ116Eがビデ
オカメラ用駆動装置114によって駆動される。画像処
理ブロック122は、ビデオカメラ113によって撮像
された画像を解析することによって、ロボット型インタ
フェース装置周辺の人間や物体を認識する。
In front of the liquid crystal display device 111, a video camera 113, an ultrasonic sensor 116E and a two-degree-of-freedom video camera driving device 114 for simultaneously moving them are provided. That is, the ultrasonic sensor 116E is oriented in the same direction as the imaging direction of the video camera 113,
The video camera 113 and the ultrasonic sensor 116E are driven by the video camera driving device 114. The image processing block 122 recognizes a person or an object around the robot-type interface device by analyzing an image captured by the video camera 113.

【0041】ビデオカメラ113および超音波センサ1
16Eの両側には、左右対称となるようにマイクロホン
115Rおよび115Lが取付けられている。音声入力
ブロック120は、マイクロホン115Rおよび115
Lを介して入力された音声を解析して音声認識を行な
う。また、ロボット型インタフェース装置の前部には、
スピーカ119が設けられており、音声出力ブロック1
21によって合成された音声等を出力する。
Video camera 113 and ultrasonic sensor 1
Microphones 115R and 115L are symmetrically mounted on both sides of 16E. The voice input block 120 includes microphones 115R and 115
The voice input via the L is analyzed to perform voice recognition. Also, at the front of the robot type interface device,
A speaker 119 is provided, and the audio output block 1
21 outputs the synthesized voice and the like.

【0042】また、ロボット型インタフェース装置に
は、4方向の距離を計測するための超音波センサ116
FR、116FL、116RRおよび116RLが設け
られており、ロボット型インタフェース装置周辺の人間
や物体までの距離をくまなく計測することができる。
The robot type interface device has an ultrasonic sensor 116 for measuring a distance in four directions.
FR, 116FL, 116RR, and 116RL are provided, and it is possible to measure the distances to humans and objects around the robot-type interface device.

【0043】図3は、カバー103Tおよび103Bが
取付けられた状態の本実施の形態におけるロボット型イ
ンタフェース装置の上面図である。カバー103Tは液
晶表示装置カバー109に固定され、カバー103Bは
マザーボード101に固定されている。電源ブロック1
04上部の照度センサ117は、カバー103Tの中心
に位置するように電源ブロック104に取付けられてお
り、カバー103Tを介して周辺の照度を計測すること
ができる。
FIG. 3 is a top view of the robot-type interface device according to the present embodiment with the covers 103T and 103B attached. The cover 103T is fixed to the liquid crystal display device cover 109, and the cover 103B is fixed to the motherboard 101. Power supply block 1
The illuminance sensor 117 at the top of the cover 04 is attached to the power supply block 104 so as to be located at the center of the cover 103T, and can measure the surrounding illuminance via the cover 103T.

【0044】図4は、カバー103Tを開けた状態の本
実施の形態におけるロボット型インタフェース装置の側
面図である。制御ブロック125は、入出力ブロック1
23を介して開閉用駆動装置110の駆動を制御するこ
とによって液晶表示装置カバー109およびそれに固定
されたカバー103Tを矢印131の方向に開けた後、
格納用駆動装置112の駆動を制御することによって液
晶表示装置111を矢印132の方向に持ち上げて、液
晶表示装置111の角度を変更する。
FIG. 4 is a side view of the robot-type interface device according to the present embodiment with the cover 103T opened. The control block 125 includes the input / output block 1
After opening the liquid crystal display device cover 109 and the cover 103T fixed thereto by controlling the driving of the opening / closing drive device 110 via 23, in the direction of arrow 131,
By controlling the driving of the storage driving device 112, the liquid crystal display device 111 is lifted in the direction of arrow 132, and the angle of the liquid crystal display device 111 is changed.

【0045】このとき、液晶表示装置カバー109の前
部に設けられたビデオカメラ113および超音波センサ
116Eも同時に持上げられ、それぞれがロボット型イ
ンタフェース装置の真正面、斜め上方の方向を向くこと
になる。同様にして、ビデオカメラ113および超音波
センサ116Eの両側に左右対称に設けられたマイクロ
ホン115Rおよび115Lも、ロボット型インタフェ
ース装置の真正面、斜め上方の方向を向くことになる。
At this time, the video camera 113 and the ultrasonic sensor 116E provided at the front of the liquid crystal display device cover 109 are also lifted at the same time, and each of them faces directly in front of the robot-type interface device and obliquely upward. Similarly, the microphones 115R and 115L provided symmetrically on both sides of the video camera 113 and the ultrasonic sensor 116E also face diagonally upward and in front of the robot-type interface device.

【0046】ロボット型インタフェース装置が使用者に
情報を的確に提示する方法として、液晶表示装置カバー
109を開いて液晶表示装置111を使用者に提示した
後、使用者が液晶表示装置111の正面に移動する第1
の方法と、ロボット型インタフェース装置が駆動輪10
5または駆動脚107を駆動して使用者の正面に移動し
た後、液晶表示装置カバー109を開いて液晶表示装置
111を使用者に提示する第2の方法とを挙げることが
できる。
As a method for the robot-type interface device to accurately present information to the user, after the liquid crystal display device cover 109 is opened and the liquid crystal display device 111 is presented to the user, the user places the liquid crystal display device 111 in front of the liquid crystal display device 111. The first to move
Method and the robot-type interface device is the driving wheel 10
5 or the drive leg 107 is moved to the front of the user, and then the liquid crystal display device cover 109 is opened to present the liquid crystal display device 111 to the user.

【0047】第1の方法の場合には、音声入力ブロック
120がマイクロホン115を介して入力された使用者
からの音声を認識し、制御ブロック125がその認識結
果に基づいて使用者の命令を解析する。そして、音声に
よる命令が特定の命令であると判定されたときに、制御
ブロック125が開閉用駆動装置110を制御して液晶
表示装置用カバー109を開いた後、駆動装置112を
制御して液晶表示装置111を持上げて液晶表示装置1
11を所定角度となるようにする。その後、使用者は提
示された液晶表示装置111が正面となるように移動す
る。
In the first method, the voice input block 120 recognizes the voice of the user input through the microphone 115, and the control block 125 analyzes the user's command based on the recognition result. I do. When it is determined that the voice command is a specific command, the control block 125 controls the opening / closing drive device 110 to open the liquid crystal display device cover 109 and then controls the drive device 112 to control the liquid crystal display. Lifting the display device 111, the liquid crystal display device 1
11 is set to a predetermined angle. Thereafter, the user moves so that the presented liquid crystal display device 111 faces the front.

【0048】第2の方法の場合には、制御ブロック12
5が駆動輪105または駆動脚107を駆動しながら、
超音波センサ116Eからの出力信号によって物体が存
在する方向に移動する。そして、制御ブロック125が
超音波センサ116Eからの出力信号によってロボット
型インタフェース装置の正面に存在する物体までの距離
が所定値となったことを検知すると、画像処理ブロック
122がビデオカメラ113によって取得された画像か
ら肌色領域を抽出し、予め図示しないメモリに格納して
いる使用者の顔データと比較することによって使用者で
あるか否かを判定する。
In the case of the second method, the control block 12
5, while driving the drive wheel 105 or the drive leg 107,
The object moves in the direction in which the object exists according to the output signal from the ultrasonic sensor 116E. Then, when the control block 125 detects that the distance to the object existing in front of the robot-type interface device has become a predetermined value based on the output signal from the ultrasonic sensor 116E, the image processing block 122 is acquired by the video camera 113. A flesh color region is extracted from the image and compared with the user's face data stored in a memory (not shown) in advance to determine whether the user is a user.

【0049】メモリに格納されている使用者と同一であ
ると判定された場合には、制御ブロック125が開閉用
駆動装置110を制御して液晶表示装置用カバー109
を開いた後、格納用駆動装置112を制御して液晶表示
装置111を持上げて液晶表示装置111が使用者の方
向を向くように角度を変更する。このようにして、超音
波センサ116Eからの出力信号およびビデオカメラ1
13によって取得された画像に基づいて、液晶表示装置
111の向きが使用者の正面となるように制御を行なう
ことができ、使用者の表情、使用者までの距離、使用者
の背後の環境などを撮像することが可能となる。
If it is determined that the user is the same as the user stored in the memory, the control block 125 controls the opening / closing drive device 110 to control the liquid crystal display cover 109.
Is opened, the storage driving device 112 is controlled to lift the liquid crystal display device 111, and the angle is changed so that the liquid crystal display device 111 faces the user. Thus, the output signal from the ultrasonic sensor 116E and the video camera 1
Based on the image obtained by the user 13, the control can be performed such that the orientation of the liquid crystal display device 111 is in front of the user, and the expression of the user, the distance to the user, the environment behind the user, and the like. Can be imaged.

【0050】図5は、本実施の形態におけるロボット型
インタフェース装置が使用者に情報を提示するところを
示す図である。制御ブロック125は、図示しない内部
メモリに予め記憶しているロボット本体に関する情報
や、外部通信ブロック124を介して外部から受信した
情報等を液晶表示装置111に表示することによって、
使用者に情報を提示する。
FIG. 5 is a diagram showing how the robot-type interface device according to the present embodiment presents information to the user. The control block 125 displays, on the liquid crystal display device 111, information about the robot body stored in advance in an internal memory (not shown), information received from the outside via the external communication block 124, and the like.
Present information to the user.

【0051】図5(a)は、超音波センサ116Eから
の出力信号およびビデオカメラ111によって取得され
た画像に基づいて、液晶表示装置111によって反射さ
れた光源からの光が使用者の目に入射されるように液晶
表示装置の角度が調整されているところを示している。
この場合には、映り込みなどの外乱が発生するため、制
御ブロック125が格納用駆動装置112を制御して液
晶表示装置111の角度を変更して、液晶表示装置11
1によって反射された光源からの光が使用者の目に入射
されないように制御がされる。
FIG. 5A shows that the light from the light source reflected by the liquid crystal display 111 enters the user's eyes based on the output signal from the ultrasonic sensor 116E and the image acquired by the video camera 111. In this case, the angle of the liquid crystal display device is adjusted so as to be adjusted.
In this case, since disturbance such as reflection occurs, the control block 125 controls the storage driving device 112 to change the angle of the liquid crystal display device 111 and
Control is performed so that the light from the light source reflected by 1 does not enter the eyes of the user.

【0052】図5(b)は、液晶表示装置111によっ
て反射された光源からの光が使用者の目に入射されてお
らず、映り込みなどの外乱が発生していないところを示
している。このようにして、使用者の負担が少なくなる
ようにして、液晶表示装置111に情報を表示して、使
用者に情報を提示することができる。
FIG. 5B shows a state in which the light from the light source reflected by the liquid crystal display device 111 is not incident on the user's eyes and no disturbance such as reflection occurs. In this way, the information can be displayed on the liquid crystal display device 111 and the information can be presented to the user while reducing the burden on the user.

【0053】図6は、液晶表示装置用カバー109を開
けて、液晶表示装置111が使用者の顔の方向を向くよ
うにした状態の本実施の形態におけるロボット型インタ
フェース装置の外観例を示している。図6に示すよう
に、この状態ではビデオカメラ113および超音波セン
サ116Eが使用者の顔の方向を向くことになる。
FIG. 6 shows an example of the appearance of the robot-type interface device according to the present embodiment in a state in which the liquid crystal display device cover 109 is opened and the liquid crystal display device 111 faces the direction of the user's face. I have. As shown in FIG. 6, in this state, the video camera 113 and the ultrasonic sensor 116E face the direction of the user's face.

【0054】また、使用者が楽な姿勢をとるために顔の
位置を移動した場合には、制御ブロック125がビデオ
カメラ113によって取得された画像内の使用者の顔の
位置に合せて、液晶表示装置111の角度を変更した
り、駆動輪105や駆動脚107を駆動したりすること
によって、液晶表示装置111が常に使用者の顔と正対
する位置となるようにすることができる。
When the user moves the position of the face to take a comfortable posture, the control block 125 adjusts the position of the face of the user in the image obtained by the video camera 113 so as to adjust the position of the liquid crystal. By changing the angle of the display device 111 or driving the drive wheels 105 and the drive legs 107, the liquid crystal display device 111 can always be positioned to face the user's face.

【0055】以上の説明は、液晶表示装置111を使用
者に提示して、使用者に内部情報を提供する場合につい
てであったが、使用者がロボット型インタフェース装置
に触れて遊ぶ場合などのように、液晶表示装置111が
必要でない場合には液晶表示装置用カバー109を閉じ
た状態にして液晶表示装置111を収納することができ
る。このようにして、使用されない部品を内部に収納す
ることによって、ロボット型インタフェース装置の外観
を、使用者が親しみやすい形状とすることができるとと
もに、衝撃に弱い液晶表示装置111を保護して故障の
原因とならないようにすることができる。
In the above description, the case where the liquid crystal display device 111 is presented to the user to provide the user with the internal information has been described. When the liquid crystal display device 111 is not required, the liquid crystal display device 111 can be stored with the liquid crystal display device cover 109 closed. In this way, by storing the unused components inside, the appearance of the robot-type interface device can be made to be a shape that is easy for the user to approach, and the liquid crystal display device 111, which is vulnerable to impact, can be protected and a failure can be prevented. It can be avoided.

【0056】図7は、本発明の実施の形態におけるロボ
ット型インタフェース装置の電気部品の概略構成を示す
ブロック図である。ロボット型インタフェース装置は、
電気部品として、駆動輪105Rを駆動する駆動輪用駆
動装置106と、リンク機構107を駆動するリンク機
構用駆動装置108と、液晶表示装置111と、液晶表
示装置用カバー109およびそれに固定されたカバー1
03Tの開閉を行なう開閉用駆動装置110と、液晶表
示装置111の一方の端部を持ち上げる格納用駆動装置
112と、ビデオカメラ113と、ビデオカメラ113
および超音波センサ116Eを同時に動かすビデオカメ
ラ用駆動装置114と、マイクロホン115と、超音波
センサ116と、照度センサ117と、スピーカ119
と、マイクロホン115を介して音声を入力して解析す
る音声入力ブロック120と、スピーカ119を介して
音声等を出力する音声出力ブロック121と、ビデオカ
メラ113によって撮像された画像を解析する画像処理
ブロック122と、センサ情報の取得やモータ類の駆動
を制御する入出力ブロック123と、外部通信ブロック
124と、装置全体の制御を行なう制御ブロック125
と、外部通信コネクタ126とを含む。
FIG. 7 is a block diagram showing a schematic configuration of electric components of the robot interface device according to the embodiment of the present invention. Robot type interface device
As electric components, a driving device 106 for driving a driving wheel for driving the driving wheel 105R, a driving device 108 for a link mechanism for driving a link mechanism 107, a liquid crystal display device 111, a cover 109 for a liquid crystal display device, and a cover fixed thereto. 1
Opening / closing drive device 110 for opening and closing 03T, storage drive device 112 for lifting one end of liquid crystal display device 111, video camera 113, video camera 113
And a video camera driving device 114 for simultaneously moving the ultrasonic sensor 116E, a microphone 115, an ultrasonic sensor 116, an illuminance sensor 117, and a speaker 119.
And an audio input block 120 for inputting and analyzing audio via the microphone 115, an audio output block 121 for outputting audio and the like via the speaker 119, and an image processing block for analyzing an image captured by the video camera 113. 122, an input / output block 123 for controlling acquisition of sensor information and driving of motors, an external communication block 124, and a control block 125 for controlling the entire apparatus.
And an external communication connector 126.

【0057】図8は、本実施の形態におけるロボット型
インタフェース装置の処理手順を説明するためのフロー
チャートである。初期状態においては、液晶表示装置1
11がロボット型インタフェース内部に収納されてお
り、液晶表示装置用カバー109によって覆われた状態
となっている。この状態で、使用者がマイク115を介
して音声を入力すると、音声入力ブロック120が入力
された音声の認識処理を行ない、認識結果を制御ブロッ
ク125へ出力する。制御ブロック125は、その認識
結果が使用者による情報提示命令であるか否かを判定す
る(S1)。
FIG. 8 is a flowchart for explaining the processing procedure of the robot-type interface device according to the present embodiment. In the initial state, the liquid crystal display 1
Reference numeral 11 is housed inside the robot-type interface, and is in a state of being covered by the liquid crystal display device cover 109. In this state, when the user inputs voice through the microphone 115, the voice input block 120 performs recognition processing of the input voice, and outputs a recognition result to the control block 125. The control block 125 determines whether or not the recognition result is an information presentation command by the user (S1).

【0058】制御ブロック125が情報提示命令でない
と判断した場合には(S1,No)、駆動輪105およ
び駆動脚107を制御してロボット型インタフェース装
置の移動を行ない、ロボット型インタフェース装置周辺
の探索を行なって、ロボット型インタフェース装置が使
用者の方向を向くようにし、使用者までの距離が所定値
となるように制御を行なう(S2)。
If the control block 125 determines that the command is not an information presentation command (S1, No), the drive wheel 105 and the drive leg 107 are controlled to move the robot-type interface device, and search around the robot-type interface device. To make the robot-type interface device face the direction of the user, and control so that the distance to the user becomes a predetermined value (S2).

【0059】次に、画像処理ブロック122は、ビデオ
カメラ113によって撮像された画像の中に使用者の顔
が存在するか否かを判定する(S3)。ビデオカメラ1
13によって撮像された画像の中に使用者の顔が存在し
ない場合には(S3,No)、ステップS1へ戻って以
降の処理を繰返す。また、ビデオカメラ113によって
撮像された画像の中に使用者の顔が存在する場合には
(S3,Yes)、制御部125は液晶表示装置111
がロボット型インタフェース装置内に収納されているか
否かを判定する(S4)。液晶表示装置111が既に使
用者に提示されている場合には(S4,No)、ステッ
プS6へ進む。また、液晶表示装置111がロボット型
インタフェース装置内に収納されている場合には(S
4,Yes)、制御ブロック125が入出力ブロック1
23を介して開閉用駆動装置110および格納用駆動装
置112を制御して、液晶表示装置111が使用者に提
示されるようにする(S5)。
Next, the image processing block 122 determines whether or not the user's face exists in the image captured by the video camera 113 (S3). Video camera 1
If the user's face does not exist in the image captured by S13 (S3, No), the process returns to step S1 and the subsequent processes are repeated. If the face of the user is present in the image captured by the video camera 113 (S3, Yes), the control unit 125 causes the liquid crystal display device 111
It is determined whether or not is stored in the robot-type interface device (S4). If the liquid crystal display device 111 has already been presented to the user (S4, No), the process proceeds to step S6. When the liquid crystal display device 111 is stored in the robot-type interface device (S
4, Yes), the control block 125 is the input / output block 1
The opening / closing drive device 110 and the storage drive device 112 are controlled via 23 so that the liquid crystal display device 111 is presented to the user (S5).

【0060】ステップS6において、画像処理ブロック
122がビデオカメラ113によって撮像された画像の
中心近傍に、使用者の顔が存在するか否かを判定する
(S6)。画像の中心近傍に使用者の顔が存在しない場
合には(S6,No)、使用者の顔が画像内に存在する
か否かを判定する(S7)。使用者の顔が画像内にも存
在しない場合には(S7,No)、情報提供の終了の準
備を行ない、開閉用駆動装置110および格納用駆動装
置112を制御して液晶表示装置111をロボット型イ
ンタフェース装置内に収納して、処理を終了する(S1
2)。
In step S6, the image processing block 122 determines whether or not the face of the user exists near the center of the image captured by the video camera 113 (S6). If the user's face does not exist near the center of the image (S6, No), it is determined whether the user's face exists in the image (S7). If the user's face is not present in the image (S7, No), preparation for ending the information provision is made, and the opening / closing drive device 110 and the storage drive device 112 are controlled to move the liquid crystal display device 111 to the robot. And the process is terminated (S1).
2).

【0061】また、使用者の顔が画像内に存在する場合
には(S7,Yes)、駆動輪用駆動装置106および
リンク機構用駆動装置108を制御して駆動輪105お
よび駆動脚107を駆動し、上述した制御によって画像
の中心に使用者の顔が存在するように移動が行なわれ
(S8)、ステップS9へ処理が進む。
If the user's face is present in the image (S7, Yes), the drive wheels 106 and the link mechanism drive device 108 are controlled to drive the drive wheels 105 and the drive legs 107. Then, the image is moved so that the user's face exists at the center of the image by the above-described control (S8), and the process proceeds to step S9.

【0062】ステップS6において、使用者の顔が画像
の中心近傍に存在すると判定された場合には(S6,Y
es)、制御ブロック125は図示しないメモリに格納
されている情報を読み出して、液晶表示装置111に表
示させることによって使用者に情報の提示を行なう(S
9)。
If it is determined in step S6 that the user's face exists near the center of the image (S6, Y
es), the control block 125 reads out the information stored in the memory (not shown) and presents the information to the user by displaying the information on the liquid crystal display device 111 (S).
9).

【0063】次に、音声によって情報提示の終了指示が
あるか否かが判定される(S10)。音声入力ブロック
120が、マイクロホン115を介して入力された音声
が終了指示であると判断した場合には(S10,Ye
s)、情報提供の終了の準備を行ない、開閉用駆動装置
110および格納用駆動装置112を制御して、液晶表
示装置111をロボット型インタフェース装置内に収納
して、処理を終了する(S12)。
Next, it is determined whether or not there is an instruction to end the information presentation by voice (S10). When the voice input block 120 determines that the voice input via the microphone 115 is the end instruction (S10, Ye
s), preparing to end the information provision, controlling the opening / closing drive device 110 and the storage drive device 112, storing the liquid crystal display device 111 in the robot type interface device, and ending the processing (S12). .

【0064】また、マイクロホン115を介して入力さ
れた音声が終了指示でないと判断された場合には(S1
0,No)、照度センサ117によって情報提示の終了
指示があったか否かが判定される(S11)。照度セン
サ117が遮蔽されて照度が低くなったときに、情報提
示の終了指示があったものと判断され(S11,Ye
s)、情報提供の終了の準備を行ない、開閉用駆動装置
110および格納用駆動装置112を制御して液晶表示
装置111をロボット型インタフェース装置内に収納し
て、処理を終了する(S12)。また、照度センサ11
7の照度が低くない場合には(S11,No)、ステッ
プS6に戻って以降の処理を繰返す。
When it is determined that the voice input via the microphone 115 is not an end instruction (S1).
(0, No), the illuminance sensor 117 determines whether or not an instruction to end information presentation has been issued (S11). When the illuminance sensor 117 is shielded and the illuminance decreases, it is determined that an instruction to end the information presentation has been issued (S11, Ye).
s) Prepare to end the information provision, control the opening / closing drive device 110 and the storage drive device 112 to store the liquid crystal display device 111 in the robot-type interface device, and end the process (S12). The illuminance sensor 11
If the illuminance of No. 7 is not low (S11, No), the process returns to step S6 and the subsequent processes are repeated.

【0065】以上の説明においては、液晶表示装置11
1としてバックライトを用いたものを対象としている
が、反射型とバックライト型の切替をおこなうことがで
きる液晶表示装置を使用した場合には、電源ブロック1
04の消費電力の節約を図ることが可能となる。すなわ
ち、ビデオカメラ113が撮像した画像などによって、
液晶表示装置111正面の光量を計測し、光量が大きい
場合には液晶表示装置111を反射型に切替え、光量が
小さい場合には液晶表示装置111をバックライト型に
切替えることによって、消費電力を削減することが可能
となる。
In the above description, the liquid crystal display device 11
Although a liquid crystal display device capable of performing switching between a reflection type and a backlight type is used, a power supply block 1 is used.
04 can be saved. That is, depending on the image captured by the video camera 113 and the like,
The power consumption is reduced by measuring the amount of light in front of the liquid crystal display device 111, and switching the liquid crystal display device 111 to the reflection type when the light amount is large and switching the liquid crystal display device 111 to the backlight type when the light amount is small. It is possible to do.

【0066】また、液晶表示装置111がバックライト
型であり、切替えることができない場合や、液晶以外の
表示装置である場合であっても、たとえば使用者の顔の
表情、予め定められた識別情報、ロボット型インタフェ
ース装置周辺の外光や騒音などの情報を利用して、表示
装置の光量やスピーカ119から出力される音量などを
変化させることによって、消費電力を削減したり、使用
者にストレスを与えることなしに情報を提示することが
可能となる。さらには、液晶表示装置としてEL(Elec
troLuminescence)ディスプレイを使用した場合には、
暗所ではより少ない光量で表示が行なえるため、消費電
力を削減することが可能となる。
Even when the liquid crystal display device 111 is of a backlight type and cannot be switched, or when it is a display device other than liquid crystal, for example, the facial expression of the user, predetermined identification information By using information such as external light and noise around the robot-type interface device to change the amount of light of the display device and the volume output from the speaker 119, power consumption can be reduced and stress on the user can be reduced. It is possible to present information without giving it. Furthermore, as a liquid crystal display device, EL (Elec
troLuminescence) display,
Since display can be performed with a smaller amount of light in a dark place, power consumption can be reduced.

【0067】また、液晶表示装置用カバー109の開閉
と、液晶表示装置111の持上げとによって、液晶表示
装置111を収納したり、使用者に提示したりしたが、
平行送り機構を用いて液晶表示装置111を収納するよ
うにしても良い。この場合には、液晶表示装置111の
角度を調整することができなくなるが、可動部を1つに
することができるため、制御や設計が容易に行なえるよ
うになる。
The liquid crystal display device 111 is stored or presented to the user by opening and closing the liquid crystal display device cover 109 and lifting the liquid crystal display device 111.
The liquid crystal display device 111 may be stored using a parallel feed mechanism. In this case, the angle of the liquid crystal display device 111 cannot be adjusted, but the number of movable parts can be reduced to one, so that control and design can be easily performed.

【0068】また、液晶表示装置111のみをロボット
型インタフェース装置内部に収納するようにしている
が、スピーカ119などの表示装置や、マイクロホン1
15などのセンサ類を、ロボット型インタフェース装置
内部に収納するようにしても良い。このようにすれば、
機能的なロボット型インタフェース装置の外観設計が可
能になるとともに、それらの部品を衝撃などから保護で
き、故障の原因を少なくすることが可能となる。
Although only the liquid crystal display device 111 is accommodated in the robot-type interface device, the display device such as the speaker 119 and the microphone 1
Sensors such as 15 may be housed inside the robot-type interface device. If you do this,
It is possible to design the appearance of a functional robot-type interface device, protect those components from impacts and the like, and reduce the causes of failure.

【0069】また、使用者とロボット型インタフェース
装置とのインタラクションを非接触センサ(超音波セン
サ)のみを用いて行なっているが、カバー103Tの中
心に設けられた照度センサ117をタッチセンサにし、
使用者によって触れられるタッチセンサの方向や場所を
検出して制御を行なうようにすれば、暗所であってもロ
ボット型インタフェース装置に指示を与えたり、情報を
取得することが可能になる。
Although the interaction between the user and the robot-type interface device is performed using only a non-contact sensor (ultrasonic sensor), the illuminance sensor 117 provided at the center of the cover 103T is used as a touch sensor.
If control is performed by detecting the direction and location of the touch sensor touched by the user, it is possible to give instructions to the robot-type interface device and acquire information even in a dark place.

【0070】以上説明したように、本実施の形態におけ
るロボット型インタフェース装置によれば、ビデオカメ
ラ113によって取得された画像内の使用者の顔の位置
に合せて、液晶表示装置111の角度を変更したり、駆
動輪105や駆動脚を駆動したりすることによって、液
晶表示装置111が常に使用者の顔と相対する位置とな
るようにしたので、使用者はロボット型インタフェース
装置によって提示される情報を正確に認識することが可
能となる。
As described above, according to the robot-type interface device of the present embodiment, the angle of the liquid crystal display device 111 is changed in accordance with the position of the user's face in the image acquired by the video camera 113. Or by driving the drive wheels 105 and the drive legs, the liquid crystal display device 111 is always positioned at a position facing the user's face, so that the user can obtain information presented by the robot-type interface device. Can be accurately recognized.

【0071】また、ビデオカメラ113および超音波セ
ンサ116Eの向きを制御して、ロボット型インタフェ
ース装置周辺の情報を取得するようにしたので、外部情
報を正確に取得することができるとともに、使用者がロ
ボット型インタフェース装置に詳細な命令を与えなくて
もロボット型インタフェース装置が的確な制御を行なう
ことが可能となる。
Further, since the direction of the video camera 113 and the ultrasonic sensor 116E is controlled to obtain information around the robot-type interface device, external information can be obtained accurately and the user can obtain the information. The robot-type interface device can perform accurate control without giving detailed instructions to the robot-type interface device.

【0072】また、液晶表示装置用カバー109を開い
た後、液晶表示装置111の一方の端部を持上げて使用
者に情報を提示するようにしたので、液晶表示装置11
1を使用しない場合には、ロボット型インタフェース装
置内に液晶表示装置111を収納することができ、使用
者にとって親しみやすい形状にすることが可能になると
ともに、衝撃に弱い液晶表示装置111等の部品を保護
することが可能となる。
After the cover 109 for the liquid crystal display device is opened, one end of the liquid crystal display device 111 is lifted to present information to the user.
When the device 1 is not used, the liquid crystal display device 111 can be housed in the robot-type interface device, and can be formed in a shape that is familiar to the user. Can be protected.

【0073】今回開示された実施の形態は、すべての点
で例示であって制限的なものではないと考えられるべき
である。本発明の範囲は上記した説明ではなくて特許請
求の範囲によって示され、特許請求の範囲と均等の意味
および範囲内でのすべての変更が含まれることが意図さ
れる。
The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

【0074】[0074]

【発明の効果】本発明のある局面によれば、制御手段が
第2の駆動手段を制御してロボット型インタフェース装
置に対する表示手段の相対位置と相対角度との少なくと
も一方を変更して使用者に情報を提示させるので、使用
者は提示される情報を正確に認識することが可能となっ
た。
According to one aspect of the present invention, the control means controls the second drive means to change at least one of the relative position and the relative angle of the display means with respect to the robot-type interface device, and provides the user with the information. Since the information is presented, the user can accurately recognize the presented information.

【0075】また、制御手段が、画像取得手段によって
取得された使用者の顔が画像の中央近傍となるように、
第1の駆動手段と第3の駆動手段とを制御した後、第2
の駆動手段を制御してロボット型インタフェース装置に
対する表示手段の相対位置と相対角度との少なくとも一
方を変更するので、使用者の顔の位置を正確に判断する
ことができ、ロボット型インタフェース装置の的確な制
御を行なうことが可能となった。
Also, the control means may control the user's face obtained by the image obtaining means such that the user's face is located near the center of the image.
After controlling the first driving means and the third driving means, the second driving means
Control means for changing at least one of the relative position and the relative angle of the display means with respect to the robot-type interface device, so that the position of the user's face can be accurately determined and the robot-type interface device can be accurately determined. Control can be performed.

【0076】また、制御手段が画像取得手段によって取
得された使用者の顔の画像が予め記憶された顔の画像と
一致する場合に、表示手段による情報の提示を開始する
ので、予め登録された使用者以外に情報が提示されるの
を防止することが可能となった。
When the control means starts the presentation of the information by the display means when the image of the user's face acquired by the image acquisition means coincides with the previously stored face image, the control means starts the registration. It has become possible to prevent information from being presented to anyone other than the user.

【0077】また、制御手段が距離計測手段によって計
測された使用者までの距離が所定値となるように第1の
駆動手段を制御するので、ロボット型インタフェース装
置は、使用者がいる位置まで正確に移動することが可能
となった。
Further, since the control means controls the first drive means so that the distance to the user measured by the distance measurement means becomes a predetermined value, the robot-type interface device can accurately determine the position of the user. It became possible to move to.

【0078】また、制御手段が照度計測手段によって計
測された周辺の照度に応じて、表示手段の表示モードを
変更するので、表示手段の表示モードを的確に変更で
き、消費電力を削減することが可能となった。
Further, since the control means changes the display mode of the display means in accordance with the peripheral illuminance measured by the illuminance measurement means, the display mode of the display means can be changed accurately and power consumption can be reduced. It has become possible.

【0079】また、制御手段が音声入力手段による認識
結果が第1の所定命令であれば、表示手段による情報の
提示を開始するので、ロボット型インタフェース装置
は、情報提示の開始を正確に判断することが可能となっ
た。
Further, if the control means determines that the result of the recognition by the voice input means is the first predetermined command, the control means starts the presentation of information by the display means. It became possible.

【0080】また、制御手段が音声入力手段による認識
結果が第2の所定命令であれば、表示手段による情報の
提示を終了するので、ロボット型インタフェース装置
は、情報提示の終了を正確に判断することが可能となっ
た。
If the result of the recognition by the voice input means is the second predetermined command, the control means terminates the presentation of the information by the display means, so that the robot-type interface device accurately determines the end of the information presentation. It became possible.

【0081】また、制御手段が照度計測手段によって計
測された周辺の照度が所定値以下の場合に、表示手段に
よる情報の提示を終了するので、ロボット型インタフェ
ース装置は、情報提示の終了を正確に判断することが可
能となった。
Further, when the control means terminates the presentation of information by the display means when the surrounding illuminance measured by the illuminance measurement means is equal to or less than a predetermined value, the robot-type interface device accurately determines the end of the information presentation. It has become possible to judge.

【0082】また、第2の駆動手段がカバーを開いた
後、表示手段を持上げて移動させるので、情報を提示す
るとき以外は表示手段がカバーに覆われているため、衝
撃に弱い表示手段を保護することが可能となった。
Since the second driving means lifts and moves the display means after opening the cover, the display means is covered with the cover except when presenting information. It is now possible to protect.

【0083】また、表示手段が受信手段によって受信さ
れた情報を表示するので、外部から表示手段によって提
示される情報を供給でき、ロボット型インタフェース装
置の利便性を向上させることが可能となった。
Further, since the display means displays the information received by the receiving means, the information presented by the display means can be supplied from the outside, and the convenience of the robot type interface device can be improved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の実施の形態におけるロボット型イン
タフェース装置の上面図である。
FIG. 1 is a top view of a robot-type interface device according to an embodiment of the present invention.

【図2】 本発明の実施の形態におけるロボット型イン
タフェース装置の側面図である。
FIG. 2 is a side view of the robot-type interface device according to the embodiment of the present invention.

【図3】 カバー103Tおよび103Bが取付けられ
た状態の本実施の形態におけるロボット型インタフェー
ス装置の上面図である。
FIG. 3 is a top view of the robot interface device according to the present embodiment with covers 103T and 103B attached.

【図4】 カバー103Tを開けた状態の本実施の形態
におけるロボット型インタフェース装置の側面図であ
る。
FIG. 4 is a side view of the robot interface device according to the present embodiment with a cover 103T opened.

【図5】 本発明の実施の形態におけるロボット型イン
タフェース装置が使用者に情報を提示するところを示す
図である。
FIG. 5 is a diagram showing that the robot-type interface device according to the embodiment of the present invention presents information to a user.

【図6】 液晶表示装置用カバー109を開けて、液晶
表示装置111が使用者の顔の方向を向くようにした状
態の本実施の形態におけるロボット型インタフェース装
置の外観例を示している。
FIG. 6 shows an external appearance example of the robot-type interface device according to the present embodiment in a state where the liquid crystal display device cover 109 is opened and the liquid crystal display device 111 faces the direction of the user's face.

【図7】 本発明の実施の形態におけるロボット型イン
タフェース装置の電気部品の概略構成を示すブロック図
である。
FIG. 7 is a block diagram illustrating a schematic configuration of electric components of the robot-type interface device according to the embodiment of the present invention.

【図8】 本発明の実施の形態におけるロボット型イン
タフェース装置の処理手順を説明するためのフローチャ
ートである。
FIG. 8 is a flowchart illustrating a processing procedure of the robot-type interface device according to the embodiment of the present invention.

【符号の説明】[Explanation of symbols]

101 マザーボード、102 メインスイッチ、10
3T,103B カバー、104 電源ブロック、10
5R,105L 駆動輪、106R,106L駆動輪用
駆動装置、107FR,107FL,107RR,10
7RL リンク機構、108FR,108FL,108
RR,108RL リンク機構用駆動装置、109 液
晶表示装置用カバー、110 開閉用駆動装置、111
液晶表示装置、112 格納用駆動装置、113 ビ
デオカメラ、114 ビデオカメラ用駆動装置、115
R,115L マイクロホン、116E,116FR,
116FL,116RR,116RL 超音波センサ、
117 照度センサ、118 ビデオカメラ用レンズ、
119 スピーカ、120 音声入力ブロック、121
音声出力ブロック、122 画像処理ブロック、12
3 入出力ブロック、124 外部通信ブロック、12
5 制御ブロック、126 外部通信コネクタ。
101 motherboard, 102 main switch, 10
3T, 103B cover, 104 power supply block, 10
5R, 105L drive wheel, 106R, 106L drive wheel drive device, 107FR, 107FL, 107RR, 10
7RL link mechanism, 108FR, 108FL, 108
RR, 108RL Link mechanism drive, 109 Liquid crystal display cover, 110 Opening / closing drive, 111
Liquid crystal display device, 112 Storage drive device, 113 Video camera, 114 Video camera drive device, 115
R, 115L microphone, 116E, 116FR,
116FL, 116RR, 116RL ultrasonic sensor,
117 illuminance sensor, 118 video camera lens,
119 speaker, 120 voice input block, 121
Audio output block, 122 Image processing block, 12
3 input / output block, 124 external communication block, 12
5 control block, 126 external communication connector.

フロントページの続き (72)発明者 上田 泰広 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Fターム(参考) 2C150 AA14 CA01 CA02 CA04 DA06 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF06 DF33 DG01 DG02 DG12 DG13 DG42 DK02 ED42 ED52 EF07 EF16 EF17 EF23 EF29 EF33 EF36 3C007 AS34 CS08 JU03 KS00 KS11 KS36 KS39 KT01 KV18 KX02 LT06 LT11 LV12 WA02 WA16 WB16 WB17 WB19 WC06 Continuation of front page (72) Inventor Yasuhiro Ueda 22-22 Nagaikecho, Abeno-ku, Osaka City, Osaka F-term (reference) 2C150 AA14 CA01 CA02 CA04 DA06 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF06 DF33 DG01 DG02 DG12 DG13 DG42 DK02 ED42 ED52 EF07 EF16 EF17 EF23 EF29 EF33 EF36 3C007 AS34 CS08 JU03 KS00 KS11 KS36 KS39 KT01 KV18 KX02 LT06 LT11 LV12 WA02 WA16 WB16 WB17 WB19 WC06

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】 周辺の状態に応じて使用者に情報を提示
するロボット型インタフェース装置であって、 前記ロボット型インタフェース装置周辺の状態を検知す
るための検知手段と、 前記使用者に対して情報を提示するための表示手段と、 前記ロボット型インタフェース装置を移動させるための
第1の駆動手段と、 前記表示手段を移動させるための第2の駆動手段と、 前記検知手段によって検知された周辺の状態に応じて前
記第1の駆動手段を制御して前記ロボット型インタフェ
ース装置を移動させ、前記第2の駆動手段を制御して前
記ロボット型インタフェース装置に対する前記表示手段
の相対位置と相対角度との少なくとも一方を変更して前
記使用者に情報を提示させるための制御手段とを含む、
ロボット型インタフェース装置。
1. A robot-type interface device for presenting information to a user according to a peripheral state, comprising: a detecting unit for detecting a state around the robot-type interface device; and information for the user. Display means for presenting, a first drive means for moving the robot-type interface device, a second drive means for moving the display means, and a peripheral area detected by the detection means. The first driving means is controlled according to the state to move the robot-type interface device, and the second driving means is controlled to control the relative position and the relative angle of the display means with respect to the robot-type interface device. Control means for changing at least one to present information to the user,
Robot type interface device.
【請求項2】 前記検知手段は、周辺の画像を取得する
ための画像取得手段を含み、 前記ロボット型インタフェース装置はさらに、前記画像
取得手段を移動させるための第3の駆動手段を含み、 前記制御手段は、前記画像取得手段によって取得された
使用者の顔が画像の中央近傍となるように、前記第1の
駆動手段と前記第3の駆動手段とを制御した後、前記第
2の駆動手段を制御して前記ロボット型インタフェース
装置に対する前記表示手段の相対位置と相対角度との少
なくとも一方を変更する、請求項1記載のロボット型イ
ンタフェース装置。
2. The method according to claim 1, wherein the detecting unit includes an image acquiring unit for acquiring an image of a surrounding area, the robot-type interface device further includes a third driving unit for moving the image acquiring unit, The control unit controls the first driving unit and the third driving unit so that the user's face acquired by the image acquiring unit is near the center of the image, and then controls the second driving The robot-type interface device according to claim 1, wherein at least one of a relative position and a relative angle of the display means with respect to the robot-type interface device is changed by controlling means.
【請求項3】 前記制御手段は、前記画像取得手段によ
って取得された使用者の顔の画像が予め記憶された顔の
画像と一致する場合に、前記表示手段による情報の提示
を開始する、請求項2記載のロボット型インタフェース
装置。
3. The method according to claim 1, wherein the control unit starts presenting information by the display unit when the image of the user's face acquired by the image acquisition unit matches a face image stored in advance. Item 3. The robot type interface device according to Item 2.
【請求項4】 前記検知手段はさらに、周辺にある物体
までの距離を計測するための距離計測手段を含み、 前記制御手段は、前記距離計測手段によって計測された
前記使用者までの距離が所定値となるように前記第1の
駆動手段を制御して前記ロボット型インタフェース装置
を移動させた後、前記画像取得手段によって取得された
使用者の顔が画像の中央近傍となるように、前記第1の
駆動手段と前記第3の駆動手段とを制御した後、前記第
2の駆動手段を制御して前記表示手段の相対位置と相対
角度との少なくとも一方を変更する、請求項2または3
記載のロボット型インタフェース装置。
4. The detecting means further includes a distance measuring means for measuring a distance to a peripheral object, and the control means determines that a distance to the user measured by the distance measuring means is a predetermined value. After controlling the first drive unit to move the robot-type interface device so that the value becomes a value, the user's face acquired by the image acquisition unit is located near the center of the image. The method according to claim 2, wherein after controlling the first driving means and the third driving means, the second driving means is controlled to change at least one of a relative position and a relative angle of the display means.
The robotic interface device as described.
【請求項5】 前記ロボット型インタフェース装置はさ
らに、周辺の照度を計測するための照度計測手段を含
み、 前記制御手段は、前記照度計測手段によって計測された
周辺の照度に応じて、前記表示手段の表示モードを変更
する、請求項1〜4のいずれかに記載のロボット型イン
タフェース装置。
5. The robot-type interface device further includes an illuminance measuring unit for measuring an illuminance of the surroundings, and the control unit controls the displaying unit according to the illuminance of the surroundings measured by the illuminance measuring unit. The robot type interface device according to any one of claims 1 to 4, wherein the display mode is changed.
【請求項6】 前記ロボット型インタフェース装置はさ
らに、使用者の音声を入力して認識するための音声入力
手段を含み、 前記制御手段は、前記音声入力手段による認識結果が第
1の所定命令であれば、前記表示手段による情報の提示
を開始する、請求項1〜4のいずれかに記載のロボット
型インタフェース装置。
6. The robot-type interface device further includes voice input means for inputting and recognizing a user's voice, wherein the control means determines that a result of recognition by the voice input means is a first predetermined command. The robot-type interface device according to any one of claims 1 to 4, wherein the presentation of information by the display means is started, if any.
【請求項7】 前記制御手段は、前記音声入力手段によ
る認識結果が第2の所定命令であれば、前記表示手段に
よる情報の提示を終了する、請求項6記載のロボット型
インタフェース装置。
7. The robot-type interface device according to claim 6, wherein the control unit ends the presentation of the information by the display unit if the recognition result by the voice input unit is a second predetermined command.
【請求項8】 前記ロボット型インタフェース装置はさ
らに、周辺の照度を計測するための照度計測手段を含
み、 前記制御手段は、前記照度計測手段によって計測された
周辺の照度が所定値以下の場合に、前記表示手段による
情報の提示を終了する、請求項6記載のロボット型イン
タフェース装置。
8. The robot-type interface device further includes an illuminance measuring unit for measuring the illuminance of the surroundings, wherein the control unit determines that the illuminance of the surroundings measured by the illuminance measuring unit is equal to or less than a predetermined value. 7. The robot-type interface device according to claim 6, wherein the presentation of the information by said display means ends.
【請求項9】 前記ロボット型インタフェース装置はさ
らに、前記表示手段を覆うように設けられたカバーを含
み、 前記第2の駆動手段は、前記カバーを開いた後、前記表
示手段を持上げて移動させる、請求項1〜8のいずれか
に記載のロボット型インタフェース装置。
9. The robot-type interface device further includes a cover provided so as to cover the display means, and the second drive means lifts and moves the display means after opening the cover. The robot-type interface device according to any one of claims 1 to 8.
【請求項10】 前記ロボット型インタフェース装置は
さらに、外部から情報を受信するための受信手段を含
み、 前記表示手段は、前記受信手段によって受信された情報
を表示する、請求項1〜9のいずれかに記載のロボット
型インタフェース装置。
10. The robot-type interface device according to claim 1, further comprising a receiving unit for receiving information from outside, wherein the display unit displays the information received by the receiving unit. A robot-type interface device as described in Crab.
【請求項11】 周辺の状態に応じて使用者に情報を提
示する表示装置を含んだロボット型インタフェース装置
の制御方法であって、 前記ロボット型インタフェース装置周辺の状態を検知す
るステップと、 前記検知された周辺の状態に応じて前記ロボット型イン
タフェース装置を移動させ、前記ロボット型インタフェ
ース装置に対する前記表示装置の相対位置と相対角度と
の少なくとも一方を変更して前記使用者に情報を提示す
るステップとを含む、ロボット型インタフェース装置の
制御方法。
11. A method for controlling a robot-type interface device including a display device for presenting information to a user according to a state of the surroundings, the method comprising: detecting a state around the robot-type interface device; Moving the robot-type interface device according to the surrounding state, and changing at least one of a relative position and a relative angle of the display device with respect to the robot-type interface device to present information to the user. A control method for a robot-type interface device, comprising:
JP2001166227A 2001-06-01 2001-06-01 Robot type interface device and control method for the same Withdrawn JP2002355779A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001166227A JP2002355779A (en) 2001-06-01 2001-06-01 Robot type interface device and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001166227A JP2002355779A (en) 2001-06-01 2001-06-01 Robot type interface device and control method for the same

Publications (1)

Publication Number Publication Date
JP2002355779A true JP2002355779A (en) 2002-12-10

Family

ID=19008790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001166227A Withdrawn JP2002355779A (en) 2001-06-01 2001-06-01 Robot type interface device and control method for the same

Country Status (1)

Country Link
JP (1) JP2002355779A (en)

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005161417A (en) * 2003-11-28 2005-06-23 Kawada Kogyo Kk Electric equipment apparatus mounting structure of anthropomorphic robot
JP2005161414A (en) * 2003-11-28 2005-06-23 Kawada Kogyo Kk Electric equipment apparatus cooling structure of anthropomorphic robot
KR100629119B1 (en) 2005-04-20 2006-09-27 주식회사 유진로봇 Device for opening and closing lcd folder of robot and method for control the same
EP1594660A4 (en) * 2003-01-15 2009-03-11 Intouch Technologies Inc Five degrees of freedom mobile robot
KR100991193B1 (en) * 2008-07-31 2010-11-05 주식회사 유진로봇 System and method of robot for controling gradient
EP2281668A1 (en) * 2005-09-30 2011-02-09 iRobot Corporation Companion robot for personal interaction
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
JP2014050472A (en) * 2012-09-05 2014-03-20 Toshiba Tec Corp Robot control device and program
KR101408657B1 (en) 2007-12-18 2014-06-17 삼성전자주식회사 Apparatus and method for user interface of remote control system for Robot
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
US8861750B2 (en) 2008-04-17 2014-10-14 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
CN104723344A (en) * 2015-03-17 2015-06-24 江门市东方智慧物联网科技有限公司 Smart home service robot system
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US9174342B2 (en) 2012-05-22 2015-11-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
USRE45870E1 (en) 2002-07-25 2016-01-26 Intouch Technologies, Inc. Apparatus and method for patient rounding with a remote controlled robot
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9375843B2 (en) 2003-12-09 2016-06-28 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US9469030B2 (en) 2011-01-28 2016-10-18 Intouch Technologies Interfacing with a mobile telepresence robot
US9602765B2 (en) 2009-08-26 2017-03-21 Intouch Technologies, Inc. Portable remote presence robot
US9715337B2 (en) 2011-11-08 2017-07-25 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US9849593B2 (en) 2002-07-25 2017-12-26 Intouch Technologies, Inc. Medical tele-robotic system with a master remote station with an arbitrator
US9902069B2 (en) 2010-05-20 2018-02-27 Irobot Corporation Mobile robot system
US9974612B2 (en) 2011-05-19 2018-05-22 Intouch Technologies, Inc. Enhanced diagnostics for a telepresence robot
EP3338962A1 (en) * 2016-12-23 2018-06-27 LG Electronics Inc. Guide robot
KR20180074141A (en) * 2016-12-23 2018-07-03 엘지전자 주식회사 Moving robot
US10218748B2 (en) 2010-12-03 2019-02-26 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
KR20190102792A (en) * 2018-02-27 2019-09-04 주식회사 알아이파워 Display Mounting Apparatus And The Method Thereof
US10471588B2 (en) 2008-04-14 2019-11-12 Intouch Technologies, Inc. Robotic based health care system
JP2020095313A (en) * 2018-12-10 2020-06-18 株式会社ロビックス robot
US10737393B2 (en) 2016-12-23 2020-08-11 Lg Electronics Inc. Guidance robot
US10744641B2 (en) 2016-12-23 2020-08-18 Lg Electronics Inc. Guidance robot
US10750920B2 (en) 2017-03-28 2020-08-25 Lg Electronics Inc. Control method of robot system including plurality of moving robots
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10969766B2 (en) 2009-04-17 2021-04-06 Teladoc Health, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US11205510B2 (en) 2012-04-11 2021-12-21 Teladoc Health, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US11389064B2 (en) 2018-04-27 2022-07-19 Teladoc Health, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US11742094B2 (en) 2017-07-25 2023-08-29 Teladoc Health, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US11966317B2 (en) 2018-01-05 2024-04-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Cited By (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849593B2 (en) 2002-07-25 2017-12-26 Intouch Technologies, Inc. Medical tele-robotic system with a master remote station with an arbitrator
US10315312B2 (en) 2002-07-25 2019-06-11 Intouch Technologies, Inc. Medical tele-robotic system with a master remote station with an arbitrator
USRE45870E1 (en) 2002-07-25 2016-01-26 Intouch Technologies, Inc. Apparatus and method for patient rounding with a remote controlled robot
EP1594660A4 (en) * 2003-01-15 2009-03-11 Intouch Technologies Inc Five degrees of freedom mobile robot
JP2005161417A (en) * 2003-11-28 2005-06-23 Kawada Kogyo Kk Electric equipment apparatus mounting structure of anthropomorphic robot
JP2005161414A (en) * 2003-11-28 2005-06-23 Kawada Kogyo Kk Electric equipment apparatus cooling structure of anthropomorphic robot
US9956690B2 (en) 2003-12-09 2018-05-01 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US10882190B2 (en) 2003-12-09 2021-01-05 Teladoc Health, Inc. Protocol for a remotely controlled videoconferencing robot
US9375843B2 (en) 2003-12-09 2016-06-28 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
US10241507B2 (en) 2004-07-13 2019-03-26 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US9766624B2 (en) 2004-07-13 2017-09-19 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US8401275B2 (en) 2004-07-13 2013-03-19 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US8983174B2 (en) 2004-07-13 2015-03-17 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
KR100629119B1 (en) 2005-04-20 2006-09-27 주식회사 유진로봇 Device for opening and closing lcd folder of robot and method for control the same
US8195333B2 (en) 2005-09-30 2012-06-05 Irobot Corporation Companion robot for personal interaction
US10259119B2 (en) 2005-09-30 2019-04-16 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
US9796078B2 (en) 2005-09-30 2017-10-24 Irobot Corporation Companion robot for personal interaction
US9446510B2 (en) 2005-09-30 2016-09-20 Irobot Corporation Companion robot for personal interaction
US10661433B2 (en) 2005-09-30 2020-05-26 Irobot Corporation Companion robot for personal interaction
US8935006B2 (en) 2005-09-30 2015-01-13 Irobot Corporation Companion robot for personal interaction
US8583282B2 (en) 2005-09-30 2013-11-12 Irobot Corporation Companion robot for personal interaction
US9452525B2 (en) 2005-09-30 2016-09-27 Irobot Corporation Companion robot for personal interaction
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
EP2281668A1 (en) * 2005-09-30 2011-02-09 iRobot Corporation Companion robot for personal interaction
US9878445B2 (en) 2005-09-30 2018-01-30 Irobot Corporation Displaying images from a robot
US7957837B2 (en) 2005-09-30 2011-06-07 Irobot Corporation Companion robot for personal interaction
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US10682763B2 (en) 2007-05-09 2020-06-16 Intouch Technologies, Inc. Robot system that operates through a network firewall
US9002520B2 (en) 2007-12-18 2015-04-07 Samsung Electronics Co., Ltd. User interface device of remote control system for robot device and method using the same
US9757861B2 (en) 2007-12-18 2017-09-12 Samsung Electronics Co., Ltd. User interface device of remote control system for robot device and method using the same
KR101408657B1 (en) 2007-12-18 2014-06-17 삼성전자주식회사 Apparatus and method for user interface of remote control system for Robot
US11787060B2 (en) 2008-03-20 2023-10-17 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US11472021B2 (en) 2008-04-14 2022-10-18 Teladoc Health, Inc. Robotic based health care system
US10471588B2 (en) 2008-04-14 2019-11-12 Intouch Technologies, Inc. Robotic based health care system
US8861750B2 (en) 2008-04-17 2014-10-14 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US10493631B2 (en) 2008-07-10 2019-12-03 Intouch Technologies, Inc. Docking system for a tele-presence robot
US10878960B2 (en) 2008-07-11 2020-12-29 Teladoc Health, Inc. Tele-presence robot system with multi-cast features
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
KR100991193B1 (en) * 2008-07-31 2010-11-05 주식회사 유진로봇 System and method of robot for controling gradient
US9429934B2 (en) 2008-09-18 2016-08-30 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US10059000B2 (en) 2008-11-25 2018-08-28 Intouch Technologies, Inc. Server connectivity control for a tele-presence robot
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US10875183B2 (en) 2008-11-25 2020-12-29 Teladoc Health, Inc. Server connectivity control for tele-presence robot
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US10969766B2 (en) 2009-04-17 2021-04-06 Teladoc Health, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US10911715B2 (en) 2009-08-26 2021-02-02 Teladoc Health, Inc. Portable remote presence robot
US10404939B2 (en) 2009-08-26 2019-09-03 Intouch Technologies, Inc. Portable remote presence robot
US9602765B2 (en) 2009-08-26 2017-03-21 Intouch Technologies, Inc. Portable remote presence robot
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US10887545B2 (en) 2010-03-04 2021-01-05 Teladoc Health, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US9089972B2 (en) 2010-03-04 2015-07-28 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US11798683B2 (en) 2010-03-04 2023-10-24 Teladoc Health, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US9902069B2 (en) 2010-05-20 2018-02-27 Irobot Corporation Mobile robot system
US11389962B2 (en) 2010-05-24 2022-07-19 Teladoc Health, Inc. Telepresence robot system that can be accessed by a cellular phone
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
US10218748B2 (en) 2010-12-03 2019-02-26 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US10399223B2 (en) 2011-01-28 2019-09-03 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US11468983B2 (en) 2011-01-28 2022-10-11 Teladoc Health, Inc. Time-dependent navigation of telepresence robots
US9785149B2 (en) 2011-01-28 2017-10-10 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US11289192B2 (en) 2011-01-28 2022-03-29 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US9469030B2 (en) 2011-01-28 2016-10-18 Intouch Technologies Interfacing with a mobile telepresence robot
US10591921B2 (en) 2011-01-28 2020-03-17 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
US9974612B2 (en) 2011-05-19 2018-05-22 Intouch Technologies, Inc. Enhanced diagnostics for a telepresence robot
US10331323B2 (en) 2011-11-08 2019-06-25 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US9715337B2 (en) 2011-11-08 2017-07-25 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US11205510B2 (en) 2012-04-11 2021-12-21 Teladoc Health, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US10762170B2 (en) 2012-04-11 2020-09-01 Intouch Technologies, Inc. Systems and methods for visualizing patient and telepresence device statistics in a healthcare network
US10061896B2 (en) 2012-05-22 2018-08-28 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US10892052B2 (en) 2012-05-22 2021-01-12 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US11628571B2 (en) 2012-05-22 2023-04-18 Teladoc Health, Inc. Social behavior rules for a medical telepresence robot
US11515049B2 (en) 2012-05-22 2022-11-29 Teladoc Health, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9776327B2 (en) 2012-05-22 2017-10-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US10780582B2 (en) 2012-05-22 2020-09-22 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US10328576B2 (en) 2012-05-22 2019-06-25 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US11453126B2 (en) 2012-05-22 2022-09-27 Teladoc Health, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
US10603792B2 (en) 2012-05-22 2020-03-31 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semiautonomous telemedicine devices
US9174342B2 (en) 2012-05-22 2015-11-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US10658083B2 (en) 2012-05-22 2020-05-19 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
JP2014050472A (en) * 2012-09-05 2014-03-20 Toshiba Tec Corp Robot control device and program
US11910128B2 (en) 2012-11-26 2024-02-20 Teladoc Health, Inc. Enhanced video interaction for a user interface of a telepresence network
US10924708B2 (en) 2012-11-26 2021-02-16 Teladoc Health, Inc. Enhanced video interaction for a user interface of a telepresence network
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US10334205B2 (en) 2012-11-26 2019-06-25 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
CN104723344A (en) * 2015-03-17 2015-06-24 江门市东方智慧物联网科技有限公司 Smart home service robot system
EP3563981A1 (en) * 2016-12-23 2019-11-06 LG Electronics Inc. Guide robot
US10759045B2 (en) 2016-12-23 2020-09-01 Lg Electronics Inc. Robot
US11312004B2 (en) 2016-12-23 2022-04-26 Lg Electronics Inc. Guide robot
KR102070210B1 (en) * 2016-12-23 2020-01-28 엘지전자 주식회사 Moving robot
KR20180074141A (en) * 2016-12-23 2018-07-03 엘지전자 주식회사 Moving robot
EP3338962A1 (en) * 2016-12-23 2018-06-27 LG Electronics Inc. Guide robot
US10744641B2 (en) 2016-12-23 2020-08-18 Lg Electronics Inc. Guidance robot
EP3563979A1 (en) * 2016-12-23 2019-11-06 LG Electronics Inc. Guide robot
US10737393B2 (en) 2016-12-23 2020-08-11 Lg Electronics Inc. Guidance robot
US10750920B2 (en) 2017-03-28 2020-08-25 Lg Electronics Inc. Control method of robot system including plurality of moving robots
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US11742094B2 (en) 2017-07-25 2023-08-29 Teladoc Health, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US11966317B2 (en) 2018-01-05 2024-04-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
KR102088456B1 (en) 2018-02-27 2020-03-12 주식회사 알아이파워 Display Mounting Apparatus And The Method Thereof
KR20190102792A (en) * 2018-02-27 2019-09-04 주식회사 알아이파워 Display Mounting Apparatus And The Method Thereof
US11389064B2 (en) 2018-04-27 2022-07-19 Teladoc Health, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
JP2020095313A (en) * 2018-12-10 2020-06-18 株式会社ロビックス robot

Similar Documents

Publication Publication Date Title
JP2002355779A (en) Robot type interface device and control method for the same
US9873200B2 (en) Personal robot
JP5429462B2 (en) Communication robot
EP3418008A1 (en) Communication device, communication robot and computer-readable storage medium
JP5186723B2 (en) Communication robot system and communication robot gaze control method
CN109710055A (en) The interaction control method of vehicle intelligent interactive system and vehicle-mounted interactive terminal
WO2012167653A1 (en) Visualised method for guiding the blind and intelligent device for guiding the blind thereof
JP6295399B2 (en) Humanoid robot
JPH1031551A (en) Human interface system and high-speed moving body position detecting device using the same
CN109087485A (en) Assisting automobile driver method, apparatus, intelligent glasses and storage medium
JP2006289508A (en) Robot device and its facial expression control method
EP3655204A1 (en) Electronic device capable of moving and operating method thereof
JP2004230479A (en) Communication robot and communication system using the same
EP3300841B1 (en) Communication device
JP2006272471A (en) Communication robot
CN109300528B (en) Cognitive rehabilitation training system and method
JP4517086B2 (en) Communication robot system and robot controller
CN110505549A (en) The control method and device of earphone
CN113303791A (en) Online self-service physical examination system for motor vehicle driver, mobile terminal and storage medium
CN110861107B (en) Service robot, display control method thereof, controller, and storage medium
CN111108463A (en) Information processing apparatus, information processing method, and program
JP2005131713A (en) Communication robot
WO2022227600A1 (en) Charging cover control method and device for electric vehicle, and electric vehicle
KR20190093166A (en) Communication robot and control program therefor
JP2010082714A (en) Communication robot

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080805