JP2016083711A - Telepresence robot - Google Patents

Telepresence robot Download PDF

Info

Publication number
JP2016083711A
JP2016083711A JP2014216628A JP2014216628A JP2016083711A JP 2016083711 A JP2016083711 A JP 2016083711A JP 2014216628 A JP2014216628 A JP 2014216628A JP 2014216628 A JP2014216628 A JP 2014216628A JP 2016083711 A JP2016083711 A JP 2016083711A
Authority
JP
Japan
Prior art keywords
telepresence robot
user
contact
telepresence
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014216628A
Other languages
Japanese (ja)
Other versions
JP6558764B2 (en
Inventor
亨 山口
Toru Yamaguchi
亨 山口
泰成 藤本
Yasunari Fujimoto
泰成 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Metropolitan Public University Corp
Original Assignee
Tokyo Metropolitan Public University Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan Public University Corp filed Critical Tokyo Metropolitan Public University Corp
Priority to JP2014216628A priority Critical patent/JP6558764B2/en
Publication of JP2016083711A publication Critical patent/JP2016083711A/en
Application granted granted Critical
Publication of JP6558764B2 publication Critical patent/JP6558764B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To secure safety and improve presence when using a telepresence robot.SOLUTION: A telepresence robot (1) comprises: touch sense detecting members (19 and 22) that detect a position which a user touches; a communication portion that transmits and receives the position detected by the touch sense detecting members (19 and 22); and non-contact transmitting members (18 and 23) that contactlessly transmit, on the basis of the position detected by the touch sense detecting members (19 and 22), to the user the touched position.SELECTED DRAWING: Figure 2

Description

本発明は、テレプレゼンスロボットに関する。   The present invention relates to a telepresence robot.

近年、自宅で働く人が、会社に居る社員との間で会議を行う場合や、離れた事業所どうしの間で会議を行う場合等に、TV会議システムが使用されつつある。TV会議システムにおいて、遠隔地に居るにも関わらず、現場にいるような感覚を相互に伝えるような臨場感を与えるロボットとして、テレプレゼンスロボットが知られている。
テレプレゼンスロボットに関して、以下の技術が従来公知である。
2. Description of the Related Art In recent years, a TV conference system is being used when a person working at home has a meeting with an employee at a company or a meeting between remote offices. In a TV conference system, a telepresence robot is known as a robot that gives a sense of presence that conveys a sense of being in the field to each other even though they are in a remote place.
The following technologies are conventionally known for telepresence robots.

非特許文献1には、車輪を有する台車に、相手の顔が映し出されるモニターや、自身を写すためのカメラ、マイクロフォン(小型のスピーカおよびマイク)、ロボットアームやレーザーポインタ等が設置されたテレプレゼンスロボットが記載されている。非特許文献1に記載された技術では、テレプレゼンスロボットに映しだされた相手と会話をしたり、ロボットアームで単純なジェスチャーを行ったり、レーザーポインタで物を指し示したりすることが可能になっている。すなわち、視覚と聴覚を通じたコミュニケーションが可能である。   Non-Patent Document 1 discloses a telepresence in which a monitor that displays the face of a partner on a wheeled carriage, a camera for capturing itself, a microphone (small speaker and microphone), a robot arm, a laser pointer, and the like are installed. A robot is described. With the technology described in Non-Patent Document 1, it is possible to have a conversation with a partner projected on a telepresence robot, perform a simple gesture with a robot arm, or point an object with a laser pointer. Yes. That is, communication through vision and hearing is possible.

非特許文献2には、頭部にカメラが設置され、肩部に4自由度で動作する腕が取り付けられ、ステレオカメラや全方位視覚センサ、ステレオマイクロフォン、接触センサ等が設けられて、車輪で移動可能なロボットが記載されている。非特許文献2のロボットは、TV会議等の遠隔地の利用者が利用するのではなく、ロボットの近くに居る利用者の位置や利用者の音声をロボットが認識して、握手や抱擁、じゃんけん、おじぎ、簡単な会話等の動作を行うものである。   In Non-Patent Document 2, a camera is installed on the head, an arm that operates with 4 degrees of freedom is attached to the shoulder, a stereo camera, an omnidirectional visual sensor, a stereo microphone, a contact sensor, and the like are provided. A movable robot is described. The robot of Non-Patent Document 2 is not used by remote users such as TV conferences, but the robot recognizes the position of the user near the robot and the voice of the user, and shakes, holds, , Bows, simple conversations, etc.

Annica Kristoffersson, et.al, “A Revier of Mobile Robotic Telepresence,” Adbances in Human-Computer Interaction, Vol. 2013, Article ID 902316, 17 pages, 2013. doi:10. 1155/2013/902316.Annica Kristoffersson, et.al, “A Revier of Mobile Robotic Telepresence,” Adbances in Human-Computer Interaction, Vol. 2013, Article ID 902316, 17 pages, 2013.doi: 10. 1155/2013/902316. 神田崇行、他4名, “人間と相互作用する自律型ロボットRobovieの評価,” 日本ロボット学会誌, Vol.20, No.3, pp.1-9, 2002.Takayuki Kanda and 4 others, “Evaluation of an autonomous robot Robovie that interacts with humans,” Journal of the Robotics Society of Japan, Vol.20, No.3, pp.1-9, 2002.

(従来技術の問題点)
非特許文献1に記載の従来技術では、手による仕草は伝達されていない。お互いのモニターには顔が映し出されているが、相手が、その化身であるロボットに何をしているかを伝えられていない。例えば、お年寄りが孫をあやすような仕草は、相手に伝達されない。
非特許文献1に記載の技術と非特許文献2に記載の技術とを組み合わせた場合、遠隔操作されたロボットから体を触られるというのは、遠隔操作により生じる時間的遅延が少なからずあるため、時間的遅延によりロボットが触れる前に相手が動いたような場合、触れようとした場所以外の場所、例えば、肩に触れるはずが顔や目に触れたり、想定していた以上の力で相手に触れたりして、人間を負傷させる恐れがある。他にも、制御時の通信速度が低下した場合には、動作が途中で止まってしまって、例えば、握手したり抱擁したままで離さなくなったりする恐れもある。よって、利用者に接触する部分にアクチュエータを導入した場合、安全面の問題がある。時間的遅延や通信速度の低下を抑制するには、例えば、太い通信ケーブルを使用することも考えられるが、高価になるとともに、テレプレゼンスロボットを設置可能な場所が制限されたり、ケーブルがテレプレゼンスロボットの移動の妨げになったりする等の問題もある。
(Problems of conventional technology)
In the prior art described in Non-Patent Document 1, hand gestures are not transmitted. Faces are projected on each other's monitors, but the opponent is not told what the incarnation is doing. For example, gestures in which the elderly care for grandchildren are not transmitted to the other party.
When the technique described in Non-Patent Document 1 and the technique described in Non-Patent Document 2 are combined, touching the body from a remotely operated robot has a considerable time delay caused by the remote operation. If the opponent moves before the robot touches due to a time delay, you should touch the face or eyes where you should touch the shoulder or other places other than the place you were trying to touch. Touching it may injure humans. In addition, when the communication speed at the time of control decreases, the operation stops in the middle, and for example, there is a possibility that the user does not release while shaking hands or holding. Therefore, when an actuator is introduced in a portion that contacts the user, there is a safety problem. For example, a thick communication cable may be used to suppress the time delay and the communication speed decrease. However, it is expensive and the place where the telepresence robot can be installed is restricted, or the cable is used for telepresence. There are also problems such as obstructing the movement of the robot.

本発明は、テレプレゼンスロボットを使用する際に、安全を確保しつつ、臨場感を向上させることを技術的課題とする。   An object of the present invention is to improve a sense of reality while ensuring safety when using a telepresence robot.

前記技術的課題を解決するために、請求項1に記載の発明のテレプレゼンスロボットは、
互いに離間した場所に配置されたテレプレゼンスロボットであって、
各場所の映像を取得する撮影部と、
各場所の音声を取得する音声入力部と、
映像及び音声を送受信可能な通信部と、
前記通信部が受信した映像を表示する表示部と、
前記通信部が受信した音声を出力する音声出力部と、
利用者が触れた位置を検出する触覚検出部材と、
前記触覚検出部材で検出された位置を送受信する前記通信部と、
前記通信部が受信した前記触覚検出部材で検出された位置に基づいて、利用者に、触れられた位置を非接触で伝達する非接触伝達部材と、
を備えたことを特徴とする。
In order to solve the technical problem, the telepresence robot of the invention according to claim 1 comprises:
Telepresence robots that are placed at a distance from each other,
A filming unit that captures images of each location;
A voice input unit for acquiring the voice of each place;
A communication unit capable of transmitting and receiving video and audio;
A display unit for displaying the video received by the communication unit;
An audio output unit for outputting audio received by the communication unit;
A tactile detection member for detecting a position touched by the user;
The communication unit for transmitting and receiving the position detected by the tactile detection member;
Based on the position detected by the tactile detection member received by the communication unit, a non-contact transmission member that transmits the touched position to the user in a non-contact manner;
It is provided with.

請求項2に記載の発明は、請求項1に記載のテレプレゼンスロボットにおいて、
筐体に対して移動可能に支持された腕部と、
前記腕部に設けられた前記触覚検出部材と、
を備え、
前記筐体と前記腕部との関節部に、前記腕部を駆動する駆動系が設けられていない
ことを特徴とする。
The invention according to claim 2 is the telepresence robot according to claim 1,
An arm that is movably supported relative to the housing;
The tactile detection member provided on the arm;
With
A drive system for driving the arm part is not provided at a joint part between the housing and the arm part.

請求項3に記載の発明は、請求項1または2に記載のテレプレゼンスロボットにおいて、
空中超音波振動子アレイにより構成された前記非接触伝達部材、
を備えたことを特徴とする。
The invention according to claim 3 is the telepresence robot according to claim 1 or 2,
The non-contact transmission member configured by an airborne ultrasonic transducer array,
It is provided with.

請求項1に記載の発明によれば、利用者に非接触で、触覚検出部材で検出された位置が伝達されない場合に比べて、テレプレゼンスロボットを使用する際に、安全を確保することができる。さらに、請求項1に記載の発明によれば、視覚と聴覚で伝達をする従来のテレプレゼンスロボットに比べて、臨場感を向上させることができる。
請求項2に記載の発明によれば、利用者に接触して触覚を伝達する従来の構成において、関節部分にアクチュエータが設けられた構成に比べて、低コストにすることができる。
請求項3に記載の発明によれば、空中超音波振動子アレイの発生する超音波で、利用者に非接触で、触覚を伝達することができる。
According to the first aspect of the present invention, it is possible to ensure safety when using the telepresence robot, as compared to the case where the position detected by the tactile sense detection member is not transmitted to the user without contact. . Furthermore, according to the first aspect of the present invention, it is possible to improve a sense of reality compared to a conventional telepresence robot that transmits visually and auditorily.
According to the second aspect of the present invention, in the conventional configuration in which a tactile sensation is transmitted in contact with the user, the cost can be reduced as compared with the configuration in which the actuator is provided in the joint portion.
According to the third aspect of the present invention, it is possible to transmit a tactile sensation to a user in a non-contact manner using ultrasonic waves generated by the aerial ultrasonic transducer array.

図1は本発明の実施例1のテレプレゼンスロボットを利用した遠隔コミュニケーションシステムの説明図である。FIG. 1 is an explanatory diagram of a remote communication system using a telepresence robot according to a first embodiment of the present invention. 図2は実施例1のテレプレゼンスロボットの説明図であり、図2Aは正面図、図2Bは側面図である。FIG. 2 is an explanatory diagram of the telepresence robot according to the first embodiment, FIG. 2A is a front view, and FIG. 2B is a side view. 図3は実施例1の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。FIG. 3 is a functional block diagram of the telepresence robot in the remote communication system according to the first embodiment. 図4は実施例1のテレプレゼンスロボットにおける処理のフローチャートの説明図である。FIG. 4 is an explanatory diagram of a flowchart of processing in the telepresence robot of the first embodiment.

次に図面を参照しながら、本発明の実施の形態の具体例(以下、実施例と記載する)を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
Next, specific examples of embodiments of the present invention (hereinafter referred to as examples) will be described with reference to the drawings, but the present invention is not limited to the following examples.
In the following description using the drawings, illustrations other than members necessary for the description are omitted as appropriate for easy understanding.

図1は本発明の実施例1のテレプレゼンスロボットを利用した遠隔コミュニケーションシステムの説明図である。
図1において、実施例1の遠隔コミュニケーションシステムSは、利用者が利用可能な端末の一例としてのテレプレゼンスロボット1を有する。テレプレゼンスロボット1は、互いに離れた設置場所の一例として、利用者である祖父母の居住する住宅2と、利用者である孫の居住する住宅3にそれぞれ設置されている。
FIG. 1 is an explanatory diagram of a remote communication system using a telepresence robot according to a first embodiment of the present invention.
In FIG. 1, a remote communication system S according to the first embodiment includes a telepresence robot 1 as an example of a terminal that can be used by a user. The telepresence robot 1 is installed in a house 2 in which a grandparent who is a user lives and a house 3 in which a grandchild who is a user lives as an example of installation locations that are separated from each other.

図2は実施例1のテレプレゼンスロボットの説明図であり、図2Aは正面図、図2Bは側面図である。
図1、図2において、各テレプレゼンスロボット1は、台座部11を有する。台座部11は、キャスター11aを有する。よって、テレプレゼンスロボット1は、自由に移動可能に構成されている。
台座部11には、上方に延びる柱部12が支持されている。柱部12の上端には、本体部13が支持されている。本体部13の内部には、テレプレゼンスロボット1を制御する制御部の一例としての図示しないコンピュータ装置が内蔵されている。
FIG. 2 is an explanatory diagram of the telepresence robot according to the first embodiment, FIG. 2A is a front view, and FIG. 2B is a side view.
1 and 2, each telepresence robot 1 has a pedestal 11. The pedestal 11 has a caster 11a. Therefore, the telepresence robot 1 is configured to be freely movable.
A column part 12 extending upward is supported on the base part 11. A main body portion 13 is supported on the upper end of the column portion 12. A computer device (not shown) as an example of a control unit that controls the telepresence robot 1 is built in the main body 13.

本体部13の前面には、表示部の一例としてのディスプレイ14が支持されている。ディスプレイ14の縁部には、撮影部の一例として、テレプレゼンスロボット1の前方に居る人物を撮像する撮像カメラ16が支持されている。また、ディスプレイ14の縁部には、図示しない音声出力部の一例としてのスピーカと、音声入力部の一例としてのマイクとが支持されている。
ディスプレイ14の上部には、人物の位置を検出するためのカメラセンサ17が配置されている。なお、カメラセンサ17は、例えば、市販のKinect(登録商標)センサを使用可能であり、従来公知であるため、詳細な説明は省略する。
A display 14 as an example of a display unit is supported on the front surface of the main body 13. An imaging camera 16 that captures an image of a person in front of the telepresence robot 1 is supported on the edge of the display 14 as an example of an imaging unit. Further, a speaker as an example of an audio output unit (not shown) and a microphone as an example of an audio input unit are supported on the edge of the display 14.
A camera sensor 17 for detecting the position of the person is disposed on the upper portion of the display 14. For example, a commercially available Kinect (registered trademark) sensor can be used as the camera sensor 17 and is well known in the art.

また、ディスプレイ14の上方および左右両側には、非接触で感覚を伝達する非接触伝達部材の一例としての感覚伝達デバイス18が支持されている。実施例1では、非接触で感触を伝える感覚伝達デバイス18の一例として空中超音波振動子アレイが使用されている。なお、空中超音波振動子アレイは、多数の超音波振動子が格子状に配列されたものであり、空中の任意の位置に超音波の焦点を作り出すことで、焦点の位置に音圧や音響放射圧を発生させる。この音圧等により、焦点の位置の人体表面に押される力が発生して、人に触覚刺激を与えるものである。空中超音波振動子アレイは、例えば、非特許文献3(星貴之、他2名, ”空中超音波振動子アレイによる触覚提示,” ロボティクス・メカトロニクス講演会講演概要集 2009, pp1A1-A14(1)-1A1-A14(4), 2009-05-25.)や、非特許文献4(星貴之, ”非接触触覚ディスプレイによる手掌部への情報提示,” 日本バーチャルリアリティ学会大会論文集(CD-ROM), Vol.16th pp.ROMBUNNO.34C-7)に記載されており、従来公知であるため、詳細な説明は省略する。   A sensory transmission device 18 as an example of a non-contact transmission member that transmits a sensory sense in a non-contact manner is supported above and on the left and right sides of the display 14. In the first embodiment, an aerial ultrasonic transducer array is used as an example of the sensory transmission device 18 that transmits a touch without contact. An aerial ultrasonic transducer array has a large number of ultrasonic transducers arranged in a grid. By creating an ultrasonic focal point at an arbitrary position in the air, sound pressure and acoustics are generated at the focal point. Generates radiation pressure. This sound pressure or the like generates a force that is pushed on the surface of the human body at the focal point position to give a tactile stimulus to the person. For example, Non-Patent Document 3 (Takayuki Hoshi and two others, “Tactile presentation using an aerial ultrasonic transducer array,” Robotics and Mechatronics Lecture Meeting 2009, pp1A1-A14 (1) -1A1-A14 (4), 2009-05-25.), Non-Patent Document 4 (Takayuki Hoshi, “Presentation of information to the palm using a non-contact tactile display,” Proceedings of the Virtual Reality Society of Japan (CD-ROM) ), Vol. 16th pp. ROMBUNNO. 34C-7), which is well known in the art, and will not be described in detail.

また、本体部13の上面及び左右両側面には、触覚検出部材の一例としての触覚センサ19が支持されている。実施例1の触覚センサ19は、利用者が触れた位置と触れた力の強さを検出する。触覚センサは、例えば、ショッカクキューブ(商標)やショッカクポット(商標)等のように市販の触覚センサを使用可能であり、従来公知であるため、詳細な説明は省略する。
さらに、本体部13の左右両端部には、前方に延びるアーム21が支持されている。なお、実施例1のアーム21は、利用者が操作をして、関節部分で回転させることが可能に構成されているが、関節部分にアクチュエータ等が設置されておらず、制御信号に応じて動作はしない。
A tactile sensor 19 as an example of a tactile detection member is supported on the upper surface and both left and right side surfaces of the main body 13. The tactile sensor 19 according to the first embodiment detects the position touched by the user and the strength of the touched force. As the tactile sensor, for example, a commercially available tactile sensor can be used such as a shock cube (trademark), a shock pot (trademark), and the like.
Furthermore, arms 21 extending forward are supported on both left and right ends of the main body 13. In addition, although the arm 21 of Example 1 is comprised so that a user can operate and rotate in a joint part, an actuator etc. are not installed in a joint part, but according to a control signal Does not work.

また、アーム21には、検知部材の一例としての振動センサ22が支持されている。実施例1の振動センサ22は、例えば、加速度を検出する加速度センサを使用可能であり、人がアーム21に触れた場合や、アーム21を握って上下動させる際の加速度を検出することで、アーム21の動き、振動を検出可能である。なお、実施例1の振動センサ22は、低消費電力で近距離無線通信が可能なZigBee(登録商標)を利用して、制御部と無線通信により検出信号をやりとりしている。したがって、実施例1の構成では、振動センサ22に小型のバッテリー(ボタン電池等)を内蔵することで、配線を省略している。
なお、実施例1の構成に限定されず、他の無線通信方式で通信をしたり、有線で制御部に接続することも可能である。
The arm 21 supports a vibration sensor 22 as an example of a detection member. As the vibration sensor 22 of the first embodiment, for example, an acceleration sensor that detects acceleration can be used. When a person touches the arm 21 or by detecting the acceleration when the arm 21 is moved up and down, The movement and vibration of the arm 21 can be detected. The vibration sensor 22 according to the first embodiment uses ZigBee (registered trademark) capable of short-range wireless communication with low power consumption, and exchanges detection signals with the control unit through wireless communication. Therefore, in the configuration of the first embodiment, wiring is omitted by incorporating a small battery (button cell or the like) in the vibration sensor 22.
In addition, it is not limited to the structure of Example 1, It is also possible to communicate with another radio | wireless communication system, or to connect to a control part with a wire communication.

さらに、アーム21には、非接触伝達部材の一例としてのLED23が支持されている。
また、実施例1のテレプレゼンスロボット1は、無線通信の一例としての無線LANを介して、公衆回線の一例としてのインターネット31に接続されており、遠隔地のテレプレゼンスロボット1との間で、通信可能に構成されている。なお、通信方式は、無線通信に限定されず、有線接続の形式とすることも可能である。また、無線LANに限定されず、携帯電話回線やBluetooth(登録商標)等、任意の通信技術を採用可能である。
Further, the arm 21 supports an LED 23 as an example of a non-contact transmission member.
Further, the telepresence robot 1 of the first embodiment is connected to the Internet 31 as an example of a public line via a wireless LAN as an example of wireless communication. It is configured to be able to communicate. Note that the communication method is not limited to wireless communication, and may be a wired connection format. Further, the present invention is not limited to the wireless LAN, and any communication technology such as a mobile phone line or Bluetooth (registered trademark) can be adopted.

(実施例1のテレプレゼンスロボット1の制御部の説明)
図3は実施例1の遠隔コミュニケーションシステムにおけるテレプレゼンスロボットの機能ブロック図である。
図3において、実施例1のテレプレゼンスロボット1の制御部は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)ならびにクロック発振器等を有するコンピュータ装置により構成されており、前記ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記テレプレゼンスロボット1の制御部41には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムOS、アプリケーションプログラムの一例としてのコミュニケーションプログラムAP1、その他の図示しないソフトウェアが記憶されている。
(Description of Control Unit of Tele Presence Robot 1 of Example 1)
FIG. 3 is a functional block diagram of the telepresence robot in the remote communication system according to the first embodiment.
In FIG. 3, the control unit of the telepresence robot 1 according to the first embodiment performs I / O (input / output interface) for performing input / output of signals with the outside, adjustment of input / output signal levels, and the like, and necessary start-up processing. ROM (read-only memory) in which the programs and data are stored, RAM (random access memory) for temporarily storing necessary data and programs, and processing corresponding to the startup program stored in the ROM or the like is performed It is constituted by a computer device having a CPU (Central Processing Unit) and a clock oscillator, and various functions can be realized by executing programs stored in the ROM and RAM.
The control unit 41 of the telepresence robot 1 stores basic software for controlling basic operations, a so-called operating system OS, a communication program AP1 as an example of an application program, and other software (not shown).

(実施例1の制御部41に接続された要素)
テレプレゼンスロボット1の制御部41には、撮像カメラ16やカメラセンサ17、触覚センサ19、振動センサ22、マイク等の信号出力要素からの出力信号が入力されている。
また、実施例1の制御部41は、ディスプレイ14や感覚伝達デバイス18、LED23、スピーカ等の被制御要素へ制御信号を出力している。
(Elements connected to the control unit 41 of the first embodiment)
Output signals from signal output elements such as the imaging camera 16, camera sensor 17, touch sensor 19, vibration sensor 22, microphone, and the like are input to the control unit 41 of the telepresence robot 1.
Moreover, the control part 41 of Example 1 is outputting the control signal to controlled elements, such as the display 14, the sensory transmission device 18, LED23, a speaker.

(テレプレゼンスロボット1の機能)
実施例1のテレプレゼンスロボット1の制御部41のコミュニケーションプログラムAP1は、下記の機能手段(プログラムモジュール)51〜58を有する。
撮影手段51は、撮像カメラ16を介して、映像を撮影する。
音声取得手段52は、マイクを介して、音声を取得する。
触覚検知手段53は、接触位置特定手段53aと、接触強度特定手段53bと、を有し、利用者がテレプレゼンスロボット1に触れた位置と、触れた強さを検出する。
接触位置特定手段53aは、触覚センサ19の出力や、振動センサ22の出力結果に基づいて、利用者がテレプレゼンスロボット1に触れた位置を特定する。
(Function of telepresence robot 1)
The communication program AP1 of the control unit 41 of the telepresence robot 1 according to the first embodiment includes the following functional means (program modules) 51 to 58.
The photographing unit 51 photographs a video via the imaging camera 16.
The sound acquisition unit 52 acquires sound through a microphone.
The tactile sense detecting means 53 includes a contact position specifying means 53a and a contact strength specifying means 53b, and detects the position where the user touches the telepresence robot 1 and the touch strength.
The contact position specifying unit 53 a specifies the position where the user touches the telepresence robot 1 based on the output of the tactile sensor 19 or the output result of the vibration sensor 22.

接触強度特定手段53bは、触覚センサ19の出力や、振動センサ22の出力結果に基づいて、利用者がテレプレゼンスロボット1に触れた強さを特定する。実施例1の触覚センサ19は、利用者が触れた強さに対応する結果が出力されるため、接触強度特定手段53bは、触覚センサ19の出力結果に基づいて、触覚センサ19に触れた強さを特定可能である。また、振動センサ22は、利用者が触れた強さが強い場合(勢い良くアーム21に触れたり、アーム21を操作した場合)、計測される加速度の値が大きくなるため、接触強度特定手段53bは、加速度の出力結果に基づいて、アーム21に触れた強さを特定可能である。   The contact strength specifying means 53b specifies the strength with which the user touches the telepresence robot 1 based on the output of the tactile sensor 19 and the output result of the vibration sensor 22. Since the touch sensor 19 according to the first embodiment outputs a result corresponding to the strength touched by the user, the contact strength specifying unit 53b determines the strength of touching the touch sensor 19 based on the output result of the touch sensor 19. Can be specified. Further, the vibration sensor 22 has a measured acceleration value that increases when the strength of touch by the user is strong (when the arm 21 is touched or operated), the contact strength specifying means 53b. Can specify the strength of touching the arm 21 based on the output result of acceleration.

通信部の一例としての通信手段54は、送信手段54aと、受信手段54bと、を有し、離間した場所の他のテレプレゼンスロボット1との間で通信を行う。
送信手段54aは、撮影手段51で撮影された映像情報や、音声取得手段52で取得された音声情報、触覚検知手段53で検知された接触位置や接触強度の情報を、他のテレプレゼンスロボット1に対して送信する。
受信手段54bは、他のテレプレゼンスロボット1から送信された映像情報や音声情報、接触位置や接触強度の情報を受信する。
The communication unit 54 as an example of a communication unit includes a transmission unit 54a and a reception unit 54b, and performs communication with another telepresence robot 1 at a remote location.
The transmission unit 54a transmits the video information captured by the imaging unit 51, the audio information acquired by the audio acquisition unit 52, and the information on the contact position and the contact strength detected by the tactile detection unit 53 to other telepresence robots 1. Send to.
The receiving unit 54b receives video information, audio information, contact position and contact strength information transmitted from another telepresence robot 1.

画像表示手段55は、受信手段54bが受信した映像情報を、ディスプレイ14に表示する。したがって、他のテレプレゼンスロボット1の撮像カメラ16で撮影された映像が、ディスプレイ14に表示される。
音声出力手段56は、受信手段54bが受信した音声情報を、スピーカから出力する。したがって、他のテレプレゼンスロボット1のマイクに入力された音声が、スピーカから出力される。
The image display means 55 displays the video information received by the receiving means 54b on the display 14. Therefore, an image captured by the imaging camera 16 of another telepresence robot 1 is displayed on the display 14.
The audio output means 56 outputs the audio information received by the receiving means 54b from the speaker. Therefore, the sound input to the microphone of another telepresence robot 1 is output from the speaker.

位置検出手段57は、カメラセンサ17の検出結果に基づいて、テレプレゼンスロボット1の前にいる利用者の位置を検出する。一例として、実施例1の位置検出手段57は、テレプレゼンスロボット1の前にいる利用者の顔の位置を検出する。
触覚伝達制御手段58は、伝達位置特定手段58aと、伝達強度特定手段58bと、を有し、非接触伝達部材としての感覚伝達デバイス18およびLED23を制御して、他のテレプレゼンスロボット1の利用者が触れることで行った動作を、接触位置等の情報を受信したテレプレゼンスロボット1の利用者に伝達する。実施例1の触覚伝達制御手段58は、相手先(他のテレプレゼンスロボット1)の利用者が触覚センサ19を触れた場合は、接触位置等の情報を受信したテレプレゼンスロボット1では、感覚伝達デバイス18で利用者に接触情報を非接触で伝達する。また、実施例1の触覚伝達制御手段58は、相手先(他のテレプレゼンスロボット1)の利用者がアーム21に触れたことを振動センサ22で検出した場合は、接触位置等の情報を受信したテレプレゼンスロボット1では、LED23を発光させることで利用者に接触情報を非接触で伝達する。
The position detection means 57 detects the position of the user in front of the telepresence robot 1 based on the detection result of the camera sensor 17. As an example, the position detection unit 57 according to the first embodiment detects the position of the face of the user in front of the telepresence robot 1.
The tactile transmission control means 58 includes a transmission position specifying means 58a and a transmission intensity specifying means 58b, and controls the sensory transmission device 18 and the LED 23 as non-contact transmission members to use other telepresence robots 1. The operation performed by touching the person is transmitted to the user of the telepresence robot 1 that has received information such as the contact position. In the telepresence robot 1 that receives information such as the contact position when the user of the other party (another telepresence robot 1) touches the tactile sensor 19, the tactile transmission control unit 58 according to the first embodiment transmits the senses. The device 18 transmits contact information to the user in a non-contact manner. Further, when the vibration sensor 22 detects that the user of the other party (other telepresence robot 1) has touched the arm 21, the tactile transmission control means 58 of the first embodiment receives information such as the contact position. In the telepresence robot 1, the contact information is transmitted to the user in a non-contact manner by causing the LED 23 to emit light.

伝達位置特定手段58aは、受信した接触位置の情報と、位置検出手段57で検出された利用者の位置とに基づいて、触覚を伝達する位置を特定する。実施例1の伝達位置特定手段58aは、例えば、他のテレプレゼンスロボット1において、利用者が接触した位置が、ロボット1の頭部に対応する位置である場合、位置検出手段57で検出された利用者の頭部に対応する位置に、空中超音波振動子アレイ18の焦点の位置を設定する。
伝達強度特定手段58bは、受信した接触強度の情報に基づいて、触覚を伝達する強さを特定する。実施例1の伝達強度特定手段58bは、例えば、他のテレプレゼンスロボット1において、利用者が接触した強さに対応して、空中超音波振動子アレイ18から出力される超音波の強度を設定する。
The transmission position specifying unit 58a specifies the position to transmit the tactile sense based on the received information on the contact position and the position of the user detected by the position detection unit 57. For example, in the other telepresence robot 1, the transmission position specifying unit 58 a of Example 1 is detected by the position detection unit 57 when the position touched by the user is a position corresponding to the head of the robot 1. The focus position of the aerial ultrasonic transducer array 18 is set at a position corresponding to the user's head.
The transmission strength specifying means 58b specifies the strength for transmitting the tactile sense based on the received information on the contact strength. The transmission intensity specifying means 58b according to the first embodiment sets the intensity of the ultrasonic wave output from the aerial ultrasonic transducer array 18 in accordance with the strength with which the user has contacted in another telepresence robot 1, for example. To do.

(実施例1の流れ図の説明)
次に、実施例1の遠隔コミュニケーションシステムにおける制御の流れを流れ図、いわゆるフローチャートを使用して説明する。
(Explanation of flowchart of Example 1)
Next, the flow of control in the remote communication system of the first embodiment will be described with reference to a flowchart, so-called flowchart.

(テレプレゼンスロボットにおける処理のフローチャートの説明)
図4は実施例1のテレプレゼンスロボットにおける処理のフローチャートの説明図である。
図4のフローチャートの各ステップSTの処理は、テレプレゼンスロボット1に記憶されたプログラムに従って行われる。また、この処理はテレプレゼンスロボット1の他の各種処理と並行して実行される。
図4に示すフローチャートは、テレプレゼンスロボット1の電源が投入された場合に開始される。
(Explanation of processing flowchart in telepresence robot)
FIG. 4 is an explanatory diagram of a flowchart of processing in the telepresence robot of the first embodiment.
The process of each step ST in the flowchart of FIG. 4 is performed according to a program stored in the telepresence robot 1. This process is executed in parallel with other various processes of the telepresence robot 1.
The flowchart shown in FIG. 4 is started when the power of the telepresence robot 1 is turned on.

図4のST1において、他のテレプレゼンスロボット1との通信が確立したか否かを判別する。イエス(Y)の場合はST2に進み、ノー(N)の場合はST1を繰り返す。
ST2において、次の処理(1),(2)を実行して、ST3に進む。
(1)撮像カメラ16による撮影を開始する。
(2)マイクによる音声の取得を開始する。
ST3において、撮影した映像および取得した音声を相手先(他のテレプレゼンスロボット1)に送信する。そして、ST4に進む。
ST4において、相手先(他のテレプレゼンスロボット1)から映像及び音声を受信したか否かを判別する。イエス(Y)の場合はST5に進み、ノー(N)の場合はST6に進む。
ST5において、受信した映像をディスプレイ14に表示し、受信した音声をスピーカから出力する。そして、ST4に戻る。
In ST1 of FIG. 4, it is determined whether or not communication with another telepresence robot 1 has been established. If yes (Y), the process proceeds to ST2. If no (N), ST1 is repeated.
In ST2, the following processes (1) and (2) are executed, and the process proceeds to ST3.
(1) Shooting with the imaging camera 16 is started.
(2) Start acquisition of sound by the microphone.
In ST3, the captured video and the acquired audio are transmitted to the other party (other telepresence robot 1). Then, the process proceeds to ST4.
In ST4, it is determined whether video and audio are received from the other party (other telepresence robot 1). If yes (Y), the process proceeds to ST5. If no (N), the process proceeds to ST6.
In ST5, the received video is displayed on the display 14, and the received audio is output from the speaker. Then, the process returns to ST4.

ST6において、触覚センサ19や振動センサ22が、利用者の接触を検出したか否かを判別する。イエス(Y)の場合はST7に進み、ノー(N)の場合はST9に進む。
ST7において、次の処理(1),(2)を実行して、ST8に進む。
(1)触覚センサ19や振動センサ22の検出結果に基づいて、接触位置を検出する。
(2)各センサ19,22の検出結果に基づいて、接触の強さ(強度)を検出する。
ST8において、接触位置及び接触強度の情報を含む接触データを相手先(他のテレプレゼンスロボット1)に送信する。そして、ST4に戻る。
In ST6, it is determined whether or not the tactile sensor 19 or the vibration sensor 22 has detected a user contact. If yes (Y), the process proceeds to ST7. If no (N), the process proceeds to ST9.
In ST7, the following processes (1) and (2) are executed, and the process proceeds to ST8.
(1) The contact position is detected based on the detection results of the tactile sensor 19 and the vibration sensor 22.
(2) The strength (intensity) of contact is detected based on the detection results of the sensors 19 and 22.
In ST8, contact data including information on the contact position and contact strength is transmitted to the other party (other telepresence robot 1). Then, the process returns to ST4.

ST9において、相手先(他のテレプレゼンスロボット1)から送信された接触データを受信したか否かを判別する。イエス(Y)の場合はST10に進み、ノー(N)の場合はST13に進む。
ST10において、次の処理(1),(2)を実行して、ST11に進む。
(1)受信した接触データに基づいて、接触位置を特定する。
(2)受信した接触データに基づいて、接触強さを特定する。
ST11において、位置検出手段57により、利用者の位置を検出する。そして、ST12に進む。
ST12において、利用者の位置と接触位置とに基いて、触覚を伝達する。よって、触覚センサ19で接触位置が検出された場合には、利用者の位置と接触位置に対応する位置に焦点を設定し、接触強さに応じた超音波を発生させる。また、振動センサ22で接触が検出された場合には、対応する位置(右手または左手)のアーム21のLED23が転倒される。そして、ST4に戻る。
In ST9, it is determined whether or not contact data transmitted from the other party (other telepresence robot 1) has been received. If yes (Y), the process proceeds to ST10, and, if no (N), the process proceeds to ST13.
In ST10, the following processes (1) and (2) are executed, and the process proceeds to ST11.
(1) A contact position is specified based on the received contact data.
(2) The contact strength is specified based on the received contact data.
In ST11, the position detecting means 57 detects the position of the user. Then, the process proceeds to ST12.
In ST12, a tactile sensation is transmitted based on the position and contact position of the user. Therefore, when the touch position is detected by the tactile sensor 19, a focus is set at a position corresponding to the user position and the contact position, and an ultrasonic wave corresponding to the contact strength is generated. When contact is detected by the vibration sensor 22, the LED 23 of the arm 21 at the corresponding position (right hand or left hand) is turned over. Then, the process returns to ST4.

ST13において、テレプレゼンスロボット1によるコミュニケーションを終了する入力、すなわち、シャットダウンの入力がされたか否かを判別する。イエス(Y)の場合はST14に進み、ノー(N)の場合はST4に戻る。
ST14において、次の処理(1),(2)を実行して、処理を終了する。
(1)撮影や音声の取得を終了する。
(2)相手先(他のテレプレゼンスロボット1)との通信を終了する。
In ST13, it is determined whether or not an input for ending communication by the telepresence robot 1, that is, a shutdown input has been made. If yes (Y), the process proceeds to ST14. If no (N), the process returns to ST4.
In ST14, the following processes (1) and (2) are executed, and the process ends.
(1) Terminate shooting and audio acquisition.
(2) Terminate communication with the other party (other telepresence robot 1).

(実施例1の作用)
前記構成を備えた実施例1の遠隔コミュニケーションシステムSでは、離れた場所にいる祖父と孫とがコミュニケーションを取る場合、お互いのテレプレゼンスロボット1のディスプレイ14に互いの顔が映し出され、お互いの声でコミュニケーションが可能である。すなわち、従来と同様に、視覚と聴覚によるコミュニケーションが可能となっている。
さらに、実施例1のテレプレゼンスロボット1では、例えば、祖父が祖父宅のテレプレゼンスロボット1の頭を撫でるように触れると、触覚センサ19が触れた位置と強さを検出する。検出された接触データは、孫宅のテレプレゼンスロボット1に送信される。接触データを受信した孫宅のテレプレゼンスロボット1は、孫の位置を検出して、孫の頭の位置に対して、祖父が触れた力に対応する強度で、空中超音波振動子アレイ18が超音波を出力する。したがって、孫は、頭を撫でられたように感じることができる。また、孫が、孫宅のテレプレゼンスロボット1のアーム21を掴んで下に振る動作、すなわち、握手を行った場合、祖父宅のテレプレゼンスロボット1のLED23が点灯して、祖父は孫の握手の動作が認識される。すなわち、相手方のテレプレゼンスロボット1で検出された触覚動作を、LED23により非接触で伝達される。したがって、実施例1では、LED23は、臨場感のための非接触表現で利用されている。
(Operation of Example 1)
In the remote communication system S according to the first embodiment having the above-described configuration, when the grandfather and grandchild who are away from each other communicate, each other's face is displayed on the display 14 of each other's telepresence robot 1, and each other's voice is displayed. Communication is possible. That is, communication by vision and hearing is possible as in the past.
Furthermore, in the telepresence robot 1 according to the first embodiment, for example, when the grandfather touches the head of the telepresence robot 1 in the grandfather's house, the position and strength touched by the tactile sensor 19 are detected. The detected contact data is transmitted to the telepresence robot 1 in the grandchild's house. The grandchild telepresence robot 1 that has received the contact data detects the position of the grandchild, and the aerial ultrasonic transducer array 18 has an intensity corresponding to the force touched by the grandfather with respect to the position of the grandchild's head. Outputs ultrasonic waves. Therefore, the grandchild can feel as if the head has been stroked. In addition, when the grandchild grabs the arm 21 of the telepresence robot 1 at the grandchild's house and swings it down, that is, shakes hands, the LED 23 of the telepresence robot 1 at the grandfather's house lights up, and the grandfather shakes the hand of the grandchild Is recognized. That is, the tactile movement detected by the other party's telepresence robot 1 is transmitted by the LED 23 in a non-contact manner. Therefore, in Example 1, the LED 23 is used in a non-contact expression for a sense of reality.

よって、実施例1のテレプレゼンスロボット1では、利用者(祖父、孫)が手で触れた感覚、すなわち、触覚の情報が、非接触で相手に伝達される。よって、従来の視覚と聴覚のみしか伝達されなかったテレプレゼンスロボットに比べて、触覚も伝達可能となり、臨場感が向上する。
また、関節部分にアクチュエータを備えたロボットが動作をする構成では、時間的遅延により、ロボットの手等が、利用者の想定外の位置に触れて事故等を起こす恐れがあったが、実施例1のテレプレゼンスロボット1では、非接触で触覚が伝達されており、事故等が低減される。したがって、安全性が向上している。
さらに、関節部分にアクチュエータやモータ等を備える構成に比べて、構成が簡素化され、重量も軽量化可能である。よって、全体として、低コスト化されることが期待できる。特に、従来のロボットは、多機能化を進めた結果、構成が複雑化していたが、実施例1のテレプレゼンスロボット1では、アクチュエータ等を設けなくても、シンプルな構成で、触覚の伝達可能になっている。
Therefore, in the telepresence robot 1 according to the first embodiment, the sense that the user (grandfather, grandchild) touched with the hand, that is, tactile information is transmitted to the partner without contact. Therefore, tactile sensation can be transmitted compared to a conventional telepresence robot that transmits only visual and auditory senses, and the sense of reality is improved.
In addition, in a configuration in which a robot equipped with an actuator in the joint part operates, there is a possibility that the hand of the robot may touch an unexpected position of the user due to a time delay, causing an accident, etc. In the telepresence robot 1, the tactile sensation is transmitted without contact, and accidents and the like are reduced. Therefore, safety is improved.
Furthermore, the configuration is simplified and the weight can be reduced compared to a configuration in which an actuator, a motor, and the like are provided in the joint portion. Therefore, it can be expected that the cost is reduced as a whole. In particular, the configuration of the conventional robot has been complicated as a result of increasing the number of functions. However, the telepresence robot 1 according to the first embodiment can transmit a tactile sense with a simple configuration without providing an actuator or the like. It has become.

(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H07)を下記に例示する。
(H01)前記実施例において、非接触伝達部材の一例として、空中超音波振動子アレイ18を例示したが、これに限定されない。例えば、複数の小型のファンを格子状に並べ、超音波振動子の振動数に替えて各ファンの風量を制御することで、超音波ではなく風を利用して、利用者に非接触で触覚を伝達する構成とすることも可能である。
(Example of change)
As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to the said Example, A various change is performed within the range of the summary of this invention described in the claim. It is possible. Modification examples (H01) to (H07) of the present invention are exemplified below.
(H01) In the above embodiment, the aerial ultrasonic transducer array 18 is illustrated as an example of the non-contact transmission member, but is not limited thereto. For example, by arranging a plurality of small fans in a lattice pattern and controlling the air volume of each fan in place of the vibration frequency of the ultrasonic vibrator, using the air instead of the ultrasonic waves, the user can touch it without touching it. It is also possible to adopt a configuration for transmitting

(H02)前記実施例において、触覚センサ19として、ショッカクキューブ(商標)等を例示したが、これに限定されない。例えば、市販の曲げセンサ(どこに圧力がかかっているかわかるポテンショメータ)等、利用者が接触した位置や圧力が検出可能な任意の構成を採用可能である。
(H03)前記実施例において、振動センサ22を使用してアーム21に利用者が触れたことを検出する場合を例示したが、これに限定されない。例えば、上下方向のみの周期的な振動や、左右方向の振動、左右のいずれか一方向のみの急速な加速度、のような振動のパターンに基いて、「握手」や「バイバイ」、「素振り」等の動作を判別して、送信先のテレプレゼンスロボット1に表示をすることも可能である。表示方法としては、例えば、LED23を格子状に並べて、上下に手を振る握手の場合は、上下に並んだLED23を順番に点灯させることで上下の動作を伝達させることが可能である。なお、振動のパターン等に応じて、動作を判別する技術としては、例えば、特開2014−86038号公報等に記載された従来公知の技術を適用可能である。また、LED23の色を変えることで、動作の速度を伝達することも可能である。例えば、動作の速度が速い場合には、赤色のLEDを点灯させ、動作の速度がゆっくりの場合には青色や緑色のLEDを点灯させることも可能である。
(H02) In the above embodiment, as the tactile sensor 19, the shock cube (trademark) or the like is illustrated, but is not limited thereto. For example, a commercially available bending sensor (a potentiometer that knows where the pressure is applied) or any other configuration that can detect the position and pressure contacted by the user can be adopted.
(H03) In the above embodiment, the case where the vibration sensor 22 is used to detect that the user has touched the arm 21 is exemplified, but the present invention is not limited to this. For example, based on vibration patterns such as periodic vibration only in the vertical direction, vibration in the left-right direction, and rapid acceleration in only one of the left and right directions, “shake hands”, “bye-bye”, “vibration” It is also possible to display the information on the destination telepresence robot 1 by discriminating the operation. As a display method, for example, in the case of a handshake in which the LEDs 23 are arranged in a grid and shake hands up and down, it is possible to transmit the up and down movements by lighting the LEDs 23 arranged in the up and down order. In addition, as a technique for discriminating an operation according to a vibration pattern or the like, for example, a conventionally known technique described in Japanese Patent Laid-Open No. 2014-86038 can be applied. It is also possible to transmit the speed of operation by changing the color of the LED 23. For example, when the operation speed is fast, a red LED can be lit, and when the operation speed is slow, a blue or green LED can be lit.

(H04)前記実施例において、空中超音波振動子アレイ18において使用される振動子は、距離センサとしても使用可能であるため、例えば、空中超音波振動子アレイ18を、人がディスプレイ14の周辺に触れたことを検出する等に使用することも可能であり、空中超音波振動子アレイ18を触覚検出部材として、兼用させることも可能である。また、空中に、相手先の利用者の顔のホログラム映像を投影し、顔のどこに触れたかを検出する構成とすることも可能である。
(H05)前記実施例において、カメラセンサとして、Kinect(登録商標)センサを例示したがこれに限定されない。例えば、Kinect(登録商標)センサ以外の深度センサを採用したり、2つ以上のカメラでステレオ視をして、画像解析を行って、利用者の位置を検出する構成を採用する等の変更が可能である。
(H04) In the above embodiment, since the transducers used in the aerial ultrasonic transducer array 18 can also be used as a distance sensor, for example, the aerial ultrasonic transducer array 18 is placed around the display 14 by a person. It can also be used to detect touching of the antenna, and the aerial ultrasonic transducer array 18 can also be used as a tactile sense detection member. It is also possible to project a hologram image of the face of the user at the other end in the air and detect where the face is touched.
(H05) Although the Kinect (registered trademark) sensor is exemplified as the camera sensor in the embodiment, the present invention is not limited to this. For example, changes such as using a depth sensor other than the Kinect (registered trademark) sensor or performing stereo analysis with two or more cameras and performing image analysis to detect the user's position, etc. Is possible.

(H06)前記実施例において、利用者の一例として、祖父と孫を例示したがこれに限定されない。例えば、事業所間の会議や、入院中の患者と自宅の家族とのコミュニケーション、独居の高齢者と介助者や家族とのコミュニケーション、老人ホームにおける個室の高齢者と介助者や家族とのコミュニケーション、旅行先の飼い主と自宅のペットとのコミュニケーション等、任意のコミュニケーションの場において適用可能である。
(H07)前記実施例において、アーム21の動きをLED23で伝達する構成を例示したが、これに限定されない。例えば、振動子、いわゆるバイブレータを使用して、アーム21を振動させることで、相手先の触覚を、伝達することも可能である。他にも、LED23に替えて、アーム21にも空中超音波振動子アレイを設けると共に、カメラセンサ17で、利用者の手の位置も検出して、非接触で触覚を伝達する構成とすることも可能である。また、手だけでなく、肩や腕、胸等に非接触で触覚を伝達する構成とすることも可能である。
(H06) Although the grandfather and the grandchild were illustrated as an example of the user in the embodiment, the present invention is not limited to this. For example, meetings between offices, communication between hospitalized patients and family at home, communication between elderly living alone and caregivers and family, communication between elderly living in nursing homes and caregivers and family, The present invention can be applied to any communication place such as communication between a travel owner and a pet at home.
(H07) In the above embodiment, the configuration in which the movement of the arm 21 is transmitted by the LED 23 is illustrated, but the present invention is not limited to this. For example, it is possible to transmit the tactile sense of the other party by vibrating the arm 21 using a vibrator, a so-called vibrator. In addition, instead of the LED 23, the arm 21 is also provided with an aerial ultrasonic transducer array, and the camera sensor 17 detects the position of the user's hand and transmits the tactile sensation without contact. Is also possible. Further, it is possible to adopt a configuration in which not only hands but also tactile sensations are transmitted to the shoulders, arms, chests, and the like without contact.

1…テレプレゼンスロボット、
2,3…場所、
14…表示部、
16…撮影部、
18,23…非接触伝達部材、
19,22…触覚検出部材、
21…腕部、
54…通信部。
1 ... Telepresence robot,
2,3 ... place,
14 ... display part,
16 ... Shooting part,
18, 23 ... non-contact transmission member,
19, 22 ... tactile detection member,
21 ... arms,
54: Communication unit.

Claims (3)

互いに離間した場所に配置されたテレプレゼンスロボットであって、
各場所の映像を取得する撮影部と、
各場所の音声を取得する音声入力部と、
映像及び音声を送受信可能な通信部と、
前記通信部が受信した映像を表示する表示部と、
前記通信部が受信した音声を出力する音声出力部と、
利用者が触れた位置を検出する触覚検出部材と、
前記触覚検出部材で検出された位置を送受信する前記通信部と、
前記通信部が受信した前記触覚検出部材で検出された位置に基づいて、利用者に、触れられた位置を非接触で伝達する非接触伝達部材と、
を備えたことを特徴とするテレプレゼンスロボット。
Telepresence robots that are placed at a distance from each other,
A filming unit that captures images of each location;
A voice input unit for acquiring the voice of each place;
A communication unit capable of transmitting and receiving video and audio;
A display unit for displaying the video received by the communication unit;
An audio output unit for outputting audio received by the communication unit;
A tactile detection member for detecting a position touched by the user;
The communication unit for transmitting and receiving the position detected by the tactile detection member;
Based on the position detected by the tactile detection member received by the communication unit, a non-contact transmission member that transmits the touched position to the user in a non-contact manner;
Telepresence robot characterized by having
筐体に対して移動可能に支持された腕部と、
前記腕部に設けられた前記触覚検出部材と、
を備え、
前記筐体と前記腕部との関節部に、前記腕部を駆動する駆動系が設けられていない
ことを特徴とする請求項1に記載のテレプレゼンスロボット。
An arm that is movably supported relative to the housing;
The tactile detection member provided on the arm;
With
The telepresence robot according to claim 1, wherein a drive system for driving the arm part is not provided at a joint part between the casing and the arm part.
空中超音波振動子アレイにより構成された前記非接触伝達部材、
を備えたことを特徴とする請求項1または2に記載のテレプレゼンスロボット。
The non-contact transmission member configured by an airborne ultrasonic transducer array,
The telepresence robot according to claim 1 or 2, further comprising:
JP2014216628A 2014-10-23 2014-10-23 Telepresence robot Active JP6558764B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014216628A JP6558764B2 (en) 2014-10-23 2014-10-23 Telepresence robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014216628A JP6558764B2 (en) 2014-10-23 2014-10-23 Telepresence robot

Publications (2)

Publication Number Publication Date
JP2016083711A true JP2016083711A (en) 2016-05-19
JP6558764B2 JP6558764B2 (en) 2019-08-14

Family

ID=55972787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014216628A Active JP6558764B2 (en) 2014-10-23 2014-10-23 Telepresence robot

Country Status (1)

Country Link
JP (1) JP6558764B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091907A1 (en) * 2020-10-30 2022-05-05 川崎重工業株式会社 Unmanned delivery system and unmanned delivery method
WO2022118746A1 (en) * 2020-12-04 2022-06-09 ソニーグループ株式会社 Information processing apparatus, information processing method, program, and information processing system
WO2023063159A1 (en) * 2021-10-13 2023-04-20 ソニーグループ株式会社 Information processing device and information processing method

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224965A (en) * 1996-02-28 1997-09-02 Secom Co Ltd Operation device for handicapped person
JPH1015254A (en) * 1996-04-18 1998-01-20 P Nadel Craig User responding toy assembly
JP2002314963A (en) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> Communication system
JP2004056161A (en) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd Multimedia communication system
JP2005027959A (en) * 2003-07-09 2005-02-03 Takara Co Ltd Toy doll
JP2006123153A (en) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International Development support device and development support program for communication robot
JP2006191460A (en) * 2005-01-07 2006-07-20 Ricoh Co Ltd Environmental information acquiring and reproducing system, video conference system, vehicle, clothing, and remote control system
JP2007331089A (en) * 2006-05-16 2007-12-27 ▲吉▼川 英之 Robot manipulating system
JP2009194779A (en) * 2008-02-18 2009-08-27 Tama Art Univ Virtual communication system
JP2012048378A (en) * 2010-08-25 2012-03-08 Denso Corp Tactile presentation device
JP2012120886A (en) * 2012-03-26 2012-06-28 Aitec:Kk Mannequin
KR20130114367A (en) * 2012-04-09 2013-10-17 전자부품연구원 System and method for user interaction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224965A (en) * 1996-02-28 1997-09-02 Secom Co Ltd Operation device for handicapped person
JPH1015254A (en) * 1996-04-18 1998-01-20 P Nadel Craig User responding toy assembly
JP2002314963A (en) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> Communication system
JP2004056161A (en) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd Multimedia communication system
JP2005027959A (en) * 2003-07-09 2005-02-03 Takara Co Ltd Toy doll
JP2006123153A (en) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International Development support device and development support program for communication robot
JP2006191460A (en) * 2005-01-07 2006-07-20 Ricoh Co Ltd Environmental information acquiring and reproducing system, video conference system, vehicle, clothing, and remote control system
JP2007331089A (en) * 2006-05-16 2007-12-27 ▲吉▼川 英之 Robot manipulating system
JP2009194779A (en) * 2008-02-18 2009-08-27 Tama Art Univ Virtual communication system
JP2012048378A (en) * 2010-08-25 2012-03-08 Denso Corp Tactile presentation device
JP2012120886A (en) * 2012-03-26 2012-06-28 Aitec:Kk Mannequin
KR20130114367A (en) * 2012-04-09 2013-10-17 전자부품연구원 System and method for user interaction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091907A1 (en) * 2020-10-30 2022-05-05 川崎重工業株式会社 Unmanned delivery system and unmanned delivery method
WO2022118746A1 (en) * 2020-12-04 2022-06-09 ソニーグループ株式会社 Information processing apparatus, information processing method, program, and information processing system
WO2023063159A1 (en) * 2021-10-13 2023-04-20 ソニーグループ株式会社 Information processing device and information processing method

Also Published As

Publication number Publication date
JP6558764B2 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
WO2015180497A1 (en) Motion collection and feedback method and system based on stereoscopic vision
JP2017188156A (en) Headset computer (hsc) as auxiliary display with asr and ht input
KR20200000803A (en) Real-world haptic interactions for a virtual reality user
JPWO2018150831A1 (en) Information processing apparatus, information processing method, and recording medium
JP7081052B2 (en) Displaying device sharing and interactivity in simulated reality (SR)
CN114730215A (en) System and method for remotely controlling devices in an environment
US20210333759A1 (en) Split architecture for a wristband system and related devices and methods
US9276541B1 (en) Event-based presentation and processing of content
KR20220124810A (en) Gesture control system using biopotentials and vectors
US11347312B1 (en) Ultrasonic haptic output devices
WO2017085974A1 (en) Information processing apparatus
JP6558764B2 (en) Telepresence robot
JPWO2019225548A1 (en) Remote control system, information processing method, and program
KR20130060952A (en) Remote control system for service robot
JPWO2018216355A1 (en) Information processing apparatus, information processing method, and program
JP6627775B2 (en) Information processing apparatus, information processing method and program
JP7102169B2 (en) Equipment, robots, methods, and programs
Caruso et al. Interactive augmented reality system for product design review
JP2015093353A (en) Multifunctional information terminal remote-manipulation type robot
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
KR20180113115A (en) Mobile terminal and method for controlling the same
US11768546B1 (en) Method and device for positional/rotational information of a finger-wearable device
WO2019054037A1 (en) Information processing device, information processing method and program
Alcañiz et al. Technological background of VR
CN109690444A (en) The Earphone with microphone being used together with mobile communication equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190710

R150 Certificate of patent or registration of utility model

Ref document number: 6558764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350