JP2017147710A - Remote control system of robot by television telephone - Google Patents
Remote control system of robot by television telephone Download PDFInfo
- Publication number
- JP2017147710A JP2017147710A JP2016030525A JP2016030525A JP2017147710A JP 2017147710 A JP2017147710 A JP 2017147710A JP 2016030525 A JP2016030525 A JP 2016030525A JP 2016030525 A JP2016030525 A JP 2016030525A JP 2017147710 A JP2017147710 A JP 2017147710A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- signal
- videophone
- audible sound
- remote control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、テレビ電話を介してロボットの遠隔制御を行うシステムに関し、ロボット操作用の特別な回線を必要とせずにロボットの遠隔制御を可能にしたものである。 The present invention relates to a system for remote control of a robot via a videophone, and enables remote control of the robot without requiring a special line for robot operation.
近年、遠隔コミュニケーション、災害救助、医療など様々な面で遠隔操作ロボットの利用が進んでいる。今後、さらに、旅行やショッピングなどの遠隔体験、極限環境下における作業、遠隔医療、介護、サービス産業、エンターテイメント分野等への利用拡大が期待されている。
ロボットの遠隔操作はテレビ電話を利用して行われる場面が増えている。
In recent years, the use of remote control robots has been promoted in various aspects such as remote communication, disaster relief, and medical care. In the future, the use of remote experiences such as travel and shopping, work in extreme environments, telemedicine, nursing care, service industries, entertainment fields, etc. is expected.
Increasingly, remote control of robots is performed using videophones.
本発明者等は、先に、単身高齢者がテレビ電話を通じて常に近親者に繋がっていると言う安心感を抱くことができ、また、ロボットが随時、近親者に代わって単身高齢者の相手をすることで近親者の負担を軽減できるコミュニケーション支援ロボットシステムを提案している（下記特許文献1）。
このシステムでは、図８に示すように、高齢者の側に、ロボット３７が配置され、テレビ電話を構成するカメラ３３、タッチパネルディスプレイ３５、コンピュータ３１、マイク３６２及びスピーカ３６１が配置される。
The present inventors can have a sense of security that a single elderly person is always connected to a close relative through a videophone, and the robot can always replace a single elderly person on behalf of a close relative. Has proposed a communication support robot system that can reduce the burden on close relatives (Patent Document 1 below).
In this system, as shown in FIG. 8, a robot 37 is arranged on the elderly side, and a camera 33, a touch panel display 35, a computer 31, a microphone 362, and a speaker 361 constituting a videophone are arranged.
また、近親者の側にも、テレビ電話を構成するカメラ４３、タッチパネルディスプレイ４５、コンピュータ４１、マイク４６２及びスピーカ４６１が配置される。コンピュータ３１、４１同士は、ネットワーク５０を介して接続可能である。
図９（ａ）に示すように、高齢者側のタッチパネルディスプレイ３５の表示画面には、近親者側のカメラ４３の映像が表示される表示領域３５１と、回想法（昔の映像を見せて脳を活性化させる認知症治療の一方法）に使用する画像／映像が表示される表示領域３５２と、近親者とのコミュニケーションを選択する“ロボット君お願い”のタッチ領域３５３とが設けられている。
Further, a camera 43, a touch panel display 45, a computer 41, a microphone 462, and a speaker 461 constituting a videophone are also arranged on the side of the close relative. The computers 31 and 41 can be connected to each other via the network 50.
As shown in FIG. 9A, on the display screen of the touch panel display 35 on the elderly side, there is a display area 351 in which the video of the close-kind camera 43 is displayed, and a recollection method (an old video showing the brain A display area 352 for displaying an image / video used for a method of dementia treatment that activates the image and a touch area 353 for “request for robot” for selecting communication with a close relative are provided.
一方、近親者側のタッチパネルディスプレイ４５の表示画面には、図９（ｂ）に示すように、高齢者側のカメラ３３の映像が表示される表示領域４５１と、高齢者側のタッチパネルディスプレイ３５に表示されたものと同じ回想法用の画像／映像が表示される表示領域４５２と、各種のタッチ領域４５３、４５４、４５６、４５５、４５７が設けられている。
近親者が“直接話す／呼び出し”領域４５３にタッチして高齢者とテレビ電話による直接会話を行っている途中で“間接的に話す”領域４５４をタッチすると、ロボット３７は、高齢者の問い掛けに対する近親者の返答を伝達形式のメッセージに編集して高齢者に伝える動作を行う。また、このとき近親者が“自動”領域４５６にタッチすると、高齢者の問い掛けに含まれるキーワードに基づいて適切な返答メッセージを編集し、高齢者に応答する。
また、近親者が“ロボット君お願い”領域４５５にタッチすると、ロボット３７は、高齢者を回想法に誘導する動作を行う。
このように、このシステムでは、高齢者の側のロボット３７が、近親者の側のテレビ電話装置を通じて遠隔制御される。
On the other hand, as shown in FIG. 9B, the display screen of the close relative side touch panel display 45 includes a display area 451 in which an image of the camera 33 on the elderly side is displayed and a touch panel display 35 on the elderly side. A display area 452 on which the same recollection image / video as that displayed is displayed, and various touch areas 453, 454, 456, 455, 457 are provided.
When the close relative touches the “directly speaking / calling” area 453 and touches the “indirectly speaking” area 454 while performing a direct videophone conversation with the elderly person, the robot 37 responds to the question of the elderly person. Edits a close relative's response into a message in a transmission format and transmits it to the elderly. At this time, when the close relative touches the “automatic” area 456, an appropriate response message is edited based on the keyword included in the inquiry of the elderly person, and the elderly person is responded.
Further, when the close relative touches the “robot-kun's request” area 455, the robot 37 performs an operation of guiding the elderly person to the recollection method.
As described above, in this system, the robot 37 on the elderly side is remotely controlled through the videophone device on the relative side.
テレビ電話を通じてロボットの遠隔制御を行う場合、従来は、図１０に示すように、カメラ４３から出力される映像信号及びマイク４６２から出力される音声信号に対してテレビ電話に対応した符号化や圧縮処理が施されたテレビ電話信号を伝送する回線の他に、ロボット３７を操作するためのロボット制御信号を伝送する回線が必要であり、このロボット操作用回線の通信設定やサーバ管理、アカウント管理の負担が大きかった。
また、ロボットは、その種類や機能が様々であり、その制御方法の標準化が難しい。制御信号が標準化されていない状態では、ロボットごとに操作元と操作先の双方で通信手順（プロトコル）を取り決めることが必要になる。
When performing remote control of a robot through a video phone, conventionally, as shown in FIG. 10, encoding and compression corresponding to a video phone are performed on a video signal output from a camera 43 and an audio signal output from a microphone 462. In addition to the line for transmitting the processed videophone signal, a line for transmitting a robot control signal for operating the robot 37 is necessary. For communication setting of the robot operation line, server management, account management, etc. The burden was great.
In addition, robots have various types and functions, and it is difficult to standardize their control methods. In a state where the control signal is not standardized, it is necessary to negotiate a communication procedure (protocol) for both the operation source and the operation destination for each robot.
本発明は、こうした事情を考慮して創案したものであり、テレビ電話を通じてロボットを遠隔制御するシステムであって、ロボット操作用の別回線を必要としないシステムを提供することを目的としている。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a system that remotely controls a robot through a videophone and does not require a separate line for operating the robot.
本発明は、テレビ電話機能を有する第１の機器の側に在るロボットを、テレビ電話機能を有する第２の機器からネットワークを介して遠隔制御するロボットの遠隔制御システムであって、第２の機器は、カメラで撮影した映像の映像信号とマイクで集音した音声の音声信号とにテレビ電話に対応した処理を施して送信するテレビ電話信号に、第1の機器のディスプレイで表示可能なロボット制御用可視映像の可視映像信号及び第１の機器のスピーカで表示可能なロボット制御用可聴音の可聴音信号の少なくとも一方を含めて第1の機器に送信し、ロボットが、第1の機器に送信されたロボット制御用可視映像又はロボット制御用可聴音に応じた動作を実行することを特徴とする。
このシステムでは、テレビ電話信号の中に、ロボットの動作を規定する図形や色などのロボット制御用可視映像、あるいは、特定音階のロボット制御用可聴音などが含まれて伝送されるため、ロボット操作用の別回線を必要としない。
The present invention is a robot remote control system for remotely controlling a robot on the side of a first device having a videophone function from a second device having a videophone function via a network. The device is a robot that can display on the display of the first device a videophone signal that is transmitted by processing the video signal captured by the camera and the audio signal collected by the microphone, in response to the videophone. At least one of the visible video signal of the control visual image and the audible signal of the audible sound for controlling the robot that can be displayed on the speaker of the first device is transmitted to the first device, and the robot sends the audible signal to the first device. An operation corresponding to the transmitted visible image for robot control or audible sound for robot control is executed.
In this system, the videophone signal is transmitted in the form of a visual image for robot control, such as graphics and colors that define the robot's operation, or an audible sound for robot control of a specific scale. No separate line is required.
また、本発明のロボットの遠隔制御システムでは、ロボット制御用可視映像が、第２の機器のカメラで撮影されて映像信号として取り込まれ、ロボット制御用可聴音が、第２の機器のマイクで集音されて音声信号として取り込まれるようにしても良い。
この場合、操作者は、カメラに映るようにロボット制御用可視映像のマークを置き、或いは、マイクで集音されるようにロボット制御用可聴音を鳴らすことでロボットを遠隔制御することができる。
In the robot remote control system of the present invention, the robot control visual image is captured by the camera of the second device and captured as a video signal, and the robot control audible sound is collected by the microphone of the second device. It may be made to be sounded and captured as an audio signal.
In this case, the operator can remotely control the robot by placing a mark on the robot control visible image so as to be reflected on the camera, or by sounding an audible sound for robot control so as to be collected by a microphone.
また、本発明のロボットの遠隔制御システムでは、第２の機器が、ロボット制御用可視映像の可視映像信号及びロボット制御用可聴音の可聴音信号を電子的に作成してテレビ電話信号に加えるようにしても良い。
この場合、操作者が第２の機器に設けられた操作ボタンを押すと、第２の機器内で作成された可視映像信号や可聴音信号がテレビ電話信号に混合されて第１の機器に伝送される。
Further, in the robot remote control system of the present invention, the second device electronically creates a visible video signal for the robot control visual image and an audible sound signal for the robot control audible sound and adds them to the videophone signal. Anyway.
In this case, when the operator presses an operation button provided on the second device, the visual video signal and the audible sound signal created in the second device are mixed with the videophone signal and transmitted to the first device. Is done.
また、本発明のロボットの遠隔制御システムでは、ロボットが、第1の機器のディスプレイに表示されたロボット制御用可視映像、又は、第1の機器のスピーカから放音されたロボット制御用可聴音を識別して、そのロボット制御用可視映像又はロボット制御用可聴音に応じた動作を自律的に実行する。
この場合、第1の機器は、受信したテレビ電話信号を復調してディスプレイやスピーカに表示するだけであるため、第１の機器の処理負担が軽減される。
Further, in the robot remote control system of the present invention, the robot receives a visual image for controlling the robot displayed on the display of the first device or an audible sound for controlling the robot emitted from the speaker of the first device. The robot automatically recognizes the robot control visible image or the robot control audible sound.
In this case, since the first device only demodulates the received videophone signal and displays it on the display or speaker, the processing burden on the first device is reduced.
また、本発明のロボットの遠隔制御システムでは、第１の機器が、受信したテレビ電話信号に含まれるロボット制御用可視映像の可視映像信号又はロボット制御用可聴音の可聴音信号を識別して、ロボット制御用可視映像又はロボット制御用可聴音に応じた動作をロボットに実行させるようにしても良い。
この場合、ロボットによるロボット制御用可視映像の見落としやロボット制御用可聴音の聞き漏らしが発生しないため、ロボットの遠隔制御が確実に行われる。
In the robot remote control system of the present invention, the first device identifies the visible video signal of the robot control visual image or the audible sound signal of the robot control audible sound included in the received videophone signal, You may make it make a robot perform the operation | movement according to the visual image for robot control, or the audible sound for robot control.
In this case, since the robot does not overlook the robot control visual image or hear the robot control audible sound, the remote control of the robot is reliably performed.
本発明のロボットの遠隔制御システムでは、テレビ電話信号を伝送する一回線のみでロボットの遠隔制御が可能である。
また、このシステムでは、例えばハートマークは第１の動き、ダイヤマークは第２の動き、と言うように、マークや音の種類とロボットの動作とを対応付けるだけでロボットの遠隔制御が可能である。そのため、制御元は、ハートマーク／ダイヤマーク等の可視映像信号や可聴音信号を電子的に生成する信号生成方法を制御先とは独立に開発し、制御先は、第１の動きや第２の動きをするロボットを制御元とは独立に開発することができ、また、制御元の信号生成方法だけを、開発した方法に入れ替えたり、制御先のロボットだけを、開発したロボットに入れ替えたりすることができる。
In the robot remote control system of the present invention, the robot can be controlled remotely with only one line for transmitting a videophone signal.
Further, in this system, for example, the heart mark is the first movement and the diamond mark is the second movement, and the robot can be remotely controlled simply by associating the type of mark or sound with the movement of the robot. . Therefore, the control source develops a signal generation method for electronically generating a visual video signal such as a heart mark / diamond mark or an audible sound signal, independently of the control destination. Can be developed independently of the control source, and only the signal generation method of the control source can be replaced with the developed method, or only the control target robot can be replaced with the developed robot. be able to.
図１は、本発明の実施形態に係るロボットの遠隔制御システムの構成を模式的に示している。
ロボット６０の在る側の第１のテレビ電話装置１０は、ディスプレイ及びスピーカを備えるＰＣ１１と、カメラ１３と、マイク１４とを有しており、ロボット６０を遠隔制御する第２のテレビ電話装置２０は、同様に、ディスプレイ及びスピーカを備えるＰＣ２１と、カメラ２３と、マイク２４とを有している。
第１のテレビ電話装置１０と第２のテレビ電話装置２０とはネットワークで接続されている。
FIG. 1 schematically shows the configuration of a remote control system for a robot according to an embodiment of the present invention.
The first videophone device 10 on the side where the robot 60 exists has a PC 11 having a display and a speaker, a camera 13, and a microphone 14, and the second videophone device 20 that remotely controls the robot 60. Similarly, it has PC21 provided with a display and a speaker, the camera 23, and the microphone 24. FIG.
The first videophone device 10 and the second videophone device 20 are connected via a network.
第２のテレビ電話装置２０は、映像信号及び音声信号をテレビ電話用に符号化・圧縮したテレビ電話信号を、ネットワークを介して第１のテレビ電話装置１０に送信する。
この映像信号は、カメラ２３で撮影された映像の映像信号であり、この映像には、人物２３１の映像と、ロボット６０の動作を規定するために人物の傍らに置かれたハートのマーク（ロボット制御用可視映像、以下、可視映像と言う）２３２とが含まれている。
また、音声信号は、マイク２２で集音された音声の音声信号であり、ロボット６０の動作を規定するために鳴らされた特定音階の音（ロボット制御用可聴音、以下、可聴音と言う）の可聴音信号が含まれている。
The second videophone device 20 transmits a videophone signal obtained by encoding and compressing a video signal and an audio signal for a videophone to the first videophone device 10 via a network.
This video signal is a video signal of a video taken by the camera 23. This video includes a video of the person 231 and a heart mark (robot) placed beside the person to define the operation of the robot 60. Control visual image (hereinafter referred to as a visual image) 232.
The sound signal is a sound signal of sound collected by the microphone 22 and is a sound of a specific scale that is sounded to define the operation of the robot 60 (audible sound for robot control, hereinafter referred to as audible sound). The audible sound signal is included.
このテレビ電話信号を受信した第１のテレビ電話装置１０は、受信信号を復号化して、人物及びハートのマーク（可視映像）の映像をディスプレイに表示し、特定音階の音（可聴音）を含む音声をスピーカから放音する。
ロボット６０は、第１のテレビ電話装置１０のディスプレイに表示されたハートのマークと、スピーカから放音された特定音階の音とを識別すると、予めそれらに対応付けられている動作を実行する。
The first videophone device 10 that has received this videophone signal decodes the received signal, displays the image of the person and the heart mark (visible video) on the display, and includes the sound of the specific scale (audible sound). Sound is emitted from the speaker.
When the robot 60 identifies the heart mark displayed on the display of the first videophone device 10 and the sound of the specific scale emitted from the speaker, the robot 60 performs an operation associated with them in advance.
ここでは、ロボット６０の遠隔制御のために可聴映像と可聴音とを用いているが、その一方だけを用いても良い。
ただ、可聴映像及び可聴音の両方を用いた方がロボット６０を制御する信号の種類を増やすことができ、且つ、エラーの除去ができる。
また、視覚と聴覚という複数のモダリティ（現実世界の事象を人が知覚・表現するための様相）を使うと、単一のモダリティに知覚可能な信号を混入した場合（電話に可聴音信号を混入した場合や、映像に可視映像信号を混入した場合）に比べ、ユーザは映像や音声への可視映像や可聴音の混入が気にならなくなる。
Here, an audible image and an audible sound are used for remote control of the robot 60, but only one of them may be used.
However, using both the audible image and the audible sound can increase the types of signals for controlling the robot 60 and can eliminate errors.
In addition, when multiple modalities of visual and auditory modalities (modes for human perception and expression of real-world events) are used, perceptible signals are mixed in a single modality (the audible sound signal is mixed in the phone) Compared to a case where a visible video signal is mixed in a video), the user does not care about mixing a visible video or audible sound into the video or audio.
図２は、第２のテレビ電話装置２０の構成をブロック図で示している。この装置は、音声をスピーカ２４から出力し、マイク２２から音声を取り込む音声入力／出力ボード２５と、第１のテレビ電話装置１０に送信するテレビ電話信号を無線通信装置２７を介してネットワークに送出し、第１のテレビ電話装置１０から送られたテレビ電話信号を無線通信装置２７を介して受信する通信ＬＡＮボード２６と、ディスプレイ２９、カメラ２３及び操作部２０１の信号を仲介するＩ／Ｏ２８と、装置の動作を制御する制御部２００と、制御部２００の処理を規定するプログラムが記録されたＲＯＭやワーキングメモリのＲＡＭが組み込まれたメモリ２１１とを備えている。 FIG. 2 is a block diagram showing the configuration of the second videophone device 20. This device outputs audio from the speaker 24 and sends out the audio from the microphone 22 to the network via the audio input / output board 25 and the videophone signal to be transmitted to the first videophone device 10 to the network. The communication LAN board 26 that receives the videophone signal transmitted from the first videophone device 10 via the wireless communication device 27, and the I / O 28 that mediates the signals of the display 29, the camera 23, and the operation unit 201. , A control unit 200 that controls the operation of the apparatus, and a memory 211 in which a ROM in which a program that defines the processing of the control unit 200 is recorded and a working memory RAM are incorporated.
第１のテレビ電話装置１０の構成は、図２の第２のテレビ電話装置２０の構成と同じであり、ただ、Ｉ／Ｏ２８に更にロボット６０が接続している点だけが相違している。（第１のテレビ電話装置１０を構成する各部は、図２の各部を表す数字の先頭の数字“２”を“１”に代えて表記することにする。） The configuration of the first videophone device 10 is the same as the configuration of the second videophone device 20 in FIG. 2 except that a robot 60 is further connected to the I / O 28. (Each part constituting the first videophone device 10 is described by replacing the first numeral “2” of the numerals representing each part in FIG. 2 with “1”.)
図３は、ロボット６０の構成をブロック図で示している。このロボット６０は、マイクロコンピュータやＣＰＵから成る制御部６０１と、ロボット６０の動作を規定するプログラムが記録されたＲＯＭやワーキングメモリのＲＡＭが組み込まれたメモリ６０２と、ロボット６０の左右の腕を動かすモータ６０９、６１０、頭部や腰を回転するモータ６１１、６１３、及び、移動時に作動するモータ６１２を駆動制御するモータ制御ボード６０８と、スピーカ６０４から音声を出力し、マイク６０５で音声を取り込む音声入力／出力ボード６０３と、ロボット３７に内蔵されたカメラ６０７の映像信号に所定の処理を施して出力するセンサ入力／出力ボード６０６と、第１のテレビ電話装置１０との信号の遣り取りを仲介するＩ／Ｏ６１４とを備えている。 FIG. 3 is a block diagram showing the configuration of the robot 60. The robot 60 moves a left and right arms of the robot 60, a control unit 601 composed of a microcomputer and a CPU, a memory 602 in which a program for defining the operation of the robot 60 and a working memory RAM are incorporated. Motors 609 and 610, motors 611 and 613 that rotate the head and waist, motor control board 608 that drives and controls the motor 612 that operates during movement, and audio that is output from the speaker 604 and is captured by the microphone 605 It mediates the exchange of signals between the input / output board 603, the sensor input / output board 606 that performs predetermined processing on the video signal of the camera 607 built in the robot 37, and the first videophone device 10. I / O 614.
第２のテレビ電話装置２０の制御部２００は、可視映像２３２が含まれるカメラ２３の映像信号と、可聴音が含まれるマイク２２の音声信号とを符号化・圧縮してテレビ電話信号を作成し、無線通信装置２７を介してネットワークに送信する。 The control unit 200 of the second videophone device 20 generates a videophone signal by encoding and compressing the video signal of the camera 23 including the visible video 232 and the audio signal of the microphone 22 including the audible sound. And transmitted to the network via the wireless communication device 27.
一方、ロボット６０の制御部６０１は、第１のテレビ電話装置１０のディスプレイを撮影するカメラ６０７の画像から可視映像の有無を識別し、マイク６０５で集音された音声信号から可聴音を識別する。そして、可視映像及び可聴音を識別すると、メモリ６０２に格納されている“可視映像／可聴音とロボット動作とを対応付けたデータベース”から対応するロボット動作を読出し、モータ制御ボード６０８を通じて所定の動作を実行する。 On the other hand, the control unit 601 of the robot 60 identifies the presence / absence of a visible video from the image of the camera 607 that captures the display of the first videophone device 10, and identifies the audible sound from the audio signal collected by the microphone 605. . When the visible image and the audible sound are identified, the corresponding robot operation is read from the “database in which the visible image / audible sound and the robot operation are associated” stored in the memory 602, and a predetermined operation is performed through the motor control board 608. Execute.
また、第２のテレビ電話装置２０は、操作者のボタン操作に応じて可視映像信号及び可聴音信号を電子的に作成し、それをテレビ電話信号に加えるようにしても良い。
また、第１のテレビ電話装置１０の表示からロボット６０が可視映像及び可聴音を識別する代わりに、第１のテレビ電話装置１０が、受信したテレビ電話信号に含まれる可視映像信号又は可聴音信号を識別して、その可視映像又は可聴音に応じた動作をロボット６０に実行させるようにしても良い。
The second videophone device 20 may electronically create a visible video signal and an audible sound signal in response to an operator's button operation, and add them to the videophone signal.
Further, instead of the robot 60 identifying the visible video and audible sound from the display of the first videophone device 10, the first videophone device 10 receives the visible video signal or audible sound signal included in the received videophone signal. May be identified, and the robot 60 may be caused to execute an operation corresponding to the visible image or audible sound.
図４のフロー図は、この場合の動作手順を示している。
第２のテレビ電話装置２０の制御部２００は、操作者が操作部２０１のボタン操作を行うと、メモリ２１１に格納されている可視映像信号及び可聴音信号を読み出して、カメラ２３の映像信号及びマイク２２の音声信号に加え（ステップ１、ステップ３）、それらの信号を符号化・圧縮してテレビ電話信号を作成し、無線通信装置２７を介してネットワークに送信する(ステップ２、ステップ４)。
The flowchart of FIG. 4 shows the operation procedure in this case.
When the operator performs a button operation on the operation unit 201, the control unit 200 of the second videophone device 20 reads out the visible video signal and the audible sound signal stored in the memory 211, and the video signal of the camera 23 and In addition to the audio signal from the microphone 22 (steps 1 and 3), these signals are encoded / compressed to create a videophone signal and transmitted to the network via the wireless communication device 27 (steps 2 and 4). .
第１のテレビ電話装置１０の制御部１００は、無線通信装置１７が受信したテレビ電話信号から可視映像信号及び可聴音信号を取り出し(ステップ５、ステップ６)、エラー除去を行った後、可視映像及び可聴音を復元する(ステップ７)。そして、メモリ１１に格納されている“可視映像／可聴音とロボット制御信号とを対応付けたデータベース”から対応するロボット制御信号を読出し、Ｉ／Ｏ２８を通じてロボット６０にロボット制御信号を出力する(ステップ８)。ロボット６０の制御部６０１は、Ｉ／Ｏ６１４を通じてロボット制御信号を受信すると、モータ制御ボード６０８を通じて指定された動作を実行する。 The control unit 100 of the first videophone device 10 extracts the visible video signal and the audible sound signal from the videophone signal received by the wireless communication device 17 (steps 5 and 6), removes the error, and then executes the visible video. And the audible sound is restored (step 7). Then, the corresponding robot control signal is read out from the “database in which the visible video / audible sound and the robot control signal are associated” stored in the memory 11 and the robot control signal is output to the robot 60 through the I / O 28 (step). 8). When the control unit 601 of the robot 60 receives the robot control signal through the I / O 614, the control unit 601 executes a specified operation through the motor control board 608.
また、第２のテレビ電話装置２０の制御部２００は、ステップ１において、カメラ２３の映像の所定位置に可視映像を表示すると、図５（ａ）に示すように人物の画像と可視映像２３２とが重なる場合、それを避けるために、図５（ｂ）に示すように、カメラ２３で撮影された画像から人の顔を検出し、図５（ｃ）に示すように、可視映像２３２が顔から離れた場所に表示されるように、カメラ２３の映像信号と可視映像信号とを混合する。
また、このとき、可視映像を表示する箇所の背景を、可視映像が認識し易いものに代えても良い。
この場合、第１のテレビ電話装置１０の制御部１００は、図７（ｂ）に示すように、テレビ電話信号に含まれる映像信号から顔を検出し、顔から離れた場所から可視映像信号を取り出す。
Further, when the control unit 200 of the second videophone device 20 displays the visible video at a predetermined position of the video of the camera 23 in step 1, the person image and the visible video 232 are displayed as shown in FIG. In order to avoid this, a human face is detected from an image taken by the camera 23 as shown in FIG. 5 (b), and the visible video 232 is displayed as shown in FIG. 5 (c). The video signal of the camera 23 and the visible video signal are mixed so as to be displayed at a place away from the camera.
At this time, the background of the place where the visible video is displayed may be replaced with one that allows the visible video to be easily recognized.
In this case, as shown in FIG. 7B, the control unit 100 of the first videophone device 10 detects a face from the video signal included in the videophone signal, and transmits a visible video signal from a place away from the face. Take out.
可視映像は、色であっても良い。
図６、図７は、ロボットの遠隔制御システムの利用例として、多数のユーザがテレビ電話を通じて遠隔地から好きなアイドルを選挙するイベントの様子を示している。
ロボット６０は、図７に示すように、異なる色のボードを持つ複数のアイドルと共に第１のテレビ電話装置１０の前にいる。
複数のアイドルの映像は、第１のテレビ電話装置１０により、多数のユーザが集まる場所に設置された第２のテレビ電話装置２０に送信される。
The visible image may be a color.
FIG. 6 and FIG. 7 show an example of an event in which a large number of users elect favorite idols from a remote location through a videophone as an example of use of a robot remote control system.
As shown in FIG. 7, the robot 60 is in front of the first videophone device 10 with a plurality of idols having different color boards.
The plurality of idle videos are transmitted by the first videophone device 10 to the second videophone device 20 installed at a place where many users gather.
多数のユーザは、図６に示すように、第２のテレビ電話装置２０のディスプレイを見て、自分が好きなアイドルを応援するために好きなアイドルが持つボードの色と同色のボードを掲げる。その映像は、第２のテレビ電話装置２０から第１のテレビ電話装置１０に送信され、第１のテレビ電話装置１０のディスプレイに表示される。
ロボット６０は、第１のテレビ電話装置１０のディスプレイに表示された画像から最も多いボードの色を識別し、その色のボードを持つアイドルの方に向き直る。
こうして、遠隔地の多数のユーザの多数決によりアイドルが選挙される。
As shown in FIG. 6, many users look at the display of the second videophone device 20 and raise a board of the same color as the board of the favorite idol in order to support the favorite idol. The video is transmitted from the second videophone device 20 to the first videophone device 10 and displayed on the display of the first videophone device 10.
The robot 60 identifies the most board color from the image displayed on the display of the first videophone device 10, and turns to the idol who has that color board.
In this way, idols are elected by a majority vote of a large number of users at remote locations.
このように、本発明のロボットの遠隔制御システムは、多くの応用が可能である。
なお、第１のテレビ電話装置及び第２のテレビ電話装置は、テレビ電話機能を備える装置であれば、どのようなものでも良い。コンピュータ、カメラ、ディスプレイ、スピーカ、マイクが一体化された携帯端末でもよい。
Thus, the robot remote control system of the present invention can be applied in many ways.
The first videophone device and the second videophone device may be any devices as long as they have a videophone function. A portable terminal in which a computer, a camera, a display, a speaker, and a microphone are integrated may be used.
本発明のロボットの遠隔制御システムは、テレビ電話信号を伝送する一回線のみでロボットの遠隔制御が可能であり、遠隔コミュニケーション、災害救助、旅行やショッピングなどの遠隔体験、極限環境下における作業、遠隔医療、介護、サービス産業、エンターテイメント分野など、幅広い分野で利用することができる。 The robot remote control system of the present invention is capable of remote control of a robot with only one line for transmitting a videophone signal, remote communication, disaster relief, remote experiences such as travel and shopping, work in extreme environments, remote It can be used in a wide range of fields such as medical care, nursing care, service industry, and entertainment.
１０ 第１のテレビ電話装置
１１ ＰＣ
１３ カメラ
１４ マイク
２０ 第２のテレビ電話装置
２１ ＰＣ
２２ マイク
２３ カメラ
２４ スピーカ
２５ 音声入力／出力ボード
２６ 通信ＬＡＮボード
２７ 無線通信装置
２８ Ｉ／Ｏ
２９ ディスプレイ
６０ ロボット
２００ 制御部
２０１ 操作部
２１１ メモリ
２３１ 人物
２３２ ロボット制御用可視映像
６０１ 制御部
６０２ メモリ
６０３ 音声入力／出力ボード
６０６ センサ入力／出力ボード
６０７ カメラ
６０８ モータ制御ボード
６０９ 右腕モータ
６１０ 左腕モータ
６１１ 頭部モータ
６１２ 移動モータ
６１３ 移動モータ
６１４ Ｉ／Ｏ
10 First videophone 11 PC
13 Camera 14 Microphone 20 Second videophone 21 PC
22 Microphone 23 Camera 24 Speaker 25 Voice input / output board 26 Communication LAN board 27 Wireless communication device 28 I / O
DESCRIPTION OF SYMBOLS 29 Display 60 Robot 200 Control part 201 Operation part 211 Memory 231 Person 232 Robot control visual image 601 Control part 602 Memory 603 Voice input / output board 606 Sensor input / output board 607 Camera 608 Motor control board 609 Right arm motor 610 Left arm motor 611 Head motor 612 Moving motor 613 Moving motor 614 I / O
Claims (5)
前記第２の機器は、カメラで撮影した映像の映像信号とマイクで集音した音声の音声信号とにテレビ電話に対応した処理を施して送信するテレビ電話信号に、前記第1の機器のディスプレイで表示可能なロボット制御用可視映像の可視映像信号及び前記第１の機器のスピーカで表示可能なロボット制御用可聴音の可聴音信号の少なくとも一方を含めて前記第1の機器に送信し、
前記ロボットが、前記第1の機器に送信された前記ロボット制御用可視映像又はロボット制御用可聴音に応じた動作を実行することを特徴とするロボットの遠隔制御システム。 A robot remote control system for remotely controlling a robot on the side of a first device having a videophone function from a second device having a videophone function via a network,
The second device displays the first device's display on a videophone signal transmitted by performing processing corresponding to a videophone on a video signal of a video photographed by a camera and an audio signal of a voice collected by a microphone. Including at least one of a visible video signal of the robot control visible video that can be displayed in step S1 and an audible sound signal of the robot control audible sound that can be displayed on the speaker of the first device, to the first device,
The robot remote control system, wherein the robot executes an operation according to the visible image for robot control or the audible sound for robot control transmitted to the first device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016030525A JP2017147710A (en) | 2016-02-21 | 2016-02-21 | Remote control system of robot by television telephone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016030525A JP2017147710A (en) | 2016-02-21 | 2016-02-21 | Remote control system of robot by television telephone |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017147710A true JP2017147710A (en) | 2017-08-24 |
Family
ID=59681699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016030525A Pending JP2017147710A (en) | 2016-02-21 | 2016-02-21 | Remote control system of robot by television telephone |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017147710A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111736694A (en) * | 2020-06-11 | 2020-10-02 | 上海境腾信息科技有限公司 | Holographic presentation method, storage medium and system for teleconference |
-
2016
- 2016-02-21 JP JP2016030525A patent/JP2017147710A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111736694A (en) * | 2020-06-11 | 2020-10-02 | 上海境腾信息科技有限公司 | Holographic presentation method, storage medium and system for teleconference |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7945457B2 (en) | Distributed system for monitoring patient video, audio and medical parameter data | |
| CN102089751A (en) | Tele-presence robot system with multi-cast features | |
| JP6255606B2 (en) | Monitoring system, monitoring method and program | |
| JP2019029984A (en) | Information processing apparatus, information processing method, video data, program, and information processing system | |
| JP2006239197A (en) | Mobile communication terminal machine | |
| JP2019050620A (en) | Display device | |
| CN103797822A (en) | Method for providing distant support to a personal hearing system user and system for implementing such a method | |
| JP2017147710A (en) | Remote control system of robot by television telephone | |
| JP4606219B2 (en) | In-facility care monitoring system using CATV cable | |
| JP2016225875A (en) | Travel apparatus operation terminal, travel apparatus operation method and travel apparatus operation program | |
| JP5254947B2 (en) | Apartment house intercom system | |
| JP6895090B2 (en) | Detection system and display processing method of detection system | |
| JP2017163251A (en) | Communication system using tele-existence | |
| JP7247898B2 (en) | Monitored person monitoring system | |
| KR102427431B1 (en) | Method and Apparatus for Meal Assistance Using Remote Control | |
| JP7264066B2 (en) | Monitored Person Monitoring Support System | |
| WO2017010138A1 (en) | Central processing device for surveilled person surveillance system, central processing method, and surveilled person surveillance system | |
| JP7167946B2 (en) | IMAGE RECORDING SYSTEM AND METHOD AND MONITORING SUPPORT SYSTEM | |
| JP2006065436A (en) | Work status information sharing system, work status information sharing method and program | |
| JP7351642B2 (en) | Audio processing system, conference system, audio processing method, and audio processing program | |
| JP7003921B2 (en) | The setting change judgment device of the monitored person monitoring system and the setting change judgment method of the monitored person monitoring system. | |
| JP2018028800A (en) | Work support device, work support method, and program | |
| JP2020030749A (en) | Resident watching system | |
| JP2023161715A (en) | network projector system | |
| JP6413911B2 (en) | Operation instruction system, operation instruction program, and operation instruction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171225 |