JP2021132284A

JP2021132284A - Communication system

Info

Publication number: JP2021132284A
Application number: JP2020026250A
Authority: JP
Inventors: 優香橋口; Yuka Hashiguchi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-02-19
Filing date: 2020-02-19
Publication date: 2021-09-09

Abstract

To provide a communication system capable of inhibiting robot operation by an operator from being complicated.SOLUTION: A communication system 1 for enabling an operator remotely operating a robot 10 using an operation terminal 30 to perform communication via the robot 10 with a communication partner existing around the robot 10. The robot 10 comprises: a camera A(14) to be used for main operation of the robot 10; a camera B(17) to be used for taking a picture of the communication partner; and a display unit 15 for displaying the operator 60. When the robot 10 takes a picture of the communication partner, an image displayed on the operation terminal 30 used by the operator is switched from an image of the camera A(14) to an image of the camera B(17).SELECTED DRAWING: Figure 1

Description

本発明は、コミュニケーションシステムに関する。 The present invention relates to a communication system.

近年の通信技術の発達等に伴い、互いに離れている者同士がリアルタイムにコミュニケーションを行うことが可能となってきており、これにより、様々なコミュニケーションシステムの開発が進められている。特許文献１には、カメラを搭載したロボットに関する技術が開示されている。 With the development of communication technology in recent years, it has become possible for people who are separated from each other to communicate in real time, and as a result, various communication systems are being developed. Patent Document 1 discloses a technique relating to a robot equipped with a camera.

特許第４８５７２４２号公報Japanese Patent No. 4857242

上述のようなコミュニケーションシステムの一つとして、カメラを搭載したロボットを用いて、互いに離れている者同士がリアルタイムにコミュニケーションを行うコミュニケーションシステムが開発されている。しかしながら、このようなコミュニケーションシステムでは、操作者がロボットを遠隔操作しながら、ロボットの前にいるコミュニケーション相手とコミュニケーションを行う必要があるため、操作者にとってロボットの操作が煩雑になるという問題がある。 As one of the above-mentioned communication systems, a communication system has been developed in which people who are separated from each other communicate with each other in real time by using a robot equipped with a camera. However, in such a communication system, since it is necessary for the operator to remotely control the robot and communicate with the communication partner in front of the robot, there is a problem that the operation of the robot becomes complicated for the operator.

上記課題に鑑み本発明の目的は、ロボットを介してコミュニケーションを行うコミュニケーションシステムにおいて、操作者によるロボットの操作が煩雑になることを抑制することが可能なコミュニケーションシステムを提供することである。 In view of the above problems, an object of the present invention is to provide a communication system capable of suppressing complicated operation of the robot by an operator in a communication system that communicates via the robot.

本発明の一態様にかかるコミュニケーションシステムは、操作端末を用いてロボットを遠隔操作している操作者が、前記ロボットの周囲に存在するコミュニケーション相手と前記ロボットを介してコミュニケーションを行うコミュニケーションシステムである。前記ロボットは、前記ロボットのメイン動作に使用される第１のカメラと、前記コミュニケーション相手の写真撮影に使用される第２のカメラと、前記操作者を表示する表示部と、を備え、前記操作者が使用している前記操作端末には、前記ロボットの前記第１のカメラの画像と前記第２のカメラの画像とが切り替えて表示可能に構成されており、前記コミュニケーション相手の写真撮影を実施する際に、前記操作者が使用している前記操作端末に表示される画像を前記第１のカメラの画像から前記第２のカメラの画像に切り替えるように構成されている。 The communication system according to one aspect of the present invention is a communication system in which an operator who remotely controls a robot using an operation terminal communicates with a communication partner existing around the robot via the robot. The robot includes a first camera used for the main operation of the robot, a second camera used for taking a picture of the communication partner, and a display unit for displaying the operator. The operation terminal used by the person is configured so that the image of the first camera of the robot and the image of the second camera can be switched and displayed, and a photograph of the communication partner is taken. At that time, the image displayed on the operation terminal used by the operator is configured to be switched from the image of the first camera to the image of the second camera.

本発明により、ロボットを介してコミュニケーションを行うコミュニケーションシステムにおいて、操作者によるロボットの操作が煩雑になることを抑制することが可能なコミュニケーションシステムを提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, in a communication system that communicates via a robot, it is possible to provide a communication system that can suppress complicated operation of the robot by an operator.

実施の形態にかかるコミュニケーションシステムを説明するための図である。It is a figure for demonstrating the communication system which concerns on embodiment. ロボットの操作者がコミュニケーション相手とロボットを介してコミュニケーションを行っている状態を示す側面図である。It is a side view which shows the state which the operator of a robot is communicating with a communication partner through a robot. ロボットのシステム構成を説明するためのブロック図である。It is a block diagram for demonstrating the system configuration of a robot. 操作端末のシステム構成を説明するためのブロック図である。It is a block diagram for demonstrating the system configuration of an operation terminal. 管理サーバのシステム構成を説明するためのブロック図である。It is a block diagram for demonstrating the system configuration of a management server. 実施の形態にかかるコミュニケーションシステムの動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation of the communication system which concerns on embodiment.

以下、図面を参照して本発明の実施の形態について説明する。
図１は、実施の形態にかかるコミュニケーションシステムを説明するための図である。図１に示すように、本実施の形態にかかるコミュニケーションシステム１は、ロボット１０、操作端末３０、及び管理サーバ４０を用いて構成されている。本実施の形態にかかるコミュニケーションシステム１は、操作端末３０を用いてロボット１０を遠隔操作している操作者が、ロボット１０の周囲に存在するコミュニケーション相手５０（図２参照）とロボット１０を介してコミュニケーションを行うコミュニケーションシステムである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram for explaining a communication system according to an embodiment. As shown in FIG. 1, the communication system 1 according to the present embodiment is configured by using the robot 10, the operation terminal 30, and the management server 40. In the communication system 1 according to the present embodiment, an operator who remotely controls the robot 10 using the operation terminal 30 communicates with the communication partner 50 (see FIG. 2) existing around the robot 10 and the robot 10 via the robot 10. It is a communication system that communicates.

具体的には、ロボット１０と操作端末３０は、互いに離れた位置に配置されており、操作者は操作端末３０を用いてロボット１０を遠隔操作することができる。ロボット１０と操作端末３０は、管理サーバ４０を介して互いに通信可能に構成されている。ロボット１０には、カメラＡ（１４）と表示部１５が設けられている。また、操作端末３０にもカメラＣ（３１）と表示部３２が設けられている。ロボット１０の前に存在するコミュニケーション相手５０（図２参照）は、ロボット１０のカメラＡ（１４）で撮影される。そして、撮影されたコミュニケーション相手５０は、操作者の操作端末３０の表示部３２に表示される。同様に、操作端末３０を操作している操作者は、操作端末３０のカメラＣ（３１）で撮影される。そして、撮影された操作者６０は、ロボット１０の表示部１５に表示される。また、ロボット１０と操作端末３０の各々には、マイクとスピーカも搭載されている。したがって、コミュニケーション相手５０と操作者６０は、互いの顔を見ながら会話をしてコミュニケーションを取ることができる。 Specifically, the robot 10 and the operation terminal 30 are arranged at positions separated from each other, and the operator can remotely control the robot 10 by using the operation terminal 30. The robot 10 and the operation terminal 30 are configured to be able to communicate with each other via the management server 40. The robot 10 is provided with a camera A (14) and a display unit 15. Further, the operation terminal 30 is also provided with a camera C (31) and a display unit 32. The communication partner 50 (see FIG. 2) existing in front of the robot 10 is photographed by the camera A (14) of the robot 10. Then, the photographed communication partner 50 is displayed on the display unit 32 of the operator's operation terminal 30. Similarly, the operator operating the operation terminal 30 is photographed by the camera C (31) of the operation terminal 30. Then, the photographed operator 60 is displayed on the display unit 15 of the robot 10. Further, each of the robot 10 and the operation terminal 30 is also equipped with a microphone and a speaker. Therefore, the communication partner 50 and the operator 60 can communicate with each other while looking at each other's faces.

更に、本実施の形態にかかるコミュニケーションシステム１は、図２に示すように、写真撮影用のカメラＢ（１７）を用いて、ロボット１０の前のコミュニケーション相手５０の写真を撮影することがでるように構成されている。以下、本実施の形態にかかるコミュニケーションシステム１の構成と動作について詳細に説明する。 Further, as shown in FIG. 2, the communication system 1 according to the present embodiment can take a picture of the communication partner 50 in front of the robot 10 by using the camera B (17) for taking a picture. It is configured in. Hereinafter, the configuration and operation of the communication system 1 according to the present embodiment will be described in detail.

図１に示すように、本実施の形態にかかるコミュニケーションシステム１は、ロボット１０、操作端末３０、及び管理サーバ４０を備える。ロボット１０と操作端末３０は互いに離れた位置に配置されており、管理サーバ４０を介して互いに通信可能に構成されている。なお、管理サーバ４０は、ロボット１０および操作端末３０と離れた位置に配置されていてもよく、操作端末３０の近傍に配置されていてもよく、ロボット１０の近傍に配置されていてもよい。 As shown in FIG. 1, the communication system 1 according to the present embodiment includes a robot 10, an operation terminal 30, and a management server 40. The robot 10 and the operation terminal 30 are arranged at positions separated from each other, and are configured to be able to communicate with each other via the management server 40. The management server 40 may be arranged at a position away from the robot 10 and the operation terminal 30, may be arranged near the operation terminal 30, or may be arranged near the robot 10.

＜ロボットの構成＞
まず、ロボットの構成について説明する。図１、図２に示すように、ロボット１０は、頭部１１、胴体１２、及び移動ユニット１３を備える。頭部１１には、カメラＡ（１４）と表示部１５が設けられている。カメラＡ（１４）は、ロボット１０のメイン動作に使用されるカメラであり、例えば、ロボット１０が移動する際に障害物の有無を検知したり、コミュニケーション相手を探索する際に用いたりすることができる。また、カメラＡ（１４）は、操作端末３０の操作者が、ロボット１０の前に存在するコミュニケーション相手５０（図２参照）とコミュニケーションを行う際に用いられる。表示部１５には、操作端末３０を用いて遠隔操作している操作者６０が表示される。 <Robot configuration>
First, the configuration of the robot will be described. As shown in FIGS. 1 and 2, the robot 10 includes a head 11, a body 12, and a moving unit 13. The head 11 is provided with a camera A (14) and a display unit 15. The camera A (14) is a camera used for the main operation of the robot 10. For example, the camera A (14) may be used when detecting the presence or absence of an obstacle when the robot 10 moves or when searching for a communication partner. can. Further, the camera A (14) is used when the operator of the operation terminal 30 communicates with the communication partner 50 (see FIG. 2) existing in front of the robot 10. The display unit 15 displays the operator 60 who is remotely controlled by using the operation terminal 30.

胴体１２には、アーム１６が取り付けられている。アーム１６の先端にはカメラＢ（１７）が取り付けられている。カメラＢ（１７）は、コミュニケーション相手５０（図２参照）の写真撮影に使用されるカメラである。カメラＢ（１７）の位置は、アーム１６を用いて調整することができる。 An arm 16 is attached to the body 12. A camera B (17) is attached to the tip of the arm 16. The camera B (17) is a camera used for taking a picture of the communication partner 50 (see FIG. 2). The position of the camera B (17) can be adjusted by using the arm 16.

また、胴体１２には、取り出し口１８が設けられている。例えば、ロボット１０はプリンタ（図１では不図示）を内蔵しており、コミュニケーション相手５０（図２参照）の写真を撮影した後、プリンタを用いて写真を印刷してもよい。印刷した写真は、取り出し口１８を介してコミュニケーション相手５０に渡すことができる。 Further, the body 12 is provided with an outlet 18. For example, the robot 10 has a built-in printer (not shown in FIG. 1), and after taking a picture of the communication partner 50 (see FIG. 2), the picture may be printed using the printer. The printed photograph can be passed to the communication partner 50 via the take-out port 18.

移動ユニット１３は、ロボット１０を移動させるためのユニットである。例えば、移動ユニット１３の下面には車輪（不図示）が設けられており、この車輪を駆動することで、ロボット１０を移動させることができる。 The moving unit 13 is a unit for moving the robot 10. For example, wheels (not shown) are provided on the lower surface of the moving unit 13, and the robot 10 can be moved by driving the wheels.

次に、ロボット１０のシステム構成について説明する。図３は、ロボットのシステム構成を説明するためのブロック図である。図３に示すように、ロボット１０は、ロボット１０の動作を制御するための制御部２０を備えている。制御部２０には、移動ユニット１３、カメラＡ（１４）、表示部１５、カメラＢ（１７）、スピーカ２１、マイク２２、通信部２３、アーム駆動部２４、及びプリンタ２５が接続されている。 Next, the system configuration of the robot 10 will be described. FIG. 3 is a block diagram for explaining the system configuration of the robot. As shown in FIG. 3, the robot 10 includes a control unit 20 for controlling the operation of the robot 10. A mobile unit 13, a camera A (14), a display unit 15, a camera B (17), a speaker 21, a microphone 22, a communication unit 23, an arm drive unit 24, and a printer 25 are connected to the control unit 20.

移動ユニット１３は、制御部２０から供給された制御信号に基づいて移動ユニット１３の車輪（不図示）を駆動する。これにより、ロボット１０を移動させることができる。例えば、制御部２０は、操作端末３０（管理サーバ４０）から送信された操作信号に基づいて、移動ユニット１３を制御するための制御信号を生成することができる。また、制御部２０は、カメラＡ（１４）やレーザスキャナ（不図示）から取得した情報を用いてロボット１０の周囲の障害物を検知し、この検知した障害物に関する情報を用いて制御信号を生成してもよい。これにより、ロボット１０が障害物を回避して移動するように移動ユニット１３を制御することができる。 The moving unit 13 drives the wheels (not shown) of the moving unit 13 based on the control signal supplied from the control unit 20. As a result, the robot 10 can be moved. For example, the control unit 20 can generate a control signal for controlling the mobile unit 13 based on the operation signal transmitted from the operation terminal 30 (management server 40). Further, the control unit 20 detects an obstacle around the robot 10 by using the information acquired from the camera A (14) or the laser scanner (not shown), and transmits a control signal by using the information about the detected obstacle. It may be generated. As a result, the moving unit 13 can be controlled so that the robot 10 moves while avoiding obstacles.

制御部２０は、カメラＡ（１４）から取得した画像データを、通信部２３を介して操作端末３０に送信する。また、制御部２０は、カメラＢ（１７）から取得した画像データを、通信部２３を介して操作端末３０に送信する。このとき制御部２０は、カメラＡ（１４）から取得した画像データとカメラＢ（１７）から取得した画像データとを選択的に操作端末３０に送信する。これにより、操作者が使用している操作端末３０には、カメラＡ（１４）の画像とカメラＢ（１７）の画像とが選択的に（切り替えて）表示される。 The control unit 20 transmits the image data acquired from the camera A (14) to the operation terminal 30 via the communication unit 23. Further, the control unit 20 transmits the image data acquired from the camera B (17) to the operation terminal 30 via the communication unit 23. At this time, the control unit 20 selectively transmits the image data acquired from the camera A (14) and the image data acquired from the camera B (17) to the operation terminal 30. As a result, the image of the camera A (14) and the image of the camera B (17) are selectively (switched) displayed on the operation terminal 30 used by the operator.

制御部２０は、操作端末３０から送信された画像データ、つまり操作端末３０を操作している操作者の画像を表示部１５に表示する。また、制御部２０は、操作端末３０から送信された音声データ、つまり操作端末３０を操作している操作者の音声をスピーカ２１から出力する。また、制御部２０は、マイク２２で取得した音声データ、つまりコミュニケーション相手５０の音声を、通信部２３を介して操作端末３０に送信する。 The control unit 20 displays the image data transmitted from the operation terminal 30, that is, the image of the operator operating the operation terminal 30 on the display unit 15. Further, the control unit 20 outputs the voice data transmitted from the operation terminal 30, that is, the voice of the operator operating the operation terminal 30 from the speaker 21. Further, the control unit 20 transmits the voice data acquired by the microphone 22, that is, the voice of the communication partner 50 to the operation terminal 30 via the communication unit 23.

アーム駆動部２４は、アーム１６を駆動するための手段であり、例えばモータ等を用いて構成することができる。アーム駆動部２４は、制御部２０から供給された制御信号に基づいてアーム駆動部２４を駆動する。これにより、アーム１６を移動させることができる。例えば、アーム１６を移動させることで、カメラＢ（１７）の位置を調整することができる。 The arm driving unit 24 is a means for driving the arm 16, and can be configured by using, for example, a motor or the like. The arm drive unit 24 drives the arm drive unit 24 based on the control signal supplied from the control unit 20. As a result, the arm 16 can be moved. For example, the position of the camera B (17) can be adjusted by moving the arm 16.

制御部２０は、カメラＢ（１７）から取得した画像データ（コミュニケーション相手５０の画像データ）をプリンタ２５に送信可能に構成されている。プリンタ２５は、制御部２０から取得した画像データに基づいて、写真を印刷する。 The control unit 20 is configured to be able to transmit the image data (image data of the communication partner 50) acquired from the camera B (17) to the printer 25. The printer 25 prints a photo based on the image data acquired from the control unit 20.

通信部２３は、管理サーバ４０を介して操作端末３０と通信可能に構成されている。例えば、通信部２３は、有線または無線で管理サーバ４０と接続されている。 The communication unit 23 is configured to be able to communicate with the operation terminal 30 via the management server 40. For example, the communication unit 23 is connected to the management server 40 by wire or wirelessly.

なお、ロボット１０の上記構成は一例であり、本実施の形態にかかるコミュニケーションシステム１において、ロボット１０の構成は上記構成に限定されることはない。 The above configuration of the robot 10 is an example, and the configuration of the robot 10 is not limited to the above configuration in the communication system 1 according to the present embodiment.

＜操作端末の構成＞
次に、操作端末３０について説明する。図１に示すように、操作端末３０は、操作者がロボット１０を遠隔操作するための端末であり、例えば、パーソナルコンピュータやタブレット端末等を用いて構成することができる。図３は、操作端末のシステム構成を説明するためのブロック図である。図４に示すように、操作端末３０は、カメラＣ（３１）、表示部３２、スピーカ３３、マイク３４、入力部３５、通信部３６、及び制御部３７を備える。制御部３７は、操作端末３０を制御する機能を有し、カメラＣ（３１）、表示部３２、スピーカ３３、マイク３４、入力部３５、及び通信部３６は、制御部３７に接続されている。 <Configuration of operation terminal>
Next, the operation terminal 30 will be described. As shown in FIG. 1, the operation terminal 30 is a terminal for the operator to remotely control the robot 10, and can be configured by using, for example, a personal computer, a tablet terminal, or the like. FIG. 3 is a block diagram for explaining the system configuration of the operation terminal. As shown in FIG. 4, the operation terminal 30 includes a camera C (31), a display unit 32, a speaker 33, a microphone 34, an input unit 35, a communication unit 36, and a control unit 37. The control unit 37 has a function of controlling the operation terminal 30, and the camera C (31), the display unit 32, the speaker 33, the microphone 34, the input unit 35, and the communication unit 36 are connected to the control unit 37. ..

制御部３７は、カメラＣ（３１）から取得した画像データを、通信部３６を介してロボット１０に送信する。ロボット１０に送信された画像データは、ロボット１０の表示部１５に表示される。 The control unit 37 transmits the image data acquired from the camera C (31) to the robot 10 via the communication unit 36. The image data transmitted to the robot 10 is displayed on the display unit 15 of the robot 10.

また、制御部３７は、ロボット１０から送信された画像データ、つまりコミュニケーション相手５０の画像を表示部３２に表示する。また、制御部３７は、ロボット１０から送信された音声データ、つまりロボット１０の前に立っているコミュニケーション相手５０の音声をスピーカ３３から出力する。また、制御部２０は、マイク３４で取得した音声データ、つまり操作端末３０を操作している操作者の音声を、通信部３６を介してロボット１０に送信する。 Further, the control unit 37 displays the image data transmitted from the robot 10, that is, the image of the communication partner 50 on the display unit 32. Further, the control unit 37 outputs the voice data transmitted from the robot 10, that is, the voice of the communication partner 50 standing in front of the robot 10 from the speaker 33. Further, the control unit 20 transmits the voice data acquired by the microphone 34, that is, the voice of the operator operating the operation terminal 30, to the robot 10 via the communication unit 36.

入力部３５は、操作者がロボット１０を遠隔操作するための各種情報を入力するための手段である。例えば、入力部３５は、タッチパネルやキーボードを用いて構成することができる。タッチパネルを用いて入力部３５を構成した場合は、例えば、表示部３２に表示されているアイコン等を操作者が押下することで、ロボット１０を遠隔操作することができる。また、キーボードを用いて入力部３５を構成した場合は、例えば、キーボードから所定の情報を入力することで、ロボット１０を遠隔操作することができる。 The input unit 35 is a means for the operator to input various information for remotely controlling the robot 10. For example, the input unit 35 can be configured by using a touch panel or a keyboard. When the input unit 35 is configured using the touch panel, the robot 10 can be remotely controlled by, for example, the operator pressing an icon or the like displayed on the display unit 32. Further, when the input unit 35 is configured by using the keyboard, the robot 10 can be remotely controlled by inputting predetermined information from the keyboard, for example.

通信部３６は、管理サーバ４０を介してロボット１０と通信可能に構成されている。例えば、通信部３６は、有線または無線で管理サーバ４０と接続されている。 The communication unit 36 is configured to be able to communicate with the robot 10 via the management server 40. For example, the communication unit 36 is connected to the management server 40 by wire or wirelessly.

なお、操作端末３０の上記構成は一例であり、本実施の形態にかかるコミュニケーションシステム１において、操作端末３０の構成は上記構成に限定されることはない。 The above configuration of the operation terminal 30 is an example, and the configuration of the operation terminal 30 is not limited to the above configuration in the communication system 1 according to the present embodiment.

＜管理サーバの構成＞
次に、管理サーバ４０について説明する。図１に示すように、管理サーバ４０は、ロボット１０を管理するためのサーバである。ロボット１０と操作端末３０は、管理サーバ４０を介して互いに通信可能に構成されている。図５は、管理サーバのシステム構成を説明するためのブロック図である。図５に示すように、管理サーバ４０は、通信部４１、ロボット動作制御部４２、及びロボット制御情報格納部４３を備える。 <Management server configuration>
Next, the management server 40 will be described. As shown in FIG. 1, the management server 40 is a server for managing the robot 10. The robot 10 and the operation terminal 30 are configured to be able to communicate with each other via the management server 40. FIG. 5 is a block diagram for explaining the system configuration of the management server. As shown in FIG. 5, the management server 40 includes a communication unit 41, a robot motion control unit 42, and a robot control information storage unit 43.

通信部４１は、ロボット１０の通信部２３（図３参照）および操作端末３０の通信部３６（図４参照）と通信可能に構成されている。例えば、通信部４１は、有線または無線でロボット１０の通信部２３および操作端末３０の通信部３６と接続されている。 The communication unit 41 is configured to be able to communicate with the communication unit 23 (see FIG. 3) of the robot 10 and the communication unit 36 (see FIG. 4) of the operation terminal 30. For example, the communication unit 41 is connected to the communication unit 23 of the robot 10 and the communication unit 36 of the operation terminal 30 by wire or wirelessly.

ロボット動作制御部４２は、ロボット制御情報格納部４３に格納されているロボット制御情報に基づいて、ロボットの動作を制御する。すなわち、本実施の形態にかかるコミュニケーションシステム１では、ロボット１０の動作の種類および順番（つまり、ロボットの動作に関するシナリオ）は予め決定されており、このような情報は、ロボット制御情報としてロボット制御情報格納部４３に予め格納されている。 The robot motion control unit 42 controls the motion of the robot based on the robot control information stored in the robot control information storage unit 43. That is, in the communication system 1 according to the present embodiment, the type and order of the actions of the robot 10 (that is, the scenario related to the actions of the robot) are determined in advance, and such information is the robot control information as the robot control information. It is stored in advance in the storage unit 43.

ロボット動作制御部４２は、ロボット１０の現在のステータス情報をロボット１０から取得する。そして、取得した現在のロボット１０のステータス情報と、ロボット制御情報格納部４３に格納されているロボット制御情報と、を参照して、ロボット１０の次の制御内容（次のシナリオ）に関する情報を作成する。ロボット動作制御部４２は、作成したロボット１０の次の制御内容（次のシナリオ）に関する情報を、操作端末３０に送信する。 The robot motion control unit 42 acquires the current status information of the robot 10 from the robot 10. Then, with reference to the acquired current status information of the robot 10 and the robot control information stored in the robot control information storage unit 43, information on the next control content (next scenario) of the robot 10 is created. do. The robot motion control unit 42 transmits information regarding the next control content (next scenario) of the created robot 10 to the operation terminal 30.

その後、操作端末３０の表示部３２には、ロボット１０の次の制御内容（次のシナリオ）に関する情報が表示される。例えば、操作端末３０の表示部３２には、ロボット１０の次の動作を選択するためのアイコンが表示されており、操作者はこのアイコンを押下することで、ロボット１０の次の動作を決定することができる。操作者が決定したロボット１０の次の動作に関する情報（選択されたシナリオに関する情報）は、管理サーバ４０を経由してロボット１０に送信される。ロボット１０は、受信した次の動作に関する情報（選択されたシナリオに関する情報）に基づいて動作を行う。 After that, the display unit 32 of the operation terminal 30 displays information about the next control content (next scenario) of the robot 10. For example, an icon for selecting the next operation of the robot 10 is displayed on the display unit 32 of the operation terminal 30, and the operator determines the next operation of the robot 10 by pressing this icon. be able to. Information regarding the next operation of the robot 10 determined by the operator (information regarding the selected scenario) is transmitted to the robot 10 via the management server 40. The robot 10 performs an operation based on the received information on the next operation (information on the selected scenario).

本実施の形態にかかるコミュニケーションシステム１では、上述の動作、つまり、ロボット１０の現在のステータス情報の取得、ロボット１０の次の制御内容（次のシナリオ）の作成、ロボット１０の次の動作の決定、を繰り返すことで、ロボット１０を操作することができる。管理サーバ４０は、このようなロボット１０の制御内容（シナリオ）の進捗の管理を行う。 In the communication system 1 according to the present embodiment, the above-mentioned operations, that is, acquisition of the current status information of the robot 10, creation of the next control content (next scenario) of the robot 10, and determination of the next operation of the robot 10. , The robot 10 can be operated by repeating. The management server 40 manages the progress of the control content (scenario) of the robot 10.

なお、ロボット１０の制御内容（シナリオ）については、ロボット１０の利用シーンに応じて適宜変更することができる。ロボット１０の制御内容（シナリオ）は、ロボット制御情報格納部４３に格納されているロボット制御情報を書き換えることで変更することができる。なお、管理サーバ４０は、複数のロボットを管理するように構成されていてもよい。また、管理サーバ４０は、操作端末３０と同一システムとして構成されていてもよい。 The control content (scenario) of the robot 10 can be appropriately changed according to the usage scene of the robot 10. The control content (scenario) of the robot 10 can be changed by rewriting the robot control information stored in the robot control information storage unit 43. The management server 40 may be configured to manage a plurality of robots. Further, the management server 40 may be configured as the same system as the operation terminal 30.

＜コミュニケーションシステムの動作の説明＞
次に、本実施の形態にかかるコミュニケーションシステムの動作について、図６に示すフローチャートを用いて説明する。以下では、ロボット１０の動作の一例として、ロボット１０がコミュニケーション相手を探索し（探索モード）、その後、コミュニケーション相手とコミュニケーションを行い（コミュニケーションモード）、コミュニケーション相手の写真を撮影する（撮影モード）という動作について説明する。 <Explanation of communication system operation>
Next, the operation of the communication system according to the present embodiment will be described with reference to the flowchart shown in FIG. In the following, as an example of the operation of the robot 10, the robot 10 searches for a communication partner (search mode), then communicates with the communication partner (communication mode), and takes a picture of the communication partner (shooting mode). Will be described.

まず、ロボット１０は、コミュニケーション相手を探索するための動作を行う（ステップＳ１）。例えば、操作者は、操作端末３０を操作して、ロボット１０の動作モードとして探索モードのシナリオを選択する。これにより、ロボット１０の動作モードが探索モードに設定される。例えば、ロボット１０は、カメラＡ（１４）を用いてコミュニケーション相手を探索することができる。また、ロボット１０は、周辺を走行することで、コミュニケーション相手を探索する範囲を広げることができる。 First, the robot 10 performs an operation for searching for a communication partner (step S1). For example, the operator operates the operation terminal 30 to select a scenario of the search mode as the operation mode of the robot 10. As a result, the operation mode of the robot 10 is set to the search mode. For example, the robot 10 can search for a communication partner using the camera A (14). In addition, the robot 10 can expand the range of searching for a communication partner by traveling around the area.

その後、ロボット１０は、コミュニケーション相手が決定したか否かを判定する（ステップＳ２）。例えば、ロボット１０のカメラＡ（１４）に人物が写っている場合、ロボット１０はこの人物に話しかけて、コミュニケーション相手になることの可否について確認する。コミュニケーション相手になることについて、この人物の同意を得られない場合は（ステップＳ２：Ｎｏ）、コミュニケーション相手の探索を継続する（ステップＳ１）。 After that, the robot 10 determines whether or not the communication partner has been determined (step S2). For example, when a person is photographed by the camera A (14) of the robot 10, the robot 10 talks to the person and confirms whether or not he / she can be a communication partner. If the consent of this person cannot be obtained for becoming a communication partner (step S2: No), the search for the communication partner is continued (step S1).

一方、コミュニケーション相手になることについて、この人物の同意を得られた場合（ステップＳ２：Ｙｅｓ）、操作端末３０の操作者はロボット１０を介してコミュニケーション相手とのコミュニケーションを開始する（ステップＳ３）。具体的には、ロボット１０の前のコミュニケーション相手５０の映像は、操作者の操作端末３０の表示部３２に表示される。また、操作端末３０を操作している操作者６０の映像は、ロボット１０の表示部１５に表示される。よって、コミュニケーション相手５０と操作者６０は、互いの顔を見ながら会話をして、コミュニケーションを行うことができる。 On the other hand, when the consent of this person is obtained for becoming a communication partner (step S2: Yes), the operator of the operation terminal 30 starts communication with the communication partner via the robot 10 (step S3). Specifically, the image of the communication partner 50 in front of the robot 10 is displayed on the display unit 32 of the operation terminal 30 of the operator. Further, the image of the operator 60 operating the operation terminal 30 is displayed on the display unit 15 of the robot 10. Therefore, the communication partner 50 and the operator 60 can communicate with each other while looking at each other's faces.

その後、ロボット１０（操作者６０）は、コミュニケーション相手５０の写真を撮影してもよいか、コミュニケーション相手５０に確認する（ステップＳ４）。そして、写真撮影に関してコミュニケーション相手５０の許可が取れた場合（ステップＳ４：Ｙｅｓ）、操作者６０が使用している操作端末３０に表示される画像を、カメラＡ（１４）の画像からカメラＢ（１７）の画像に切り替える（ステップＳ５）。このように、カメラＡ（１４）の画像からカメラＢ（１７）の画像に切り替える動作については、ロボット制御情報格納部４３に格納されているロボット制御情報（シナリオ）によって予め決定されている。よって、操作端末３０に表示される画像を、カメラＡ（１４）の画像からカメラＢ（１７）の画像に自動的に切り替えることができる。 After that, the robot 10 (operator 60) confirms with the communication partner 50 whether the photograph of the communication partner 50 may be taken (step S4). Then, when the permission of the communication partner 50 is obtained for taking a picture (step S4: Yes), the image displayed on the operation terminal 30 used by the operator 60 is changed from the image of the camera A (14) to the camera B (step S4: Yes). Switching to the image of 17) (step S5). As described above, the operation of switching from the image of the camera A (14) to the image of the camera B (17) is determined in advance by the robot control information (scenario) stored in the robot control information storage unit 43. Therefore, the image displayed on the operation terminal 30 can be automatically switched from the image of the camera A (14) to the image of the camera B (17).

このように本実施の形態では、ロボット１０が２つのカメラを搭載している場合であっても、写真撮影時に、操作者６０の操作端末３０に表示される画像を、カメラＡ（１４）の画像からカメラＢ（１７）の画像に自動的に切り替えることができる。よって、操作者６０の操作負担を軽減することができる。 As described above, in the present embodiment, even when the robot 10 is equipped with two cameras, the image displayed on the operation terminal 30 of the operator 60 at the time of taking a picture is captured by the camera A (14). The image can be automatically switched to the image of the camera B (17). Therefore, the operation load of the operator 60 can be reduced.

その後、操作者６０は、操作端末３０に表示されているカメラＢ（１７）の画像を用いて、カメラＢ（１７）の位置を調整する（ステップＳ６）。例えば、操作端末３０には、カメラＢ（１７）の位置を調整するためのアイコンが表示されており、操作者はこのアイコンを操作することで、カメラＢ（１７）の位置を調整することができる。つまり、操作者がアイコンを操作すると、これに応じてアーム１６が動き、カメラＢ（１７）の位置を調整することができる。 After that, the operator 60 adjusts the position of the camera B (17) using the image of the camera B (17) displayed on the operation terminal 30 (step S6). For example, an icon for adjusting the position of the camera B (17) is displayed on the operation terminal 30, and the operator can adjust the position of the camera B (17) by operating this icon. can. That is, when the operator operates the icon, the arm 16 moves accordingly, and the position of the camera B (17) can be adjusted.

カメラＢ（１７）の位置調整が終了した後、操作者６０は、操作端末３０を操作して、コミュニケーション相手の写真を撮影する（ステップＳ７）。例えば、操作端末３０には撮影ボタンが表示されており、操作者６０は撮影ボタンを押下することで、コミュニケーション相手の写真を撮影することができる。 After the position adjustment of the camera B (17) is completed, the operator 60 operates the operation terminal 30 to take a picture of the communication partner (step S7). For example, a shooting button is displayed on the operation terminal 30, and the operator 60 can take a picture of the communication partner by pressing the shooting button.

ステップＳ７において操作者６０が複数枚の写真を撮影した場合、操作者６０は撮影した複数枚の写真の中からコミュニケーション相手に渡す写真を選択する（ステップＳ８）。このとき、ステップＳ６とステップＳ７の動作を繰り返して、複数枚の写真を撮影してもよい。なお、ステップＳ７において撮影した写真が１枚である場合は、ステップＳ８の動作を省略してもよい。 When the operator 60 takes a plurality of photographs in step S7, the operator 60 selects a photograph to be passed to the communication partner from the plurality of photographs taken (step S8). At this time, the operations of steps S6 and S7 may be repeated to take a plurality of photographs. If the number of photographs taken in step S7 is one, the operation of step S8 may be omitted.

その後、操作者６０は、操作端末３０を操作して、ステップＳ８で選択した写真を印刷するように、ロボット１０に指示を出す。ロボット１０は、内蔵されているプリンタを用いてコミュニケーション相手５０の写真を印刷する（ステップＳ９）。印刷した写真は、取り出し口１８を介してコミュニケーション相手５０に渡すことができる。 After that, the operator 60 operates the operation terminal 30 to instruct the robot 10 to print the photo selected in step S8. The robot 10 prints a photo of the communication partner 50 using the built-in printer (step S9). The printed photograph can be passed to the communication partner 50 via the take-out port 18.

なお、ステップＳ４において、コミュニケーション相手５０の写真を撮影することに関して同意を得られなかった場合（ステップＳ４：Ｎｏ）、操作端末３０の操作者はロボット１０を介してコミュニケーション相手との会話（コミュニケーション）を継続する（ステップＳ１０）。この場合、ステップＳ５〜Ｓ９の撮影モードは省略される。 If consent is not obtained for taking a picture of the communication partner 50 in step S4 (step S4: No), the operator of the operation terminal 30 talks (communicate) with the communication partner via the robot 10. (Step S10). In this case, the shooting modes in steps S5 to S9 are omitted.

また、ステップＳ９ではプリンタを用いて写真を印刷する場合について説明したが、撮影した写真は、コミュニケーション相手５０のスマートフォンに無線で送信するようにしてもよい。 Further, although the case of printing a photograph using a printer has been described in step S9, the photograph taken may be wirelessly transmitted to the smartphone of the communication partner 50.

以上の動作を終了することで、操作端末３０の操作者とコミュニケーション相手とのロボット１０を介したコミュニケーションが終了する（ステップＳ１１）。以降、ステップＳ１〜Ｓ１１の動作を繰り返すことで、ロボット１０（操作者６０）は、別のコミュニケーション相手５０と更にコミュニケーションを取ることができる。 By terminating the above operation, communication between the operator of the operation terminal 30 and the communication partner via the robot 10 is completed (step S11). After that, by repeating the operations of steps S1 to S11, the robot 10 (operator 60) can further communicate with another communication partner 50.

以上で説明したように、本実施の形態にかかるコミュニケーションシステム１では、ロボット１０が２つのカメラを搭載している場合であっても、写真撮影時に、操作者６０の操作端末３０に表示される画像を、カメラＡ（１４）の画像からカメラＢ（１７）の画像に自動的に切り替えることができる。よって、操作者６０の操作負担を軽減することができるので、操作者６０によるロボットの操作が煩雑になることを抑制することができる。 As described above, in the communication system 1 according to the present embodiment, even when the robot 10 is equipped with two cameras, it is displayed on the operation terminal 30 of the operator 60 at the time of taking a picture. The image can be automatically switched from the image of the camera A (14) to the image of the camera B (17). Therefore, since the operation load of the operator 60 can be reduced, it is possible to prevent the operation of the robot by the operator 60 from becoming complicated.

また、本実施の形態では、ロボット１０の動作は、管理サーバ４０のロボット制御情報格納部４３に格納されているロボット制御情報（シナリオ）によって予め決定されている。また、操作端末３０の表示部３２には、ロボット１０の次の制御内容（次のシナリオ）に関する情報が表示される。例えば、操作端末３０の表示部３２には、ロボット１０の次の動作を選択するためのアイコンが表示されており、操作者はこのアイコンを押下することで、ロボット１０の次の動作を決定することができる。このように本実施の形態では、操作者が操作端末３０の表示部３２に表示されているアイコンを押下することでロボット１０の次の動作を決定することができるので、操作者６０によるロボットの操作が煩雑になることを抑制することができる。 Further, in the present embodiment, the operation of the robot 10 is predetermined by the robot control information (scenario) stored in the robot control information storage unit 43 of the management server 40. Further, information on the next control content (next scenario) of the robot 10 is displayed on the display unit 32 of the operation terminal 30. For example, an icon for selecting the next operation of the robot 10 is displayed on the display unit 32 of the operation terminal 30, and the operator determines the next operation of the robot 10 by pressing this icon. be able to. As described above, in the present embodiment, the operator can determine the next operation of the robot 10 by pressing the icon displayed on the display unit 32 of the operation terminal 30, so that the operator 60 can determine the next operation of the robot. It is possible to prevent the operation from becoming complicated.

以上で説明した本実施の形態にかかる発明により、ロボットを介してコミュニケーションを行うコミュニケーションシステムにおいて、操作者によるロボットの操作が煩雑になることを抑制することが可能なコミュニケーションシステムを提供することができる。 According to the invention according to the present embodiment described above, in a communication system for communicating via a robot, it is possible to provide a communication system capable of suppressing complicated operation of the robot by an operator. ..

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。 Although the present invention has been described above in accordance with the above-described embodiment, the present invention is not limited to the configuration of the above-described embodiment, and is within the scope of the claimed invention within the scope of the claims of the present application. Of course, it includes various modifications, modifications, and combinations that can be made by a person skilled in the art.

１コミュニケーションシステム
１０ロボット
１１頭部
１２胴体
１３移動ユニット
１４カメラＡ
１５表示部
１６アーム
１７カメラＢ
１８取り出し口
３０操作端末
３１カメラＣ
３２表示部
４０管理サーバ
５０コミュニケーション相手
６０操作者 1 Communication system 10 Robot 11 Head 12 Body 13 Moving unit 14 Camera A
15 Display 16 Arm 17 Camera B
18 Outlet 30 Operation terminal 31 Camera C
32 Display 40 Management server 50 Communication partner 60 Operator

Claims

A communication system in which an operator who remotely controls a robot using an operation terminal communicates with a communication partner existing around the robot via the robot.
The robot
The first camera used for the main operation of the robot and
The second camera used to take a picture of the communication partner,
A display unit for displaying the operator is provided.
The operation terminal used by the operator is configured to be able to switch and display an image of the first camera of the robot and an image of the second camera.
When taking a picture of the communication partner, the image displayed on the operation terminal used by the operator is configured to be switched from the image of the first camera to the image of the second camera. ing,
Communication system.