JP6627678B2

JP6627678B2 - Mobile remote control system

Info

Publication number: JP6627678B2
Application number: JP2016146664A
Authority: JP
Inventors: 優香橋口; 環西野
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2016-07-26
Filing date: 2016-07-26
Publication date: 2020-01-08
Anticipated expiration: 2036-07-26
Also published as: JP2018019182A

Description

本発明は移動体の遠隔操縦システムに関する。 The present invention relates to a mobile remote control system.

災害現場や事故現場など様々な支援を目的として、カメラを搭載したロボット（移動体）を遠隔操縦する技術が注目されている。このようなロボットを遠隔操縦する際、ロボットと操縦端末間の通信速度が一定ではない場合がある。通信速度が遅い場合には、ロボットの操縦に支障をきたすおそれがある。そこで、通信速度が遅い場合の画像表示を改善する技術として、ロボットから操縦端末へ送信する画像のデータ量を変更する技術が開示されている。 2. Description of the Related Art A technology for remotely controlling a robot (moving object) equipped with a camera has been attracting attention for various purposes such as disaster sites and accident sites. When such a robot is remotely controlled, the communication speed between the robot and the control terminal may not be constant. When the communication speed is low, there is a possibility that the operation of the robot is hindered. Therefore, as a technique for improving the image display when the communication speed is low, a technique for changing the data amount of an image transmitted from the robot to the control terminal is disclosed.

特開２０１４−７１７７８号公報JP 2014-71778 A

しかし、画像の解像度を下げると、得られる環境情報がぼやけたものになり、移動時の障害物検知・回避が機能しづらくなる危険性がある。またデータの更新周期が動的に変わると、ユーザはフィードバックされた情報がどれくらいのリアルタイム性を持つのか判断しづらくなり、操縦ミスを誘発する可能性がある。 However, if the resolution of the image is reduced, the obtained environmental information becomes blurred, and there is a risk that obstacle detection and avoidance during movement may become difficult to function. Also, if the data update cycle changes dynamically, it becomes difficult for the user to determine how much real-time the feedback information has, which may lead to a steering error.

本発明は、このような問題を解決するためになされたものであり、移動体と操縦端末間の通信速度に応じて、移動体に搭載するカメラの姿勢を自動制御し、移動体の円滑な遠隔操縦を行うことを目的とする。 The present invention has been made to solve such a problem, and according to the communication speed between the mobile unit and the control terminal, the attitude of the camera mounted on the mobile unit is automatically controlled, and the smooth movement of the mobile unit is achieved. The purpose is to perform remote control.

本発明に係る移動体の遠隔操縦システムは、移動体と、当該移動体を遠隔操縦する制御装置と、を備える移動体の遠隔操縦システムであって、前記移動体は、当該移動体の進行方向の画像を取得するカメラと、前記カメラの姿勢を変更するカメラ駆動部と、前記制御装置との間で情報の送受信を行う第１の送受信部と、を有し、前記制御装置は、前記移動体との間で情報の送受信を行う第２の送受信部と、前記移動体から受信した画像データを表示する表示部と、前記移動体を操縦する操縦部と、前記移動体から前記制御装置へ送られる情報の通信速度を取得する通信速度取得部と、を有しており、前記通信速度が所定値を下回った場合には、前記カメラが取得する前記画像データが前記移動体の進行方向前側となるように前記カメラの撮影方向を変更するものである。 A remote control system for a mobile object according to the present invention is a remote control system for a mobile object including a mobile object and a control device for remotely controlling the mobile object, wherein the mobile object is in a traveling direction of the mobile object. A camera that acquires an image of the camera, a camera driving unit that changes the attitude of the camera, and a first transmitting and receiving unit that transmits and receives information to and from the control device. A second transmission / reception unit for transmitting / receiving information to / from a body, a display unit for displaying image data received from the moving body, a control unit for maneuvering the moving body, and from the moving body to the control device. A communication speed acquisition unit for acquiring the communication speed of the information to be sent, and when the communication speed is lower than a predetermined value, the image data acquired by the camera is on the front side in the traveling direction of the moving body. So that the camera shoots It is intended to change the direction.

本発明により、移動体の円滑な遠隔操縦を行うことができる。 According to the present invention, smooth remote control of a moving object can be performed.

実施の形態１に係る遠隔操縦システム１０の概要図である。1 is a schematic diagram of a remote control system 10 according to Embodiment 1. FIG. 実施の形態１に係るロボット１０１の説明図である。FIG. 3 is an explanatory diagram of the robot 101 according to the first embodiment. 実施の形態１に係る遠隔操縦システム１０の機能ブロック図である。FIG. 2 is a functional block diagram of the remote control system 10 according to the first embodiment. 実施の形態１に係る遠隔操縦システム１０の動作を説明するためのフローチャートである。4 is a flowchart for explaining an operation of the remote control system 10 according to the first embodiment. 実施の形態１に係る遠隔操縦システム１０の動作説明図である。FIG. 3 is an operation explanatory diagram of the remote control system 10 according to the first embodiment. 実施の形態１に係る遠隔操縦システム１０の動作説明図である。FIG. 3 is an operation explanatory diagram of the remote control system 10 according to the first embodiment. 実施の形態１に係る表示部２１３の画像である。4 is an image of the display unit 213 according to Embodiment 1. 実施の形態１に係る遠隔操縦システム１０の動作説明図である。FIG. 3 is an operation explanatory diagram of the remote control system 10 according to the first embodiment. 実施の形態１に係る遠隔操縦システム１０の動作説明図である。FIG. 3 is an operation explanatory diagram of the remote control system 10 according to the first embodiment. 実施の形態１に係る表示部２１３の画像である。4 is an image of the display unit 213 according to Embodiment 1. 実施の形態２に係る遠隔操縦システムの動作を説明するためのフローチャートである。9 is a flowchart for explaining the operation of the remote control system according to Embodiment 2. 実施の形態３に係る遠隔操縦システムの動作を説明するためのフローチャートである。9 is a flowchart for explaining the operation of the remote control system according to Embodiment 3. 実施の形態３に係る遠隔操縦システムの動作を説明するためのフローチャートである。9 is a flowchart for explaining the operation of the remote control system according to Embodiment 3. 実施の形態４に係る遠隔操縦システムの動作説明図である。FIG. 14 is an operation explanatory diagram of the remote control system according to the fourth embodiment. 実施の形態４に係る遠隔操縦システムの動作説明図である。FIG. 14 is an operation explanatory diagram of the remote control system according to the fourth embodiment. 実施の形態４に係る遠隔操縦システムの動作説明図である。FIG. 14 is an operation explanatory diagram of the remote control system according to the fourth embodiment.

＜実施の形態１＞
まず、本発明に係る実施の形態１について説明する。 <Embodiment 1>
First, a first embodiment according to the present invention will be described.

図１Ａは、実施の形態１に係る移動体の遠隔操縦システム１０の概要図である。遠隔操縦システム１０は移動体であるロボット１００と、制御装置である操縦端末２００とを備える。遠隔操縦システム１０は、ロボット１００と操縦端末２００とが無線通信によって双方向に送受信できるように接続されている。ユーザは、操縦端末２００を操作することによりロボット１００を遠隔操縦する。 FIG. 1A is a schematic diagram of a mobile remote control system 10 according to the first embodiment. The remote control system 10 includes a robot 100 as a moving object and a control terminal 200 as a control device. The remote control system 10 is connected so that the robot 100 and the control terminal 200 can bidirectionally transmit and receive by wireless communication. The user remotely controls the robot 100 by operating the control terminal 200.

ロボット１００は、カメラ１１２、カメラ駆動部１１３、ロボット駆動部１１６を備える。カメラ１１２は、ロボット１００の進行方向である撮影範囲３００の画像を撮影する。カメラ駆動部１１３は、カメラ１１２の姿勢を変更する。カメラ駆動部１１３がカメラ１１２の姿勢を変更することにより、カメラ１１２の撮影する方向が変わる。ロボット駆動部１１６はロボット１００の移動手段である。 The robot 100 includes a camera 112, a camera driving unit 113, and a robot driving unit 116. The camera 112 captures an image of a capturing range 300 that is the traveling direction of the robot 100. The camera driving unit 113 changes the attitude of the camera 112. When the camera driving unit 113 changes the attitude of the camera 112, the shooting direction of the camera 112 changes. The robot driving unit 116 is a moving unit of the robot 100.

操縦端末２００は、表示部２１３及び操縦部２１４を備える。操縦端末２００は、コンピュータ、タブレット、スマートフォンなどである。またディスプレイとコントローラを備える通信端末でもよい。表示部２１３はロボット１００が撮影した画像を表示する。操縦部２１４はロボットを遠隔操縦するためのボタン等を備える。 The control terminal 200 includes a display unit 213 and a control unit 214. The control terminal 200 is a computer, a tablet, a smartphone, or the like. Further, a communication terminal including a display and a controller may be used. The display unit 213 displays an image captured by the robot 100. The control unit 214 includes buttons and the like for remotely controlling the robot.

図１Ｂは、ロボット１０１がカメラ１１２の姿勢を変更した状態を例示している。このときカメラ１１２は、ロボット１０１の進行方向であってロボット１００のカメラが撮影する撮影範囲３００（図１Ａ参照）よりも遠方である撮影範囲４００の画像を撮影する。 FIG. 1B illustrates a state where the posture of the camera 112 is changed by the robot 101. At this time, the camera 112 captures an image in the shooting range 400 that is in the traveling direction of the robot 101 and is farther than the shooting range 300 (see FIG. 1A) shot by the camera of the robot 100.

次に、図２を参照しながら遠隔操縦システム１０の各機能ブロックについて説明する。図２は遠隔操縦システム１０の機能ブロック図である。ロボット１００は、送受信部１１１、カメラ１１２、カメラ駆動部１１３、画像バッファ１１４、ロボット制御部１１５、ロボット駆動部１１６及び通信バス１１７を備える。操縦端末２００は、送受信部２１１、制御部２１２、表示部２１３、操縦部２１４、通信速度取得部２１５及び通信バス２１６を備える。 Next, each functional block of the remote control system 10 will be described with reference to FIG. FIG. 2 is a functional block diagram of the remote control system 10. The robot 100 includes a transmission / reception unit 111, a camera 112, a camera driving unit 113, an image buffer 114, a robot control unit 115, a robot driving unit 116, and a communication bus 117. The control terminal 200 includes a transmission / reception unit 211, a control unit 212, a display unit 213, a control unit 214, a communication speed acquisition unit 215, and a communication bus 216.

次に、ロボット１００が備える各機能ブロックについて詳細を説明する。送受信部１１１は、無線通信機能を備えており、カメラ１１２によって撮影された画像等を操縦端末２００に送信する。また、送受信部１１１は、操縦端末２００から操縦指示等の信号を受信する。画像バッファ１１４は、カメラ１１２が撮影した複数の画像を蓄積し、ロボット制御部１１５へ送信する。ロボット制御部１１５は、送受信部１１１から信号を受け、カメラ１１２、カメラ駆動部１１３、及びロボット駆動部１１６の制御を行う。またロボット制御部１１５は、画像バッファ１１４に蓄積された画像データを、送受信部１１１を介して操縦端末２００に送信する。カメラ１１２は撮像素子、レンズ等を備えている。撮像素子は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal oxide semiconductor）センサである。カメラ駆動部１１３はロボット制御部１１５の指示によりカメラ１１２を駆動する。ロボット駆動部１１６はロボット１００の移動手段であり、モータ、タイヤ等を備える。ロボット駆動部１１６ロボット制御部１１５の指示を受け、ロボット１００を前後左右に移動させる。以上に説明した各ブロックは通信バス１１７にそれぞれ接続されている。 Next, details of each functional block included in the robot 100 will be described. The transmission / reception unit 111 has a wireless communication function, and transmits an image or the like captured by the camera 112 to the control terminal 200. Further, the transmission / reception unit 111 receives a signal such as a steering instruction from the steering terminal 200. The image buffer 114 accumulates a plurality of images taken by the camera 112 and transmits the plurality of images to the robot control unit 115. The robot control unit 115 receives a signal from the transmission / reception unit 111 and controls the camera 112, the camera driving unit 113, and the robot driving unit 116. The robot control unit 115 transmits the image data stored in the image buffer 114 to the control terminal 200 via the transmission / reception unit 111. The camera 112 includes an image sensor, a lens, and the like. The image sensor is, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor. The camera driving unit 113 drives the camera 112 according to an instruction from the robot control unit 115. The robot driving unit 116 is a moving unit of the robot 100, and includes a motor, a tire, and the like. In response to an instruction from the robot control unit 115, the robot driving unit 116 moves the robot 100 back and forth and left and right. Each block described above is connected to the communication bus 117.

次に操縦端末２００が備える各機能ブロックについて説明する。送受信部２１１は無線通信機能を備え、ロボット１００から送信されてくる画像データ等を受信する。また、ロボット１００に対して動作を指示するための信号等を送信する。制御部２１２は、操縦端末の各操作を制御する。また、制御部２１２は、通信速度取得部２１５の取得した速度データに基づき、送受信部２１１を介してロボット１００に指示を送信する。通信速度取得部２１５は、ロボット１００から操縦端末２００へ送られる情報の通信速度を取得する。表示部２１３及び操縦部２１４については図１を参照しながら既に説明したため、ここでの説明は省略する。以上に説明した各ブロックは通信バス２１６にそれぞれ接続されている。 Next, each functional block included in the control terminal 200 will be described. The transmission / reception unit 211 has a wireless communication function, and receives image data and the like transmitted from the robot 100. Further, a signal or the like for instructing the robot 100 to perform an operation is transmitted. The control unit 212 controls each operation of the control terminal. The control unit 212 transmits an instruction to the robot 100 via the transmission / reception unit 211 based on the speed data acquired by the communication speed acquisition unit 215. The communication speed acquisition unit 215 acquires the communication speed of information sent from the robot 100 to the control terminal 200. Since the display unit 213 and the control unit 214 have already been described with reference to FIG. 1, the description here is omitted. Each block described above is connected to the communication bus 216.

ここで、通信速度取得部２１５が通信速度を取得する方法について一例を挙げて説明する。制御部２１２及びロボット制御部１１５は内部クロックをそれぞれ備えている。そして制御部２１２とロボット制御部１１５は、それぞれの内部クロックについて定期的に同期を取り、制御部２１２とロボット制御部１１５の備える内部クロックの時刻情報がずれないようにしている。 Here, a method in which the communication speed acquisition unit 215 acquires the communication speed will be described using an example. The control unit 212 and the robot control unit 115 each have an internal clock. The control unit 212 and the robot control unit 115 periodically synchronize the respective internal clocks so that the time information of the internal clocks provided in the control unit 212 and the robot control unit 115 does not shift.

通信速度取得部２１５は、制御部２１２から現在時刻である時刻ｔ０を読み出し、ロボット１００に送信する。次に、ロボット１００は受信した時刻ｔ０とロボット制御部１１５の持つ現在時刻である時刻ｔ０´とを併せて操縦端末２００に送信する。操縦端末２００はロボット１００から時刻ｔ０及び時刻ｔ０´を受信する。通信速度取得部２１５は、ロボット１００から時刻ｔ０及び時刻ｔ０´を受信した時刻ｔ１を制御部２１２から読み出す。そして、通信速度取得部２１５は、ロボット１００から受信した時刻ｔ０´と、時刻ｔ０´を受信したｔ１との差分を計算し、信号を受信した時刻ｔ１における通信速度Ｓ（ｔ１）を算出する。このようにして、通信速度取得部２１５は、ロボット１００から操縦端末２００へ送られる情報の通信速度を取得する。 The communication speed acquisition unit 215 reads the time t0, which is the current time, from the control unit 212 and transmits the time t0 to the robot 100. Next, the robot 100 transmits the received time t0 and the time t0 ′, which is the current time of the robot control unit 115, to the control terminal 200 together. The control terminal 200 receives the time t0 and the time t0 ′ from the robot 100. The communication speed acquisition unit 215 reads from the control unit 212 the time t1 at which the time t0 and the time t0 ′ are received from the robot 100. Then, the communication speed acquisition unit 215 calculates the difference between the time t0 ′ received from the robot 100 and t1 when the time t0 ′ is received, and calculates the communication speed S (t1) at the time t1 when the signal is received. In this way, the communication speed acquisition unit 215 acquires the communication speed of the information sent from the robot 100 to the control terminal 200.

次に、遠隔操縦システム１０の操縦モードについて説明する。遠隔操縦システム１０は、通信速度取得部２１５が取得した通信速度に基づき、遠隔操縦モードを次に説明する３つのモードに分ける。 Next, the operation mode of the remote operation system 10 will be described. The remote control system 10 divides the remote control mode into the following three modes based on the communication speed acquired by the communication speed acquisition unit 215.

第１の操縦モードは、通常操縦モードである。通常操縦モードでは、通信速度が所定値よりも速い。そのため、操縦端末２００は、ロボット１００が撮影した画像データを、遅延のない状態、またはほとんど遅延のない状態で受信することができる。ユーザは、ロボット１００から送信される所定のフレームレートの画像を見ながら円滑な遠隔操縦を行うことができる。 The first control mode is a normal control mode. In the normal operation mode, the communication speed is higher than a predetermined value. Therefore, the control terminal 200 can receive the image data captured by the robot 100 in a state where there is no delay or in a state where there is almost no delay. The user can perform smooth remote control while watching the image of the predetermined frame rate transmitted from the robot 100.

第２の操縦モードは、遅延操縦モードである。遅延操縦モードでは、通信速度が所定値を下回る。そのため、操縦端末２００は、通常操縦モードと比べて低いフレームレートの画像データをロボット１００から受信する。 The second maneuvering mode is a delayed maneuvering mode. In the delayed maneuvering mode, the communication speed falls below a predetermined value. Therefore, the control terminal 200 receives image data of a lower frame rate from the robot 100 than in the normal control mode.

第３の操縦モードは、操縦制限モードである。操縦制限モードでは通信速度が遅延操縦モードよりも更に遅い。この場合は安全な遠隔操縦が見込めないため、遠隔操縦システム１０は、遠隔操縦を制限する。 The third operation mode is an operation restriction mode. In the maneuver restriction mode, the communication speed is even slower than in the delay maneuver mode. In this case, since safe remote control cannot be expected, the remote control system 10 restricts remote control.

次に、図３に示すフローチャートを参照しながら遠隔操縦システム１０が行う操縦モードの切り替え処理について説明する。通信速度取得部２１５は、前述したような方法によって、ロボット１００と操縦端末２００との通信速度を取得する（ステップＳ１０）。具体的には、通信速度取得部２１５は、時刻ｔにおける通信速度Ｓ（ｔ）を取得する。 Next, the control mode switching process performed by the remote control system 10 will be described with reference to the flowchart shown in FIG. The communication speed acquisition unit 215 acquires the communication speed between the robot 100 and the control terminal 200 by the method described above (step S10). Specifically, the communication speed acquisition unit 215 acquires the communication speed S (t) at time t.

次に、制御部２１２は、通信速度取得部２１５が取得した通信速度Ｓ（ｔ）が、所定の通信速度を下回っているか否かを判定する。具体的には、制御部２１２は、通信速度Ｓ（ｔ）の値がｘＭｂｐｓ（Megabits per second）以下か否かを判定する（ステップＳ１１）。 Next, the control unit 212 determines whether the communication speed S (t) acquired by the communication speed acquisition unit 215 is lower than a predetermined communication speed. Specifically, the control unit 212 determines whether the value of the communication speed S (t) is equal to or less than xMbps (Megabits per second) (step S11).

制御部２１２は、通信速度Ｓ（ｔ）の値がｘＭｂｐｓ以下ではないとき（ステップＳ１１：Ｎｏ）、通信遅延フラグＤをＤ＝０に設定する（ステップＳ１７）。また、制御部２１２は、遠隔操縦制限モードフラグＬを、Ｌ＝０に設定する（ステップＳ１８）。Ｄ＝０且つＬ＝０の状態は通常操縦モードである。 When the value of the communication speed S (t) is not less than or equal to xMbps (Step S11: No), the control unit 212 sets the communication delay flag D to D = 0 (Step S17). Further, the control unit 212 sets the remote control restriction mode flag L to L = 0 (step S18). The state where D = 0 and L = 0 is the normal driving mode.

制御部２１２は、通信速度Ｓ（ｔ）の値がｘＭｂｐｓ以下のとき（ステップＳ１１：Ｙｅｓ）、続いて通信速度Ｓ（ｔ）の値がｙＭｂｐｓ以下か否かを判定する（ステップＳ１２）。 When the value of the communication speed S (t) is equal to or less than xMbps (step S11: Yes), the control unit 212 subsequently determines whether the value of the communication speed S (t) is equal to or less than yMbps (step S12).

制御部２１２は、通信速度Ｓ（ｔ）の値がｙＭｂｐｓ以下ではないとき（ステップＳ１２：Ｎｏ）、通信遅延フラグＤをＤ＝１に設定する（ステップＳ１５）。また、制御部２１２は、遠隔操縦制限モードフラグＬを、Ｌ＝０に設定する（ステップＳ１６）。Ｄ＝１且つＬ＝０の状態は遅延操縦モードである。 When the value of the communication speed S (t) is not less than or equal to yMbps (Step S12: No), the control unit 212 sets the communication delay flag D to D = 1 (Step S15). Further, the control unit 212 sets the remote control restriction mode flag L to L = 0 (step S16). The state where D = 1 and L = 0 is the delayed steering mode.

制御部２１２は、通信速度Ｓ（ｔ）の値がｙＭｂｐｓ以下のとき（ステップＳ１２：Ｙｅｓ）、通信遅延フラグＤをＤ＝１に設定する（ステップＳ１３）。また、制御部２１２は、遠隔操縦制限モードフラグＬを、Ｌ＝１に設定する（ステップＳ１４）。Ｄ＝１且つＬ＝１の状態は操縦制限モードである。 When the value of the communication speed S (t) is equal to or less than yMbps (Step S12: Yes), the control unit 212 sets the communication delay flag D to D = 1 (Step S13). Further, the control unit 212 sets the remote control restriction mode flag L to L = 1 (step S14). The state where D = 1 and L = 1 is the steering restriction mode.

以上のように、制御部２１２は、通信速度Ｓ（ｔ）の値によりフラグの値を設定し、３つの操縦モードに分けて処理を終了する。 As described above, the control unit 212 sets the value of the flag according to the value of the communication speed S (t), and ends the processing in three control modes.

次に、各操縦モードにおける各部の制御について詳細を説明する。図４Ａ及び図４Ｂは、通信速度Ｓ（ｔ）の値がｘＭｂｐｓよりも大きい通常操縦モードにおけるロボット１００の走行状態を示している。図４Ａはロボットの上部から見た走行状態を表示した上面図であり、図４Ｂは、ロボットの側部から見た走行状態を表示した側面図である。このとき、ロボット１００の進行方向には障害物５０１、障害物５０２、障害物５０３が存在する。ロボット１００は、カメラ１１２によって画像を取得しながら矢印方向へ速度Ｖ（ｔ）で進んでいる。 Next, the control of each unit in each control mode will be described in detail. 4A and 4B show a traveling state of the robot 100 in the normal maneuvering mode in which the value of the communication speed S (t) is larger than xMbps. FIG. 4A is a top view showing the running state as viewed from above the robot, and FIG. 4B is a side view showing the running state as viewed from the side of the robot. At this time, an obstacle 501, an obstacle 502, and an obstacle 503 exist in the traveling direction of the robot 100. The robot 100 is moving at a speed V (t) in the direction of the arrow while acquiring an image with the camera 112.

このとき、ロボット制御部１１５は、ロボット１００の速度Ｖ（ｔ）に基づいて、カメラ１１２の姿勢を決定する。そしてカメラ駆動部１１３は、ロボット制御部１１５からの指示に基づき、カメラ１１２の姿勢を制御する。すなわち、ロボット制御部１１５は、ロボット１００の速度Ｖ（ｔ）に応じて、カメラ１１２の撮影する撮影範囲３００を決定する。 At this time, the robot control unit 115 determines the posture of the camera 112 based on the speed V (t) of the robot 100. Then, the camera driving unit 113 controls the attitude of the camera 112 based on an instruction from the robot control unit 115. That is, the robot control unit 115 determines the photographing range 300 to be photographed by the camera 112 according to the speed V (t) of the robot 100.

尚、速度Ｖ（ｔ）がほぼ一定の場合、ユーザはカメラ１１２の撮影範囲３００を見ながらロボットを円滑に操縦することができる。そのためロボット制御部１１５は、予め設定した速度Ｖ（ｔ）に基づいてカメラ１１２の位置を一定に保てばよい。 When the speed V (t) is substantially constant, the user can smoothly operate the robot while viewing the shooting range 300 of the camera 112. Therefore, the robot control unit 115 only needs to keep the position of the camera 112 constant based on the speed V (t) set in advance.

一方、速度Ｖ（ｔ）が変動し、ユーザが撮影範囲３００を見ながらロボットを円滑に操縦できない場合、ロボット制御部１１５はカメラ１１２の姿勢を変更する。すなわち、速度Ｖ（ｔ）が大きくなるに従い、カメラ１１２の撮影方向をより前方へ変更する。このようにすることで、ロボット１００の進行速度Ｖ（ｔ）が変動しても、ユーザはロボット１００を円滑に操縦することができる。このような場合、ロボット１００は図示しない速度モニタを備える。速度モニタはロボット駆動部１１６が備えるモータやタイヤ等の回転検出を行う。そしてロボット制御部１１５は速度モニタの値を参照してカメラ１１２の姿勢を制御する。 On the other hand, if the speed V (t) fluctuates and the user cannot smoothly operate the robot while looking at the photographing range 300, the robot control unit 115 changes the attitude of the camera 112. That is, as the speed V (t) increases, the shooting direction of the camera 112 is changed to the front. By doing so, even if the traveling speed V (t) of the robot 100 fluctuates, the user can smoothly operate the robot 100. In such a case, the robot 100 includes a speed monitor (not shown). The speed monitor detects rotation of a motor, a tire, and the like provided in the robot driving unit 116. Then, the robot control unit 115 controls the attitude of the camera 112 with reference to the value of the speed monitor.

図４Ｂにおいて矢印と共に示した位置Ｐ（ｔ＝０）、Ｐ（ｔ＝１）、・・・はロボット１００が画像を送信するときのロボット１００の位置である。具体的には、ロボット１００が位置Ｐ（ｔ＝０）において、撮影範囲３００を送信する。 Positions P (t = 0), P (t = 1),... Shown with arrows in FIG. 4B are positions of the robot 100 when the robot 100 transmits an image. Specifically, the robot 100 transmits the photographing range 300 at the position P (t = 0).

図４Ｃは、ロボット１００が位置Ｐ（ｔ＝０）において撮影した画像を表示部２１３に表示した画像３１０を示している。画像３１０にはロボット１００の前方に位置する障害物５０１及び障害物５０２が表示されている。ユーザは表示部２１３に表示された画像３１０を見ながら遠隔操縦を行う。ロボット１００は、位置Ｐ（ｔ＝０）に存在しており、ロボット１００が次の画像を送信するのは位置Ｐ（ｔ＝１）のときである。ユーザは、画像３１０またはその後に表示される画像を見て、ロボットの進行方向を変更する。そしてユーザは適宜画像３１０からフィードバックを得ながら障害物５０１を回避する。 FIG. 4C shows an image 310 in which an image captured by the robot 100 at the position P (t = 0) is displayed on the display unit 213. In the image 310, an obstacle 501 and an obstacle 502 located in front of the robot 100 are displayed. The user performs remote control while watching the image 310 displayed on the display unit 213. The robot 100 exists at the position P (t = 0), and the robot 100 transmits the next image at the position P (t = 1). The user changes the traveling direction of the robot while viewing the image 310 or an image displayed thereafter. Then, the user avoids the obstacle 501 while appropriately obtaining feedback from the image 310.

図５Ａ及び図５Ｂは、通信速度Ｓ（ｔ）の値がｘＭｂｐｓ以下であって、ｙＭｂｐｓよりも大きい遅延操縦モードにおけるロボット１０１の走行状態を示している。図５Ａは、ロボットの上部から見た走行状態を表示した上面図であり、図５Ｂは、ロボットの側部から見た走行状態を表示した側面図である。ロボット１０１の進行方向には障害物５０１、障害物５０２、障害物５０３が存在する。ロボット１０１は、カメラ１１２によって画像を取得しながら速度Ｖ（ｔ）で矢印方向へ進んでいる。 5A and 5B show the traveling state of the robot 101 in the delayed maneuvering mode in which the value of the communication speed S (t) is equal to or less than xMbps and is greater than yMbps. FIG. 5A is a top view showing the running state as viewed from above the robot, and FIG. 5B is a side view showing the running state as viewed from the side of the robot. An obstacle 501, an obstacle 502, and an obstacle 503 exist in the traveling direction of the robot 101. The robot 101 is moving in the direction of the arrow at the speed V (t) while acquiring an image with the camera 112.

遅延操縦モードでは、通常操縦モードと比較して通信速度Ｓ（ｔ）が遅い。そのためロボット１０１が撮影した画像データを全て送信していると、表示部２１３に表示される画像と、実際にロボット１０１が存在する場所にずれが生じる。あるいは、ロボット１０１が所定の画像を送信完了する前に、画像バッファのデータ量が溢れてしまう。このような状態でユーザが障害物５０１を回避する操作を行うと、ロボット１０１の回避動作が間に合わず、ロボット１０１が障害物５０１に接触する危険性が高くなる。 In the delayed maneuvering mode, the communication speed S (t) is lower than in the normal maneuvering mode. Therefore, if all the image data captured by the robot 101 is transmitted, a difference occurs between the image displayed on the display unit 213 and the location where the robot 101 actually exists. Alternatively, the data amount of the image buffer overflows before the robot 101 completes transmitting the predetermined image. If the user performs an operation to avoid the obstacle 501 in such a state, the avoidance operation of the robot 101 cannot be made in time, and the risk of the robot 101 contacting the obstacle 501 increases.

そこで、ロボット制御部１１５は、通信速度Ｓ（ｔ）に応じて画像送信間隔を決定する。つまり、ロボット制御部１１５は画像バッファ１１４に蓄積した画像から操縦端末２００に送信する画像と送信しない画像を選定する。 Therefore, the robot control unit 115 determines an image transmission interval according to the communication speed S (t). That is, the robot control unit 115 selects an image to be transmitted to the control terminal 200 and an image not to be transmitted from the images stored in the image buffer 114.

図５Ｂにおいて矢印と共に示した位置Ｐ（ｔ＝０）、Ｐ（ｔ＝１）、・・・は、図４Ｂに示した通常操縦モードの例と比べ、矢印同士の間隔が広い。言い換えると、表示部２１３に表示される画像のフレームレートが低い。したがって通常操縦モードと比べると、送信画像が表示部２１３に表示されるタイミングは、ロボット１０１の位置に対して遅れることになる。 In the positions P (t = 0), P (t = 1),... Shown with the arrows in FIG. 5B, the interval between the arrows is wider than in the example of the normal steering mode shown in FIG. 4B. In other words, the frame rate of the image displayed on the display unit 213 is low. Therefore, the timing at which the transmission image is displayed on the display unit 213 is delayed with respect to the position of the robot 101 as compared with the normal operation mode.

そこで、ロボット制御部１１５は、通常操縦モードのときよりも前方が撮影できるようにカメラ１１２の撮影方向を変更する。具体的には、図５Ａ、図５Ｂに示すように、ロボット制御部１１５はカメラ１１２の姿勢を撮影範囲３００よりも前方の撮影範囲４００に変更する。 Therefore, the robot control unit 115 changes the shooting direction of the camera 112 so that the front can be shot more than in the normal operation mode. Specifically, as shown in FIGS. 5A and 5B, the robot control unit 115 changes the attitude of the camera 112 to a shooting range 400 ahead of the shooting range 300.

図５Ｃは、ロボット１０１が位置Ｐ（ｔ＝０）において撮影した画像を表示部２１３に表示した画像４１０を示している。画像４１０にはロボット１００の前方に位置する障害物５０１〜障害物５０３が映し出されている。ユーザは、画像４１０またはその後に表示される画像を見て、ロボットの進行方向を変更する。そしてユーザは適宜画像４１０からフィードバックを得ながら障害物５０１を回避する。 FIG. 5C shows an image 410 in which the image captured by the robot 101 at the position P (t = 0) is displayed on the display unit 213. In the image 410, obstacles 501 to 503 located in front of the robot 100 are shown. The user changes the traveling direction of the robot while viewing the image 410 or an image displayed thereafter. Then, the user avoids the obstacle 501 while appropriately obtaining feedback from the image 410.

このように、通信速度が遅い場合に、ロボット制御部１１５は、通信速度の低下に応じてカメラ１１２が撮影する画像の撮影方向を変更する。そうすることにより、ユーザは、通信速度の低下を意識することなく、画像４１０を見て適宜ロボットの進行方向を変更し、障害物５０１を回避することができる。 As described above, when the communication speed is low, the robot control unit 115 changes the shooting direction of the image shot by the camera 112 according to the decrease in the communication speed. By doing so, the user can avoid the obstacle 501 by changing the traveling direction of the robot as appropriate while viewing the image 410 without being conscious of a decrease in the communication speed.

尚、ロボット制御部１１５は、通信速度Ｓ（ｔ）に応じて画像送信間隔を変更することができる。すなわち、通信速度Ｓ（ｔ）が遅くなれば、それに従い画像送信間隔が大きくなるように変更することができる。またその場合、ロボット制御部１１５は、画像送信間隔に応じてカメラ１１２の撮影方向を変更することができる。すなわち、画像送信間隔が大きくなれば、それに従いカメラ１１２の撮影方向がより前方に変更することができる。 Note that the robot control unit 115 can change the image transmission interval according to the communication speed S (t). That is, if the communication speed S (t) decreases, the image transmission interval can be changed so as to increase accordingly. In that case, the robot control unit 115 can change the shooting direction of the camera 112 according to the image transmission interval. In other words, if the image transmission interval increases, the shooting direction of the camera 112 can be changed further forward accordingly.

また、通常操縦モードの場合と同様、ロボット制御部１１５は、速度Ｖ（ｔ）が大きくなるに従い、カメラ１１２の撮影方向をより前方へ変更することができる。 Further, as in the case of the normal maneuvering mode, the robot control unit 115 can change the shooting direction of the camera 112 more forward as the speed V (t) increases.

続いて、通信速度Ｓ（ｔ）の値がｙＭｂｐｓ以下である遠隔操縦制限モードについて説明する。通信速度が遅く、安全な遠隔操縦が見込めない遠隔操縦制限モードにおいて、遠隔操縦システム１０は例えば次のように処理を行う。すなわち、一例としては、制御部２１２は、操縦端末２００の表示部２１３に警告を発する表示を行う。これによりユーザが引き続き遠隔操縦することを中止するように促す。また、別の例としては、制御部２１２は、操縦端末の操縦部２１４に対して操縦ができないようにロックを掛け、ロボット１００の動作を停止させる。このようにすることで、正確な環境情報がフィードバックされていない状態において、ユーザが遠隔操縦を続けるリスクを低減できる。 Subsequently, the remote control restriction mode in which the value of the communication speed S (t) is equal to or less than yMbps will be described. In the remote control restriction mode in which the communication speed is slow and safe remote control cannot be expected, the remote control system 10 performs the following processing, for example. That is, as an example, the control unit 212 performs a display for issuing a warning on the display unit 213 of the control terminal 200. This prompts the user to stop continuing remote control. As another example, the control unit 212 locks the control unit 214 of the control terminal so that the control cannot be performed, and stops the operation of the robot 100. By doing so, it is possible to reduce the risk of the user continuing remote control in a state where accurate environmental information is not fed back.

以上のようなシステムによって、ユーザは円滑な遠隔操縦をすることができる。そして、遠隔操縦システム１０は、遠隔操縦時の操作を煩雑にすることなく障害物接触のリスクを低減することが可能になる。 With the above system, the user can perform smooth remote control. In addition, the remote control system 10 can reduce the risk of obstacle contact without complicating the operation during remote control.

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２は、前述した３つのモードに切り替える場合の処理が異なる例である。これ以外は実施の形態１と同様である。そのため、重複する部分に関しての説明は省略する。 <Embodiment 2>
Next, a second embodiment will be described. The second embodiment is an example in which processing for switching to the above-described three modes is different. The rest is the same as the first embodiment. Therefore, description of the overlapping part will be omitted.

図６は、実施の形態２に係る遠隔操縦システムのフローチャートである。まず、通信速度取得部２１５は、実施の形態１と同様に、通信速度を取得する（ステップＳ１０）。次に、制御部２１２は、通信速度Ｓ（ｔ）の値を読み取る。そして、制御部２１２は、通信速度Ｓ（ｔ）の値が設定された範囲のうちのどの範囲に属すかを判定する（ステップＳ４１）。 FIG. 6 is a flowchart of the remote control system according to the second embodiment. First, the communication speed acquisition unit 215 acquires a communication speed as in the first embodiment (step S10). Next, the control unit 212 reads the value of the communication speed S (t). Then, the control unit 212 determines which of the set ranges the value of the communication speed S (t) belongs to (step S41).

制御部２１２は、通信速度Ｓ（ｔ）の値がｘＭｂｐｓよりも大きい場合（ステップＳ４１：ｘＭｂｐｓ＜Ｓ（ｔ））、通常操縦モードを設定する（ステップＳ４４）。また制御部２１２は、通信速度Ｓ（ｔ）の値がｙＭｂｐｓ以上であって、かつ、ｘＭｂｐｓより小さい場合（ステップＳ４１：ｙＭｂｐｓ＜Ｓ（ｔ）≦ｘＭｂｐｓ）、遅延操縦モードを設定する（ステップＳ４２）。さらに、制御部２１２は、通信速度Ｓ（ｔ）の値がｙＭｂｐｓ以下の場合（ステップＳ４１：Ｓ（ｔ）≦ｙＭｂｐｓ）、操縦制限モードを設定する（ステップＳ４３）。 When the value of the communication speed S (t) is higher than xMbps (step S41: xMbps <S (t)), the control unit 212 sets the normal operation mode (step S44). When the value of the communication speed S (t) is equal to or higher than yMbps and smaller than xMbps (step S41: yMbps <S (t) ≦ xMbps), the control unit 212 sets the delay maneuvering mode (step S42). ). Further, when the value of the communication speed S (t) is equal to or less than yMbps (step S41: S (t) ≦ yMbps), the control unit 212 sets the steering restriction mode (step S43).

以上のように、制御部２１２は、通信速度Ｓ（ｔ）の値により操縦モードを３つに分けて処理を終了する。 As described above, the control unit 212 divides the operation modes into three according to the value of the communication speed S (t) and ends the processing.

その他、遠隔操縦システムの各機能の制御等については実施の形態１と同様であるため、ここでは説明を省略する。 In addition, since the control of each function of the remote control system is the same as that of the first embodiment, the description is omitted here.

以上のようなシステムによって、ユーザは円滑な遠隔操縦をすることができる。そして、遠隔操縦システムは、遠隔操縦時の操作を煩雑にすることなく障害物接触のリスクを低減することが可能になる。 With the above system, the user can perform smooth remote control. Then, the remote control system can reduce the risk of contact with an obstacle without complicating the operation at the time of remote control.

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３は、実施の形態１の構成に加えて、自律モードを備える。自律モードは、ユーザによる遠隔操縦を必要とせず、ロボット１００が自らの判断により目的の場所へ移動する動作モードである。この場合、ロボット制御部１１５は、障害物を検知して回避する動作を行うための制御部を備える。そして操縦端末２００の制御部２１２は、自律モードまたは遠隔操縦モードへ切り替える機能を備える。自律モードと遠隔操縦モードとの切り替えは、ユーザからのリクエストにより行われる。しかし、後述するように、安全性が担保されていない通信環境下においては、制御部２１２は適宜遠隔操縦モードへの切り替えを制限する。 <Embodiment 3>
Next, a third embodiment will be described. The third embodiment has an autonomous mode in addition to the configuration of the first embodiment. The autonomous mode is an operation mode in which the robot 100 moves to a target location by its own judgment without requiring remote control by the user. In this case, the robot control unit 115 includes a control unit for performing an operation of detecting and avoiding an obstacle. The control unit 212 of the control terminal 200 has a function of switching to the autonomous mode or the remote control mode. Switching between the autonomous mode and the remote control mode is performed by a request from the user. However, as described later, in a communication environment where security is not ensured, the control unit 212 appropriately limits switching to the remote control mode.

図７は、実施の形態３に係る遠隔操縦システムのフローチャートである。まず、制御部２１２は、遠隔操縦モード中か否かを判定する（ステップＳ２０）。制御部２１２は、遠隔操縦モード中であると判定した場合（ステップＳ２０：Ｙｅｓ）、遠隔操縦モード終了要求の有無を確認する（ステップＳ２１）。遠隔操縦モード終了要求がある場合（ステップＳ２１：Ｙｅｓ）、制御部２１２は、遠隔操縦モードを終了させる（ステップＳ３０）。そして、制御部２１２は、遠隔操縦システムを自律移動モードに切り替える。 FIG. 7 is a flowchart of the remote control system according to the third embodiment. First, the control unit 212 determines whether or not the vehicle is in the remote control mode (step S20). When it is determined that the remote control mode is in the remote control mode (step S20: Yes), the control unit 212 checks whether there is a remote control mode end request (step S21). If there is a remote control mode end request (step S21: Yes), the control unit 212 ends the remote control mode (step S30). Then, the control unit 212 switches the remote control system to the autonomous movement mode.

制御部２１２が遠隔操縦モード中と判定した場合（ステップＳ２０：Ｙｅｓ）であって、遠隔操縦モード終了要求がない場合（ステップＳ２１：Ｎｏ）、制御部２１２は、通信遅延フラグがＤ＝０か否かを判定する（ステップＳ２２）。そして、通信遅延フラグがＤ＝０ではない場合（ステップＳ２２：Ｎｏ）、すなわち、通信遅延フラグがＤ＝１である場合、制御部２１２は、さらに遠隔操縦制限モードフラグがＬ＝０か否かを判定する（ステップＳ２３）。制御部２１２が遠隔操縦制限モードフラグをＬ＝０でないと判定した場合（ステップＳ２３：Ｎｏ）、制御部２１２は、遠隔操縦モードを終了させる（ステップＳ３０）。一方、制御部２１２が遠隔操縦制限モードフラグをＬ＝０と判定した場合（ステップＳ２３：Ｙｅｓ）、制御部２１２は、遠隔操縦システムを、遅延操縦モードに変更する（ステップＳ２９）。 If the control unit 212 determines that the remote control mode is being performed (step S20: Yes) and there is no remote control mode end request (step S21: No), the control unit 212 determines whether the communication delay flag is D = 0. It is determined whether or not it is (step S22). When the communication delay flag is not D = 0 (Step S22: No), that is, when the communication delay flag is D = 1, the control unit 212 further determines whether the remote control restriction mode flag is L = 0. Is determined (step S23). When the control unit 212 determines that the remote control restriction mode flag is not L = 0 (step S23: No), the control unit 212 ends the remote control mode (step S30). On the other hand, when the control section 212 determines that the remote control restriction mode flag is L = 0 (step S23: Yes), the control section 212 changes the remote control system to the delayed control mode (step S29).

ステップＳ２２において、通信遅延フラグがＤ＝０の場合（ステップＳ２２：Ｙｅｓ）、通信遅延が発生していない状態であるため、制御部２１２は、遠隔操縦システムを、通常操縦モードに切り替える（ステップＳ２８）。 In step S22, if the communication delay flag is D = 0 (step S22: Yes), the control unit 212 switches the remote control system to the normal control mode because no communication delay has occurred (step S28). ).

ステップＳ２０に戻る。ステップＳ２０において、制御部２１２が遠隔操縦モード中ではないと判定した場合（ステップＳ２０：Ｎｏ）、制御部２１２は、遠隔操縦制限モードフラグがＬ＝０か否かを判定する（ステップＳ２４）。制御部２１２が遠隔操縦制限モードフラグをＬ＝０でないと判定した場合（ステップＳ２４：Ｎｏ）、制御部２１２は遠隔操縦システムを自律移動モードに設定する（ステップＳ２７）。また、制御部２１２が遠隔操縦制限モードフラグをＬ＝０と判定した場合（ステップＳ２４：Ｙｅｓ）、制御部２１２は、遠隔操縦モード切り替え要求の有無を確認する（ステップＳ２５）。このときは、遠隔操縦に設定を変更することは可能である。遠隔操縦モード切り替え要求がない場合（ステップＳ２５：Ｎｏ）、制御部２１２は、ロボット１００の操縦モードを、自律移動モードに設定する（ステップＳ２７）。一方、遠隔操縦モード切り替え要求がある場合（ステップＳ２５：Ｙｅｓ）、制御部２１２は、遠隔操縦システムを遠隔操縦モードに設定する（ステップＳ２６）。 It returns to step S20. If the control unit 212 determines that the remote control mode is not in the remote control mode in step S20 (step S20: No), the control unit 212 determines whether the remote control restriction mode flag is L = 0 (step S24). When the control unit 212 determines that the remote control restriction mode flag is not L = 0 (step S24: No), the control unit 212 sets the remote control system to the autonomous movement mode (step S27). When the control unit 212 determines that the remote control mode flag is L = 0 (step S24: Yes), the control unit 212 checks whether there is a remote control mode switching request (step S25). At this time, it is possible to change the setting to remote control. When there is no remote control mode switching request (step S25: No), the control unit 212 sets the control mode of the robot 100 to the autonomous movement mode (step S27). On the other hand, when there is a remote control mode switching request (step S25: Yes), the control unit 212 sets the remote control system to the remote control mode (step S26).

ステップＳ２６において、制御部２１２が遠隔操縦システムを遠隔操縦モードに設定した後、制御部２１２は、通信遅延フラグがＤ＝０か否かを判定する（ステップＳ２２）。ステップＳ２２以降の説明は既に行ったため、ここでは省略する。 After the control unit 212 sets the remote control system to the remote control mode in step S26, the control unit 212 determines whether the communication delay flag is D = 0 (step S22). Since the description of step S22 and subsequent steps has already been made, the description is omitted here.

以上のように、遠隔操縦システムは、自律移動モードから遠隔操縦モードに切り替える際に、通信速度に基づいて各操縦モードを設定する。また、通信速度が所定の値よりも小さい場合は、安全な遠隔操縦ができないため、自律移動モードを変更しない。 As described above, when switching from the autonomous movement mode to the remote control mode, the remote control system sets each control mode based on the communication speed. If the communication speed is lower than a predetermined value, safe remote control cannot be performed, so that the autonomous movement mode is not changed.

これにより、ロボット遠隔操縦時に操作が煩雑になることなく障害物接触のリスクを低減することが可能になる。 This makes it possible to reduce the risk of contact with an obstacle without complicated operation during remote operation of the robot.

＜実施の形態４＞
実施の形態４では、通信遅延がある状態でロボットを旋回させる場合の処理について説明する。この場合、ユーザがカメラ１１２の撮影範囲においてロボット１００を旋回させるのであれば、ユーザはロボットを円滑に操縦できる。しかし、カメラ１１２の撮影範囲を超えて大きく旋回する場合、ユーザは足元周辺の情報を確認できない。そのため、ロボットが障害物に接触するリスクを回避できない。そこで、このようなリスクを低減するための処理について説明する。 <Embodiment 4>
In the fourth embodiment, a description will be given of a process performed when the robot is turned in a state where there is a communication delay. In this case, if the user turns the robot 100 within the shooting range of the camera 112, the user can smoothly operate the robot. However, when the user makes a large turn beyond the shooting range of the camera 112, the user cannot confirm information around the feet. Therefore, the risk that the robot contacts an obstacle cannot be avoided. Therefore, processing for reducing such a risk will be described.

図８は、実施の形態４に係る遠隔操縦システムのフローチャートである。遠隔操縦システムの機能ブロックは図２において説明した内容と同様である。まず、制御部２１２は、通信遅延フラグがＤ＝１か否かを判定する（ステップＳ５０）。通信遅延フラグがＤ＝１でない場合（ステップＳ５０：Ｎｏ）、遠隔操縦システム１０は通常操縦モードであるため、処理を終了する。一方、通信遅延フラグがＤ＝１の場合（ステップＳ５０：Ｙｅｓ）、制御部２１２は旋回指示の有無を確認する（ステップＳ５１）。そして、操縦端末２００より旋回指示がないと判定した場合（ステップＳ５１：Ｎｏ）、制御部２１２は処理を終了する。そして、旋回指示があると判定した場合（ステップＳ５１：Ｙｅｓ）、制御部２１２は旋回モードに移行する（ステップＳ５２）。次に、制御部２１２は指示された旋回角度が所定値以上か否かを判定する（ステップＳ５３）。指示された旋回角度が所定値以上ではない場合（ステップＳ５３：Ｎｏ）、ユーザは表示部２１３に表示される画像を見て障害物を回避できる。そのためカメラの撮影方向を変更して足元の確認をする必要はない。そのため、制御部２１２は処理を終了する。一方、旋回角度が所定値以上と判定した場合（ステップＳ５３：Ｙｅｓ）、ロボット１００は表示部２１３に表示される範囲を超えて旋回する。そのため、ユーザは画像を見て障害物を回避できない。そこで制御部２１２は、ロボット１００に対して足元確認を行う指示を送信する（ステップＳ５４）。すなわち、ここでロボット１００は、カメラ１１２の撮影範囲を変更し、足元の状況が確認できる状態にする。ユーザは、ロボット１００の足元の状況が確認できる状態のまま、表示部２１３を見ながら旋回操縦を行う。そして、旋回動作が完了した後、制御部２１２は再び遠隔操縦システム１０を遅延操縦モードに設定する（ステップＳ５５）。そして、ロボット１００は再び前進を開始する。ロボット１００が前進を開始すると、ロボット１００は速度に応じてカメラ１１２の姿勢を変更する。 FIG. 8 is a flowchart of the remote control system according to the fourth embodiment. The functional blocks of the remote control system are the same as those described in FIG. First, the control unit 212 determines whether the communication delay flag is D = 1 (step S50). If the communication delay flag is not D = 1 (step S50: No), the remote control system 10 is in the normal control mode, and thus the process ends. On the other hand, when the communication delay flag is D = 1 (step S50: Yes), the control unit 212 checks whether or not there is a turning instruction (step S51). Then, when it is determined that there is no turning instruction from the control terminal 200 (step S51: No), the control unit 212 ends the processing. When it is determined that there is a turning instruction (Step S51: Yes), the control unit 212 shifts to the turning mode (Step S52). Next, the control unit 212 determines whether the instructed turning angle is equal to or larger than a predetermined value (step S53). When the instructed turning angle is not equal to or larger than the predetermined value (step S53: No), the user can avoid the obstacle by viewing the image displayed on the display unit 213. Therefore, there is no need to change the shooting direction of the camera and check the foot. Therefore, the control unit 212 ends the processing. On the other hand, when it is determined that the turning angle is equal to or larger than the predetermined value (Step S53: Yes), the robot 100 turns beyond the range displayed on the display unit 213. Therefore, the user cannot see the image and avoid the obstacle. Then, the control unit 212 transmits an instruction to confirm the step to the robot 100 (step S54). That is, the robot 100 changes the shooting range of the camera 112 so that the state of the foot can be checked. The user performs the turning operation while looking at the display unit 213 while the state of the feet of the robot 100 can be checked. After the turning operation is completed, the control unit 212 sets the remote control system 10 to the delayed control mode again (step S55). Then, the robot 100 starts moving forward again. When the robot 100 starts moving forward, the robot 100 changes the posture of the camera 112 according to the speed.

次に、図９Ａ〜図９Ｃを参照しながら、実施の形態４に係るロボット１００の動作を具体的に説明する。図９Ａ〜図９Ｃは、移動しているロボット１００を上部から見た上面図である。図９Ａは、遅延操縦モードにおいてロボット１００が角度Ｄ１の旋回をする場合の図である。ロボット１００が角度Ｄ１で旋回した場合、ロボット１００は進路６００を進む。このとき、進路６００上には障害物６１０が存在している。ロボット１００が進路６００を進むと、障害物６１０に接触することになる。このときロボット１００は進路６００上を移動しながら、範囲４００ａ、範囲４００ｂ、範囲４００ｃを撮影する。範囲４００ａ〜範囲４００ｃには障害物６１０が含まれる。したがって、ユーザは表示部２１３を見ながらロボットが障害物６１０に接触することを回避するように操縦を行うことができる。 Next, the operation of the robot 100 according to the fourth embodiment will be specifically described with reference to FIGS. 9A to 9C. 9A to 9C are top views of the moving robot 100 as viewed from above. FIG. 9A is a diagram when the robot 100 turns at the angle D1 in the delayed maneuvering mode. When the robot 100 turns at the angle D <b> 1, the robot 100 travels along the course 600. At this time, an obstacle 610 exists on the course 600. As the robot 100 proceeds along the course 600, the robot 100 comes into contact with the obstacle 610. At this time, the robot 100 photographs the range 400a, the range 400b, and the range 400c while moving on the course 600. An obstacle 610 is included in the range 400a to the range 400c. Therefore, the user can control the robot so as to avoid contact with the obstacle 610 while watching the display unit 213.

図９Ｂは、遅延操縦モードにおいてロボット１００が角度Ｄ２の旋回をする場合の図である。ロボット１００が角度Ｄ２で旋回した場合、ロボット１００は進路７００を進む。このとき、進路７００上には障害物７１０が存在している。ロボット１００が進路７００を進むと、障害物７１０に接触することになる。このときロボット１００は進路７００上を移動しながら、範囲４００ｄ、範囲４００ｅ、範囲４００ｆを撮影することになる。このとき、範囲４００ｄ〜範囲４００ｆには障害物７１０が含まれない。したがって、ユーザはロボットが障害物７１０に接触することを回避できない。そこでロボット１００は、図８に示したフローチャートに従って、カメラ１１２がロボット１００の足元を確認するためにカメラ１１２の撮影範囲を変更する。 FIG. 9B is a diagram illustrating a case where the robot 100 turns at the angle D2 in the delayed maneuvering mode. When the robot 100 turns at the angle D <b> 2, the robot 100 proceeds on a path 700. At this time, an obstacle 710 exists on the route 700. As the robot 100 proceeds along the path 700, the robot 100 comes into contact with the obstacle 710. At this time, the robot 100 captures the range 400d, the range 400e, and the range 400f while moving on the course 700. At this time, the obstacle 710 is not included in the range 400d to the range 400f. Therefore, the user cannot prevent the robot from touching the obstacle 710. Therefore, the robot 100 changes the shooting range of the camera 112 in accordance with the flowchart shown in FIG.

図９Ｃは、ロボット１００がカメラ１１２の撮影範囲を変更して角度Ｄ２の旋回をする場合の図である。ロボット１００は進路７００上を移動しながら、範囲３００ａ、範囲３００ｂ、範囲３００ｃを撮影することになる。このとき、範囲３００ａ〜範囲３００ｃには障害物７１０が含まる。したがって、ユーザはロボットが障害物７１０に接触することを回避できない。そこでロボット１００は、カメラ１１２がロボット１００の足元を撮影するようにカメラ１１２の姿勢を変更する。したがって、ユーザは表示部２１３を見ながらロボットが障害物７１０に接触することを回避するように操縦を行うことができる。ロボット１００が足元を確認しながら旋回を行った後、ロボット１００は再び前進を開始する。このときロボット１００はカメラ１１２の撮影範囲を変更し、遅延操縦モードを継続する。 FIG. 9C is a diagram illustrating a case where the robot 100 changes the shooting range of the camera 112 and turns at the angle D2. The robot 100 captures the range 300a, the range 300b, and the range 300c while moving on the course 700. At this time, the obstacle 710 is included in the range 300a to the range 300c. Therefore, the user cannot prevent the robot from touching the obstacle 710. Therefore, the robot 100 changes the posture of the camera 112 so that the camera 112 photographs the feet of the robot 100. Therefore, the user can control the robot so as to avoid contact with the obstacle 710 while watching the display unit 213. After the robot 100 turns while checking the feet, the robot 100 starts moving forward again. At this time, the robot 100 changes the shooting range of the camera 112 and continues the delayed maneuvering mode.

尚、旋回角度が所定値以上であると判定した場合には、ロボット１００は一旦移動を中止し、旋回動作のみを行った後に、再び前進を始めることもできる。 When it is determined that the turning angle is equal to or larger than the predetermined value, the robot 100 may temporarily stop moving, perform only the turning operation, and then start moving forward again.

このように、遠隔操縦システムは、旋回時には一度足元を確認し、安全が確認できた状態で、前進を許可する。 In this way, the remote control system confirms the step once during turning, and permits the vehicle to move forward in a state where the safety is confirmed.

以上のように、遅延操縦モードにおいて旋回動作をする場合、遠隔操縦システムは障害物接触のリスクを低減させる。 As described above, when turning in the delayed maneuvering mode, the remote maneuvering system reduces the risk of obstacle contact.

なお、本発明は上記実施の形態に限られたものではなく、ここで説明した内容に加えて、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、制御部２１２の処理と、ロボット制御部１１５の処理は、どちらか一方が行うとは限らず、一方の処理を、他方が請け負うこともあるし、双方が行うこともある。 The present invention is not limited to the above-described embodiment, and can be appropriately modified in addition to the contents described here without departing from the gist of the present invention. For example, one of the processing of the control unit 212 and the processing of the robot control unit 115 is not always performed, and one processing may be undertaken by the other, or both may be performed.

１０、２０、３０、４０遠隔操縦システム
１００、１０１ロボット
１１１、２１１送受信部
１１２カメラ
１１３カメラ駆動部
１１４画像バッファ
１１５ロボット制御部
１１６ロボット駆動部
２００操縦端末
２１２制御部
２１３表示部
２１４操縦部
２１５通信速度取得部 10, 20, 30, 40 Remote control system 100, 101 Robot 111, 211 Transmission / reception unit 112 Camera 113 Camera drive unit 114 Image buffer 115 Robot control unit 116 Robot drive unit 200 Control terminal 212 Control unit 213 Display unit 214 Control unit 215 Communication Speed acquisition unit

Claims

A mobile body remote control system comprising: a mobile body, and a control device provided separately from the mobile body that remotely controls the mobile body,
The moving object is
A camera for acquiring an image in the traveling direction of the moving body,
A camera driving unit that changes the attitude of the camera,
A first transmitting and receiving unit that transmits and receives information to and from the control device;
Has,
The control device includes:
A second transmitting and receiving unit that transmits and receives information to and from the mobile object;
A display unit that displays image data received from the moving object,
A control unit for controlling the moving body,
A communication speed obtaining unit that obtains a communication speed of information sent from the moving object to the control device;
Has,
If the communication speed is lower than a predetermined value, change the shooting direction of the camera so that the image data obtained by the camera is in front of the traveling direction of the moving object,
Mobile remote control system.