JP2017107374A - 遠隔操縦システム及び装置 - Google Patents

Abstract

【課題】その場旋回をするような移動体の遠隔操縦において、映像遅れがあっても操縦者が運転し易い映像を提供すること。【解決手段】隔操縦におけるリアルタイムの操作用映像表示に際して、次の特徴を有する。要するに、操縦用の映像に、筐体を含む周辺を上部から見た映像（上部視映像）を合わせて表示し、その上部から見た映像を、操縦者の操作コマンドと、遅延時間を演算して方向推定を行い、推定した方向にあわせて回転表示をする。【選択図】図１

Description

本発明は、遠隔操縦システム及び装置に関し、特に、操縦者が運転し易い映像を提供するための技術に関する。

走行体等の遠隔操縦においては、走行体等に備えるカメラ等で取得された現場映像を見ながら操縦する。したがって、データ転送等にともなう現場映像の遅れは、操作遅れ等の誤操作の要因となり得る。

映像遅れという課題を解決しようとする技術としては、例えば、データ転送の遅延時間を把握し、その遅延時間から推定される実際の走行体の位置を、操縦用映像に重ね合わせることにより、遠隔操縦を容易にする技術が考えられ既に知られている。たとえば、特許文献１には、実時刻における移動体の推定位置と、予測走行経路とを、操縦側で見る映像に重ねて表示する遠隔操縦システムが開示されている。

しかし、今までの予測映像表示では、その場での旋回動作が可能な移動体の場合、旋回速度に対して映像遅れが大きいと、推定する筐体の位置が、映像視野の外となり遠隔操縦が難しくなってしまうという問題があった。

本発明は、その場旋回をするような移動体の遠隔操縦において、映像遅れがあっても操縦者が運転し易い映像を提供することを目的とする。

上記目的を達成する本発明の一態様は、移動体と遠隔操縦装置とを含む遠隔操縦システムであって、前記移動体は、前記移動体の周囲を撮像する撮像手段と、前記撮像手段が撮像した映像に基づいて前記移動体を上方から見下ろした映像である上部視映像を生成する移動体制御部と、を備え、前記遠隔操縦装置は、ネットワークを介して前記上部視映像を受信する映像受信手段と、ネットワークを介して前記移動体の移動状態に関する情報を受信する移動体情報受信手段と、前記移動体情報受信手段が受信した情報に基づいて前記映像受信手段が受信する前記上部視映像の遅れを推定する遅延時間推定手段と、前記遅延時間推定手段が推定した前記上部視映像の遅れ、及び、前記移動体を操縦するための操作入力に基づいて前記移動体の実時刻における位置を推定する移動体位置推定手段と、前記移動体位置推定手段が推定した前記移動体の実時刻における位置、及び、前記映像受信手段が受信した前記上部視映像に基づいて、操縦用映像を生成する操縦用映像生成手段と、前記操縦用映像生成手段が生成した前記操縦用映像を表示する表示部と、を備えることを特徴とする。

本発明によれば、その場旋回をするような移動体の遠隔操縦において、映像遅れがあっても操縦者が運転し易い映像を提供することが可能となる。

本発明による実施形態のシステム構成を示す図である。 上記実施形態のハードウェア構成例を示す図である。 上記実施形態により解決される課題について説明するための図（その１）である。 上記実施形態により解決される課題について説明するための図（その２）である。 上記実施形態により解決される課題について説明するための図（その３）である。 図１の移動体１００の機能構成を示すブロック図である。 上記実施形態における「上部視映像」を説明するための図（その１）である。 上記実施形態における「上部視映像」を説明するための図（その２）である。 図１の遠隔操縦装置２００の機能構成を示すブロック図である。 図９の映像受信部２０７が受信する上部視映像の一例を示す図である。 図９の操縦用映像生成手段２１２が生成する上部視映像の一例を示す図である。 図９の映像受信部２０７が受信する上部視映像の一例を示す図である。 図９の操縦用映像生成手段２１２が生成する上部視映像の一例を示す図である。

＜全体構成＞
図１に本実施形態に係る遠隔操縦システム１のネットワーク構成を示す。
図１の遠隔操縦システム１において、移動体１００はネットワークを介して遠隔操縦装置２００と接続している。移動体１００は操縦側から遠隔地に配置される。遠隔操縦装置２００は、操作部２０３を備える。操作部２０３は、リモートコントローラであり、これを介して入力された前進／後退／旋回の操作に応じて、インターネットなどのネットワークを介して、操作コマンドが移動体１００に送信される。

移動体１００は、インターネットなどのネットワークを介して受信した操作コマンドに応じて、走行制御される。移動体１００は、撮像手段１０１と移動体本体１０２を備えてなる。遠隔操縦装置２００は、操作制御部２０１と表示部２０２と操作部２０３とを備えてなる。表示部２０２と操作部２０３は、本遠隔操縦システムのマン・マシン・インターフェイスである。

図２に本実施形態のハードウェア構成例を示す。図２の左に示すものが、移動体１００の一実施例である。同様に、図中の「インターネット」はネットワークの一実施例である。また、図２の右に示すものは、遠隔操縦装置２００の一実施例である。

図２に示す移動体１００の実施例は２輪を備え、２輪が独立に回転できる構成となっており、前進、後退、および、その場での旋回が可能な構成となっている。また、移動体１００にはカメラ等の撮像手段１０１を備え、現場の映像を、インターネットを介して、操縦側に送信する。

図２に示す遠隔操縦装置２００の実施例は、インターネットを介して映像を受信し、操縦用映像を生成して、ＬＣＤ部へ表示する。ＬＣＤ部は図１の表示部２０２の一実施例である。操作者は、ＬＣＤの操縦用映像を見ながら、操作部２０３の一実施例に係るコントローラを用いて、遠隔地に配置される移動体１００を操縦する。

なお、図２では、インターネットを介する構成として説明するが、イーサネット（登録商標）等の環境であっても良い。

図１及び図２に示した遠隔操縦装置２００の操作制御部２０１は、ネットワークにおけるデータ転送遅延を加味して、データ転送の遅延時間を把握し、その遅延時間から推定される実際の走行体１００の位置を、操縦用映像に重ね合わせる機能を備えている。図３に、図１の表示部２０２や図２のＬＣＤ部に表示される映像の一例を示し、この機能の概略を説明する。

図３において、矩形の点線内が、移動体１００側から送られる加工していない映像範囲である。そして、Ａは加工無し映像での移動体１００の位置を表す。なお、図３においては、Ａの一部が操縦用映像に映っている。そして、Ａ′は直進の場合の実時刻での移動体の推定位置の表示である。

＜移動体＞
ところが、図２で例示したような移動体１００は、「その場旋回」（図４参照）可能であることが特徴の一つである。このような「その場旋回」をする移動体においては、図５に示すように、推定位置Ａ′を表示しても、操縦用映像範囲から見切れてしまうため、操縦し易さの向上とならないことが問題である。以下の開示では、この図３や図５に示した操縦用映像の課題を解決する構成が示される。

図６に、移動体１００の機能構成を示す。図６に示すように、移動体本体１０２は、移動体制御用コンピュータ１０３や、駆動・ＩＯ制御部１０４を有する。移動体制御用コンピュータ１０３は、遠隔操縦装置２００からの操作コマンドを用いて、移動速度を決定し駆動・ＩＯ制御部１０４に要求する。

また、超音波センサ１０７によって移動体１００周辺の障害物情報をセンシングし、操作コマンドを受信しても、障害物回避が優先制御される。この処理は移動体制御用コンピュータ１０３が保有するＣＰＵによってソフトウェア処理で実行される。

移動体制御用コンピュータ１０３と駆動・ＩＯ制御部１０４は接続され、駆動・ＩＯ制御部１０４は、移動体制御用コンピュータ１０３からの速度情報を受けて複数のモータ１０９を制御する。また、実際に動作した値は複数のエンコーダ１１０より検知され、移動体制御用コンピュータ１０３側にフィードバックする。

また、駆動・ＩＯ制御部１０４は、複数の超音波センサ１０７とジャイロセンサ等のモーションセンサ１０８と接続されていて、超音波センサ１０７には周辺情報のセンシング要求、ジャイロセンサにはＡＧＶの位置情報要求を行ない、その結果を移動体制御用コンピュータ１０３側にフィードバックされる。

エンコーダ１１０やモーションセンサ１０８から得られる実際の走行情報は、無線インターフェイス１０６を介して、ネットワーク経由で遠隔操縦装置２００側に転送される。

障害物の接近に対しては、超音波センサ１０７及び／又は測距手段１０５（例えば、laser range finder、レーザー照準機など）からの周辺情報のセンシング情報を一定間隔で要求し把握している。そのため、移動体制御用コンピュータ１０３は、駆動・ＩＯ制御部１０４に直接減速指示や停止指示を行い、障害物衝突回避を行なう。

駆動・ＩＯ制御部１０４にもＣＰＵがあり、移動体制御用コンピュータ１０３側の処理と独立して制御するため、移動体制御用コンピュータ１０３側の処理にＣＰＵ処理が専有されてモータ制御が待たされるということはない。
バッテリ１１１は各モジュールを動作させるために電気を供給する。

撮像手段１０１は、移動体制御用コンピュータ１０３に接続されていて、リアルタイムに移動体１００周辺の映像を取得する。本実施形態において、撮像手段１０１は、移動体１００全周囲の前後左右の映像を撮影し、移動体制御用コンピュータ１０３は撮影画像に適切なエンコード等を行ったうえで、無線インターフェイス１０６を介して遠隔操作側へ転送する。

ここで撮像手段１０１が撮影する映像について説明する。今、例えば、図７のように、４つの直方体が配置される場所の中心付近に移動体１００がある場合を考える。このようなケースにおいて、移動体１００の上方から移動体１００を含む周囲を見下ろした映像（以下、「上部視映像」と呼ぶ）は図８に示したもののようになる。

本実施形態は、図８に示したような上部視映像（見下ろし映像）を、遠隔操縦装置２００側の、表示部２０２で操作者が目視できることが、特徴の少なくとも一つである。上部視映像を得る好適な方法の一つとしては、移動体１００の上方に、撮像手段１０１として広い視野のカメラを下方に向けて設置するという方法がある。これは例えば、図２の実施例に示したようなもので実現可能である。広い視野のカメラとしてより好ましくは、移動体１００の全周、３６０度を撮像するカメラがよい。

また別の好適な方法としては、複数台のカメラを全周囲の視野が確保されるように移動体１００の外装部等に配置し、投影変換（透視変換）等を用いて、座標変換により上部から見た映像（上部視映像）を生成するという方法がある。この場合、投影変換、座標変換、上部視映像の生成といったプロセスは、移動体制御用コンピュータ１０３が実行することで実現する。これらプロセスの実行専用の画像処理用ハードウェアチップを備えることで実施してもよい。

上部視映像は、図６の無線インターフェイス１０６を介して、インターネット等のネットワーク経由で、遠隔操縦装置２００側に転送される。
他方で、移動体１００は撮像手段１０１で撮像した映像を単に遠隔操縦装置２００に転送し、遠隔操縦装置２００側で上述の上部視映像を生成してもよい。

＜遠隔操縦装置＞
図９に、遠隔操縦装置２００（操縦側システム）の構成図を示す。図９に示すように、遠隔操縦装置２００には操作部２０３を備え、操作部２０３により本装置に入力された前進／後退／旋回の操作に応じて、インターネットを介して、操作コマンドが送信される。

操作コマンドは、より詳細には、操作部２０３から操作部インターフェイス２０６に入力された所定の信号を、操縦コマンド生成部２０５に入力し、操縦コマンド生成部２０５がこの信号に応じて生成するものである。

また、操作情報は遅延時間推定手段２１０に送られ、操作時刻と、移動体からの操作反応時刻との差により、遠隔通信の遅延時間が推定される。さらに、移動体位置推定手段２１１にて、推定された遅延時間と、操作部２０３にて入力された操作に応じて、遅延期間の位置変化量を推定する。

移動体１００からの映像は、ネットワーク及びネットワークインターフェイス２０４を介して、受信される。映像受信部２０７には、映像加工用途のバッファリング手段である映像バッファ２０８を備える。この映像バッファ２０８は、１フレーム分以上を有していて、操作用映像の加工が可能となっている。

＜操縦用映像＞
操縦用映像生成手段２１２は、移動体位置推定手段２１１で推定された遅延期間の位置変化量に応じて、操縦用映像を加工する。例えば、遅延時間推定手段２１０により推定された遅延時間が０．５０秒であり、遅延期間中に入力された操作が連続左旋回３０度／秒であった場合（操作の入力は、操作部インターフェイス２０６から移動体位置推定手段２１１に入力される）、遅延期間中の積算移動量は「左旋回１５度」となる。この積算移動量の推定は、移動体位置推定手段２１１が実行する。

このとき、ネットワークを介して映像受信部２０７が受信した上部視映像が図１０に示すようなものであった時、操縦用映像生成手段２１２は、この上部視映像を１５度左旋回して、図１１に示すような、映像を生成する。ここで生成された映像は、実時刻の移動体１００の向きと合致する映像である。したがって、上記構成によれば、ユーザは表示部２０２でこれを見ることにより、映像の転送経路に遅延があっても、実時刻の移動体１００の向きと合致するような映像を得ることができる。

さらに、例えば、推定された遅延時間が０．５０秒であり、遅延期間中に入力された操作が前進０．３ｍ／秒であった場合、遅延期間中の積算移動量は、前進０．１５ｍとなる。

このとき映像受信部２０７が受信して映像バッファ２０８に一時的に記憶されている上部視映像が、図１２に示すようなものであったとすると、操縦用映像生成手段２１２は、図１２の上部視映像を１５ｃｍシフトさせて、図１３に示すような操縦用の上部視映像を生成する。これにより、実時刻の移動体の向きと合致する映像が得られる。

なお、上述の二つの例においては、説明の簡単化のため、遅延期間中を一定の動作としたが、入力を積算するため一定の動作でなくとも良い。

生成された操縦用映像は、表示部インターフェイス２１３を介して表示部２０２に送られる。操作者は、実時刻に相当する位置を映像で把握しながら操縦できるので、操作遅れ等の誤操作を抑制できる。

さらに本実施形態においては、操縦用映像生成手段２１２は、図１０ないし図１３に示したような上部視映像を、走行する平面の二次元データとして扱う。この場合、上部視映像を二次元データに変換する。そうすると、二次元アフィン変換等を用いて、回転及び平行移動の座標変換のみの映像処理を行うことができる。その結果、操縦用映像の加工処理に掛かる演算負荷を低減することができるようになる。なお、座標変換には、二次元回転と二次元シフトを含む。

上記実施形態は、遠隔操縦におけるリアルタイムの操作用映像表示に際して、次の特徴を有する。要するに、操縦用の映像に、筐体を含む周辺を上部から見た映像（上部視映像）を合わせて表示し、その上部から見た映像を、操縦者の操作コマンドと、遅延時間を演算して方向推定を行い、推定した方向にあわせて回転表示をする。

そのため、その場旋回をするような移動体であっても、操縦用映像にて実時刻での移動体位置が把握できるようになる。また、上部視映像は、走行する平面の２次元データとして扱えるので、操作用映像の加工処理に掛かる演算負荷を低減するという効果もある。

１ 遠隔操縦システム
１００ 移動体
１０１ 撮像手段
１０３ 移動体制御用コンピュータ
２００ 遠隔操縦装置
２０１ 操作制御部
２０２ 表示部
２０３ 操作部

特許５１７８４０６号公報

Claims (8)

1. 移動体と遠隔操縦装置とを含む遠隔操縦システムであって、
   前記移動体は、
   前記移動体の周囲を撮像する撮像手段と、
   前記撮像手段が撮像した映像に基づいて前記移動体を上方から見下ろした映像である上部視映像を生成する移動体制御部と、を備え、
   前記遠隔操縦装置は、
   ネットワークを介して前記上部視映像を受信する映像受信手段と、
   ネットワークを介して前記移動体の移動状態に関する情報を受信する移動体情報受信手段と、
   前記移動体情報受信手段が受信した情報に基づいて前記映像受信手段が受信する前記上部視映像の遅れを推定する遅延時間推定手段と、
   前記遅延時間推定手段が推定した前記上部視映像の遅れ、及び、前記移動体を操縦するための操作入力に基づいて前記移動体の実時刻における位置を推定する移動体位置推定手段と、
   前記移動体位置推定手段が推定した前記移動体の実時刻における位置、及び、前記映像受信手段が受信した前記上部視映像に基づいて、操縦用映像を生成する操縦用映像生成手段と、
   前記操縦用映像生成手段が生成した前記操縦用映像を表示する表示部と、を備える
   ことを特徴とする、遠隔操縦システム。
2. 前記操縦用映像生成手段は、前記移動体位置推定手段が推定した前記移動体の実時刻における位置に相当する前記上部視映像を生成することを特徴とする、請求項１に記載の遠隔操縦システム。
3. 前記撮像手段は、前記移動体の上方に配置される前記移動体の全周を撮像するカメラであることを特徴とする、請求項１又は２に記載の遠隔操縦システム。
4. 前記撮像手段は、前記移動体の外装に配置される複数のカメラであることを特徴とする、請求項１又は２に記載の遠隔操縦システム。
5. 前記操縦用映像生成手段は、前記上部視映像を二次元データに変換することを特徴とする、請求項１から４のいずれか１項に記載の遠隔操縦システム。
6. 前記操縦用映像生成手段は、前記二次元データに変換された上部視映像に対し、座標変換処理を行うことによって、前記移動体位置推定手段が推定した前記移動体の実時刻における位置を反映した操縦用映像を生成することを特徴とする、請求項５に記載の遠隔操縦システム。
7. 前記操縦用映像生成手段は、前記座標変換処理として、二次元回転と二次元シフトを含む処理を実行することを特徴とする、請求項６に記載の遠隔操縦システム。
8. ネットワークを介して上部視映像を受信する映像受信手段と、
   ネットワークを介して移動体の移動状態に関する情報を受信する移動体情報受信手段と、
   前記移動体情報受信手段が受信した情報に基づいて前記映像受信手段が受信する前記上部視映像の遅れを推定する遅延時間推定手段と、
   前記遅延時間推定手段が推定した前記上部視映像の遅れ、及び、前記移動体を操縦するための操作入力に基づいて前記移動体の実時刻における位置を推定する移動体位置推定手段と、
   前記移動体位置推定手段が推定した前記移動体の実時刻における位置、及び、前記映像受信手段が受信した前記上部視映像に基づいて、操縦用映像を生成する操縦用映像生成手段と、
   前記操縦用映像生成手段が生成した前記操縦用映像を表示する表示部と、を備え、
   前記上部視映像は、前記移動体の周囲を撮像した映像から生成される映像であって、前記移動体を上方から見下ろした映像である
   ことを特徴とする、遠隔操縦装置。

Images