JP2016045825A - 画像表示システム - Google Patents

Abstract

【課題】遠隔操作基地にて操縦者が移動体を円滑でかつ安全に遠隔操縦するために必要とされる情報を追加できる画像表示システムを提供する。
【解決手段】ＵＧＶ２０が移動中に取得する３次元の環境マップβ_２０と事前取得マップαとをマッチング処理し、事前取得マップαには含まれるが、環境マップβ_２０には含まれない領域Ｚ２に対応する統合対象情報を特定し、統合対象情報を領域Ｚ１の環境マップβ_２０と統合した統合マップを生成し、これを画像表示部に表示させる。
【選択図】図６

Description

本発明は、遠隔操縦される移動体が取得した画像に追加の画像情報を付与して表示することのできる画像表示システムに関する。

車両、飛行体などの移動体を、移動体の周囲を直接は視認できない場所から遠隔操縦をする際に、移動体に備えたカメラで撮影した周辺の環境情報を操縦者が視認しながら、操縦を行うことがある。
ところが、移動体に搭載したカメラで撮影した映像だけでは視野が狭く、遠隔操縦するには情報が少なすぎる場合がある。
また、遠隔操縦においては通信帯域の制限上、情報の伝達に遅れが生じることがある。このため、操縦者が例えば障害物を認識する時が遅くれると、移動体が障害物に衝突する事故に発展することがある。この障害物が移動可能なものである場合には、当該障害物が大きな構造物の陰に隠れていても、それを認識できれば、あらかじめ速度を落とすことにより、未然に事故を防ぐことが可能である。

特開２０１３−２１１０２５号公報 特開２０１３−１５３２８０号公報

M Calonder, V Lepetit, C Strecha, P Fua - Computer Vision-ECCV 2010, Brief: Binary robust independent elementary features（2010）

特許文献１は、あらかじめ登録された地図データを、自立移動する移動体ロボットの取得した計測情報を用いて更新する手法を開示している。しかし、特許文献１は、更新された地図データを次回以降の移動体の運用時に使用することを想定している。
また、特許文献２は、遠隔操縦される移動体の制御システムにおいて、複数の車両にて取得された３次元マップデータを、遠隔操縦を行う側にある１つのサーバにて統合することで、各々の車両では未取得部分を補完し合い、全体のマップの生成を効率よく実施する手法を開示している。しかし、特許文献２においても、補完しきれない領域も存在する。
そこで本発明は、必要な情報を確実に統合できる画像表示システムを提供することを目的とする。

本発明における遠隔操縦における画像表示システムは、遠隔操縦される第１移動体が移動しながら周囲の環境の画像を取得し、取得した画像を前記遠隔操縦が行われる基地の画像表示部に表示するものである。
本発明の画像表示システムは、第１移動体の移動が予定される移動領域について予め漏れなく取得された事前取得情報を記憶する記憶部と、第１移動体が移動中に取得する第１環境情報、及び、第１移動体とは異なる第２移動体が移動中に取得する第２環境情報の一方又は双方と、記憶部に記憶されている事前取得情報と、のマッチング処理を通じて、事前取得情報には含まれるが、第１環境情報には含まれない統合対象情報を特定し、統合対象情報を第１環境情報に統合した統合情報を生成する情報統合部と、統合情報を表示する画像表示部と、を備えることを特徴とする。

本発明の画像表示システムによると、第１環境情報、及び、第２環境情報の一方又は双方を、第１移動体の移動が予定される移動領域について予め漏れなく取得された事前取得情報にマッチング処理する。したがって、本発明によると、必要とされる統合対象情報を欠くということがないため、必要な情報を確実に統合できる。

本発明の画像表示システムにおいて、統合の手法として少なくとも二つの形態を含んでいる。
一つ目の形態は、統合対象情報が、第１環境情報よりも外側の領域を占めている場合であり、この場合には、情報統合部は、第１環境情報の外側に統合対象情報を配置した統合情報を生成する。
この画像表示システムによると、遠隔操作基地にて第１移動体を遠隔操縦する操縦者が、第１環境情報よりも視野が拡大された表示を認識できるので、円滑でかつ安全に第１移動体を操縦することができる。

二つ目の形態は、統合対象情報が、第１移動体から隠れた領域に存在する場合である。
つまり、二つ目の形態は、統合対象情報が、第２移動体が取得する第２環境情報に含まれる一方、第１環境情報が取得される第１移動体に対して隠れた領域に存在する場合には、情報統合部は、第１環境情報上に統合対象情報を配置した統合情報を生成する。
この画像表示システムによると、例えば建造物の陰に隠れているために、第１移動体からは死角となる領域に存在する人を、第１環境情報に重畳して映し出すことができるので、遠隔操作基地にて遠隔操縦する操縦者は、人が道路に飛び出してくる恐れがあることを事前に把握することができる。これにより、操縦者は、円滑でかつ安全に第１移動体を操縦することができる。

二つ目の形態において、第１移動体が地表を走行する車両である場合には、第２移動体は飛行体であることが、第１移動体に対して隠れた領域の情報を取得する上で好ましい。
また、二つ目の形態における第２環境情報と事前取得情報のマッチング処理は、第２環境情報と事前取得情報のそれぞれを、複数の画素を含むグリッドに分割するとともに、分割された前記グリッドの各々の輝度を特定し、特定されたグリッド輝度にＢＲＩＥＦ特徴量を適用して行うことが好ましい。複数の画素を含む比較的粗いグリッドに分割し、グリッドごとに輝度を特定してＢＲＩＥＦ特徴量を適用するので、人の目視に近い感覚のマッチング処理を行うことができる。

本発明の画像表示システムによると、第１環境情報、及び、第２環境情報の一方又は双方を、第１移動体の移動が予定される移動領域について予め漏れなく取得された事前取得情報にマッチング処理する。したがって、本発明によると、必要とされる統合対象情報を欠くということがないため、必要な情報を確実に統合できる。

本発明の実施形態における画像表示システムの概要を示す平面図である。 図１の画像表示システムにおける主たる要素を示すブロック図である。 （ａ）は図１の遠隔操作基地の構成を示す図、（ｂ）は図１の移動体２０（ＵＧＶ）の構成を示す図である。 図１の移動体３０（ＵＡＶ）の構成を示す図である。 本実施形態の第１機能及び第２機能を概念的に説明する図である。 本実施形態の第１機能の処理手順を、画像を用いて示す図である。 本実施形態の第２機能の処理手順を示し、（ａ）はグローバル座標系に基づく３次元点群データからなる事前取得マップαを示し、（ｂ）は（ａ）をＵＡＶ３０のカメラ座標系に変換した点群データを示す。 （ａ）は図７（ｂ）の３次元の点群データから２次元の点群データを切り出す範囲を示し、（ｂ）は切り出された２次元の点群データを示している。 第２機能におけるマッチング処理の手順を示す図である。 第２機能の処理手順を、画像を用いて示す図である。

以下、添付図面に示す実施形態に基づいてこの発明を詳細に説明する。
本実施形態に係る画像表示システム１は、図１に示すように、遠隔操作基地１０に居る操縦者が移動体（第１移動体）２０を遠隔操縦して道路Ｒを走行させる際に実行される。この画像表示システム１は、移動体２０が遠隔操縦される前に予め作成された３次元の点群データからなる事前取得マップ（事前取得情報）αを保存しておく。事前取得マップαは、移動体２０の移動が予定される移動領域について予め漏れなく取得されたものである。なお、図１は、平面図であり、表示が２次元となっている。
本実施形態は、この事前取得マップαを利用することにより、以下の第１機能と第２機能を実現する。
第１機能は、移動体２０が実際に移動しながら取得した３次元の環境マップ（第１環境情報）β_２０と事前取得マップαとをマッチング処理し、環境マップβ_２０の検知範囲外の領域（統合対象情報）を事前取得マップαから補う統合処理を行う。そうすることにより、第１機能は、操縦者が視認できる範囲を拡大する。
また、第２機能は、移動体２０とは異なる他の移動体３０で取得した環境マップ（第２環境情報）β_３０と事前取得マップαとをマッチング処理し、環境マップβ_２０の上に環境マップβ_３０に含まれる特定の部位（統合対象情報）を重畳する統合処理を行う。そうすることで、第２機能は、移動体２０の検知範囲からは建造物Ｂの陰になる領域に存在する物体ついても、操縦者が視認できるようになる。
なお、本実施形態において、移動体２０は無人陸上車両（Unmanned Ground Vehicle：ＵＧＶ）からなることを、また、移動体３０は無人航空機（Unmanned Aerial/Air Vehicle：ＵＡＶ）からなることを想定している。よって、以下では、移動体２０をＵＧＶ２０と、また、移動体３０をＵＡＶ３０と表記する。

図２に、第１機能及び第２機能を実行する画像表示システム１の主要な要素が掲げられているが、画像表示システム１は、環境マップβ_２０を作成する第１環境マップ作成部と、マップ統合部と、データ送受信部と、画像表示部と、を備える。
画像表示システム１は、事前取得マップαを記憶する事前取得マップ記憶部と、環境マップβ_３０を作成する第２環境マップ作成部と、を備える。

画像表示システム１は、第１機能を実現する場合には、第１環境マップ作成部で作成された環境マップβ_２０と事前取得マップαとをマップ統合部によりマッチング処理した後に、環境マップβ_２０の検知範囲外の領域を事前取得マップαから補う統合処理を行う。
画像表示システム１は、第２機能を実現する場合には、第２環境マップ作成部で作成された環境マップβ_３０と事前取得マップαとをマップ統合部によりマッチング処理した後に、環境マップβ_２０の上に環境マップβ_３０に含まれる特定の部位を重畳する統合処理を行う。
統合処理により統合された結果は、データ送受信部により画像表示部に向けて送信され、これを受信した画像表示部に表示される。

以上説明した主要な要素のうち、第１環境マップ作成部と、マップ統合部と、事前取得マップ記憶部は、ＵＧＶ２０が備え、画像表示部は、遠隔操作基地１０が備え、第２環境マップ作成部は、ＵＡＶ３０が備え、データ送受信部は遠隔操作基地１０とＵＧＶ２０が共同で備える。ただし、この区分は一例であり、画像表示システム１の全体として以上の要素を備えていればよく、例えば、マップ統合部は、遠隔操作基地１０に設けることもできる。

以下、以上の機能を実現するために遠隔操作基地１０、ＵＧＶ２０及びＵＡＶ３０が備える具体的な構成要素を順に説明する。
［遠隔操作基地１０］
遠隔操作基地１０は、ＵＧＶ２０及びＵＡＶ３０を遠隔操縦する部位であり、操縦者が詰めている。遠隔操作基地１０は、図３（ａ）に示すように、画像表示部１１と、遠隔操作部１３と、データ送受信部１５と、を備えている。なお、遠隔操作基地１０の機能は、ＣＰＵ（Central Processing Unit）及びメモリ手段を備えるコンピュータ装置により実行できる。このことは、ＵＧＶ２０についても同様に当てはまる。また、遠隔操作基地１０は、図３（ａ）が示す以外の機能を備えることができるが、画像表示システム１と直接的な関係がないため、記載を省略している。

画像表示部１１は、ＵＧＶ２０により作成される統合マップを表示する。画像表示部１１として、例えば液晶ディスプレイ（Liquid Crystal Display）、プロジェクタ（Projector）が適用される。画像表示部１１は、図２の画像表示部に対応する。

遠隔操作部１３は、ＵＧＶ２０及びＵＡＶ３０のそれぞれの移動経路、移動速度を操作する部位であり、ステアリング等の操縦に必要な部材を備えている。

データ送受信部１５は、ＵＧＶ２０及びＵＡＶ３０との間で無線によるデータの送受信を担う。データ送受信部１５は、ＵＧＶ２０のデータ送受信部２６とともに、図２に示したデータ送受信部を構成する。
データ送受信部１５がＵＧＶ２０から受信する主要なデータとしては、ＵＧＶ２０にて作成される統合マップ（統合情報）に関するデータが掲げられる。
データ送受信部１５がそれぞれのＵＧＶ２０に向けて送信する主要なデータとしては、ＵＧＶ２０及びＵＡＶ３０を遠隔操縦するのに必要な操作データが掲げられる。

［ＵＧＶ２０］
次に、ＵＧＶ２０について説明する。
ＵＧＶ２０は、遠隔操作基地１０からの指令に基づいて、図１に示すように、建造物Ｂに囲まれた道路Ｒを走行する。なお、ここでは、一台のＵＧＶ２０を示しているが、複数台のＵＧＶを対象にすることができる。

ＵＧＶ２０は、図３（ｂ）に示すように、走行情報取得部２１、マップ作成部２２、マップ統合部２３、走行制御部２４、位置情報取得部２５、データ送受信部２６及び記憶部２７を備えている。

走行情報取得部２１は、自身を搭載するＵＧＶ２０が走行する環境に存在する被写体（例えば、構造物、人物、道路等）に関する情報を取得する。
走行情報取得部２１は、撮像部２１Ａと物体検知部２１Ｂとを備えている。
撮像部２１Ａは、例えばディジタルカメラからなり、ＵＧＶ２０の周囲に存在する被写体を撮像し、撮像した被写体の映像を取得する。ここで、撮像部２１Ａは、映像として、動画または静止画のいずれの形式により被写体を撮像してもよい。

物体検知部２１Ｂは、ＵＧＶ２０の周囲に存在する被写体の３次元座標を測定するレーザレーダ装置からなる。物体検知部２１Ｂは、移動体の周囲環境にレーザ光を照射し、照射したレーザ光が周囲環境にある被写体で反射されて自身に戻るまでの時間と、レーザ光の照射方向、つまり物体検知部２１Ｂの姿勢とに基づいて、ＵＧＶ２０の周囲環境の３次元位置情報（３次元の点群データ）を、周囲をスキャンしながら繰り返し測定する。この３次元の点群データが環境マップβ_２０の一要素を構成する。
環境マップβ_２０を構成する３次元の点群データの位置座標値（ｘ，ｙ，ｚ）は、物体検知部２１Ｂを基準点にしており、相対的な位置ということができる。以下、この座標系をローカル座標系(local coordinate system)という。
なお、事前取得マップαは、３次元の点群データからなるところは環境マップβ_２０と同じであるが、グローバル座標系(global coordinate system)に基づいて位置座標値（Ｘ，Ｙ，Ｚ）が特定されているところが環境マップβ_２０と相違する。

マップ作成部２２は、撮像部２１Ａで撮像した映像の色彩に基づいて、走行情報取得部２１の物体検知部２１Ｂで取得した３次元位置情報に着色を施して、３次元の環境マップβ_２０を作成する。この環境マップβ_２０は、レーザレーダの検知結果により生成された３次元の点群データから撮像部２１Ａにおける撮像視野相当の領域を切り出し、切り出された点群データに色情報が付加されたものである。
マップ作成部２２が、図２に示した第１環境マップ作成部を構成する。

マップ統合部２３は、図２に示したマップ統合部を構成するが、具体的な内容については、後述する。

走行制御部２４は、遠隔操作基地１０から送信される操作情報を、データ送受信部２６を介して受信し、この操作情報に記載された制御の指示、例えば、ＵＧＶ２０のハンドル、アクセル、ブレーキ、クラッチ、ギヤシフト機器、エンジン始動装置などの操作機器の操作状態や、車速及び加速度などの指示に応じて、ＵＧＶ２０の走行を制御する。

位置情報取得部２５は、ＵＧＶ２０の存在する位置（グローバル座標系（Ｘ，Ｙ，Ｚ）における座標値）及びＵＧＶ２０の走行方向を示す向きを周期的に測定し、この車両の位置及び向きを示す位置情報を、マップ統合部２３に出力する。位置情報取得部２５は、例えば、ＧＰＳ（Global Positioning System）により、ＵＧＶ２０の位置及び向きを測定することができる。このとき、位置情報取得部２５は、ＧＰＳより得られる時刻毎のＵＧＶ２０の存在する座標成分の時間的な変化に基づいて、車両の向き（移動方向）を測定することができる。なお、ＵＧＶ２０は地表を走行するので、座標値Ｚはゼロとして認識されることもある。
また、位置情報取得部２５は、上述したＧＰＳに限るものでなく、他の構成、例えば換え、速度センサ、３軸加速度センサ及び３軸ジャイロ(回転角センサ)を備えるＩＭＵ（Inertial Measurement Unit：慣性計測装置）を採用することもできる。

記憶部２７は、事前取得マップαを記憶しており、図２の事前取得マップ記憶部に相当する。事前取得マップαは、ＵＧＶ２０が走行しうる環境の全領域を漏らすことなく、予めＵＧＶ２０を走行させながら取得した３次元の点群データと色情報からなる。
事前取得マップαは、基本的には環境マップβ_２０と同様にして作成されるものであるが、前述したように、グローバル座標系（Ｘ，Ｙ，Ｚ）により各点が特定される。このように、事前取得マップαをグローバル座標系で特定することにより、環境マップβ_２０と事前取得マップαとのマッチングを可能にする。

［ＵＡＶ３０］
次に、ＵＡＶ３０について説明する。
ＵＡＶ３０は、ＵＧＶ２０が移動する環境の上空を飛行する。ＵＡＶ３０は、ＵＧＶ２０では取得することのできない領域を含む環境情報を取得する。取得された情報に基づく環境マップβ_３０は、第２機能において、ＵＧＶ２０で作成された環境マップβ_２０に統合され得る。

ＵＡＶ３０は、図４に示すように、飛行情報取得部３１、マップ作成部３２、飛行制御部３４、位置情報取得部３５、データ送受信部３６及びを備えている。ＵＡＶ３０は、マップ統合部２３を備えない点、及び、走行が飛行に置き換えられる点を除いて、ＵＧＶ２０と同様であり、以下では、概要のみを説明する。

飛行情報取得部３１は、自身を搭載するＵＡＶ３０が飛行している間に、ＵＧＶ２０が走行する環境の情報を上空から取得するものであり、ＵＧＶ２０の走行情報取得部２１に対応する部位である。そのために、走行情報取得部２１は、撮像部３１Ａと物体検知部３１Ｂを備えている。ただし、飛行情報取得部３１は、ＵＧＶ２０では取得できない領域の情報を取得することを主旨とする。
撮像部３１Ａは、撮像部２１Ａに対応する部位であり、上空から地表にある被写体の映像を取得する。
物体検知部３１Ｂは、物体検知部２１Ｂに対応する部位であり、地表環境の３次元座標を上空から測定するレーザレーダ装置からなり、得られた３次元の点群データが環境マップβ_３０の基礎をなす。この環境マップβ_３０を構成する３次元の点群データの位置座標値（ｘ，ｙ，ｚ）は、物体検知部３１Ｂを基準点にしており、環境マップβ_２０と同様に、ローカル座標系による。

マップ作成部３２は、撮像部３１Ａで撮像した映像の色彩に基づいて、物体検知部３１Ｂで取得した３次元位置情報に着色を施して、３次元の環境マップβ_３０を作成する。この環境マップβ_３０も、レーザレーダの検知結果により生成された３次元の点群データから撮像部３１Ａにおける撮像視野相当の領域を切り出し、切り出された点群データに色情報が付加されたものである。

飛行制御部３４は、遠隔操作基地１０から送信される操作情報を、データ送受信部３６を介して受信し、この操作情報に記載された制御の指示、飛行速度及び加速度などの指示に応じて、ＵＡＶ３０の移動を制御する。

位置情報取得部３５は、ＵＡＶ３０の存在する位置の存在する位置（グローバル座標系（Ｘ，Ｙ，Ｚ）における座標値）及びＵＧＶ２０の走行方向を示す向きを周期的に測定し、このＵＡＶ３０の位置及び向きを示す位置情報を、ＵＧＶ２０のマップ統合部２３に出力する。位置情報取得部３５は、位置情報取得部２５と同様の機器により構成することができる。

［マップ統合部２３の動作］
さて、次に、本実施形態の特徴であるマップ統合部２３の動作について、図５〜図１０を参照して説明する。
はじめに、図５を参照して、マップ統合部２３で実現される第１機能及び第２機能を概念的に説明する。
いま、ＵＧＶ２０は、走行しながら走行情報取得部２１により環境情報を取得しており、走行情報取得部２１による撮像範囲及び点群データの取得範囲が領域Ｚ１だとする。この場合、遠隔操作基地１０の画像表示部１１に映し出される環境マップβ_２０は領域Ｚ１の範囲に限られる。
遠隔操作基地１０に居る操縦者は、領域Ｚ１だけではＵＧＶ２０を円滑に操縦するには狭いと感じることがある。そこで、画像表示システム１は、第１機能として、領域Ｚ１よりも拡大した領域Ｚ２を画像表示部１１に映し出す。

また、図５において、ＵＧＶ２０を基準にすると、Ｂ１で特定される建造物の背後に移動しうる障害物（例えば人）Ｈが隠れているものとする。この障害物Ｈは、ＵＧＶ２０が建造物Ｂ１に差し掛かった時に、建造物Ｂ１が臨む道路Ｒに飛び出す恐れがある。ところが、障害物Ｈは、建造物Ｂ１の背後にいるから、領域Ｚ１に対応する環境マップβ_２０に映し出されることはない。そこで、画像表示システム１は、第２機能として、障害物Ｈを含む領域Ｚ３に関する環境マップβ_３０をＵＡＶ３０にて作成し、かつ、障害物Ｈを環境マップβ_２０に重畳して映し出す。
以下、第１機能及び第２機能の順に説明する。

［第１機能の実行手順］
マップ統合部２３は、マップ作成部２２で作成された環境マップβ_２０と記憶部２７に記憶されている事前取得マップαとをマッチング処理する。ただし、環境マップβ_２０はローカル座標系で特定され、事前取得マップαはグローバル座標系で特定されているので、マップ統合部２３は、マッチング処理に先立って、座標変換を行う。座標変換は、位置情報取得部２５で取得されたＵＧＶ２０のグローバル座標系による位置及び向きを用いて行われる。つまり、ＵＧＶ２０から環境マップβ２０を構成するローカル座標系による点群データの各々の点までの距離及び向きは既知であり、一方、グローバル座標系によるＵＧＶ２０の位置及び向きも既知であるから、ローカル座標系による点群データをグローバル座標系の座標値に変換することができる。

マップ統合部２３は、座標変換された環境マップβ_２０と事前取得マップαとをマッチング処理する。このマッチング処理は、両者が共通するグローバル座標系による座標値を用い、環境マップβ_２０の座標値と事前取得マップαの座標値が一致するように行われる。
環境マップβ_２０がマッチングされた事前取得マップαは、環境マップβ_２０の周囲に環境マップβ_２０には含まれていない点群データを備えている。ここで、環境マップβ_２０が前述した領域Ｚ１に対応し、環境マップβ_２０の周囲に存在する事前取得マップαの点群データが前述した領域Ｚ２を含む。
マップ統合部２３は、事前取得マップαにおける当該周囲の点群データから、環境マップβ_２０に統合する範囲、つまり領域Ｚ２を設定し、その範囲の点群データを切り出すとともに、切り出された点群データを環境マップβ_２０に統合する。統合されたマップは、データ送受信部２６と遠隔操作基地１０のデータ送受信部１５を介して送信され、遠隔操作基地１０の画像表示部１１に映し出される。

図６に、画像表示部１１に映し出される統合マップの一例を示す。図６に示すように、領域Ｚ１に環境マップβ_２０に対応する映像が、また、領域Ｚ２に事前取得マップαから切り出された点群データが映し出されている。
画像表示部１１に映し出される統合マップは、環境マップβ_２０だけでは視認できない範囲を含んでいるので、操縦者がＵＧＶ２０を円滑に操縦するのに寄与する。

以上の第１機能において、事前取得マップαから切り出す領域Ｚ２の範囲を設定する方法は任意である。例えば、固定された範囲を予めマップ統合部２３に設定しておくことができるし、複数の範囲から操縦者が選択できるようにしておき、ＵＧＶ２０の操縦を開始してから操縦者が選択することができる。
また、以上の第１機能の画像の統合として、マッチング処理を行った後に、事前取得マップαから領域Ｚ１と領域Ｚ２の合せた範囲の領域を切り出して画像表示部１１に表示させることが可能である。また、事前取得マップαから領域Ｚ１と領域Ｚ２の合せた範囲の領域を切り出し、次いで、マッチング処理をすることもできる。

［第２機能の実行手順］
次に、第２機能について説明する。
マップ統合部２３は、ＵＧＶ２０が走行中に作成する環境マップβ_２０とＵＡＶ３０が飛行中に作成する環境マップβ_３０を、以下説明する手順で統合する。
始めに、マップ統合部２３は、３次元の点群データである事前取得マップαを取得する。この点群データの各点はグローバル座標系による座標位置が特定されるが、これをＵＡＶ３０の撮像部３１Ａを基準とする座標系に基づく３次元の点群データに変換する。この撮像部３１Ａを基準とする座標系を、ＵＡＶカメラ座標系と称する。なお、図７（ａ）にグローバル座標系による点群データ（事前取得マップα）の一例を、図７（ｂ）にＵＡＶカメラ座標系に変換された点群データの一例を示している。
この変換は、事前取得マップαを構成する各点を、ＵＡＶ３０の座標位置（ｘ，ｙ，ｚ）及び姿勢（roll，pitch，yaw）から、平行移動及び回転を組み合せることで行うことができる。なお、ＵＡＶ３０の前後、左右及び上下が定まっているときに、roll（ロール）は前後を軸にした回転を、pitch（ピッチ）は左右を軸にした回転を、また、yaw（ヨー）は上下を軸にした回転により、姿勢を示す。

次に、マップ統合部２３は、ＵＡＶカメラ座標系に変換された３次元の点群データから、所定の領域を抽出し、それを２次元化する。
この所定の領域の抽出は、ＵＡＶ３０の撮像部３１Ａによる撮像の画角よりも大きい範囲に対して行われる。例えば、図８（ａ）に示すように、撮像部３１Ａの画角をθｘ，θｙとすると、抽出される領域は、θｘ＋ａｘ，θｙ＋ａｙで特定される範囲とする。角度ａｘ，角度ａｙで表されるマージンは、点群データの誤差を考慮したものであり、それぞれyaw，pitchの精度（例えば誤差の３σ）を基準にして設定される。
抽出された領域を２次元データであるマッチング用マップγ（図８（ｂ））に変換する。この変換は、以下の手順で行うことができる。
手順1：２次元データとする画像サイズ（横Ｍピクセル×縦Ｎピクセル）を決定する。
手順２：１ピクセル当たりの角度を、以下に従って算出する。
dθｘ ＝ （θｘ＋ａｘ）／Ｍ
dθｙ ＝ （θｙ＋ａｙ）／Ｎ
手順３：画素（ｍ,ｎ）の色情報は例えば次の物を選択する。ただし、ｍ，ｎは以下の通り。
０≦ｍ≦Ｍ−１,０≦ｎ≦Ｎ−１
撮像部３１Ａ（カメラ）から見たとき、以下のヨー及びピッチの中に含まれる点群情報において、カメラからの距離が最も近い点群の色情報。
ヨー ：−（θｘ＋ａｘ）／２＋ｍ×dθｘ 〜 −（θｘ＋ａｘ）／２＋（ｍ＋１）×dθｘ
ピッチ：−（θｙ＋ａｙ）／２＋ｎ×dθｙ 〜 −（θｙ＋ａｙ）／２＋（ｎ＋１）×dθｙ

次に、マップ統合部２３は、２次元データであるマッチング用マップγとＵＡＶ３０の撮像部３１Ａが取得した２次元の映像γ_３０とをマッチング処理する。このマッチング処理を、図９を参照して説明する。
図９に示すように、マッチング用マップγからマッチング用マップγ_２０を切り出し、マッチング用マップγ_２０を映像γ_３０とのマッチング処理の対象にする。マッチング用マップγ_２０は、映像γ_３０と同じサイズに切り出される。このとき、事前取得マップαの許容される範囲で切り出す位置を１グリットずつずらしながら、複数のマッチング用マップγ_２０を切り出す。切り出された複数のマッチング用マップγ_２０の各々が、映像γ_３０とマッチング処理される。

マッチング用マップγ_２０と映像γ_３０は、各々の画像を複数のグリッドＧに分割する。分割するサイズは、マッチング用マップγ_２０と映像γ_３０で同じにする。なお、一つのグリッドＧは、複数の画素（pixel）から構成されるものとし、例えば２画素×２画素あるいは４画素×４画素で１グリッドを構成する。
マッチング用マップγ_２０と映像γ_３０の各々において、分割された各グリッドＧの平均輝度Ｌaveを算出し、これを当該グリッドＧの輝度とする。
以上の処理は、マッチング用マップγ_２０については、複数のマッチング用マップγ_２０の全てについて行われる。

次に、各グリッドＧの平均輝度Ｌaveが特定されたマッチング用マップγ_２０と映像γ_３０に、ＢＲＥＩＦ特徴量を適用して、これをマッチング処理のための特徴量とする。ＢＲＥＩＦ特徴量は、図９に示すように、「０」と「１」の二進数で特定される数列データであり、マッチング用マップγ_２０と映像γ_３０の対応するビット同士でＡＮＤを取る。より詳しい内容は、非特許文献１を参照願いたい。
以上のＡＮＤを取るところまでの処理を、複数のマッチング用マップγ_２０の各々と映像γ_３０の間で行い、ＡＮＤの結果が最大となるマッチング用マップγ_２０を切り出した位置をマッチング位置とする。

本実施形態のマッチング処理は、一般的には局所的、具体的には画素単位に使用するＢＲＥＩＦ特徴量を、画素よりもサイズの大きいグリッドＧに適用している所に特徴を有している。つまり、本実施形態のマッチング処理は、サイズの大きいグリッドＧ毎に平均輝度Ｌaveを与えることで、マッチング用マップγ_２０の全体及び映像γ_３０の全体を、人間が目視する感覚に近づけることを意図している。

以上のようにして、マッチング位置が特定されたならば、マップ統合部２３は、第２機能における画像の統合を行う。具体的には、映像γ_３０がマッチング用マップγ_２０からは死角に当たる場所である場合であって、映像γ_３０に現れる特定の部位をマッチング用マップγ_２０の上に表示させる。

以下、図１０を参照して説明する。
図１０（ａ）は映像γ_３０に相当し、この画像の中に映し出されている人Ｈを環境マップβ_２０中に表示させることを目的とする。この映像γ_３０は、ＵＡＶ３０のカメラで撮影された２次元の画像データである。
図１０（ａ）の画像データを、上述したマッチング手法に従って、マッチング用マップγ_２０とマッチングする。これにより、図１０（ｂ）に示すように、マッチング用マップγ_２０における人Ｈの位置を特定することができる。ただし、特定される位置はＵＡＶカメラ座標系の座標値（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）に従うものであり、これをグローバル座標系に座標変換する。そうすると、事前取得マップαにおける人Ｈの存在位置がグローバル座標値（Ｘ_Ｈ，Ｙ_Ｈ，Ｚ_Ｈ）により特定される。

図１０（ｂ）は、ＵＡＶ３０を視点とする画像であるため、マップ統合部２３は、この画像をＵＧＶ２０が視点となる画像に変換する。つまり、マップ統合部２３は、ＵＧＶ２０で作成された環境マップβ_２０と事前取得マップαをマッチング処理し、環境マップβ_２０に一致する事前取得マップαの領域を特定する。こうしてマッチングすることにより、環境マップβ_２０を構成する点群データをグローバル座標系（Ｘ，Ｙ，Ｚ）で示すことができるので、その座標系にグローバル座標値（Ｘ_Ｈ，Ｙ_Ｈ，Ｚ_Ｈ）で特定される人Ｈを重畳する。そうすると、図１０（ｃ）に示すように、本来は死角になって見えない人Ｈを環境マップβ_２０に示すことができる。
なお、本実施形態において、環境マップβ_２０と事前取得マップαのマッチング処理を行った後に、事前取得マップαから当該範囲の画像を切り出して画像表示部１１に表示させることも可能である。つまり、この場合には、マッチング処理は事前取得マップαから映し出す範囲を特定するために必要であるが、映し出されるのは事前取得マップα（人Ｈを含む）の特定の範囲である。

図１０（ｃ）に示す環境マップβ_３０の一部（人Ｈ）を環境マップβ_２０に統合した画像は、ＵＧＶ２０から遠隔操作基地１０に送信され、図１０（ｄ）に示すように、ＵＧＶ２０の撮像部２１Ａで取得した映像に重畳して画像表示部１１に映し出される。画像表示部１１に映し出される映像は、環境マップβ_２０だけでは視認できない範囲を含んでいるので、操縦者は人Ｈが道路Ｒに飛び出してくる恐れがあることを事前に把握することができる。

以上説明したように、本実施形態の画像表示システム１は、事前取得マップαを備えておき、これと環境マップβ_２０、環境マップβ_３０を適宜マッチング処理することを通じて、環境マップβ_２０よりも視野が拡大された表示を実現し、又は、ＵＧＶ２０からでは死角の部分に存在する人Ｈをも環境マップβ２０とともに映し出すことができる。したがって、遠隔操作基地１０にてＵＧＶ２０を遠隔操縦する操縦者は、この画像を参照することにより、円滑でかつ安全にＵＧＶ２０を操縦することができる。

以上、本発明の好適な実施形態を説明したが、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。

１ 画像表示システム
１０ 遠隔操作基地
１１ 画像表示部
１３ 遠隔操作部
１５ データ送受信部
２０ 移動体，ＵＧＶ
２１ 環境情報取得部
２１Ａ 撮像部
２１Ｂ 物体検知部
２２ マップ作成部
２３ マップ統合部
２４ 走行制御部
２５ 位置情報取得部
２６ データ送受信部
２７ 記憶部
３０ 移動体，ＵＡＶ
３１ 飛行情報取得部
３１Ａ 撮像部
３１Ｂ 物体検知部
３２ マップ作成部
３４ 飛行制御部
３５ 位置情報取得部
３６ データ送受信部
Ｂ，Ｂ１ 建造物
Ｒ 道路
α 事前取得マップ
β_２０ 環境マップ
β_３０ 環境マップ
γ，γ_２０ マッチング用マップ
γ_３０ 映像

Claims (5)

1. 遠隔操縦される第１移動体が移動しながら周囲の環境の画像を取得し、取得した画像を前記遠隔操縦が行われる基地の画像表示部に表示する、遠隔操縦における画像表示システムであり、
   前記第１移動体の移動が予定される移動領域について予め漏れなく取得された事前取得情報を記憶する記憶部と、
   前記第１移動体が移動中に取得する第１環境情報、及び、前記第１移動体とは異なる第２移動体が移動中に取得する第２環境情報の一方又は双方と、前記記憶部に記憶されている事前取得情報と、のマッチング処理を通じて、前記事前取得情報には含まれるが、第１環境情報には含まれない統合対象情報を特定し、前記統合対象情報を前記第１環境情報に統合した統合情報を生成する情報統合部と、
   前記統合情報を表示する画像表示部と、
   を備えることを特徴とする画像表示システム。
2. 前記統合対象情報は、
   前記第１環境情報よりも外側の領域を占めており、
   前記情報統合部は、
   前記第１環境情報の前記外側に前記統合対象情報を配置した前記統合情報を生成する、
   請求項１に記載の画像表示システム。
3. 前記統合対象情報は、
   前記第２移動体が取得する第２環境情報に含まれる一方、前記第１環境情報が取得される前記第１移動体に対して隠れた領域に存在し、
   前記情報統合部は、
   前記第１環境情報上に前記統合対象情報を配置した前記統合情報を生成する、
   請求項１に記載の画像表示システム。
4. 前記第１移動体は地表を走行する車両であり、前記第２移動体は飛行体である、
   請求項３に記載の画像表示システム。
5. 前記第２環境情報と前記事前取得情報のマッチング処理は、
   前記第２環境情報と前記事前取得情報のそれぞれを、複数の画素を含むグリッドに分割するとともに、分割された前記グリッドの各々の輝度を特定し、
   特定されたグリッド輝度にＢＲＩＥＦ特徴量を適用して行う、
   請求項３又は４に記載の画像表示システム。