JP2016119655A - 無人機を没入モードで操縦するためのビデオシステム - Google Patents

Abstract

【課題】ユーザの頭部の時として突然の移動の時間で見られる待ち時間を減らすことによって、仮想現実メガネを用いてＦＰＶモードで無人機を操縦する試みをかなり改善できるようにする撮影システムを提案すること。【解決手段】このシステムは、無人機と、無人機から送信される画像をレンダリングする仮想現実メガネを有するとともにユーザの頭部の方向の変化を検出するための手段が設けられる遠隔ステーションとを備える。無人機は、「視点」画像（Ｐ’１）と、その視野が更に広く且つその精細度が更に低い「鳥瞰」画像（Ｐ’２）とを生成する。ユーザの頭部の位置の変化に応じて「視点」画像の視軸が変更されると、ステーションは、ユーザの頭部の移動中に、その輪郭（ＣＯ’）が検出手段により検出される位置の変化に応じて調整される、現在の「視点」画像と「鳥瞰」画像との組み合わせを局所的に生成する。【選択図】図６Ｃ

Description

本発明は、以下で一般に「無人機」と称される、遠隔制御される電動装置に関する。

これらの装置は、飛行する無人機、特に、ヘリコプター、クワドリコプター、又は、同様のもの等の回転翼無人機であってもよい。しかしながら、本発明は、飛行装置を操縦して飛行装置とデータをやりとりすることに限定されず、本発明は、遠隔ユーザの制御下で地上を進行する滑走装置にも同様に適用される。用語「無人機」は、その最も一般的な意味において理解されたい。

飛行無人機の典型的な例は、一連のセンサ（加速度計、３軸ジャイロメータ、高度計）と、無人機が向かう現場の画像を捕捉するフロントカメラと、上空から見た地上の画像を捕捉する垂直視野カメラとを備えるクワドリコプターである、フランスのパリにあるＰａｒｒｏｔ ＳＡのＡＲ．無人機２．０又はＢｅｂｏｐである。

国際特許出願公開第２０１０／０６１０９９Ａ２号明細書及び欧州特許出願公開第２３６４７５７Ａ１号明細書である文献（Ｐａｒｒｏｔ ＳＡ）は、そのような無人機と、組み込まれた加速度計を伴うタッチスクリーン装置、例えばｉＰｈｏｎｅ型のスマートフォン又はｉＰａｄ（登録商標）型のタブレットを用いた無人機の操縦原理とについて記載する。これらの装置は、操縦コマンドの検出のため及びＷｉ−Ｆｉ（ＩＥＥＥ８０２．１１）又はブルートゥースローカルネットワークタイプの無線リンクを介した無人機とのデータの双方向のやりとりのために必要とされる様々な制御部材を組み込む。これらの装置には、無人機のフロントカメラによって捕捉された画像を表示するタッチスクリーンが更に設けられ、この場合、加えて、このタッチスクリーンとユーザの指との単純な接触によって、特定数の記号がコマンドの起動を可能にする。

無人機のフロントビデオカメラは、特に、「没入モ−ド」又はＦＰＶ（一人称視点）操縦、すなわち、ユーザがあたかも自分自身で無人機に乗っているかのような同じ態様でカメラの画像を用いる操縦のために使用され得る。また、フロントビデオカメラは、無人機が向かう現場の一連の画像を捕捉する役目を果たしてもよい。そのため、ユーザは、カメラ又はカムコーダーと同じ方法で無人機を使用でき、このカメラ又はカムコーダーは、手で保持されるのではなく、無人機によって支持される。収集された画像は、記録され、放送され、オンラインでウェブサイトに置かれ、他のインターネットユーザへ送られ、ソーシャルネットワークで共有され得る。

飛行を正確に撮影するためには、まず第一に、方向付け可能で且つ安定したカメラを有することが必要である。その目的のため、カメラは、ユニバーサルジョイントシステムに取り付けられてもよく、或いは、電子画像安定化がもたらされてもよい。

しかしながら、無人機の撮影カメラから得られるそのような安定化された画像の戻りは、このタイプのＦＰＶ操縦にとって理想的ではない。特に、画像安定化は、それがもはや飛行機の姿勢などの本質的な情報を操縦者に対して示さないという事実をもたらす。また、特に、クワドリコプターなどのホバリング無人機の場合、撮影カメラの従来の画像戻りはあまり面白くない。実際に、そのような無人機を用いると、例えば橋の橋脚間を飛びながら１つのポイントを撮影するためには、障害物に最も近い有力な候補をうまく扱うことが探られる。

そのため、そのようなケースでは、画像安定化カメラを用いた撮影中に操縦者が左右を「見回す」ことができることが望ましい。

従来のＦＰＶ装置において、仮想現実メガネには、ユーザの頭部の変位を考慮に入れるためにジャイロスコープ及び加速度計が設けられる。従来の操作原理は、以下のステップを備える。
ａ）操縦者の頭部の動きを測定する
ｂ）操縦者の頭部の新たな位置を無人機へ送る
ｃ）操縦者の頭部の新たな位置に応じて無人機カメラの視点を移動させる
ｄ）画像を取得する
ｅ）カメラが魚眼型レンズなどの非常に歪みを生じさせる光学系を有する場合には、画像を再処理する
ｆ）ビデオ画像をエンコードする
ｇ）無人機のビデオ画像を地上ステーションへ送信する
ｈ）地上ステーションにおいてビデオ画像をデコードする
ｉ）それぞれの眼ごとに、地上ステーションでビデオ画像を逆投影する

仮想現実ＦＰＶメガネに取り付けられるセンサに基づくそのようなカメラ方向制御技術は、欧州特許出願公開第２５５７４６８Ａ２号明細書に記載される。

国際特許出願公開第２０１０／０６１０９９Ａ２号明細書 欧州特許出願公開第２３６４７５７Ａ１号明細書 欧州特許出願公開第２５５７４６８Ａ２号明細書

前述したステップのそれぞれは特定の時間を要し、また、現在の電子的手段を用いる場合であっても、このステップの組を２００ｍｓ未満（すなわち、３０画像／秒のフレームレートにおいては６画像）で実行することは、主にステップｂ）及びｇ）におけるデータ転送時間に起因して非常に難しい。この待ち時間は、操縦者の頭部の動きと仮想現実メガネで表示される画像との間の相関関係の欠如をもたらし、これは、しばしば、ユーザに嫌悪感を引き起こす。

この問題を避けるための解決策は、３６０°にわたって無人機で画像を捕捉するとともに、その画像を地上ステーションへ直接に転送することで成し得る。そのようにすると、前述したステップｂ）、ｃ）、及び、ｇ）はもはや必要とされない。

しかしながら、所望の精細度をもって３６０°にわたり景色の全画像を無人機から地上ステーションへ送信するには、無人機と地上ステーションとの間の送信チャネルの比較的限られた作業データ転送速度に適合しない、かなりの帯域幅を必要とする。

本発明の目的は、ユーザの頭部の時として突然の移動の時間で見られる待ち時間を減らすことによって、仮想現実メガネを用いてＦＰＶモードで無人機を操縦する試みをかなり改善できるようにする撮影システムを提案することである。

本発明は、その目的のため、没入下で無人機を操縦するためのシステムであって、それ自体知られる態様で、特に前述した欧州特許出願公開第２５５７４６８Ａ２号明細書から知られる態様で、撮影手段が設けられる無人機と、撮影手段を介して捕捉されて無線通信手段によって無人機から送信される画像をレンダリングする仮想現実メガネ、メガネを着用するユーザの頭部の方向の変化を検出するための手段、及び、レンダリングされた画像を生成するようになっている地上グラフィック処理手段を備える地上ステーションとを備えるシステムを提案する。

また、システムは、無人機に搭載されて「視点」画像と呼ばれる第１の画像を生成するとともに、この第１の画像を地上グラフィック処理手段へ送信するための手段、及び、検出手段により検出され且つ無線通信手段を介して無人機へ送信される、ユーザの頭部の位置の変化に応じて「視点」画像の視軸を変更するために無人機に設けられる手段も備える。

本発明の特徴として、システムは、無人機に搭載されて、その視野が「視点」画像のそれよりも幅広いとともにその角精細度が「視点」画像のそれよりも低い「鳥瞰」画像と呼ばれる第２の画像を生成するとともに、この第２の画像を地上グラフィック処理手段へ送信するための手段を更に備える。地上グラフィック処理手段は、更に、ユーザの頭部の移動中に、地上ステーションに存在する現在の「視点」画像及び「鳥瞰」画像の組み合わせにより、検出手段により検出される位置の変化に応じて調整される輪郭を用いてレンダリングされる画像を局所的に生成するように構成されている。

具体的には、２つの「視点」画像及び「鳥瞰」画像は、別個の画像となり得るが、同等に、単一の同じ全体画像であって、その角分解能が全体画像の残りの部分（その結果、「視点」画像に相当する）におけるよりも「視点」領域（その結果、「鳥瞰」画像に相当する）において高い全体画像へと統合され得ることに留意されたい。

また、システムは、個別に或いは当業者が技術的に適合するものとして知っている任意の組み合わせにしたがって考慮される以下の有利な特徴も任意に備える。
−地上グラフィック処理手段は、現在の「鳥瞰」画像中への現在の「視点」画像のはめ込みを行うとともに、そのようにして得られた画像に対して可変トリミング操作を適用するように構成されている
−撮影手段は、異なる視軸の幅広い視野の一組の撮影カメラを備える
−撮影手段は、「視点」画像及び「鳥瞰」画像に関して異なる精細度を有するカメラを備える
−撮影手段は、全てが同じ精細度を有する共通のカメラセットと、共通のカメラセットとは異なる精細度の画像を生成するための回路とを備える
−システムは、水平面内の全ての方向を互いにカバーする相補的な視野の一組のカメラを備える
−システムは、その視軸が無人機の主軸にしたがって配置される第１のカメラと、精細度が更に低く、その視軸が主軸に対して左及び右に方向付けられる２つのカメラとを備える
−精細度が更に低い２つのカメラは、水平面内の全ての方向を互いにカバーする相補的な視野を有する
−少なくとも特定のカメラが魚眼型の光学系を有し、その魚眼型の光学系によって生成される歪みを補正するための手段が設けられている

ここで、図の全体にわたって同じ参照符号が同一の要素又は機能的に同様の要素を示す添付図面を参照しつつ、本発明の実施の一例について説明する。

本発明のシステムで使用され得る３つの撮影カメラの配置を概略的に示す。 各カメラに関して、効果的に利用されるカメラのセンサの領域を示す。 図１及び図２のカメラの組によって送信される２つのタイプの画像を概略的に示す。 この例ではＦＰＶメガネ着用者が自分の頭を左の方へ向けることが検出されるときの２つの画像の一部の組み合わせを概略的に示す。 頭の左への速い回転が検出されるときの画像の一部の２つの組み合わせを示す。 頭の左への速い回転が検出されるときの画像の一部の２つの組み合わせを示す。 実像を示す。 実像を示し、ユーザの頭の２つの異なる位置における図４の原理に従う画像の２つの組み合わせを示す。 実像を示し、ユーザの頭の２つの異なる位置における図４の原理に従う画像の２つの組み合わせを示す。 無人機に搭載の電子回路で実施される異なる機能のブロック図である。 メガネと関連付けられる地上電気回路で実施される異なる機能のブロック図である。 本発明のシステムで使用され得るカメラの他の配置を概略的に示す。 本発明のシステムで使用され得るカメラの他の配置を概略的に示す。 本発明のシステムで使用され得るカメラの他の配置を概略的に示す。

本発明に係る「没入型モード」又は「ＦＰＶ」撮影システムは、一組の撮影カメラが装備された無人機と、適切なレンジの無線リンクを介して無人機と通信するとともに、想定し得る最も現実的な態様で無人機に乗って飛んでいる感覚をユーザに与える画像をユーザの眼の前方にレンダリングするための手段が設けられる仮想現実メガネを備える地上機器とを備える。

無人機に装備されるカメラは、魚眼型の光学系を有するカメラ、すなわち、約１８０°の視野をカバーする半球視野レンズを備えるカメラなどの広視野カメラである。

本発明の第１の実施形態においては、図１を参照すると、無人機１０は３つの撮影カメラ１１０，１２１，１２２を有する。

第１のカメラ又は主カメラ１１０は、その視軸Ａ１０が前方へ向けられる魚眼型レンズを有する。主カメラは、かなりの数のピクセル、一般的には現在の技術では８〜２０メガピクセルを伴う大型センサを有する。

図２に示されるように、主カメラ１１０の魚眼レンズは、主カメラのための円形輪郭の画像ＩＭ１０を生成し、該画像の境界線円は、好ましくは、センサＣ１０の長方形境界線に対して横方向に突出し、それにより、露出される数のピクセルに有利に働き、一般に４／３であるセンサ表面占有率を最適化するとともに、上下方向での撮影に有利に働く。

無人機は更なる２つの補助カメラ１２１，１２２を有し、これらの補助カメラは、この例では図１に示されるように無人機の両側のそれぞれへ向き、同一直線上の反対の視角Ａ２１，Ａ２２を伴う。また、これらのカメラにも魚眼レンズが設けられるが、これらのカメラは、より小型のレンズを備える更に小さいサイズのセンサＣ２１，Ｃ２２を有する。これらのカメラに関しては、図２にも示されるように、画像円ＩＭ２１，ＩＭ２２がそれぞれ対応するセンサＣ２１，Ｃ２２の範囲内に完全に含まれる。一般に、センサＣ２１，Ｃ２２のために使用されるセンサは、フル高精細度（フルＨＤ）カメラのために使用されるタイプの、現在の技術では３メガピクセル程度の精細度を有するセンサである。この例では、約１．８メガピクセルがそれぞれの魚眼レンズによって効果的に照射される。

以下で分かるように、２つの補助センサは、それらのそれぞれの視軸が互いにほぼ反対であれば、任意の方向を有してもよく、目的は、特に、それぞれが球のほぼ半分をカバーする２つの画像間の接合部が、視界にとって及び／又は実行されるべき処理操作にとってあまり煩わしくない場所に位置付けられることである。また、あまり有用ではない垂直上方付近に位置付けられる角度領域をカバーしないようになっていてもよい。例えば、約７０°上方の画像部分が無視されてもよい。

このカメラの組から、無人機の電子回路は、一対の仮想現実メガネの視覚ディスプレイに対する複合レンダリングに関して見られるように処理されるようになっている２つの画像を地上ステーションへ送信する。

「視点」画像と呼ばれる第１の画像Ｐ１は、無人機の仮想パイロットの視点を反映するカメラ１１０によって捕捉される画像であり、また、「鳥瞰」画像と呼ばれる第２の画像Ｐ２は、２つの側方カメラ１２１，１２２によってもたらされて搭載電子回路によって組み合わされる画像である。第１の画像は、制限された視野に対応するフル精細画像であり、一方、第２の画像は、水平における３６０°の視野及び垂直における３６０°又はそれよりも僅かに小さい視野にわたる解像度が更に低い画像である。

３つのカメラの焦点距離が全く同じであり、それにより、これらのカメラ間の２つの画像の重ね合わせを例外なく行うことができることに留意されたい。

図３は、画像Ｐ１，Ｐ２のサイズによって、これらの画像のピクセルごとの角度分解能と関連がある大きさを反映し、画像Ｐ１は帯域幅に関して画像Ｐ２よりも大きく、そのため、画像Ｐ２がより小さいサイズで表わされる。

約９０°×９０°の視野の「視点」領域のためにＶＧＡ画像（６４０×４８０）が使用されるとともに、残りの部分（３６０°×３６０°の視野）のために他のＶＧＡ画像が使用される場合に本発明が有利となり得ることに留意されたい。

ここで、仮想現実メガネにおいてＦＰＶ型の実験を反映する画像を得るために本発明に係るシステムで実施される異なるステップについて説明する。

「視点」画像Ｐ１の生成及び送信

このステップは、以下の操作を実施する。
１）メガネに装備されるセンサ（加速度計又はその他）は、ユーザの頭部の動きを測定する。
２）ユーザの頭部の位置の情報は、一般にレンダリングされるべき画像の比率に対応する比率をもって、例えば少なくとも毎秒３０回、地上ステーションの回路から無線通信チャネルを介して無人機の回路へ定期的に送られる。
３）無人機上で、「視点」画像のための新たな視軸が、受けられた前記頭部位置情報に応じて規定される。
４）カメラによって捕捉された各画像は、画像Ｐ１を生成するために、この視軸に応じてトリミングされる。
５）無人機の回路において、この画像は、必要に応じて、魚眼レンズによってもたらされる歪みを補償するべく再処理される（そのような処理は、それ自体知られており、更に詳しく説明されない）。
６）そのように再処理された画像は、好ましくは圧縮により、適したアルゴリズムを用いてコード化される。
７）圧縮された画像は、無線通信チャネルを介して地上ステーションへ送信される。

これらの操作は、例えば、カメラ１１０の視軸Ａ１０の更新及び対応するトリミングごとに毎秒３０画像の速度で繰り返される。

ここでは、変形として、カメラ１１０がアクチュエータに応じて移動できるようにして、頭部位置情報に応じてカメラの物理的な視軸を調整できることに留意されたい。

他の変形によれば、異なって方向付けられる２つ或いは幾つものカメラにより取得される画像を組み合わせることよって「鳥瞰」画像と同じ方法で視点画像が生成されてもよい。

「鳥瞰」画像Ｐ２の生成及び送信

このステップは、以下の操作を実施する。
１）２つの側方カメラ１２１，１２２を用いて２つの画像が取得される。
２）搭載電子回路によって２つの画像が単一画像へと組み合わされる。
３）そのように組み合わされた画像は、好ましくは圧縮により、適したアルゴリズムを用いてコード化される。
４）圧縮された画像は、無線通信チャネルを介して地上ステーションへ送信される。

地上ステーションにおける画像の処理

ユーザが自分の頭部を動かさない限り、地上ステーションは、無人機から流される高精細度の「視点」画像Ｐ１をメガネで表示する。ここでは、カメラ１１０により捕捉された画像のトリミング処理が必要とされるため、毎秒３０画像のフレームレートが想定し得る。

しかし、ユーザが自分の頭部を回転させると、「視点」画像の生成及び送信の前述したプロセスの全てのステップは、前述したように、それぞれの個々の画像に関して行われるべき画像Ｐ１のトリミング操作に起因して、検索されたフレームレートに適合しない処理時間を要する。

本発明によれば、ステーションの電子回路は、移行の必要性のため（すなわち、ユーザの頭部が再び固定されるまで）、このときに地上ステーションで利用できる最も新しい画像Ｐ１，Ｐ２と仮想現実メガネの座標とから移行画像を構成する。移行画像は、地上ステーション及びメガネ側で十分に利用できるデータから、今しがた説明したような組み合わせ操作及びトリミング操作によって生成される。通信チャネルを介した転送が必要とされなければ、また、ディスプレイのリフレッシング及びトリミングを実行しさえするだけでよければ、この操作のための待ち時間は非常に少なくてもよい。

検索移行を確保するために、側方カメラ１２１，１２２によってもたらされる視野が更に広い画像Ｐ２を地上で簡単にトリミングしてレンダリングできることが理解される。しかし、この画像Ｐ２は、通常はカメラ１１０を用いて生成される「視点」画像よりも低い精細度を有し、また、そのような解決策は、移行のレンダリングで画像全体の解像度の急激な低下を引き起こす。

この現象を避けるため、地上ステーションが装備するグラフィカルプロセッサを用いて画像の組み合わせが行われる。

そのため、図４は、ユーザが自分の頭部を左へ回転させた場合に対する画像の組み合わせを示す。この例において、レンダリングされるべき画像は、一方では、その幅がユーザの頭部の回転角度の大きさよりも一層大きい右側に位置付けられる縁部を排除することにより得られる「視点」画像Ｐ１の断片Ｐ’１を、そのように減少した画像Ｐ’１をコンプリートすることによりその左側縁部でこの領域に対応する「鳥瞰」画像の断片Ｐ’２と組み合わせることによって得られる。

したがって、画像の断片のこの組み合わせは、簡単なトリミング操作及び並置操作によって行われ、構成により、頭部の横回転の角度振幅は知られており、また、画像Ｐ１の参照システムと画像Ｐ２の参照システムとの間の対応も知られている。

そのため、ユーザに対してレンダリングされる画像の最も大きい部分は高精細度のままであり、また、画像の縁部だけがより低い精細度であるが、それは、ユーザの頭部の方向が安定しない限りにおいて一時的にすぎない。

これらのトリミング操作／並置操作が行われる速度が高精細「視点」画像の受信の速度から相関されなくてもよく（一般に現在の技術で毎秒３０画像）或いは更に高くてもよいことに留意すべきである。特に、仮想現実メガネは、毎秒７５画像以上の速度でレンダリングを行うことができ、また、前述したトリミング操作／並置操作は、グラフィカルプロセッサ負荷に関して十分に軽く、この速度に到達できる。

移行の全期間中、並置された画像のこの生成は、ユーザの頭部の現在の位置に応じて行われる。そのため、図５Ａ及び図５Ｂは、地上で利用できる画像Ｐ１，Ｐ２の断片Ｐ’１，Ｐ’２及びＰ”１，Ｐ”２の２つの連続する組み合わせをそれぞれ地上ステーションが生成して表示する簡略化されたケースを示し、断片Ｐ”２は、２つの瞬間同士の間でユーザの頭部が回転し続けたという事実に起因して、断片Ｐ’２よりも幅広い。ここで、図６Ａ〜図６Ｃを参照して、実像に関する本発明の実施について説明する。

図６Ａの画像は、高精細「視点」画像Ｐ１の、同じ場面であるがより幅広い視野及びより低い精細度を伴う「鳥瞰」画像Ｐ２へのはめ込みに対応し、２つの画像の軸が１つにまとめられる。このはめ込みは、地上ステーションで行われ、また、実に、前述した画像の並置の役割を果たす。

ユーザが自分の頭部を真っ直ぐに保つ限り、仮想現実メガネでレンダリングされる画像は「視点」画像Ｐ１だけであり、その輪郭ＣＯが図６Ｂに示される。

ユーザが自分の頭部をこの例では左へ回転させると、ユーザに対して効果的にレンダリングされる画像の輪郭（ここではＣＯ’で示される）が左へシフトされ、また、ユーザに対してレンダリングされる画像は、実際には、右側で決定された幅の帯域を奪われている画像Ｐ１の断片Ｐ’１と、画像Ｐ１の直ぐ左側に位置付けられる画像Ｐ２の断片Ｐ’２との組み合わせに対応することが理解される（画像のこれらの２つの断片間の境界が図６Ｂに破線で示される）。

当然のことながら、画像の左側部分は、精細度があまり高くないが、先端が切り取られた画像Ｐ１に組み合わせられた後に表示されるべく直ぐに利用できるという利点を有する。それにより、ごく僅かな待ち時間と、ユーザに完全に適した画質とがもたらされる。

当然のことながら、頭部回転情報が無人機の電子回路へ送られ、それに応じて、カメラ１１０の視軸Ａ１０を調整するとともに、カメラ１１０により生成される新たな光景を地上ステーションに対してレンダリングし、その後、この新たな光景は、ユーザの頭部の動きが前述したトリミング処理操作／組み合わせ処理操作を行う必要なく緩やかな可変性を許容し得るように十分に遅い限りにおいてメガネでレンダリングされる。図７は、無人機１００の側での本発明の実施の可能性をブロック図として示す。

最初に、「視点」機能及び「鳥瞰」機能のための専用のカメラを設ける代わりに、同じカメラが「視点」画像の生成及び「鳥瞰」画像の生成の両方に関与できることに留意すべきである。

この場合、今まで説明された先の実施形態に固有のカメラ１１０が一組のカメラによって置き換えられてもよい。したがって、図７は、ｎ個のカメラ１１０−１〜１１０−ｎを概略的に示す。これらのカメラの出力は、一方では、「視点」画像を生成するための回路１３０に接続され、他方では、「鳥瞰」画像を生成するための回路１４０に接続される。回路１４０は、回路１３０よりも精細度が低い画像を生成するために、回路１３０に対してピクセルの一部だけを考慮に入れる。

地上ステーションとの無線通信のための回路は、その受信部１５１で、ユーザの絶対的な或いは相対的な頭部位置情報を受けるとともに、この情報を「視点」画像生成回路に適用して、ここでは実際にレンダリングされるよりも幅広い視野の組み合わせ画像のデジタル処理によって、レンダリングされるべき画像Ｐ１のための視軸を調整する。

回路１３０及び１４０からくる画像は、無線通信回路の放出部１５２によって地上ステーションへ送られる。本発明の実施のために、これらの画像が別々に或いは組み合わせ態様で送られてもよいことに留意されたい。

図８は、本発明を実施するために地上ステーション２００に設けられる要素を概略的に示す。無線通信回路の受信部２５１は、互いから分離される或いは互いに組み合わされる画像Ｐ１，Ｐ２を無人機から受ける。グラフィック処理回路２１０は、受けられた画像から、図６Ａのタイプの画像を生成し、この場合、高精細度の「視点」画像が「鳥瞰」画像中にはめ込まれる。

従来のように地上ステーションが接続される仮想現実メガネを備える、ユーザの頭部回転を取得するための装置２２０は、この情報を、メガネから受けられる位置情報に応じて、トリミング操作（並置操作は、前述したように、グラフィック処理回路２１０によるはめ込みによって既に行われている）を行うようになっているグラフィック処理回路２３０へ供給する。

実際には、グラフィック処理回路２１０，２３０が同じ回路によって成されてもよいことに留意されたい。

並行して、地上ステーションの無線通信回路の放出部２５２は、前述したように「視点」画像Ｐ１の視軸を更新するためにユーザの頭部位置情報を無人機へ送る。

ここで、図９Ａ〜図９Ｃを参照して、無人機が装備する一組のカメラの他の想定し得る形態について説明する。

図９Ａには、無人機軸に沿う方向を向く「視点」カメラ１１０と、その視軸が図１の場合のように互いに正反対ではなく左及び右に対して（前方向に）傾いている２つの「鳥瞰」カメラとが概略的に示される。当然のことながら、これは、特にユーザが自分の頭部を後方へ十分に回転させる場合に可能な視野を制限するが、一定の帯域幅に関してより良い品質の「鳥瞰」画像を有することができるようにする。

図９Ｂは、左右に向く２つのカメラ１１１，１１２のみの使用を示す。この場合、「視点」画像の大部分は、２つのカメラにより捕捉される画像の組み合わせによってもたらされる。変形として、前方及び後方をそれぞれ向く２つのカメラのみが設けられてもよい。

最後に、図９Ｃは、その物理的な視軸が互いに１２０°離間される同一の解像度の３つのカメラ１１１，１１２，１１３の使用を示す。これらのカメラのうちの１つが前方に向くことが好ましい。

当然のことながら、本発明は、説明されて図示された実施形態に何ら限定されず、また、当業者は、それらの実施形態の多くの変形及び修正を行う方法を知っている。本発明は、ホバリングする或いはしない、検査用、レジャー用、又は、他の目的のための様々なタイプの無人機に適用される。また、本発明は、搭載電子回路又は遠隔電子回路を伴う様々なタイプの仮想現実メガネにも適用される。

Claims (9)

1. 没入下で無人機を操縦するためのシステムであって、
   −撮影手段（１１０，１２１，１２２）が設けられる無人機（１００）と、
   −前記撮影手段を介して捕捉されて無線通信手段によって前記無人機から送信される画像をレンダリングする仮想現実メガネ、前記メガネを着用するユーザの頭部の方向の変化を検出するための手段（２２０）、及び、レンダリングされた画像を生成するようになっている地上グラフィック処理手段（２１０，２３０）を備える地上ステーション（２００）と、
   −前記無人機に搭載されて「視点」画像と呼ばれる第１の画像を生成するとともに、この第１の画像を前記地上グラフィック処理手段へ送信するための手段（１１０，１２１，１２２，１３０，１４０）と、
   −前記検出手段により検出され且つ前記無線通信手段（１５１，１５２）を介して前記無人機へ送信される、ユーザの頭部の位置の変化に応じて前記「視点」画像の視軸を変更するために前記無人機に設けられる手段（１５１，１３０）と、
   を備えるシステムであって、
   前記システムは、
   −前記無人機に搭載されて、視野が前記「視点」画像のそれよりも幅広いとともに角精細度が前記「視点」画像のそれよりも低い「鳥瞰」画像と呼ばれる第２の画像を生成するとともに、この第２の画像を前記地上グラフィック処理手段へ送信するための手段（１１０，１２１，１２２，１３０，１４０）を更に備え、
   前記地上グラフィック処理手段（２１０，２３０）は、ユーザの頭部の移動中に、前記地上ステーションに存在する現在の「視点」画像及び「鳥瞰」画像（Ｐ１，Ｐ２）の組み合わせにより、前記検出手段により検出される位置の変化に応じて調整される輪郭（ＣＯ’）を用いてレンダリングされる画像（Ｐ’１−Ｐ’２，Ｐ”１−Ｐ”２）を局所的に生成するように構成されていることを特徴とする、システム。
2. 前記地上グラフィック処理手段（２１０，２３０）は、現在の「鳥瞰」画像（Ｐ２）中への現在の「視点」画像（Ｐ１）のはめ込みを行うとともに、そのようにして得られた画像に対して可変トリミング操作を適用するように構成されている、請求項１に記載のシステム。
3. 前記撮影手段は、幅広い視野と異なる視軸とを有する一組の撮影カメラ（１１０，１２１，１２２；１１０−１−１１０ｎ；１１１，１１２；１１１−１１３）を備える、請求項１に記載のシステム。
4. 前記撮影手段は、前記「視点」画像及び前記「鳥瞰」画像に関して異なる精細度を有するカメラ（１１０；１２１，１２２）を備える、請求項３に記載のシステム。
5. 前記撮影手段は、全てが同じ精細度を有する共通のカメラセットのカメラ（１１０−１−１１０ｎ）と、前記共通のカメラセットとは異なる精細度の画像を生成するための回路（１３０，１４０）とを備える、請求項３に記載のシステム。
6. 水平面内の全ての方向を互いにカバーする相補的な視野の一組のカメラ（１１１，１１２；１２１−１２２；１１１−１１３）を備える、請求項３に記載のシステム。
7. 視軸が前記無人機の主軸にしたがって配置される第１のカメラ（１１０）と、精細度が更に低く、視軸が主軸に対して左及び右に方向付けられる一組のカメラ（１２１，１２２）とを備える、請求項４に記載のシステム。
8. 精細度が更に低い前記カメラ（１２１，１２２）は、水平面内の全ての方向を互いにカバーする相補的な視野を有する、請求項７に記載のシステム。
9. 少なくとも特定のカメラが魚眼型の光学系を有し、前記魚眼型の光学系によって生成される歪みを補正するための手段が設けられている、請求項３に記載のシステム。