JP2016199261A - 無人機没入型操縦システム - Google Patents
無人機没入型操縦システム Download PDFInfo
- Publication number
- JP2016199261A JP2016199261A JP2016077922A JP2016077922A JP2016199261A JP 2016199261 A JP2016199261 A JP 2016199261A JP 2016077922 A JP2016077922 A JP 2016077922A JP 2016077922 A JP2016077922 A JP 2016077922A JP 2016199261 A JP2016199261 A JP 2016199261A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- glasses
- console
- framing
- ground station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007654 immersion Methods 0.000 title 1
- 238000009432 framing Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000009877 rendering Methods 0.000 claims abstract description 3
- 239000011521 glass Substances 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 abstract description 8
- 238000012937 correction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H27/00—Toy aircraft; Other flying toys
- A63H27/12—Helicopters ; Flying tops
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
Abstract
【課題】ユーザがあたかも無人機に乗っているかのように、無人機を自然に案内できるようにする。【解決手段】システムは、無人機と、無人機に向けられるようになっているコンソールを有する地上局と、無人機のカメラにより撮られる画像をレンダリングする仮想現実メガネとを備える。システムは、地上局から受信されたフレーミング命令に応じてカメラにより撮られる画像のフレーミングを変更するための手段を更に備える。システムは、メガネの方向とコンソールの方向との間の角度差を周期的に精緻化するための相対方向決定手段(302−324)と、前記角度差に応じて無人機のためのフレーミング命令を精緻化するための手段(316)とを更に備える。そのため、ユーザが無人機の移動に頭を追従させるべくコンソール及び頭を含む自分の全身を単に無人機の方へ回転させるときのフレーミングの突然の変化が回避される。【選択図】図3
Description
本発明は、クワドリコプター又は同様のものなどの回転翼無人機に関する。
そのような無人機には、無人機を所定の姿勢及び速度で操縦するべく差別化された態様で制御され得るそれぞれのモータにより駆動される複数のロータが設けられている。
フランスのパリにあるParrot SAのAR.Drone 2.0又はBebop Droneがそのようなクワドリコプターの典型的な例である。これらの無人機には、一連のセンサ(加速度計、3軸ジャイロメータ、高度計)と、無人機が向かう現場の画像を捕捉するフロントカメラと、上空から見た地上の画像を捕捉する垂直視野カメラとが設けられている。
国際公開第2010/061099号パンフレット及び欧州特許出願公開第2364757号明細書(Parrot SA)は、そのような無人機、及び、加速度計を組み込んだタッチスクリーンマルチメディア電話又はメディアプレーヤ、例えばiPhone型の携帯電話又はiPad型(米国アップル社の登録商標)のマルチメディアタブレットを通じた無人機の操縦原理について記載する。これらの装置は、操縦コマンドの検出のため及びWi−Fi(IEEE802.11)又はブルートゥース(登録商標)ローカルネットワークタイプの無線リンクを介した無人機とのデータの双方向のやりとりのために必要とされる様々な制御要素を組み込む。これらの装置には、無人機のフロントカメラによって捕捉された画像を表示するタッチスクリーンが更に設けられ、この場合、このタッチスクリーン上にはユーザの指を単に接触させることによってコマンドを起動させるための特定数の記号が重ね合わされる。
無人機のフロントビデオカメラは、特に、「没入モード」又はFPV(First−Person View(一人称視点))操縦、すなわち、ユーザがあたかも自分自身で無人機に乗っているかのような同じ態様でカメラの画像を用いる操縦のために使用され得る。また、フロントビデオカメラは、無人機が向かう現場の一連の画像を捕捉する役目を果たしてもよい。そのため、ユーザは、カメラ又はカムコーダーと同じ方法で無人機を使用でき、このカメラ又はカムコーダーは、手で保持されるのではなく、無人機によって支持される。収集された画像は、記録され、放送され、オンラインでビデオホスティングウェブサイトに置かれ、他のインターネットユーザへ送られ、ソーシャルネットワーク等で共有され得る。
出願人により販売されるBebop Droneシステムにおいて、ユーザは、無人機により撮られる画像をSkycontrollerという名で販売される地上局で直接に視覚化するとともに、地上局に備えられるiPad型のタブレットのタッチインタフェースを用いてカメラの視野角を制御することができる。この視野角コマンドは、魚眼型のカメラにより撮られる画像に適用されるデジタルフレーミング及び歪み補正処理に作用して、左、右、上、及び、下へ向かうカメラの軸の物理的な動きをシミュレートする。
また、地上局は、没入モードでの操縦のためのFPVメガネの接続のためのビデオ出力を有する。
しかしながら、この没入モードは、ユーザの位置、特にユーザの頭の位置を考慮に入れることなく表示画像がユーザのタッチコマンドにのみ依存する限りにおいては、その限界に達する。
本発明は、無人機、地上操縦局、及び、FPVメガネを含むシステムにおいて、ユーザが特に簡単で直観的な困惑しない態様でビデオ画像におけるレンダリングされる画像のフレーミングを変更できるようにしつつ無人機を自然に案内できるようにすることを目的とする。
米国特許第8903568号明細書は、ユーザの頭の動き、メガネ又はユーザにより着用されるヘッドセットに取り付けられるセンサにより検出される動きに応じて無人機又はカメラを支持する方向付け可能なクレードルを操縦することを提案する。したがって、ユーザは、自分の頭を片側に或いは上又は下へ回転させることにより、無人機の姿勢又はカメラの方向の変化を制御できる。
しかしながら、このシステムは、ユーザが頭を含めた自分の全身と共にコンソールを無人機の方へ回転させて例えばこの無人機の移動をたどるときに無人機の姿勢又はカメラの方向の突然の変化を避けられない。実際に、そのような回転は、それがユーザの意思ではなかったとはいえ、コマンドを生成するようになっている回転としてシステムにより解釈され、それにより、ユーザは自分のマークを急速に見失い、無人機を望まれる方向に操縦することが不可能になる。
そのようなことが、本発明が解決しようと試みる課題である。
その目的のため、本発明は、前述した米国特許第8903568号明細書に開示される一般型の無人機操縦システム、すなわち、撮像手段が設けられている無人機と無線リンクを介して無人機と通信する地上局とを備える無人機操縦システムを提案する。地上局は、無線リンクの質を維持するために無人機に向けられるようになっているコンソールと、撮像手段によって撮られて無線リンクを介して無人機から送信される画像をレンダリングする仮想現実メガネとを備える。システムは、地上局から受信されたフレーミング命令に応じて撮像手段により撮られる画像のフレーミングを変更するための手段を更に備える。
本発明の特徴として、システムは、
−メガネの方向とコンソールの方向との間の角度差を周期的に精緻化するための相対方向決定手段と、
−前記角度差に応じて無人機のためのフレーミング命令を精緻化するための手段と、
を更に備える。
−メガネの方向とコンソールの方向との間の角度差を周期的に精緻化するための相対方向決定手段と、
−前記角度差に応じて無人機のためのフレーミング命令を精緻化するための手段と、
を更に備える。
したがって、システムは、コンソールに対して、したがってコンソールが保持される及び/又は締結されるユーザの全身に対してユーザの頭がヨー軸の周りで(横方向に)、好ましくはピッチ軸の周りでも(上下に)回転するときにだけフレーミングを引き起こし、ユーザがコンソールを自分の全身と共に頭を含めて回転させるときにフレーミングを引き起こさない。
また、システムは、随意的には、個別に或いは当業者が技術的に適合するものとして認識する任意の組み合わせにしたがって解釈される以下の有利な特徴も備える。
−相対方向決定手段は、地上局と関連付けられる慣性ユニットと、コンソールの方向を基準に対して決定するための処理手段とを備える;
−コンソールと関連付けられる慣性ユニットが磁力計を備え、基準が磁北により構成される;
−相対方向決定手段は、メガネと関連付けられる慣性ユニットと、メガネの方向を基準に対して決定するための処理手段とを備える;
−メガネと関連付けられる慣性ユニットが磁力計を備え、基準が磁北により構成される;
−方向決定手段は、メガネで生成される、速度及び/又は加速度データの積分によってメガネの方向を推定するための手段と、コンソールとメガネとの間の方向の物理的な対応が操作者によって引き起こされるときにコンソールの方向とメガネの推定された方向との間のオフセットを決定するための初期化手段と、推定された方向及びオフセットからメガネの補正された方向を決定するための手段とを備える;
−相対方向決定手段は、コンソールの方向及びメガネの方向の角度値間を差し引く手段を備える;
−コンソールの方向及びメガネの方向が少なくとも1つのヨー方向及び/又はピッチ方向を備える;
−フレーミング変更手段は、撮像手段により撮られる魚眼タイプの固定のビデオ画像をフレーミングして修正するためのデジタル処理手段を備える;
−システムは、仮想現実メガネでレンダリングされる画像に対して無人機方向標識(インジケータ)を重ね合わせるための手段を更に備える。
−相対方向決定手段は、地上局と関連付けられる慣性ユニットと、コンソールの方向を基準に対して決定するための処理手段とを備える;
−コンソールと関連付けられる慣性ユニットが磁力計を備え、基準が磁北により構成される;
−相対方向決定手段は、メガネと関連付けられる慣性ユニットと、メガネの方向を基準に対して決定するための処理手段とを備える;
−メガネと関連付けられる慣性ユニットが磁力計を備え、基準が磁北により構成される;
−方向決定手段は、メガネで生成される、速度及び/又は加速度データの積分によってメガネの方向を推定するための手段と、コンソールとメガネとの間の方向の物理的な対応が操作者によって引き起こされるときにコンソールの方向とメガネの推定された方向との間のオフセットを決定するための初期化手段と、推定された方向及びオフセットからメガネの補正された方向を決定するための手段とを備える;
−相対方向決定手段は、コンソールの方向及びメガネの方向の角度値間を差し引く手段を備える;
−コンソールの方向及びメガネの方向が少なくとも1つのヨー方向及び/又はピッチ方向を備える;
−フレーミング変更手段は、撮像手段により撮られる魚眼タイプの固定のビデオ画像をフレーミングして修正するためのデジタル処理手段を備える;
−システムは、仮想現実メガネでレンダリングされる画像に対して無人機方向標識(インジケータ)を重ね合わせるための手段を更に備える。
ここで、添付図面を参照して、無人機と地上局との間の画像送信のための本発明に係るシステムの典型的な実施形態について説明する。図面中、図の全体にわたって同じ参照符号が同一の或いは機能的に同様の要素を示す。
ここで、本発明の装置の典型的な実施形態について説明する。
本発明に係る没入撮像(First−Person View)システムは、少なくとも1つの撮影カメラが装備された無人機と、適切なレンジの無線リンクを介して無人機と通信する地上局と、想定し得る最も現実的な方法で無人機に乗って飛んでいる感覚(前記First−Person ViewすなわちFPVモードにおける飛行)をユーザに与える画像をユーザの眼の前方にレンダリングするための手段が設けられている仮想現実メガネとを備える。
この例において、無人機は、魚眼型レンズを有する単一のカメラを備えるが、変形として、一組のカメラと、搭載位置され及び/又は地上局に設けられて様々なカメラの画像を組み合わせることができるようにするデジタル処理手段とを含むことができる。
図1において、参照符号10は、全体として、無人機、例えばフランスのパリにあるParrot SAのBebopモデルなどのクワドリコプター型の飛行無人機を示す。この無人機は4つの同一平面内ロータ12を含み、これらのロータのモータは、組み込まれたナビゲーション及び姿勢制御システムによって独立に操縦される。また、無人機は、該無人機が向けられている風景のビデオ画像を得ることができるようにする正面視カメラ14、例えば、魚眼型の広角レンズと関連付けられる30fps(フレーム/秒)のビデオフローのリフレッシュレートを伴う解像度1920×1080のCMOSセンサを有する高精細度カメラも含む。
また、無人機は、以下で分かるように、無人機により撮られる画像をユーザが見たいと思う方向に応じてリアルタイムで或いはほぼリアルタイムでフレーミングするようになっている画像処理・補正手段も有する。
無人機は、タブレット18と関連付けられる遠隔制御コンソール20を備える地上局16によって操縦される。
タブレット18は、無人機10を操縦するとともに搭載カメラ14により撮られる画像を視覚化するための適用可能ソフトウェアモジュールが搭載された、視覚化スクリーン22を含む、例えばiPadタイプ(登録商標)又は同様のタイプの従来のタブレットである。また、タブレット18には、例えばWi−Fiタイプのデータ交換無線インタフェースが設けられている。このタブレットは、適用可能ソフトウェアモジュールの搭載を除いて変更されない標準モデルのタブレットである。
タブレット18のスクリーン22は、無人機の搭載カメラ14により捉えられた風景の画像を、様々なナビゲーションパラメータの制御を可能にする特定数の記号と共に重ね合わせて表示する。このスクリーンは、該スクリーンに表示される記号上に操作者の指を単に接触させるだけで操縦コマンドの起動(上/下移動、姿勢制御等)を可能にするタッチスクリーンである。これらの動作は、該動作をデータ交換Wi−Fiインタフェースにより送られて無人機に対して意図されるコマンド信号へと変換する適用可能ソフトウェアによって解釈される。
逆に、無人機10からきてWi−Fiインタフェースによって受信された飛行データは、適用可能ソフトウェアへ供給されて、該ソフトウェア内で処理され、場合によりタブレットのスクリーン22上に表示される。
しかしながら、タブレットのタッチスクリーンからのコマンドの生成は、ここでは、補助的にのみ使用され、コンソール20の様々なボタンやレバーに対する作用によって異なるコマンドが複製されて補完される。
より正確には、コンソール20は、操作者の前方でタブレット18をコンソールに締結できるようにする支持体24を含み、それにより、操作者は、スクリーン22の表面の全体を見ることができる。コンソール20の本体は両側がハンドル26によって延在され、これらのハンドル26には、操作者の指が届く範囲内に配置された「ジョイスティック」タイプのレバー28やボタン30などの様々な制御部材が設けられ、各制御部材は特定のコマンド(離陸/着陸、スタートポイントに戻る、カメラにより捉えられた風景の記録動作の起動など)と関連付けられる。また、コンソール20には、様々な発光表示器32(無人機バッテリのレベル、進捗状況の記録など)、及び、タブレットのビジュアルディスプレイスクリーン22に代わる手段として使用できる、例えば一体型スクリーンを伴う仮想現実メガネのような付属品の差し込みを可能にする接続装置(図示せず)も設けられている。変形として、付属品は、無線通信を介してコンソールと通信できる。
また、コンソール20には、ロングレンジ指向性の指向性Wi−Fiアンテナ34も設けられ、操作者は、自分が遠隔制御コンソール20を手にするときにアンテナを無人機の方へ向ける。このWi−Fiリンクは、特に、無人機10に対して意図される操縦制御、没入状態にあるユーザがカメラ14により撮られる風景を見たいと思う方向の角度成分データ(後述する)を無人機へ向けて伝えるとともに、ここでは前述の処理手段により無人機でフレーミングされるカメラから来るビデオ画像を無人機から伝える。
最後に、コンソール20には、好ましくは3軸加速度計、3軸磁力計、及び、3軸ジャイロメータを備える慣性ユニット38が設けられている。
図2a及び図2bを参照すると、コンソール20が示され、この場合、双方向通信チャネルを構成する前述したような有線リンク又は無線リンクを介して仮想現実メガネ40がコンソールに接続される。
例えば、メガネは、HDMI及び/又はUSB有線リンクを介してコンソール20に接続される米国のカリフォルニア州のメンロパークにあるOculus社により販売されるOcuus−Rift(登録商標)タイプのもの、或いは、Zeiss VR One(登録商標)タイプのメガネであり、これらのメガネは、タブレット18に取って代わる携帯電話を組み込み、このとき、コンソール20とのリンクは無線リンクである。
コンソール20は、メガネがビデオ画像を表示するようにアップリンク方向でメガネ40と通信するようになっている。最も簡単な実施形態において、この画像は、タブレットの視覚化スクリーン22上に表示される画像のコピーである。
メガネ40は、この第1の実施形態では、参照符号42により概略的に示される慣性ユニットを備え、この慣性ユニットは、それ自体知られる態様で、3軸ジャイロメータ、3軸加速度計、及び、3軸磁力計を備える。
本発明によれば、無人機10のカメラ14によりレンダリングされる画像のフレーミングを制御するために、慣性ユニットにより供給される測度量がダウンリンク通信チャネルによってコンソール20へ送信される。
本発明の一般的な原理は、ユーザが自分の頭を回転させるときに、慣性ユニット42により与えられる信号を使用して、頭の動きを決定するとともに、その動きから好ましくはピッチ角成分(上方、下方)及びヨー角成分(左へ向かう、右へ向かう)から成る頭の回転角度を推定することにある。
コンソールは、無人機10のこれらの2つの角度成分の値を送信し、それにより、無人機は、そのカメラ14により撮られる広角画像のフレーミング及び補正の処理を行って、ユーザの頭が回転される方向に対してレンダリング画像を適合させる。
しかしながら、そうは言っても、この機能性には問題がある。実際に、前述した無人機10及び地上局16のシステムは、コンソールのアンテナ34が少なくともほぼ無人機の方向に適切に方向付けられることを課す。これは、無人機が移動するときに地上局16を支持するユーザの全身、したがってユーザの頭を回転させて無人機の位置をたどるようにユーザを導く。
このとき、そのような回転が左又は右に目を向ける及び/又は上方又は下方に目を向けるための頭の回転としてシステムにより解釈されることが避けられなければならない。
したがって、画像のフレーミングがコンソールを伴うユーザの全身の回転に従った場合には、ユーザが自分のマークを急速に緩め、無人機を望まれる方向に操縦することが不可能になる。本発明によれば、無人機のカメラ14により撮られる画像のフレーミングを変更するために、システムは、仮想現実メガネ40とコンソール20との間の相対角度位置をヨー方向及びピッチ方向で決定し、これらのデータに基づいて画像のフレーミングを制御する。
ここで、その目的のために実施される様々な動作を図3を参照して説明する。
まず始めに、ステップ302において、システムは、地上局に接続されるメガネ40が(磁北に対する)メガネの絶対方向を決定する自律手段、すなわち、磁力計及び加速度計、及び、場合によってはジャイロメータが設けられている慣性ユニットを備えるかどうかを決定する。それが肯定的である場合、ステップ304において、磁力計から来るデータが、加速度計データを用いて得られる重力の情報へ投影され、それにより、ステップ306において、メガネの方向をピッチ方向及びヨー方向の両方で決定することができる。
これらのデータは、ダウンリンク通信チャネルを介して地上局16へ送信される。地上局では、コンソール20に組み込まれる慣性ユニット38のデータがステップ308で使用され、それにより、ステップ310において、磁北に対するコンソールの方向の値が生成される。ステップ312では、メガネの方向の値がダウンリンク送信チャネルから収集され、また、ステップ314では、コンソールの方向の値からメガネの方向の値が差し引かれる。
この差がゼロから例えば数度のエラー率の範囲内までである場合(図2aの場合)、それは、ユーザが自分の前方の右を見ること、及び、カメラにより撮られる魚眼画像のフレーミングがカメラの光軸上で、すなわち、中心付けられた態様でなされることを意味する。これは、カメラの光軸と無人機10の移動の主軸、したがって画像の光学中心とに対応する例えば円としての無人機方向標識CDの画像に重ね合わせてディスプレイにより図2aの上部に示される。この標識は、ここでは、(タブレット18のディスプレイ22上及びメガネ44のディスプレイ上の両方に)表示される画像に中心づけられる。
図2bに示されるようにユーザが自分の身体を回転させることなく自分の頭を左の方へ回転させた(したがって、コンソールの方向が変化していない)場合、ステップ314は、メガネ方向とコンソールの方向との間の対応する差を決定する。この差が実体化され、ここでは、この場合、差のピッチ方向の角度成分及び差のヨー方向の角度成分によって、方向がピッチ方向及びヨー方向の両方で決定され、また、ステップ316においてこれらの成分が無人機10へ送られ、それにより、無人機における画像処理は、カメラ14により撮られる魚眼画像の対応するフレーミングを確保し、このフレーミングされた画像が地上局16へ送られ、地上局自体はその画像を仮想現実メガネ40へ送信する。
これは、ディスプレイ装置22上及びメガネ40上に表示されるフレーミングされた画像が全体的に無人機方向標識CDの左側に位置されるという事実によって図2bの上部に示される。
先のステップで説明された方向差測定は、規則正しい間隔で、例えば10〜100回/秒の間隔で行われ、それにより、毎回、カメラ14により撮られる画像のフレーミングが調整されるとともに、地上局16上及びメガネ40上のフレーミングされた画像がレンダリングされる。
一方、ユーザの全身及び頭並びに地上局16が同じユニットとして回転する(特に、無人機10へ向かうアンテナ34の方向を調整するために)と、それは画像のフレーミングを引き起こさない。
ここで、仮想現実メガネが磁力計を備えない場合に使用できる本発明の別の実施形態について説明する。
この実施は、例えば、タブレット18に搭載のソフトウェアにメガネタイプ認識モジュールを設けることによって成されてもよく、このメガネタイプ認識モジュールから、システムは、何れのタイプの位置及び/又は動き及び/又は加速度検出手段が地上局16に接続されるメガネ(それら自体、本質的に従来の態様で、機器タイプの不変の識別子を有する)に備わるのかを決定できる。
そのため、ここでは、前述したプロセスとは異なり、異なるモデルのこの時点で、接続されたメガネがジャイロメータ及び加速度計を備えるが磁力計を備えない(ステップ318)ことをステップ302が決定してしまっている。
この場合、システムがメガネにおける絶対方向を決定できないことが理解される。
この場合、システムは、加速度計から及びジャイロメータから来る情報の時間積分を行うことによってメガネの方向の推定を周期的に行う(ステップ320)。
ステップ322では、初期化が行われ、この初期化にしたがって、メガネの方向(頭の方向によって決定される)をコンソール20の方向と合わせた後にコンソール20のボタン(又はタブレット18の決定された接触領域)を押すことがユーザに求められる。
この瞬間に、メガネ40の推定された方向とこの時点で測定されるコンソール20の方向との間の差がオフセット値としての役目を果たすように決定されて測定される(ステップ324)。
その後、ステップ306では、依然としてステップ320で得られるメガネの方向の推定値に対するステップ324で決定されるオフセットの適用によって現在の方向の値が計算される。
その後、プロセスが前述したように続く。
当然のことながら、本発明は、説明されて図示された実施形態に限定されず、また、当業者は、それらの実施形態の多くの変形及び修正を行うことができる。特に、
−本発明は、ホバリングする或いはしない、検査用、レジャー用、又は、他の目的のための様々なタイプの無人機に適用される;
−本発明は、慣性ユニット、又は、少なくとも1つの加速度計及び1つのジャイロメータ(2軸又は3軸)を組み込む、或いは、慣性ユニット、又は、少なくとも1つの加速度計及び1つのジャイロメータ(2軸又は3軸)を有する別個のモジュールが固定される、任意のタイプの仮想現実メガネに適用される;
−コンソールに対する頭の位置に応じた画像のフレーミングは、少なくともヨー角にしたがって行われ、好ましくはヨー角及びピッチ角にしたがって行われ、また、場合によっては、ロール角も考慮に入れて行われる。
−画像のフレーミングは、ビデオカメラ14により撮られる魚眼画像からの、ソフトウェアタイプのものであってもよく(それ自体知られた態様で、曲線の補正の処理を伴う)、或いは、ハードウェアタイプのものであってもよく、このとき、カメラは例えば電動クレードルに取り付けられ、カメラの光学的視野角は、ステップ316で地上局から受信されたヨー方向及びピッチ方向の角度成分に応じて調整される;
−無人機には、単一のカメラが設けるのではなく、異なる光学的視野角を有する同一又は異なる解像度の一組のカメラが設けられ、それらの画像は、メガネ40で及び必要に応じてディスプレイ装置22上で表示される画像を生成するために組み合わされる;
−コンソールに対するユーザの頭の角度に応じた画像フレーミング及び補正の処理動作は、無人機で、地上局で行われてもよく、或いは、これらの両方の間で分配されてもよく、また、仮想現実メガネがそのような能力を備えるデジタル処理手段を有する場合には、これらの処理動作の一部がメガネによって扱われてもよい;
−仮想現実メガネは、専用の表示システム、或いは、メガネに加えられるスマートフォン又はタブレットなどの市場で入手できるスマート端末を含んでもよい。
−本発明は、ホバリングする或いはしない、検査用、レジャー用、又は、他の目的のための様々なタイプの無人機に適用される;
−本発明は、慣性ユニット、又は、少なくとも1つの加速度計及び1つのジャイロメータ(2軸又は3軸)を組み込む、或いは、慣性ユニット、又は、少なくとも1つの加速度計及び1つのジャイロメータ(2軸又は3軸)を有する別個のモジュールが固定される、任意のタイプの仮想現実メガネに適用される;
−コンソールに対する頭の位置に応じた画像のフレーミングは、少なくともヨー角にしたがって行われ、好ましくはヨー角及びピッチ角にしたがって行われ、また、場合によっては、ロール角も考慮に入れて行われる。
−画像のフレーミングは、ビデオカメラ14により撮られる魚眼画像からの、ソフトウェアタイプのものであってもよく(それ自体知られた態様で、曲線の補正の処理を伴う)、或いは、ハードウェアタイプのものであってもよく、このとき、カメラは例えば電動クレードルに取り付けられ、カメラの光学的視野角は、ステップ316で地上局から受信されたヨー方向及びピッチ方向の角度成分に応じて調整される;
−無人機には、単一のカメラが設けるのではなく、異なる光学的視野角を有する同一又は異なる解像度の一組のカメラが設けられ、それらの画像は、メガネ40で及び必要に応じてディスプレイ装置22上で表示される画像を生成するために組み合わされる;
−コンソールに対するユーザの頭の角度に応じた画像フレーミング及び補正の処理動作は、無人機で、地上局で行われてもよく、或いは、これらの両方の間で分配されてもよく、また、仮想現実メガネがそのような能力を備えるデジタル処理手段を有する場合には、これらの処理動作の一部がメガネによって扱われてもよい;
−仮想現実メガネは、専用の表示システム、或いは、メガネに加えられるスマートフォン又はタブレットなどの市場で入手できるスマート端末を含んでもよい。
Claims (10)
- 撮像手段(14)が設けられている無人機(10)と無線リンクを介して前記無人機と通信する地上局(16,40)とを備える無人機没入型操縦システムであって、
前記地上局は、前記無線リンクの質を維持するために前記無人機に向けられるようになっているコンソール(20)と、前記撮像手段によって撮られ且つ前記無線リンクを介して前記無人機から送信される画像をレンダリングする仮想現実メガネ(40)とを備え、
前記システムは、前記地上局から受信されたフレーミング命令に応じて前記撮像手段(14)により撮られる画像のフレーミングを変更するための手段を更に備え、
前記システムは、
前記メガネの方向と前記コンソールの方向との間の角度差を周期的に精緻化するための相対方向決定手段(302−324)と、
前記角度差に応じて前記無人機のためのフレーミング命令を精緻化するための手段(316)と、
を更に備える、無人機没入型操縦システム。 - 前記相対方向決定手段は、前記地上局と関連付けられる慣性ユニット(38)と、基準に対する前記コンソールの方向を決定するための処理手段と、を備える請求項1に記載のシステム。
- 前記コンソールと関連付けられる前記慣性ユニット(38)が磁力計を備え、
前記基準が前記磁北により構成される請求項2に記載のシステム。 - 前記相対方向決定手段は、前記メガネと関連付けられる慣性ユニット(42)と、基準に対するメガネの方向を決定するための処理手段と、を備える請求項2に記載のシステム。
- 前記メガネと関連付けられる前記慣性ユニット(42)が磁力計を備え、前記基準が前記磁北により構成される請求項4に記載のシステム。
- 前記方向決定手段は、前記メガネで生成される、速度及び/又は加速度データの積分によって前記メガネの方向を推定するための手段(320)と、前記コンソールと前記メガネとの間の方向の物理的な対応が操作者によって引き起こされるときにコンソールの方向と前記メガネの推定された方向との間のオフセットを決定するための初期化手段(322)と、前記推定された方向及び前記オフセットから前記メガネの補正された方向を決定するための手段(324)とを備える請求項2に記載のシステム。
- 前記相対方向決定手段は、前記コンソールの方向と前記メガネの方向の角度値の間の減算の手段(314)を備える請求項2に記載のシステム。
- 前記コンソールの方向及び前記メガネの方向が少なくとも1つのヨー方向及び/又はピッチ方向を備える請求項1に記載のシステム。
- 前記フレーミング変更手段は、前記撮像手段(14)により撮られる魚眼タイプの固定のビデオ画像をフレーミングして修正するためのデジタル処理手段を備える請求項1に記載のシステム。
- 前記仮想現実メガネでレンダリングされる前記画像に対して無人機方向標識(CD)を重ね合わせるための手段を更に備える請求項1に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1553091 | 2015-04-10 | ||
FR1553091A FR3034681B1 (fr) | 2015-04-10 | 2015-04-10 | Systeme de pilotage de drone en immersion. |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016199261A true JP2016199261A (ja) | 2016-12-01 |
Family
ID=53794317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016077922A Withdrawn JP2016199261A (ja) | 2015-04-10 | 2016-04-08 | 無人機没入型操縦システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9738382B2 (ja) |
EP (1) | EP3078402B1 (ja) |
JP (1) | JP2016199261A (ja) |
CN (1) | CN106054870A (ja) |
FR (1) | FR3034681B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044084A1 (ja) * | 2017-08-29 | 2019-03-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10666941B1 (en) * | 2016-04-06 | 2020-05-26 | Ambarella International Lp | Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection |
US10474148B2 (en) * | 2016-07-27 | 2019-11-12 | General Electric Company | Navigating an unmanned aerial vehicle |
US10179607B2 (en) * | 2016-08-03 | 2019-01-15 | Aptiv Technologies Limited | Lane keeping system for autonomous vehicle in wind conditions using vehicle roll |
CN106357324B (zh) * | 2016-11-15 | 2022-08-02 | 广州亿航智能技术有限公司 | 一种无人机系统及该系统的通信连接方法和装置 |
DE102016125459B3 (de) * | 2016-12-22 | 2018-05-03 | Spintower Kg | Bilderfassungsverfahren auf einem Bilderfassungssystem |
US10784719B2 (en) | 2017-01-13 | 2020-09-22 | Intel Corporation | Wirelessly powered unmanned aerial vehicles and tracks for providing wireless power |
CN106774435A (zh) * | 2017-01-20 | 2017-05-31 | 亿航智能设备(广州)有限公司 | 一种无人机的高精度跟随方法及其系统 |
US10687050B2 (en) | 2017-03-10 | 2020-06-16 | Qualcomm Incorporated | Methods and systems of reducing latency in communication of image data between devices |
WO2018185806A1 (ja) * | 2017-04-03 | 2018-10-11 | 株式会社Orso | 情報処理装置、プログラム及び方法 |
CN106898187B (zh) * | 2017-04-17 | 2019-05-24 | 金陵科技学院 | 一种旋翼无人机用起飞降落训练平台 |
US10939038B2 (en) * | 2017-04-24 | 2021-03-02 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
CN109076193A (zh) * | 2017-11-07 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 全景图像显示方法和系统、全景图像处理方法和地面站 |
CN108295469B (zh) * | 2017-12-04 | 2021-03-26 | 成都思悟革科技有限公司 | 基于动作捕捉技术的游戏视角转换方法 |
US10798455B2 (en) | 2017-12-22 | 2020-10-06 | Comcast Cable Communications, Llc | Video delivery |
US10390063B2 (en) | 2017-12-22 | 2019-08-20 | Comcast Cable Communications, Llc | Predictive content delivery for video streaming services |
TWI655409B (zh) * | 2018-03-12 | 2019-04-01 | 國立高雄科技大學 | Route planning method for aerial photography using multi-axis unmanned aerial vehicles |
USD948507S1 (en) * | 2018-05-30 | 2022-04-12 | Parrot Drones | Remote control for drone |
DE102019100056A1 (de) | 2019-01-03 | 2020-07-09 | Manuel-René Gernaert | Steuerungsvorrichtung zum Steuern von realen oder virtuellen Flugobjekten |
CN110531789B (zh) * | 2019-09-25 | 2022-01-25 | 成都飞机工业(集团)有限责任公司 | 一种固定翼无人机地面引导控制手持设备 |
CN113160615B (zh) * | 2021-03-03 | 2022-11-29 | 上海凌苇智能科技合伙企业(有限合伙) | 一种基于ar技术实现无人机起飞前安全检测方法及系统 |
US11721030B2 (en) * | 2021-06-10 | 2023-08-08 | Sony Group Corporation | Method of autonomous hierarchical multi-drone image capturing |
USD1015444S1 (en) * | 2021-06-25 | 2024-02-20 | Parrot Drones | Remote control for drone |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5240207A (en) * | 1992-08-03 | 1993-08-31 | The United States Of America As Represented By The Secretary Of The Navy | Generic drone control system |
US5610678A (en) * | 1993-12-30 | 1997-03-11 | Canon Kabushiki Kaisha | Camera including camera body and independent optical viewfinder |
US7312766B1 (en) * | 2000-09-22 | 2007-12-25 | Canadian Space Agency | Method and system for time/motion compensation for head mounted displays |
JP4012749B2 (ja) * | 2002-03-14 | 2007-11-21 | 国立大学法人 奈良先端科学技術大学院大学 | 遠隔操縦システム |
FR2938774A1 (fr) * | 2008-11-27 | 2010-05-28 | Parrot | Dispositif de pilotage d'un drone |
FR2957266B1 (fr) * | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
CN102043410A (zh) * | 2010-09-30 | 2011-05-04 | 清华大学 | 操纵人员头部运动指示无人机云台伺服系统 |
WO2012154938A1 (en) * | 2011-05-10 | 2012-11-15 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
WO2014007873A2 (en) * | 2012-03-20 | 2014-01-09 | Wagreich David | Image monitoring and display from unmanned vehicle |
US9210413B2 (en) * | 2012-05-15 | 2015-12-08 | Imagine Mobile Augmented Reality Ltd | System worn by a moving user for fully augmenting reality by anchoring virtual objects |
US9268136B1 (en) * | 2012-09-28 | 2016-02-23 | Google Inc. | Use of comparative sensor data to determine orientation of head relative to body |
US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
EP2933707B1 (en) * | 2014-04-14 | 2017-12-06 | iOnRoad Technologies Ltd. | Head mounted display presentation adjustment |
KR102165450B1 (ko) * | 2014-05-22 | 2020-10-14 | 엘지전자 주식회사 | 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법 |
FR3035523B1 (fr) * | 2015-04-23 | 2017-04-21 | Parrot | Systeme de pilotage de drone en immersion |
-
2015
- 2015-04-10 FR FR1553091A patent/FR3034681B1/fr not_active Expired - Fee Related
-
2016
- 2016-03-31 US US15/087,825 patent/US9738382B2/en not_active Expired - Fee Related
- 2016-04-07 EP EP16164302.8A patent/EP3078402B1/fr not_active Not-in-force
- 2016-04-08 CN CN201610217313.1A patent/CN106054870A/zh not_active Withdrawn
- 2016-04-08 JP JP2016077922A patent/JP2016199261A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044084A1 (ja) * | 2017-08-29 | 2019-03-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11609428B2 (en) | 2017-08-29 | 2023-03-21 | Sony Corporation | Information processing apparatus and information processing method |
Also Published As
Publication number | Publication date |
---|---|
US20160297522A1 (en) | 2016-10-13 |
FR3034681A1 (fr) | 2016-10-14 |
CN106054870A (zh) | 2016-10-26 |
EP3078402A1 (fr) | 2016-10-12 |
FR3034681B1 (fr) | 2017-05-12 |
US9738382B2 (en) | 2017-08-22 |
EP3078402B1 (fr) | 2017-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016199261A (ja) | 無人機没入型操縦システム | |
US9886033B2 (en) | System for piloting a drone in immersion | |
US9747725B2 (en) | Video system for piloting a drone in immersive mode | |
EP3650932B1 (en) | Camera system using stabilizing gimbal | |
CN104781873B (zh) | 图像显示装置、图像显示方法、移动装置、图像显示系统 | |
US9555897B2 (en) | Rotary-wing drone provided with a video camera delivering stabilized sequences of images | |
JP6234679B2 (ja) | 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法 | |
US20180143636A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
US20180095469A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
CN108769531B (zh) | 控制拍摄装置的拍摄角度的方法、控制装置及遥控器 | |
US20140008496A1 (en) | Using handheld device to control flying object | |
JP2016174360A (ja) | 飛行型または転動型ドローンに対する遠隔制御デバイスの向きを最適化する方法 | |
JP2013144539A (ja) | 遠隔制御装置によって無人機を直観的に操縦するための方法 | |
US20180024557A1 (en) | Autonomous system for taking moving images, comprising a drone and a ground station, and associated method | |
JP4012749B2 (ja) | 遠隔操縦システム | |
JP2011189929A (ja) | 無人機、特に回転翼無人機を遠隔制御するための方法および機器 | |
JP6734400B2 (ja) | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 | |
JP2017208802A (ja) | ドローンのビデオを符号化および復号する方法ならびに関連するデバイス | |
EP3261405A1 (fr) | Réseau local pour l'échange simultané de données entre un drone et une pluralité de terminaux utilisateur | |
JP6744033B2 (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
JP7024997B2 (ja) | 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法 | |
WO2018020853A1 (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190627 |