JP2016203978A - 無人機を没入状態で操縦するためのシステム - Google Patents
無人機を没入状態で操縦するためのシステム Download PDFInfo
- Publication number
- JP2016203978A JP2016203978A JP2016085752A JP2016085752A JP2016203978A JP 2016203978 A JP2016203978 A JP 2016203978A JP 2016085752 A JP2016085752 A JP 2016085752A JP 2016085752 A JP2016085752 A JP 2016085752A JP 2016203978 A JP2016203978 A JP 2016203978A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- console
- orientation
- angle
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 239000011521 glass Substances 0.000 claims abstract description 24
- 238000009877 rendering Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 10
- 230000011664 signaling Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0033—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/12—Avionics applications
Abstract
【課題】無人機、地上操縦局、及び、FPVメガネを含むシステムにおいて、地上局と無人機との間の無線リンクを維持する方向に地上局が向けられるようにする。
【解決手段】地上局16は、無人機10へ向けて方向付けられて無人機と共に無線リンクの質を維持するようになっている指向性アンテナ34が設けられるコンソール20と、無人機のカメラ14によって撮られる画像をレンダリングする仮想現実メガネとを含む。システムは、コンソールの向きに対する無人機の位置を決定するための手段と、コンソールの向きに対する無人機の位置ずれの視覚表示を仮想現実メガネでレンダリングされる画像中に含めるための手段とを備える。操縦者が外部の実環境から分離されるが、操縦者は、この視覚表示に基づき、コンソールの指向性アンテナが無人機の方を適切に指すように、一般的には操縦者自身の向きを変えることにより、コンソールを再び方向付けすることができる。
【選択図】図1
【解決手段】地上局16は、無人機10へ向けて方向付けられて無人機と共に無線リンクの質を維持するようになっている指向性アンテナ34が設けられるコンソール20と、無人機のカメラ14によって撮られる画像をレンダリングする仮想現実メガネとを含む。システムは、コンソールの向きに対する無人機の位置を決定するための手段と、コンソールの向きに対する無人機の位置ずれの視覚表示を仮想現実メガネでレンダリングされる画像中に含めるための手段とを備える。操縦者が外部の実環境から分離されるが、操縦者は、この視覚表示に基づき、コンソールの指向性アンテナが無人機の方を適切に指すように、一般的には操縦者自身の向きを変えることにより、コンソールを再び方向付けすることができる。
【選択図】図1
Description
本発明は、クワッドリコプター又は同様のものなどの回転翼無人機に関する。
そのような無人機には、無人機を所定の姿勢及び速度で操縦するべく差別化された態様で制御され得るそれぞれのモータにより駆動される複数のロータが設けられる。
フランスのパリにあるParrot SAのAR.Drone 2.0又はBebop Droneがそのようなクワッドリコプターの典型的な例である。これらの無人機には、一連のセンサ(加速度計、3軸ジャイロメータ、高度計)と、無人機が方向付けられるシーンの画像を捕捉するフロントカメラと、上空から見た地上の画像を捕捉する垂直視野カメラとが設けられる。
国際公開第2010/061099号パンフレット及び欧州特許出願公開第2364757号明細書(Parrot SA)は、そのような無人機、及び、加速度計を組み込んだタッチスクリーンマルチメディア電話又はメディアプレーヤ、例えばiPhone型の携帯電話又はiPad型(米国アップル社の登録商標)のマルチメディアタブレットを通じた無人機の操縦原理について記載する。これらの装置は、操縦コマンドの検出のため及びWi−Fi(IEEE802.11)又はブルートゥース(登録商標)ローカルネットワークタイプの無線リンクを介した無人機とのデータの双方向のやりとりのために必要とされる様々な制御要素を組み込む。これらの装置には、無人機のフロントカメラによって捕捉された画像を表示するタッチスクリーンが更に設けられ、この場合、このタッチスクリーン上にはユーザの指を単に接触させるだけでコマンドを起動させるための特定数の記号が重ね合わされる。
無人機のフロントビデオカメラは、特に、「没入モ−ド」又はFPV(First−Person View(一人称視点))モードでの操縦、すなわち、ユーザがあたかも自分自身で無人機に乗っているかのような同じ態様でカメラの画像を用いる操縦のために使用され得る。また、フロントビデオカメラは、無人機が方向付けられるシーンの一連の画像を捕捉する役目を果たしてもよい。そのため、ユーザは、カメラ又はカムコーダーと同じ方法で無人機を使用でき、このカメラ又はカムコーダーは、手で保持されるのではなく、無人機によって支持される。収集された画像は、記録され、放送され、オンラインでビデオホスティングウェブサイトに置かれ、他のインターネットユーザへ送られ、ソーシャルネットワーク等で共有され得る。
出願人により販売されるBebop Droneシステムにおいて、ユーザは、無人機により撮られる画像をSkycontrollerという名で販売される地上局で直接に視覚化するとともに、地上局に備えられるiPad型のタブレットのタッチインタフェースを用いてカメラの視野角を制御することができる。この視野角コマンドは、魚眼型のカメラにより撮られる画像に適用されるデジタルフレーミング及び歪み補正処理に作用して、左、右、上、及び、下へ向かうカメラの軸の物理的な動きをシミュレートする。また、地上局は、没入モードでの操縦のためのFPVメガネの接続のためのビデオ出力を有する。
この没入モードは比類なき感覚を操縦者に与え、操縦者は、メガネでレンダリングされる画像を無人機の向きに対して左右に及び上下に方向付けることができる。しかし、同時に、没入モードにより、操縦者は、地上で操縦者を取り囲む現実との視覚的な接触を緩める。ここで、前述のタイプの無人機は、地上局と無人機との間の無線リンクの質を維持するために、地上局のアンテナを少なくとも無人機の方へほぼ向けたまま維持することを必要とするが、それを没入モードで行なうことは不可能である。
本発明は、無人機、地上操縦局、及び、FPVメガネを含むシステムにおいて、地上局と無人機との間の無線リンクを維持する或いは最適化する方向に地上局が向けられるようにすることを操縦者が確実に成せるようにすることを目的とする。
国際公開第99/05580号パンフレットは、無人機の遠隔操縦のための装置について記載し、この装置において、オペレータは、無人機から送信される画像及び操縦支援視覚表示をレンダリングするディスプレイスクリーンを有するアイシェイドを備えるヘッドセットを着用する。
欧州特許出願公開第2131443号明細書は、例えば制御車両に装着される、マルチアンテナ構成を用いた無人機の遠隔操縦のための装置について記載する。ディスプレイスクリーンは、地上に対する無人機の方向及び距離の計算に基づき、場合により、より良く方向付けられるアンテナの手動又は自動の新たな選択を可能にするべく、受信信号のレベルにより、いずれのアンテナがアクティブであるのかをオペレータに知らせる。
しかし、これらの2つの前述の文献のいずれも、操縦コンソールを手で保持する外部実環境から分離されたユーザを支援して、このコンソールのアンテナを少なくとも無人機の方へほぼ方向付けたまま維持し、この無人機との無線リンクの質を維持する、特に、指向性アンテナが無人機の方へ適切に向くように(一般的には操縦者自身の向きを変えることによって)コンソールと共にいずれの方向(右の方又は左の方など)に移動すべきかを操縦者に指示する、及び/又は、無線リンクの質が悪くなりやすい或いは更には無線リンクが失われるような位置に無人機がある状況に関して操縦者に警告するための視角手段を示唆していない。
この問題を解決するため、本発明は、前述した国際公開第99/05580号パンフレットからそれ自体知られる態様で、撮像手段が設けられる無人機と無線リンクを介して無人機と通信する地上局とを備える、没入状態で無人機を操縦するためのシステムを提案する。地上局は、無線リンクの質を維持するべく無人機に対して向けられるようになっている指向性アンテナを備えるコンソールと、撮像手段によって撮られて無線リンクを介して無人機から送信される画像をレンダリングし、且つレンダリングされた画像中に含まれる視覚表示をレンダリングする仮想現実メガネとを備える。本発明の特徴として、システムは、コンソールの向いている方向と無人機の方向との間の所定の角座標を決定するための手段と、角座標を減少させる方へとコンソールの向きを変える補正動作をコンソールのユーザが行なうことができるようにするため、コンソールの向きに対する無人機の位置ずれの表示を視覚表示中に含むようにこれらの決定手段に影響される手段であって、位置ずれのこの表示が前記決定された角座標に応じたものである、手段とを更に備える。
また、システムは、随意的には、個別に或いは当業者が技術的に適合するものとして認識する任意の組み合わせにしたがって解釈される以下の有利な特徴も備える。
−位置決定手段は、コンソールの向きを決定するための磁力計を備える;
−位置決定手段は、無人機及び地上局に設けられるGPS測位モジュールと、北の方向に対する、無人機及びコンソールを通る線に対応する無人機の方向を決定するための処理手段とを備える;
−角座標を決定するための手段は、コンソールの向首角及び前記無人機の方向の対応する角度を差し引くための手段を備える;
−位置決定手段は、コンソールの向きに対する無人機の角度位置と、前記コンソールの向きを中心にした角度セクタに対応する角度テンプレートとを比較するための手段を備え、角度テンプレート外では、無線リンクの質が悪くなりやすい或いは無線リンクが失われる;
−この後者の場合、無線リンクがアンテナの異なる指向性に対応する少なくとも2つのモードのうちの1つで動作するようになっている場合には、無線リンクのアクティブモードに応じて良好な受信の角度テンプレートを選択するための手段も設けられる;
−システムは、前記視覚表示を選択的に含む或いは含まないように無人機から受ける無線リンクの信号のレベルに影響される手段を更に備える;
−この後者の場合、前記視覚表示は、好適には、無人機の角度位置が角度テンプレート内に含まれるが信号のレベルが所定の閾値よりも低い場合に含まれ、また、無人機の角度位置が角度テンプレート内に含まれないが信号のレベルが所定の閾値よりも高い場合には含まれない;
−前記視覚表示は、良好な受信の角度テンプレートを表わす円のセクタと、絵文字とを伴った、コンソールと無人機との相対位置の視覚的な信号伝達を備え、絵文字の位置がテンプレートに対する無人機の角度位置を表わしている;
−この後者の場合、前記視覚表示は、コンソールの向きを無人機の方向へと至らせるためにコンソールにとって望ましい移動方向を指示するためにそれぞれが選択的に表示され得る一組の方向矢印を備え、前記方向矢印は、左へ向かう及び右へ向かう矢印及び/又は上へ向かう及び下へ向かう矢印を備える。
−位置決定手段は、コンソールの向きを決定するための磁力計を備える;
−位置決定手段は、無人機及び地上局に設けられるGPS測位モジュールと、北の方向に対する、無人機及びコンソールを通る線に対応する無人機の方向を決定するための処理手段とを備える;
−角座標を決定するための手段は、コンソールの向首角及び前記無人機の方向の対応する角度を差し引くための手段を備える;
−位置決定手段は、コンソールの向きに対する無人機の角度位置と、前記コンソールの向きを中心にした角度セクタに対応する角度テンプレートとを比較するための手段を備え、角度テンプレート外では、無線リンクの質が悪くなりやすい或いは無線リンクが失われる;
−この後者の場合、無線リンクがアンテナの異なる指向性に対応する少なくとも2つのモードのうちの1つで動作するようになっている場合には、無線リンクのアクティブモードに応じて良好な受信の角度テンプレートを選択するための手段も設けられる;
−システムは、前記視覚表示を選択的に含む或いは含まないように無人機から受ける無線リンクの信号のレベルに影響される手段を更に備える;
−この後者の場合、前記視覚表示は、好適には、無人機の角度位置が角度テンプレート内に含まれるが信号のレベルが所定の閾値よりも低い場合に含まれ、また、無人機の角度位置が角度テンプレート内に含まれないが信号のレベルが所定の閾値よりも高い場合には含まれない;
−前記視覚表示は、良好な受信の角度テンプレートを表わす円のセクタと、絵文字とを伴った、コンソールと無人機との相対位置の視覚的な信号伝達を備え、絵文字の位置がテンプレートに対する無人機の角度位置を表わしている;
−この後者の場合、前記視覚表示は、コンソールの向きを無人機の方向へと至らせるためにコンソールにとって望ましい移動方向を指示するためにそれぞれが選択的に表示され得る一組の方向矢印を備え、前記方向矢印は、左へ向かう及び右へ向かう矢印及び/又は上へ向かう及び下へ向かう矢印を備える。
ここで、添付図面を参照して、無人機と地上局との間の画像送信のための本発明に係るシステムの典型的な実施形態について説明する。図面中、図の全体にわたって同じ参照符号が同一の或いは機能的に同様の要素を示す。
ここで、本発明の装置の典型的な実施形態について説明する。
本発明に係る没入型撮像(First−Person View(一人称視点))システムは、少なくとも1つの撮影カメラが装備された無人機と、適切なレンジの無線リンクを介して無人機と通信する地上局と、想定し得る最も現実的な方法で無人機に乗って飛んでいる(First−Person ViewすなわちFPVモードと言われる飛行)感覚をユーザに与える画像をユーザの眼の前方にレンダリングするための手段が設けられる仮想現実メガネとを備える。
この例において、無人機は、魚眼型レンズを有する単一のカメラを備えるが、変形として、一組のカメラと、搭載位置される及び/又は地上局に設けられるとともに様々なカメラの画像を組み合わせることができるようにするデジタル処理手段とを含むことができる。
図1において、参照符号10は、全体として、無人機、例えばフランスのパリにあるParrot SAのBebopモデルなどのクワッドリコプター型の飛行無人機を示す。この無人機は4つの同一平面内ロータ12を含み、これらのロータのモータは、組み込まれたナビゲーション及び姿勢制御システムによって独立に操縦される。また、無人機は、該無人機が方向付けられるシーンのビデオ画像を得ることができるようにする正面視カメラ14、例えば、魚眼型の広角レンズと関連付けられる30fps(フレーム/秒)のビデオフローのリフレッシュレートを伴う解像度1920×1080のCMOSセンサを有する高精細度カメラも含む。
また、無人機は、以下で分かるように、無人機により撮られる画像をユーザが見たいと思う方向に応じてリアルタイムで或いはほぼリアルタイムでフレーミングするようになっている画像処理・補正手段も有する。
また、無人機10は、一定の間隔で取得されるそのGPS座標を体系的に或いは命令で処理して地上局へ供給するようになっているGPSモジュール15(図示せず)も備える。
無人機は、タブレット18と関連付けられる遠隔制御コンソール20を備える地上局16によって操縦される。
タブレット18は、無人機10を操縦するとともに搭載カメラ14により撮られる画像を視覚化するための適用可能ソフトウェアモジュールが搭載された、視覚化スクリーン22を備える、例えばiPadタイプ(登録商標)又は同様のタイプの従来のタブレットである。また、タブレット18には、例えばWi−Fiタイプのデータ交換無線インタフェースが設けられる。このタブレットは、適用可能ソフトウェアモジュールの搭載を除いて変更されない標準モデルのタブレットである。
タブレット18のスクリーン22は、無人機の搭載カメラ14により捉えられたシーンの画像を、様々なナビゲーションパラメータの制御を可能にする特定数の記号と共に重ね合わて表示する。このスクリーンは、該スクリーンに表示される記号(上/下移動、姿勢制御等)上に操作者の指を単に接触させるだけで操縦コマンドの起動を可能にするタッチスクリーンである。これらの動作は、データ交換Wi−Fiインタフェースにより送られて無人機に対して意図されるコマンド信号へと前記動作を変換する適用可能ソフトウェアによって解釈される。逆に、無人機10からきてWi−Fiインタフェースによって受ける飛行データは、適用可能ソフトウェアへ供給されて、該ソフトウェア内で処理され、場合によりタブレットのスクリーン22上に表示される。
タブレットのタッチスクリーンからのコマンドの生成は、ここでは、単に随意的にすぎず、コンソール20の様々なボタンやレバーに対する作用によって異なるコマンドが複製されて補完される。
より正確には、コンソール20は、操作者の前方でタブレット18をコンソールに締結できるようにする支持体24を含み、それにより、操作者は、スクリーン22の表面の全体を見ることができる。コンソール20の本体は両側がハンドル26によって延在され、これらのハンドル26には、操作者の指が届く範囲内に配置された「ジョイスティック」タイプのレバー28やボタン30などの様々な制御部材が設けられ、各制御部材は特定のコマンド(離陸/着陸、スタートポイントに戻る、カメラにより捉えられたシーンの記録動作の起動など)と関連付けられる。また、コンソール20には、様々な発光表示器32(無人機バッテリのレベル、進捗状況の記録、無人機から受ける無線信号の強度など)、及び、付属品の差し込みを可能にする接続装置(図示せず)も設けられ、付属品のうち、タブレットのビジュアルディスプレイスクリーン22に代わる手段として使用できる一体型スクリーンを伴う仮想現実メガネである。変形として、付属品は、無線通信を介してコンソールと通信できる。
また、コンソール20にはロングレンジ指向性Wi−Fiアンテナ34も設けられ、操作者は、自分が遠隔制御コンソール20を手で持っているときにアンテナ34を無人機10の方へ向ける。このWi−Fiリンクは、特に、無人機10に対して意図される操縦制御、没入状態にあるユーザがカメラ14により撮られるシーンを見たいと思う方向の角度成分データ(後述する)を無人機へ向けて伝えるとともに、ここでは前述の処理手段により無人機でフレーミングされるカメラからくるビデオ信号を無人機から伝える。好ましい実施形態において、無線リンクは、異なる送信特性及び指向性特性を伴って、2つの周波数帯域、例えば2.4GHz及び5.2GHzで動作する傾向がある。
また、コンソール20は、磁北に対するその向きを決定できるようにする磁力計、好ましくは3軸磁力計も備える。好適には、この磁力計は、好ましくは3軸加速度計、3軸ジャイロメータ、及び、前述の磁力計を備える、慣性ユニット38に属する。
コンソールは、特に以下で説明されるような目的のために、それ自体のGPS座標を配信できるGPSモジュール39を更に含む。
図2を参照すると、コンソール20が示され、この場合、双方向通信チャネルを構成する前述したような有線リンク又は無線リンクを介して仮想現実メガネ40がコンソールに接続される。
例えば、メガネは、HDMI及び/又はUSBリンクを介してコンソール20に接続される米国のカリフォルニア州のメンロパークにあるOculus社により販売されるOculus Rift(登録商標)タイプのもの、或いは、Zeiss VR One(登録商標)タイプのメガネであり、これらのメガネは、タブレット18に取って代わる携帯電話をとり込み、このとき、コンソール20とのリンクは無線リンクである。
コンソール20は、メガネがビデオ画像を表示するようにアップリンク方向でメガネ40と通信するようになっている。最も簡単な実施形態において、この画像は、タブレットの視覚化スクリーン22上に表示される画像のコピーである。
本発明の一般的な原理は、任意の既知の態様であるが、好ましくはメガネのディスプレイスクリーンで、コンソールの、したがってコンソールの指向性アンテナの無人機に対する良好な位置合わせ或いは不良な位置合わせを操縦者に信号で伝えることにある。
図3を参照すると、無人機10と、タブレット18を備えるコンソール20から成る地上局16とが示される。この図では、簡単にするために、磁気的な北(磁力計のための基準)と地理的な北(GPS座標の基準)とが1つにまとめられることが第1の近似と見なされ、北がNにより示される。
線CCは、コンソール20の向きを示し、また、角度αは、北に対してコンソールの向きが成す角度(三角法の方向でプラスの値)を示す。用語「向き」は、特にナビゲーションの分野におけるその現在の意味で、すなわち、モバイルが方向付けられる(或いは向けられる)前方向の意味で理解され得る。向きは、このモバイルの主軸と北(地理的な北又は磁気的な北)の方向との間の角度によって定量化されてもよい。この場合、向きはコンソール20が向く方向であり、その方向は、コンソールの正中面(対称面)内に位置されるとともに、指向性アンテナ34の放射ダイアグラムの主要な極大部分の方向にも対応する。
線Dは、無人機の方向、すなわち、無人機10の基準座標系の中心(位置Pd)とコンソール20の基準座標系の中心(位置Pc)とを接続する線を示す。無人機のGPS座標及びコンソールのGPS座標は、この線を決定できるようにし、したがって、北Nに対するこの線Dの角度β(ここでは、三角法の方向でマイナスである値)を決定できるようにする。
そのため、コンソール20に対する無人機10の角座標が、これらの2つの角度の代数値間の差に等しい、すなわち、γ=β−α(ここでは、異符号を考慮に入れて、絶対値α+β)であることが理解される。この角度γの値は、後に分かるように、無人機がコンソールの向きCCから過度な角度にわたって離れる状況を操縦者に信号で伝えることを可能にし、それにより、操縦者が補正措置(コンソールの再方向付け)を行なうことができるようにする。
ここで、図4を参照して、この機能を実施できるようにする処理プロセスについて詳しく説明する。
ステップ410において、コンソール20のGPSモジュール39は、コンソールのGPS座標を生成する。ステップ420において、無人機のGPSモジュール15は、無人機のGPS座標を生成して、それらの座標を無線リンクを介してコンソールへ送る。ステップ430において、地上局16の処理手段(コンソール20又はタブレット18のいずれかに位置される)は、無人機及びコンソールを通過する線Dが北(ここでは、地理的な北)に対して成す角度βを計算する。
ステップ440において、コンソールの磁力計38は、コンソールの向きCCと北(ここでは、磁気的な北)との間の角度αを決定する。
ステップ440において、コンソールの磁力計38は、コンソールの向きCCと北(ここでは、磁気的な北)との間の角度αを決定する。
ステップ450では、これらの2つの角度値(配向値)が互いから差し引かれ、それにより、コンソールの向きCCに対する無人機10の角座標γが生成される(ステップ451)。好適には、地理的な北と磁気的な北との間のオフセット(磁気偏角)の管理がこの工程に組み込まれる。
コンソール20と無人機10との間の無線リンクが周波数帯域を実施する場合、或いは、より一般的には、アンテナの指向性がモード間で異なるようにする技術を前記無線リンクが実施する場合、ステップ460は、現在アクティブなリンクモードに応じて、無人機がコンソールの向きCCに対して適切に配置される状況と無線リンクの質が悪くなりやすい或いは更には無線リンクが失われるような位置に無人機がある状況との間を区別できるようにする角度テンプレートを決定する。
例えば、2.4GHzの帯域のWi−Fiリンクの場合、無人機は、それがコンソールの向きに対して±80°の角度セクタ(テンプレートと呼ばれるセクタ)内にあれば、良好に位置されていると見なされる。また、5.2GHzの帯域のWi−Fiリンクの場合、この角度セクタは±30°のみである。低い受信信号の場合−例えば2つのLED(1つが赤色及び1つが白色)のみが発光表示されたにすぎない場合に対応する−、このテンプレートの開放角は、例えば、使用される帯域にしたがって±40°又は±15°に制限される場合がある。
ステップ470において、処理手段は、ステップ450で生成されたγの値とアクティブな無線リンクのために使用されるべきテンプレートとを比較する。
この値がテンプレート中に含まれる場合、後段のステップ480は、RSSIと称される無人機10から受ける信号の強度(レベル)を決定して、それを閾値と比較する。信号の強度がこの閾値よりも低い場合、それは、例えば無人機とコンソールとの間の距離がかなり大きく、したがって、無人機がテンプレート内に位置されるだけでなく可能な限りコンソールの向きCCに近づいて位置される必要があることを意味する。この場合には、後述するようなコンソール及び無人機の相互の位置の視覚的な信号伝達が引き起こされ、一方、反対の場合には、視覚的な信号伝達が引き起こされない。
コンソールの向きCCに対する無人機の角度位置γがテンプレートの外側にあることをステップ470が示す場合には、プロセスがステップ490へ移行する。このステップでも、無人機から受ける無線リンク信号のRSSI強度が閾値と比較される。好ましくは、この閾値は、ステップ480に関して使用される閾値よりも高い。信号が閾値よりも高い場合、視覚的な信号伝達が引き起こされない。実際に、それは、殆どの場合、コンソール20に対する無人機10の位置ずれが大きいが、無人機とコンソールとの間の無線リンクの質が依然として満足できるように無人機がコンソールに十分近いことを意味する。逆に、信号の強度が閾値よりも低い場合、視覚的な信号伝達(以下で詳述する)が引き起こされる。この信号伝達は、この場合、コンソールの向きに対する無人機の位置の表示に加えて、以下で説明されるように操縦者自身を特定の方向に向かせることによってコンソールを無人機と位置が合う状態に戻すことを容易にするようになっている表示を含む。
視覚的な信号伝達のトリガは、無人機の位置に対するコンソールの位置合わせを素早く補正する必要性に関して操縦者の注意を引くために、音声信号伝達、振動等によって達成されてもよい。
ここで、図5を参照して、本発明において実施できる視覚表示の例について説明する。この図は、無人機10に搭載されたカメラ14により撮られて仮想現実メガネ40でレンダリングされる画像Iを示す。
無人機の「テンプレート外」状況の視覚的な信号伝達は、全ての場合において、ナビゲーションの空間内に操縦士自身の位置を表わす中心Ceを有する円Cを備える。コンソールの向きCCに対する無人機10の角度位置(角度γ)は、円Cの対応する場所に配置されるldの参照符号が付される無人機のアイコン又絵文字を用いて示される。好適には、この信号伝達は、無線通信の幾つかのモードに対応する幾つかのテンプレートがシステムによって管理される場合には、現在アクティブなテンプレートの表示も備える。この表示は、ここでは、その角度範囲がテンプレートのそれと同一である円形セクタGの形態を成す。
一実施形態では、必要とされる補正の緊急性に応じて変化してもよい色を用いてセクタを着色することができ、必要とされる補正の緊急性は、それ自体、無人機10から受ける無線通信信号の強度によって反映されてもよい。
図5の表示において、無人機は、テンプレートGの二等分線に対応する無人機向きに対して約45°右の方へ位置されており、また、テンプレートGは±30°の幅を有する。
また、ステップ490に関連して先に詳しく説明したように、無人機10が不十分な信号レベルを伴うテンプレート外に位置される場合には、更なる視覚的な信号伝達が、例えばスクリーンの対応する縁に沿って位置される方向矢印として実施される。不十分な信号の場合にコンソールを右に(図3における時計回り方向に)向かせる必要がある図示の例において、方向矢印は、右の方へ向けられてスクリーンの右縁に沿って位置される矢印F1である。一方向又は他の方向を向くように操縦者に指示するこの矢印は、操縦者自身を無人機の方へ向けるための最小の移動/回転を操縦者に指示することも可能にする。
他の矢印F2,F3,F4は、コンソールに対する無人機の位置ずれに応じて選択的に表示されてもよい。
コンソールアンテナ34の指向性のパターンにしたがって、ヨーずれ(垂直軸周りのコンソールの回転による)のみ或いはヨーずれ及びピッチずれの両方(垂直軸周りの回転だけでなくコンソールの向きCCに対して垂直な水平軸周りの回転にもよる)をもたらすことが起こり得るのが分かる。第1のケースでは、側方矢印F1,F2のいずれか一方のみを表示させることができる。第2のケースでは、表示されるのが矢印F1,F2,F3,F4のうちの1つである。
GPS座標系によって高度が考慮に入れられるという事実のおかげにより、また、この場合の基準、すなわち、水平が、コンソールに組み込まれる磁力計或いは同様にコンソールに組み込まれるジャイロスコープのいずれかによって得られるという事実のおかげにより、ピッチずれの管理が容易に実施されるのが分かる。
当然のことながら、本発明は、説明されて図示された実施形態に決して限定されず、また、当業者は、それらの実施形態に対して多くの変形及び修正をもたらすことができる。特に、
−本発明は、ホバリングする或いはしない、検査用、レジャー用、又は、他の目的のための様々なタイプの無人機に対して、及び、任意のタイプの仮想現実メガネに対して適用される;
−コンソールに対する無人機の位置を検出するため及びレンダリングされた画像の状態で表示をもたらすための処理工程は、コンソール20、タブレット18、及び、仮想現実メガネ40の間で、これらが処理手段、特にグラフィックプロセッサを含む場合には、任意の所望の態様で分配されてもよい。
−仮想現実メガネは、専用の表示システム、或いは、メガネに加えられるスマートフォン又はタブレットなどの市場で入手できるスマート端末を含んでもよい。
−本発明は、ホバリングする或いはしない、検査用、レジャー用、又は、他の目的のための様々なタイプの無人機に対して、及び、任意のタイプの仮想現実メガネに対して適用される;
−コンソールに対する無人機の位置を検出するため及びレンダリングされた画像の状態で表示をもたらすための処理工程は、コンソール20、タブレット18、及び、仮想現実メガネ40の間で、これらが処理手段、特にグラフィックプロセッサを含む場合には、任意の所望の態様で分配されてもよい。
−仮想現実メガネは、専用の表示システム、或いは、メガネに加えられるスマートフォン又はタブレットなどの市場で入手できるスマート端末を含んでもよい。
Claims (10)
- 撮像手段(14)が設けられる無人機(10)と、無線リンクを通じて前記無人機と通信する地上局(16)とを備える、無人機を没入状態で操縦するためのシステムであって、
前記地上局が、
−前記無線リンクの質を維持するために前記無人機に対して向けられるようになっている指向性アンテナ(34)が設けられるコンソール(20)と、
−前記撮像手段によって撮られて前記無線リンクにより前記無人機から送信される画像(I)をレンダリングし、且つ前記レンダリングされた画像中に含まれる視覚表示をレンダリングする仮想現実メガネ(40)と、
を備え、
当該システムは、
−前記コンソールの向いている方向(CC)と前記無人機の方向(D)との間の所定の角座標(γ)を決定するための手段(15,38,39,410−450)と、
−前記決定手段に影響される手段であって、前記角座標(γ)を減少させる方へと前記コンソールの向きを変える補正動作を前記コンソールのユーザが行なうことができるようにするため、前記コンソールの向きに対する前記無人機の位置ずれの表示(C,Ce,G,Id)を前記視覚表示中に含むように位置ずれのこの表示が前記決定された角座標(γ)に応じたものである手段と、
を更に備えることを特徴するシステム。 - 前記位置決定手段は、前記コンソールの向きを決定するための磁力計(38)を備える請求項1に記載のシステム。
- 前記位置決定手段は、
前記無人機(10)及び前記地上局(16)に設けられるGPS測位モジュール(15,39)と、
北(N)の方向に対する方向であって、前記無人機及び前記コンソールを通る線(D)に対応する、前記無人機の方向を決定するための処理手段(430)と、
を備える請求項1に記載のシステム。 - 前記角座標(γ)を決定するための前記手段は、前記コンソールの向き(CC)の向首角(α)及び前記無人機の方向(D)の対応する角度(β)を差し引くための手段(450)を備える請求項2又は請求項3に記載のシステム。
- 前記位置決定手段は、前記コンソールの向き(CC)に対する前記無人機の角度位置と、前記コンソールの向きを中心にした角度セクタに対応する角度テンプレート(G)とを比較するための手段(470)を備え、
前記角度テンプレート外では、前記無線リンクの質が悪くなりやすい或いは前記無線リンクが失われる、請求項1に記載のシステム。 - 前記無線リンクは、前記アンテナ(34)の異なる指向性に対応する少なくとも2つのモードのうちの1つで動作するようになっており、
前記無線リンクのアクティブモードに応じて良好な受信の角度テンプレートを選択するための手段も備える請求項5に記載のシステム。 - 前記視覚表示を選択的に含む或いは含まないように前記無人機から受ける無線リンク信号のレベルに影響される手段(480,490)を更に備える請求項5に記載のシステム。
- 前記視覚表示は、前記無人機の角度位置が前記角度テンプレート内に含まれるが前記信号のレベルが所定の閾値よりも低い場合に含まれ、前記無人機の角度位置が前記角度テンプレート内に含まれないが前記信号のレベルが所定の閾値よりも高い場合には含まれない請求項7に記載のシステム。
- 前記視覚表示は、良好な受信の角度テンプレートを表わす円のセクタ(G)と、絵文字(ld)とを伴った、前記コンソールと前記無人機との相対位置の視覚的な信号伝達を含み、
前記絵文字の位置が前記テンプレートに対する前記無人機の角度位置を表わしている請求項1に記載のシステム。 - 前記視覚表示は、前記コンソールの向き(CC)を前記無人機の方向(D)へと至らせるために前記コンソールにとって望ましい移動方向を指示するためにそれぞれが選択的に表示され得る一組の方向矢印(F1−F2;F1−F4)も備え、
前記方向矢印は、左へ向かう及び右へ向かう矢印(F2,F1)及び/又は上へ向かう及び下へ向かう矢印(F3,F4)を備える請求項9に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1553656 | 2015-04-23 | ||
FR1553656A FR3035523B1 (fr) | 2015-04-23 | 2015-04-23 | Systeme de pilotage de drone en immersion |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016203978A true JP2016203978A (ja) | 2016-12-08 |
Family
ID=53366190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016085752A Pending JP2016203978A (ja) | 2015-04-23 | 2016-04-22 | 無人機を没入状態で操縦するためのシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9886033B2 (ja) |
EP (1) | EP3086195B1 (ja) |
JP (1) | JP2016203978A (ja) |
CN (1) | CN106094863A (ja) |
FR (1) | FR3035523B1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018110352A (ja) * | 2017-01-05 | 2018-07-12 | Kddi株式会社 | 操縦装置、情報処理方法、プログラム、及び飛行システム |
JP2018116443A (ja) * | 2017-01-18 | 2018-07-26 | 住友重機械工業株式会社 | 検査システム |
JP2018136143A (ja) * | 2017-02-20 | 2018-08-30 | 株式会社トプコン | 無人航空機の追跡装置、無人航空機の追跡方法、無人航空機の追跡システムおよびプログラム |
KR20190001803A (ko) * | 2017-06-28 | 2019-01-07 | (주)자이언트드론 | 드론 조종 지원시스템 |
KR20190139381A (ko) * | 2018-06-08 | 2019-12-18 | 인하대학교 산학협력단 | 증강현실을 이용한 무인기 관리 시스템 |
JP2019219874A (ja) * | 2018-06-19 | 2019-12-26 | 電源開発株式会社 | 自律移動撮影制御システムおよび自律移動体 |
US11008098B2 (en) | 2016-02-26 | 2021-05-18 | SZ DJI Technology Co., Ltd. | Systems and methods for adjusting UAV trajectory |
JP2021119714A (ja) * | 2019-09-06 | 2021-08-12 | Kddi株式会社 | 操縦装置、情報処理方法、及びプログラム |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10104699B2 (en) * | 2015-02-10 | 2018-10-16 | Sphero, Inc. | Signal strength representation and automatic connection and control upon a self-propelled device |
FR3034681B1 (fr) * | 2015-04-10 | 2017-05-12 | Parrot | Systeme de pilotage de drone en immersion. |
EP3101889A3 (en) * | 2015-06-02 | 2017-03-08 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
US9681111B1 (en) | 2015-10-22 | 2017-06-13 | Gopro, Inc. | Apparatus and methods for embedding metadata into video stream |
US20170168481A1 (en) * | 2015-12-14 | 2017-06-15 | Gopro, Inc. | User interface for orienting antennas |
US9667859B1 (en) | 2015-12-28 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
US9922387B1 (en) | 2016-01-19 | 2018-03-20 | Gopro, Inc. | Storage of metadata and images |
US9967457B1 (en) | 2016-01-22 | 2018-05-08 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
US9665098B1 (en) * | 2016-02-16 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle |
USD814970S1 (en) | 2016-02-22 | 2018-04-10 | SZ DJI Technology Co., Ltd. | Aerial vehicle |
CN105867361A (zh) * | 2016-04-18 | 2016-08-17 | 深圳市道通智能航空技术有限公司 | 一种飞行方向控制方法、装置及其无人机 |
WO2017185316A1 (zh) * | 2016-04-29 | 2017-11-02 | 深圳市大疆创新科技有限公司 | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 |
US9946256B1 (en) * | 2016-06-10 | 2018-04-17 | Gopro, Inc. | Wireless communication device for communicating with an unmanned aerial vehicle |
US9973792B1 (en) | 2016-10-27 | 2018-05-15 | Gopro, Inc. | Systems and methods for presenting visual information during presentation of a video segment |
CN106657013B (zh) * | 2016-11-15 | 2022-11-22 | 广州亿航智能技术有限公司 | 一种无人机系统及该系统的通信连接方法和装置 |
CN106411393A (zh) * | 2016-11-15 | 2017-02-15 | 广州亿航智能技术有限公司 | 一种无人机系统及该系统的通信连接方法和装置 |
KR102619061B1 (ko) * | 2016-12-27 | 2023-12-29 | 삼성전자주식회사 | 무인 비행 장치의 제어 방법 및 무인 비행 장치를 제어하는 전자 장치 |
CN106773709A (zh) * | 2017-01-12 | 2017-05-31 | 深圳明创自控技术有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN106774433A (zh) * | 2017-01-17 | 2017-05-31 | 北京小米移动软件有限公司 | 无人机遥控方法及装置 |
JP2018142764A (ja) * | 2017-02-27 | 2018-09-13 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示装置の制御方法 |
US10565795B2 (en) | 2017-03-06 | 2020-02-18 | Snap Inc. | Virtual vision system |
FR3063911A1 (fr) * | 2017-03-16 | 2018-09-21 | Parrot Drones | Procede d'optimisation de l'inclinaison de vol d'un drone, dispositif electronique, appareil electronique et drone associes |
US10187607B1 (en) | 2017-04-04 | 2019-01-22 | Gopro, Inc. | Systems and methods for using a variable capture frame rate for video capture |
CN108475064B (zh) * | 2017-05-16 | 2021-11-05 | 深圳市大疆创新科技有限公司 | 用于设备控制的方法、设备和计算机可读存储介质 |
DE102017111885B4 (de) * | 2017-05-31 | 2019-06-27 | Sick Ag | Verfahren und System zum Überwachen einer Maschine |
EP3422129B1 (en) * | 2017-06-29 | 2019-06-19 | Deutsche Telekom AG | Controller for a remotely piloted aircraft system |
FR3071624B1 (fr) * | 2017-09-22 | 2019-10-11 | Thales | Systeme d'affichage, procede d'affichage et programme d'ordinateur associes |
USD856848S1 (en) | 2018-01-05 | 2019-08-20 | SZ DJI Technology Co., Ltd. | Aerial vehicle |
USD861573S1 (en) | 2018-01-19 | 2019-10-01 | SZ DJI Technology Co., Ltd. | Aerial vehicle |
WO2019191313A1 (en) * | 2018-03-27 | 2019-10-03 | Nvidia Corporation | Remote operation of vehicles using immersive virtual reality environments |
EP3547059B1 (de) * | 2018-03-29 | 2023-11-22 | Alberto De la Rúa Lope | Verfahren zur steuerung unbemannter fahrzeuge |
USD832275S1 (en) * | 2018-04-12 | 2018-10-30 | Jeff Overall | Display tablet mount |
US20190324447A1 (en) * | 2018-04-24 | 2019-10-24 | Kevin Michael Ryan | Intuitive Controller Device for UAV |
USD948507S1 (en) * | 2018-05-30 | 2022-04-12 | Parrot Drones | Remote control for drone |
USD908588S1 (en) | 2018-06-26 | 2021-01-26 | SZ DJI Technology Co., Ltd. | Aerial vehicle |
CN109292103A (zh) * | 2018-07-27 | 2019-02-01 | 北京臻迪科技股份有限公司 | 云台调整方法、装置、无人机及云台调整系统 |
KR20200048227A (ko) | 2018-10-29 | 2020-05-08 | 김영식 | 드론의 인공지능 딥러닝 시스템을 위한 고품질의 영상전송 트래킹 안테나 시스템 및 방법 |
RU2707139C1 (ru) * | 2018-10-31 | 2019-11-22 | Дмитрий Сергеевич Калистратов | Способ беспроводной передачи цифровых панорамных аэровидеоизображений |
JP7341685B2 (ja) * | 2019-03-19 | 2023-09-11 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
USD907323S1 (en) * | 2019-03-31 | 2021-01-05 | Brendel Holding Gmbh & Co. Kg | Remote control device |
USD909004S1 (en) * | 2019-03-31 | 2021-01-26 | Brendel Holding Gmbh & Co. Kg | Remote control device |
WO2021012212A1 (zh) * | 2019-07-24 | 2021-01-28 | 深圳市大疆创新科技有限公司 | 数据发送、处理方法、可移动平台、显示设备、眼镜和系统 |
USD967038S1 (en) * | 2019-08-14 | 2022-10-18 | Tracto-Technik Gmbh & Co. Kg | Remote control |
DE102020110909A1 (de) | 2020-04-22 | 2021-10-28 | HELLA GmbH & Co. KGaA | Fernbedienungssystem für ein Fahrzeug und Verfahren zu dessen Betrieb |
EP4047434B1 (en) * | 2021-02-19 | 2023-11-08 | Anarky Labs Oy | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
CN113485392B (zh) * | 2021-06-17 | 2022-04-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
CN114167890A (zh) * | 2021-11-29 | 2022-03-11 | 西安羚控电子科技有限公司 | 一种无人飞行装置智能避障方法 |
CN117677914A (zh) * | 2022-03-28 | 2024-03-08 | 深圳市大疆创新科技有限公司 | 控制方法、装置、无人飞行器、控制系统及存储介质 |
WO2024000592A1 (zh) * | 2022-07-01 | 2024-01-04 | 深圳市大疆创新科技有限公司 | 头戴式显示设备 |
CN115357053A (zh) * | 2022-10-19 | 2022-11-18 | 北京亮亮视野科技有限公司 | 基于ar眼镜的无人机操控系统及方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU9068698A (en) * | 1997-07-23 | 1999-02-16 | Horst Jurgen Duschek | Method for controlling an unmanned transport vehicle and unmanned transport vehicle system therefor |
US8838289B2 (en) * | 2006-04-19 | 2014-09-16 | Jed Margolin | System and method for safely flying unmanned aerial vehicles in civilian airspace |
US7764229B2 (en) * | 2008-06-03 | 2010-07-27 | Honeywell International Inc. | Steerable directional antenna system for autonomous air vehicle communication |
US20100020170A1 (en) * | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
US9102391B2 (en) * | 2008-10-29 | 2015-08-11 | Rinaldo Brutoco | Hydrogen lighter-than-air craft structure |
FR2938774A1 (fr) | 2008-11-27 | 2010-05-28 | Parrot | Dispositif de pilotage d'un drone |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
FR2957266B1 (fr) | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
FR2959208B1 (fr) * | 2010-04-22 | 2012-05-25 | Eurl Jmdtheque | Engin gyropendulaire a propulsion compensatoire et collimation de gradient fluidique multi-milieux multimodal a decollage et atterrissage vertical |
FR2963924B1 (fr) * | 2010-08-18 | 2012-09-14 | Ifremer | Dispositif pour la recuperation d'un engin marin ou sous-marin |
WO2012066821A1 (ja) * | 2010-11-18 | 2012-05-24 | 古野電気株式会社 | 角速度検出装置、角速度検出方法、移動状態検出装置およびナビゲーション装置 |
JP5809349B2 (ja) * | 2011-04-14 | 2015-11-10 | エイディエイ テクノロジーズ インコーポレイテッドAda Technologies,Inc. | サーマルインターフェースマテリアルならびにそれを含む組成物、システムおよび装置 |
JP6026088B2 (ja) * | 2011-08-09 | 2016-11-16 | 株式会社トプコン | 遠隔操作システム |
US9194706B2 (en) * | 2012-03-27 | 2015-11-24 | General Electric Company | Method and system for identifying a directional heading of a vehicle |
WO2015179797A1 (en) * | 2014-05-23 | 2015-11-26 | Lily Robotics, Inc. | Unmanned aerial copter for photography and/or videography |
US9335764B2 (en) * | 2014-05-27 | 2016-05-10 | Recreational Drone Event Systems, Llc | Virtual and augmented reality cockpit and operational control systems |
FR3025919B1 (fr) * | 2014-09-12 | 2021-03-19 | Thales Sa | Interface homme-machine pour la gestion de la trajectoire d'un aeronef |
US9771081B2 (en) * | 2014-09-29 | 2017-09-26 | The Boeing Company | System for fatigue detection using a suite of physiological measurement devices |
US9540121B2 (en) * | 2015-02-25 | 2017-01-10 | Cisco Technology, Inc. | Pre-flight self test for unmanned aerial vehicles (UAVs) |
US9492725B2 (en) * | 2015-08-10 | 2016-11-15 | Platypus Ip, Llc | Rock climbing walls, fall safety pads, and accessories |
-
2015
- 2015-04-23 FR FR1553656A patent/FR3035523B1/fr not_active Expired - Fee Related
-
2016
- 2016-04-13 EP EP16165089.0A patent/EP3086195B1/fr not_active Not-in-force
- 2016-04-19 US US15/133,065 patent/US9886033B2/en not_active Expired - Fee Related
- 2016-04-22 JP JP2016085752A patent/JP2016203978A/ja active Pending
- 2016-04-22 CN CN201610490916.9A patent/CN106094863A/zh not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11008098B2 (en) | 2016-02-26 | 2021-05-18 | SZ DJI Technology Co., Ltd. | Systems and methods for adjusting UAV trajectory |
US11932392B2 (en) | 2016-02-26 | 2024-03-19 | SZ DJI Technology Co., Ltd. | Systems and methods for adjusting UAV trajectory |
JP2018110352A (ja) * | 2017-01-05 | 2018-07-12 | Kddi株式会社 | 操縦装置、情報処理方法、プログラム、及び飛行システム |
JP2018116443A (ja) * | 2017-01-18 | 2018-07-26 | 住友重機械工業株式会社 | 検査システム |
JP2018136143A (ja) * | 2017-02-20 | 2018-08-30 | 株式会社トプコン | 無人航空機の追跡装置、無人航空機の追跡方法、無人航空機の追跡システムおよびプログラム |
KR20190001803A (ko) * | 2017-06-28 | 2019-01-07 | (주)자이언트드론 | 드론 조종 지원시스템 |
KR101938836B1 (ko) * | 2017-06-28 | 2019-01-16 | (주)자이언트드론 | 드론 조종 지원시스템 |
KR20190139381A (ko) * | 2018-06-08 | 2019-12-18 | 인하대학교 산학협력단 | 증강현실을 이용한 무인기 관리 시스템 |
KR102068500B1 (ko) * | 2018-06-08 | 2020-01-21 | 인하대학교 산학협력단 | 증강현실을 이용한 무인기 관리 시스템 |
JP2019219874A (ja) * | 2018-06-19 | 2019-12-26 | 電源開発株式会社 | 自律移動撮影制御システムおよび自律移動体 |
JP2021119714A (ja) * | 2019-09-06 | 2021-08-12 | Kddi株式会社 | 操縦装置、情報処理方法、及びプログラム |
JP7029565B2 (ja) | 2019-09-06 | 2022-03-03 | Kddi株式会社 | 操縦装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US9886033B2 (en) | 2018-02-06 |
FR3035523B1 (fr) | 2017-04-21 |
US20160313732A1 (en) | 2016-10-27 |
FR3035523A1 (fr) | 2016-10-28 |
CN106094863A (zh) | 2016-11-09 |
EP3086195B1 (fr) | 2019-02-20 |
EP3086195A1 (fr) | 2016-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016203978A (ja) | 無人機を没入状態で操縦するためのシステム | |
US9738382B2 (en) | Drone immersion-piloting system | |
US11233943B2 (en) | Multi-gimbal assembly | |
EP3494443B1 (en) | Systems and methods for controlling an image captured by an imaging device | |
ES2902469T3 (es) | Métodos y sistemas para el control del movimiento de dispositivos voladores | |
US20170068246A1 (en) | Systems and methods for target tracking | |
US20160148431A1 (en) | Video system for piloting a drone in immersive mode | |
CN104781873A (zh) | 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序 | |
JP2016174360A (ja) | 飛行型または転動型ドローンに対する遠隔制御デバイスの向きを最適化する方法 | |
JP4012749B2 (ja) | 遠隔操縦システム | |
US9961658B2 (en) | Local network for the simultaneous exchange of data between a drone and a plurality of user terminals | |
JP6785020B1 (ja) | 遠隔操縦システムおよびその操縦装置 | |
WO2018123747A1 (ja) | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 | |
JP6925671B1 (ja) | 遠隔操縦システムおよびその操縦装置 | |
US11304161B2 (en) | Systems and methods for synchronizing multiple control devices with a movable object | |
KR20180025416A (ko) | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 | |
WO2022196515A1 (ja) | 飛行制御システム | |
JP6986303B2 (ja) | 遠隔操縦システムおよびその操縦装置 | |
WO2024000189A1 (zh) | 控制方法、头戴式显示设备、控制系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190813 |