JP2020506443A - 無人機の制御方法、頭部装着式表示メガネおよびシステム - Google Patents

無人機の制御方法、頭部装着式表示メガネおよびシステム Download PDF

Info

Publication number
JP2020506443A
JP2020506443A JP2019516208A JP2019516208A JP2020506443A JP 2020506443 A JP2020506443 A JP 2020506443A JP 2019516208 A JP2019516208 A JP 2019516208A JP 2019516208 A JP2019516208 A JP 2019516208A JP 2020506443 A JP2020506443 A JP 2020506443A
Authority
JP
Japan
Prior art keywords
user
head
drone
screen
movable mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019516208A
Other languages
English (en)
Other versions
JP6851470B2 (ja
Inventor
イファン ウ
イファン ウ
ファイユ リュウ
ファイユ リュウ
ジュン ウ
ジュン ウ
ミン ゴン
ミン ゴン
シュウフォン ガオ
シュウフォン ガオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2020506443A publication Critical patent/JP2020506443A/ja
Application granted granted Critical
Publication of JP6851470B2 publication Critical patent/JP6851470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • G05D1/085—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability to ensure coordination between different movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】無人機の制御方法、頭部装着式表示メガネおよびシステムを提供する。【解決手段】本発明の実施例は、無人機の制御方法、頭部装着式表示メガネおよびシステムを提供し、この方法は、移動可能なマーク（１０）を表示すること、ユーザの入力情報を取得すること、前記入力情報に基づき、移動可能なマーク（１０）を移動させることで前記無人機を制御することを含む。本発明の実施例は頭部装着式表示メガネ（５０）を介してユーザの入力情報を取得し、頭部装着式表示メガネ（５０）は具体的に、ユーザの姿勢情報に基づき、カーソル（１１）を制御してスクリーン（５２）上で移動させることができ、ユーザが入力装置を介して入力した、カーソル（１１）を移動させるための方向情報に基づき、カーソル（１１）を制御してスクリーン（５２）上で移動させることもでき、カーソル（１１）がスクリーン（５２）の目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。【選択図】図１

Description

本発明の実施例は無人機の分野に関し、特に、無人機の制御方法、頭部装着式表示メガネおよびシステムに関する。
従来技術における携帯電話、タッチスクリーン付きのリモートコントローラ、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）メガネなどの制御機器はいずれも無人機を制御するために用いることができ、携帯電話に、無人機を制御するアプリケーションプログラムがインストールされており、ユーザはアプリケーションプログラムを操作して携帯電話のスクリーンをタッチすることによって無人機を制御し、また、ユーザは、リモートコントローラのスクリーンをタッチすることによって無人機を制御することもできる。
ただし、ＶＲメガネにはタッチスクリーンがないため、指さし飛行モード、スマートトラッキングモード、カメラ合焦などの、タッチスクリーンを介して無人機を制御する制御方式を実現することができない。
本発明の実施例は、無人機の制御方法、頭部装着式表示メガネおよびシステムを提供することで、無人機を動作制御する目的を果たす。
本発明の実施例の一態様は：
移動可能なマークを表示すること；
ユーザの入力情報を取得すること；および、
前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御すること、
を含む、無人機の制御方法を提供することである。
本発明の実施例のもう１つの態様は、１つまたは複数のプロセッサおよびスクリーンを備え、前記スクリーンは：
移動可能なマークを表示するために用いられ；
前記１つまたは複数のプロセッサは：
ユーザの入力情報を取得するために用いられ；
前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御する頭部装着式表示メガネを提供することである。
本発明の実施例のもう１つの態様は：
無人機と、前記無人機を制御するための前記頭部装着式表示メガネと、を備えた無人機制御システムを提供することである。
本発明の実施例が提供する無人機の制御方法、頭部装着式表示メガネおよびシステムは、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
本発明の実施例または従来技術における技術案をより明確に説明するために、以下、実施例または従来技術の記述において使用する必要のある図面について簡単に説明するが、当然ながら、以下の記述における図面は本発明のいくつかの実施例であり、当業者にとっては、創造的な労働を行っていない前提の下、これらの図面に基づいて他の図面を得てもよい。
本発明の実施例が提供する無人機の制御方法のフローチャートである。 本発明の実施例が提供する無人機の「指さし飛行」制御インタフェースの概略図である。 本発明の実施例が提供する無人機の「スマートトラッキング」制御インタフェースの概略図である。 本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。 本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の平面図である。 本発明のもう１つの実施例が提供する、カーソルがスクリーンで左向きに移動する概略図である。 本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の平面図である。 本発明のもう１つの実施例が提供する、カーソルがスクリーンで右向きに移動する概略図である。 本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の側面図である。 本発明のもう１つの実施例が提供する、カーソルがスクリーンで下向きに移動する概略図である。 本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の側面図である。 本発明のもう１つの実施例が提供する、カーソルがスクリーンで上向きに移動する概略図である。 本発明のもう１つの実施例が提供する、スクリーン上でのカーソルの座標の概略図である。 本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。 本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。 本発明の実施例が提供する頭部装着式表示メガネの構造図である。 本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図である。 本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造である。 本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図である。
以下、本発明の実施例中の図面を参照しながら、本発明の実施例における技術案について明確に記述するが、当然ながら、記述された実施例は本発明の一部の実施例であるに過ぎず、すべての実施例ではない。本発明における実施例に基づき、当業者が、創造的な労働を行っていない前提の下で得たその他すべての実施例は、いずれも本発明が保護する範囲に属する。
説明しなければならないのは、アセンブリが、もう１つのアセンブリ「に固定される」と記載される場合、もう１つのアセンブリ上に直接あってもよく、もしくは、中に存在するアセンブリであってもよい、という点である。１つのアセンブリが、もう１つのアセンブリ「を接続する」と見なされる場合、もう１つのアセンブリに直接接続されてもよく、もしくは、同時に中に存在し得るアセンブリであってよい。
別途定義されている場合を除き、本文書で使用されるすべての技術および科学の用語と、本発明の技術分野に属する当業者が通常理解する意味は同じである。本文書中で、本発明の明細書において使用される用語は、具体的な実施例を説明する目的のためのものであるに過ぎず、本発明を限定しようとするものではない。本文書で使用される用語「少なくともひとつ」は、１つまたは複数の、関連する列記された項目の、あらゆる組み合わせを含む。
以下、図面を参照しながら、本発明のいくつかの実施形態について詳しく説明する。矛盾しない場合であれば、下記の実施例および実施例中の特徴を互いに組み合わせることができる。
本発明の実施例は、無人機の制御方法を提供する。図１は、本発明の実施例が提供する無人機の制御方法のフローチャートである。本実施例の実行主体は、無人機を制御するための無人機制御端末であってよく、前記無人機制御端末は、頭部装着式表示メガネ（ＶＲメガネ、ＶＲゴーグルなど）、携帯電話、リモートコントローラ（表示スクリーン付きのリモートコントローラなど）、スマートブレスレット、タブレット端末などを含むことができるが、それらのみに限定されない。前記無人機は異なるモードで動作可能であり、前記モードは、指さし飛行、スマートトラッキング、カメラ合焦などを含むが、それらのみに限定されない。
指さし飛行モードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の一点または１つの領域をクリックすることによって飛行目標を選択することができ、前記無人機は前記飛行目標に向かって飛行することができる。
スマートトラッキングモードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の１つの可動物体（人、動物など）を選択することによって、前記無人機を制御して前記可動物体をトラッキングして飛行させることができる。
カメラ合焦モードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の一点または１つの領域をクリックすることによって、前記無人機の画像形成装置（カメラなど）を制御し、合焦させることができる。
図１に示すように、本実施例における方法は以下を含むことができる。
ステップＳ１０１において、移動可能なマークを表示する。
本実施例では、無人機制御端末は、バーチャルリアリティ頭部装着式表示装置であってよく、本実施例の方法は、ユーザがバーチャルリアリティ頭部装着式表示装置を介して無人機を制御するのに適しており、バーチャルリアリティ頭部装着式表示装置は、具体的には、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）メガネ、バーチャルリアリティゴーグル（ＶＲ ｈｅａｄｅｒ）であってよい。ユーザがＶＲメガネを装着しており、ＶＲメガネのスクリーンに移動可能なマークが表示されており、移動可能なマークは具体的にはカーソルであり、カーソルはＶＲメガネのスクリーン上で移動することができる。
ステップＳ１０２において、ユーザの入力情報を取得する。
本実施例では、ＶＲメガネはユーザの入力情報を取得することができ、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であってもよい。
ＶＲメガネには慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、略称ＩＭＵ）が実装されており、ＩＭＵはＶＲメガネの位置と姿勢を検知することができ、ユーザがＶＲメガネを装着した後、ＶＲメガネはＩＭＵを介してユーザの姿勢情報を取得することができ、具体的には、ＩＭＵは、ユーザ頭部の姿勢情報を検知するために用いることができ、この姿勢情報は、ヨー角（ｙａｗ ａｎｇｌｅ）とピッチ角（ｐｉｔｃｈ ａｎｇｌｅ）の少なくとも一種を含む。ＶＲメガネは、ＩＭＵが検知したユーザ頭部の姿勢情報に基づき、スクリーン上でのカーソルの位置を制御する。ユーザの観点からすると、ユーザは頭部を回動する方式によって、カーソルを制御してスクリーン上で移動させることができる。
また、ＶＲメガネには、アイトラッカ（ｅｙｅ ｔｒａｃｋｅｒ）など、ユーザの両目の動きと目（眼球など）の変化を検知するセンサも実装されていてよく、ＶＲメガネがユーザの姿勢情報を取得する方式は、このセンサによって実現してもよく、ＶＲメガネは、このセンサが検知したユーザの両目の動きと目の変化に基づき、スクリーン上でのカーソルの移動を制御する。ユーザの観点からすると、ユーザは、両目の動きと目の変化によって、カーソルを制御してスクリーン上で移動させることができる。
なお、ＶＲメガネにはさらに、５次元キー、ジョイスティック、タッチスクリーンの少なくとも一種を含む入力装置が接続されていてもよい。ＶＲメガネと入力装置の接続方式は有線（ケーブルなど）であってよく、無線（Ｗｉｆｉ、ブルートゥース（登録商標）など）であってもよい。いくつかの実施例では、ＶＲメガネは、５次元キーが設けられたリモートコントローラを備えることができ、ＶＲメガネは、ユーザが５次元キーの上下左右ボタンをクリックして発生させる、方向を表す入力情報に基づき、スクリーン上でのカーソルの移動を制御する。ＶＲメガネは、ユーザがジョイスティックを回動して発生させる、方向を表す入力情報に基づき、スクリーン上でのカーソルの移動を制御することもできる。ＶＲメガネはさらに、ユーザのタッチスクリーン上でのスライドまたはタッチ操作で発生する入力情報に基づき、スクリーン上でのカーソルの移動を制御することもできる。
なお、ＶＲメガネのフレームにタッチパネルがさらに設けられており、ユーザはタッチパネルを操作することによってスクリーン上でのカーソルの移動を制御することもできる。
また、ＶＲメガネのスクリーン上にさらにバーチャルボタンが表示されていてよく、このバーチャルボタンは、上下左右４つの方向のバーチャルボタンと、確認を表す１つのバーチャルボタンとを備えた５次元キーに類似していてよく、ユーザはさらに、バーチャルボタンに対する操作によってカーソルを制御してスクリーン上で移動させることができる。
ステップＳ１０３において、前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御する。
上記ステップから、ＶＲメガネは、ユーザの姿勢情報に基づき、カーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報に基づき、スクリーン上でのカーソルの移動を制御することもできることが分かる。
ＶＲメガネは、スクリーン上でのカーソルの移動情報を、ユーザがＶＲメガネを介して無人機を制御する命令に変換し、例えば、カーソルがスクリーン上で右向きに移動し、無人機を制御して右向きに飛行させることができる。いくつかの実施例では、ＶＲメガネが、スクリーン上でのカーソルの移動情報を、ユーザがＶＲメガネを介して無人機の機上装置を制御する命令に変換し、例えば、カーソルがスクリーン上で右向きに移動し、前記無人機の画像形成装置（カメラなど）を制御して右向きに移動させることができる。
また、ＶＲメガネのスクリーン上にユーザインタフェースが表示されており、ＶＲメガネはこのユーザインタフェース上でのユーザの操作に基づき、無人機を制御してスマートトラッキングモード、指さし飛行モードまたはカメラ合焦モードに入らせることができ、具体的な実現方式は次の方式であってよい。このユーザインタフェースが、例えば「指さし飛行」アイコン、「スマートトラッキング」アイコン、「カメラ合焦」アイコンなどの、無人機を制御するためのアイコンを備え、ＶＲメガネは、ユーザ頭部が回動する、眼部が動く、５次元キーの上下左右ボタンをクリックする、ジョイスティックを回動する、タッチスクリーンにタッチしスライドするかまたはタッチパネルにタッチしスライドするなどの方式により、スクリーン上でのカーソルの移動を制御し、カーソルが相応のアイコンまで移動したとき、ユーザがこのアイコンを決定選択し、ＶＲメガネは、ユーザが入力した確認情報に基づき、無人機を制御して、このアイコンが対応するモードに入らせる。ユーザがアイコンを決定選択する方式は、以下のいずれか一種の方式によって実現することができる。５次元キーの確認ボタンをクリックする、タッチスクリーンをクリックする、タッチパネルをクリックする、目が所定の時間だけ回動を停止する、目が連続してまばたきする、カーソルがアイコン上に所定の時間だけとどまる、バーチャルボタンをクリックする、ジョイスティックを操作する。
例えば、ＶＲメガネは、ユーザ頭部の回動方向に基づき、スクリーン上でのカーソルの移動を制御し、カーソルが「指さし飛行」アイコンまで移動したとき、ユーザは、５次元キーの確認ボタンをクリックするか、または、本発明が開示する、目標を確認する他の方法を用いて、「指さし飛行」アイコンを確認選択し、ＶＲメガネはユーザの選択命令に基づき、無人機を制御して指さし飛行モードに入らせ、このとき、ユーザインタフェースが「指さし飛行」制御インタフェースを呈し、図１Ａに示すように、ＶＲメガネのスクリーンに画像画面（無人機が撮影した画像画面など）を表示し、ユーザは再び、頭部が回動する、眼部が動く、５次元キーの上下左右ボタンをクリックする、ジョイスティックを回動する、タッチスクリーンにタッチしスライドするかまたはタッチパネルにタッチしスライドするなどの方式により、スクリーンでのカーソル１１の移動を制御し、ユーザが所望する目標点までカーソルが移動したときにこの目標点を決定選択し、ユーザが目標点を決定選択する方式と、ユーザがアイコンを決定選択する方式とが一致するが、ここでは無用な説明は繰り返さない。ＶＲメガネは、ユーザが選択した目標点の位置情報を無人機に送信することで、この目標点が指定する位置へ無人機を飛行させ、すなわち、ユーザが指さしたところへ無人機が飛行していくスマート飛行モードを実現する。
さらに、ＶＲメガネは、ユーザが目を回動させる方式に基づき、スクリーン上でのカーソルの移動を制御し、カーソルが「スマートトラッキング」アイコンまで移動したとき、ユーザは、タッチパネルをクリックするか、または、本発明が開示する、目標を確認する他の方法を用いて、「スマートトラッキング」アイコンを確認選択し、ＶＲメガネはユーザの選択命令に基づき、無人機を制御してスマートトラッキングモードに入らせ、このとき、ユーザインタフェースが「スマートトラッキング」制御インタフェースを呈し、図１Ｂに示すように、ＶＲメガネのスクリーンに、選定されるべきトラッキング目標１２が表示されており、ユーザはフレーム選択の方式によってこのトラッキング目標を選択することができ、フレーム選択プロセスは次のように実現することができる。頭部を回動することによりカーソルを制御して所要の矩形枠まで移動させるための起点位置は、図１Ｂに示すカーソル位置１３であり、５次元キーの確認ボタンを押下するか、もしくはタッチパネルをシングルクリックして起点を選定するか、または、本発明が開示する、目標を確認する他の方法を用い、さらに、同様の方式で、図１Ｂに示すカーソル位置１４のような終点を選定し、点線枠１５はフレーム選択プロセスにおける矩形枠を表す。
また、無人機のカメラ合焦モードの実現方式と指さし飛行モードの実現方式とは一致しており、ここでは無用な説明は繰り返さない。
本実施例は、無人機制御端末を介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、無人機制御端末は、ユーザの姿勢情報に基づき、カーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
本発明の実施例は、無人機の制御方法を提供する。図２は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図２に示すように、図１に示す実施例をベースに、本実施例における方法は以下を含むことができる。
ステップＳ２０１において、移動可能なマークを表示する。
ステップＳ２０１はステップＳ１０１と一致しており、ここでは無用な説明は繰り返さない。
ステップＳ２０２において、慣性測定ユニットが検知した前記ユーザ頭部のヨー角とピッチ角を取得する。
ＶＲメガネには慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、略称ＩＭＵ）が実装されており、ＩＭＵはＶＲメガネの位置と姿勢を検知することができ、ユーザがＶＲメガネを装着した後、ＶＲメガネはＩＭＵを介してユーザの姿勢情報を取得することができ、具体的には、ＩＭＵは、ユーザ頭部の姿勢情報を検知するために用いることができ、この姿勢情報は、ヨー角とピッチ角の少なくとも一種を含む。
ステップＳ２０３において、前記ヨー角と前記ピッチ角に基づき、スクリーン上での前記移動可能なマークの位置を判定する。
ユーザがＶＲメガネを装着した後、ＶＲメガネのスクリーンが地面に対して垂直である場合を例にすると、ユーザ頭部が左右に回動するとき、ＩＭＵはユーザ頭部のヨー角を検知することができ、ユーザ頭部が上下にピッチングするとき、ＩＭＵはユーザ頭部のピッチ角を検知することができる。ＶＲメガネは、ＩＭＵが検知したユーザ頭部のヨー角とピッチ角に基づき、スクリーン上での移動可能なマーク（カーソルなど）の位置を制御する。
ＶＲメガネが、ＩＭＵが検知したユーザ頭部のヨー角とピッチ角に基づき、スクリーン上での移動可能なマークの位置を制御することは、具体的には次のように実現することができる。前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し、そして、前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定する。任意には、ＶＲメガネは、ユーザ頭部の左右の回動に基づいて、カーソルを制御してスクリーンの水平方向において回動させ、ユーザ頭部のピッチング運動に基づき、カーソルを制御してスクリーンの垂直方向において回動させることができる。
図２Ａに示すように、点線枠１はＶＲメガネの平面図を表し、点線枠２はユーザ頭部の平面図を表し、点線枠３はユーザ頭部の回転方向を表し、点線枠４はＶＲメガネのスクリーンを表し、点線枠５はスクリーン上の移動可能なマークを表す。図２Ａに示すように、ユーザ頭部が左向きに回動すると、ＶＲメガネはカーソルを制御してスクリーンの水平方向において左向きに移動させ、カーソルがスクリーンの水平方向において左向きに移動した結果は、図２Ｂに示す通りである。
また、図２Ｃに示すように、ユーザ頭部が右向きに回動すると、ＶＲメガネがカーソルを制御してスクリーンの水平方向において右向きに移動させ、カーソルがスクリーンの水平方向において右向きに移動した結果は、図２Ｄに示す通りである。
図２Ｅに示すように、点線枠６はＶＲメガネの側面図を表し、点線枠７はユーザ頭部の側面図を表し、点線枠８はユーザ頭部の運動方向を表し、点線枠９はＶＲメガネのスクリーンを表し、点線枠１０はスクリーン上の移動可能なマークを表す。図２Ｅに示すように、ユーザ頭部が下向きに回動すると、ユーザ頭部がうつむいた状態になり、ＶＲメガネがカーソルを制御してスクリーンの垂直方向において下向きに移動させ、カーソルがスクリーンの垂直方向において下向きに移動した結果は、図２Ｆに示す通りである。
また、図２Ｇに示すように、ユーザ頭部が上向きに回動すると、ユーザ頭部が上方を向いた状態になり、ＶＲメガネがカーソルを制御してスクリーンの垂直方向において上向きに移動させ、カーソルがスクリーンの垂直方向において上向きに移動した結果は、図２Ｈに示す通りである。
具体的には、ＶＲメガネはヨー角に基づき、スクリーン上の水平方向におけるカーソルの座標を判定し、ピッチ角に基づき、スクリーン上の垂直方向におけるカーソルの座標を判定する。ＶＲメガネが前記ヨー角に基づき、前記スクリーン上の水平方向におけるカーソルの座標を判定することは、２種の方式によって実現することができ、ピッチ角に基づき、スクリーン上の垂直方向におけるカーソルの座標を判定することも２種の方式によって実現することができ、以下、２種の実現方式について具体的に詳述する。
方式１
前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定する。前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定する。
図２Ｉに示すように、ＶＲメガネのスクリーンの左下角を座標原点とし、原点を通る横向き矢印はＸ軸方向を表し、原点を通る縦向き矢印はＹ軸方向を表し、１１はカーソルを表し、ｘはスクリーン上のＸ軸におけるカーソル１１の座標を表し、ｙはスクリーン上のＹ軸におけるカーソル１１の座標を表し、具体的には下記の式（１）および（２）によって、スクリーン上でのカーソルの座標位置を判定する。
ｘ＝ｓｃｒｅｅｎＷ／２＋ｙａｗ×ｆａｃｔｏｒＸ （１）
式中、ｘは、スクリーン上のＸ軸におけるカーソルの座標を表し、ｓｃｒｅｅｎＷは、スクリーンがＸ軸方向において含む画素の個数（スクリーンの幅）を表し、ｙａｗ角（ヨー角）は、ＩＭＵの１回のサンプリングで得られるユーザ頭部のヨー角を表し、定数ｆａｃｔｏｒＸは、スクリーンＸ軸方向の変換係数を表す。
ｙ＝ｓｃｒｅｅｎＨ／２＋ｐｉｔｃｈ×ｆａｃｔｏｒＹ （２）
式中、ｙは、スクリーン上のＹ軸におけるカーソルの座標を表し、ｓｃｒｅｅｎＨは、スクリーンがＹ軸方向において含む画素の個数（スクリーンの長さ）を表し、ｐｉｔｃｈ角（ピッチ角）は、ＩＭＵの１回のサンプリングで得られるユーザ頭部のピッチ角を表し、定数ｆａｃｔｏｒＹは、スクリーンＹ軸方向の変換係数を表す。
式（１）と（２）に基づき、ＩＭＵが今回サンプリングして得られた｛ｙａｗ、ｐｉｔｃｈ｝方向の角度値が｛−３３、２１｝度であるとすれば、ｆａｃｔｏｒＸとｆａｃｔｏｒＹはいずれも−２０であり、スクリーンの解像度は１９２０×１０８０であり、すなわち、スクリーン上でのカーソルの座標は｛１６２０、１２０｝である。
方式２
前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定する。前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定する。具体的には下記の式（３）および（４）によって、スクリーン上でのカーソルの座標位置を判定する。
ｄｅｌｔａＸ＝ｄｅｌｔａＹａｗ×ｆａｃｔｏｒＸ （３）
式中、ｄｅｌｔａＸは、スクリーンの水平方向におけるカーソルの座標ずれを表し、ｄｅｌｔａＹａｗは、ＩＭＵが今回集めたｙａｗ角（ヨー角）と、前回に集めたｙａｗ角との角度差を表し、定数ｆａｃｔｏｒＸは、スクリーンＸ軸方向の変換係数を表す。
ｄｅｌｔａＹ＝ｄｅｌｔａＰｉｔｃｈ×ｆａｃｔｏｒＹ （４）
式中、ｄｅｌｔａＹは、スクリーンの垂直方向におけるカーソルの座標ずれを表し、ｄｅｌｔａＰｉｔｃｈは、ＩＭＵが今回集めたｐｉｔｃｈ角（ピッチ角）と前回に集めたｐｉｔｃｈ角との角度差を表し、定数ｆａｃｔｏｒＹは、スクリーンＹ軸方向の変換係数を表す。
また、他の実施例では、ｄｅｌｔａＹａｗは、ＩＭＵが任意の２回に集めたｙａｗ角の角度差であってもよく、ｄｅｌｔａＰｉｔｃｈは、ＩＭＵが任意の２回に集めたｐｉｔｃｈ角の角度差であってもよい。
ステップＳ２０４において、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択する。
ＶＲメガネは前記ステップに基づいてスクリーン上でのカーソルの座標位置を判定することができ、ユーザ頭部が左右に回動され、上下にピッチングされたとき、カーソルがスクリーン上で移動することができ、カーソルがスクリーン上で移動することによって、スクリーン上に表示される目標物体を選択することができる。
本実施例はＩＭＵによってユーザ頭部のヨー角とピッチ角を検知し、ＶＲメガネは、ヨー角に基づいてスクリーン上の水平方向でのカーソルの座標を判定し、ピッチ角に基づいてスクリーン上の垂直方向でのカーソルの座標を判定し、ユーザ頭部の運動情報を、スクリーン上でのカーソルの位置情報に正確に変換し、カーソル位置検出の精度を高めるとともに、ユーザが無人機を動作制御する精度も高めている。
本発明の実施例は、無人機の制御方法を提供する。図３は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図３に示すように、図２に示す実施例をベースに、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択する方法は、以下のステップによって実現することができる。
ステップＳ３０１において、前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにする。
上記実施例をベースに、ユーザ頭部が左右に回動したとき、カーソルを制御してスクリーンの水平方向において移動させることができ、ユーザ頭部が上下にピッチングするとき、カーソルを制御してスクリーンの垂直方向において移動させることができ、ＶＲメガネはユーザ頭部の左右の回動と上下のピッチングに基づき、スクリーン上でのカーソルの位置を調整することができる。
ＶＲメガネのスクリーン上にユーザインタフェースが表示されており、ユーザインタフェースが、例えば「指さし飛行」アイコン、「スマートトラッキング」アイコン、「カメラ合焦」アイコンなどの、無人機を制御するためのアイコンを備え、ＶＲメガネは、ユーザが選択したアイコンに基づいて無人機を制御し、このアイコンが対応するモードに入らせることができる。例えば、指さし飛行モードに入った後、ＶＲメガネのスクリーン上にマップレイヤまたは画像画面を表示し、ユーザは頭部の運動によって、カーソルがマップレイヤ上の目標点または画像画面上の目標物体の方を指すように、マップレイヤまたは画像画面上でのカーソルの位置を調整する。
ステップＳ３０２において、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信する。
カーソルが、マップレイヤ上の目標点または画像画面上の目標物体の方を指した後、ＶＲメガネは、ユーザが入力した選択命令を受信し、ユーザがマップレイヤ上の目標点または画像画面上の目標物体を確認選択したことを表す。
具体的には、ユーザが入力した、前記目標物体を選択するための選択命令をＶＲメガネが受信することは、以下のいくつかの方式によって実現することができる。
１）前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信する。カーソルが目標点または目標物体の方を指しているとき、ユーザは５次元キーの確認ボタンをクリックし、ＶＲメガネはユーザのクリック操作に基づき、ユーザが入力した、ユーザがスクリーン上の目標点または目標物体を確認選択したことを表す選択命令を受信する。
２）前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信する。タッチパネルはＶＲメガネのフレーム上に設けることができ、カーソルが目標点または目標物体の方を指しているとき、ユーザはタッチパネルをクリック（例えばシングルクリックまたはダブルクリック）し、ＶＲメガネは、ユーザがタッチパネルをクリックする操作に基づき、ユーザが入力した選択命令を受信する。
３）前記ユーザが目の動きによって入力した選択命令を受信する。本実施例では、ＶＲメガネに、ユーザの両目の動きと目の変化を検知するセンサ（アイトラッカなど）も取り付けられていてよく、カーソルが目標点または目標物体の方を指しているとき、ユーザは、目が所定の時間だけ回動を停止するかまたは目が連続してまばたきするなどの眼部情報によって、スクリーン上の目標点または目標物体を確認選択することを示すことができる。
４）前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信する。また、ＶＲメガネは、有線または無線の方式によってタッチスクリーンが外付けされていてもよく、ユーザは、タッチスクリーンを所定の時間だけ押圧するなどしてタッチスクリーンを操作することによって、スクリーン上の目標点または目標物体を確認選択することを示すことができる。タッチスクリーンがユーザのタッチ操作を検知した後、関連するタッチ操作を電気信号に変換し、電気信号をＶＲメガネに送信することで、ユーザが入力した選択命令を、ＶＲメガネに電気信号に基づいて判定させることができる。ユーザはタッチスクリーンをクリック（例えばシングルクリックまたはダブルクリック）することによって、スクリーン上の目標点または目標物体を確認選択することを示すこともできる。
５）前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択する。カーソルが目標点または目標物体の方を指しているとき、ユーザが頭部を動かさずに保持し、カーソルを目標点または目標物体上にとどめさせ、カーソルが目標点または目標物体上にとどまる時間が所定の時間（３秒、５秒など）に達したとき、ＶＲメガネは、ユーザがこの目標点または目標物体を選択したと判定する。
６）前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信する。また、ＶＲメガネのスクリーン上またはスクリーンの外にバーチャルボタンが表示されていてもよく、このバーチャルボタンは確認ボタンとしてもよい。
７）前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信する。例えば、前記ユーザが、前記ジョイスティック上の確認ボタンを押圧することで、スクリーン上の目標点または目標物体を確認選択することを示してもよい。
また、この選択命令はポイント選択であってよく、フレーム選択であってもよい。
本実施例はＶＲメガネを介し、ユーザ頭部の動きに基づいて、スクリーン上でのカーソルの位置を調整し、ユーザが所望する目標点または目標物体の方をカーソルが指すようにし、目標点または目標物体に対するポイント選択またはフレーム選択を実現することができ、ユーザがＶＲメガネを介してポイント選択またはフレーム選択の操作を行うことを実現しており、ＶＲメガネにタッチスクリーンが欠けているため、指さし飛行モード、スマートトラッキングモード、カメラ合焦など、タッチスクリーンを介して無人機を制御する制御方式を実現することができなくなる欠陥を補っている。
本発明の実施例は、無人機の制御方法を提供する。図４は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図４に示すように、上記いずれかの実施例をベースに、本実施例が提供する無人機の制御方法は、以下を含むことができる。
ステップＳ４０１において、前記無人機の状態情報を取得する。
本実施例は、無人機に複数の制御機器が対応しているとき、複数の制御機器が無人機を同時に制御する場面に用いるのに適している。ＶＲメガネ、スマート端末、スクリーン付きのリモートコントローラ、スマートブレスレットなどの装置はいずれも、無人機を制御する制御機器とすることができ、複数の制御機器が個別に無人機を制御することができるため、複数の制御機器が１つの無人機を同時に制御するとき、制御の混乱や相互干渉につながるおそれがある。例えば、ユーザＡがスマート端末を持っており、スマート端末を介して無人機を制御してスマートトラッキングモードに入らせ、ユーザＡがスマート端末のスクリーン上でトラッキング目標をフレーム選択した後、無人機がスマートトラッキングモードに入り、スマートトラッキング画面をスマート端末にリアルタイムで送信し、ユーザＡがスマート端末のスクリーンを介して、スマートトラッキング画面をリアルタイムで見る。ユーザＢはＶＲメガネを装着しており、このとき無人機がすでにスマートトラッキングモードにあることをユーザＢが知らず、やはりＶＲメガネを介して無人機を制御してスマートトラッキングモードに入らせれば、ユーザＡのスマート端末とユーザＢとスマート端末との間で制御矛盾が生じるおそれがあり、例えば、ユーザＡが見ているスマートトラッキング画面が終了され、このような問題が出現するのを避けるため、本実施例が提供する各々の制御機器は、飛行モード、カメラの設定情報、ビデオ再生情報などを含む無人機の状態情報をリアルタイムで、または周期的に取得する必要がある。
各々の制御機器は無人機の状態情報を能動的に取得することができ、無人機の状態情報を受動的に取得することもできる。無人機の状態情報を能動的に取得することは、次のように実現することができる。制御機器が無人機に状態情報取得要求を送信し、無人機は状態情報取得要求に基づき、その状態情報を制御機器に戻す。無人機の状態情報を受動的に取得することは、次のように実現することができる。無人機が放送方式でその状態情報を各々の制御機器に送信する。任意には、無人機が状態情報を周期的に放送する。無人機の状態情報を受動的に取得することは、次のように実現することもできる。１つの制御機器が無人機の状態情報を取得した後、この状態情報を他の制御機器に送信し、他の制御機器はこの無人機の状態情報を受動的に受信する。
ステップＳ４０２において、前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期する。
各々の制御機器が無人機の状態情報を取得した後、ローカルに記憶された前記無人機の状態情報を同期する。例えば、スマート端末のローカルに記憶された前記無人機のスマート飛行モードが「指さし飛行」であり、無人機の現在のスマート飛行モードが「スマートトラッキング」であれば、スマート端末は、ローカルに記憶された無人機のスマート飛行モードを「スマートトラッキング」に更新しなければならず、同時に、スマート端末が「スマートトラッキング」制御インタフェースに受動的に切り替えられることで、スマート端末を持つユーザに、すでに他の制御機器が、スマートトラッキングモードになるように無人機を配置していることを知らせる。
また、「指さし飛行」と「無人機端のビデオをリモート再生する」という状況も「スマートトラッキング」と類似しており、ここでは無用な説明は繰り返さない。
本実施例は、複数の制御機器によって無人機の状態情報をそれぞれ取得するとともに、無人機の状態情報に基づき、ローカルに記憶された無人機の状態情報を同期し、各々の制御機器が記憶している無人機の状態情報を無人機の現在の状態情報と一致させ、複数の制御機器が１つの無人機を同時に制御する際に制御の混乱や相互干渉が生じる現象を回避している。
本発明の実施例は頭部装着式表示メガネを提供する。本実施例が提供する頭部装着式表示メガネは、具体的に、上記方法の実施例における無人機制御端末であってよい。図５は、本発明の実施例が提供する頭部装着式表示メガネの構造図であり、図５に示すように、頭部装着式表示メガネ５０は１つまたは複数のプロセッサ５１およびスクリーン５２を備え、スクリーン５２は、移動可能なマークを表示するために用いられ、１つまたは複数のプロセッサ５１は、ユーザの入力情報を取得するために用いられ、前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御する。
具体的には、前記１つまたは複数のプロセッサは、マイクロプロセッサ（英語：ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）、縮小命令セットコンピュータ（英語：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ、略称：ＲＩＳＣ）、特定用途向け集積回路（英語：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ、略称：ＡＳＩＣ）、特定用途向け命令セットプロセッサ（英語：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ ｐｒｏｃｅｓｓｏｒ、略称：ＡＳＩＰ）、中央処理装置（英語：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、略称：ＣＰＵ）、物理プロセッサ（英語：ｐｈｙｓｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、略称：ＰＰＵ）、デジタル信号プロセッサ（英語：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、略称：ＤＳＰ）、フィールドプログラマブルゲートアレイ（英語：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、略称：ＦＰＧＡ）などを含むことができるが、これらのみに限定されない。
いくつかの実施例では、前記頭部装着式表示メガネは、ＶＲメガネ、またはＶＲゴーグルなどを含むことができる。
本実施例では、前記入力情報は前記ユーザの姿勢情報である。もしくは、前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報である。
前記入力装置は、５次元キー、ジョイスティック、タッチパネル、タッチスクリーンまたはバーチャルボタンの少なくとも１種を含む。
前記姿勢情報は、ヨー角とピッチ角の少なくとも１種を含む。
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図１に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
本実施例は、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
本発明の実施例は頭部装着式表示メガネを提供する。図６は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図６に示すように、図５をベースに、頭部装着式表示メガネ５０は、前記ユーザ頭部のヨー角とピッチ角を検知するとともに、前記ユーザ頭部のヨー角とピッチ角を前記１つまたは複数のプロセッサ５１に送信するための、前記１つまたは複数のプロセッサ５１に接続される慣性測定ユニット５３をさらに備える。
１つまたは複数のプロセッサ５１は、前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定し、そして、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するために用いられる。
具体的には、１つまたは複数のプロセッサ５１は、前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し、そして、前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するために用いられる。
任意には、１つまたは複数のプロセッサ５１は、前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定し、前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するために用いられる。
もしくは、１つまたは複数のプロセッサ５１は、前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定し、そして、前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定する。
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図２に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
本実施例はＩＭＵによってユーザ頭部のヨー角とピッチ角を検知し、前記１つまたは複数のプロセッサは、ヨー角に基づいてスクリーン上の水平方向でのカーソルの座標を判定し、ピッチ角に基づいてスクリーン上の垂直方向でのカーソルの座標を判定し、ユーザ頭部の運動情報を、スクリーン上でのカーソルの位置情報に正確に変換し、カーソル位置検出の精度を高めるとともに、ユーザが無人機を動作制御する精度も高めている。
本発明の実施例は頭部装着式表示メガネを提供する。図７は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図７に示すように、図６をベースに、１つまたは複数のプロセッサ５１は、前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするために用いられ、頭部装着式表示メガネ５０は、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するための、前記１つまたは複数のプロセッサ５１に接続される受信ユニット５４をさらに備える。
任意には、受信ユニット５４は、前記ユーザが入力した前記目標物体を選択するための選択命令を受信するために用いられ、前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザが目の動きによって入力した選択命令を受信すること、もしくは、前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信すること、もしくは、前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択すること、もしくは、前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザがジョイスティックを制御することによって入力した選択命令を受信すること、を含む。
また、頭部装着式表示メガネ５０は、前記１つまたは複数のプロセッサ５１に接続される眼部センサ５５をさらに含み、眼部センサ５５は、前記ユーザの目の運動情報を検知するとともに、前記運動情報を前記１つまたは複数のプロセッサ５１を送信するために用いられ、１つまたは複数のプロセッサ５１は、前記運動情報に基づき、前記選択命令を判定するために用いられる。
前記選択命令はポイント選択またはフレーム選択を含む。
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図３に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
本実施例はＶＲメガネを介し、ユーザ頭部の動きに基づいて、スクリーン上でのカーソルの位置を調整し、ユーザが所望する目標点または目標物体の方をカーソルが指すようにし、目標点または目標物体に対するポイント選択またはフレーム選択を実現することができ、ユーザがＶＲメガネを介してポイント選択またはフレーム選択の操作を行うことを実現しており、ＶＲメガネにタッチスクリーンが欠けているため、指さし飛行モード、スマートトラッキングモード、カメラ合焦など、タッチスクリーンを介して無人機を制御する制御方式を実現することができなくなる欠陥を補っている。
本発明の実施例は頭部装着式表示メガネを提供する。図８は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図８に示すように、上記いずれかの頭部装着式表示メガネの実施例をベースに、図７に示す実施例を例にすると、１つまたは複数のプロセッサ５１がさらに、前記無人機の状態情報を取得し、そして、前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するために用いられる。
また、頭部装着式表示メガネ５１は、前記１つまたは複数のプロセッサ５１に接続される送信ユニット５６をさらに含み、送信ユニット５６は前記無人機に状態情報取得要求を送信するために用いられ、受信ユニット５４はさらに、前記無人機が送信する状態情報を受信するために用いられる。
もしくは、受信ユニット５４はさらに、前記無人機が放送する状態情報を受信するために用いられる。
もしくは、受信ユニット５４はさらに、他の無人機制御端末が送信する前記無人機の状態情報を受信するために用いられ、前記他の無人機制御端末は、前記無人機を制御するとともに、前記無人機が放送する状態情報を受信するために用いられる。
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図４に示す実施例と類似しており、ここでは無用な説明は繰り返さない。
本実施例は、複数の制御機器によって無人機の状態情報をそれぞれ取得するとともに、無人機の状態情報に基づき、ローカルに記憶された無人機の状態情報を同期し、各々の制御機器が記憶している無人機の状態情報を無人機の現在の状態情報と一致させ、複数の制御機器が１つの無人機を同時に制御する際に制御の混乱や相互干渉が生じる現象を回避している。
本発明の実施例は無人機制御システムを提供する。本実施例が提供する無人機制御システムは、無人機と、上記実施例に記載の頭部装着式表示メガネとを含み、前記頭部装着式表示メガネは、前記無人機を制御するために用いられる。
本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも上記実施例と類似しており、ここでは無用な説明は繰り返さない。
本実施例は、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。
本発明が提供するいくつかの実施例では、開示された装置および方法は、他の方式によって実現可能であることを理解しなければならない。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。なお、表示または検討される相互の間の結合または直接的な結合または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接的な結合または通信接続であってよく、電気的、機械的または他の形式であってよい。
上記の、分離部材として説明されるユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして表示される部材は物理ユニットであってもなくてもよく、すなわち、１つの場所に位置していてもよいか、もしくは、複数のネットワークユニット上に分布していてもよい。実際のニーズに基づいて、そのうちの一部もしくはすべてのユニットを選択することにより本実施例の案の目的を達成することができる。
また、本発明の各々の実施例における各機能ユニットが１つの処理装置に一体化されてもよく、各々のユニットが個別に物理的に存在していてもよく、２つまたは２つ以上のユニットが１つのユニットに一体化されてもよい。上記一体化されたユニットは、ハードウェアの形で実現することができ、ハードウェアにソフトウェア機能ユニットを加える形で実現することもできる。
上記の、ソフトウェア機能ユニットの形で実現される一体化されたユニットは、１つのコンピュータ可読記憶媒体に記憶することができる。上記ソフトウェア機能ユニットは１つの記憶媒体に記憶され、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、もしくはネットワーク装置などであってよい）またはプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各々の実施例に記載の方法の一部のステップを実行させるためのいくつかの命令を含む。そして、前記記憶媒体は、ＵＳＢメモリ、外付けハードディスクドライブ、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクもしくは光ディスクなどの、プラグラムコードを記憶可能な各種媒体を含む。
記述を容易にし、簡潔にするため、上記の各機能モジュールの区分で例を挙げて説明したが、実際の応用では、必要に応じて、上記機能の割り当てを、異なる機能モジュールにより遂行してもよく、すなわち、装置の内部構造を異なる機能モジュールに区分することで、上述のすべてのもしくは一部の機能を遂行してもよいことを、当業者は明確に理解することができる。上述の装置の動作プロセスについては、前記方法の実施例における対応するプロセスを参照することができ、ここでは無用な説明は繰り返さない。
最後に説明しなければならないのは、以上の各実施例は、本発明の技術案を説明するために用いられるに過ぎず、それを限定するものではなく、前記各実施例を参照して本発明について詳しく説明したが、依然として、前記各実施例に記載の技術案を修正するか、もしくは、そのうち一部もしくはすべての技術的特徴について均等物による置き換えを行うことができ、そして、これらの修正もしくは置き換えは、相応の技術案の本質を本発明の各実施例の技術案の範囲から逸脱させないことを当業者は理解しなければならないという点である。
１ ＶＲメガネの平面図
２ ユーザ頭部の平面図
３ ユーザ頭部の回転方向
４ ＶＲメガネのスクリーン
５ 移動可能なマーク
６ ＶＲメガネの側面図
７ ユーザ頭部の側面図
８ ユーザ頭部の運動方向
９ ＶＲメガネのスクリーン
１０ 移動可能なマーク
１１ カーソル
１２ トラッキング目標
１３ カーソル位置
１４ カーソル位置
１５ 矩形枠
５０ 頭部装着式表示メガネ
５１ プロセッサ
５２ スクリーン
５３ 慣性測定ユニット
５４ 受信ユニット
５５ 眼部センサ
５６ 送信ユニット

Claims (52)

  1. 移動可能なマークを表示すること；
    ユーザの入力情報を取得すること；および、
    前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御すること、
    を含むことを特徴とする、無人機の制御方法。
  2. 前記入力情報は前記ユーザの姿勢情報であることを特徴とする請求項１に記載の方法。
  3. 前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であることを特徴とする請求項１に記載の方法。
  4. 前記入力装置は、５次元キー、ジョイスティック、タッチパネル、タッチスクリーンまたはバーチャルボタンの少なくとも１種を含むことを特徴とする請求項３に記載の方法。
  5. 前記姿勢情報は、ヨー角とピッチ角の少なくとも１種を含むことを特徴とする請求項２に記載の方法。
  6. 前記ユーザの入力情報を取得することは：
    慣性測定ユニットが検知した前記ユーザ頭部のヨー角とピッチ角を取得することを含むことを特徴とする請求項５に記載の方法。
  7. 前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御することは：
    前記ヨー角と前記ピッチ角に基づき、スクリーン上での前記移動可能なマークの位置を判定すること；および、
    前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択すること、
    を含むことを特徴とする請求項６に記載の方法。
  8. 前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定することは：
    前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定すること；および、
    前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定すること、
    を含むことを特徴とする請求項７に記載の方法。
  9. 前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定することは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定すること；
    を含み、
    前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定することは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定することを含むことを特徴とする請求項８に記載の方法。
  10. 前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定することは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定すること；
    を含み、
    前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定することは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定することを含むことを特徴とする請求項８に記載の方法。
  11. 前記スクリーン上での前記移動可能なマークの位置に基づき、スクリーン上に表示される目標物体を選択することは：
    前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにすること；および、
    前記ユーザが入力した、前記目標物体を選択するための選択命令を受信すること、
    を含むことを特徴とする請求項７に記載の方法。
  12. ユーザが入力した、前記目標物体を選択するための選択命令を受信することは：
    前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザが目の動きによって入力した選択命令を受信すること；もしくは、
    前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択すること；もしくは、
    前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信すること、
    を含むことを特徴とする請求項１１に記載の方法。
  13. 前記選択命令はポイント選択またはフレーム選択を含むことを特徴とする請求項１２に記載の方法。
  14. 前記無人機の状態情報を取得すること；および、
    前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期すること、
    をさらに含むことを特徴とする請求項１〜１３のいずれか一項に記載の方法。
  15. 前記無人機の状態情報を取得することは：
    前記無人機に状態情報取得要求を送信すること；および、
    前記無人機が送信する状態情報を受信すること、
    を含むことを特徴とする請求項１４に記載の方法。
  16. 前記無人機の状態情報を取得することは：
    前記無人機が放送する状態情報を受信することを含むことを特徴とする請求項１４に記載の方法。
  17. １つまたは複数のプロセッサおよび１つのスクリーンを備え、前記スクリーンは、移動可能なマークを表示するために用いられ；前記１つまたは複数のプロセッサは、ユーザの入力情報を取得するために用いられ；そして、前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御することを特徴とする、無人機を制御するための頭部装着式表示メガネ。
  18. 前記入力情報は前記ユーザの姿勢情報であることを特徴とする請求項１７に記載の頭部装着式表示メガネ。
  19. 前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であることを特徴とする請求項１７に記載の頭部装着式表示メガネ。
  20. 前記入力装置は、５次元キー、ジョイスティック、タッチパネル、タッチスクリーンまたはバーチャルボタンの少なくとも１種を含むことを特徴とする請求項１９に記載の頭部装着式表示メガネ。
  21. 前記姿勢情報はヨー角とピッチ角の少なくとも１種を含むことを特徴とする請求項１８に記載の頭部装着式表示メガネ。
  22. 前記ユーザ頭部のヨー角とピッチ角を検知するとともに、前記ユーザ頭部のヨー角とピッチ角を前記１つまたは複数のプロセッサに送信するための、前記１つまたは複数のプロセッサに接続される慣性測定ユニットをさらに備えることを特徴とする請求項２１に記載の頭部装着式表示メガネ。
  23. 前記１つまたは複数のプロセッサは：
    前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定し；そして、
    前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するために用いられることを特徴とする請求項２２に記載の頭部装着式表示メガネ。
  24. 前記１つまたは複数のプロセッサは：
    前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し；そして、
    前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するために用いられることを特徴とする請求項２３に記載の頭部装着式表示メガネ。
  25. 前記１つまたは複数のプロセッサは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定し；
    前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するために用いられることを特徴とする請求項２４に記載の頭部装着式表示メガネ。
  26. 前記１つまたは複数のプロセッサは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定し；そして、
    前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定するために用いられることを特徴とする請求項２４に記載の頭部装着式表示メガネ。
  27. 前記１つまたは複数のプロセッサは前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするために用いられ；
    前記頭部装着式表示メガネは：
    前記１つまたは複数のプロセッサに接続される受信ユニットをさらに含み、前記受信ユニットは、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するために用いられることを特徴とする請求項２３に記載の頭部装着式表示メガネ。
  28. 前記受信ユニットは、前記ユーザが入力した前記目標物体を選択するための選択命令を受信するために用いられ：
    前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザが目の動きによって入力した選択命令を受信すること；もしくは、
    前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択すること；もしくは、
    前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信すること、
    を含むことを特徴とする請求項２７に記載の頭部装着式表示メガネ。
  29. 前記１つまたは複数のプロセッサに接続される眼部センサをさらに含み、前記眼部センサは、前記ユーザの目の運動情報を検知するとともに、前記運動情報を前記１つまたは複数のプロセッサに送信するために用いられ；
    前記１つまたは複数のプロセッサは、前記運動情報に基づき、前記選択命令を判定するために用いられることを特徴とする請求項２７に記載の頭部装着式表示メガネ。
  30. 前記選択命令はポイント選択またはフレーム選択を含むことを特徴とする請求項２７に記載の頭部装着式表示メガネ。
  31. 前記１つまたは複数のプロセッサがさらに：
    前記無人機の状態情報を取得し；そして、
    前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するために用いられることを特徴とする請求項１７〜３０のいずれか一項に記載の頭部装着式表示メガネ。
  32. 前記１つまたは複数のプロセッサに接続される送信ユニットをさらに含み、前記送信ユニットは、前記無人機に状態情報取得要求を送信するために用いられ；
    前記受信ユニットはさらに、前記無人機が送信する状態情報を受信するために用いられることを特徴とする請求項３１に記載の頭部装着式表示メガネ。
  33. 前記受信ユニットはさらに、前記無人機が放送する状態情報を受信するために用いられることを特徴とする請求項３１に記載の頭部装着式表示メガネ。
  34. 前記受信ユニットはさらに、他の無人機制御端末が送信する前記無人機の状態情報を受信するために用いられ、前記他の無人機制御端末は、前記無人機を制御するとともに、前記無人機が放送する状態情報を受信するために用いられることを特徴とする請求項３１に記載の頭部装着式表示メガネ。
  35. 前記頭部装着式表示メガネが：
    移動可能なマークを表示するために用いられるスクリーンと；
    ユーザの入力情報を取得し；そして、
    前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御するための１つまたは複数のプロセッサと、
    を含むことを特徴とする、無人機および頭部装着式表示メガネを含む無人機制御システム。
  36. 前記入力情報は前記ユーザの姿勢情報であることを特徴とする請求項３５に記載の無人機制御システム。
  37. 前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であることを特徴とする請求項３５に記載の無人機制御システム。
  38. 前記入力装置は、５次元キー、ジョイスティック、タッチパネル、タッチスクリーンまたはバーチャルボタンの少なくとも１種を含むことを特徴とする請求項３７に記載の無人機制御システム。
  39. 前記姿勢情報はヨー角とピッチ角の少なくとも１種を含むことを特徴とする請求項３６に記載の無人機制御システム。
  40. 前記ユーザ頭部のヨー角とピッチ角を検知するとともに、前記ユーザ頭部のヨー角とピッチ角を前記１つまたは複数のプロセッサに送信するための、前記１つまたは複数のプロセッサに接続される慣性測定ユニットをさらに備えることを特徴とする請求項３９に記載の無人機制御システム。
  41. 前記１つまたは複数のプロセッサは：
    前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定し；そして、
    前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するために用いられることを特徴とする請求項４０に記載の無人機制御システム。
  42. 前記１つまたは複数のプロセッサは：
    前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し；そして、
    前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するために用いられることを特徴とする請求項４１に記載の無人機制御システム。
  43. 前記１つまたは複数のプロセッサは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定し；
    前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するために用いられることを特徴とする請求項４２に記載の無人機制御システム。
  44. 前記１つまたは複数のプロセッサは：
    前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定し；そして、
    前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定するために用いられることを特徴とする請求項４２に記載の無人機制御システム。
  45. 前記１つまたは複数のプロセッサは前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするために用いられ；
    前記頭部装着式表示メガネは：
    前記１つまたは複数のプロセッサに接続される受信ユニットをさらに含み、前記受信ユニットは、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するために用いられることを特徴とする請求項４１に記載の無人機制御システム。
  46. 前記受信ユニットは、前記ユーザが入力した前記目標物体を選択するための選択命令を受信するために用いられ：
    前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザが目の動きによって入力した選択命令を受信すること；もしくは、
    前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択すること；もしくは、
    前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信すること；もしくは、
    前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信すること、
    を含むことを特徴とする請求項４５に記載の無人機制御システム。
  47. 前記１つまたは複数のプロセッサに接続される眼部センサをさらに含み、前記眼部センサは、前記ユーザの目の運動情報を検知し、前記運動情報を前記１つまたは複数のプロセッサに送信するために用いられ；
    前記１つまたは複数のプロセッサは、前記運動情報に基づき、前記選択命令を判定するために用いられることを特徴とする請求項４５に記載の無人機制御システム。
  48. 前記選択命令はポイント選択またはフレーム選択を含むことを特徴とする請求項４５に記載の無人機制御システム。
  49. 前記１つまたは複数のプロセッサがさらに：
    前記無人機の状態情報を取得し；そして、
    前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するために用いられることを特徴とする請求項３５〜４８のいずれか一項に記載の無人機制御システム。
  50. 前記１つまたは複数のプロセッサに接続される送信ユニットをさらに含み、前記送信ユニットは、前記無人機に状態情報取得要求を送信するために用いられ；
    前記受信ユニットはさらに、前記無人機が送信する状態情報を受信するために用いられることを特徴とする請求項４９に記載の無人機制御システム。
  51. 前記受信ユニットはさらに、前記無人機が放送する状態情報を受信するために用いられることを特徴とする請求項４９に記載の無人機制御システム。
  52. 前記受信ユニットはさらに、他の無人機制御端末が送信する前記無人機の状態情報を受信するために用いられ、前記他の無人機制御端末は、前記無人機を制御するとともに、前記無人機が放送する状態情報を受信するために用いられることを特徴とする請求項４９に記載の無人機制御システム。
JP2019516208A 2016-09-26 2016-09-26 無人機の制御方法、頭部装着式表示メガネおよびシステム Active JP6851470B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/100072 WO2018053824A1 (zh) 2016-09-26 2016-09-26 无人机控制方法、头戴式显示眼镜及系统

Publications (2)

Publication Number Publication Date
JP2020506443A true JP2020506443A (ja) 2020-02-27
JP6851470B2 JP6851470B2 (ja) 2021-03-31

Family

ID=60485742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019516208A Active JP6851470B2 (ja) 2016-09-26 2016-09-26 無人機の制御方法、頭部装着式表示メガネおよびシステム

Country Status (5)

Country Link
US (1) US20190220040A1 (ja)
EP (1) EP3511758A4 (ja)
JP (1) JP6851470B2 (ja)
CN (1) CN107454947A (ja)
WO (1) WO2018053824A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076409A (ko) * 2021-11-24 2023-05-31 주식회사 딥파인 스마트 글래스 및 이를 포함하는 음성 인식 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019082891A (ja) * 2017-10-31 2019-05-30 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
CN107943088A (zh) * 2017-12-22 2018-04-20 广州亿航智能技术有限公司 一种控制无人机的方法及其系统
CN109992096A (zh) * 2017-12-29 2019-07-09 北京亮亮视野科技有限公司 激活智能眼镜功能图标的方法
CN110337621A (zh) * 2018-04-09 2019-10-15 深圳市大疆创新科技有限公司 运动轨迹确定、延时摄影方法、设备及机器可读存储介质
CN109316741A (zh) * 2018-07-17 2019-02-12 派视觉虚拟现实（深圳）软件技术有限公司 一种vr场景中控制角色移动的方法、装置及设备
CN109309709B (zh) * 2018-08-22 2021-08-10 北京臻迪科技股份有限公司 一种可远端控制无人装置的控制方法
CN109300478A (zh) * 2018-09-04 2019-02-01 上海交通大学 一种听力障碍者的辅助对话装置
CN109540834A (zh) * 2018-12-13 2019-03-29 深圳市太赫兹科技创新研究院 一种电缆老化监测方法及系统
CN110412996A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于手势和眼动的无人机操控方法、装置和系统
CN110347163B (zh) * 2019-08-07 2022-11-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN110764521B (zh) * 2019-10-15 2021-09-24 中国航空无线电电子研究所 面向多无人机的地面站任务飞行一体化监控系统及方法
CN110753313A (zh) * 2019-10-30 2020-02-04 深圳市道通智能航空技术有限公司 一种数据同步方法和系统
WO2021090906A1 (ja) * 2019-11-08 2021-05-14 株式会社エスイーフォー 制御装置、制御ユニット、それらを有する制御システム
US11804052B2 (en) * 2020-03-26 2023-10-31 Seiko Epson Corporation Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
CN112771465A (zh) * 2020-04-27 2021-05-07 深圳市大疆创新科技有限公司 无人机的控制方法、系统、装置及存储介质
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306144A (ja) * 2000-04-21 2001-11-02 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
JP2011189929A (ja) * 2010-03-11 2011-09-29 Parrot 無人機、特に回転翼無人機を遠隔制御するための方法および機器
JP2013144539A (ja) * 2012-01-04 2013-07-25 Parrot 遠隔制御装置によって無人機を直観的に操縦するための方法
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016119655A (ja) * 2014-11-26 2016-06-30 パロット 無人機を没入モードで操縦するためのビデオシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
WO2012154938A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP6026088B2 (ja) * 2011-08-09 2016-11-16 株式会社トプコン 遠隔操作システム
CN202587217U (zh) * 2011-12-16 2012-12-05 新时代集团国防科技研究中心 用于无人飞行器作业的辅助显示装置
SI24055A (sl) * 2012-04-16 2013-10-30 Airmamics Napredni Mehatronski Sistemi D.O.O. Krmilni sistem stabilizacijske glave za letečo ali stacionarno platformo
CN205139708U (zh) * 2015-10-28 2016-04-06 上海顺砾智能科技有限公司 一种无人机的动作识别远程控制装置
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105357220B (zh) * 2015-12-04 2019-04-26 深圳一电航空技术有限公司 无人机管控方法及系统
CN105739525B (zh) * 2016-02-14 2019-09-03 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
CN105867613A (zh) * 2016-03-21 2016-08-17 乐视致新电子科技（天津）有限公司 基于虚拟现实系统的头控交互方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306144A (ja) * 2000-04-21 2001-11-02 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
JP2011189929A (ja) * 2010-03-11 2011-09-29 Parrot 無人機、特に回転翼無人機を遠隔制御するための方法および機器
JP2013144539A (ja) * 2012-01-04 2013-07-25 Parrot 遠隔制御装置によって無人機を直観的に操縦するための方法
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016119655A (ja) * 2014-11-26 2016-06-30 パロット 無人機を没入モードで操縦するためのビデオシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076409A (ko) * 2021-11-24 2023-05-31 주식회사 딥파인 스마트 글래스 및 이를 포함하는 음성 인식 시스템
KR102605774B1 (ko) 2021-11-24 2023-11-29 주식회사 딥파인 스마트 글래스 및 이를 포함하는 음성 인식 시스템

Also Published As

Publication number Publication date
EP3511758A1 (en) 2019-07-17
EP3511758A4 (en) 2019-08-28
CN107454947A (zh) 2017-12-08
JP6851470B2 (ja) 2021-03-31
WO2018053824A1 (zh) 2018-03-29
US20190220040A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
JP6851470B2 (ja) 無人機の制御方法、頭部装着式表示メガネおよびシステム
US10674062B2 (en) Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
US20220374010A1 (en) User Interaction Paradigms For A Flying Digital Assistant
WO2018214078A1 (zh) 拍摄控制方法及装置
CN107168352B (zh) 目标追踪系统及方法
US9703288B1 (en) System and method for aerial system control
KR20180075191A (ko) 무인 이동체를 제어하기 위한 방법 및 전자 장치
US10917560B2 (en) Control apparatus, movable apparatus, and remote-control system
CN103426282A (zh) 遥控方法及终端
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11611700B2 (en) Unmanned aerial vehicle with virtual un-zoomed imaging
CN113448343B (zh) 用于设定飞行器的目标飞行路径的方法、系统和可读介质
CN109076206B (zh) 基于无人机的立体成像方法和装置
WO2019140686A1 (zh) 跟随控制方法、控制终端及无人机
CN113677412B (zh) 信息处理装置、信息处理方法和程序
EP3288828B1 (en) Unmanned aerial vehicle system and method for controlling an unmanned aerial vehicle
JP6560479B1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
JP2022105568A (ja) ３ｄツアーの比較表示システム及び方法
WO2017187220A1 (en) System and method for aerial system control
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR20170093389A (ko) 무인 비행체 제어 방법
EP3518063A1 (en) Combined video display and gimbal control
CN113631477A (zh) 信息处理装置、信息处理方法和程序
CN116342838A (zh) 一种头戴设备及头戴设备中的建图初始化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6851470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250