JP2018515838A - 無人機の遠隔信号伝達制御のためのマルチセンサ制御システムおよび方法 - Google Patents
無人機の遠隔信号伝達制御のためのマルチセンサ制御システムおよび方法 Download PDFInfo
- Publication number
- JP2018515838A JP2018515838A JP2017553990A JP2017553990A JP2018515838A JP 2018515838 A JP2018515838 A JP 2018515838A JP 2017553990 A JP2017553990 A JP 2017553990A JP 2017553990 A JP2017553990 A JP 2017553990A JP 2018515838 A JP2018515838 A JP 2018515838A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- command
- movement
- hand
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000008054 signal transmission Effects 0.000 title description 2
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 238000004891 communication Methods 0.000 claims description 59
- 238000013515 script Methods 0.000 claims description 12
- 230000005057 finger movement Effects 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 8
- 230000011664 signaling Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000032258 transport Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H27/00—Toy aircraft; Other flying toys
- A63H27/12—Helicopters ; Flying tops
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/17—Helicopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/13—Propulsion using external fans or propellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
Abstract
装置は、無人機（UV）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを含む。マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む。コントローラは、マルチセンサ検出器を監視して、少なくとも２つのセンサから受信された入力データに基づいて操作者の複数のジェスチャを判定する。コントローラは、判定された操作者の複数のジェスチャに基づいて無人機へのコマンドを生成する。
Description
本開示は、制御システムに関し、より詳細には、マルチセンサ装置を利用する無人機の遠隔信号伝達制御のためのシステムおよび方法に関する。
ほとんどの無人システムは、システムを製造した製造業者を問わず、組織単位の専門職のための予算および計画を複数の上司に要求する複数の操作者に対する特殊な訓練を必要とする。これは、無人システムの適切な雇用に先立って特殊な訓練が数ヶ月または数年の訓練を必要とする多くの状況において実際的ではない。例えば、歩兵部隊が、任意の戦闘空間内で複雑な複数の航空資産（air asset）を指揮するために、計器飛行資格パイロットを持つことは期待できない。米軍は、複雑な複数のシステムと最小限の訓練を受けた要員との間の相互作用の長い歴史を持ち、地上戦闘員は、複数の人間によって操作される陸上車両および航空機を連係させ、指揮することが期待されている。通常、複数の無人システムは、操作者をデータに没頭させるように設計されたユーザインターフェースを有する無人機とセンサに焦点を当てるように開発されている。しかし、最終的には、長時間（且つ高価な）の訓練の必要性を持つ特殊な操作者を育成することになる。さらに、特殊な訓練が実施された後に操作者の動きを検出するための粗い単一センサセンシングシステムは、それらが展開される前に複数の較正手順を必要とし、操作者の所望のコマンドの変化を検出するのが遅くなることがある。較正の遅延および／または操作者の複数のコマンドの検出は、戦場では致命的となる可能性がある。
本開示は、マルチセンサ装置を利用する無人機の遠隔信号伝達制御のためのシステムおよび方法に関する。一側面では、装置は、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを含む。マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む。コントローラは、マルチセンサ検出器を監視して、少なくとも２つのセンサから受信された入力データに基づいて操作者の複数のジェスチャを判定する。コントローラは、判定された操作者の複数のジェスチャに基づいて無人機へのコマンドを生成する。
他の側面では、システムは、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを含む。マルチセンサ検出器は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む。コントローラは、マルチセンサ検出器を監視して、少なくとも２つのセンサから受信された入力データに基づいて操作者の複数のジェスチャを判定する。コントローラは、判定された操作者の複数のジェスチャに基づいてコマンドを生成する。通信モジュールは、無人機を制御するために、コントローラからのコマンドを中継する。
さらなる他の側面では、方法は、少なくとも２つのセンサを有するウェアラブルデバイスから、無人機に命令する操作者の複数のジェスチャを検出することを含む。方法は、少なくとも２つのセンサを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出することを含む。方法は、少なくとも２つのセンサの分析に基づいて、前記操作者の複数のジェスチャを判定することを含む。方法は、無人機の複数の動作を制御するためのコマンドを通信することを含む。
本開示は、マルチセンサ装置を利用する無人機（unmanned vehicle : UV）の遠隔信号伝達制御（remote signaling control）のためのシステムおよび方法に関する。このシステムおよび方法は、標準化された人間の複数のジェスチャ（standardized human gestures）（例えば、承認された手および腕の信号）を介してＵＶを制御することを含む。このシステムは、任意の人間のジェスチャ（例えば、手による上または下への動作）を再現してＵＶを制御する間にユーザが装着する１組のウェアラブルデバイス（例えば、複数のグローブ）を含む。各ウェアラブルデバイスは、例えば、任意の人間のジェスチャの検出を提供するように構成された加速度計、ジャイロスコープ、磁力計、または抵抗ストリップ（resistance strip）を含み得るマルチセンサ検出器（multi-sensor detector）を含む。別例では、システムは、ＵＶの動きを制御する１組のグローブ（glove）ではなく、単一のグローブを含む。マルチセンサ検出器を利用することにより、単一センサシステムに要求される複雑な複数の較正手順（calibration procedure）を軽減することができる。さらに、マルチセンサ検出器は、従来の単一センサシステム（例えば、加速度計の検出のみ）よりも迅速に手のジェスチャを判定することができる。
ウェアラブルデバイスは、マルチセンサ検出器を監視し、複数の測定値が伝送される伝送媒体（有線または無線）を介して通信するコントローラを含むことができる。システムは、ウェアラブルデバイスから複数の測定値／複数のコマンドを受信するための電子デバイス（例えば、モバイルハンドヘルドデバイスなどの単一ボードコンピュータ）などの複数の通信モジュールをさらに含むことができる。コントローラは、ジェスチャデータを解釈して、任意の手のジェスチャ（例えば、左／右、上／下、手の回転、指の動きなど）に対応する複数の特性を抽出する。抽出された複数の特性は、ＵＶを制御するための既知の手の複数のジェスチャ特性に基づいてＵＶへのコマンド信号（または複数の信号）を生成するようにコントローラによって用いられる。別の態様では、システムは、ユーザの頭上または頭の周りに装着可能なヘッドマウントディスプレイ（head mounted display : HMD）をさらに含む。ＨＭＤは、通信モジュールと通信し、ＵＶ（例えば、全体的なシステム状態、ＵＶの緯度および経度情報など）に対応する関連情報を受信するように構成される。
図１は、操作者の複数のジェスチャ１４０を検出するマルチセンサ検出器を有するウェアラブルデバイス１２０を介した無人機１１０の遠隔信号伝達および制御のためのシステム１００の一例を示す。ウェアラブルデバイス１２０のマルチセンサ検出器１３０（例えば、ウェアラブルグローブ）は、ＵＶ１１０に命令する操作者の複数のジェスチャを検出する。マルチセンサ検出器１３０は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転の動き、および操作者の手の指の動きに関する操作者のジェスチャの動きおよび方向を検出する少なくとも２つのセンサを含む。例えば、複数のセンサは、操作者の手の動き（例えば、身体を横切る左または右の水平な手の動き）に関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計を含み得る。また複数のセンサは、地球の磁場に対する操作者の手の動き（例えば、横方向の手の動き）を検出する磁力計を含み得る。別例では、複数のセンサは、操作者の手の回転運動を検出するジャイロスコープを含み得る。また複数のセンサは、操作者の手の指の動きを検出する（例えば、指が屈曲すると、抵抗ストリップが屈曲してその抵抗が変化する）指装着式抵抗ストリップ（finger mounted resistance strip）を含み得る。複数のジェスチャ１４０は、任意の標準的な軍用または産業用マニュアルから解釈され得る。複数のマニュアルの例は、空軍の取扱説明書（Air Force instruction manual）１１−２１８、陸軍のビジュアル信号マニュアル（Department of Army Visual Signals manual）ＦＭ−２１６０、海軍航空マニュアル（Naval Air manual）ＮＡＶＡＩＲ ００−８０Ｔ−１１３などを含む。
コントローラ１５０は、マルチセンサ検出器１３０を監視して複数のセンサから（例えば、少なくとも２つのセンサから）受け取った入力データに基づいて操作者のジェスチャを判定する。コントローラ１５０は、判定された操作者のジェスチャに基づいて、ＵＶ１１０に／から（例えば、直接的または間接的に）コマンドを生成する。例えば、コントローラ１５０が、検出器１３０を介して操作者が両手を地面に向かって下方に動かしたことを検出した場合、コントローラは、無人機が下方向に飛行経路を制御するためにその後に無人機により用いられるダウンコマンドを生成することができる。この例に示すように、コントローラ１５０は、ＵＶを制御するコマンドを中継する通信モジュール１６０にコマンドを送信し得る。いくつかの実施例では、コントローラ１５０および／または通信モジュール１６０は、ウェアラブルデバイス１２０の一部分として提供され得る。他の例では、コントローラ１５０および／または通信モジュール１６０は、グローブの外側にあってもよく、マルチセンサ検出器１３０へのそれぞれの通信のためにグローブに配線されてもよい。特定の例では、通信モジュール１６０は、コントローラ１５０からのコマンドを中継してＵＶ１１０を制御するシングルボードコンピュータ（例えば、モバイルハンドヘルドデバイス）であってもよい。図示されていないが、ＵＶは、コントローラ１５０によって生成された複数のコマンドに応答する別個の飛行コントローラ（separate flight controller）を含む。
図３に関してより詳細に示され記載されるように、コントローラ１５０は、ブルートゥース（Bluetooth）またはユニバーサルシリアルバス接続（universal serial bus connection : USB）を介してコマンドを中継する通信モジュール１６０にコマンドを送信してＵＶ１１０を制御する。さらに通信モジュール１６０と通信するミッションプランナ・アプリケーション（mission planner application）が、設けられ得る（例えば、図２を参照）。ミッションプランナ・アプリケーションは、通信モジュール１６０からコマンドを受け取り、コマンドに基づいてＵＶ１１０を制御するための制御コマンドを生成する。ミッションプランナ・アプリケーションは、コンピュータ（例えば、ラップトップ）上で動作し、無線リンクを介して通信モジュール１６０と通信することができる。ウェアラブルグラス（Wearable glasses）（例えば、図３参照）は、ミッションプランナ・アプリケーションからウェアラブルデバイスの操作者にミッションステータス（mission status）を通信するように設けられ得る。
図２は、操作者の複数のジェスチャ２４０を検出するマルチセンサ検出器２３０を有するウェアラブルデバイス２２０を介した無人機２１０の遠隔信号伝達及び制御のためのミッションプランナ２０４を有するシステム２００の一例を示す。マルチセンサ検出器２３０は、無人機２１０（unmanned vehicle : UV）に命令する操作者の複数のジェスチャ２４０を検出する。マルチセンサ検出器２３０は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および／または操作者の手の指の動きを検出する抵抗ストリップを含む少なくとも２つのセンサを含み得る。コントローラ２５０は、複数のセンサから受信した入力データに基づいて操作者のジェスチャ２４０を判定するマルチセンサ検出器２３０を監視し、コントローラは、判定された操作者のジェスチャに基づいてＵＶ２１０のコマンドを生成する。通信モジュール２６０は、ＵＶを制御するためにコントローラからのコマンドを中継する。この例では、図１の例に示すようにコマンドを直接的に中継するのではなく、通信モジュールは、コマンドを、ＵＶ２１０と通信するミッションプランナ２０４に中継する。
上述した例と同様に、通信モジュール２６０は、ＵＶ２１０を制御するためにコマンドを中継するモバイルハンドヘルドデバイス（またはトランシーバ（walkie/talkie）などの他の電子通信デバイス）などの単一のボードコンピュータ（board computer）であってもよい。コントローラ２５０は、コマンドを例えば、ブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、ＵＶ２１０を制御するためにコマンドを中継する通信モジュール２６０に送信する。ミッションプランナ２０４は、通信モジュール２６０と通信するアプリケーションである。ミッションプランナ・アプリケーションが、通信モジュール２６０からコマンドを受信し、受信されたコマンドに基づいてＵＶ２１０を制御するための制御コマンドを生成する。ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して通信モジュールと通信することができる。ウェアラブルグラス（例えば、図３参照）は、ミッションプランナ２０４からウェアラブルデバイス２２０の操作者にミッションステータスを伝えるために設けられ得る。ミッションプランナ２０４は、スクリプトインタフェース（scripting interface）を介してソフトウェアパケットを、汎用プロトコルのコマンドを通信モジュール２６０と通信するアプリケーションに変換する汎用プロトコルインタフェース（generic protocol interface）に通信することができる。例えば、汎用プロトコルは、トランスポート・コントロール・プロトコル（transport control protocol : TCP）であり、ソフトウェアパケットがＰｙｔｈｏｎスクリプトで通信されるが、他のトランスポートおよびスクリプトスタイルも可能である。
図３は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機（unmanned vehicle : UV）の遠隔信号伝達及び制御のための複数のシステム構成要素３００の一例を示す。この例では、ＵＶ３１０は、ミッションプランナ・アプリケーションを動作させるコンピュータ３２０と無線通信する。ミッションプランナは、ウェアラブルデバイス３４０からジェスチャ・コマンドを（ＵＳＢまたはブルートゥースを介して）受信する通信モジュール３３０（例えば、モバイルハンドヘルドデバイス）と通信する。ウェアラブルステータス・ディスプレイ３５０（例えば、グーグルグラス）が設けられ、ミッションプランナ３２０および／または通信モジュール３３０を介してウェアラブルデバイス３４０の操作者にステータスを送信することができる。このことは、例えば、ブルートゥース接続を介した通信を含み得る。
図４は、無人機の遠隔信号伝達および制御のためのインタフェースプロトコルの例を示す。この例では、図３に関して上述したミッションプランナは、飛行時間、目的地、ナビゲーション、ターゲットアイデンティティ（target identity）、他の戦場資産との連係などの複数のＵＶミッションの様々な態様を制御するように、ミッションプランナ・ソフトウェア４１０を動作させることができる。ミッションプランナ・ソフトウェア４１０は、汎用プロトコル（例えば、ＴＣＰプロトコル）を介して動作する通信モジュールインターフェース４３０を介してソフトウェアパケット４２０（例えば、Ｐｙｔｈｏｎスクリプト）を送信または受信するスクリプトインタフェースを動作させることができる。通信モジュールインターフェース４３０は、例えばウェアラブルデバイスを使用して操作者にステータスを提供するために、コンピュータ、単一のボードコンピュータのようなデバイス、またはウェアラブルグラスに関連付けられる。インタフェース４３０は、例えば、ウェアラブルデバイスのステータス（例えば、オン／オフ）、各モジュールの通信ステータス（例えば、通信に利用可能または利用可能ではない、無線ステータス）、ミッションプランナと通信する複数のデバイスのシステムステータス、及びＵＡＶに関連するステータスの複数のステータスを提供することができる。
図５は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のための例示的な装置５００を示す。図１に関して上述したウェアラブルデバイスは、５１０および５２０に示す１つまたは２つのウェアラブルグローブとして具体化され得る。グローブ５１０，５２０は、本明細書で説明されるように解釈された操作者の複数のジェスチャに基づいて複数のコマンドを供給する。グローブ５１０，５２０の各々は、本明細書で説明されるような類似の検出センサおよび／またはコントローラで構成され得る。例えば、グローブ５１０は、操作者の指の動きを検出する抵抗ストリップ５３０（または複数のストリップ）を含む。手のセンサ５４０は、本明細書で説明されるマルチセンサ検出器に関して説明された（複数の）加速度計、（複数の）ジャイロスコープ、および／または（複数の）磁力計を含み得る。単一の例示的なセンサは、慣性測定ユニット（inertial measurement unit :IMU）のような９軸センサである。複数のセンサおよび／または複数のストリップ５３０からの出力は、本明細書で説明されるように通信モジュール（図示せず）と通信することができるＵＳＢケーブル５６０を介して解釈されたコマンドを送信することができるコントローラ５５０に通信され得る。
図６は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介して検出される例示的なジェスチャ６００を示す。例示的なジェスチャ６００は、ダウンジェスチャ（down gesture）であるが、前述したように、複数のジェスチャは、本明細書で説明されるように同様に解釈され得る（例えば、図１に関して記載された複数のジェスチャの例示的な複数のマニュアルを参照）。以下は、ダウンジェスチャ６００を解釈するための例示的な擬似コード（pseudo-code）を提示する。これは一例にすぎず、このジェスチャおよび他のそれぞれのジェスチャを解釈する多くの他のコーディングの可能性があり得ることに留意されたい。
// Down
// Arms out, dropped down to sides.
// palm high pos z acc -> palm high neg x acc. High pos y gyro
if( C2_Global_Active && C2_Down && (System.nanoTime() - C2_Down_Time > 500000000) ){
// Active Timer expires after 500ms
C2_Global_Active = false;
C2_Down = false;
C2_Down_Time = 0;
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
} else if ( C2_Global_Active || ( C2_Down && (System.nanoTime() - C2_Down_Time < 500000000) ) ){
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
} else {
// Check for command actions (acc is accelerometer)
if( left_palm_mpu9250_zacc > 12000 // Palms Down
&& right_palm_mpu9250_zacc > 12000
&& Math.abs(left_palm_mpu9250_ygyro) < 4000 // No motion down/up
&& Math.abs(right_palm_mpu9250_ygyro) < 4000
){
// Initial Conditions Met
C2_Down_Start_Time = System.nanoTime();
C2_Down_Counter = C2_Down_Counter | 1;
}
if( left_palm_mpu9250_ygyro > 12000 // Palms moving Down (pos y gyro)
&& right_palm_mpu9250_ygyro > 12000
&& (System.nanoTime() - C2_Down_Start_Time < 250000000)
){
// Proper Motion Conditions Met
C2_Down_Motion_Time = System.nanoTime();
C2_Down_Counter = C2_Down_Counter | 2;
}
if( left_palm_mpu9250_xacc < -12000 // Fingers Down
&& right_palm_mpu9250_xacc < -12000
&& left_forearm_mpu9250_xacc < -12000 // Forearms Vertical
&& right_forearm_mpu9250_xacc < -12000
&& (System.nanoTime() - C2_Down_Start_Time < 1000000000)
&& (System.nanoTime() - C2_Down_Motion_Time < 500000000)
){
// Declared as Proper C2 Command
C2_Global_Active = true;
C2_Down = true;
C2_Down_Time = System.nanoTime();
System.out.println("DOWN");
C2_Down_Counter = C2_Down_Counter | 4;
}
if( ( (C2_Down_Start_Time > 0) && (System.nanoTime() - C2_Down_Start_Time > 1000000000) ) || ( (C2_Down_Motion_Time > 0) && ( (System.nanoTime() - C2_Down_Motion_Time) > 1000000000) )
){
// Start or Motion Timed Out
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
}
}
jCheckBox_C2_Down.setSelected(C2_Down);
上述した構造的及び機能的特徴を考慮して、例示的な方法は、図７を参照することにより、より良く理解されるであろう。説明を簡単にするために、この方法は逐次的に実行されるように示され説明されているが、方法のうちの一部分が、本明細書において示され説明されたものと異なる順序でおよび／または同時に実施され得るので、方法が例示された順序によって限定されないことが理解され認識されたい。このような方法は、例えば、ＩＣまたはコントローラを構成する各種の部品によって実施され得る。
// Down
// Arms out, dropped down to sides.
// palm high pos z acc -> palm high neg x acc. High pos y gyro
if( C2_Global_Active && C2_Down && (System.nanoTime() - C2_Down_Time > 500000000) ){
// Active Timer expires after 500ms
C2_Global_Active = false;
C2_Down = false;
C2_Down_Time = 0;
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
} else if ( C2_Global_Active || ( C2_Down && (System.nanoTime() - C2_Down_Time < 500000000) ) ){
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
} else {
// Check for command actions (acc is accelerometer)
if( left_palm_mpu9250_zacc > 12000 // Palms Down
&& right_palm_mpu9250_zacc > 12000
&& Math.abs(left_palm_mpu9250_ygyro) < 4000 // No motion down/up
&& Math.abs(right_palm_mpu9250_ygyro) < 4000
){
// Initial Conditions Met
C2_Down_Start_Time = System.nanoTime();
C2_Down_Counter = C2_Down_Counter | 1;
}
if( left_palm_mpu9250_ygyro > 12000 // Palms moving Down (pos y gyro)
&& right_palm_mpu9250_ygyro > 12000
&& (System.nanoTime() - C2_Down_Start_Time < 250000000)
){
// Proper Motion Conditions Met
C2_Down_Motion_Time = System.nanoTime();
C2_Down_Counter = C2_Down_Counter | 2;
}
if( left_palm_mpu9250_xacc < -12000 // Fingers Down
&& right_palm_mpu9250_xacc < -12000
&& left_forearm_mpu9250_xacc < -12000 // Forearms Vertical
&& right_forearm_mpu9250_xacc < -12000
&& (System.nanoTime() - C2_Down_Start_Time < 1000000000)
&& (System.nanoTime() - C2_Down_Motion_Time < 500000000)
){
// Declared as Proper C2 Command
C2_Global_Active = true;
C2_Down = true;
C2_Down_Time = System.nanoTime();
System.out.println("DOWN");
C2_Down_Counter = C2_Down_Counter | 4;
}
if( ( (C2_Down_Start_Time > 0) && (System.nanoTime() - C2_Down_Start_Time > 1000000000) ) || ( (C2_Down_Motion_Time > 0) && ( (System.nanoTime() - C2_Down_Motion_Time) > 1000000000) )
){
// Start or Motion Timed Out
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
}
}
jCheckBox_C2_Down.setSelected(C2_Down);
上述した構造的及び機能的特徴を考慮して、例示的な方法は、図７を参照することにより、より良く理解されるであろう。説明を簡単にするために、この方法は逐次的に実行されるように示され説明されているが、方法のうちの一部分が、本明細書において示され説明されたものと異なる順序でおよび／または同時に実施され得るので、方法が例示された順序によって限定されないことが理解され認識されたい。このような方法は、例えば、ＩＣまたはコントローラを構成する各種の部品によって実施され得る。
図７は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のための方法の一例を示す。７１０において、方法７００は、（例えば、図１のマルチセンサ検出器１３０を介して）少なくとも２つのセンサを有するウェアラブルデバイスから無人機に命令する操作者の複数のジェスチャを検出することを含む。７２０において、方法７００は、複数のセンサを分析して（例えば、図１のコントローラ１５０を介して）操作者の複数のジェスチャの動きおよび方向を検出することを含む。このことは、例えば、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する動きおよび方向を検出することを含む。７３０において、方法７００は、複数のセンサの分析に基づいて（例えば、図１のコントローラ１５０を介して）操作者の複数のジェスチャを判定することを含む。７４０において、方法７００は、（例えば、図１の通信モジュール１６０を介して）ＵＶの複数の動作を制御するためのコマンドを通信することを含む。図示されていないが、方法７００は、コマンドをミッションプランナ・アプリケーションに通信することを含み、ミッションプランナ・アプリケーションは、コマンドに基づいてＵＶを制御するための制御コマンドを生成することができる。
上述した事項は複数の例である。当然のことながら、複数の要素または複数の手法の考えられるあらゆる組み合わせを説明することは不可能であるが、当業者は、多くのさらなる組み合わせおよび変更が可能であることを認識するであろう。したがって、本開示は、添付の特許請求の範囲を含む本出願の範囲内に入るそのような変更、修正、および変形をすべて包含することが意図されている。本明細書で使用される場合、「含む」という用語は、「含む」ことを意味するが、限定するものではなく、「含むこと」という用語は「含むことを」意味するが、限定するものではない。「に基づく」という用語は、少なくとも部分的に基づいていることを意味する。さらに、明細書または特許請求の範囲が「a」、「an」、「a first（第１の）」、または「another（他の）」の要素またはその等価物を記載する場合、それは、そのような要素の２つ以上を要求または排除するものではなく、そのような要素の１つまたは複数を含むと解釈されるべきである。
上述した事項は複数の例である。当然のことながら、複数の要素または複数の手法の考えられるあらゆる組み合わせを説明することは不可能であるが、当業者は、多くのさらなる組み合わせおよび変更が可能であることを認識するであろう。したがって、本開示は、添付の特許請求の範囲を含む本出願の範囲内に入るそのような変更、修正、および変形をすべて包含することが意図されている。本明細書で使用される場合、「含む」という用語は、「含む」ことを意味するが、限定するものではなく、「含むこと」という用語は「含むことを」意味するが、限定するものではない。「に基づく」という用語は、少なくとも部分的に基づいていることを意味する。さらに、明細書または特許請求の範囲が「a」、「an」、「a first（第１の）」、または「another（他の）」の要素またはその等価物を記載する場合、それは、そのような要素の２つ以上を要求または排除するものではなく、そのような要素の１つまたは複数を含むと解釈されるべきである。
以下に、上記各実施形態から把握できる技術思想を記載する。
（付記１）
装置であって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラと、を備え、
前記コントローラは、判定された操作者の複数のジェスチャに基づいて前記無人機へのコマンドを生成する、装置。
（付記２）
前記マルチセンサ検出器は、
操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、付記１に記載の装置。
（付記３）
前記コントローラは、前記無人機を制御するために前記コマンドを中継する通信モジュールに前記コマンドを送信する、付記１に記載の装置。
（付記４）
前記通信モジュールは、前記無人機を制御するために前記コマンドを中継するモバイルデバイスである、付記３に記載の装置。
（付記５）
前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、付記３に記載の装置。
（付記６）
前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールからコマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記５に記載の装置。
（付記７）
前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、付記６に記載の装置。
（付記８）
前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える付記７に記載の装置。
（付記９）
前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、付記７に記載の装置。
（付記１０）
前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、付記９に記載の装置。
（付記１１）
システムであって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラであって、判定された操作者の複数のジェスチャに基づいてコマンドを生成する前記コントローラと、
前記無人機を制御するために前記コントローラからのコマンドを中継する通信モジュールと、を備えるシステム。
（付記１２）
前記通信モジュールは、前記無人機を制御するためのコマンドを中継するモバイルデバイスである、付記１１に記載のシステム。
（付記１３）
前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、付記１２に記載のシステム。
（付記１４）
前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールから前記コマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記１３に記載のシステム。
（付記１５）
前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、付記１４に記載のシステム。
（付記１６）
前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える付記１５に記載のシステム。
（付記１７）
前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、付記１６に記載のシステム。
（付記１８）
前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、付記１７に記載のシステム。
（付記１９）
方法であって、
コントローラが、少なくとも２つのセンサを有するウェアラブルデバイスから、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出すること、
前記少なくとも２つのセンサを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出すること、
前記コントローラが、前記少なくとも２つのセンサの分析に基づいて、前記操作者の複数のジェスチャを判定すること、
前記コントローラが、前記無人機の複数の動作を制御するためのコマンドを通信すること、を備える方法。
（付記２０）
前記コマンドをミッションプランナ・アプリケーションに通信することをさらに備え、
前記ミッションプランナ・アプリケーションは、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記１９に記載の方法。
以下に、上記各実施形態から把握できる技術思想を記載する。
（付記１）
装置であって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラと、を備え、
前記コントローラは、判定された操作者の複数のジェスチャに基づいて前記無人機へのコマンドを生成する、装置。
（付記２）
前記マルチセンサ検出器は、
操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、付記１に記載の装置。
（付記３）
前記コントローラは、前記無人機を制御するために前記コマンドを中継する通信モジュールに前記コマンドを送信する、付記１に記載の装置。
（付記４）
前記通信モジュールは、前記無人機を制御するために前記コマンドを中継するモバイルデバイスである、付記３に記載の装置。
（付記５）
前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、付記３に記載の装置。
（付記６）
前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールからコマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記５に記載の装置。
（付記７）
前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、付記６に記載の装置。
（付記８）
前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える付記７に記載の装置。
（付記９）
前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、付記７に記載の装置。
（付記１０）
前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、付記９に記載の装置。
（付記１１）
システムであって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラであって、判定された操作者の複数のジェスチャに基づいてコマンドを生成する前記コントローラと、
前記無人機を制御するために前記コントローラからのコマンドを中継する通信モジュールと、を備えるシステム。
（付記１２）
前記通信モジュールは、前記無人機を制御するためのコマンドを中継するモバイルデバイスである、付記１１に記載のシステム。
（付記１３）
前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、付記１２に記載のシステム。
（付記１４）
前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールから前記コマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記１３に記載のシステム。
（付記１５）
前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、付記１４に記載のシステム。
（付記１６）
前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える付記１５に記載のシステム。
（付記１７）
前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、付記１６に記載のシステム。
（付記１８）
前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、付記１７に記載のシステム。
（付記１９）
方法であって、
コントローラが、少なくとも２つのセンサを有するウェアラブルデバイスから、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出すること、
前記少なくとも２つのセンサを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出すること、
前記コントローラが、前記少なくとも２つのセンサの分析に基づいて、前記操作者の複数のジェスチャを判定すること、
前記コントローラが、前記無人機の複数の動作を制御するためのコマンドを通信すること、を備える方法。
（付記２０）
前記コマンドをミッションプランナ・アプリケーションに通信することをさらに備え、
前記ミッションプランナ・アプリケーションは、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記１９に記載の方法。
Claims (20)
- 装置であって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラと、を備え、
前記コントローラは、判定された操作者の複数のジェスチャに基づいて前記無人機へのコマンドを生成する、装置。 - 前記マルチセンサ検出器は、
操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、請求項１に記載の装置。 - 前記コントローラは、前記無人機を制御するために前記コマンドを中継する通信モジュールに前記コマンドを送信する、請求項１に記載の装置。
- 前記通信モジュールは、前記無人機を制御するために前記コマンドを中継するモバイルデバイスである、請求項３に記載の装置。
- 前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、請求項３に記載の装置。
- 前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールからコマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、請求項５に記載の装置。 - 前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、請求項６に記載の装置。
- 前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える請求項７に記載の装置。
- 前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、請求項７に記載の装置。
- 前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、請求項９に記載の装置。 - システムであって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラであって、判定された操作者の複数のジェスチャに基づいてコマンドを生成する前記コントローラと、
前記無人機を制御するために前記コントローラからのコマンドを中継する通信モジュールと、を備えるシステム。 - 前記通信モジュールは、前記無人機を制御するためのコマンドを中継するモバイルデバイスである、請求項１１に記載のシステム。
- 前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、請求項１２に記載のシステム。
- 前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールから前記コマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、請求項１３に記載のシステム。 - 前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、請求項１４に記載のシステム。
- 前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える請求項１５に記載のシステム。
- 前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、請求項１６に記載のシステム。
- 前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、請求項１７に記載のシステム。 - 方法であって、
コントローラが、少なくとも２つのセンサを有するウェアラブルデバイスから、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出すること、
前記少なくとも２つのセンサを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出すること、
前記コントローラが、前記少なくとも２つのセンサの分析に基づいて、前記操作者の複数のジェスチャを判定すること、
前記コントローラが、前記無人機の複数の動作を制御するためのコマンドを通信すること、を備える方法。 - 前記コマンドをミッションプランナ・アプリケーションに通信することをさらに備え、
前記ミッションプランナ・アプリケーションは、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、請求項１９に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/686,370 US10459524B2 (en) | 2015-04-14 | 2015-04-14 | Multi-sensor control system and method for remote signaling control of unmanned vehicles |
| US14/686,370 | 2015-04-14 | ||
| PCT/US2016/024521 WO2016167946A1 (en) | 2015-04-14 | 2016-03-28 | Multi-sensor control system and method for remote signaling control of unmanned vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018515838A true JP2018515838A (ja) | 2018-06-14 |
| JP6650467B2 JP6650467B2 (ja) | 2020-02-19 |
Family
ID=55861149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017553990A Active JP6650467B2 (ja) | 2015-04-14 | 2016-03-28 | 無人機の遠隔信号伝達制御のためのマルチセンサ制御装置、システムおよび方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US10459524B2 (ja) |
| JP (1) | JP6650467B2 (ja) |
| WO (1) | WO2016167946A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021089588A (ja) * | 2019-12-04 | 2021-06-10 | テックファーム株式会社 | 操作情報作成装置及び飛行制御システム |
| US11908014B2 (en) | 2018-11-08 | 2024-02-20 | Jpmorgan Chase Bank, N.A. | Systems and methods for distributed-ledger based intraday trading |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573330B (zh) * | 2015-03-03 | 2018-11-09 | 广州亿航智能技术有限公司 | 基于智能终端的飞行器操控方法 |
| US9804595B1 (en) * | 2015-06-19 | 2017-10-31 | Samuel E. Denard | Control system for communicating with and controlling operations of a vehicle |
| US9809231B2 (en) * | 2015-10-28 | 2017-11-07 | Honda Motor Co., Ltd. | System and method for executing gesture based control of a vehicle system |
| US10137777B2 (en) * | 2015-11-03 | 2018-11-27 | GM Global Technology Operations LLC | Systems and methods for vehicle system control based on physiological traits |
| US10275036B2 (en) * | 2016-01-04 | 2019-04-30 | Sphero, Inc. | Modular sensing device for controlling a self-propelled device |
| US10890981B2 (en) * | 2016-10-24 | 2021-01-12 | Ford Global Technologies, Llc | Gesture-based vehicle control |
| US10446059B2 (en) * | 2016-12-07 | 2019-10-15 | Thomas William Pryor | Hand motion interpretation and communication apparatus |
| CA2997077A1 (en) * | 2017-03-06 | 2018-09-06 | Walmart Apollo, Llc | Apparatuses and methods for gesture-controlled unmanned aerial vehicles |
| DE102017007119B4 (de) * | 2017-07-27 | 2022-12-29 | Mercedes-Benz Group AG | Verfahren zur Fernsteuerung einer Funktion eines Fahrzeugs |
| IT201800002417A1 (it) | 2018-02-05 | 2019-08-05 | Supsi Scuola Univ Professionale Della Svizzera Italiana | Sistema di comando di un dispositivo mobile |
| US10713935B2 (en) * | 2018-02-23 | 2020-07-14 | Nokia Technologies Oy | Control service for controlling devices with body-action input devices |
| CN111566006B (zh) * | 2018-02-28 | 2024-03-12 | 株式会社尼罗沃克 | 无人机和操作器及其控制方法、计算机可读取记录介质 |
| GB2574886A (en) * | 2018-06-22 | 2019-12-25 | Ecole Polytechnique Fed Lausanne Epfl | Teleoperation with a wearable sensor system |
| KR102032067B1 (ko) * | 2018-12-05 | 2019-10-14 | 세종대학교산학협력단 | 강화학습 기반 무인 항공기 원격 제어 방법 및 장치 |
| KR20220105810A (ko) | 2021-01-21 | 2022-07-28 | 한화디펜스 주식회사 | 제스처를 이용한 차량 제어 시스템 및 이의 제어 방법 |
| CN113211466A (zh) * | 2021-04-27 | 2021-08-06 | 北京科技大学顺德研究生院 | 基于惯性传感器的医用体感机器人系统 |
| CN113311063A (zh) * | 2021-05-17 | 2021-08-27 | 北京工业大学 | 一种可穿戴式电磁无损检测仪器 |
| US20230280741A1 (en) * | 2022-03-01 | 2023-09-07 | Logistics and Supply Chain MultiTech R&D Centre Limited | Wearable Remote Control Device And Tracking System |
| US11675445B1 (en) * | 2022-04-13 | 2023-06-13 | Tomahawk Robotics | Inertially isolated spatial control |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05149706A (ja) * | 1991-08-05 | 1993-06-15 | Yamaha Corp | 楽音制御用曲げセンサ |
| JP2012509812A (ja) * | 2008-11-27 | 2012-04-26 | パロット | 無人機を操縦する装置 |
| WO2014130871A1 (en) * | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control |
| US20140316614A1 (en) * | 2012-12-17 | 2014-10-23 | David L. Newman | Drone for collecting images and system for categorizing image data |
| WO2015014116A1 (en) * | 2013-07-31 | 2015-02-05 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8460103B2 (en) | 2004-06-18 | 2013-06-11 | Igt | Gesture controlled casino gaming system |
| US9317108B2 (en) * | 2004-11-02 | 2016-04-19 | Pierre A. Touma | Hand-held wireless electronic device with accelerometer for interacting with a display |
| GB2437452B (en) * | 2005-01-18 | 2009-11-25 | Rallypoint Inc | Sensing input actions |
| WO2007048003A2 (en) * | 2005-10-21 | 2007-04-26 | Deere & Company | Versatile robotic control module |
| US8005257B2 (en) | 2006-10-05 | 2011-08-23 | The United States Of America As Represented By The Secretary Of The Navy | Gesture recognition apparatus and method |
| US8214098B2 (en) * | 2008-02-28 | 2012-07-03 | The Boeing Company | System and method for controlling swarm of remote unmanned vehicles through human gestures |
| US8704758B1 (en) * | 2008-11-17 | 2014-04-22 | Iron Will Innovations Canada Inc. | Resistive loop excitation and readout for touch point detection and generation of corresponding control signals |
| US7983450B2 (en) | 2009-03-16 | 2011-07-19 | The Boeing Company | Method, apparatus and computer program product for recognizing a gesture |
| US9000887B2 (en) * | 2009-07-23 | 2015-04-07 | Qualcomm Incorporated | Method and apparatus for communicating control information by a wearable device to control mobile and consumer electronic devices |
| US10627860B2 (en) * | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| US20140008496A1 (en) * | 2012-07-05 | 2014-01-09 | Zhou Ye | Using handheld device to control flying object |
| US9044543B2 (en) * | 2012-07-17 | 2015-06-02 | Elwha Llc | Unmanned device utilization methods and systems |
| US9156476B2 (en) * | 2012-10-02 | 2015-10-13 | Trevor O'Neill | System and method for remote control of unmanned vehicles |
| US20150062086A1 (en) * | 2013-08-29 | 2015-03-05 | Rohildev Nattukallingal | Method and system of a wearable ring device for management of another computing device |
| US9367139B2 (en) * | 2013-12-12 | 2016-06-14 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| WO2016010299A1 (ko) * | 2014-07-15 | 2016-01-21 | 삼성전자 주식회사 | 루프 형상의 안테나를 포함하는 전자 장치 |
| US9746984B2 (en) * | 2014-08-19 | 2017-08-29 | Sony Interactive Entertainment Inc. | Systems and methods for providing feedback to a user while interacting with content |
| EP3065042B1 (en) * | 2015-02-13 | 2018-11-07 | LG Electronics Inc. | Mobile terminal and method for controlling the same |
-
2015
- 2015-04-14 US US14/686,370 patent/US10459524B2/en active Active
-
2016
- 2016-03-28 JP JP2017553990A patent/JP6650467B2/ja active Active
- 2016-03-28 WO PCT/US2016/024521 patent/WO2016167946A1/en active Application Filing
-
2018
- 2018-08-24 US US16/111,487 patent/US10459529B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05149706A (ja) * | 1991-08-05 | 1993-06-15 | Yamaha Corp | 楽音制御用曲げセンサ |
| JP2012509812A (ja) * | 2008-11-27 | 2012-04-26 | パロット | 無人機を操縦する装置 |
| US20140316614A1 (en) * | 2012-12-17 | 2014-10-23 | David L. Newman | Drone for collecting images and system for categorizing image data |
| WO2014130871A1 (en) * | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control |
| WO2015014116A1 (en) * | 2013-07-31 | 2015-02-05 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11908014B2 (en) | 2018-11-08 | 2024-02-20 | Jpmorgan Chase Bank, N.A. | Systems and methods for distributed-ledger based intraday trading |
| JP2021089588A (ja) * | 2019-12-04 | 2021-06-10 | テックファーム株式会社 | 操作情報作成装置及び飛行制御システム |
| JP7082351B2 (ja) | 2019-12-04 | 2022-06-08 | テックファーム株式会社 | 飛行制御システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10459524B2 (en) | 2019-10-29 |
| US20190011995A1 (en) | 2019-01-10 |
| US10459529B2 (en) | 2019-10-29 |
| WO2016167946A1 (en) | 2016-10-20 |
| JP6650467B2 (ja) | 2020-02-19 |
| US20170031446A1 (en) | 2017-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6650467B2 (ja) | 無人機の遠隔信号伝達制御のためのマルチセンサ制御装置、システムおよび方法 | |
| Nahavandi | Trusted autonomy between humans and robots: Toward human-on-the-loop in robotics and autonomous systems | |
| Teixeira et al. | Teleoperation using google glass and ar, drone for structural inspection | |
| US20210094180A1 (en) | Augmented Reality Coordination Of Human-Robot Interaction | |
| Santana et al. | Navigation and cooperative control using the ar. drone quadrotor | |
| US20200387238A1 (en) | Controller with situational awareness display | |
| KR20180041890A (ko) | 가상 객체를 표시하는 방법 및 장치 | |
| US20150024368A1 (en) | Systems and methods for virtual environment conflict nullification | |
| KR102449439B1 (ko) | Hmd를 이용한 무인기 조종 장치 | |
| US20160063870A1 (en) | System for testing of autonomy in complex environments | |
| US9300430B2 (en) | Latency smoothing for teleoperation systems | |
| EP3007030B1 (en) | Portable device and control method via gestures | |
| US10970935B2 (en) | Body pose message system | |
| US11804052B2 (en) | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path | |
| Macchini et al. | Hand-worn haptic interface for drone teleoperation | |
| Gregory et al. | Enabling intuitive human-robot teaming using augmented reality and gesture control | |
| Barber et al. | Visual and tactile interfaces for bi-directional human robot communication | |
| Islam et al. | Haptic and virtual reality based shared control for mav | |
| Watson et al. | Simulation-based environment for the eye-tracking control of tele-operated mobile robots | |
| Shaqura et al. | Human supervised multirotor UAV system design for inspection applications | |
| Zikmund et al. | Reaction to directional vibrations applied on a joystick | |
| Gawron et al. | Ground control systems | |
| Amir et al. | Kinect controlled UGV | |
| WO2019206833A1 (en) | Method and apparatus monitoring a space | |
| Herman et al. | Cooperative semi-autonomous robotic network for search and rescue operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6650467 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |