JP2020187716A - 無人航空機を着地させる装置および方法 - Google Patents

無人航空機を着地させる装置および方法 Download PDF

Info

Publication number
JP2020187716A
JP2020187716A JP2019153831A JP2019153831A JP2020187716A JP 2020187716 A JP2020187716 A JP 2020187716A JP 2019153831 A JP2019153831 A JP 2019153831A JP 2019153831 A JP2019153831 A JP 2019153831A JP 2020187716 A JP2020187716 A JP 2020187716A
Authority
JP
Japan
Prior art keywords
hand
unmanned aerial
aerial vehicle
gesture
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019153831A
Other languages
English (en)
Other versions
JP7325264B2 (ja
Inventor
正方 羅
Cheng-Fang Lo
正方 羅
勇介 黄
Yung-Chieh Huang
勇介 黄
建銘 紹
Chien-Ming Shao
建銘 紹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geosat Aerospace and Technology Inc
Original Assignee
Geosat Aerospace and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Geosat Aerospace and Technology Inc filed Critical Geosat Aerospace and Technology Inc
Publication of JP2020187716A publication Critical patent/JP2020187716A/ja
Application granted granted Critical
Publication of JP7325264B2 publication Critical patent/JP7325264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/10Launching, take-off or landing arrangements for releasing or capturing UAVs by hand
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/042Control of altitude or depth specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G05D1/0684Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/30Launching, take-off or landing arrangements for capturing UAVs in flight by ground or sea-based arresting gear, e.g. by a cable or a net
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】無人航空機を着地させる装置および方法を提供する。【解決手段】無人航空機(UAV)100に、手UH1の第1のジェスチャを認識することと、第1のジェスチャの認識に応じて、無人航空機を手の上方でホバリングするように移動させることと、無人航空機と手との間の距離を検出することと、距離が範囲のなかにあるとの判断に応じて、手を監視して手の第2のジェスチャを認識することと、第2のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む動作を実行させる方法。【選択図】図1B

Description

本開示は、無人航空機(unmanned aerial vehicle;UAV)に関し、より特定的には、無人航空機を着地させる装置および方法に関する。
ユーザは、一般に、リモートコントローラで無人航空機(UAV)を制御することにより、UAVの離陸および着地を達成する。従来の着地操作(landing operation)は手動のプロセスであり、ユーザは、着地プロセス全体に参加し、リモートコントローラでUAVを制御する必要がある。着地操作は、ユーザの操作能力に重大に依存し、UAVの安全で成功する着地を達成するためには、著しい学習と訓練を必要とする。
さらに、地面(ground)の状態は、常に着地に適しているとは限らない。例えば、地面の上には、UAVに害を及ぼすかもしれない土壌、泥、岩石または水があるかもしれず、地面は不均一であるかもしれず、または、着地を実行するためには安全でないかもしれない。これらの状況は、UAV着地プロセスにおける困難をもたらす。そのため、上記の欠点を克服し、より良いユーザエクスペリエンス(user experience)を提供するために、UAVの着地操作を単純化し、改善する必要がある。
本開示は、無人航空機に無人航空機を着地させる方法を実行させるために、無人航空機のプロセッサにより実行可能な一組の命令を記憶(storing)する非一時的(non−transitory)コンピュータ可読媒体を提供する。無人航空機を着地させる方法は、手の第1のジェスチャ(gesture)を認識することと、第1のジェスチャの認識に応じて、手の上方でホバリングする(hover)ように無人航空機を移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第2のジェスチャを認識することと、第2のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む。
本開示はまた、無人航空機を着地させる方法も提供する。無人航空機を着地させる方法は、手の第1のジェスチャを認識することと、第1のジェスチャの認識に応じて、無人航空機を手の上方でホバリングするように移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第2のジェスチャを認識することと、第2のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む。
本開示はさらに、1つ以上のプロセッサと、命令を記憶するメモリとを含む無人航空機(UAV)を提供する。1つ以上のプロセッサにより実行されると、命令は、無人航空機に、手の第1のジェスチャを認識することと、第1のジェスチャの認識に応じて、手の上方でホバリングするように無人航空機を移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第2のジェスチャを認識することと、第2のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む動作を実行させる。
前述の一般的な説明および以下の詳細な説明は、例示的で説明的なものにすぎず、特許請求の範囲に記載されているように本開示を限定するものではないことを理解されたい。
本明細書に組み込まれてその一部を構成する添付の図面は、いくつかの実施形態を示し、明細書とともに、開示された原理を説明するために役立つ。
図1Aは、本開示のいくつかの実施形態と整合する(consistent with)例示的な無人航空機(UAV)を示す図である。 図1Bは、本開示のいくつかの実施形態と整合する例示的なUAVおよび例示的な制御システムを示す図である。 図2は、本開示のいくつかの実施形態と整合する例示的な統合ユニット(integrated unit)を示す図である。 図3は、本開示のいくつかの実施形態と整合するUAVを着地させる例示的な方法のフロー図である。 図4Aは、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図4Bは、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図5A、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図5Bは、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた例示的な画像を示す図である。 図6は、本開示のいくつかの実施形態と整合する図3の例示的な方法の1つのステップをより詳細に示すフロー図である。 図7は、本開示のいくつかの実施形態と整合する画像センサにより取り込まれた画像を示す図である。 図8は、本開示のいくつかの実施形態と整合する距離センサの例示的な動作を示す図である。
以下の説明は、添付の図面を参照し、異なる図面中の同じ番号は、特記なき限り、同じか類似の要素を表す。以下の例示的な実施形態の説明に記載される実施態様は、本開示と整合する全ての実施態様を表さない。むしろ、それらは、添付の特許請求の範囲に記載されているような開示に関連する態様と整合する装置および方法の単なる例である。
図1Aは、本開示のいくつかの実施形態と整合する例示的な無人航空機(UAV)100を示す図である。UAV100は、1つ以上のモータ110a〜110d、1つ以上のプロペラ120a〜120d、統合ユニット130、画像センサ140および距離センサ150を含む。いくつかの実施形態では、UAV100はまた、UAV100がピッチング(pitch)、ロール(roll)またはヨーイング(yaw)できるようにするロール運動を生成するエルロン(ailerons)を含んでよい。モータ110a〜110dは、それぞれプロペラ120a〜120dに連結され、UAV100に推進力を提供するように構成される。様々な実施形態において、モータ110a〜110dとプロペラ120a〜120dとの数は異なっていてよく、図1に示されるUAV100は、単に1つの例であり、本開示を限定することを意味しない。例えば、UAV100は、それぞれプロペラと連結された1,2,3,4,5,6,7,8または任意の数のモータを有してよい。
統合ユニット130は、モータ110a〜110dに通信可能に連結され、モータ110a〜110dを制御して、上昇、下降、ほぼホバリングまたは横断といった様々な飛行動作において揚力(lift)および推進力(propulusion)を提供するように構成される。例えば、統合ユニット130は、駆動モータ110a〜110dそれぞれに駆動信号を送信して、モータ110a〜110dの回転速度を制御するように構成されてよい。
画像センサ140は、統合ユニット130と通信可能に連結され、1つ以上の画像を取り込むように構成される。より特定的には、画像センサ140は、光信号を、取り込まれた画像の情報を含む電気信号に変換し、画像処理および認識のために、変換された電気信号を統合ユニット130に送信するように構成される。いくつかの実施形態において、画像センサ140は、可視光CMOS画像センサなどのCMOS画像センサを含み得るが、本開示はそれに限定されない。
距離センサ150は、統合ユニット130に通信可能に連結され、UAV100と、UAV100の近くの障害物または対象物との間の距離を検出するように構成される。距離センサ150は、レーザビームを放射し、障害物または対象物から反射された対応するレーザビームを検出することにより対象物または障害物を検出できるレーザ近接センサにより実施されてよい。距離センサ150により放射されるレーザビームの波長は、実際の設計に基づいて選択されてよい。例えば、距離センサ150は、可視光レーザビームを放射してよいが、本開示はそれに限定されない。
図1Bは、本開示のいくつかの実施形態と整合するUAV100および例示的な制御システム200を示す図である。ユーザは、飛行操作を実行し、制御システム200を介してUAV100の1つ以上の動作パラメータを設定するようにUAV100を制御してよい。例えば、制御システム200は、地上制御ステーション(ground control station;GCS)またはリモートコントローラを含んでよい。いくつかの実施形態において、GCSは、デスクトップコンピュータ、ラップトップ、タブレット、スマートフォンまたは他の任意の電子機器上で実行されうる。ユーザは、1つ以上の指示を制御システム200に入力できる。命令を受信した後、制御システム200は、通信回路を介して通信信号210をUAV100に送信してよい。
図1Bに示されるように、いくつかの実施形態において、画像センサ140は、UAV100の底部側(例えば、UAV100がホバリングしたときに地面に面する側)に配置される。その結果、画像センサ140は、画像を取り込み、UAV100の下の1つ以上の対象物に関する情報、例えば対象物のサイズ、形状または色などを得ることができる。画像センサ140と同様に、いくつかの実施形態において、距離センサ150もまたUAV100の底部側に配置される。結果として、距離センサ150は、UAV100と、UAV100の下の対象物との間の距離、または、UAV100と地面との間の距離を検出することができる。
UAV100が、制御システム200からハンドランディング命令(hand landing instruction)を受信すると、UAV100のためのハンドランディングモード(hand landing mode)がトリガされる(triggerd)。ハンドランディングモードの間、UAV100は、ユーザの手UH1が認識された場合に、ユーザの手UH1に着地でき、動作は、画像センサ140により取り込まれた画像および距離センサ150により検出された距離により促進される。ハンドランディングモードにおける動作の詳細は後述されるであろう。
図2は、本開示のいくつかの実施形態と整合する例示的な統合ユニット130を示す図である。図2に示されるように、いくつかの実施形態において、統合ユニット130は、飛行制御コンピュータ(flight control computer;FCC)132、姿勢および方位参照システム(attitude and heading refernce system;AHRS)134、通信回路136およびアンテナ138を含み、これらは全てUAV100を制御するためのものである。
FCC132は、命令を記憶し、UAV100を制御するように構成されたプロセッサ1321およびメモリ1322を含む。例えば、FCC132は、UAV100を加速または減速するようにモータ110a〜110dを制御するように構成されてよい。いくつかの実施形態において、FCC132は、モータ110a〜110dのうちの1つ以上の回転速度を増やし、または、減らしてよい。例えば、統合ユニット130は、飛行の間に、モータ110a〜110dそれぞれの毎分回転数(revolutions per minite;RPM)を独立して制御できる。
より特定的には、メモリ1322は、開示された実施形態と整合する動作を実行するために、データおよび/またはプロセッサ1321により実行されるソフトウェア命令を記憶できる。例えば、プロセッサ1321は、メモリ1322に記憶された一組の命令を実行し、ユーザから着地命令を受信したときに、UAV100を、自動的にユーザの手といった人間の手の上に着地させる方法を、UAV100に実行させるように構成され得る。この方法は、詳細に後述される。
プロセッサ1321は、例えば、1つ以上のセントラルプロセッサ(central processors)またはマイクロプロセッサ(microprocessor)であり得る。メモリ1322は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータといった情報の記憶のための任意の方法または技術により実施される様々なコンピュータ可読媒体であり得る。メモリ1322は、バスを介してプロセッサ1321と通信可能に連結され得る。いくつかの実施形態において、メモリ1322は、プロセッサ1321による命令の実行の間に一時的な変数または他の中間情報を記憶するために使用され得るメインメモリを含んでよい。このような命令は、統合ユニット130にアクセス可能な非一時的記憶媒体に記憶された後、UAV100が命令において指定された動作を実行できるようにする。
本明細書で使用される「非一時的媒体」との用語は、マシン(machine)を特定の方法で動作させるデータまたは命令を記憶する任意の非一時的媒体を指す。このような非一時的媒体は、不揮発性媒体および/または揮発性媒体を含み得る。非一時的媒体は、例えば、光または磁気ディスク、ダイナミックメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気カセット、磁気テープまたは他の任意の磁気データ記憶媒体、CD−ROM、ディジタル多用途ディスク(digital versatile disks;DVD)または他の任意の光学データ記憶媒体、ランダムアクセスメモリ(random access memory;RAM)、読出専用メモリ(read only memory;ROM)、プログラム可能読出専用メモリ(Programable Read Only Memory;PROM)、EPROM、フラッシュEPROM、NVRAM、フラッシュメモリまたは他のメモリ技術、および/または、本開示が関連する分野の当業者により企図され得る同じ機能を有する任意の他の記憶媒体を含む。開示された実施形態と整合する情報を処理、送信、提供、および受信するために、当業者に知られている他の構成要素がUAV100に含まれてよい。
AHRS134は、UAV100のロール角、ピッチ角、および/またはヨー角などの姿勢情報を提供する3つの軸上の1つ以上のセンサを含む。AHRS134のセンサは、磁気、角速度および重力(MARG)センサとも呼ばれ得て、固体または微小電気機械システム(MEMS)ジャイロスコープ、加速度計および磁力計のいずれかを含む。AHRS134は、姿勢および機首方位情報を提供する機内(on−board)処理システムを含んでよい。いくつかの実施形態において、AHRS134は、UAV100の姿勢決定を提供してよく、UAV100の慣性航法システム(intertial navigation system)の一部を形成してよい。
UAV100は、他の電子装置にデータを送信し、通信回路136およびアンテナ138を介して他の電子装置と通信できる。例えば、UAV100は、制御システム、通信回路136およびアンテナ138により、例えば図1Bの制御システム200から通信信号を受信できる。さらに、UAV100はまた、無線周波数(RF)信号または任意の種類の無線ネットワークを介して、通信回路136およびアンテナ138により、ディスプレイ装置、サーバ、コンピュータシステム、データセンターまたは他のUAVと通信できる。
図3は、本開示のいくつかの実施形態と整合するUAV100を着地させるための例示的な方法300のフロー図である。方法300は、UAV(例えば、図1A,図1BのUAV100)により実行されうるが、本開示はそれに限定されない。いくつかの実施形態において、プロセッサ1321は、メモリ1322に記憶される命令を実行し、UAV100を着地させるための方法300のステップを、UAV100に実行させるように構成され得る。
ステップS310において、UAV100は、UAV100に対してハンドランディングモードがトリガされたかを判断する。ユーザは、制御システム200から対応する信号をハンドランディング命令としてUAV100に送信できる。プロセッサ1321が通信回路136を介してハンドランディング命令を受信すると、プロセッサ1321は、ハンドランディングモードを選択し、トリガする。選択されたハンドランディングモードに応じて、UAV100は、ユーザの近くの位置の予め決められた高度でホバリングする。例えば、UAV100は、約1メートルおよび約2メートルの間の範囲のなかの任意の値のホバリング高度を維持してよい。
ステップS320において、UAV100は、手の第1のジェスチャを認識する。ステップS330において、第1のジェスチャの認識に応じて、UAV100は手の上方でホバリングするように移動する。例えば、UAV100がホバリングするとき、ユーザは、UAV100の下方で、掌を上に向けて開いて手を伸ばしてよい。画像センサ140は、画像情報をプロセッサ1321に送信し、手および手のジェスチャを認識するための画像処理および認識を実行し得る(ステップS320)。いくつかの実施形態において、UAV100により認識される第1のジェスチャは、指(親指以外の指)を閉じた手を含み得る。これに関連して、「指を閉じた」手(hand with "closed fingers")とは、指が隙間なく互いに隣接している手のジェスチャをいい、これについては、図5Aに関連してさらに詳細に後述されるであろう。このように、UAV100が指を閉じた手を認識すると、FCC132は、モータ110a〜110dを制御して、UAV100の位置を手の上方でホバリングするように調整してよい(ステップS330)。
図4A,図4Bは、それぞれ本開示のいくつかの実施形態と整合する画像センサ140により取り込まれた例示的な画像400a,400bを示す図である。図4Aに示されるように、手検出および追跡アルゴリズムを実行することにより、UAV100は、画像400aのなかの中心点412によって手領域(hand region)410を識別できる。例えば、手領域410は、画像400aのなかの色情報に基づいて識別されてよい。1つ以上の肌色(skin tone)を有する候補領域が選択されてよい。そして、人間の手に対応する手領域410が存在するかを判断するために、1つ以上の候補領域の形状およびサイズがさらに分析される。いくつかの実施形態において、手領域410は、図4A,図4Bに示されるように矩形領域である。UAV100は、中心点412と画像400aの中心点420との間の距離D1を計算して、画像400aの中心領域430のなかに手があるかを判断する。
いくつかの実施形態において、中心領域430は、ピクセルと中心点420との間の距離が閾値距離TD1のなかにある一組のピクセルとして定義することができるが、本開示はそれに限定されない。中心点412と中心点420との間の距離D1が閾値距離TD1より大きい場合、UAV100は、距離D1がTD1以下になるまでUAV100を中心420に向かって移動させると判断された方向に、UAV100の位置を調整するように、モータ110a〜110dを制御する。例えば、図4Aに示されるように、画像400aのなかの距離D1は、閾値距離TD1より大きい。結果として、UAV100は、図4Bにおける画像センサ140により取り込まれた画像400bに示されるように、距離D1が閾値距離TD1以下になるまでUAV100の位置を調整するようにモータ110a〜110dを制御する。中心領域430はまた、物理的世界(physical world)におけるUAV100の下の空間に対応する画像400a,400bのなかの領域として定義され得る。UAV100のサイズおよび画像センサ140の異なる配置に基づいて、中心領域は、異なる実施形態における実際の必要性に従って設定されてよい。
あるいは、UAV100はまた、画像400aおよび400bの中心領域430の範囲を事前に定義し、手領域410の中心点412がその範囲のなかにあるかを判断してよい。同様に、UAV100は、その位置を、中心領域430のなかの中心点412を追跡するように調整できる。言い換えれば、UAV100は、画像センサ140により得られた画像400aのなかの手を監視し、手の1つ以上の特徴に従って手の中心を識別し、手領域410の中心点412が、画像400bの中心領域430において追跡されるまでUAV100を移動させることができる。このように、UAV100は手の上方でホバリングするために移動できる。
図3に戻ると、手が画像の中心領域のなかで追跡され、UAV100が手の上方でホバリングするために移動した後、ステップS340において、UAV100は、UAV100と手との間の距離を検出する。いくつかの実施形態において、飛行時間原理(time−of−fright principle)を用いて距離を測定するために、距離センサ150が適用され得る。つまり、距離センサ150は、光パルスが目標対象物までの間を行き来するために要した時間を記録できる。既知の光速および得られた時間測定値を用いて、距離センサ150と目標対象物との間の距離が計算され得る。距離センサ150は、平均距離値を得るために、順次、複数の光パルスを出射できる。より特定的には、距離センサ150は、手に向かう方向に沿って1つ以上のレーザビームを送信し、1つ以上のレーザビームの1つ以上の反射を受信するように構成され得る。このように、UAV100は、1つ以上のレーザビームを送信することと、1つ以上の反射を受信することとの間の時間差に基づいて、距離を計算できる。
ステップS350において、UAV100は、検出された距離が予め決められた範囲(例えば、約10cm〜20cm)のなかにあるかを判断する。検出された距離が範囲のなかにあるという判断に応じて(ステップS350−Yes)、UAV100はステップS370を実行する。一方、検出された距離が範囲より上または下にあるという判断に応じて(ステップS350−no)、UAV100はステップS360を実行し、飛行高度を調整するようにモータ110a〜110dを制御し、ステップS340およびS350を繰り返す。このように、UAV100は、範囲のなかにある距離(例えば、約15cm)で手の上方でホバリングでき、ステップS370の実行を続ける。
ステップS370において、UAV100は、ユーザからのコマンドをUAV100が待っていることを示すための通知信号を提供する。通知信号は、視覚信号、音声信号またはこれらの任意の組み合わせを含んでよい。例えば、UAV100は、1つ以上の発光ダイオード(LED)または他の発光デバイス(illuminating devices)を通知信号として用い、特定の色の光、明滅する光または光パターンのシーケンス(sequence)を放射できる。UAV100はまた、予め決められた音色(例えば、ビープ音(beep sound)またはバズ音(buzz sound))、音色もしくは音楽のシーケンス、または録音された音声メッセージを通知信号として提供するために、ビーパー(beeper)、ブザーまたは他の任意の音声出力装置を使用し得るが、本開示はこれに限定されない。
UAV100により提供された通知信号を見たまたは聞いた後、ユーザは、手のジェスチャを、第1のジェスチャから第1のジェスチャとは異なる第2のジェスチャに変更してよい。例えば、着地動作をトリガするために、ユーザは、少なくとも2本の指が離れるように手の形を変えられる。つまり、第2のジェスチャは、指(親指以外の指)を開いた手(hand with open fingers)を含んでよい。これに関連して、「指を開いた」手は、少なくとも2本の指が隙間を空けて分離されている手のジェスチャを呼び、これは、図5Bに関連して以下でさらに説明されるであろう。
ステップS380において、UAV100は手を監視し、手の第2のジェスチャを認識する。第2のジェスチャの認識に応じて、UAV100はステップS390を実行して手の上に着地する。より特定的には、ステップS320における動作と同様に、UAV100は、画像センサ140を用いて画像情報をプロセッサ1321に送信し、画像の処理および認識を実行し、手を監視して手のジェスチャを認識する。このように、第1のジェスチャから第2のジェスチャへの遷移を識別すると、UAV100は、着地を実行するための以下の動作を続ける。
ステップS320およびS380におけるジェスチャ認識をさらに理解するために、本開示のいくつかの実施形態と整合する画像センサ140により取り込まれた例示的な画像500a,500bをそれぞれ示す図である図5A,図5Bが参照される。画像センサ140が、画像500aおよび500bを取り込んだ後、プロセッサ1321は、様々な画像処理技術を画像500a,500bに適用できる。例えば、プロセッサ1321は、手の皮膚領域を取り込むために、皮膚検出プロセスを実行できる。プロセッサ1321はまた、画像500a,500bのなかのノイズ信号を低減または除去するためにノイズ除去プロセスを実行できる。このように、プロセッサ1321は手輪郭(hand contour)510を検出できる。いくつかの実施形態において、プロセッサ1321はさらに、手輪郭510を画像500a,500bのなかの1つ以上の多角形で近似する近似処理を実行でき、この場合、望ましくない凸点は、近似処理で除去またはフィルタリングされる。
手輪郭510が得られた後、プロセッサ1321は、手および手のジェスチャを認識するために、凸包アルゴリズム(convex hull algorithm)および凸包欠陥アルゴリズム(convexity hull defects algorithm)を適用できる。より特定的には、プロセッサ1321は、様々な凸包アルゴリズムのうちの1つを適用することにより、近似多角形の凸包520を見つけることができる。ここで用いられる用語「凸包(convexity hull)」は、凹多角形の頂点525を含む凹多角形の凸包絡線多角形(convex emvelope polygon;例えば、手輪郭510に関連する近似多角形)を指す。凸包520が定義された後、プロセッサ1321は、1つ以上の凸包欠陥が存在するかを判断できる。
図5Aに示されるように、ユーザの4本の指(すなわち、親指を除くすべての指)が隙間なく互いに隣接していると、凸包520のなかに1つの凸包欠陥532(例えば、パリキュー(purlicue)、または、親指と人差し指との間の隙間)がある。一方、図5Bに示されるように、着地動作をトリガするために、ユーザが指を開いて手を離したとき、凸包520のなかに2以上の凸包欠陥532,534,536,538がある。図5A,図5Bにおいて、明確さおよび説明のために、凸包欠陥532,534,536,538は、手輪郭510から離れて間隔を空けられる。凸包欠陥532,534,536,538は、手輪郭510の近似多角形の頂点により画定される三角形の領域であってよい。例えば、始点(例えば始点SP1)、深度点(depth point;例えば深度点DP1)および終点(例えば終点EP1)は、凸包欠陥(例えば凸包欠陥532)を画定する。始点SP1は、欠陥が始まる近似多角形の点を示し、終点EP1は、欠陥が終わる近似多角形の点を示し、深度点DP1は、凸包520から離れた近似多角形の点である。指が開いた手には、凸包欠陥の始点および終点が指先であり得、凸包欠陥の深度点は、指の谷(finger−valleys)に配置され得る。
そのため、UAV100は、手輪郭510を抽出し、画像500a,500bのなかの手輪郭510に関連する凸包欠陥532,534,536,538を得ることができる。指の間の間隔を示すために、凸包欠陥532,534,536,538が用いられ得る。相対的な指の位置に変化が生じるか、または指の動きが生じると、それに応じて、欠陥532,534,536,538の変化が検出され得る。凸包欠陥の数が変化したとの検出に応じて、UAV100は、第2のジェスチャが認識されたと判断し、着地のためにステップS390の実行を続ける。つまり、ユーザは、閉じられた指を開くことにより、着地を実行するようにコマンドを直感的に提供し、UAV100をトリガできる。
本開示のいくつかの実施形態と整合する例示的な方法300のステップS390をより詳細に示すフロー図である図6が参照される。ステップS391において、第2のジェスチャが認識されると、UAV100は、UAV100の飛行高度を下げる。より特定的には、FCC132は、対応する制御信号を提供して、モータ110a〜110dの回転速度を徐々に低下させてよい。ステップS392において、飛行高度を下げながら、UAV100は、手に位置合わせされる。より特定的には、画像センサ140は、画像のなかの手を追跡し、手の1つ以上の特徴に従って、手の中心または掌の中心を識別する。そのため、FCC132は、対応する制御信号を制御モータ110a〜110dに提供して、画像の中心領域のなかの手の中心または掌の中心を追跡するようにUAV100を動かしてよい。いくつかの実施形態において、手の中心を識別するための特徴は、2つの隣接する指先により画定される少なくとも1つの三角形の領域、および、隣接する2本の指の間の間隙を含む。
ステップS392のさらなる理解のために、本開示のいくつかの実施形態と整合する画像センサ140により取り込まれた画像500bを示す図である図7への参照がなされる。図7に示されるように、プロセッサ1321は、凸包520をカバーできる最小円710を見つけ、最小円710の中心により手の中心(hand center)HCを推定できる。いくつかの実施形態において、プロセッサ1321は、代わりに、凸包520をカバーできる矩形の枠(box)を見つけ、それに応じて、手の中心HCを推定してよい。同様に、プロセッサ1321は、深度点をカバーできる最小円720を見つけ、最小円720の中心により掌の中心(palm center)PCを推定できる。いくつかの実施形態において、プロセッサ1321はまた、後の使用のために最小円710,720の半径R1,R2を記録できる。
上述の画像処理技術を適用することにより、プロセッサ1321は、画像500bのなかの手輪郭510を検出し、手輪郭510を抽出し、凸包520および少なくとも1つの三角形領域を含む1つ以上の凸包欠陥532,534,536,538を得、画像500bにおいて手の中心HCまたは掌の中心PCを推定することができる。上述した実施形態は単なる例であり、本開示を限定することは意図されない。様々な実施形態において、画像500bのなかの手輪郭510の1つ以上の手の特徴(hand features)を抽出し、それに応じて、手の中心HCまたは掌の中心PCを推定するために、他の画像処理技術が適用されてよい。手の特徴は、手輪郭510の凸包520および/または凸包欠陥532,534,536,538を含んでよい。
このように、飛行高度の下降の間、FCC132はモータ110a〜110dを制御してUAV100の位置を調整でき、UAV100を移動させて、図7における画像500bの中心領域で、手の中心HCまたは掌の中心PCを追跡する。そのため、FCC132の制御の下で、飛行高度の下降の間に、UAV100が手と位置合わせされ得る。
図6に戻り、ステップS393において、UAV100は、飛行高度の下降の間にUAV100と手との間の距離を検出する。ステップS393における距離検出のさらなる理解のために、本開示のいくつかの実施形態と整合する距離センサ150の例示的な動作を示す図である図8への参照がなされる。いくつかの実施形態において、スペキュラーアレイラジオメトリックキャリブレーション(specular array radiometric calibration;SPARC)方法が、キャリブレーションのために距離センサ150において適用されうる。図8に示されるように、距離センサ150は、マトリクス810のなかの複数の検出点P(1,1)〜P(m,n)を検出するために、順次または同時にレーザビームのマトリクスを生成できる。検出点のうちの1つ(例えば検出点P(3、4))が手領域820のなかにある場合、距離センサ150から放射された対応するレーザビームは、ユーザの手に向かう方向に沿って進み、距離センサ150のなかの検出器に反射される。
そのため、UAV100と手との間の距離は、上述されたように、飛行時間原理を用いて測定されうる。あるいは、検出点のうちのもう1つ(例えば検出点P(1,1))が手領域820のなかにない場合、距離センサ150から放射された対応するレーザビームは、他の障害物に到達するまで反射されない。そのため、距離センサ150は、レーザビームの飛行時間に従って、検出領域をスキャンし、いずれの検出点が手領域820のなかにあるかを判断できる。
いくつかの実施形態において、UAV100がユーザの手の上方に位置するかを判断するために、マトリクス810における手領域820のなかの検出点対検出点の総数の比を計算することにより、許容値が判断されうる。許容値が閾値(例えば、約50%)より大きい場合、UAV100がユーザの手の上方に位置していると判断される。
図6に戻り、ステップS394において、UAV100は、検出された距離が閾値(例えば、約3cm)未満であるかを判断する。検出された距離が閾値より小さいとの判断に応じて(ステップS394−Yes)、UAV100は、ステップS395を実行し、モータ110a〜110dをオフにする。そうでなければ(ステップS394−No)、ステップS391〜S394が繰り返される。そのため、UAV100と手との間の距離が閾値よりも小さいことに応じて、モータ110a〜110dがオフにされるまで、UAV100は制御の元に下降する。モータ110a〜110dがオフにされると、モータ110a〜110dに連結されたプロペラ120a〜120dは回転を停止し、UAV100は重力により落下してユーザの手の上に着地する。このように、UAV100は、ハンドランディングを達成する。いくつかの実施形態において、プロペラ120a〜120dの回転を止めるために、モータ110a〜110dの全てがオフにされる。いくつかの実施形態において、モータ110a〜110dのうちの1つ以上がオフにされ、UAV100に提供される推進力はホバリング高度を維持するのに十分ではなく、UAV100もまた、重力のために下降してユーザの手の上に着地する。
上の観点から、本開示の様々な実施形態において、UAV100は、上記の画像認識および距離検出プロセスによりユーザの手のジェスチャを検出し、ハンドランディングを達成できる。そのため、直感的な動作で改良されたヒューマン−マシンインタラクションデザイン(human−machine interaction design)が達成される。
ここでの様々な例示的な実施形態は、方法ステップまたはプロセスの一般的な文脈(context)で説明され、一態様において、ネットワーク環境におけるコンピュータにより実行されるプログラムコードといったコンピュータ実行可能命令を含む一時的または非一時的なコンピュータ可読媒体において実施されるコンピュータプログラム製品により実施されてよい。コンピュータ可読媒体は、読出専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、ディジタル多用途ディスク(DVD)などを含む取り外し可能および取り外し不可能な記憶装置を含んでよいが、これらに限定されない。一般に、プログラムモジュールは、特定のタスクまたは特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含んでよい。コンピュータ実行可能命令、関連データ構造およびプログラムモジュールは、ここに開示された方法のステップを実行するプログラムコードの例を表す。このような実行可能命令または関連するデータ構造の特定的なシーケンスは、このようなステップまたはプロセスにおいて記載された機能を実施するための対応する動作の例を表す。
前述の明細書において、実施形態は、実施態様ごとに異なり得る多数の特定の詳細を参照して記載されてきた。記載された実施形態の特定の適応および修正がなされ得る。また、図に示されている一連のステップは、例示を目的とするのみであり、いかなる特定のステップのシーケンスに限定されることを意図されない。このように、当業者は、これらのステップが同じ方法を実施しつつ異なる順序で実行され得ることを理解できる。
ここで用いられる場合、特記しない限り、、用語「または」は、実行不可能な場合を除いて、すべての可能な組み合わせを包含する。例えば、データベースがAまたはBを含んでよいと述べられている場合、特記しない限り、または実行不可能な場合を除いて、データベースは、AまたはB、または、AおよびBを含んでよい。第2の例として、データベースがA,BまたはCを含んでよいと述べられている場合、特記しない限り、または実行不可能な場合を除いて、データベースは、A、BもしくはC、AおよびB、AおよびC、BおよびC、または、A、BおよびCを含んでよい。
図面および明細書において、例示的な実施形態が開示されてきた。当業者には、開示されたシステムおよび関連する方法に様々な修正および変更を加えられ得ることは明らかであろう。当業者には、他の実施形態は、明細書の考察、開示されたシステムおよび関連方法の実施から明らかであろう。明細書および実施例は例示のみとして考えられ、真の範囲(true scope)は特許請求の範囲およびそれらの均等物により示されることが意図される。
(付記)
(付記1)
無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
前記方法は、
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。
(付記2)
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記1に記載の非一時的コンピュータ可読媒体。
(付記3)
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記2に記載の非一時的コンピュータ可読媒体。
(付記4)
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記3に記載の非一時的コンピュータ可読媒体。
(付記5)
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える付記2に記載の非一時的コンピュータ可読媒体。
(付記6)
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
をさらに備える付記1に記載の非一時的コンピュータ可読媒体。
(付記7)
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記1に記載の非一時的コンピュータ可読媒体。
(付記8)
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。
(付記9)
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記8に記載の無人航空機を着地させる方法。
(付記10)
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える付記9に記載の無人航空機を着地させる方法。
(付記11)
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記10に記載の無人航空機を着地させる方法。
(付記12)
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える付記9に記載の無人航空機を着地させる方法。
(付記13)
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第2のジェスチャが認識されたと判断することと、
を備える付記8に記載の無人航空機を着地させる方法。
(付記14)
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記8に記載の無人航空機を着地させる方法。
(付記15)
1つ以上のプロセッサと、
前記1つ以上のプロセッサにより実行されると、
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。
(付記16)
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記15に記載の無人航空機。
(付記17)
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記16に記載の無人航空機。
(付記18)
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記17に記載の無人航空機。
(付記19)
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える付記16に記載の無人航空機。
(付記20)
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
をさらに備える付記15に記載の無人航空機。
(付記21)
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記15に記載の無人航空機。

Claims (21)

  1. 無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
    前記方法は、
    手の第1のジェスチャを認識することと、
    前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
    前記無人航空機と前記手との間の距離を検出することと、
    前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
    前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
    を備える、非一時的コンピュータ可読媒体。
  2. 前記手の上に前記無人航空機を着地させることは、
    前記無人航空機の飛行高度を下降させることと、
    前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
    をさらに備える請求項1に記載の非一時的コンピュータ可読媒体。
  3. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手に前記無人航空機を位置合わせすることは、
    前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
    前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
    をさらに備える請求項2に記載の非一時的コンピュータ可読媒体。
  4. 前記手の前記中心を識別することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
    前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
    をさらに備える請求項3に記載の非一時的コンピュータ可読媒体。
  5. 前記手の上に前記無人航空機を着地させることは、
    前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
    前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
    をさらに備える請求項2に記載の非一時的コンピュータ可読媒体。
  6. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手の前記第2のジェスチャを認識することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
    前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
    をさらに備える請求項1に記載の非一時的コンピュータ可読媒体。
  7. 前記距離を検出することは、
    前記手に向かう方向に沿ってレーザビームを送信することと、
    前記レーザビームの反射を受信することと、
    前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
    をさらに備える請求項1に記載の非一時的コンピュータ可読媒体。
  8. 手の第1のジェスチャを認識することと、
    前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
    前記無人航空機と前記手との間の距離を検出することと、
    前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
    前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
    を備える無人航空機を着地させる方法。
  9. 前記手の上に前記無人航空機を着地させることは、
    前記無人航空機の飛行高度を下降させることと、
    前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
    をさらに備える請求項8に記載の無人航空機を着地させる方法。
  10. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手に前記無人航空機を位置合わせすることは、
    前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
    前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
    を備える請求項9に記載の無人航空機を着地させる方法。
  11. 前記手の前記中心を識別することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
    前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
    をさらに備える請求項10に記載の無人航空機を着地させる方法。
  12. 前記手の上に前記無人航空機を着地させることは、
    前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
    前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
    をさらに備える請求項9に記載の無人航空機を着地させる方法。
  13. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手の前記第2のジェスチャを認識することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
    前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第2のジェスチャが認識されたと判断することと、
    を備える請求項8に記載の無人航空機を着地させる方法。
  14. 前記距離を検出することは、
    前記手に向かう方向に沿ってレーザビームを送信することと、
    前記レーザビームの反射を受信することと、
    前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
    をさらに備える請求項8に記載の無人航空機を着地させる方法。
  15. 1つ以上のプロセッサと、
    前記1つ以上のプロセッサにより実行されると、
    手の第1のジェスチャを認識することと、
    前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
    前記無人航空機と前記手との間の距離を検出することと、
    前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
    前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
    を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
    を備える無人航空機。
  16. 前記手の上に前記無人航空機を着地させることは、
    前記無人航空機の飛行高度を下降させることと、
    前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
    をさらに備える請求項15に記載の無人航空機。
  17. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手に前記無人航空機を位置合わせすることは、
    前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
    前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
    をさらに備える請求項16に記載の無人航空機。
  18. 前記手の前記中心を識別することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
    前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
    をさらに備える請求項17に記載の無人航空機。
  19. 前記手の上に前記無人航空機を着地させることは、
    前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
    前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
    をさらに備える請求項16に記載の無人航空機。
  20. 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
    前記手の前記第2のジェスチャを認識することは、
    前記画像のなかの前記手の輪郭を検出することと、
    前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
    前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
    をさらに備える請求項15に記載の無人航空機。
  21. 前記距離を検出することは、
    前記手に向かう方向に沿ってレーザビームを送信することと、
    前記レーザビームの反射を受信することと、
    前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
    をさらに備える請求項15に記載の無人航空機。
JP2019153831A 2019-05-09 2019-08-26 無人航空機を着地させる装置および方法 Active JP7325264B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/407,627 2019-05-09
US16/407,627 US11106223B2 (en) 2019-05-09 2019-05-09 Apparatus and methods for landing unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
JP2020187716A true JP2020187716A (ja) 2020-11-19
JP7325264B2 JP7325264B2 (ja) 2023-08-14

Family

ID=73045783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153831A Active JP7325264B2 (ja) 2019-05-09 2019-08-26 無人航空機を着地させる装置および方法

Country Status (4)

Country Link
US (1) US11106223B2 (ja)
JP (1) JP7325264B2 (ja)
CN (1) CN111913493A (ja)
TW (1) TWI711560B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190031B (zh) * 2021-04-30 2023-03-24 成都思晗科技股份有限公司 基于无人机的森林火灾自动拍照跟踪方法、装置及系统
TWI802115B (zh) 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法
WO2023211690A1 (en) * 2022-04-27 2023-11-02 Snap Inc. Landing an autonomous drone with gestures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502879A (ja) * 2013-12-13 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人機を発射および着陸させるための方法
JP2017185928A (ja) * 2016-04-07 2017-10-12 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
WO2018023727A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
WO2018128788A1 (en) * 2017-01-04 2018-07-12 Nanotek Instruments, Inc. Flexible and shape-conformal rope-shape supercapacitors

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
CN102236409A (zh) * 2010-04-30 2011-11-09 宏碁股份有限公司 基于影像的动作手势辨识方法及系统
KR101558031B1 (ko) * 2012-10-30 2015-10-06 삼성에스디에스 주식회사 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법
CN102938060A (zh) * 2012-12-07 2013-02-20 上海电机学院 动态手势识别系统及方法
US10139906B1 (en) * 2014-01-29 2018-11-27 Guiyu Bai Ring human-machine interface
CN104866083B (zh) * 2014-02-25 2020-03-17 中兴通讯股份有限公司 手势识别方法、装置和系统
US20160062473A1 (en) * 2014-08-29 2016-03-03 Hand Held Products, Inc. Gesture-controlled computer system
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
EP3115926A1 (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
CN109416535B (zh) * 2016-05-25 2022-11-11 深圳市大疆创新科技有限公司 基于图像识别的飞行器导航技术
CN109478320B (zh) * 2016-07-12 2022-03-18 深圳市大疆创新科技有限公司 处理图像以获得环境信息
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
CN108121350B (zh) 2016-11-29 2021-08-24 腾讯科技(深圳)有限公司 一种控制飞行器降落的方法以及相关装置
CN114879720A (zh) * 2017-04-28 2022-08-09 深圳市大疆创新科技有限公司 无人飞行器的控制方法、设备及无人飞行器
US10591605B2 (en) * 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
WO2019144295A1 (zh) 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、系统及存储介质
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502879A (ja) * 2013-12-13 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人機を発射および着陸させるための方法
JP2017185928A (ja) * 2016-04-07 2017-10-12 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
WO2018023727A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
WO2018128788A1 (en) * 2017-01-04 2018-07-12 Nanotek Instruments, Inc. Flexible and shape-conformal rope-shape supercapacitors

Also Published As

Publication number Publication date
US20200356113A1 (en) 2020-11-12
US11106223B2 (en) 2021-08-31
CN111913493A (zh) 2020-11-10
TWI711560B (zh) 2020-12-01
JP7325264B2 (ja) 2023-08-14
TW202041424A (zh) 2020-11-16

Similar Documents

Publication Publication Date Title
US11726498B2 (en) Aerial vehicle touchdown detection
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US11592845B2 (en) Image space motion planning of an autonomous vehicle
US20240101254A1 (en) Detecting Optical Discrepancies In Captured Images
US20220234733A1 (en) Aerial Vehicle Smart Landing
US11755041B2 (en) Objective-based control of an autonomous unmanned aerial vehicle
US11584525B2 (en) Deep learning-based localization of UAVs with respect to nearby pipes
JP7325264B2 (ja) 無人航空機を着地させる装置および方法
US10019907B2 (en) Unmanned aerial vehicle obstacle detection and avoidance
JP6029446B2 (ja) 自律飛行ロボット
CN110069071A (zh) 无人机导航方法与装置、存储介质、电子设备
JPWO2016170766A1 (ja) 光照射装置および光照射システム
US20190384298A1 (en) Control method and uav
Lin et al. Real-time 6DoF deck pose estimation and target tracking for landing an UAV in a cluttered shipboard environment using on-board vision
US11754708B1 (en) Object detection using propeller noise
Lin Vision Based Shipboard Recovery of Unmanned Rotorcraft
CN116339357A (zh) 无人机的控制方法、装置、无人机系统及计算机存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R150 Certificate of patent or registration of utility model

Ref document number: 7325264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150