JP2020187716A - 無人航空機を着地させる装置および方法 - Google Patents
無人航空機を着地させる装置および方法 Download PDFInfo
- Publication number
- JP2020187716A JP2020187716A JP2019153831A JP2019153831A JP2020187716A JP 2020187716 A JP2020187716 A JP 2020187716A JP 2019153831 A JP2019153831 A JP 2019153831A JP 2019153831 A JP2019153831 A JP 2019153831A JP 2020187716 A JP2020187716 A JP 2020187716A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- unmanned aerial
- aerial vehicle
- gesture
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 230000007547 defect Effects 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 6
- 210000003811 finger Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011499 joint compound Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
- B64U70/10—Launching, take-off or landing arrangements for releasing or capturing UAVs by hand
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
- G05D1/0684—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
- B64U70/30—Launching, take-off or landing arrangements for capturing UAVs in flight by ground or sea-based arresting gear, e.g. by a cable or a net
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
(付記1)
無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
前記方法は、
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記1に記載の非一時的コンピュータ可読媒体。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記2に記載の非一時的コンピュータ可読媒体。
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記3に記載の非一時的コンピュータ可読媒体。
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える付記2に記載の非一時的コンピュータ可読媒体。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
をさらに備える付記1に記載の非一時的コンピュータ可読媒体。
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記1に記載の非一時的コンピュータ可読媒体。
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記8に記載の無人航空機を着地させる方法。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える付記9に記載の無人航空機を着地させる方法。
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記10に記載の無人航空機を着地させる方法。
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える付記9に記載の無人航空機を着地させる方法。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第2のジェスチャが認識されたと判断することと、
を備える付記8に記載の無人航空機を着地させる方法。
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記8に記載の無人航空機を着地させる方法。
1つ以上のプロセッサと、
前記1つ以上のプロセッサにより実行されると、
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記15に記載の無人航空機。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記16に記載の無人航空機。
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記17に記載の無人航空機。
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える付記16に記載の無人航空機。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
をさらに備える付記15に記載の無人航空機。
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記15に記載の無人航空機。
Claims (21)
- 無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
前記方法は、
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。 - 前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える請求項1に記載の非一時的コンピュータ可読媒体。 - 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える請求項2に記載の非一時的コンピュータ可読媒体。 - 前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える請求項3に記載の非一時的コンピュータ可読媒体。 - 前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える請求項2に記載の非一時的コンピュータ可読媒体。 - 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
をさらに備える請求項1に記載の非一時的コンピュータ可読媒体。 - 前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える請求項1に記載の非一時的コンピュータ可読媒体。 - 手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。 - 前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える請求項8に記載の無人航空機を着地させる方法。 - 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える請求項9に記載の無人航空機を着地させる方法。 - 前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える請求項10に記載の無人航空機を着地させる方法。 - 前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える請求項9に記載の無人航空機を着地させる方法。 - 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第2のジェスチャが認識されたと判断することと、
を備える請求項8に記載の無人航空機を着地させる方法。 - 前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える請求項8に記載の無人航空機を着地させる方法。 - 1つ以上のプロセッサと、
前記1つ以上のプロセッサにより実行されると、
手の第1のジェスチャを認識することと、
前記第1のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第2のジェスチャを認識することと、
前記第2のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。 - 前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える請求項15に記載の無人航空機。 - 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の1つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える請求項16に記載の無人航空機。 - 前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包(convex hull)および少なくとも1つの三角形を含む凸包欠陥(convexity defect)を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える請求項17に記載の無人航空機。 - 前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の1つ以上のモータをオフにすることと、
をさらに備える請求項16に記載の無人航空機。 - 前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第2のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する1つ以上の凸包欠陥を得ることと、
前記1つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第2のジェスチャを認識することと、
をさらに備える請求項15に記載の無人航空機。 - 前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える請求項15に記載の無人航空機。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/407,627 | 2019-05-09 | ||
US16/407,627 US11106223B2 (en) | 2019-05-09 | 2019-05-09 | Apparatus and methods for landing unmanned aerial vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187716A true JP2020187716A (ja) | 2020-11-19 |
JP7325264B2 JP7325264B2 (ja) | 2023-08-14 |
Family
ID=73045783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019153831A Active JP7325264B2 (ja) | 2019-05-09 | 2019-08-26 | 無人航空機を着地させる装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11106223B2 (ja) |
JP (1) | JP7325264B2 (ja) |
CN (1) | CN111913493A (ja) |
TW (1) | TWI711560B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190031B (zh) * | 2021-04-30 | 2023-03-24 | 成都思晗科技股份有限公司 | 基于无人机的森林火灾自动拍照跟踪方法、装置及系统 |
TWI802115B (zh) | 2021-11-30 | 2023-05-11 | 仁寶電腦工業股份有限公司 | 無人機的控制裝置及其控制方法 |
WO2023211690A1 (en) * | 2022-04-27 | 2023-11-02 | Snap Inc. | Landing an autonomous drone with gestures |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502879A (ja) * | 2013-12-13 | 2017-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人機を発射および着陸させるための方法 |
JP2017185928A (ja) * | 2016-04-07 | 2017-10-12 | カシオ計算機株式会社 | 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム |
WO2018023727A1 (en) * | 2016-08-05 | 2018-02-08 | SZ DJI Technology Co., Ltd. | Methods and associated systems for communicating with/controlling moveable devices by gestures |
WO2018128788A1 (en) * | 2017-01-04 | 2018-07-12 | Nanotek Instruments, Inc. | Flexible and shape-conformal rope-shape supercapacitors |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010129907A2 (en) * | 2009-05-08 | 2010-11-11 | Scientific Systems Company Inc. | Method and system for visual collision detection and estimation |
US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
CN102236409A (zh) * | 2010-04-30 | 2011-11-09 | 宏碁股份有限公司 | 基于影像的动作手势辨识方法及系统 |
KR101558031B1 (ko) * | 2012-10-30 | 2015-10-06 | 삼성에스디에스 주식회사 | 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법 |
CN102938060A (zh) * | 2012-12-07 | 2013-02-20 | 上海电机学院 | 动态手势识别系统及方法 |
US10139906B1 (en) * | 2014-01-29 | 2018-11-27 | Guiyu Bai | Ring human-machine interface |
CN104866083B (zh) * | 2014-02-25 | 2020-03-17 | 中兴通讯股份有限公司 | 手势识别方法、装置和系统 |
US20160062473A1 (en) * | 2014-08-29 | 2016-03-03 | Hand Held Products, Inc. | Gesture-controlled computer system |
EP3101511A1 (en) * | 2015-06-03 | 2016-12-07 | Nokia Technologies Oy | Monitoring |
US9836056B2 (en) * | 2015-06-05 | 2017-12-05 | Bao Tran | Smart vehicle |
EP3115926A1 (en) * | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Method for control using recognition of two-hand gestures |
CN109416535B (zh) * | 2016-05-25 | 2022-11-11 | 深圳市大疆创新科技有限公司 | 基于图像识别的飞行器导航技术 |
CN109478320B (zh) * | 2016-07-12 | 2022-03-18 | 深圳市大疆创新科技有限公司 | 处理图像以获得环境信息 |
US10866631B2 (en) * | 2016-11-09 | 2020-12-15 | Rockwell Automation Technologies, Inc. | Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality |
CN108121350B (zh) | 2016-11-29 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 一种控制飞行器降落的方法以及相关装置 |
CN114879720A (zh) * | 2017-04-28 | 2022-08-09 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、设备及无人飞行器 |
US10591605B2 (en) * | 2017-10-19 | 2020-03-17 | Gerard Dirk Smits | Methods and systems for navigating a vehicle including a novel fiducial marker system |
WO2019144295A1 (zh) | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、设备、飞行器、系统及存储介质 |
CN109085885A (zh) * | 2018-08-14 | 2018-12-25 | 李兴伟 | 智能戒指 |
-
2019
- 2019-05-09 US US16/407,627 patent/US11106223B2/en active Active
- 2019-07-05 TW TW108123801A patent/TWI711560B/zh active
- 2019-07-30 CN CN201910694832.0A patent/CN111913493A/zh active Pending
- 2019-08-26 JP JP2019153831A patent/JP7325264B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502879A (ja) * | 2013-12-13 | 2017-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人機を発射および着陸させるための方法 |
JP2017185928A (ja) * | 2016-04-07 | 2017-10-12 | カシオ計算機株式会社 | 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム |
WO2018023727A1 (en) * | 2016-08-05 | 2018-02-08 | SZ DJI Technology Co., Ltd. | Methods and associated systems for communicating with/controlling moveable devices by gestures |
WO2018128788A1 (en) * | 2017-01-04 | 2018-07-12 | Nanotek Instruments, Inc. | Flexible and shape-conformal rope-shape supercapacitors |
Also Published As
Publication number | Publication date |
---|---|
US20200356113A1 (en) | 2020-11-12 |
US11106223B2 (en) | 2021-08-31 |
CN111913493A (zh) | 2020-11-10 |
TWI711560B (zh) | 2020-12-01 |
JP7325264B2 (ja) | 2023-08-14 |
TW202041424A (zh) | 2020-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11726498B2 (en) | Aerial vehicle touchdown detection | |
US11861892B2 (en) | Object tracking by an unmanned aerial vehicle using visual sensors | |
US11749124B2 (en) | User interaction with an autonomous unmanned aerial vehicle | |
US11914370B2 (en) | System and method for providing easy-to-use release and auto-positioning for drone applications | |
US11592845B2 (en) | Image space motion planning of an autonomous vehicle | |
US20240101254A1 (en) | Detecting Optical Discrepancies In Captured Images | |
US20220234733A1 (en) | Aerial Vehicle Smart Landing | |
US11755041B2 (en) | Objective-based control of an autonomous unmanned aerial vehicle | |
US11584525B2 (en) | Deep learning-based localization of UAVs with respect to nearby pipes | |
JP7325264B2 (ja) | 無人航空機を着地させる装置および方法 | |
US10019907B2 (en) | Unmanned aerial vehicle obstacle detection and avoidance | |
JP6029446B2 (ja) | 自律飛行ロボット | |
CN110069071A (zh) | 无人机导航方法与装置、存储介质、电子设备 | |
JPWO2016170766A1 (ja) | 光照射装置および光照射システム | |
US20190384298A1 (en) | Control method and uav | |
Lin et al. | Real-time 6DoF deck pose estimation and target tracking for landing an UAV in a cluttered shipboard environment using on-board vision | |
US11754708B1 (en) | Object detection using propeller noise | |
Lin | Vision Based Shipboard Recovery of Unmanned Rotorcraft | |
CN116339357A (zh) | 无人机的控制方法、装置、无人机系统及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |