JP2018537335A - 無人航空機の飛行を制御する方法及びシステム - Google Patents

無人航空機の飛行を制御する方法及びシステム Download PDF

Info

Publication number
JP2018537335A
JP2018537335A JP2018524396A JP2018524396A JP2018537335A JP 2018537335 A JP2018537335 A JP 2018537335A JP 2018524396 A JP2018524396 A JP 2018524396A JP 2018524396 A JP2018524396 A JP 2018524396A JP 2018537335 A JP2018537335 A JP 2018537335A
Authority
JP
Japan
Prior art keywords
uav
feature point
imaging devices
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018524396A
Other languages
English (en)
Other versions
JP6609833B2 (ja
Inventor
ジャン、ホンフイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2018537335A publication Critical patent/JP2018537335A/ja
Application granted granted Critical
Publication of JP6609833B2 publication Critical patent/JP6609833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3852Data derived from aerial or satellite images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/43
    • G05D1/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Abstract

環境(400)内を巡航する無人航空機(UAV)(100、410)を視覚に基づき自動帰還させるシステム及び方法を提供する。UAV(100、410)は、異なる方位に向けられていて異なる視野(130a、130b、130c、130d)を撮像可能な複数のカメラ(120a、120b、120c、120d、220、415)を含んでいてよい。複数のカメラ(120a、120b、120c、120d、220、415)により収集された画像データは、自動帰還の実行等の航行支援用に保存又は利用することができる。画像データの選択された部分、例えば選択された画像特徴(710、720)を自動帰還用に保存又は利用することができる。

Description

従来、空撮は単一のカメラを利用して航空機が移動した場所でサンプリングされた画像を分割する。例えば、航空機は、前方を向いたカメラと共に北方へ飛行し、その結果北側の画像を記録する可能性がある。航空機が旋回して南方へ戻る場合、前方を向いたカメラは南方を指向して南側の画像しか記録しない可能性がある。これらの画像の違いにより、航空機が視覚認知を用いて自動帰還することが妨げられる恐れがある。
視覚認知に依存する自動帰還用の改良されたシステム及び方法に対するニーズが存在する。自動帰還に利用可能な画像データの収集を支援すべく複数のカメラが航空機に搭載されていてよい。当該複数のカメラは、UAVの方位に依らず、UAVが画像データを用いて元の経路に沿って帰還する方法を判定できるようにカバレッジ範囲を広げるべく、異なる方向に向けられて異なる視野を有していてよい。
UAVが移動する間に複数のカメラから収集されて評価される画像を処理してメモリに保存する際の負荷が増大する可能性がある。システムに対する負荷を軽減すべく、選択された画像から選択された特徴は航行支援用に保存及び/又は利用することができる。いくつかの例において、これらの特徴は特徴点であってよく、自動帰還の誘導に用いられてよい。これらの特徴は、複数のカメラの有無に基づいて選択されてよい。特徴を保存する間隔は各種のパラメータに基づいて選択されてよい。
本発明の一態様は、無人航空機(UAV)の飛行を制御する方法であって、前記方法は、飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、UAVの周辺環境における当該異なる視野に対応する第1の画像集合を収集するステップと、飛行経路を巡航する間に収集された第1の画像集合から第1の特徴点集合を抽出するステップと、帰還経路を巡航する間に、当該複数の撮像装置を用いて異なる視野に対応する第2の画像集合を収集するステップと、飛行経路の途上で抽出された第1の特徴点集合を、第2の画像集合から抽出された第2の特徴点集合と比較することにより、帰還経路を巡航するステップとを含んでいる。
また、本発明の一態様は、無人航空機(UAV)の飛行を制御する装置であって、前記装置は、各々異なる視野を有する複数の撮像装置、すなわち(1)飛行経路を巡航する間に、UAVの周辺環境における当該異なる視野に対応する第1の画像集合を収集し、(2)帰還経路を巡航する間に、当該異なる視野に対応する第2の画像集合を収集すべく構成された複数の撮像装置と、(1)飛行経路を巡航する間に収集された第1の画像集合から第1の特徴点集合を抽出し、(2)飛行経路の途上で抽出された第1の特徴点集合を、第2の画像集合から抽出された第2の特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく、個別又は集合的に構成された1個以上のプロセッサとを含んでいる。
無人航空機(UAV)の飛行を制御する方法が、本発明の更なる態様により提供される。本方法は、飛行経路を巡航する間に画像集合を収集するステップと、飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出するステップと、(1)UAVの移動、(2)画像集合内での画像同士の重なりの程度、(3)特徴点集合内での特徴点同士の重なりの程度、又は(4)特徴点が静止しているか否かの判定に基づいて、当該特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含んでいてよい。
更に、本発明の態様は、無人航空機(UAV)の飛行を制御する装置を含んでいてよく、前記装置は、飛行経路を巡航する間UAVにより収集された画像集合を受信し、飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、(1)UAVの移動、(2)画像集合内での画像同士の重なりの程度、(3)特徴点集合内での特徴点同士の重なりの程度、又は(4)特徴点が静止しているか否かの判定に基づいて、当該特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含んでいる。
本発明の別の態様は、無人航空機(UAV)の飛行を制御する方法であって、前記方法は、飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、UAVの周辺環境における当該異なる視野に対応する画像集合を収集するステップと、飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出するステップと、特徴点を含む画像を収集する撮像装置の個数に基づいて、当該特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含んでいる。
更に、本発明の態様は無人航空機(UAV)の飛行を制御する装置であって、前記装置は、飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて収集されたUAVの周辺環境における当該異なる視野に対応する画像集合を受信し、飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、特徴点を含む画像を収集する撮像装置の個数に基づいて、当該特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含んでいる。
本発明の異なる態様が、個々に、集合的に、又は互いと組み合わせて理解することができることが理解されるものとする。本明細書に記載される本発明の様々な態様は、以下記載される特定の用途のいずれか又は任意の他のタイプの可動物体に適用し得る。本明細書での航空機のあらゆる記載は、任意の車両等の任意の可動物体に適用し得、使用し得る。更に、航空移動(例えば、飛行)の状況で本明細書に開示されるデバイス、及び方法は、地上移動、水上移動、水中移動、又は宇宙空間での移動等の他のタイプの移動の状況で適用することもできる。
本発明の他の目的及び特徴は、明細書、特許請求の範囲、及び添付図を検討することにより明らかになる。
本明細書において言及される全ての公開物、特許、及び特許出願は、個々の各公開物、特許、又は特許出願が特に且つ個々に参照により援用されることが示されるものとして、その全体が参照により本明細書に援用される。
本発明の新規の特徴は、特に添付の特許請求の範囲に記載されている。本発明の特徴及び利点のよりよい理解が、本発明の原理が利用される例示的な実施形態を記載する以下の詳細な説明を参照することにより得られる。
本発明の実施形態による、異なる方向に向けられた複数のカメラを有する無人航空機(UAV)の模式的上面図を示す。 本発明の実施形態による、UAVに空間的に配置可能なカメラの模式的な例を示す。 本発明の実施形態による、例示的な自動帰還処理のフロー図を示す。 本発明の実施形態による、環境内で飛行経路を巡航するUAVの一例を示す。 本発明の実施形態による、UAVが環境内を巡航する間にUAV上の複数のカメラの支援により撮像可能な画像の例を示す。 本発明の実施形態による画像のシーケンス及び画像の選択方法一例を示す。 本発明の実施形態による画像のシーケンス及び特徴の選択方法の一例を示す。 本発明の実施形態による、UAVに搭載されていて各々異なる視野を有する複数のカメラにより撮像可能な物体の一例を示す。 本発明の実施形態による、帰還経路を巡航するUAVの一例を示す。 本発明の実施形態による、無人航空機(UAV)を示す。 本発明の実施形態による、支持機構及び搭載物を含む可動物体を示す。 本発明の実施形態による、可動物体を制御するシステムのブロック図による概略図である。
無人航空機(UAV)は環境内を巡航することができる。UAVは自身の飛行経路に関する情報を記録することができる。UAVは、自身の飛行経路の出発点に帰還できるようにする自動帰還機能を有していてよい。いくつかの例において、UAVの自動帰還機能の起動が望ましい場合、イベントが生起するか、又はコマンドを受信する場合がある。視覚認知は外部物体との通信に依存しないため、自動帰還に有用なツールであろう。全地球測位システム(GPS)等、いくつかの航行用ツール自体は、1個以上の衛星群との信号が遮断され得る状況では信頼性が欠ける恐れがある。
本明細書において、視覚主体の自動帰還システム及び方法が提供される。いくつかの実施形態において、UAVは自動帰還機能に追随すべく視覚的データの収集及び解析に依存する場合がある。UAVは、自身の航行支援に供する画像データを収集すべくUAVに搭載された複数のカメラを用いることができる。複数のカメラは、互いに異なる方向に向けることができ、且つ異なる視野を有していてよい。複数のカメラは、水平方向に360度の領域をカバーすることができる。いくつかの実施形態において、複数のカメラは、球面上で360度の空間領域をカバーすることができる。UAVは収集された画像データを用いて自動帰還機能を実行することができる。
複数のカメラが並行して画像データを収集している過程で、UAV航行支援用に画像データを保存及び/又は処理することができる。UAVが自動帰還を実行している場合、UAVは実質的にリアルタイムに画像データを収集して、保存された画像データを解析する場合がある。これはUAVの処理及びメモリ保存能力に重大な負荷を掛ける恐れがある。本明細書に記述する自動帰還システム及び方法は、負荷を軽減すべく画像データを選択的に保存してよい。例えば、画像から選択された特徴、例えば特徴点を保存してよい。他の例において、選択された画像から選択された特徴を保存してよい。
任意選択的に、このような選択は1個以上のパラメータに基づいていてよい。例えば、選択は、特定の特徴又は物体が写っているカメラの個数に基づいていてよい。選択は、画像の時系列的シーケンスにおける他の画像との比較に依存する場合がある。例えば、選択は、画像シーケンス内での画像同士の重なりの程度、又は特徴点集合内での特徴点同士の重なりの程度に依存する場合がある。いくつかの例において、環境内の静止物体に関する画像データだけを保存してもよい。例えば、環境内の静止特徴点だけを保存してもよい。選択は、UAVの移動特徴、例えばUAVの速度又は方向に基づいていてよい。
図1に、本発明の実施形態による、異なる方向に向けられた複数のカメラを有する無人航空機(UAV)の模式的上面図を示す。UAVは、複数のカメラを有することで、環境のより大きな部分から画像データを収集できるようになる。複数のカメラは、UAVが自身の方位に依らず環境内を航行可能にすることができる。
UAV100は、UAV本体110を有していてよい。UAV本体は、1個以上のカメラ120a、120b、120c、120dを搭載することができる。各カメラは、対応する視野130a、130b、130c、130dを有していてよい。任意選択的に、カメラ視野によりカバーされない盲点140が存在してもしなくてもよい。
本明細書におけるUAV100記述はいずれも任意の種類の航空機に適用でき、その逆も同じである。航空機は、無人でも有人でもよい。同様に、本明細書におけるUAVの記述はいずれも任意の種類の移動可能物体に適用でき、その逆も同じである。移動可能物体は、自己推進移動可能な航空機であってよい。航空機は、環境内で移動可能にする1個以上の推進部を備えていてよい。移動可能物体は、地上又は地下、あるいは水中、又は空中、宇宙空間内、又はこれらの任意の組み合わせを巡航することができる。移動可能物体は、航空機(例:飛行機、回転翼機、軽飛行機)、地上車両(例:自動車、トラック、バス、列車、ローバー、地下鉄)、水上/水中船(例:ボート、船舶、潜水艦)、又は宇宙船(例:人工衛星、シャトル、ロケット)であってよい。移動可能物体は、有人でも無人でもよい。
UAVは、UAV本体110を有していてよい。UAV本体は、任意選択的に、UAVの1個以上の要素を収容可能な筐体を含んでいてよい。例えば、筐体は、UAVの1個以上の電気部品を収容することができる。電気部品の例として、UAVの航空制御器、慣性測定装置、電力供給装置、メモリ記憶装置、1個以上のプロセッサ、航行装置(例:GPS)、通信装置、1個以上の電子速度制御器(ESC)、1個以上のアクチュエータ、又は1個以上のセンサが含まれるが、これらに限定されない。センサの例として、位置センサ(例:全地球測位システム(GPS)センサ、位置三角測量を可能にするモバイルデバイス送信器)、視覚センサ(例:可視、赤外又は紫外光を検知可能なカメラ等の撮像装置)、近接センサ(例:超音波センサ、ライダー、飛行時間型カメラ)、慣性センサ(例:加速度計、ジャイロスコープ、慣性測定装置(IMU))、高度センサ、圧力センサ(例:バロメータ)、音声センサ(例:マイクロホン)又は電磁場センサ(例:磁力計、電磁センサ)が含まれるが、これらに限定されない。任意の適当な個数のセンサ、例えば1、2、3、4、5個以上のセンサ及びそれらの組み合わせを用いてよい。任意選択的に、異なる種類(例:2、3、4、5種類以上)のセンサからデータを受信することができる。異なる種類のセンサは、異なる種類の信号又は情報(例:位置、方位、速度、加速度、近接度、圧力等)を測定して、及び/又は異なる種類の測定技術を利用してデータを得ることができる。例えば、これらのセンサは能動センサ(例:自身の発生源からエネルギーを生成して測定するセンサ)及び受動センサ(例:利用可能なエネルギーを検知するセンサ)の任意の適当な組み合わせを含んでいてよい。UAV本体は、1個以上の要素、例えば1個以上の電気部品を搭載することができる。1個以上の要素は、筐体内にあっても、筐体外にあっても、筐体内に埋め込まれていても、又はこれらの任意の組み合わせであってよい。
UAV本体は中央本体であってよい。任意選択的に、1本以上のアームが中央本体から延在することができる。アームは、飛行中にUAVを支援可能な1個以上の推進部を搭載することができる。推進部は、UAVの揚力を生成可能な1個以上のローターを含んでいてよい。推進部は、ロータブレード、及びロータブレードの軸回りの回転を実行可能な対応アクチュエータを含んでいてよい。揚力は軸方向に沿っていてよい。いくつかの実施形態において、1本以上、2本以上、3本以上、4本以上、5本以上、6本以上、7本以上、8本以上、10本以上、12本以上、20本以上、又は30本以上のアームが中央本体から延在していてよい。各アームにおいて、1個以上、2個以上、3個以上、4個以上、又は5個以上の推進部が当該アームにより搭載されていてよい。
UAVは、本明細書の他の箇所でより詳細に記述する他の任意の特徴を有していてよい。本明細書におけるUAVの記述はいずれも本明細書の他の箇所でより詳細に記述する特徴を有する任意の移動可能物体に適用できる。
UAVは、1個以上のカメラ120a、120b、120c、120dを搭載することができる。本明細書におけるカメラの記述は任意の種類の撮像装置に適用でき、その逆も同じである。カメラは物理的な撮像装置であってよい。撮像装置は、電磁放射(例:可視、赤外及び/又は紫外光)を検知すべく構成されていてよく、検知された電磁放射に基づいて画像データを生成することができる。撮像装置は、光の波長に反応して電気信号を生成する電荷結合素子(CCD)センサ又は相補型金属酸化膜半導体(CMOS)センサ等の画像センサを含んでいてよい。結果的に生じた電気信号は画像データを生成すべく処理することができる。撮像装置により生成された画像データは1個以上の画像を含んでいてよく、画像は静止画像(例:写真)、動画像(例:ビデオ)、又はこれらの適当な組み合わせであってよい。画像データは、多色(例:RGB、CMYK、HSV)であっても単色(例:グレイスケール、白黒、セピア)であってもよい。撮像装置は、光を画像センサ上に誘導すべく構成されたレンズを含んでいてよい。
カメラは、動画像データ(例:ビデオ)を撮像するムービー又はビデオカメラであってよい。カメラは、静止画像(例:写真)を撮像するスチルカメラであってよい。カメラは、動画像データ及び静止画像を撮像することができる。カメラは、動画像データと静止画像の撮像を切り替えることができる。本明細書で提供する特定の実施形態はカメラを前提として記述されているが、本開示が任意の適当な撮像装置に適用することができ、カメラに関する本明細書の記述はいずれも任意の適当な撮像装置に適用することができ、且つカメラに関する本明細書の記述はいずれも他の種類の撮像装置に適用することができる点を理解されたい。カメラを用いて3Dシーンの2D画像(例:環境、1個以上の物体等)の生成することができる。カメラにより生成された画像は、3Dシーンの2D画像平面上への射影を表すことができる。従って、2D画像の各点はシーン内での3D空間座標に対応している。カメラは、光学素子(例:レンズ、鏡、フィルタ等)を含んでいてよい。カメラは、カラー画像、グレイスケール画像、赤外線画像等を撮像することができる。
カメラは、特定の画像解像度で画像又は画像のシーケンスを撮像することができる。いくつかの実施形態において、画像解像度は、画像内のピクセルの個数により画定することができる。いくつかの実施形態において、画像解像度は、約352×420ピクセル、480×320ピクセル、720×480ピクセル、1280×720ピクセル、1440×1080ピクセル、1920×1080ピクセル、2048×1080ピクセル、3840×2160ピクセル、4096×2160ピクセル、7680×4320ピクセル、又は15360×8640ピクセル以上であってよい。いくつかの実施形態において、カメラは4Kカメラ又はより高い解像度のカメラであってよい。
カメラは、特定の撮像速度で画像のシーケンスを撮像することができる。いくつかの実施形態において、画像のシーケンスは、約24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i又は60i等の標準ビデオフレーム速度で撮像することができる。いくつかの実施形態において、画像のシーケンスは、0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、又は10秒毎に約1個の画像以下の速度で撮像することができる。いくつかの実施形態において、撮像速度は、ユーザー入力及び/又は外部条件(例:雨、雪、風、環境の不明瞭な表面テクスチャ)に応じて変化し得る。
カメラは、調整可能なパラメータを有していてよい。異なるパラメータの下で、同一の外部条件(例:位置、光)の影響を受けながら、異なる画像を撮像装置により撮像することができる。調整可能なパラメータは、露光(例:露光時間、シャッター速度、開口、フィルム速度)、利得、ガンマ、注目領域、ビニング/サブサンプリング、ピクセルクロック、オフセット、トリガリング、ISO等を含んでいてよい。露光に関するパラメータは、撮像装置の画像センサに到達する光の量を制御することができる。例えば、シャッター速度は、光が画像センサに到達するまでの時間の長さを制御することができ、開口は所与の時間内に画像センサに到達する光の量を制御することができる。利得に関するパラメータは光学センサからの信号の増幅を制御することができる。ISOは、利用可能な光に対するカメラの感度のレベルを制御することができる。露光及び利得を制御するためのパラメータは一括的に扱うことができ、本明細書ではEXPOと称する。
UAVに搭載された1個以上のカメラは1個以上の同一のパラメータ、特徴又は特性を有していてよい。いくつかの例において、UAVに搭載されたカメラの全てが同一の特徴又は特性を有していてよい。代替的に、UAVに搭載された1個以上のカメラは異なる特徴又は特性を有していてよい。いくつかの例において、UAVに搭載されたカメラの各々が異なる特徴又は特性を有していてよい。
1個以上のカメラはUAV本体に搭載されていてよい。1個以上のカメラはUAVの中央本体に搭載されていてよい。1個以上のカメラはUAVの1本以上のアームに搭載されていても搭載されていなくてもよい。1個以上のカメラはUAVの筐体に搭載されていてよい。1個以上のカメラはUAVを収容する外面に取り付けられていてよい。1個以上のカメラはUAVの筐体の外面内に埋め込まれていてよい。1個以上のカメラは、UAVの外部の環境に露出されたレンズ等の光学素子を備えていてよい。光学素子は、任意選択的に、カバーの支援によりUAVの外部の環境から保護されていてよい。カバーは透明であってよい。カバーは光学フィルタを含んでいても含んでいなくてもよい。
任意の個数のカメラが設けられていてよい。例えば、1個以上、2個以上、3個以上、4個以上、5個以上、6個以上、7個以上、8個以上、9個以上、10個以上、12個以上、15個以上、18個以上、20個以上、21個以上、22個以上、24個以上、25個以上、27個以上、30個以上、35個以上、40個以上、45個以上、50個以上、60個以上、70個以上、又は100個以上のカメラがUAVに搭載されていてよい。
カメラはUAV本体に対して静止していてよい。カメラは、UAVが動作(例:UAVが飛行)する間、UAV本体に対して移動しないよう構成されていてよい。カメラは、カメラが動作する(例:カメラが画像を撮像する)間、UAV本体に対して移動しないよう構成されていてよい。カメラはUAV本体に対して固定されていてよい。いくつかの実施形態において、UAVに搭載されたカメラの全てがUAVに対して静止していてよい。代替的に、UAVに搭載されたカメラのうち選択された個数のカメラだけがUAVに対して静止していよく、又は静止しているカメラがなくてもよい。
カメラはUAV本体に対して移動可能であってよい。カメラは、UAVが動作する(例:UAVが飛行する)間、UAV本体に対して移動することができるように構成されていてよい。カメラは、カメラが動作する(例:カメラが画像を撮像する)間、UAV本体に対して移動することができるように構成されていてよい。カメラは、UAV本体に対してカメラを移動可能にする1個以上の支持機構又は要素を含んでいてよい。例えば、カメラは、UAV本体に対して1、2又は3方向に並進、又はUAV本体に対して1本、2本又は3本の軸の回りに回転することができる。カメラは、ジンバルフレームアセンブリを有する支持機構に搭載されていてよい。本明細書の他の箇所に記述されている特徴はいずれも搭載物及び支持機構に適用することができる。カメラは、1個以上のアクチュエータの支援によりUAV本体に対して移動することができる。いくつかの実施形態において、UAVに搭載されたカメラの全てがUAVに対して移動可能であってよい。代替的に、UAVに搭載されたカメラのうち選択された個数のカメラだけがUAVに対して移動可能であってよく、又は移動可能なカメラがなくてもよい。
複数のカメラ120a、120b、120c、120dは、互いに異なる視野130a、130b、130c、130dを有するように配置されていてよい。いくつかの実施形態において、UAV本体に搭載された複数のカメラの各々が互いに異なる視野を有していてよい。代替的に、UAV本体に搭載された1個以上のカメラが互いに同一視野を有していてよい。1個以上のカメラが互いに異なる方位を向いていてよい。任意選択的に、UAVに搭載されたカメラの各々が互いに異なる方位を向いていてよい。代替的に、1個以上のカメラが同じ方位を向いていてよい。カメラは、当該カメラのレンズを通過可能な光軸を有していてよい。1個以上、又は全てのカメラの光学軸が互いに異なる方位にあってよい。いくつかの実施形態において、カメラの方位は、少なくとも1、2、3、4、5、6、7、8、10、12、15、20、25、30、35、40、45、60、又は90度異なっていてよい。いくつかの実施形態において、カメラの方位の差異は、本明細書に記述するどの角度測定値よりも小さくてよい。カメラの方位は、本明細書に記述する任意の2個の値の間に入る程度異なっていてよい。
カメラは、異なる視野がUAVの周囲360度の全方位視をカバーすべく配置されていてよい。UAVの周囲360度の領域で水平方向に盲点が殆ど又は全く存在しないようにUAVの周囲360度の全方位視を提示することができる。カメラの配置は、異なる視野がUAVの周囲の360度の垂直視をカバーするようになされていてよい。UAVの周囲360度の垂直領域に盲点が殆ど又は全く存在しないようにUAVの周囲の360度の垂直視を提示することができる。カメラの配置は、異なる視野がUAVの周囲の球面空間をカバーするようになされていてよい。UAVの周囲360度水平視において水平方向に、及びUAVの周囲360度の領域において垂直方向に盲点が殆ど又は全く存在しないようにUAVの周囲球面視を提示することができる。
図1に、1個以上の盲点140がUAVの周囲の水平方向に存在することを単に例示的に示す。いくつかの実施形態において、このような盲点は、UAVから1cm、5cm、10cm、15cm、20cm、25cm、30cmより存在することができない(40cm、50cm、60cm、70cm、80cm、90cm、1m、1.5m、2m、3m、5m、10m、20m、30m又は50m遠方に存在しないようにできる。例えば、全ての空間視は、UAVの表面から任意の距離にある少なくとも1個のカメラによりカバーすることができる。これらの視野は、盲点が存在しないように重なり合っていてよい。いくつかの例において、UAVの周囲の全球面空間に盲点が存在しない。UAVの周囲に360度水平方向及び/又は360度の垂直方向に範囲内に盲点が存在しない場合がある。
1個以上の異なる視野が互いに重なり合っていてよい。例えば、複数のカメラが環境の一部の画像を同時に撮像することができる。いくつかの例において、各視野は、隣接する別の視野と部分的に重なり合っていてよい。
このように、UAVは、複数のカメラを用いて、UAVが巡航している環境から多方向画像情報を取得可能であってよい。UAVは、全ての方向から画像データをサンプリングする際に、環境から実質的に全方向画像データを取得可能であってよい。動作中に航空機が方位を変えたとしても、少なくとも1個のカメラで合致する画像情報を撮像することができるため、自動帰還経路生成の信頼性が大幅に向上する。1個のカメラだけを用いる場合、帰還飛行が不正確になるリスクが増すであろう。UAVの周囲の空間全体をカバーするカメラのように複数のカメラを用いることにより、帰還飛行が不正確になるリスクが軽減される。
図2に、本発明の実施形態による、UAV本体210に空間的に配置可能なカメラ220の模式的な例を示す。上述のように、いくつかの実施形態において、複数のカメラが、UAVの周囲の球面空間の実質的に全体がカメラで撮像可能な方向に向けられていてよい。
カメラの個数及び/又は位置は盲点が存在しないように選択されてよい。いくつかの例において、上述の距離のようにUAVから指定された距離だけ離れた箇所には盲点は全く存在することができない。本明細書の他の箇所で記述する個数のいずれかのように、任意の個数のカメラが球面空間をカバーすべく空間的に配置されていてよい。一例において、21個のカメラがUAV本体を覆うように分散配置されていてよい。各カメラ、又はカメラの部分集合は、他のカメラとは異なる空間方位を有していてよい。空間方位は、UAVのヨー軸、ロール軸、及び/又はピッチ軸に関して異なっていてよい。
カメラの個数及び/又は位置調整は、カメラの視野に基づいて選択されてよい。例えば、カメラの視野が広いほど、カメラの周囲の所望の空間から画像を取得するために必要なカメラが少なくて済む。カメラの視野が狭いほど、カメラの周囲の所望の空間から画像を取得するためにより多くのカメラが必要とされる。いくつかの例において、広角カメラを用いてカメラの個数を減らすことができる。
カメラの個数及び/又は位置調整は、所望の程度の視野同士の重なりを実現すべく選択されてよい。隣接するカメラが、少なくとも1%、3%、5%、10%、15%、20%、25%、30%、40%、50%、60%、70%、80%、又は90%重なり合う視野を有していることが望ましいであろう。他の例において、隣接するカメラが、本明細書に記述するどの割合よりも小さい程度重なり合う視野を有していることが望ましいであろう。隣接するカメラは、本明細に記述する任意の二つの値の間の範囲に含まれる割合だけ重なり合う視野を有していてよい。
図3に、本発明の実施形態による例示的な自動帰還処理のフロー図を示す。UAVが環境内を巡航する間に複数のカメラを用いて画像を撮像することができる(310)。1個以上の画像特徴の記述子を生成することができる(320)。画像特徴は、画像特徴ライブラリと比較することができる(330)。画像特徴が未知の場合、当該画像特徴を画像特徴ライブラリに追加することができる(340)。画像が既知の場合、自動帰還処置を開始するか否かの判定を行うことができる(350)。自動帰還を行わない場合、UAVが飛行する間に複数のカメラが撮像し続けてよい(310)。自動帰還プロシージャを開始する場合、現在収集されている画像を依然の画像と比較して帰還方向を計算する(360)。
画像は、UAVが環境内を巡航する間に複数のカメラ310を用いて撮像することができる。所与の位置又は時刻で複数のカメラの各々が画像を撮像することができる。複数のカメラの各々は画像を実質的に同時に(例:0.001、0.005、0.01、0.05、0.1、0.3、0.5、1、1.5、2、3、5、7、10、15、又は20秒未満の間隔で)撮像することができる。複数のカメラの各々は、UAVが実質的に同じ位置(例:UAVの変位が0.001、0.0050.01、0.05、0.1、0.5、1、2、3、5、10、15、20、30、40、50、70、100、200、300、500、又は1,000cm未満)にある間、画像を撮像することができる。いくつかの実施形態において、画像集合は、複数のカメラからの実質的に同一時点又は箇所で収集された画像に対応していてよい。例えば、第1の画像集合を実質的に第1の時点及び/又は第1の位置で収集できるのに対し、第2の画像集合を実質的に第2の時点及び/又は第2の位置で収集することができる。
画像集合は、画像が撮像された位置に関する位置情報と共に保存することができる。いくつかの例において、位置情報は1個以上の航行センサの支援を受けることができる。例えば、GPS座標は、画像データの対応する集合と共に保存することができる。GPS座標は、UAVのGPS座標であってよい。画像集合は、画像が撮像された時点に関するタイミング情報と共に保存することができる。例えば、画像集合又は画像集合内の個々の画像と共にタイムスタンプが付与されていてよい。いくつかの実施形態において、どのカメラが各々の画像を収集したかの情報が、画像集合内の個々の画像に関連付けられていてよい。例えば、対応するカメラ識別子を各画像と共に保存することができる。UAV又は慣性基準フレーム(例:環境)に対するカメラの位置調整(例:カメラの方位)に関する情報を提供することができる。いくつかの例において、画像集合に対してUAVの位置調整(例:慣性基準フレームに対するUAVの方位)を行うことができる。UAVに対する各カメラの位置調整は既知であって、慣性基準フレームに対する各カメラの位置調整を計算することができる。このように、画像集合の各画像に関連付けられた位置調整(例:方位)を計算又は保存することができる。
画像は、ストリーミング画像として実質的にリアルタイムに撮像することができる。画像は、任意の周波数(例:少なくとも1Hz、3Hz、5Hz、10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、又は100Hz)で撮像することができる。いくつかの例において、画像は、均等な時間間隔で撮像することができる。代替的に、撮像間隔は変化し得る。撮像間隔は、UAVの移動特徴(例:UAVの直線速度、直線加速度、旋回速度、及び/又は旋回方向)に応じて変化し得る。例えば、UAVがより高速で移動している場合、より高い周波数で画像を撮像することができる。代替的に、UAVの移動に依らず同一周波数で画像を撮像することができる。任意選択的に、複数のカメラの各々が同一周波数で動作することができる。代替的に、複数のカメラのうち異なるカメラが異なる周波数で動作することができる。
UAVが環境内を巡航する間に画像の複数の集合は撮像することができる。このような画像を外部機器に保存及び/又は送信することができる。いくつかの例において、画像データの全てを保存しても、又は画像データの選択された部分だけを保存してもよい。いくつかの例において、画像データの全てを再生のために保存してもよいが、画像データの選択された部分だけを航行支援用に用いてもよい。
1個以上の画像特徴の記述子を生成することができる(320)。画像特徴は、航行支援に使用できる画像データの選択された一部として生成することができる。画像集合の画像特徴に関するデータは、画像集合全体に関するデータよりも少なくてもよい。いくつかの実施形態において、画像特徴は、各集合毎に抽出することができる。例えば、第1の画像特徴集合を第1の画像データ集合から抽出することができる。第2画像データ集合を第2の画像データ集合から抽出することができる。第1の画像データ集合は、第2の画像データ集合の収集の前に、同時に、又は後で抽出されてよい。いくつかの実施形態において、画像特徴の例は、本明細書の他の箇所でより詳細に記述するように、画像の特徴点であってよい。
いくつかの実施形態において、画像特徴は、本明細書の他の箇所で記述するように、選択された画像データであってよい。例えば、画像特徴は、航行支援用に画像集合を保存することなく、航行支援用に抽出及び保存することができる。画像集合は、メモリに保存されても、又は全く保存されなくてもよい。
画像の記述子は画像特徴を含んでいてよい。いくつかの実施形態において、記述子は画像の解析を含んでいてよい。例えば、記述子は画像データに基づいて作成されたヒストグラムであってよい。記述子は、集合からの画像データ全体に基づいて生成することも、又は集合からの画像特徴情報に基づいて生成することもできる。記述子は、画像集合からの特徴点に関するヒストグラムを含んでいてよい。記述子は、画像集合からの特徴点等、特徴の選択された部分集合に関するものであってよい。ヒストグラムは、画像の集合又は画像のシーケンス内での特徴(例:特徴点)の空間的及び/又は時間的分布を比較することができる。
画像集合からの1個以上の記述子(例:画像特徴)を画像特徴ライブラリと比較することができる(330)。画像特徴ライブラリは、画像データの以前の集合からの画像又は画像特徴を含んでいてよい。画像ライブラリは、UAVが環境内を巡航中に、追加することができる。画像特徴ライブラリは、UAVの現在の移動から又は動作の画像又は画像特徴を保存することができる。画像特徴ライブラリは、UAVの以前の移動又は動作からの画像又は画像特徴を保存していても、又は保存していなくてもよい。例えば、移動用の画像特徴ライブラリデータは、UAVが移動する間のみ保存されてもよい。UAVの特定の動作用の画像特徴ライブラリデータは、UAVの当該動作の間(例:UAVが電力供給されている間)のみ保存されてもよい。
一例において、画像集合からの画像特徴を画像特徴ライブラリと比較して、当該画像特徴が画像特徴ライブラリに既に存在するか否かを判定することができる。比較は、ある環境と類似の領域又は位置を既に通過したか、又は画像ライブラリに登録している否かを判定するために行うことができる。比較は、環境内の特定のシーン、物体又は地上目標が既に画像ライブラリに保存されているか否かを判定するために行うことができる。
比較は、記述子の履歴画像データとの類似度(例:現在の画像集合からの画像特徴と、以前の画像データ集合から収集された履歴画像特徴との類似度)に注目してもよい。類似度が特定の閾値(例:閾値比率値)を上回る場合、画像が類似していると判定される。例えば、類似度が10%、20%、30%、40%、50%、60%、70%、80%、90%、95%、97%、又は99%の一致度を上回る場合、画像(又はシーン、物体又は地上目標)が同一であると判定することができる。
画像特徴が未知の場合、画像特徴を画像特徴ライブラリに追加することができる(340)。類似度が閾値を上回らなかった場合、記述子(例:画像特徴又は画像)を画像特徴ライブラリに追加することができる。 画像特徴ライブラリを追加した後で、自動帰還プロシージャを開始するか否かを判定することができる(350)。
画像が既知(例:類似度が閾値を上回った)の場合、記述子(例:画像特徴又は画像)を画像特徴ライブラリに追加する必要がない。次いで、自動帰還プロシージャ350を開始するか否かを判定することができる。当該判定は、UAVが自動帰還モードにあるか、又は依然として定常飛行モードにあるかに基づいて行うことができる。
イベントに応答して自動帰還モードに入ることができる。例えば、UAVは外部機器からのコマンドに応答して自動帰還モードに入ることができる。例えば、リモートコントローラの支援を受けてユーザーがUAVを操作していてもよい。ユーザーは、リモートコントローラを用いて選択肢を選択して自動帰還モードを開始することができる。
別の例において、UAVが目標位置に到達した場合に自動帰還に入ることができる。いくつかの例において、目標位置は、UAVの飛行前、又は途上で指定することができる。目標位置は、UAVのユーザーにより指定することができる。目標位置は、任意選択的に、リモートコントローラを用いて指定することができる。ユーザーは、UAVが動作する間、目標位置を変更することができる。UAV搭載、又はUAV非搭載の1個以上のプロセッサの支援により目標位置を指定することができる。目標位置は、ユーザー入力を必要とせずに自動的に指定することができる。目標位置は、慣性基準フレーム内で地理的位置として表すことができる。例えば、目標の位置を特定すべくマップ上の点を選択すること、又は座標の組を与えることができる。目標位置を静止又は移動する目標物体として指定することができる。UAVが目標位置に到達することが確認された場合、自動帰還機能を自動的に起動することができる。
UAV上でエラー又は故障が検知された場合、自動帰還機能が作動することがある。例えば、センサエラー又は危険な状況が検知された場合、UAVに対し自動的に帰還するよう命令することができる。
制御喪失又は他の同様の状態が検知された場合、自動帰還機能を起動することができる。例えば、UAVが急降下している、又はユーザーがUAVを制御できないことが検知された場合、自動帰還モードに入ることができる。
検知された状態に応答して自動帰還モードに入ることができる。例えば、UAVに対し、指定された時間だけ飛行して、次いで自動帰還モードに入るよう求めることができる。指定された時間の長さはUAVのユーザーにより決定することができる。例えば、ユーザーは、UAVが1時間飛行した後で帰還することを希望する旨をUAVが飛行を開始する前に指定することができる。他の例において、飛行時間の長さは、1個以上のUAV搭載プロセッサの支援を受けて外部機器又はシステムにより決定することができる。飛行時間は、人間の介入を必要とせずに自動的に決定することができる。
任意選択的に、UAVが1個以上の外部物体との通信を喪失した場合に自動帰還モードを起動することができる。例えば、UAVがリモートコントローラ、リモート衛星、リモートタワー、又は他の種類の外部物体との通信を喪失した場合、UAVは自動的に自動帰還処理を起動することができる。例えば、UAVがGPS信号を喪失した場合、UAVは自動帰還処理を開始することができる。
UAVの電力レベルを評価して自動帰還モードを開始するか否かを判定することができる。例えば、電力供給レベルが特定の閾値又は割合を下回った場合、自動帰還機能を自動的に起動することができる。これが起こり得るのは、UAVが出発点に帰還するのに充分な電力を有することを保証するためである。
他の任意の条件でも自動帰還モードに入ることができる。視覚的自動帰還システム及び方法は、自動帰還モードに入ったか否かを評価することができる。自動帰還モードに入っていない場合、複数のカメラは、UAV310が飛行する間、撮像し続けることができる。追加的な画像の集合を収集することができる。いくつかの例において、自動帰還モードに入ったか否かの評価は、各画像集合の収集の後で行うことができる。代替的に、自動帰還モードが生起したか否かの評価がより少ない頻度で行われて、画像集合が数回収集されてもよい。
自動帰還モードが検知された場合、複数のカメラにより撮像された画像データを用いて帰還ルートを決定することができる。画像データが単独で、又は本明細書の他の箇所でより詳細に記述するように、他の航行支援機器又はセンサと組み合わせて利用することができる。例えば、現在収集されている画像集合を以前の画像集合と比較して帰還方向を計算することができる(360)。自動帰還経路に沿って飛行している場合、UAVは初期の飛行経路を飛行する間通過したのと同一のシーン、物体又は地上目標を探している場合がある。比較は、同一の画像又は画像特徴を見つけられるか否かを判断し、比較に基づいて、UAVが自動帰還経路を移動する方向を決定する。自動帰還経路は、UAVが帰還航行中に収集している画像集合が初期の飛行中に収集された画像集合と比較されるのと同時に生成することができる。
自動帰還経路の生成は、とるべき経路を決定する何らかの投票及び/又は平均化アルゴリズムを用いてUAVが自動帰還経路を移動する方向が生成されるようになされてよい。経路は、画像の比較による試行を通じて初期飛行経路に良好に合致するように選択されてよい。システムは、UAVと画像から得た特徴との幾何学的関係を用いてUAVの現在の相対位置を計算して、以前に画像が撮像された位置にUAVを接近させることができる。本明細書の他の箇所でより詳細に記述するように、ランダムサンプルコンセンサス(RANSAC)アルゴリズム法等の反復的方法を用いてこの決定を行うことができる。
一例において、UAVは、飛行経路を巡航する間に複数のカメラを用いてUAVの周辺環境の異なる視野に対応する第1の画像集合を収集することができる。次いで、第1の画像特徴集合を第1の画像集合から抽出することができる。この抽出は、UAVが飛行経路に沿って移動する間に行うことができる。この抽出は、実質的にリアルタイムに行うことができる。UAVが帰還経路に沿って移動している場合、UAVは複数のカメラを用いて異なる視野に対応する第2の画像集合を収集することができる。任意選択的に、第2の特徴点集合を第2の画像集合から抽出することができる。この抽出は、UAVが帰還経路に沿って移動する間に行うことができる。この抽出は実質的にリアルタイムに行うことができる。
生成された自動帰還経路は実質的に、初期の飛行経路を逆方位に辿ることができる。例えば、自動帰還経路は、初期の飛行経路から1、3、5、10、20、30、50、100、200、400、600、又は800メートル以内に維持することができる。代替的に、自動帰還経路は初期飛行経路と異なっていてよい。自動帰還経路は、記述するとの値よりも大きい値だけ初期飛行経路から逸脱することがある。複数のカメラを利用する本明細書に記述するシステム及び方法は、初期飛行経路を巡航する場合に比べて、自動帰還経路を巡航する場合にUAVが異なる方位にあってよい。
図4に、本発明の実施形態による、環境400内で飛行経路を巡航するUAVの例を示す。UAV410は出発点420を出発して終端位置440まで初期飛行経路430を飛行し、そこで自動帰還機能が初期化されてよい。UAVは任意選択的に複数のカメラ415を有していてよい。UAVは、環境内で1個以上の視覚的地上目標450a、450b、450cを通過することができる。UAVが必ずしも視覚的標識を通過していない場合であっても、UAVの複数のカメラにより各種の視覚的標識460を撮像することができる。
UAV410は本明細書の他の箇所で記述する特徴又は特性のいずれも有していてよい。UAVは複数のカメラ415を搭載することができる。当該複数のカメラは異なる方向に向けられていてよい。当該複数のカメラは、異なる視野を撮像して環境の複数の画像を撮像することができる。当該複数のカメラは、UAVが完全360度水平方向の全方位視及び/又は完全360度の垂直視が可能なように配置されていてよい。当該複数のカメラは、UAVの周囲の完全球面空間視をUAVに与えるべく配置されていてよい。このように、UAVは、UAVの方位に依らず、UAVの周辺環境の全方位視を収集することが可能であってよい。
UAVは出発点420から飛行経路を開始することができる。出発点はUAVが起動される位置であってよい。出発点は、UAVが地表から離陸する位置であってよい。出発点は、UAVが飛行を開始する位置であってよい。出発点は、ユーザーにより飛行経路の開始点として設定された位置(離陸位置と同一であってもなくてもよい)であってよい。出発点は、UAVが自動帰還する位置としてユーザーにより設定された基準点であってよい。
UAVは、初期飛行経路430を巡航することができる。初期飛行経路は、出発点から始まり、終端位置440で終了してよい。
飛行経路は、ユーザーにより手動で制御することができる。ユーザーは、UAVが経路を巡航するに従い、UAVの飛行をリアルタイムに制御して飛行経路を生成することができる。代替的に、飛行経路は予め計画されていてよい。UAVは、予め計画された飛行経路を自動的に辿ることができる。UAVは、静止又は移動障害物を検知した場合、予め計画された飛行経路から逸脱することができる。UAVは、衝突回避動作を行うことができるが、予め計画された飛行経路に実質的に戻ることができる。ユーザーは、UAVが予め計画された飛行経路を辿る間にUAVを手動制御して、予め計画された飛行経路から逸脱してもよい。他の例において、ユーザーから制御権を取り上げて、予め計画された飛行経路に沿って、又はUAVが飛行経路を巡航する間に1個以上のプロセッサの支援により生成可能な飛行経路に沿ってUAVを自動的に飛行させることができる。UAVは、飛行経路に沿って手動、自律、又は半自律に飛行することができる。飛行経路は、予め決定されていても、又はされていなくてもよい。飛行経路は、飛行中に決定されてもされなくてもよい。
飛行経路は、終端位置440で終了してよい。終端位置は、自動帰還モードに入る位置であってよい。終端位置は、所定の目標位置又は目標物体(例:静止又は移動目標物体)の位置であってもなくてもよい。終端位置は、UAVが自動帰還モードに入ったことに応答してリアルタイムに決定することができる。終端位置は、UAVに自動帰還モードに入らせる検知状態に応答してリアルタイムに決定することができる。ユーザーは、事前に又はリアルタイムに終端位置を指定してもしなくてもよい。
UAVは、環境内を巡航する間に1個以上の視覚的地上目標450a、450b、450cを通過することができる。当該1個以上視覚的地上目標は、UAVの1個以上のカメラにより撮像された1個以上の画像に写っていてよい。UAVカメラにより撮像された画像は、1個以上の画像特徴に関して評価することができる。視覚的地上目標は、1個以上の識別可能な特徴を有していてよい。例えば、視覚的地上目標は、本明細書の他の箇所でより詳細に記述するように、保存可能な1個以上の特徴点の抽出を可能にする。視覚的地上目標は一意であってもなくてもよい。視覚的地上目標は背景特徴から識別可能であってよい。視覚的地上目標は互いに識別可能であってよい。いくつかの実施形態において、視覚的地上目標は実質的に静止していてよい。
UAVが飛行経路を巡航中に画像集合を収集している間、カメラは視覚的地上目標の画像を撮像することができる。視覚的地上目標から1個以上の画像特徴を抽出して航行支援用に保存及び/又は利用することができる。
UAVが必ずしも視覚的標識を通過していない場合であっても、各種の視覚的標識460をUAVの複数のカメラにより撮像することができる。視覚的標識は、UAVが必ずしも通過する必要がない視覚的地上目標であってよい。例えば、UAVは、視覚的標識に接近していても、又は視覚的標識から遠ざかる方向に移動していてもよい。UAVが視覚的標識に接近するに従い、視覚的標識の画像を拡大することができる。UAVが視覚的標識から遠ざかる方向に移動するに従い、視覚的標識の画像を縮小することができる。UAVが視覚的標識(例:視覚的地上目標)を通過するに従い、画像内の視覚的標識の位置が変化する場合がある。視覚的地上目標の大きさ及び/又は位置変化の任意の組み合わせにより視覚的標識に対するUAVの移動を示すことできる。
図5に、本発明の実施形態による、UAVが環境内を巡航する間にUAV上の複数のカメラの支援により撮像可能な画像の例を示す。複数の時点tA、B、、tD、で画像集合を撮像することができる。各画像集合は、複数のカメラ(カメラ1、カメラ2、カメラ3、カメラ4、...)からの画像を含んでいてよい。数個のカメラを例示的に示しているが、任意の個数のカメラを用いて各種の視野を撮像することができる。
UAVの飛行中に任意の個数の画像集合を収集することができる。一例において、いくつかの集合(例:tA、B、で収集される集合)をUAVが初期飛行経路に沿って飛行中に収集することができる。追加的な画像集合を、tA、B、の前に、tA、B、の後で、又はtA、、tの間に収集することができる。これらの対応する画像集合について各種のカメラからの画像の例を示す。例えば、カメラ1は、第1の木、建物、及び第2の木等の視覚的地上目標の画像を撮像することができる。別の例において、カメラ2は、次第に近づく山脈等の視覚的標識の画像を撮像することができる。いくつかのカメラ(例:カメラ3、カメラ4)は、環境の比較的無特徴な部分の画像を撮像することができる。
一例において、いくつかの集合(例:t、tで収集される集合)をUAVが帰還経路に沿って飛行中に収集することができる。追加的な画像集合をt、tの前に、tD、の後で、又はt、tの間に収集することができる。これらの対応する画像集合について各種のカメラからの画像の例を示す。例えば、カメラ3は、第1の木、建物及び第2の木等の視覚的地上目標の画像を撮像することができる。これらの視覚的地上目標は、初期飛行経路の間にカメラ1を用いて収集されたものとは逆の順序で示すことができる。別の例において、カメラ4は、次第に遠ざかる山脈等の視覚的標識の画像を撮像することができる。これらの画像は、初期飛行経路の間にカメラ2を用いて収集された山脈の画像とは実質的に逆順序であってよい。いくつかのカメラ(例:カメラ1、カメラ2)は、環境の比較的無特徴な部分の画像を撮像することができる。
複数のカメラを用いることにより、UAVの方位に依らず、関連する画像を撮像して比較することができる。例えば、初期飛行経路と帰還経路との間におけるUAVの方位の変化に起因して、帰還中、カメラ3はカメラ1の当初の方位に向けられ、カメラ4はカメラ2の当初の方位に向けられ、カメラ1はカメラ3の当初の方位に向けられ、カメラ2はカメラ4の当初の方位に向けられてよい。このようなUAVの方位の変化は、UAVのヨー軸、UAVのピッチ軸、及び/又はUAVのロール軸の回りで生じ得る。
上述のように、UAVの帰還飛行中に撮像された画像を、初期飛行中に既に撮像された画像と比較して、UAVの相対位置及びUAVが帰還飛行中に飛び続けるべき方向を決定することができる。例えば、UAVが初期飛行中に第1の木、建物、及び第2の木を通過した場合、UAVは帰還経路では、UAVが帰還経路中に当該地上目標に対して比較的類似した位置を有するように第2の木、建物及び第1の木を通過しよう試みることができる。
図6に、本発明の実施形態による画像のシーケンス及び画像の選択方法の一例を示す。上述のように、画像集合は、飛行経路及び/又は帰還経路に沿って各種の位置/時点で撮像することができる。各画像集合は、1個以上の対応するカメラにより撮像された1個以上の画像を含んでいてよい。いくつかの実施形態において、各画像集合は、複数の対応するカメラを用いて撮像された複数の画像を含んでいてよい。
いくつかの実施形態において、画像データの選択された部分だけを航行支援に用いてもよい。画像データの選択された部分だけを航行支援用に保存してもよい。各種の他の目的のために画像データ全体を保存してもしなくてもよい。いくつかの実施形態において、画像と、以前に保存された画像との間に顕著な差がある場合にのみ画像を保存してもよい。このような選択的保存及び/又は処理により、オンボードメモリ又はプロセッサ等のUAVに搭載されたリソースに対する負荷を軽減することができる。
例えば、カメラ1は時系列的に(例:tA、B、、tD、で)一連の画像を撮像する。いくつかの実施形態において、画像は異なる特徴又は物体に関して解析することができる。例えば、tの画像は木を建物の一部と共に示す。tの画像は木の一部を建物全体と共に示す。これらの画像は充分異なる特徴を有しているため両方とも航行支援用に保存又は利用すべきであると判定することができる。画像フレームを囲む太枠により、当該画像が航行支援用に保存又は利用されることを示している。いくつかの例において、全部の画像を保存してよい。代替的に、全部の画像を保存しなくてもよく、1個以上の抽出された画像特徴(特徴点等)を保存してもよい。
の画像は同じ建物の上を移動した状態を示し、tの画像は同じ建物の上を更に移動した状態を示している。いくつかの例において、建物が既に保存されているため、これらの画像は充分異なる特徴を有していないため航行支援用に保存して利用する必要が無いと判定することができる。画像フレームを囲む太枠が無いことで、これらの画像が航行支援用に保存又は利用されないことを示している。対照的に、tの画像は新たな木を示している。この新たな木は、太枠で示すように、当該画像が充分異なる特徴を示していないため航行支援用に保存又は利用する必要が無い見なすことができる。
別の例において、カメラ2は時系列的に(例:tA、B、、tD、で)一連の画像を撮像する。これらの画像もまた、異なる特徴又は物体に関して解析することができる。これらの画像は、カメラ1により収集された画像とは独立に解析することができる。例えば、tの画像は塔を示している。塔の第1の画像を航行支援用に保存又は利用することができる。tの画像は、同じ塔の上を移動した状態を示している。tの画像は同じ塔の上を更に移動した状態を示している。いくつかの例において、塔が既に保存されているため、これらの画像は充分異なる特徴を有していないため航行支援用に保存して利用する必要が無いと判定することができる。tの画像は比較的無特徴な画像を示している。顕著な視覚的地上目標又は特徴が無いため、当該画像が充分異なる特徴を有していないため航行支援用に保存して利用する必要が無いと判定することができる。対照的に、tの画像は新たな構造物を示している。新たな構造物は充分に異なる特徴を有しているため当該画像を航行支援用に保存又は利用すべきであると見なすことができる。
シーケンス内の画像を比較して、顕著な差があるか否かを判定し、航行支援用に保存又は利用すべき画像又は画像特徴を選択する。比較されるシーケンス内の画像は同一カメラで撮像されたものでよい。代替的に、比較されるシーケンス内の画像が異なるカメラで撮像されたものでよい。各カメラからの画像は、シーケンス内で個々に評価されてよい。このシナリオにおいて、第1のカメラが建物の画像を撮像し、その後第2のカメラも同じ建物の画像を撮像した場合、このような比較又は評価を行わずに両方の画像を航行支援用に保存又は利用してもよい。代替的に、全てのカメラ又は一群のカメラからの画像をシーケンス内で一括的に評価してもよい。このように、第1のカメラが建物の画像を撮像し、その後第2のカメラも同じ建物の画像を撮像した場合、比較又は評価を行い、充分な差異がない場合、第1の画像だけを航行支援用に保存又は利用してもよい。
いくつかの例において、画像同士の比較は、1個以上の画像の全体的な比較であってよい。画像がどの程度重なるかを判定することができる。いくつかの実施形態において、画像が閾値を超えて重なり合う場合、後続の画像を航行支援用に保存又は利用する必要がなく、既に表現済みであると充分みなすことができる。例えば、以下の画像を画像特徴ライブラリに追加しなくてよい。いくつかの例において、閾値は画像の約5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%、又は97%であってよい。
代替的に、画像同士の比較は、シーケンス内の1個以上の画像の画像特徴の比較であってよい。例えば、比較は、複数の画像から抽出された1個以上の特徴点の比較であってよい。特徴抽出及び比較の更なる説明を本明細書の他の箇所でより詳細に記述している。いくつかの例において、比較は、画像のピクセルに関して行われてよい。例えば、画像を1ピクセルずつ比較して、重なりの程度、又は画像を保存すべき充分な差異があるか否かを判定することができる。画像は、ピクセル毎の解析を実行する前に処理、比較、又は自動修正することができる。画像特徴はピクセルを含んでいてよい。
いくつかの実施形態において、画像特徴が閾値を超えて重なり合う場合、後続の画像特徴を航行支援用に保存又は利用する必要がなく、既に表現済みであると充分みなすことができる。例えば、以下の画像特徴を画像特徴ライブラリに追加しなくてよい。いくつかの例において、閾値は画像特徴の約5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%又は97%であってよい。
画像又は画像特徴が航行支援用に保存又は利用されるのは、本明細書に記述する閾値のような閾値を下回る場合であってよい。画像同士の重なりが、異なる時点で撮像された複数の画像(例:シーケンス内の画像)の比較に基づいていてよい。比較される画像は、同一のカメラ又は異なるカメラにより撮像されていてよい。重なりは画像特徴同士の間であってよく、異なる時点(例:シーケンス内で収集された画像の後)で収集又は抽出された画像特徴の比較であってよい。
閾値は固定閾値であってよい。代替的に、閾値は可変閾値であってよい。閾値は、ユーザー入力に応じて変更することができる。例えば、ユーザーは、UAV上で使用する処理又はメモリが少ない方が望ましい場合にはより高い閾値を設定し、UAV上で使用する処理又はメモリを気にしない場合はより低い閾値を設定することができる。いくつかの実施形態において、閾値は、1個以上のプロセッサの支援により決定又は変更することができる。1個以上のプロセッサは独立に、又は集団として、UAVのリスクプロファイル、環境の複雑さ、移動特徴、又は他の任意のパラメータに基づいて閾値を決定することができる。リスクに対する忌避が大きいほど、閾値が低くなるであろう。環境の複雑さが高いほど、メモリ又は処理能力を維持すべく閾値は高くなり、又は特徴が欠落する可能性が低いほど低い閾値が維持されるであろう。UAVの移動が速いほど、又はより複雑なほど、閾値は低くなるであろう。
いくつかの実施形態において、航行支援用に保存又は利用する画像又は画像特徴の選択は、初期飛行経路中にのみ行われる。このような選択及び/又は保存は帰還経路では必要とされない。帰還経路中にリアルタイムに収集された画像は、予め保存されたデータと対比して解析することができる。いくつかの別の実施形態において、このような選択及び/又は保存は帰還経路中に行われてもよい。
UAVが飛行経路を巡航する間に、1個以上の画像集合を収集することができる。1個以上の画像特徴(例:特徴点)の集合を1個以上の対応する画像集合から抽出することができる。UAVが飛行経路を巡航する間に、画像特徴の集合を対応する画像集合から抽出することができる。抽出は、実質的にリアルタイムに行うことができる。画像特徴集合からの画像特徴(例:特徴点)の部分集合を航行支援用に保存又は利用することができる。画像特徴の部分集合は、上述のように、画像又は画像特徴の重なりの程度に基づいて選択されてよい。
いくつかの実施形態において、画像特徴の部分集合はUAVの移動に基づいて選択されてよい。例えば、UAVのより高速な直線又は旋回移動の結果、シーケンス内の画像の重なりが少なくなり得る。UAVの移動(例:直線速度、直線加速度、角速度、角加速度)を評価することができる。UAVの測位及び/又は移動は1個以上のセンサの支援により確認することができる。カメラからの画像は、UAVの測位及び/又は移動の確認に役立つ場合も役立たない場合もある。速度が高い場合、速度が低い場合に比べて、画像特徴のより大きい割合又は部分集合が航行支援用に保存又は利用すべく選択されてよい。
画像特徴が静止しているか否かの判定もまた、選択される画像特徴の部分集合に影響を及ぼし得る。いくつかの例において、静止画像特徴だけを航行支援用に保存又は利用してもよい。移動画像特徴は、任意選択的に、航行支援用に保存又は利用されなくてもよい。静止画像特徴は、環境内で静止したままである視覚的地上目標に関する特徴を含んでいてよい。移動画像特徴は、環境内で移動可能な物体に関する特徴を含んでいてよい。例えば、特徴点が静止特徴点であると判定された場合は当該特徴点を航行支援用に保存又は利用することができ、特徴点が移動特徴点であると判定された場合は航行支援用に保存又は利用さない。
異なる時点で撮像された画像特徴の複数の画像同士の比較に基づいて、画像特徴が静止しているか否かを判定することができる。複数の画像は、同一のカメラ又は異なるカメラにより撮像されていてよい。異なる時点で撮像された画像同士の特徴(例:背景/静止特徴及び移動特徴)間の相対移動の比較が、画像特徴が静止しているか又は移動しているかの判定に役立つ場合がある。いくつかの例において、比較は、特徴点毎の比較により行うことができる。他の例において、比較はピクセル毎の比較により行うことができる。
代替的な実施形態において、物体認識アルゴリズムを使用してもよい。物体認識アルゴリズムは画像を解析して画像のどの部分が静止物体であり、どれが移動物体であるかを判定することができる。これを用いて、どの画像特徴が静止画像特徴であり、どれが移動画像特徴であるかを判定することができる。このような物体認識は、複数の画像を順次使用する必要がない。代替的に、これらの特徴を複数の画像の順次解析と組み合わせて解析することができる。
静止画像特徴は、UAVが初期飛行を行う場合とUAVが帰還飛行を行う場合との間で恐らく移動していないため、航行支援用に保存又は利用することができる。地上目標が顕著に移動する場合、UAVが復路を発見するのは困難であるか、又は恐らく異なる経路を飛行するであろう。画像特徴が静止していると考えられる場合、UAVが帰還している間に帰還経路に沿ったUAVの測位をより正確に決定するのに役立てることができる。
図7に、本発明の実施形態による画像のシーケンス及び特徴の選択方法の一例を示す。上述のように、1個以上の画像をカメラ又は一群のカメラにより撮像することができる。これらの画像は時系列的に(例:tA、B、)撮像されて画像のシーケンスを形成することができる。
いくつかの実施形態において、画像のシーケンスからの画像データの全てを航行支援用に保存又は利用することができる(例:UAVの初期飛行中、又はUAVの自動帰還飛行中)。代替的に、画像のシーケンスからの画像データの全てが航行支援用に保存又は利用されない場合がある。画像データの選択結果(例:画像の選択された特徴に対応)を航行支援用に保存又は利用してもよい。
一例において、画像特徴は画像の特徴点であってよい。特徴点は、画像の他の部分から一意に識別可能な画像の部分(例:エッジ、角、注目点、ブロブ、隆起等)及び/又は画像内の他の特徴であってよい。任意選択的に、特徴点は、撮像された物体の変形(例:並進、回転、拡大縮小)及び/又は画像の特徴(例:明るさ、露光)の変化に対して不変である。特徴点は、情報コンテンツ(例:顕著な2Dテクスチャ)が豊富な画像の部分で検知することができる。特徴点は、外乱(例:画像の輝度及び明るさを変化させた場合)の下で安定した画像の部分で検知することができる。本明細書に記述する特徴検知は、画像データから1個以上の特徴点を抽出して特徴点の総数すなわち「特徴点数」を計算可能な各種のアルゴリズムを用いて実現することができる。当該アルゴリズムは、エッジ検出アルゴリズム、角検出アルゴリズム、ブロブ検出アルゴリズム、又は隆起検出アルゴリズムであってよい。いくつかの実施形態において、角検知アルゴリズムは、「加速セグメントテストからの特徴」(FAST)であってよい。いくつかの実施形態において、特徴検出器は、FASTを用いて特徴点を抽出して特徴点数を計算することができる。いくつかの実施形態において、特徴検出器は、Cannyエッジ検出器、Sobel演算器、Harris&Stephens/Plessy/Shi−Tomasiコーナー検出アルゴリズム、SUSANコーナー検出器、Level曲線曲率法、ガウスラプラシアン、ガウス差分、Hessian行列式、MSER、PCBR、又はグレーレベルブロブ、ORB、FREAK、又はこれらの適当な組み合わせであってよい。いくつかの実施形態において、スケール不変特徴変換(SIFT)アルゴリズムを単独で、又は他の任意のものと組み合わせて、画像内の局所的特徴を検出及び記述すべく用いる。
いくつかの実施形態において、全ての特徴点を航行支援用に保存又は利用することができる。代替的に、特徴点の部分集合を選択して航行支援用に保存又は利用してもよい。選択された特徴点は、シーケンス内の特徴点同士の重なりの程度に基づいて判定することができる。例えば、tで、物体に1個以上の特徴点710を設定することができる。特徴点は物体に関連付けられていてよい。後続の時点tで、ある画像が追加的な特徴点720と共に同一の特徴点集合を示す場合がある。いくつかの実施形態において、特徴点同士の高度の重なりは、後続の画像特徴点が初期画像により充分に覆われているため、航行支援用に保存か又は利用する必要があることを示すことができる。上述のように、重なりの程度の閾値を用いて、後続の画像特徴を選択するか否かを判定することができる。重なりの程度の閾値は固定でも可変でもよい。
選択された特徴点は、特徴点が静止又は移動しているかの評価に基づいて判定することができる。いくつかの実施形態において、第1の特徴点集合710を静止特徴点とみなし、及び/又は、第2の特徴点集合720を移動特徴点とみなすことができる。いくつかの例において、シーケンス内の画像を解析して、静止している特徴点と移動している特徴点を判定することができる。例えば、画像のシーケンス全体にわたり整合している、及び/又は予測可能な仕方で移動する特徴点を静止特徴点とみなすことができる。特徴点が現れては消える、又は予測不可能な仕方で移動する場合は移動特徴点とみなすことができる。いくつかの例において、物体認識又はパターン認識アルゴリズムを用いて、特徴点が静止又は移動しているかを判定することができる。いくつかの例において、静止特徴点だけを航行支援用に保存又は利用してもよい。静止特徴点は、UAVが帰還経路を発見するのを支援すべく、実質的に同一位置に確実に留まっていると判定することができる。移動特徴点は、任意選択的に、航行支援用に保存又は利用されなくてもよい。移動する点は信頼性が低い恐れがあり、UAVが初期飛行経路上にあるときと、帰還経路を辿るときの間で移動する場合がある。UAVが、もはや存在しない移動物体を探索すれば、混乱して帰還経路を正確に辿ることができない恐れがある。
いくつかの実施形態において、UAVが帰還経路を辿る間、特徴点が静止特徴点であるか、又は移動特徴点であるかを評価することができる。特徴点が静止特徴点である場合、UAVの航行を支援すべく当該静止特徴点を以前に保存された特徴点と比較することができる。当該特徴点が移動特徴点である場合、これを無視して以前に保存された静止特徴点と比較しなくてよい。
選択された特徴点は、特徴点の強度評価に基づいて判定することができる。いくつかの実施形態において、特徴点の確実性を当該特徴点に割り当てることができる。特徴点は、確実性の閾値を超えたことが確認された場合にのみ保存されてよい。いくつかの実施形態において、特徴点の強度評価は、シーケンス内の複数の画像フレームの特徴点の様相に依存する場合がある。たとえシーケンス内の全ての画像からの特徴点が保存されていなくても、別の補強特徴点が存在すれば当該特徴点を最初に保存することができる。従って、例えば、補強された特徴点710により、第1の画像フレーム(t)からの少なくとも第1の特徴点集合を保存させることができる。補強特徴点がt又はtで存在することで、特徴点の第1集合の保存を正当化することができる。
画像及び/又は画像からの特徴(例:特徴点)は一定間隔又は可変間隔で撮像することができる。いくつかの例において、UAVの動作パラメータに応じて可変間隔で撮像することができる。UAVの動作パラメータは、UAVの移動特徴、例えば直線速度、角速度、直線加速度及び/又は角加速度であってよい。例えば、UAVがより高速で移動又は旋回している場合、画像及び/又は特徴をより頻繁に撮像することができる。
いくつかの実施形態において、画像及び/又は画像からの特徴(例:特徴点)は、環境条件に応じて可変間隔で撮像することができる。例えば、急激に変化する光条件により画像及び/又は特徴をより頻繁に撮像させることができる。1フレーム毎に画像の品質又は画像の整合性に影響を及ぼし得る任意の環境条件が間隔に影響を及ぼし得る。風、塵、降雨、気温差等、他の要因が間隔に影響を及ぼす場合もある。
図8に、本発明の実施形態による、UAVに搭載されていて各々異なる視野を有する複数のカメラにより撮像可能な物体の一例を示す。いくつかの実施形態において、複数のカメラの視野はある程度は重なり合っていてよい。いくつかの実施形態において、画像特徴点等の画像特徴の集合を画像から抽出することができる。いくつかの例において、画像特徴点の部分集合等の画像特徴の部分集合が、当該特徴(例:特徴点)を含む画像を収集する撮像装置の個数に基づいて、選択されて航行支援用に保存又は利用されてもよい。
例えば、複数のカメラが同一の(例:時点=tでの)画像集合内で同じ木の画像を撮像することができる。同一集合内の画像を、実質的に同一時点(例:上述のように短い時間内に)又は位置(上述のように)で、同一UAVに搭載された複数のカメラにより撮像することができる。同一物体を撮像するカメラの個数が閾値を超えた場合、当該物体は航行支援用に保存又は利用するのに充分に重要であるとみなしてよい。いくつかの例において、画像から特徴点を抽出することができる。例えば、当該特徴点が木の特徴に対応している場合がある。同一の特徴点集合を撮像するカメラの個数が閾値を超えた場合、当該特徴点を航行支援用に保存又は利用してよい。
カメラの個数の閾値は、2以上、3以上、4以上、5以上、6以上、7以上、8以上、9以上、10以上、12以上、15以上、又は20以上を含むがこれらに限定されず任意の個数のカメラがあってよい。いくつかの例において、カメラの個数の閾値は画像集合の画像を撮像するカメラの少なくとも1%、3%、5%、7%、10%、12%、15%、20%、25%、30%、35%、40%、又は50%を含むがこれらに限定されないカメラの割合の閾値であってよい。
一例において、少なくとも6個のカメラに木が同時に写っている。木から抽出された特徴は、当該特徴を航行支援用に保存するのに充分な個数のカメラに写っていることを確認することができる。いくつかの例において、1個のカメラ、又はカメラの組み合わせからの特徴の1個の集合だけが保存されてよい。例えば、木を表す特徴の完全な集合が、単一のカメラ又は複数のカメラからのデータに基づいて保存されてよい。代替的に、複数のカメラに対応する複数の特徴集合が保存されてもよい。
別の例において、いくつかのカメラは、同一画像集合の(例:時点=tBでの)画像を撮像することができる。この場合、画像特徴は、2個のカメラに同時に写っていてよい。いくつかの例において、閾値を満たすのに充分な個数のカメラが無い場合がある。当該画像特徴は航行支援用に保存又は利用されない場合がある。
カメラの個数が多いほど、特徴がより正確に抽出されて誤抽出されない可能性が高いといえる。また、カメラの個数が多いほど、特徴が自動帰還にとって貴重且つ有用であることを示している。複数のカメラに特徴が写っている可能性がある場合、当該特徴が帰還飛行中に検出される確率が高い。また、多数のカメラに特徴が抽出されている場合、帰還飛行中に当該特徴が抽出及び/又は認識される確率が高くなる。
図9に、本発明の実施形態による、帰還経路を巡航するUAVの一例を示す。UAVは環境900を巡航することができる。UAV910は出発点920を出発して終端位置940まで初期飛行経路930を飛行し、そこで自動帰還機能が初期化されてよい。UAVは、環境内で1個以上の視覚的地上目標950a、950b、950cを通過することができる。UAVは、自動帰還機能の初期化に応答して帰還経路970を飛行し始めることができる。
UAV910は本明細書の他の箇所で記述する特徴又は特性のいずれも有していてよい。UAVは複数のカメラを搭載することができる。当該複数のカメラは異なる方向に向けられていてよい。当該複数のカメラは、異なる視野を撮像して環境の複数の画像を撮像することができる。当該複数のカメラは、UAVが完全360度水平方向の全方位視及び/又は完全360度の垂直視が可能なように配置されていてよい。当該複数のカメラは、UAVの周囲の完全球面空間視をUAVに与えるべく配置されていてよい。このように、UAVは、UAVの方位に依らず、UAVの周辺環境の全方位視を収集することが可能であってよい。
UAVは出発点920から飛行経路を開始することができる。出発点はUAVが起動される位置であってよい。出発点は、UAVが地表から離陸する位置であってよい。出発点は、UAVが飛行を開始する位置であってよい。出発点は、ユーザーにより飛行経路の開始点として設定された位置(離陸位置と同一であってもなくてもよい)であってよい。出発点は、UAVが自動帰還する位置としてユーザーにより設定された基準点であってよい。
UAVは、初期飛行経路930を巡航することができる。初期飛行経路は、出発点から始まり、終端位置940で終了してよい。飛行経路は手動で制御可能であり、又はUAVは自律的又は半自律的であってもよい。
飛行経路は、終端位置940で終了してよい。終端位置は、自動帰還モードに入る位置であってよい。終端位置は、所定の目標位置又は目標物体(例:静止又は移動目標物体)の位置であってもなくてもよい。終端位置は、UAVが自動帰還モードに入ったことに応答してリアルタイムに決定することができる。終端位置は、UAVに自動帰還モードに入らせる検知状態に応答してリアルタイムに決定することができる。ユーザーは、事前に又はリアルタイムに終端位置を指定してもしなくてもよい。UAV又はUAVに搭載された航空制御器は帰還経路を巡航する旨の命令を受信することができる。当該命令により自動帰還モードの初期化を開始することができる。UAVの動作モードは、初期飛行経路930と比較して帰還経路970が異なってよい。自動帰還モードにおいて、UAVが初期飛行経路を巡航する間に収集された第2の画像特徴(例:特徴点)の集合と、UAVが帰還経路を巡航する間に収集された第1の画像特徴(例:特徴点)の集合との間で比較を行うことができる。
UAVは、環境内を巡航する間に1個以上の視覚的地上目標950a、950b、950cを通過することができる。当該1個以上視覚的地上目標は、UAVの1個以上のカメラにより撮像された1個以上の画像に写っていてよい。UAVカメラにより撮像された画像は、1個以上の画像特徴に関して評価することができる。視覚的地上目標は、1個以上の識別可能な特徴を有していてよい。例えば、視覚的地上目標は、保存可能な1個以上の特徴点の抽出を可能にする。視覚的地上目標は一意であってもなくてもよい。視覚的地上目標は背景特徴から識別可能であってよい。視覚的地上目標は互いに識別可能であってよい。いくつかの実施形態において、視覚的地上目標は実質的に静止していてよい。
UAVが飛行経路930を巡航中に画像集合を収集している間、カメラは視覚的地上目標の画像を撮像することができる。視覚的地上目標から1個以上の画像特徴を抽出して航行支援用に保存及び/又は利用することができる。上述のように、いくつかの実施形態において、1個以上画像特徴の部分集合を選択して航行支援用に保存及び/又は利用することができる。
UAVは帰還経路970を巡航する間に追加的な画像集合を収集することができる。カメラは視覚的地上目標の画像を撮像することができる。いくつかの例において、初期飛行経路のときと同一の視覚的地上目標を見ることができる。同一の視覚的地上目標は逆の順序で見ることができる。いくつかの例において、UAVは、たとえUAVが帰還経路を巡航中に異なる方位を向いていても、視覚的地上目標が撮像可能にする複数のカメラを有している。カメラは、任意選択的に、初期飛行経路を飛行する間地上目標が検出された場合、帰還経路の途上でたとえUAVが他の任意の方位を向いていても、当該地上目標を検出できるように配置されていてよい。
初期経路を飛行する間収集された第1の特徴点集合を、帰還経路を飛行する間収集された特徴の第2集合と比較することができる。比較は、特徴(例:特徴点)により指示される認識可能な地上目標の発見を含んでいてよい。特徴により指示される地上目標は、UAV帰還経路が初期飛行経路と異なる場合に認識可能であってよい。特徴により指示される地上目標は、UAVが帰還経路を飛行する間初期飛行経路と異なる方位に向けられた場合に認識可能であってよい。
UAVの帰還経路は、UAVが帰還経路を巡航するに従いリアルタイムに計算及び/又は決定することができる。帰還経路は、UAVと地上目標との間の計算された相対測位に基づいて決定することができる。いくつかの例において、UAVの初期飛行経路は、地上目標の位置の検出及び地上目標に対するUAVの相対測位による視覚的航行に基づいて記録することができる。帰還経路の途上で地上目標が検出されて、UAVが帰還途上で地上目標に対して同様な姿勢をとるようにUAVの帰還経路を制御することができる。
帰還経路を飛行するUAVの方向を1個以上のアルゴリズムにより判定することができる。いくつかの例においてランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定することができる。他のいくつかの例において、透視n点(PnP)運動推定を用いて帰還経路を決定することができる。当該アルゴリズムを用いて1個以上の特徴点により指示される地上目標に対するUAV配置又は所望の配置を決定することができる。地上目標に対する現在の推定UAV配置を初期飛行経路に関するデータと比較して、帰還経路における当該点に関して地上目標に対する所望のUAV配置を決定することができる。UAVを所望のUAV配置に向けて誘導することができる。
上述のように、UAVの帰還経路は初期飛行経路を逆方位に辿ることができる。UAVは、初期飛行経路上を正確に逆方位に飛行することができる。代替的に、帰還飛行経路は初期飛行経路とある程度異なっていてもよい。いくつかの例において、UAVは初期飛行経路から特定の距離閾値内に留まっていてよい。
任意選択的に、UAVの帰還経路は初期飛行経路と異なっていてよい。帰還経路が異なる要因として、1個以上の検出された条件、例えば1個以上の障害物又は厳しい環境条件が挙げられる。帰還経路が異なる要因として、UAVが初期飛行経路を辿るのを阻害し得る1個以上の他の条件が挙げられる。UAVは、出発点に戻るための視覚的航行技術を利用してよい。UAVは、初期飛行経路の方へ頭部に視覚的航行技術を使用できる。代替的に、UAVは、必ずしも初期飛行経路に戻らずに、出発点に戻るための視覚的航行技術を利用してよい。視覚的航行技術は、UAV位置を確認して出発点までの帰還経路を発見可能にする視界にあることを確実にすべく依然として地上目標を利用してよいが、帰還経路を正確に辿る必要はない。
いくつかの実施形態において、初期飛行経路は、終点への遠回りな、又は直行しない経路を辿る場合がある。帰還経路は、たとえ遠回りな、又は直行しない場合でも初期飛行経路後をほぼ逆方位に辿る場合がある。UAVが初期経路をちょうど逆方位に辿ることができない状況のため、帰還経路の途上である程度の逸脱が必要な場合であっても、UAVはなるべく初期経路を正確に辿ろうとするか、又は可能ならば初期飛行経路に戻ろうとすることができる。代替的に、UAVは代替的な帰還経路を発見できるが、依然として、UAVが初期飛行経路の飛行した際に検出されたものと同一の視覚的地上目標又は標識を利用している。いくつかの例において、UAVは、初期経路に比べて遠回り又は迂回的でない帰還経路後部をとることができる。UAVは、視覚的標識に基づいて、初期飛行経路から独立した帰還飛行経路を計算可能であってよい。いくつかの例において、帰還飛行経路は、出発点までの最短距離、出発点までの最小エネルギー消費量、及び/又は出発点への到達までの最短時間として計算することができる。帰還飛行経路には、視覚的地上目標との視覚的接触を保持しながら、これらのパラメータの1個以上が組み込まれていてよい。従って、より短い飛行経路が存在するが、UAVが視覚的地上目標を見失う恐れがある場合、UAVは、視覚的地上目標を視認し続けることが可能なより長い飛行経路を飛行することができる。ある程度の誤差余裕又は安全度を設定することができ、その結果UAVが視覚的地上目標を見失わないように必要以上に初期飛行経路に近い経路を飛行し続けることがある。
いくつかの例において、UAVは、視覚的航行だけを利用して初期飛行経路を辿る、及び/又は帰還経路を飛行することができる。例えば、UAVは、UAVに搭載された1個以上のカメラにより集められた情報に依存して航行機能を実行することができる。UAVは、初期飛行経路の途上でカメラにより収集された情報だけに依存して帰還飛行経路を決定することができる。UAVは、帰還飛行を飛行するために他のデータ又は航行機能を必要としなくてよい。これは外部ソースからの情報が信頼できない可能性がある位置又はシナリオで有用である。例えば、無線接続状態が良くない場合、UAVは依然として、UAV及び視覚的センサのメモリに局所的に保存された情報に基づいて自動帰還機能を実行することができる。
任意選択的に、UAVは、初期飛行経路を辿る、及び/又は他の任意の種類の航行支援ツールと組み合わせて視覚的航行を行う帰還経路を飛行することができる。いくつかの実施形態において、センサ融合技術を用いて視覚的航行情報を他の種類の航行情報と組み合わせることができる。UAVに搭載された任意のセンサ又は通信装置を視覚的航行情報と組み合わせて、初期飛行経路及び/又は帰還経路の途上でUAVの飛行を制御することができる。
一例において、UAVの航行は、UAVに搭載されたGPS装置の支援により行うことができる。GPS装置は1個以上のGPSセンサを含んでいてよい。GPSセンサは、1個以上のGPS衛星群と通信して1個以上のGPSデータ信号を取得することができる。GPSセンサは、GPSセンサの位置がUAVの位置に対応するようにUAVに堅牢に結合されていてよい。代替的に、GPSセンサは、最大6個の自由度でUAVに相対的に移動することができる。GPSセンサは、UAVに直接搭載されていても、又はUAVに搭載された支持構造に結合されていてもよい。いくつかの例において、支持構造は支持機構又は搭載物等の積載物を含んでいてよい。
GPSセンサが受信したGPS信号は、大域的基準フレーム(例:緯度、経度、及び高度)に相対的なUAVの位置を決定すべく処理することにより、UAVの並進速度及び/又は加速度を決定することができる。GPSセンサは、差分GPS(DGPS)又はリアルタイムキネマティック(RTK)GPS等、任意の適当なGPS技術を利用することができる。GPSセンサは、移動可能物体の位置を任意の適当なレベルの精度、例えばメートルレベルの精度(例:10m、5m、2m、又は1m以内の精度)又はセンチメートルレベルの精度(500cm、200cm、100cm、50cm、20cm、10cm、又は5cm以内の精度)で判定すべく構成されていてよい。
このようなGPS情報を用いて、UAVが初期飛行経路及び/又は帰還飛行経路を巡航する間にUAVの地理空間座標情報を収集することができる。地理空間座標情報は、画像特徴等の視覚的航行情報と組み合わせることができる。画像特徴は、画像特徴が撮像された位置又は計算された位置で地理空間座標情報との相関を求めることができる。例えば、ある程度距離を置いた第2の位置にある木の画像をUAV撮像したときに、UAVは第1の位置にあってよい。複数のフレームの解析を利用してもしなくてもよい視覚的アルゴリズムを用いて、カメラの位置(例:UAVの位置)に相対的な物体(例:木)の位置を計算することができる。UAVの位置(例:第1の位置)を画像及び/又は画像特徴に関連付け、及び/又は物体の位置(例:第2の位置)を画像及び/又は画像特徴と関連付けることができる。地理空間座標情報は、本明細書の他の箇所でより詳細に記述するように、環境のマップの生成を支援することができる。いくつかの実施形態において、GPS情報の信頼性が低い恐れがあり、及び/又はUAVが環境内を移動する間に中断/再開する恐れがある。GPS情報は、利用可能ならば視覚的航行情報を補足すべく利用できるが、システムは必要ならばGPS情報なしで動作可能であってよい。
UAVはまた、慣性測定装置(IMU)を含んでいてよく、当該慣性測定装置は1個以上の加速度度計、1個以上のジャイロスコープ、1個以上の磁力計、又はこれらの適当な組み合わせを含んでいてよい。例えば、IMUは、最高で3つの並進軸に沿ったUAV及び/又はUAVに搭載されたカメラの線形加速度を測定する3つまでの直交加速度計と、最高で3つの回転軸の回りの角加速度を測定する最高で3つの直交ジャイロスコープとを含むことができる。IMUは、UAV及び/又はカメラの移動がIMUの移動に対応するように、UAV及び/又はカメラにしっかりと結合することができる。代替的には、IMUは、最高で自由度6に関してUAV及び/又はカメラに相対して移動可能であり得る。IMUは、UAV及び/又はカメラに直接搭載されていても、又はUAV及び/又はカメラに搭載された支持構造に結合されていてもよい。IMUは、UAV及び/又はカメラの位置、方位、速度、及び/又は加速度等、UAV及び/又はカメラの位置又は運動(例:並進の1、2、又は3本の軸、及び/又は回転の1、2、又は3本の軸に対する)を表す信号を提供することができる。例えば、IMUは、UAV及び/又はカメラの加速度を表す信号を検知することができ、当該信号を一回積分して速度情報を、二回積分して位置及び/又は方位情報を得ることができる。
このようなIMU情報を用いて、UAVの全体的な位置(例:空間位置及び/又は方位)及び/又はUAVの移動を視覚的航行と組み合わせて決定することができる。いくつかの例において、IMU情報を用いて、UAVに搭載された1個以上のカメラの全体的な位置及び/又は移動を決定することができる。IMU情報を用いて、UAVによる視覚的航行に利用する各カメラの全体的な位置及び/又は移動を決定することができる。いくつかの実施形態において、UAVは、各々が異なる方位に向けられた複数のカメラを搭載することができる。いくつかの例において、IMUは、異なるセンサを別々に用いる複数のカメラの各々の方位に関する情報(例:カメラ1はカメラ1の位置及び/又は移動を検出する1個以上のセンサを有し、カメラ2はカメラ2の位置及び/又は移動を検出する1個以上のセンサを有していてよい、....)を収集することができる。代替的に、各カメラはUAVの方位に対して既知の方位を有していてよく、UAVの位置(例:方位/空間位置)を知ることで各カメラの位置を計算できるようにする。IMU情報を用いて、UAVに搭載されたカメラの各々の方位を判定することができる。
IMU情報は、画像特徴等の視覚的航行情報と結合されてよい。画像特徴は、当該画像特徴が撮像された位置でのUAV及び/又はカメラのIMU情報との相関を求めることができる。例えば、カメラは、UAVが木の画像を視覚的地上目標として撮像する際に特定の位置をとることができる。IMU情報を用いて、UAVに対する視覚的地上目標の相対位置を変定することができる。複数のフレームの解析を利用してもしなくてもよい視覚的アルゴリズムを用いて画像が撮像されたときのカメラの位置を計算すること、及び/又はUAVを画像及び/又は画像特徴に関連付けることができる。IMU情報は、本明細書の他の箇所うでより詳細に記述するように、環境のマップ作成を支援することができる。IMU情報は、1個以上のUAV搭載センサを用いて収集することができる。IMU情報は、外部信号、反射又は通信を必要しなくてよい。外部との通信又は無線信号が機能しない場合、IMU及び視覚的データは互いに組み合わせて用いることができる。
いくつかの実施形態において、視覚的航法をGPS情報及び/又はIMU情報と組み合わせて用いることができる。位置センサ(例:全地球測位システム(GPS)センサ、位置の三角測量を可能にする移動送信器)、視覚センサ(例:可視、赤外、又は紫外光を検出する可能なカメラ等の撮像装置)、近接センサ(例:超音波センサ、ライダー、飛行時間型カメラ)、慣性センサ(例:加速度度計、ジャイロスコープ、慣性測定装置(IMU))、高度センサ、圧力センサ(例:バロメータ)、音声センサ(例:マイクロホン)又は電磁場センサ(例:磁力計、電磁センサ)等、本明細書の他の箇所に記述する任意の追加的なセンサからの追加的な情報を用いてよい。
いくつかの実施形態において、1個以上の画像特徴を1個以上の画像から抽出することができる。いくつかの例において、画像の全て、又は画像特徴の部分集合がUAVの航行用に保存又は使用すべく選択されてよい。例えば、画像特徴の選択結果をUAVの自動帰還用に保存又は利用することができる。いくつかの実施形態において、画像特徴の選択された部分集合は画像からの特徴点の部分集合を含んでいてよい。
画像特徴の選択結果(例:特徴点の部分集合)を用いて環境からマップを構築することができる。UAVが飛行する間に遭遇し得る地上目標の1個以上の表現がマップに保存することができる。例えば、環境内の画像特徴のマップを構築することができる。環境内の特徴点の選択された部分集合のマップを構築することができる。マップは、三次元マップ又は二次元マップであってよい。マップは、高度を考慮に入れても入れなくてもよい。マップは、UAVが初期飛行経路を巡航するのに合わせてリアルタイムに構築することができる。マップ内の特徴に相対的なUAVの位置を判定することができる。UAVが初期飛行経路を巡航した際の位置をマップ内に示すことができる。UAVの位置は、UAVの空間位置及び/又は方位などを含んでいてよい。UAVが各画像を撮像した際の位置をマップ内に示すことができる。いくつかの例において、UAVに搭載された各カメラの位置(例:空間位置及び/又は方位)をマップ又はメモリに保存することができる。UAV及び/又はカメラの位置は3本の空間軸に沿って決定することができる。UAV及び/又はカメラの位置は、3本の直交軸、例えばUAV及び/又はカメラに対するピッチ、ヨー及び/又はロール軸に関する判定を含んでいてよい。
UAVが帰還経路を計画及び/又は飛行する場合にUAVがマップを利用することができる。1個以上の地上目標に相対的なUAV位置は、UAVが帰還経路を飛行する間に判定することができる。1個以上の画像特徴(例:特徴点)に相対的なUAV位置は、UAVが帰還経路を飛行するときに判定することができる。UAVが帰還経路を飛行する間にUAVにより収集された画像集合を用いて1個以上の画像特徴に相対的なUAV位置を決定することができる。UAVの初期飛行経路に相対的なUAV位置は帰還飛行中に判定することができる。いくつかの例において、1個以上の画像特徴に相対的なUAVの位置、及びUAVの初期飛行経路に相対的な1個以上の画像特徴の位置を用いて初期飛行経路に相対的なUAV位置を判定することができる。
上述のように、アルゴリズムを用いてUAV位置及び/又は帰還経路を決定することができる。RANSAC又はPnPアルゴリズムを用いてUAV帰還を支援することができる。いくつかの例において、アルゴリズムを用いる場合に辺境の特徴点等の辺境の画像データを無視してよい。1個以上の正対応を与える最良適合モデルを生成することができる。投票スキームを利用してモデルを選択して、自動帰還経路の決定に用いることができる。
マップは、UAVに搭載されたローカルメモリに保存することができる。マップは、1個以上のサーバ、他のUAV、リモートコントローラ、視覚的表示装置、又はクラウドコンピューティングインフラ等の外部機器に保存することができる。いくつかの実施形態において、マップは、UAVのローカルメモリ上でアクセス可能であってよい。たとえ外部との通信又は信号が機能しない場合であっても、UAVはマップへのアクセス及び/又は追加を行うことができる。
このように、UAVは、自動帰還を実行する視覚的航行技術に関与することができる。UAVは、ユーザーによる手動制御を一切必要とすることなく出発点に自動的に帰還可能であってよい。UAVは、自動帰還シーケンスを開始するユーザー入力を受信してもしなくてもよい。自動帰還シーケンスが起動されたならば、UAVを出発点へ帰還させるためのユーザーによる更なる入力が提供される、又は必要とされることはない。
いくつかの例において、UAVは、比較的無特徴な環境内で動作している場合ある。環境が比較的無特徴である場合、UAVは、GPS、IMU情報など、他の航行支援機器、及び/又は本明細書の他の箇所に記述されている他の任意のセンサからの情報に依存してよい。いくつかの例において、UAVが帰還経路中になじみのある特徴を検出できない場合、UAVは自動的にホバリング又は着陸することができる。UAVは、UAVに警報又は警告を送ることができる。UAVは、UAVへ警報又は警告を送信する際に、最後の既知のUAV位置情報を含んでいてもいなくてもよい。UAVは、UAVの感度範囲内にいるユーザーがUAVを容易に検出可能又は識別可能にする視覚又は聴覚警報を発することができる。
本明細書に記載されるシステム、デバイス、及び方法は、多種多様な可動物体に適用することができる。上述したように、本明細書でのUAVの任意の記載は、任意の可動物体に適用し得、任意の可動物体に使用し得る。本明細書でのUAVの任意の記載は、任意の航空機に適用し得る。本発明の可動物体は、空中(例えば、固定翼機、回転翼機、又は固定翼も回転翼も有さない航空機)、水中(例えば、船舶若しくは潜水艦)、地上(例えば、車、トラック、バス、バン、自動二輪車、自転車等の自動車両、スティック、釣り竿等の可動構造若しくはフレーム、若しくは列車)、地下(例えば、地下鉄)、宇宙空間(例えば、宇宙飛行機、衛星、若しくは宇宙探査機)、又はこれらの環境の任意の組み合わせ等の任意の適する環境内で移動するように構成することができる。可動物体は、本明細書の他の箇所に記載される車両等の車両であることができる。幾つかの実施形態では、可動物体は、人間又は動物等の生体に搭載するか、又は取り外すことができる。適する動物としては、鳥類、イヌ類、ネコ類、ウマ類、ウシ類、ヒツジ類、ブタ類、イルカ類、げっ歯類、昆虫類が挙げられる。
可動物体は、自由度6(例えば、並進に自由度3及び回転に自由度3)に関して環境内を自在に移動可能であり得る。代替的には、可動物体の移動は、所定の経路、行路、又は向きによる等の1つ又は複数の自由度に関して制約することができる。移動は、エンジン又はモータ等の任意の適する作動機構により作動することができる。可動物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、核エネルギー、又は任意の適するそれらの組み合わせ等の任意の適するエネルギー源により電力供給することができる。可動物体は、本明細書の他の箇所に記載されるように、推進システムを介して自己推進し得る。推進システムは、任意選択的に、電気エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組み合わせ等のエネルギー源で駆動し得る。代替的には、可動物体は生体により携帯し得る。
幾つかの例では、可動物体は航空機であることができる。適する車両としては、水上車両、航空車両、宇宙車両、又は地上車両を挙げることができる。例えば、航空機は、固定翼航空機(例えば、飛行機、グライダー)、回転翼航空機(例えば、ヘリコプタ、回転翼機)、固定翼と回転翼の両方を有する航空機、又はいずれも有さない航空機(例えば、飛行船、熱気球)であり得る。車両は、空中、水上、水中、宇宙空間、地上、又は地下で自己推進されるような自己推進型であることができる。自己推進型車両は、1つ又は複数のエンジン、モータ、車輪、車軸、磁石、回転翼、プロペラ、翼、ノズル、又は任意の適するそれらの組み合わせを含む推進システム等の推進システムを利用することができる。幾つかの場合では、推進システムを使用して、可動物体を表面から離陸させ、表面に着陸させ、現在の位置及び/又は向きを維持させ(例えば、ホバリングさせ)、向きを変更させ、及び/又は位置を変更させることができる。
可動物体は、ユーザーにより遠隔制御することもでき、又は可動物体内若しくは可動物体上の搭乗者によりローカルに制御することもできる。幾つかの実施形態では、可動物体は、UAV等の無人可動物体である。UAV等の無人可動物体は、可動物体に搭載された搭乗者を有さなくてよい。可動物体は、人間により、自律制御システム(例えば、コンピュータ制御システム)により、又は任意の適するそれらの組み合わせにより制御することができる。可動物体は、人工知能が構成されたロボット等の自律的又は半自律的ロボットであることができる。
可動物体は、任意の適するサイズ及び/又は寸法を有することができる。幾つかの実施形態では、車両内又は車両上に人間の搭乗者を有するようなサイズ及び/又は寸法のものであり得る。代替的には、可動物体は、車両内又は車両上に人間の搭乗者を有することが可能なサイズ及び/又は寸法よりも小さなものであり得る。可動物体は、人間により持ち上げられるか、又は携帯されるのに適するサイズ及び/又は寸法であり得る。代替的には、可動物体は、人間により持ち上げられるか、又は携帯されるのに適するサイズ及び/又は寸法よりも大きくてよい。幾つかの場合、可動物体は、約2cm、約5cm、約10cm、約50cm、約1m、約2m、約5m、又は約10m以下の最大寸法(例えば、長さ、幅、高さ、直径、対角線)を有し得る。最大寸法は、約2cm、約5cm、約10cm、約50cm、約1m、約2m、約5m、又は約10m以上であり得る。例えば、可動物体の対向する回転翼のシャフト間の距離は、約2cm、約5cm、約10cm、約50cm、約1m、約2m、約5m、又は約10m以下であり得る。代替的には、対向する回転翼のシャフト間の距離は、約2cm、約5cm、約10cm、約50cm、約1m、約2m、約5m、又は約10m以上であり得る。
幾つかの実施形態では、可動物体は、100cm×100cm×100cm未満、50cm×50cm×30cm未満、又は5cm×5cm×3cm未満の体積を有し得る。可動物体の総体積は、約1cm以下、約2cm以下、約5cm以下、約10cm以下、約20cm以下、約30cm以下、約40cm以下、約50cm以下、約60cm以下、約70cm以下、約80cm以下、約90cm以下、約100cm以下、約150cm以下、約200cm以下、約300cm以下、約500cm以下、約750cm以下、約1000cm以下、約5000cm以下、約10,000cm以下、約100,000cm以下、約1m以下、又は約10m以下であり得る。逆に、可動物体の総体積は、約1cm以上、約2cm以上、約5cm以上、約10cm以上、約20cm以上、約30cm以上、約40cm以上、約50cm以上、約60cm以上、約70cm以上、約80cm以上、約90cm以上、約100cm以上、約150cm以上、約200cm以上、約300cm以上、約500cm以上、約750cm以上、約1000cm以上、約5000cm以上、約10,000cm以上、約100,000cm以上、約1m以上、又は約10m以上であり得る。
幾つかの実施形態では、可動物体は、約32,000cm以下、約20,000cm以下、約10,000cm以下、約1,000cm以下、約500cm以下、約100cm以下、約50cm以下、約10cm以下、又は約5cm以下の設置面積(可動物体により包含される横方向の断面積と呼び得る)を有し得る。逆に、設置面積は、約32,000cm以上、約20,000cm以上、約10,000cm以上、約1,000cm以上、約500cm以上、約100cm以上、約50cm以上、約10cm以上、又は約5cm以上であり得る。
幾つかの場合では、可動物体は1000kg以下の重量であり得る。可動物体の重量は、約1000kg以下、約750kg以下、約500kg以下、約200kg以下、約150kg以下、約100kg以下、約80kg以下、約70kg以下、約60kg以下、約50kg以下、約45kg以下、約40kg以下、約35kg以下、約30kg以下、約25kg以下、約20kg以下、約15kg以下、約12kg以下、約10kg以下、約9kg以下、約8kg以下、約7kg以下、約6kg以下、約5kg以下、約4kg以下、約3kg以下、約2kg以下、約1kg以下、約0.5kg以下、約0.1kg以下、約0.05kg以下、又は約0.01kg以下であり得る。逆に、重量は、約1000kg以上、約750kg以上、約500kg以上、約200kg以上、約150kg以上、約100kg以上、約80kg以上、約70kg以上、約60kg以上、約50kg以上、約45kg以上、約40kg以上、約35kg以上、約30kg以上、約25kg以上、約20kg以上、約15kg以上、約12kg以上、約10kg以上、約9kg以上、約8kg以上、約7kg以上、約6kg以上、約5kg以上、約4kg以上、約3kg以上、約2kg以上、約1kg以上、約0.5kg以上、約0.1kg以上、約0.05kg以上、又は約0.01kg以上であり得る。
幾つかの実施形態では、可動物体は、可動物体により運ばれる積載物に相対して小さくてよい。積載物は、本明細書において更に詳細に記載するように、搭載物及び/又は支持機構を含み得る。幾つかの例では、積載物の重量に対する可動物体の重量の比は、約1:1よりも大きい、小さい、又は等しくてもよい。幾つかの場合では、積載物の重量に対する可動物体の重量の比は、約1:1よりも大きい、小さい、又は等しくてもよい。任意選択的に、積載物の重量に対する支持機構の重量の比は、約1:1よりも大きい、小さい、又は等しくてもよい。所望の場合、積載物の重量に対する可動物体の重量の比は、1:2以下、1:3以下、1:4以下、1:5以下、1:10以下、又はそれよりも小さな比であり得る。逆に、積載物の重量に対する可動物体の重量の比は、2:1以上、3:1以上、4:1以上、5:1以上、10:1以上、又はそれよりも大きな比であることもできる。
幾つかの実施形態では、可動物体は低エネルギー消費量を有し得る。例えば、可動物体は、約5W/h未満、約4W/h未満、約3W/h未満、約2W/h未満、約1W/h未満、又はそれよりも小さな値を使用し得る。幾つかの場合では、可動物体の支持機構は低エネルギー消費量を有し得る。例えば、支持機構は、約5W/h未満、約4W/h未満、約3W/h未満、約2W/h未満、約1W/h未満、又はそれよりも小さな値を使用し得る。任意選択的に、可動物体の搭載物は、約5W/h未満、約4W/h未満、約3W/h未満、約2W/h未満、約1W/h未満、又はそれよりも小さな値等の低エネルギー消費量を有し得る。
図10は、本発明の態様による無人航空機(UAV)1000を示す。UAVは、本明細書に記載される可動物体の例であり得る。UAV1000は、4つの回転翼1002、1004、1006、及び1008を有する推進システムを含むことができる。任意の数の回転翼を提供し得る(例えば、1つ、2つ、3つ、4つ、5つ、又は6つ以上)。無人航空機の回転翼、回転翼組立体、又は他の推進システムは、無人航空機がホバリング/位置を維持し、向きを変更し、及び/又は位置を変更できるようにし得る。対向する回転翼のシャフト間の距離は、任意の適する長さ1010であることができる。例えば、長さ1010は、1m以下又は5m以下であることができる。幾つかの実施形態では、長さ1010は、1cm〜7m、70cm〜2m、又は5cm〜5mの範囲内であることができる。本明細書でのUAVの任意の記載は、異なるタイプの可動物体等の可動物体に適用し得、その逆も同様である。UAVは、本明細書に記載されるようなアシスト付き離陸システム又は方法を使用し得る。
幾つかの実施形態では、可動物体は、積載物を運ぶように構成することができる。積載物は、乗客、貨物、機器、器具等のうちの1つ又は複数を含むことができる。積載物は筐体内に提供し得る。筐体は、可動物体の筐体とは別個であってもよく、又は可動物体の筐体の一部であってもよい。代替的には、積載物に筐体を提供することができ、一方、可動物体は筐体を有さない。代替的には、積載物の部分又は積載物全体は、筐体なしで提供することができる。積載物は、可動物体に強固に固定することができる。任意選択的に、積載物は可動物体に対して移動可能であることができる(例えば、可動物体に対して並進可能又は回転可能)。積載物は、本明細書の他の箇所に記載されるように、搭載物及び/又は支持機構を含むことができる。
積載物は、移動可能物体に搭載された1個以上の撮像装置に追加して、又は代替して設けられていてよい。本明細書の他の箇所で既に述べたように、複数の撮像装置が移動可能物体に搭載されていてよい。撮像装置は移動可能物体の本体及び/又はアーム全体にわたり分散配置されていてよい。撮像装置は、互いに異なる方位を向くように配置されていてよい。撮像装置は、移動可能物体の複数の部分が撮像装置の視野に入らないように配置されていてよい。代替的に、移動可能物体の1個以上の部分が撮像装置の視野に入ってもよい。
幾つかの実施形態では、固定基準系(例えば、周辺環境)及び/又は互いに相対する可動物体、支持機構、及び搭載物の移動は、端末により制御することができる。端末は、可動物体、支持機構、及び/又は搭載物から離れた場所にある遠隔制御デバイスであることができる。端末は、支持プラットフォームに配置又は固定することができる。代替的には、端末は、ハンドヘルド又はウェアラブルデバイスであることができる。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、メガネ、手袋、ヘルメット、マイクロホン、又はそれらの適する組み合わせを含むことができる。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、又はディスプレイ等のユーザーインタフェースを含むことができる。手動入力されたコマンド、音声制御、ジェスチャ制御、又は位置制御(例えば、端末の移動、場所、又は傾きを介した)等の任意の適するユーザー入力が、端末との対話に使用可能である。
端末は、可動物体、支持機構、及び/又は積載物の任意の適する状態の制御に使用することができる。例えば、端末は、固定基準系に対する及び/又は相互に対する可動物体、支持機構、及び/又は積載物の位置及び/又は向きの制御に使用することができる。幾つかの実施形態では、端末は、支持機構の作動組立体、搭載物のセンサ、又は搭載物のエミッタ等の可動物体、支持機構、及び/又は搭載物の個々の要素の制御に使用することができる。端末は、可動物体、支持機構、又は搭載物のうちの1つ又は複数と通信するように構成された無線通信デバイスを含むことができる。
端末は、可動物体、支持機構、及び/又は搭載物の情報の表示に適するディスプレイユニットを含むことができる。例えば、端末は、位置、並進速度、並進加速度、向き、角速度、角加速度、又はこれらの任意の適する組み合わせに関する可動物体、支持機構、及び/又は搭載物の情報を表示するように構成することができる。幾つかの実施形態では、端末は、機能的な搭載物により提供されるデータ(例えば、カメラ又は他の画像捕捉デバイスにより記録された画像)等の搭載物により提供される情報を表示することができる。
任意選択的に、同じ端末は、可動物体、支持機構、及び/又は搭載物又は可動物体、支持機構、及び/又は搭載物の状態の両方を制御するとともに、可動物体、支持機構、及び/又は搭載物からの情報を受信及び/又は表示し得る。例えば、端末は、搭載物により捕捉された画像データ又は搭載物の位置についての情報を表示しながら、環境に対する搭載物の測位を制御し得る。代替的には、異なる端末を異なる機能に使用し得る。例えば、第1の端末は可動物体、支持機構、及び/又は搭載物の移動又は状態を制御し得、一方、第2の端末は可動物体、支持機構、及び/又は搭載物から情報を受信及び/又は表示し得る。例えば、第1の端末は、環境に対する搭載物の測位の制御に使用し得、一方、第2の端末は、搭載物により捕捉された画像データを表示する。可動物体と、可動物体の制御及びデータ受信の両方を行う統合端末との間で、又は可動物体と、可動物体の制御及びデータ受信の両方を行う複数の端末との間で、様々な通信モードを利用し得る。例えば、可動物体と、可動物体の制御及び可動物体からのデータ受信の両方を行う端末との間で、少なくとも2つの異なる通信モードを形成し得る。
図11は、実施形態による、支持機構1102及び搭載物1104を含む可動物体1100を示す。可動物体1100は航空機として示されているが、この描写は限定であるとことを意図せず、本明細書において上述したように、任意の適するタイプの可動物体が使用可能である。当業者であれば、航空機システムに関連して本明細書に記載される実施形態がいずれも、任意の適する可動物体(例えば、UAV)に適用可能なことを理解する。幾つかの場合では、搭載物1104は、支持機構1102を必要とせずに、可動物体1100上に提供し得る。可動物体1100は、推進機構1106、感知システム1108、及び通信システム1110を含み得る。
推進機構1106は、上述したように、回転翼、プロペラ、翼、エンジン、モータ、車輪、車軸、磁石、又はノズルのうちの1つ又は複数を含むことができる。可動物体は、1つ以上、2つ以上、3つ以上、又は4つ以上の推進機構を有し得る。推進機構は、全てが同じタイプであり得る。代替的には、1つ又は複数の推進機構は、異なるタイプの推進機構であることができる。推進機構1106は、本明細書の他の箇所に記載されるように支持要素(例えば、駆動シャフト)等の任意の適する手段を使用して、可動物体1100に搭載することができる。推進機構1106は、可動物体1100の上部、下部、前部、後部、側面、又はこれらの適する組み合わせ等の可動物体1100の任意の適する部分に搭載することができる。
幾つかの実施形態では、推進機構1106は、可動物体1100のいかなる水平移動も必要とせずに(例えば、滑走路を移動せずに)、可動物体1100が表面から鉛直に離陸するか、又は表面に鉛直に着陸できるようにし得る。任意選択的に、推進機構1106は、可動物体1100が、空中の特定の位置及び/又は向きでホバリングできるようにするように動作可能である。推進機構1100のうちの1つ又は複数は、他の推進機構から独立して制御され得る。代替的には、推進機構1100は、同時に制御されるように構成することができる。例えば、可動物体1100は、可動物体に揚力及び/又は推進力を提供することができる複数の水平面指向回転翼を有することができる。複数の水平面指向回転翼は、鉛直離陸機能、鉛直着陸機能、及びホバリング機能を可動物体1100に提供するように作動することができる。幾つかの実施形態では、水平面指向回転翼のうちの1つ又は複数は、時計回り方向に回転し得、一方、水平回転翼のうちの1つ又は複数は、反時計回り方向に回転し得る。例えば、時計回りの回転翼の数は、反時計回りの回転翼の数と等しくてよい。水平面指向回転翼のそれぞれの回転速度は、各回転翼により生成される揚力及び/又は推進力を制御するように、独立して変更することができ、それにより、可動物体1100の空間的配置、速度、及び/又は加速度(例えば、最大並進自由度3及び最大回転自由度3に関して)を調整する。
感知システム1108は、可動物体1100の空間的配置、速度、及び/又は加速度(例えば、最大並進自由度3及び最大回転自由度3に関して)を感知し得る1つ又は複数のセンサを含むことができる。1つ又は複数のセンサは、全地球測位システム(GPS)センサ、運動センサ、慣性センサ、近接センサ、又は画像センサを含むことができる。感知システム1108により提供される感知データは、可動物体1100の空間的配置、速度、及び/又は向きを制御するのに使用することができる(例えば、後述するように、適する処理ユニット及び/又は制御モジュールを使用して)。代替的には、感知システム1108を使用して、気象状況、潜在的な障害物への近接度、地理的特徴の場所、人工構造物の場所等の可動物体の周囲の環境に関するデータを提供することができる。
通信システム1110は、無線信号1116を介して、通信システム1114を有する端末1112と通信できるようにする。通信システム1110、1114は、無線通信に適する任意の数の送信機、受信機、及び/又は送受信機を含み得る。通信は、データが一方向でのみに送信可能なように、一方向通信であり得る。例えば、一方向通信は、可動物体1100のみがデータを端末1112に送信すること、又はこの逆を含み得る。データは、通信システム1110の1つ又は複数の送信機から、通信システム1112の1つ又は複数の受信機に送信し得、又はその逆も同様である。代替的には、通信は、可動物体1100と端末1112との間で両方向でデータを送信することができるように、双方向通信であり得る。双方向通信は、通信システム1110の1つ又は複数の送信機から、通信システム1114の1つ又は複数の受信機にデータを送信すること、及びその逆を含むことができる。
幾つかの実施形態では、端末1112は、可動物体1100、支持機構1102、及び搭載物1104の1つ又は複数に制御データを提供することができ、可動物体1100、支持機構1102、及び搭載物1104の1つ又は複数から情報(例えば、可動物体、支持機構、又は搭載物の位置情報及び/又は動き情報、搭載物カメラにより捕捉された画像データ等の搭載物により感知されたデータ)を受信することができる。幾つかの場合、端末からの制御データは、可動物体、支持機構、及び/又は搭載物の相対位置、移動、作動、又は制御に関する命令を含み得る。例えば、制御データは、可動物体の場所及び/又は向きの変更(例えば、推進機構1106の制御を介して)又は可動物体に相対する搭載物の移動(例えば、支持機構1102の制御を介して)を生じさせ得る。端末からの制御データは、カメラ又は他の画像捕捉デバイスの動作制御等の搭載物の制御(例えば、静止画又は動画の撮影、ズームイン又はズームアウト、オン又はオフの切り替え、画像モードの切り替え、画像解像度の変更、フォーカスの変更、被写界深度の変更、露光時間の変更、視野角又は視野の変更)を生じさせ得る。幾つかの場合、可動物体、支持機構、及び/又は搭載物からの通信は、1つ又は複数のセンサ(例えば、感知システム1108又は搭載物1104の)からの情報を含み得る。通信は、1つ又は複数の異なるタイプのセンサ(例えば、GPSセンサ、運動センサ、慣性センサ、近接センサ、又は画像センサ)から感知された情報を含み得る。そのような情報は、可動物体、支持機構、及び/又は搭載物の位置(例えば、場所、向き)、移動、又は加速度に関し得る。搭載物からのそのような情報は、搭載物により捕捉されたデータ又は搭載物の感知された状態を含み得る。端末1112により送信されて提供される制御データは、可動物体1100、支持機構1102、又は搭載物1104のうちの1つ又は複数の状態を制御するように構成することができる。代替として、又は組み合わせて、支持機構1102及び搭載物1104はそれぞれ、端末1112と通信するように構成された通信モジュールを含むこともでき、それにより、端末は、可動物体1100、支持機構1102、及び搭載物1104のそれぞれと独立して通信し、制御することができる。
幾つかの実施形態では、可動物体1100は、端末1112に加えて又は端末1112に代えて、別のリモートデバイスと通信するように構成することができる。端末1112は、別のリモートデバイス及び可動物体1100と通信するように構成することもできる。例えば、可動物体1100及び/又は端末1112は、別の可動物体又は別の可動物体の支持機構若しくは搭載物と通信し得る。所望の場合、リモートデバイスは、第2の端末又は他の計算デバイス(例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又は他のモバイルデバイス)であり得る。リモートデバイスは、データを可動物体1100に送信し、データを可動物体1100から受信し、データを端末1112に送信し、及び/又はデータを端末1112から受信するように構成することができる。任意選択的に、リモートデバイスは、インターネット又は他の通信ネットワークに接続することができ、それにより、可動物体1100及び/又は端末1112から受信したデータをウェブサイト又はサーバにアップロードすることができる。
図12は、実施形態により、可動物体を制御するシステム1200のブロック図による概略図である。システム1200は、本明細書に開示されるシステム、デバイス、及び方法の任意の適する実施形態と組み合わせて使用することができる。システム1200は、感知モジュール1202、処理ユニット1204、非一時的コンピュータ可読媒体1206、制御モジュール1208、及び通信モジュール1210を含むことができる。
感知モジュール1202は、異なる方法で可動物体に関連する情報を収集する異なるタイプのセンサを利用することができる。異なるタイプのセンサは、異なるタイプの信号又は異なるソースからの信号を感知し得る。例えば、センサは、慣性センサ、GPSセンサ、近接センサ(例えばライダー)、又はビジョン/画像センサ(例えば、カメラ)を含むことができる。感知モジュール1202は、複数のプロセッサを有する処理ユニット1204に動作可能に接続することができる。幾つかの実施形態では、感知モジュールは、適する外部デバイス又はシステムに感知データを直接送信するように構成された送信モジュール1212(例えば、Wi−Fi画像送信モジュール)に動作可能に接続することができる。例えば、送信モジュール1212を使用して、感知モジュール1202のカメラにより捕捉された画像をリモート端末に送信することができる。
処理ユニット1204は、プログラマブルプロセッサ(例えば、中央処理装置(CPU))等の1つ又は複数のプロセッサを有することができる。処理ユニット1204は、非一時的コンピュータ可読媒体1206に動作可能に接続することができる。非一時的コンピュータ可読媒体1206は、1つ又は複数のステップを実行するために処理ユニット1204により実行可能な論理、コード、及び/又はプログラム命令を記憶することができる。非一時的コンピュータ可読媒体は、1つ又は複数のメモリユニット(例えば、SDカード又はランダムアクセスメモリ(RAM)等のリムーバブルメディア又は外部ストレージ)を含むことができる。幾つかの実施形態では、感知モジュール1202からのデータは、非一時的コンピュータ可読媒体1206のメモリユニットに直接伝達され、そこに記憶することができる。非一時的コンピュータ可読媒体1206のメモリユニットは、処理ユニット1204により実行可能であり、本明細書に記載された方法による任意の適する実施形態を実行する論理、コード、及び/又はプログラム命令を記憶することができる。例えば、処理ユニット1204は、処理ユニット1204の1つ又は複数のプロセッサに、感知モジュールにより生成された感知データを解析させる命令を実行するように構成することができる。メモリユニットは、処理ユニット1204により処理された感知モジュールからの感知データを記憶することができる。幾つかの実施形態では、非一時的コンピュータ可読媒体1206のメモリユニットを使用して、処理ユニット1204により生成された処理結果を記憶することができる。
幾つかの実施形態では、処理ユニット1204は、可動物体の状態を制御するように構成された制御モジュール1208に動作可能に接続することができる。例えば、制御モジュール1208は、可動物体の空間的配置、速度、及び/又は加速度を自由度6に関して調整するよう、可動物体の推進機構を制御するように構成することができる。代替的には、又は組み合わせて、制御モジュール1208は、支持機構、搭載物、又は感知モジュールの状態のうちの1つ又は複数を制御することができる。
処理ユニット1204は、1つ又は複数の外部デバイス(例えば、端末、ディスプレイデバイス、又は他のリモートコントローラ)からデータを送信及び/又は受信するように構成された通信モジュール1210に動作可能に接続することができる。有線通信又は無線通信等の任意の適する通信手段を使用し得る。例えば、通信モジュール1210は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信網、クラウド通信等のうちの1つ又は複数を利用することができる。任意選択的に、電波塔、衛星、又は移動局等の中継局を使用することができる。無線通信は、近接度依存型であってもよく、又は近接度独立型であってもよい。幾つかの実施形態では、通信にLOF(line−of−sight)が必要なこともあれば、又は必要ないこともある。通信モジュール1210は、感知モジュール1202からの感知データ、処理ユニット1204により生成された処理結果、所定の制御データ、端末又はリモートコントローラからのユーザーコマンド等のうちの1つ又は複数を送信及び/又は受信することができる。
システム1200の構成要素は、任意の適する構成で配置することができる。例えば、システム1200の構成要素のうちの1つ又は複数は、可動物体、支持機構、搭載物、端末、感知システム、又は上記のうち1つ又は複数と通信する追加の外部デバイスに配置することができる。更に、図12は単一の処理ユニット1204及び単一の非一時的コンピュータ可読媒体1206を示すが、これが限定を意図せず、システム1200が複数の処理ユニット及び/又は非一時的コンピュータ可読媒体を含むことができることを当業者は理解する。幾つかの実施形態では、複数の処理ユニット及び/又は非一時的コンピュータ可読媒体のうちの1つ又は複数は、可動物体、支持機構、搭載物、端末、検知モジュール、上記のうちの1つ又は複数と通信する追加の外部デバイス、又はそれらの適する組み合わせ等の異なる場所に配置することができ、それにより、システム1200により実行される処理及び/又はメモリ機能の任意の適する側面を上記場所のうちの1つ又は複数で行うことができる。
本願発明の好ましい実施形態が本明細書に示され、説明されたが、そのような実施形態は、単に例として提供されたことが当業者には明らかである。多くの修正、変更、及び置換が、本発明から逸脱することなく、当業者に想起されるであろう。本明細書に記載された本発明の実施形態に対する様々な代替が、本発明の実行に際して利用可能なことが理解されるべきである。以下の特許請求の範囲が本発明の範囲を規定し、これらの特許請求の範囲及びそれらの均等物内の方法及び構造がそれにより包含されることが意図される。
本願発明の好ましい実施形態が本明細書に示され、説明されたが、そのような実施形態は、単に例として提供されたことが当業者には明らかである。多くの修正、変更、及び置換が、本発明から逸脱することなく、当業者に想起されるであろう。本明細書に記載された本発明の実施形態に対する様々な代替が、本発明の実行に際して利用可能なことが理解されるべきである。以下の特許請求の範囲が本発明の範囲を規定し、これらの特許請求の範囲及びそれらの均等物内の方法及び構造がそれにより包含されることが意図される。
[項目1]
無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、UAVの周辺環境における異なる視野に対応する第1の画像集合を収集するステップと、
飛行経路を巡航する間に収集された第1の画像集合から第1の特徴点集合を抽出するステップと、
帰還経路を巡航する間に、複数の撮像装置を用いて異なる視野に対応する第2の画像集合を収集するステップと、
飛行経路の途上で抽出された第1の特徴点集合を、第2の画像集合から抽出された第2の特徴点集合と比較することにより、帰還経路を巡航するステップとを含む方法。
[項目2]
複数の撮像装置が互いに異なる方位に向けて配置される、項目1に記載の方法。
[項目3]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目1に記載の方法。
[項目4]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目1に記載の方法。
[項目5]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目1に記載の方法。
[項目6]
異なる視野の少なくとも一部が互いに重なり合う、項目1に記載の方法。
[項目7]
複数の撮像装置が、UAVの中央本体に搭載される、項目1に記載の方法。
[項目8]
帰還経路が飛行経路を逆向きに辿る、項目1に記載の方法。
[項目9]
帰還経路が飛行経路とは異なる、項目1に記載の方法。
[項目10]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目1に記載の方法。
[項目11]
第1の画像集合を航行支援用に保存することなく、第1の特徴点集合を航行支援用に抽出して保存する、項目1に記載の方法。
[項目12]
第1の特徴点集合が静止特徴点であると判定された場合は第1の特徴点集合が航行支援用に保存され、第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、項目1に記載の方法。
[項目13]
第1の特徴点集合を用いて、環境内の第1の特徴点集合から三次元マップを構築する、項目1に記載の方法。
[項目14]
UAVに帰還経路を巡航させる命令を受信するステップを更に含む、項目1に記載の方法。
[項目15]
命令がUAVの外部のリモートコントローラから受信される、項目14に記載の方法。
[項目16]
UAVの動作モードを帰還経路に変更することにより、第1の特徴点集合と第2の特徴点集合との比較を開始するステップを更に含む、項目14に記載の方法。
[項目17]
第1の特徴点集合又は第2の特徴点集合が、UAVの動作パラメータに応じて可変間隔で収集される、項目1に記載の方法。
[項目18]
動作パラメータがUAVの速度である、項目17に記載の方法。
[項目19]
第1の特徴点集合を第2の特徴点集合と比較するステップが、特徴点により指示される認識可能な地上目標を発見するステップを含む、項目1に記載の方法。
[項目20]
UAVの帰還経路が飛行経路と異なる場合、特徴点により指示される地上目標が認識可能である、項目19に記載の方法。
[項目21]
UAVが帰還経路の途上で飛行経路と異なる方位を向いた場合、特徴点により指示される地上目標が認識可能である、項目19に記載の方法。
[項目22]
帰還経路が、UAVと地上目標との間で計算された相対測位に基づいて決定される、項目19に記載の方法。
[項目23]
第1の特徴点集合と第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、項目1に記載の方法。
[項目24]
第1の特徴点集合と第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて帰還経路を決定する、項目1に記載の方法。
[項目25]
無人航空機(UAV)の飛行を制御する装置であって、
各々異なる視野を有する複数の撮像装置、すなわち(1)飛行経路を巡航する間に、UAVの周辺環境における異なる視野に対応する第1の画像集合を収集し、(2)帰還経路を巡航する間に、異なる視野に対応する第2の画像集合を収集すべく構成された複数の撮像装置と、
(1)飛行経路を巡航する間に収集された第1の画像集合から第1の特徴点集合を抽出し、(2)飛行経路の途上で抽出された第1の特徴点集合を、第2の画像集合から抽出された第2の特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく、個別又は集合的に構成された1個以上のプロセッサとを含む装置。
[項目26]
複数の撮像装置が互いに異なる方位に向けて配置される、項目25に記載の装置。
[項目27]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目25に記載の装置。
[項目28]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目25に記載の装置。
[項目29]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目25に記載の装置。
[項目30]
異なる視野の少なくとも一部が互いに重なり合う、項目25に記載の装置。
[項目31]
複数の撮像装置が、UAVの中央本体に搭載される、項目25に記載の装置。
[項目32]
帰還経路が飛行経路を逆向きに辿る、項目25に記載の装置。
[項目33]
帰還経路が飛行経路とは異なる、項目25に記載の装置。
[項目34]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目25に記載の装置。
[項目35]
第1の画像集合を航行支援用に保存することなく、第1の特徴点集合を航行支援用に抽出して保存する、項目25に記載の装置。
[項目36]
第1の特徴点集合が静止特徴点であると判定された場合は第1の特徴点集合が航行支援用に保存され、第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、項目25に記載の装置。
[項目37]
第1の特徴点集合を用いて、環境内の第1の特徴点集合から三次元マップを構築する、項目25に記載の装置。
[項目38]
1個以上のプロセッサが更に、UAVに帰還経路を巡航させる命令を受信すべく構成される、項目25に記載の装置。
[項目39]
命令がUAV外部のリモートコントローラから受信される、項目38に記載の装置。
[項目40]
1個以上のプロセッサが更に、UAVの動作モードを帰還経路に変更することにより、第1の特徴点集合と第2の特徴点集合との比較を開始すべく構成される、項目38に記載の装置。
[項目41]
第1の特徴点集合又は第2の特徴点集合が、UAVの動作パラメータに応じて可変間隔で収集される、項目25に記載の装置。
[項目42]
動作パラメータがUAVの速度である、項目41に記載の装置。
[項目43]
第1の特徴点集合を第2の特徴点集合と比較するステップが、特徴点により指示される認識可能な地上目標を発見するステップを含む、項目25に記載の装置。
[項目44]
UAVの帰還経路が飛行経路と異なる場合、特徴点により指示される地上目標が認識可能である、項目43に記載の装置。
[項目45]
UAVが帰還経路の途上で飛行経路と異なる方位を向いた場合、特徴点により指示される地上目標が認識可能である、項目43に記載の装置。
[項目46]
帰還経路が、UAVと地上目標との間で計算された相対測位に基づいて決定される、項目43に記載の装置。
[項目47]
第1の特徴点集合と第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、項目25に記載の装置。
[項目48]
第1の特徴点集合と第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて帰還経路を決定する、項目25に記載の装置。
[項目49]
無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間に画像集合を収集するステップと、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出するステップと、
(1)UAVの移動、(2)画像集合内での画像同士の重なりの程度、(3)特徴点集合内での特徴点同士の重なりの程度、又は(4)特徴点が静止しているか否かの判定に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。
[項目50]
UAVの移動がUAVの速度を含む、項目49に記載の方法。
[項目51]
UAVの速度がUAVの直線速度又は角速度を含む、項目50に記載の方法。
[項目52]
速度がより低い速度よりも高速である場合に、特徴点のより大きな部分集合が航行支援用に保存すべく選択される、項目50に記載の方法。
[項目53]
画像集合内での画像同士の重なりの程度が閾値を下回る場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目49に記載の方法。
[項目54]
画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、項目53に記載の方法。
[項目55]
閾値が静的な閾値である、項目53に記載の方法。
[項目56]
閾値が可変である、項目53に記載の方法。
[項目57]
閾値がユーザー入力に応答して可変である、項目56に記載の方法。
[項目58]
特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目49に記載の方法。
[項目59]
特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像の比較に基づいている、項目58に記載の方法。
[項目60]
閾値が静的な閾値である、項目58に記載の方法。
[項目61]
閾値が可変である、項目58に記載の方法。
[項目62]
閾値がユーザー入力に応答して可変である、項目61に記載の方法。
[項目63]
特徴点が静止特徴点であると判定された場合は特徴点の部分集合内の1個の特徴点が航行支援用に保存され、特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、項目49に記載の方法。
[項目64]
異なる時点で取得された特徴点の複数の画像との比較に基づいて、特徴点が静止しているか否かの判定が行われる、項目63に記載の方法。
[項目65]
複数の画像が同一撮像装置により撮像される、項目64に記載の方法。
[項目66]
帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、項目49に記載の方法。
[項目67]
帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、項目66に記載の方法。
[項目68]
航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成するステップを更に含む、項目67に記載の方法。
[項目69]
帰還経路が飛行経路を逆向きに辿る、項目66に記載の方法。
[項目70]
帰還経路が飛行経路とは異なる、項目66に記載の方法。
[項目71]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目66に記載の方法。
[項目72]
画像集合が、UAVに搭載された1個以上の撮像装置の支援により収集される、項目49に記載の方法。
[項目73]
画像集合が、UAVに搭載された複数の撮像装置の支援により収集され、複数の撮像装置が、UAVの周囲の環境の異なる視野を有する、項目49に記載の方法。
[項目74]
複数の撮像装置が互いに異なる方位に向けて配置される、項目73に記載の方法。
[項目75]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目73に記載の方法。
[項目76]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目73に記載の方法。
[項目77]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目73に記載の方法。
[項目78]
異なる視野の少なくとも一部が互いに重なり合う、項目73に記載の方法。
[項目79]
複数の撮像装置が、UAVの中央本体に搭載される、項目73に記載の方法。
[項目80]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目49に記載の方法。
[項目81]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目49に記載の方法。
[項目82]
無人航空機(UAV)の飛行を制御する装置であって、
飛行経路を巡航する間にUAVにより収集された画像集合を受信し、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、
(1)UAVの移動、(2)画像集合内での画像同士の重なりの程度、(3)特徴点集合内での特徴点同士の重なりの程度、又は(4)特徴点が静止しているか否かの判定に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。
[項目83]
UAVの移動がUAVの速度を含む、項目82に記載の装置。
[項目84]
UAVの速度がUAVの直線速度又は角速度を含む、項目83に記載の装置。
[項目85]
速度がより低い速度よりも高速である場合に、特徴点のより大きな部分集合が航行支援用に保存すべく選択される、項目83に記載の装置。
[項目86]
画像集合内での画像同士の重なりの程度が閾値を下回る場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目82に記載の装置。
[項目87]
画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、項目86に記載の装置。
[項目88]
閾値が静的な閾値である、項目86に記載の装置。
[項目89]
閾値が可変である、項目86に記載の装置。
[項目90]
閾値がユーザー入力に応答して可変である、項目89に記載の装置。
[項目91]
特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目82に記載の装置。
[項目92]
特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像との比較に基づいている、項目91に記載の装置。
[項目93]
閾値が静的な閾値である、項目91に記載の装置。
[項目94]
閾値が可変である、項目91に記載の装置。
[項目95]
閾値がユーザー入力に応答して可変である、項目94に記載の装置。
[項目96]
特徴点が静止特徴点であると判定された場合は特徴点の部分集合内の1個の特徴点が航行支援用に保存され、特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、項目82に記載の装置。
[項目97]
異なる時点で取得された特徴点の複数の画像との比較に基づいて、特徴点が静止しているか否かの判定が行われる、項目96に記載の装置。
[項目98]
複数の画像が同一撮像装置により撮像される、項目97に記載の装置。
[項目99]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、項目82に記載の装置。
[項目100]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、項目99に記載の装置。
[項目101]
1個以上のプロセッサが更に、航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく構成される、項目100に記載の装置。
[項目102]
帰還経路が飛行経路を逆向きに辿る、項目99に記載の装置。
[項目103]
帰還経路が飛行経路とは異なる、項目99に記載の装置。
[項目104]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目99に記載の装置。
[項目105]
画像集合が、UAVに搭載された1個以上の撮像装置の支援により収集される、項目82に記載の装置。
[項目106]
画像集合が、UAVに搭載された複数の撮像装置の支援により収集され、複数の撮像装置が、UAVの周囲の環境の異なる視野を有する、項目82に記載の装置。
[項目107]
複数の撮像装置が互いに異なる方位に向けて配置される、項目106に記載の装置。
[項目108]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目106に記載の装置。
[項目109]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目106に記載の装置。
[項目110]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目106に記載の装置。
[項目111]
異なる視野の少なくとも一部が互いに重なり合う、項目106に記載の装置。
[項目112]
複数の撮像装置が、UAVの中央本体に搭載される、項目106に記載の装置。
[項目113]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目82に記載の装置。
[項目114]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目82に記載の装置。
[項目115]
無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、UAVの周辺環境における異なる視野に対応する画像集合を収集するステップと、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出するステップと、
特徴点を含む画像を収集する撮像装置の個数に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。
[項目116]
特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目115に記載の方法。
[項目117]
撮像装置の個数の閾値が3以上である、項目115に記載の方法。
[項目118]
撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、項目115に記載の方法。
[項目119]
撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、項目115に記載の方法。
[項目120]
時間範囲が15秒以下である、項目119に記載の方法。
[項目121]
帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、項目115に記載の方法。
[項目122]
帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、項目121に記載の方法。
[項目123]
航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成するステップを更に含む、項目122に記載の方法。
[項目124]
帰還経路が飛行経路を逆向きに辿る、項目121に記載の方法。
[項目125]
帰還経路が飛行経路とは異なる、項目121に記載の方法。
[項目126]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目121に記載の方法。
[項目127]
複数の撮像装置が互いに異なる方位に向けて配置される、項目115に記載の方法。
[項目128]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目115に記載の方法。
[項目129]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目115に記載の方法。
[項目130]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目115に記載の方法。
[項目131]
異なる視野の少なくとも一部が互いに重なり合う、項目115に記載の方法。
[項目132]
複数の撮像装置が、UAVの中央本体に搭載される、項目115に記載の方法。
[項目133]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目115に記載の方法。
[項目134]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目115に記載の方法。
[項目135]
無人航空機(UAV)の飛行を制御する装置であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて収集されたUAVの周辺環境における異なる視野に対応する画像集合を受信し、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、
特徴点を含む画像を収集する撮像装置の個数に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。
[項目136]
特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目135に記載の装置。
[項目137]
撮像装置の個数の閾値が3以上である、項目136に記載の装置。
[項目138]
撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、項目136に記載の装置。
[項目139]
撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、項目136に記載の装置。
[項目140]
時間範囲が15秒以下である、項目139に記載の装置。
[項目141]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、項目135に記載の装置。
[項目142]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、項目141に記載の装置。
[項目143]
1個以上のプロセッサが更に、航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく構成される、項目142に記載の装置。
[項目144]
帰還経路が飛行経路を逆向きに辿る、項目141に記載の装置。
[項目145]
帰還経路が飛行経路とは異なる、項目141に記載の装置。
[項目146]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目141に記載の装置。
[項目147]
複数の撮像装置が互いに異なる方位に向けて配置される、項目135に記載の装置。
[項目148]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目135に記載の装置。
[項目149]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目135に記載の装置。
[項目150]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目135に記載の装置。
[項目151]
異なる視野の少なくとも一部が互いに重なり合う、項目135に記載の装置。
[項目152]
複数の撮像装置が、UAVの中央本体に搭載される、項目135に記載の装置。
[項目153]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目135に記載の装置。
[項目154]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目135に記載の装置。

Claims (154)

  1. 無人航空機(UAV)の飛行を制御する方法であって、
    飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、前記UAVの周辺環境における前記異なる視野に対応する第1の画像集合を収集するステップと、
    前記飛行経路を巡航する間に収集された前記第1の画像集合から第1の特徴点集合を抽出するステップと、
    帰還経路を巡航する間に、前記複数の撮像装置を用いて異なる視野に対応する第2の画像集合を収集するステップと、
    飛行経路の途上で抽出された第1の特徴点集合を、前記第2の画像集合から抽出された第2の特徴点集合と比較することにより、前記帰還経路を巡航するステップとを含む方法。
  2. 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項1に記載の方法。
  3. 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項1に記載の方法。
  4. 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項1に記載の方法。
  5. 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項1に記載の方法。
  6. 前記異なる視野の少なくとも一部が互いに重なり合う、請求項1に記載の方法。
  7. 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項1に記載の方法。
  8. 前記帰還経路が前記飛行経路を逆向きに辿る、請求項1に記載の方法。
  9. 前記帰還経路が前記飛行経路とは異なる、請求項1に記載の方法。
  10. 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項1に記載の方法。
  11. 前記第1の画像集合を航行支援用に保存することなく、前記第1の特徴点集合を航行支援用に抽出して保存する、請求項1に記載の方法。
  12. 前記第1の特徴点集合が静止特徴点であると判定された場合は前記第1の特徴点集合が航行支援用に保存され、前記第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、請求項1に記載の方法。
  13. 前記第1の特徴点集合を用いて、前記環境内の前記第1の特徴点集合から三次元マップを構築する、請求項1に記載の方法。
  14. 前記UAVに前記帰還経路を巡航させる命令を受信するステップを更に含む、請求項1に記載の方法。
  15. 前記命令がUAVの外部のリモートコントローラから受信される、請求項14に記載の方法。
  16. 前記UAVの動作モードを前記帰還経路に変更することにより、前記第1の特徴点集合と前記第2の特徴点集合との比較を開始するステップを更に含む、請求項14に記載の方法。
  17. 前記第1の特徴点集合又は前記第2の特徴点集合が、前記UAVの動作パラメータに応じて可変間隔で収集される、請求項1に記載の方法。
  18. 前記動作パラメータが前記UAVの速度である、請求項17に記載の方法。
  19. 前記第1の特徴点集合を前記第2の特徴点集合と比較するステップが、前記特徴点により指示される認識可能な地上目標を発見するステップを含む、請求項1に記載の方法。
  20. 前記UAVの前記帰還経路が前記飛行経路と異なる場合、前記特徴点により指示される前記地上目標が認識可能である、請求項19に記載の方法。
  21. 前記UAVが前記帰還経路の途上で前記飛行経路と異なる方位を向いた場合、前記特徴点により指示される前記地上目標が認識可能である、請求項19に記載の方法。
  22. 前記帰還経路が、前記UAVと前記地上目標との間で計算された相対測位に基づいて決定される、請求項19に記載の方法。
  23. 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、請求項1に記載の方法。
  24. 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて前記帰還経路を決定する、請求項1に記載の方法。
  25. 無人航空機(UAV)の飛行を制御する装置であって、
    各々異なる視野を有する複数の撮像装置、すなわち(1)飛行経路を巡航する間に、前記UAVの周辺環境における前記異なる視野に対応する第1の画像集合を収集し、(2)帰還経路を巡航する間に、前記異なる視野に対応する第2の画像集合を収集すべく構成された複数の撮像装置と、
    (1)前記飛行経路を巡航する間に収集された前記第1の画像集合から第1の特徴点集合を抽出し、(2)前記飛行経路の途上で抽出された前記第1の特徴点集合を、前記第2の画像集合から抽出された第2の特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成すべく、個別又は集合的に構成された1個以上のプロセッサとを含む装置。
  26. 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項25に記載の装置。
  27. 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項25に記載の装置。
  28. 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項25に記載の装置。
  29. 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項25に記載の装置。
  30. 前記異なる視野の少なくとも一部が互いに重なり合う、請求項25に記載の装置。
  31. 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項25に記載の装置。
  32. 前記帰還経路が前記飛行経路を逆向きに辿る、請求項25に記載の装置。
  33. 前記帰還経路が前記飛行経路とは異なる、請求項25に記載の装置。
  34. 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項25に記載の装置。
  35. 前記第1の画像集合を航行支援用に保存することなく、前記第1の特徴点集合を航行支援用に抽出して保存する、請求項25に記載の装置。
  36. 前記第1の特徴点集合が静止特徴点であると判定された場合は前記第1の特徴点集合が航行支援用に保存され、前記第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、請求項25に記載の装置。
  37. 前記第1の特徴点集合を用いて、前記環境内の前記第1の特徴点集合から三次元マップを構築する、請求項25に記載の装置。
  38. 前記1個以上のプロセッサが更に、前記UAVに前記帰還経路を巡航させる命令を受信すべく構成される、請求項25に記載の装置。
  39. 前記命令が前記UAV外部のリモートコントローラから受信される、請求項38に記載の装置。
  40. 前記1個以上のプロセッサが更に、前記UAVの動作モードを前記帰還経路に変更することにより、前記第1の特徴点集合と前記第2の特徴点集合との比較を開始すべく構成される、請求項38に記載の装置。
  41. 前記第1の特徴点集合又は前記第2の特徴点集合が、前記UAVの動作パラメータに応じて可変間隔で収集される、請求項25に記載の装置。
  42. 前記動作パラメータが前記UAVの速度である、請求項41に記載の装置。
  43. 前記第1の特徴点集合を前記第2の特徴点集合と比較するステップが、前記特徴点により指示される認識可能な地上目標を発見するステップを含む、請求項25に記載の装置。
  44. 前記UAVの前記帰還経路が前記飛行経路と異なる場合、前記特徴点により指示される前記地上目標が認識可能である、請求項43に記載の装置。
  45. 前記UAVが前記帰還経路の途上で前記飛行経路と異なる方位を向いた場合、前記特徴点により指示される前記地上目標が認識可能である、請求項43に記載の装置。
  46. 前記帰還経路が、前記UAVと前記地上目標との間で計算された相対測位に基づいて決定される、請求項43に記載の装置。
  47. 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、請求項25に記載の装置。
  48. 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて前記帰還経路を決定する、請求項25に記載の装置。
  49. 無人航空機(UAV)の飛行を制御する方法であって、
    飛行経路を巡航する間に画像集合を収集するステップと、
    前記飛行経路を巡航する間に収集された前記画像集合から特徴点集合を抽出するステップと、
    (1)前記UAVの移動、(2)前記画像集合内での画像同士の重なりの程度、(3)前記特徴点集合内での特徴点同士の重なりの程度、又は(4)前記特徴点が静止しているか否かの判定に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。
  50. 前記UAVの移動が前記UAVの速度を含む、請求項49に記載の方法。
  51. 前記UAVの速度が前記UAVの直線速度又は角速度を含む、請求項50に記載の方法。
  52. 前記速度がより低い速度よりも高速である場合に、前記特徴点のより大きな部分集合が航行支援用に保存すべく選択される、請求項50に記載の方法。
  53. 前記画像集合内での画像同士の重なりの程度が閾値を下回る場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項49に記載の方法。
  54. 前記画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、請求項53に記載の方法。
  55. 前記閾値が静的な閾値である、請求項53に記載の方法。
  56. 前記閾値が可変である、請求項53に記載の方法。
  57. 前記閾値がユーザー入力に応答して可変である、請求項56に記載の方法。
  58. 前記特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項49に記載の方法。
  59. 前記特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像の比較に基づいている、請求項58に記載の方法。
  60. 前記閾値が静的な閾値である、請求項58に記載の方法。
  61. 前記閾値が可変である、請求項58に記載の方法。
  62. 前記閾値がユーザー入力に応答して可変である、請求項61に記載の方法。
  63. 前記特徴点が静止特徴点であると判定された場合は前記特徴点の部分集合内の1個の特徴点が航行支援用に保存され、前記特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、請求項49に記載の方法。
  64. 異なる時点で取得された特徴点の複数の画像との比較に基づいて、前記特徴点が静止しているか否かの判定が行われる、請求項63に記載の方法。
  65. 前記複数の画像が同一撮像装置により撮像される、請求項64に記載の方法。
  66. 前記帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、請求項49に記載の方法。
  67. 前記帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、請求項66に記載の方法。
  68. 航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成するステップを更に含む、請求項67に記載の方法。
  69. 前記帰還経路が前記飛行経路を逆向きに辿る、請求項66に記載の方法。
  70. 前記帰還経路が前記飛行経路とは異なる、請求項66に記載の方法。
  71. 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項66に記載の方法。
  72. 前記画像集合が、前記UAVに搭載された1個以上の撮像装置の支援により収集される、請求項49に記載の方法。
  73. 前記画像集合が、前記UAVに搭載された複数の撮像装置の支援により収集され、前記複数の撮像装置が、前記UAVの周囲の環境の異なる視野を有する、請求項49に記載の方法。
  74. 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項73に記載の方法。
  75. 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項73に記載の方法。
  76. 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項73に記載の方法。
  77. 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項73に記載の方法。
  78. 前記異なる視野の少なくとも一部が互いに重なり合う、請求項73に記載の方法。
  79. 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項73に記載の方法。
  80. 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項49に記載の方法。
  81. 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項49に記載の方法。
  82. 無人航空機(UAV)の飛行を制御する装置であって、
    飛行経路を巡航する間に前記UAVにより収集された画像集合を受信し、
    前記飛行経路を巡航する間に収集された前記画像集合から特徴点集合を抽出し、
    (1)前記UAVの移動、(2)前記画像集合内での画像同士の重なりの程度、(3)前記特徴点集合内での特徴点同士の重なりの程度、又は(4)前記特徴点が静止しているか否かの判定に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。
  83. 前記UAVの移動が前記UAVの速度を含む、請求項82に記載の装置。
  84. 前記UAVの速度が前記UAVの直線速度又は角速度を含む、請求項83に記載の装置。
  85. 前記速度がより低い速度よりも高速である場合に、前記特徴点のより大きな部分集合が航行支援用に保存すべく選択される、請求項83に記載の装置。
  86. 前記画像集合内での画像同士の重なりの程度が閾値を下回る場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項82に記載の装置。
  87. 前記画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、請求項86に記載の装置。
  88. 前記閾値が静的な閾値である、請求項86に記載の装置。
  89. 前記閾値が可変である、請求項86に記載の装置。
  90. 前記閾値がユーザー入力に応答して可変である、請求項89に記載の装置。
  91. 前記特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項82に記載の装置。
  92. 前記特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像との比較に基づいている、請求項91に記載の装置。
  93. 前記閾値が静的な閾値である、請求項91に記載の装置。
  94. 前記閾値が可変である、請求項91に記載の装置。
  95. 前記閾値がユーザー入力に応答して可変である、請求項94に記載の装置。
  96. 前記特徴点が静止特徴点であると判定された場合は前記特徴点の部分集合内の1個の特徴点が航行支援用に保存され、前記特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、請求項82に記載の装置。
  97. 異なる時点で取得された特徴点の複数の画像との比較に基づいて、前記特徴点が静止しているか否かの判定が行われる、請求項96に記載の装置。
  98. 前記複数の画像が同一撮像装置により撮像される、請求項97に記載の装置。
  99. 前記1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、請求項82に記載の装置。
  100. 前記1個以上のプロセッサが更に、帰還経路を巡航する間に前記追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、請求項99に記載の装置。
  101. 前記1個以上のプロセッサが更に、航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成すべく構成される、請求項100に記載の装置。
  102. 前記帰還経路が前記飛行経路を逆向きに辿る、請求項99に記載の装置。
  103. 前記帰還経路が前記飛行経路とは異なる、請求項99に記載の装置。
  104. 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項99に記載の装置。
  105. 前記画像集合が、前記UAVに搭載された1個以上の撮像装置の支援により収集される、請求項82に記載の装置。
  106. 前記画像集合が、前記UAVに搭載された複数の撮像装置の支援により収集され、前記複数の撮像装置が、前記UAVの周囲の環境の異なる視野を有する、請求項82に記載の装置。
  107. 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項106に記載の装置。
  108. 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項106に記載の装置。
  109. 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項106に記載の装置。
  110. 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項106に記載の装置。
  111. 前記異なる視野の少なくとも一部が互いに重なり合う、請求項106に記載の装置。
  112. 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項106に記載の装置。
  113. 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項82に記載の装置。
  114. 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項82に記載の装置。
  115. 無人航空機(UAV)の飛行を制御する方法であって、
    飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、前記UAVの周辺環境における前記異なる視野に対応する画像集合を収集するステップと、
    前記飛行経路を巡航する間に収集された前記画像集合から特徴点集合を抽出するステップと、
    前記特徴点を含む画像を収集する撮像装置の個数に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。
  116. 前記特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項115に記載の方法。
  117. 撮像装置の個数の閾値が3以上である、請求項115に記載の方法。
  118. 撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、請求項115に記載の方法。
  119. 撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、請求項115に記載の方法。
  120. 前記時間範囲が15秒以下である、請求項119に記載の方法。
  121. 帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、請求項115に記載の方法。
  122. 帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、請求項121に記載の方法。
  123. 航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成するステップを更に含む、請求項122に記載の方法。
  124. 前記帰還経路が前記飛行経路を逆向きに辿る、請求項121に記載の方法。
  125. 前記帰還経路が前記飛行経路とは異なる、請求項121に記載の方法。
  126. 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項121に記載の方法。
  127. 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項115に記載の方法。
  128. 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項115に記載の方法。
  129. 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項115に記載の方法。
  130. 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項115に記載の方法。
  131. 前記異なる視野の少なくとも一部が互いに重なり合う、請求項115に記載の方法。
  132. 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項115に記載の方法。
  133. 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項115に記載の方法。
  134. 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項115に記載の方法。
  135. 無人航空機(UAV)の飛行を制御する装置であって、
    飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて収集されたUAVの周辺環境における異なる視野に対応する画像集合を受信し、
    前記飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、
    前記特徴点を含む画像を収集する撮像装置の個数に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。
  136. 前記特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項135に記載の装置。
  137. 撮像装置の個数の閾値が3以上である、請求項136に記載の装置。
  138. 撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、請求項136に記載の装置。
  139. 撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、請求項136に記載の装置。
  140. 前記時間範囲が15秒以下である、請求項139に記載の装置。
  141. 前記1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、請求項135に記載の装置。
  142. 前記1個以上のプロセッサが更に、帰還経路を巡航する間に前記追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、請求項141に記載の装置。
  143. 前記1個以上のプロセッサが更に、航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成すべく構成される、請求項142に記載の装置。
  144. 前記帰還経路が前記飛行経路を逆向きに辿る、請求項141に記載の装置。
  145. 前記帰還経路が前記飛行経路とは異なる、請求項141に記載の装置。
  146. 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項141に記載の装置。
  147. 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項135に記載の装置。
  148. 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項135に記載の装置。
  149. 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項135に記載の装置。
  150. 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項135に記載の装置。
  151. 前記異なる視野の少なくとも一部が互いに重なり合う、請求項135に記載の装置。
  152. 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項135に記載の装置。
  153. 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項135に記載の装置。
  154. 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項135に記載の装置。
JP2018524396A 2015-12-09 2015-12-09 無人航空機の飛行を制御する方法及びシステム Active JP6609833B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/096746 WO2017096548A1 (en) 2015-12-09 2015-12-09 Systems and methods for auto-return

Publications (2)

Publication Number Publication Date
JP2018537335A true JP2018537335A (ja) 2018-12-20
JP6609833B2 JP6609833B2 (ja) 2019-11-27

Family

ID=59012430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018524396A Active JP6609833B2 (ja) 2015-12-09 2015-12-09 無人航空機の飛行を制御する方法及びシステム

Country Status (5)

Country Link
US (3) US10670407B2 (ja)
EP (2) EP3387506B1 (ja)
JP (1) JP6609833B2 (ja)
CN (2) CN108292140B (ja)
WO (1) WO2017096548A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209167A1 (ja) * 2019-04-08 2020-10-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019167205A1 (ja) * 2018-02-28 2020-10-22 本田技研工業株式会社 管理装置、管理システム、移動体及びプログラム
KR102192635B1 (ko) * 2019-11-29 2020-12-18 박상원 방제용 드론 및 이를 이용한 방제 시스템
US10908622B2 (en) * 2017-09-13 2021-02-02 Wing Aviation Llc Backup navigation system for unmanned aerial vehicles
JPWO2021144874A1 (ja) * 2020-01-15 2021-07-22
KR102300799B1 (ko) * 2020-07-09 2021-09-10 주식회사 이노드 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼
KR102662332B1 (ko) 2022-01-14 2024-05-08 한국전력공사 문제수목 확인드론 및 방법

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146558B2 (en) * 2010-11-30 2015-09-29 Irobot Corporation Mobile robot and method of operating thereof
WO2017096548A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
US9721451B1 (en) 2015-12-11 2017-08-01 Massachusetts Mutual Life Insurance Company Location-based warning notification using wireless devices
US9949091B1 (en) * 2015-12-11 2018-04-17 Massachusetts Mutual Life Insurance Company Path storage and recovery using wireless devices
US10054445B2 (en) * 2016-05-16 2018-08-21 Northrop Grumman Systems Corporation Vision-aided aerial navigation
CN106454069B (zh) * 2016-08-31 2019-11-08 歌尔股份有限公司 一种控制无人机拍摄的方法、装置和可穿戴设备
EP4009128B1 (en) * 2016-11-14 2023-10-25 SZ DJI Technology Co., Ltd. Flight path determination
US11068837B2 (en) * 2016-11-21 2021-07-20 International Business Machines Corporation System and method of securely sending and receiving packages via drones
CN107291099A (zh) * 2017-07-06 2017-10-24 杨顺伟 无人机返航方法及装置
KR20190009103A (ko) 2017-07-18 2019-01-28 삼성전자주식회사 외부 객체와의 거리에 기반하여 이동 되는 전자 장치 및 그 제어 방법
DE102017216267B4 (de) * 2017-09-14 2020-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems
CN111164958A (zh) * 2017-09-29 2020-05-15 深圳市大疆创新科技有限公司 用于基于姿态信息处理和显示图像数据的系统及方法
KR102354229B1 (ko) * 2017-12-27 2022-01-21 해성옵틱스(주) 무인 비행체의 비행 제어장치 및 그 방법
JP6833296B2 (ja) * 2018-02-26 2021-02-24 東芝三菱電機産業システム株式会社 無人飛行体、無人飛行体の飛行経路作成方法およびプラント制御システム
US20190266898A1 (en) * 2018-02-28 2019-08-29 Walmart Apollo, Llc System and method for managing traffic flow of one or more unmanned aerial vehicles
JP2020003428A (ja) * 2018-06-29 2020-01-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
WO2020010620A1 (zh) * 2018-07-13 2020-01-16 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
CN108961155B (zh) * 2018-07-13 2023-06-27 惠州市德赛西威汽车电子股份有限公司 一种高保真的鱼眼镜头畸变校正方法
US11097796B2 (en) 2018-11-29 2021-08-24 Saudi Arabian Oil Company Articulated magnet-bearing legs for UAV landing on curved surfaces
US10902634B2 (en) * 2018-12-04 2021-01-26 Here Global B.V. Method and apparatus for providing feature triangulation
US11320821B2 (en) * 2018-12-11 2022-05-03 Airbus Helicopters Drone for industrial activities
EP3908850B1 (en) 2019-01-09 2023-06-28 Signify Holding B.V. Systems, methods, and devices for drone detection using an outdoor lighting network
CN109521780B (zh) * 2019-01-28 2023-07-07 徐工集团工程机械股份有限公司 遥控作业车辆的控制系统及控制方法
US11521160B2 (en) * 2019-06-13 2022-12-06 International Business Machines Corporation Intelligent vehicle delivery
WO2021056144A1 (zh) * 2019-09-23 2021-04-01 深圳市大疆创新科技有限公司 可移动平台的返航控制方法、装置及可移动平台
US11900820B2 (en) * 2019-11-20 2024-02-13 Wing Aviation Llc Map including data for routing aerial vehicles during GNSS failure
EP4006875A1 (en) * 2020-11-25 2022-06-01 THALES DIS AIS Deutschland GmbH Method, devic, chip and system for controlling a device
CN112987797B (zh) * 2021-05-12 2021-08-24 北京三快在线科技有限公司 无人机控制方法、装置、存储介质及无人机

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285450A1 (en) * 2006-08-21 2009-11-19 University Of Florida Research Foundation, Inc Image-based system and methods for vehicle guidance and navigation
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2014051213A (ja) * 2012-09-07 2014-03-20 Ihi Corp 移動体検出方法
JP2014139538A (ja) * 2013-01-21 2014-07-31 Mitsubishi Heavy Ind Ltd 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム
JP2015048025A (ja) * 2013-09-04 2015-03-16 佐古 曜一郎 防御装置及び防御システム
US20150260526A1 (en) * 2014-03-15 2015-09-17 Aurora Flight Sciences Corporation Autonomous vehicle navigation system and method
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
JP2015201183A (ja) * 2014-04-08 2015-11-12 ザ・ボーイング・カンパニーTheBoeing Company 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出
JP2015210677A (ja) * 2014-04-25 2015-11-24 国立大学法人 東京大学 情報処理装置および情報処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6875019B2 (en) * 2002-02-11 2005-04-05 United Defense, Lp Naval virtual target range system
US7912633B1 (en) * 2005-12-01 2011-03-22 Adept Mobilerobots Llc Mobile autonomous updating of GIS maps
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US7725257B2 (en) * 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
CN100567898C (zh) * 2007-01-16 2009-12-09 北京航空航天大学 无人直升机着陆引导方法及其装置
KR100877071B1 (ko) * 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
CN100547603C (zh) * 2007-08-08 2009-10-07 华中科技大学 一种地面建筑物识别定位方法
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
CN102201115B (zh) * 2011-04-07 2013-12-11 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
JP5882693B2 (ja) * 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
US9051043B1 (en) * 2012-12-28 2015-06-09 Google Inc. Providing emergency medical services using unmanned aerial vehicles
CN103822635B (zh) * 2014-03-05 2016-12-07 北京航空航天大学 基于视觉信息的无人机飞行中空间位置实时计算方法
CN103941746B (zh) * 2014-03-29 2016-06-01 国家电网公司 无人机巡检图像处理系统及方法
CN103916632B (zh) * 2014-04-03 2017-01-25 北京工业大学 一种飞机跑道实时全景视频远程监控系统
US9457901B2 (en) * 2014-04-22 2016-10-04 Fatdoor, Inc. Quadcopter with a printable payload extension system and method
CN103941748B (zh) * 2014-04-29 2016-05-25 百度在线网络技术(北京)有限公司 自主导航方法及系统和地图建模方法及系统
CN104102218B (zh) * 2014-06-30 2017-04-05 西北工业大学 基于视觉伺服的感知与规避方法及系统
CN104781781B (zh) * 2014-11-14 2018-06-05 深圳市大疆创新科技有限公司 一种移动物体的控制方法、装置及移动设备
CN105182995B (zh) * 2015-03-10 2016-09-07 海安索菲亚生态环境新材料科技有限公司 无人机自动着陆系统
CN104932515B (zh) * 2015-04-24 2019-10-11 深圳市大疆创新科技有限公司 一种自主巡航方法以及巡航设备
CN104807456B (zh) * 2015-04-29 2018-04-17 深圳市保千里电子有限公司 一种gps无信号时自动返航的方法
WO2017096548A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for auto-return

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285450A1 (en) * 2006-08-21 2009-11-19 University Of Florida Research Foundation, Inc Image-based system and methods for vehicle guidance and navigation
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2014051213A (ja) * 2012-09-07 2014-03-20 Ihi Corp 移動体検出方法
JP2014139538A (ja) * 2013-01-21 2014-07-31 Mitsubishi Heavy Ind Ltd 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム
JP2015048025A (ja) * 2013-09-04 2015-03-16 佐古 曜一郎 防御装置及び防御システム
US20150260526A1 (en) * 2014-03-15 2015-09-17 Aurora Flight Sciences Corporation Autonomous vehicle navigation system and method
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
JP2015201183A (ja) * 2014-04-08 2015-11-12 ザ・ボーイング・カンパニーTheBoeing Company 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出
JP2015210677A (ja) * 2014-04-25 2015-11-24 国立大学法人 東京大学 情報処理装置および情報処理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908622B2 (en) * 2017-09-13 2021-02-02 Wing Aviation Llc Backup navigation system for unmanned aerial vehicles
JPWO2019167205A1 (ja) * 2018-02-28 2020-10-22 本田技研工業株式会社 管理装置、管理システム、移動体及びプログラム
WO2020209167A1 (ja) * 2019-04-08 2020-10-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7435599B2 (ja) 2019-04-08 2024-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
KR102192635B1 (ko) * 2019-11-29 2020-12-18 박상원 방제용 드론 및 이를 이용한 방제 시스템
JPWO2021144874A1 (ja) * 2020-01-15 2021-07-22
WO2021144874A1 (ja) * 2020-01-15 2021-07-22 日本電信電話株式会社 撮影範囲推定装置、撮影範囲推定方法およびプログラム
JP7243867B2 (ja) 2020-01-15 2023-03-22 日本電信電話株式会社 撮影範囲推定装置、撮影範囲推定方法およびプログラム
KR102300799B1 (ko) * 2020-07-09 2021-09-10 주식회사 이노드 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼
KR102662332B1 (ko) 2022-01-14 2024-05-08 한국전력공사 문제수목 확인드론 및 방법

Also Published As

Publication number Publication date
JP6609833B2 (ja) 2019-11-27
CN108292140A (zh) 2018-07-17
US20180292214A1 (en) 2018-10-11
EP3387506B1 (en) 2021-01-13
US11879737B2 (en) 2024-01-23
EP3387506A1 (en) 2018-10-17
CN108292140B (zh) 2022-03-15
WO2017096548A1 (en) 2017-06-15
EP3387506A4 (en) 2019-01-30
US10670407B2 (en) 2020-06-02
US11300413B2 (en) 2022-04-12
US20220244054A1 (en) 2022-08-04
CN114510080A (zh) 2022-05-17
US20200292317A1 (en) 2020-09-17
EP3835912A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP6609833B2 (ja) 無人航空機の飛行を制御する方法及びシステム
US11604479B2 (en) Methods and system for vision-based landing
US20210065400A1 (en) Selective processing of sensor data
US10599149B2 (en) Salient feature based vehicle positioning
US11697411B2 (en) Apparatus and methods for obstacle detection
US20220206515A1 (en) Uav hardware architecture
CN107850902B (zh) 可移动物体上的相机配置
CN108351649B (zh) 用于控制可移动物体的方法和设备
CN109219785B (zh) 一种多传感器校准方法与系统
CN107850899B (zh) 使用惯性传感器和图像传感器的传感器融合
JP2017520811A (ja) 慣性および画像センサを用いたセンサ融合
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6609833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250