JP2019083061A - 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避 - Google Patents

光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避 Download PDF

Info

Publication number
JP2019083061A
JP2019083061A JP2019021023A JP2019021023A JP2019083061A JP 2019083061 A JP2019083061 A JP 2019083061A JP 2019021023 A JP2019021023 A JP 2019021023A JP 2019021023 A JP2019021023 A JP 2019021023A JP 2019083061 A JP2019083061 A JP 2019083061A
Authority
JP
Japan
Prior art keywords
uav
signal
aircraft
objects
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019021023A
Other languages
English (en)
Other versions
JP6807966B2 (ja
Inventor
ブーフミュラー ダニエル
Buchmueller Daniel
ブーフミュラー ダニエル
マイケル パクザン ネイサン
Michael Paczan Nathan
マイケル パクザン ネイサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/569,233 external-priority patent/US9997079B2/en
Priority claimed from US14/569,125 external-priority patent/US9761147B2/en
Priority claimed from US14/569,183 external-priority patent/US9685089B2/en
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2019083061A publication Critical patent/JP2019083061A/ja
Application granted granted Critical
Publication of JP6807966B2 publication Critical patent/JP6807966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0039Modification of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0078Surveillance aids for monitoring traffic from the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0008Transmission of traffic-related information to or from an aircraft with other aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】無人航空機(「UAV」)の検出及び回避機器、ならびに、UAVの飛行中の自動物体検出及び回避に関連するシステム、装置、及び技術を提供する。【解決手段】システムは、物体から放出または反射される音響、視覚、赤外線、マルチスペクトル、ハイパースペクトル、または物体検出可能信号によって、UAVの空域内の物体を検出し得る。システムは、受信した信号の特徴をデータベースの知られている送信元信号と比較することによって、物体検出可能信号の送信元を識別してもよい。特徴は、たとえば、物体から反射または放出された音響サインを含んでもよい。さらにまた、物体の経路エンベロープは、巡航速度、運動性などの物体の特性パラメータに基づいて判定されてもよい。UAVは、検出物体を避けるために、UAVの空域内の検出物体の経路エンベロープに基づいて、最適化された飛行計画を判定してもよい。【選択図】図1

Description

関連出願の相互参照
この特許は、2014年12月12日に出願され、「Commercial and General Aircraft Avoidance using Light Pattern Detection」と題される米国実用特許出願第14/569,125号明細書、2014年12月12日に出願され、「Commercial and General Aircraft Avoidance using Multi−spectral wave Detection」と題される米国実用特許出願第14/569,233号明細書、及び、2014年12月12日に出願され、「Commercial and General Aircraft Avoidance using Acoustic Pattern Recognition」と題される米国実用特許出願第14/569,183号明細書の優先権を主張し、その全体が、各出願別々に及び組み合わせて、参照により本明細書に組み込まれる。
無人航空機(UAV)は、愛好者、企業体(たとえば、航空写真)、及び軍事ユーザの間で比較的一般的になってきている。これらの航空機は一般に、航空交通が最も混んでいて、最も予測できない低高度で運用される。たとえば、商用航空機、試験飛行、自家用操縦士活動、愛好者、気球及び小型飛行船、空中広告、水上機、緊急応答機、ならびに他のUAVの離着陸は、UAVの空域内でより存在しやすいことがある。自律的に運用されている、またはオペレータの制御下にあるUAVは、UAVの空域内に存在する移動中及び静止中の他の物体との干渉を、能動的に避けなければならない。
航空機空中衝突回避システム(ACAS)及び航空機間隔維持システム(ASAS)は、地上の航空交通管制官から独立して運用することが意図される。いくつかのシステムは、衝突を避けて、航空機の間隔を維持するために、有人機に搭載して一般に使用される、たとえば、機上レーダ及び空中衝突回避システムである。しかし、これらのシステムは多くの場合、重く、高価であり、及び/または、反応測定を処理する航空機の近くにおける航空機の応答器の能動的反応測定に依存する。より軽いシステムは一般に受動的であり、近くの航空機からの応答器情報の送信に依存し、それによって、送信している航空機の近くでの航空機間の相互作用を受動的にのみ防止する。場合によっては、物体に応答器が装備されていないことがあり、したがって、これらの技術を使用しても受動的な検出では気づかれないであろう。さらに、最も混んでいて、最も予測できない空域、すなわち低高度においては、有人の航空機は通常、相互作用を防止し、航空機間の適切な間隔を維持するために、パイロット及び航空交通管制官に依存する。
詳細な説明は、添付図面を参照して説明される。図において、参照番号の最上位桁(複数可)は、参照番号が最初に現れる図を識別する。異なる図における同一の参照番号は、類似または同一の要素を示す。
UAV、移動中及び静止中の物体、無人航空機(UAV)センサ、ならびにUAV飛行計画を動的に更新するためのUAV飛行管理システムを部分的に備える、例示的なUAVの空域の概略図である。 周囲物体検出ゾーンと内側の能動的物体監視ゾーンを含む、1つまたは複数のUAV検出ゾーンの例示的なUAVの空域の概略図である。 プロセッサと、コンピュータ可読媒体と、1つまたは複数のセンサと、音響送信機と、無線通信部品とを備える、UAVの飛行管理システムの例示的なブロック図である。 識別された物体を特性パラメータと関連付け、拡大縮小可能な経路エンベロープを識別された物体と関連付ける、例示的な性能パラメータデータベースの概略図である。 物体の現在位置、経路、及び将来の経路変更の可能性を表す、確率導出マップを示すUAV空域の概略図である。 航空灯及び衝突防止灯を含む代表的な照明システムを有する航空機を含むUAVの空域を表す絵画平面図である。航空機を検出し、同時に、UAV間のネットワーク通信を維持する複数のUAVがさらに示される。 図6Aの航空機の絵画側面図である。図6Bは、図6Aのように同じ航空機を検出し、同時に、UAV間のネットワーク通信を維持する複数のUAVを表す。 UAVの空域の平面図を表し、かつ、個々のUAVの検出限界を拡大し、ネットワーク内の個々のUAVの信号強度を増大させることが可能なUAVピアツーピア(P2P)通信ネットワークを示す概略図である。 物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図である。 UAVの空域を表す画像を使用して、物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図である。 UAVの空域を表す音響信号を使用して、物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図である。 物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図であり、複数のUAVの通信ネットワーク上での情報の交換を示す。
概要
本開示は、無人航空機(「UAV」)と、UAVの運用中の物体検出ならびに/または物体間隔及び回避に関連するシステム、装置、及び技術とを対象とする。UAVは、たとえば発送センタから1つまたは複数の宛先まで、貨物を配達するために使用されてもよく、次いで、発送センタまたは他の場所に戻り、1つまたは複数の追加の宛先への別の輸送のために他の貨物を回収してもよい。UAVは、たとえば、赤外及び/もしくは可視を含む電磁エネルギーの1つまたは複数の波長を捕らえることが可能な1つまたは複数のカメラ、音響センサ(たとえば、マイクロフォンなど)、ならびに/または、UAVの運用中の物体の検出及び自律回避のためのマルチスペクトルセンサを含む、複数のセンサを含んでもよい。UAVはまた、1つまたは複数の、音響送信機などの送信機を含んでもよい。
UAVはセンサで捕らえたデータに問い合わせて、送信元、送信元経路、及び送信元動作特性(たとえば、速度及び/または加速度)を判定してもよい。UAVはまた、一定時間に捕らえた信号データを分析することによって、送信元と関連する物体の種類(たとえば、静止物体、固定翼機、回転翼機、小型飛行船/気球など)、及び、送信元の経路変更の可能性を識別してもよい。次いで、UAVは、物体識別及び経路変更の可能性から、UAVによって検出される1つまたは複数の物体のうちの個々の物体の経路エンベロープを判定してもよい。UAVはまた、自身の飛行計画を1つまたは複数の経路エンベロープと比較し、自身の飛行計画を更新して、1つまたは複数の物体との相互作用の可能性を最小化または排除してもよい。物体回避システムは、UAVの運用を通して、UAVの空域内でのUAV及び物体の安全な移動を継続的に保証するために使用されてもよい。
さまざまな実施形態において、物体検出及び回避システムは、1つまたは複数の監視ゾーンを含んでもよい。1つの実施態様において、UAVは、UAVの最も近い内側の能動的監視ゾーンを含む1つまたは複数の空域を能動的に監視してもよい。UAVはまた、能動的監視ゾーンを超えて、UAVのセンサの最大検出限界まで検出ゾーンを監視してもよい。UAVは、検出ゾーンを越えて、物体または物体位置を監視しなくてもよい。しかしながら、UAVは、1つまたは複数の近くのUAVと物体についての情報を交換し、UAVの検出限界及び/または検出ゾーンの周囲長を効果的に拡大させてもよい。
物体が最も外側の監視空域である検出ゾーンに存在するとき、UAVは相対位置及び/または経路などの物体の忠実度の低い動作特性を常に監視してもよい。物体が最も内側の空域である能動的監視ゾーンに移動するとき、UAVはより忠実度の高い物体の特性を常に監視してもよい。たとえば、UAVは、少なくとも物体の動作位置、物体の経路、及び/または検出物体の経路エンベロープを保持してもよい。
1つまたは複数の実施形態に従って、UAVには、プロセッサと、コンピュータ可読媒体と、1つまたは複数のセンサと、1つまたは複数の出力装置と、無線通信部品とを備える飛行管理システムが装備されてもよい。飛行管理システムは、UAVの空域からの信号を表すセンサデータを受信かつ分析してもよい。飛行管理システムは、分析されたデータをデータベース情報と比較して、信号の送信元を識別してもよい。飛行管理システムは、受信信号の変更に部分的に基づいて、識別された物体の動作特性を判定してもよい。その上、飛行管理システムは、物体性能パラメータデータベースによって物体と関連付けられる性能パラメータに少なくとも部分的に基づいて、1つまたは複数の検出物体の経路エンベロープを判定してもよい。飛行管理システムはまた、動的UAV飛行計画を保持し、UAVの空域内で作動する1つまたは複数の物体との干渉の可能性を減少または排除するために計画を更新してもよい。
いくつかの実施形態において、物体性能パラメータデータベースは、UAVの空域内の1つまたは複数の物体と関連付けられる性能パラメータを特徴づける情報を保持してもよい。たとえば、物体パラメータデータベースは、任意の所定の空域内の一般的なまたは遭遇する可能性のある物体(たとえば、航空機、静止物体など)の特性を含んでもよい。サンプル特性は、上昇率及び/もしくは降下率、物体の作動上限、航続距離、速度、運動性、ならびに/または拡大縮小可能な経路エンベロープを含んでもよいが、これらに限定されない。さらにまた、性能パラメータデータベースの物体の特性は、固定翼、回転翼機、小型飛行船及び/または気球、実験機などの航空機の1つまたは複数のクラスに編成されてもよい。
さらに、物体性能パラメータデータベースは、各物体の拡大縮小可能な経路エンベロープを含んでもよい。拡大縮小可能な経路エンベロープは、物体に関連付けられ、性能パラメータデータベースに記憶される性能パラメータに基づいて、物体の経路変更の確率を説明する三次元形状でもよい。その上、速度を含む、UAVに対する位置及び/または物体の決定された経路などの物体の現在の動作特性を、飛行管理システムが使用して、物体で関連付けられる拡大縮小可能な経路エンベロープを測定し、物体の経路変更の確率を表す経路エンベロープを判定してもよい。さらに、飛行管理システムは測定された経路エンベロープに基づいて自身の飛行計画を更新し、物体との干渉を最小化してもよい。
さらなる実施形態において、UAVの飛行管理システムは、UAVの空域で検出される1つまたは複数の物体の経路エンベロープを判定してもよい。経路エンベロープは、物体の動作特性及び/または物体の経路変更の確率に少なくとも部分的に基づいて判定されてもよい。さらにまた、飛行管理システムは、検出物体の現在の経路、物体の性能パラメータ、及び物体と関連付けられる1つまたは複数の性能パラメータに少なくとも部分的に基づいて、UAVと物体との間の相互作用の確率を判定してもよい。相互作用の確率は、物体からの距離の大きさによって、ならびに/または、物体の現在の動作特性及び/もしくは物体と関連付けられる性能パラメータに応じて時間が経つにつれて変化してもよい。
いくつかの実施形態において、UAVは、UAVの空域を表す複数の画像をキャプチャして、物体の指標のためにキャプチャした画像を分析してもよい。指標は、航空機の輪郭及び/あるいは航空機の1つまたは複数の航空灯または衝突防止灯でもよい。さらに、指標は、1つまたは複数の識別された航空機ライトのオン/オフ頻度または回転周波数を含んでもよい。UAVは、類似の点灯スキームあるいは類似の点滅頻度及び/または持続時間の指標のために収集された画像を分析し、物体データベースを参照して、物体を識別してもよい。さらにまた、物体性能パラメータは、UAVに関する複数の画像内の識別された物体の位置の変更から判定されてもよい。
さらなる実施形態において、UAVは、UAVの空域を表す音響信号を捕らえて、一定時間の捕捉音響信号を分析し、音響信号を発するもしくは反射する物体(複数可)及び/または物体の経路の変更(たとえば、方向及び/もしくは速度)を識別してもよい。捕捉音響信号は分光写真として表してもよく、フィンガープリントを表す分光写真の部分を識別してもよい。次いでフィンガープリントを、物体を識別するために使用してもよい。さらにまた、一定時間の音響信号の変化に基づいて、物体の動作パラメータ(たとえば、経路及び/または速度など)。さらに、経路エンベロープは、物体がUAVの現在の飛行計画と相互に作用する可能性を説明するために決定されてもよい。相互作用がほぼ確実、または可能性がある場合、UAVの飛行計画を更新してもよい。
さらにいくつかの実施形態において、UAVは、ピアツーピア(P2P)ネットワークを介して、1つまたは複数の近くのUAVと通信し、センサ捕捉情報を共有してもよい。近くのUAVは、共有空域の物体についての追加情報を有してもよい。ネットワークの1つまたはすべてのUAVは、共有データで捕捉データを補足し、物体検出及び分類の精度を改善してもよい。
さらに別の実施形態において、1つまたは複数のUAVは、通信ネットワークを保持し、ネットワーク内の任意の個々のUAVの検出限界を拡大する。センサは、UAVからの最大物体検出距離を作成する固有の器具検出限界を有してもよい。しかし、第1のUAVは、第1の複数の近くのUAVとの通信リンクを保持してもよい。さらにまた、第1の複数のUAVのうちの個々のUAVは、第1のUAVの検出限界の内側または外側のいずれにあってもよい。次に、第1の複数のUAVのうちの各メンバーは、第2の複数のUAV内からの1つまたは複数の追加のUAVとの通信リンクを保持してもよい。第1のUAVは、自身の検出限界内の検出物体に関連する情報を捕らえ、捕捉情報を第2のUAVを含む第1の複数のUAVのうちの1つまたは複数のUAVと共有してもよい。次いで、第1の複数のUAVのうちの1つまたは複数のUAVは、順番に、捕捉情報を第2の複数のUAVと共有してもよく、及び/または物体検出のために情報を利用してもよい。それによって、通信ネットワーク上で共有される捕捉情報を使用し、物体検出及び分類の精度を改善し、ネットワーク内の個々のUAVの判定限界を拡大し得る。
本明細書に記載される技術、機器、及びシステムは、多くの方法で実装されてもよい。例示的な実施態様は、以下の図を参照して下に記載される。
図1は、例示的なUAVの空域100の概略図である。これは、UAV114、移動中及び静止中の物体102、たとえば光学センサ124及び/または音響センサ126を含むUAVセンサ、動的にUAV飛行計画132を更新するUAV飛行管理システム120を部分的に含む。空域100は、たとえば、UAVの拠点位置128と1つまたは複数の宛先位置130との間の空域でもよい。また、UAVの空域100は、UAV負荷(すなわち、UAVが配達のためにペイロード110を積む場合)、タックオフ、及び/または配達と関連付けられる空域を含んでもよい)。1つまたは複数の物体102と1つまたは複数の近くのUAV116との相対位置は制限されておらず、そのため、それらはUAVの空域100内でUAV114に対して任意の位置でもよい。
UAVの空域100は、複数の物体102を含んでもよい。物体は、無数の物体の種類を含んでもよい。たとえば、図1に示されるように、物体102(1)は固定翼航空機でもよい。しかしながら、物体102はまた、近くのUAV116、回転翼機、及び/もしくは小型飛行船または気球など、任意の種類の航空機を含んでもよい。さらに、物体102は、たとえば、建物または工場、アンテナ102(2)、高圧送電線、管制塔、滑走路または滑走路照明、橋、野生生物(たとえば、鳥など)、樹木、または、山もしくは岩層などの他の自然形成物などの、静止した物体でもよい。
物体102は、たとえば、経路、速度、及び/または加速度などの1つまたは複数の動作特性104と関連付けられてもよい。その上、物体102は1つまたは複数の捕捉可能な指標を生成してもよい。物体の生成される指標は、物体によって作成、反射、及び/または放出されるエネルギー波を指してもよく、たとえば、音響または電磁エネルギー(すなわち、可視光108及び赤外振動数)及び/または音響信号106を含む。物体102はまた、物体102を構成する材料またはシステムによって決まる電磁スペクトルを通して固有の周波数を反射及び/または放出してもよい。たとえば、ハイパースペクトル画像またはマルチスペクトル画像を使用して、反射された電磁エネルギーの特定の周波数を捕らえることによって物体102の組成を判定してもよい。1つの実施形態において、塗料または類似のコーティングのポリマーは、物体102を識別し得る固有のスペクトルフィンガープリントを生成することがある。
さらにまた、UAVは、信号捕捉及び分析、物体検出、ならびにUAVの飛行計画の修正を指示する飛行管理システム120を収容してもよい。飛行管理システム120の実施形態を、図3を参照して以下でさらに詳細に説明する。たとえば、飛行管理システム120は、物体指標(たとえば、物体によって生じる音106から発生する信号、物体から放出される光108から発生する信号)にアクセスし、指標を分析に好適なフォーマットに処理してもよい。たとえば、音響信号106を、経時的な信号の周波数変化を表す分光写真にフォーマットしてもよい。次いで、飛行管理システム120は、物体の代表的な信号の特徴を識別し、それらの特徴を、知られている物体と関連付けられた特徴のデータベースと比較してもよい。飛行管理システムはそれによって、指標と関連付けられた物体を確実に識別し得る。次いで、飛行管理システムは、データベース121からの性能パラメータを識別された物体と関連付け、動作エンベロープ123または経路変更の確率を判定してもよい。
さらに、飛行管理システム120は、UAV114と1つまたは複数の識別された物体102との間の距離を判定してもよい。距離は、これらに限定されないが、距離測定焦点調整機構、レーザ距離計、パルスレーダ技術、または超音波測距技術などの距離測定技術によって判定されてもよい。飛行管理システム120は、最初に、UAVの空域で動作する物体を識別し、次いで、距離測定技術を使用して、物体の距離及び動作特性を判定してもよい。
さらに、UAVの飛行管理システム120は、UAVの動作特性112及び現在の飛行計画132を、識別された物体の動作エンベロープと比較し、現在の飛行計画132の修正の必要性を判定してもよい。飛行管理システム120は、識別された物体の動作エンベロープで相互作用の最小の可能性、ならびに、ペイロード110の配達のための最高効率(燃料消費量及び/または飛行時間)を判定することによって、飛行計画を更新してもよい。
UAV114は、ピアツーピアネットワーク(P2Pネットワーク)などの通信ネットワーク122、または、UAV114と1つまたは複数の近くのUAV116との間の類似の通信インタフェースを保持してもよい。UAV114は、近くのUAV116から収集される情報を利用して、物体識別の精度を改善し、ネットワークの1つまたは複数の近くのUAV116の検出限界を含むUAVのセンシング機器の検出限界を拡大してもよい。さらに、通信インタフェース122を介して共有されるデータを、経時的な物体102の位置を三角法で測定し、決定された動作物体の特性104及び/またはUAV空域100内に存在する1つまたは複数の近くのUAV116の動作特性118の精度を改善するために使用してもよい。
さらにまた、飛行管理システム120は、UAV114の動的飛行計画132を保持してもよい。動的飛行計画132は、UAVの拠点位置128と1つまたは複数の宛先位置130との間の飛行経路の完了部分及び/または計画部分を説明してもよい。飛行管理システム120は、燃料レベル、ペイロード110の重さ、宛先位置130のうちの1つまたは複数までの距離、拠点位置128から移動する距離、空域の混雑などを考慮してもよい。さらにまた、飛行管理システム120は、1つまたは複数の離れた充電スタンドの位置、空域の混雑及び/もしくはUAVの空域100の物体102に対する干渉の可能性による運転の停止、または飛行計画132の最適化の一部としての他の計画されてない宛先を含んでもよい。
図2は、周囲物体検出ゾーンと内側の能動的物体監視ゾーン200を含む、1つまたは複数のUAV検出ゾーンの例示的なUAVの空域の概略図である。いくつかの実施形態において、UAV検出ゾーンは、能動的物体監視ゾーン202と、物体検出ゾーン204とを含んでもよい。UAV212は周囲距離216及び218それぞれで、2つのゾーンを保持してもよい。しかしながら、より多いまたはより少ないゾーンが使用されてもよい。能動的監視ゾーン202は、UAVの動作特性214及びUAVの空域100内の1つまたは複数の物体の動作特性に対するUAV212の安全な運用を保証する距離に維持される。そのため、能動的監視ゾーン202の周囲距離216は、さまざまな要因に応じて変化してもよい。さらにまた、物体検出ゾーン距離218は、UAVのセンサ230の検出限界に維持されてもよい。能動的物体監視ゾーン202または物体検出ゾーン204で動作する物体を、物体の視覚及び/または音響サインを使用して検出及び監視してもよい。たとえば、音響の検出において、UAVは物体が生成または反射した音響指標(すなわち、物体の動作からの音波)を受信してもよい。さらに、または、あるいは、UAVは、1つまたは複数の物体と関連付けられた照明を含む、UAVの空域の視覚画像をキャプチャして、物体を識別及び監視してもよい。
UAVの空域100は、1つまたは複数の非監視物体226、1つまたは複数の検出物体220、及び/または、1つまたは複数の能動的監視物体206を含有してもよい。あるいは、UAVの空域100内の任意の1つのゾーンまたはすべてのゾーンは物体を含有しなくてもよい。さらにまた、非監視物体226は、UAVのセンサ230の検出限界の外側でもよい。UAV212は、物体がUAVの検出ゾーン204に入るとき、1つまたは複数の近くのUAVの230が通信インタフェースを介して非監視物体動作特性228を共有するように、1つまたは複数の近くのUAVの230から非監視物体動作特性228を得てもよい。
UAV212は、物体220の位置、速度、及び/または経路などの、物体検出ゾーン204内の物体の1つまたは複数の動作特性222を監視してもよい。場合によっては、UAV212は、センサの限界、相互作用の可能性、及び/または他の理由のために、検出ゾーンの外側の物体の動作特性228を監視しなくてもよい。その上、UAV212は経路エンベロープ224を物体220と関連付けてもよく、UAVの飛行管理システムは、将来の経路エンベロープ224との相互作用を避けるために、UAVの飛行計画を更新してもよい。
UAVの検出ゾーン204で動作する物体について、物体から受信される検出可能信号は、任意の時点における、物体220とUAV212との間の距離に比例してもよい。そのために、UAV212は、経路エンベロープ224を、信号強度履歴及び/または信号強度が閾値レベル以下になるときの最大スケーリング因子に対する信号強度に比例して測定される物体220と関連付けてもよい。さらに、経路エンベロープ224は、UAVオペレータがUAVの空域100内の他の物体との相互作用の可能性について想定することを望むリスクのレベルを反映してもよい。結果として得られる経路エンベロープは、判定した物体動作特性に対して最大である。いくつかの場合において、UAV212は、UAV212が十分にリスクのない飛行計画を判定できない混んだ空域に適合するために、運用を保留してもよい。
UAV212は、物体(たとえば、物体206)が能動的監視ゾーン202に入り、UAV212からの距離216の範囲内に位置づけられるとき、物体の能動的な監視に移行してもよい。物体206はまた、能動的監視ゾーン202内で最初に検出されてもよい。UAV212は物体の動作特性208を判定し、さらに、物体を観測するセンサ230が発生する信号の分析に基づいて物体の種類を識別してもよい。そのために、UAV212は、検出ゾーン204内の物体220と比較して、能動的監視ゾーン202内の物体206のより高い忠実度の詳細を保持してもよい。たとえば、UAV212は、物体206で関連付けられた発生信号に少なくとも部分的に基づいて物体の種類を判定することによって、物体206を識別してもよい。次いでUAV212は、最大上昇率及び降下率(すなわち、落下速度)、識別された物体の動作上限、音、最大速度、及び全体的な運動性または動作エンベロープなどの、識別された物体の種類と関連付けられた性能パラメータに少なくとも部分的に基づいて、物体と関連付けられた経路変更の確率を判定してもよい。識別される物体の種類は静止中または移動中のいずれでもよく、物体の動作特性、及び経路変更の決定される確率は、識別された物体の種類を反映してもよい。UAVの飛行管理システムは、物体の動作特性208のより高い忠実度の詳細を組み込み、物体の経路エンベロープ210を決定し、決定された経路エンベロープ210に少なくとも部分的に基づいてUAVの飛行計画を更新してもよい。
図3は、プロセッサと、コンピュータ可読媒体と、1つまたは複数のセンサと、音響送信機と、無線通信部品とを備えるUAVの飛行管理システム300の例示的なブロック図である。図3は、図1に関して論じられる。UAV114は、飛行管理システム300を収容してもよい。飛行管理システム300は、プロセッサ302と、コンピュータ可読記憶装置媒体304と、たとえば、光学センサ316、音響センサ318、及び/またはマルチスペクトルセンサ320を含む1つまたは複数のセンサを備えてよい。飛行管理システム300は、音響送信機322と、無線通信部品324とをさらに備えてもよい。さらに、飛行管理システムは、たとえば、特徴データベース312と、性能パラメータデータベース314とを含む1つまたは複数のデータベースを備えてもよい。
コンピュータ可読記憶媒体304は、飛行計画マネージャモジュール306と、物体経路モジュール308と、信号プロセッサモジュール310とを含んでもよい。さらに、または、あるいは、信号プロセッサモジュール310は、少なくとも一部において、分析のための遠隔サーバ上に実装されてもよい(たとえば、クラウドサーバまたは専用サーバにアップロードされて、分析される)。信号プロセッサモジュール310が、1つまたは複数のセンサで捕捉される信号を得て、処理してもよい。信号プロセッサモジュール310は、信号の特徴を、知られている特徴のデータベースと比較し、それによって、信号と関連付けられた物体を、知られている物体の種類(たとえば固定翼航空機または、より詳細には、航空機の特定のモデル)に関連付けてもよい。物体経路モジュール308は、処理した一定時間の信号を比較し、UAV114に関連する物体の経路を判定してもよい。さらにまた、物体経路モジュール308は、信号プロセッサモジュール310から識別された物体の種類を受信し、物体の種類を、複数の物体の種類と関連付けられる性能パラメータ314のデータベースと比較してもよい。物体経路モジュール308は、信号プロセッサモジュール308から物体の識別を受信し、物体性能パラメータ及び現在の動作特性で、物体のために経路エンベロープを判定してもよい。
飛行計画マネージャモジュール306はUAVの現在の飛行計画を保存し、物体経路モジュール308とやり取りして、必要に応じてUAVの飛行計画を更新してもよい。たとえば、飛行計画マネージャモジュール306は、UAVの現在の飛行計画132と物体の経路エンベロープとの間の相互作用の可能性を判定してもよい。飛行計画マネージャモジュール306は、最適化された飛行計画を決定し、物体の経路エンベロープ、ならびに、燃料レベル、ペイロード重量、1つまたは複数の宛先までの距離、拠点位置からの移動距離、空域の混雑などの要因との相互作用を避けてもよい。
光学センサ316は、信号プロセッサモジュール310による分析のために、画像センサまたは他の種類の光学センサで経時的にUAVの空域(たとえば、図1に示される空域100)の1つまたは複数の画像をキャプチャしてもよい。たとえば、光学センサ316は、1つまたは複数の物体(たとえば、図1に示される物体102)を含有するUAVの空域の複数の画像をキャプチャしてもよい。信号プロセッサモジュール310は、特徴データベース312との比較のために、画像の範囲内の物体の1つまたは複数の特徴を検出してもよい。物体は、物体の特徴と特徴データベース312の1つまたは複数の特徴との間に確実な一致が存在するとき、特定の物体の種類として識別される。たとえば、画像解析は、固定翼物体と関連付けられる構成(たとえば、距離/間隔及び/または位置)における複数の航空灯または衝突防止灯の存在を検出してもよい。信号プロセッサモジュール310は、上述のように、物体からのUAVの距離情報をできる限り使用して、光パターンの間隔及び/もしくは点滅回数または回転数などの複数の光の特徴を判定してもよい。物体は、画像及び特徴データベース312から識別される特徴の比較によって識別されてもよい。
より詳細には、画像解析を使用して、航空機に存在する一般的な点灯パターンを識別してよい。たとえば、管理された空域で運用されている商用航空機は通常、1つまたは複数の航空灯及び衝突防止灯を必要とする。通常は、航空灯は、左舷すなわち航空機の左側の少なくとも赤色及び白色の光と、右舷すなわち航空機の右側の緑色及び白色の光とからなる。さらに、航空機は、翼の端部及び航空機の胴体の白色光と、航空機の胴体の前方位置の衝突防止灯とを有してもよい。信号プロセッサモジュール310は、航空機の1つまたは複数の検出された点灯配置の相対位置などの識別された特徴を、特徴データベースモジュール312に記憶された類似の特徴と比較して、航空機の識別情報を判定してもよい。さらに、信号プロセッサモジュール314は、特徴データベースモジュール308を参照して識別された点灯配置の点滅回数を判定して、航空機102を識別してもよい。
さらにまた、1つまたは複数の物体を、1つまたは複数の物体の視覚的な特性を特徴データベースモジュール312に記憶された特性と比較することによって識別してもよい。たとえば、物体が固定翼航空機である場合、信号プロセッサモジュール310は、エッジ検出及び特徴抽出などの画像分析技術を使用して、物体が、36フィートの翼長の後退翼、従来の車輪下部構造、7.32の縦横比、27フィートの長さ、及び/または、プロペラを有することを判定してもよい。識別された特徴を特徴データベース312と比較することによって、信号プロセッサモジュール310は、物体が「セスナ172」、一種の小型自家用機、または、類似のクラスの別の航空機であると判定してもよい。
音響センサ318は、物体によって生成または反射される音に基づく音響信号を生成してもよい。音響センサ318は、音響センサのアレイアセンブリの形態でもよい。信号処理を通して、生成した音響信号と関連付けられる物体の指向性及び/または移動が、ビーム形成技術の使用などによって判定されてもよい。したがって、生成した信号の処理により、物体の位置、方向、及び/または移動の追跡、ならびに、音と関連付けられる物体の種類の分類を示す信号の固有のサインを判定することを可能にしてもよい。さらにまた、音響送信機322は、空域内で動作する1つまたは複数の物体によって反射されてもよい音波を送信してもよい。
信号プロセッサモジュール310は、信号強度、時間、及び周波数の分光写真として、信号を表してもよい。信号プロセッサモジュール310は、1006において、捕捉音響信号の固有のフィンガープリントを表す分光写真の部分を識別してもよい。たとえば、信号プロセッサモジュール310は、閾値と一致または超える分光写真の信号対雑音比に対する信号強度に基づく分光写真のフィンガープリント部分を識別してもよい。識別されたフィンガープリントを特徴データベース312と比較することによって、信号プロセッサモジュール310は、物体が小型自家用機(たとえば、セスナ172)、または類似のクラスの別の航空機であると判定してもよい。上述のように、信号プロセッサモジュール310は、ビーム形成処理を採用して、音の方向を探してもよく、及び/または、音源の移動を追跡してもよい。
さらに、または、あるいは、マルチスペクトルセンサ320は、物体の反射または放出された電磁エネルギーを捕らえて、物体の特性を識別してもよい。たとえば、航空機の特定の設計または種類に固有のポリマーベースコーティングは、電磁エネルギーの特定の波長を反射することがある。マルチスペクトルセンサ320は、コーティングによって反射される捕捉電磁エネルギーから、信号プロセッサモジュール310を介して、フィンガープリントを識別してもよく、フィンガープリントを特性の将来のデータベース312と比較することにより物体を識別し得る。
飛行管理システム300は、性能パラメータデータベースモジュール314を参照して、物体の性能パラメータをさらに識別してもよい。飛行管理システム300は、識別された物体の判定された物体の種類と、性能パラメータデータベースモジュール314とを相互に参照して、識別された物体の性能パラメータを判定してもよい。たとえば、性能パラメータは、上昇率及び/もしくは降下率、航空機の動作上限、航続距離、速度、運動性、ならびに/または識別された物体の飛行エンベロープを含んでもよい。たとえば、上記の識別された小型自家用機に関して、性能パラメータデータベース314は、物体が122ノットの巡航速度、163ノットの最大速度、13,500フィートの実用上昇限度、及び721フィート/分の上昇率を有することを判定してもよい。飛行管理システム300は、物体の性能パラメータ及び動作特性を使用して、経路エンベロープを判定し、UAVの飛行計画を更新してもよい。
物体経路モジュール308は、信号プロセッサモジュール310からの物体識別結果及び決定した物体性能パラメータとともに、UAVの空域の1つまたは複数の画像を受信して分析し、識別された物体102の現在の経路、ならびに経路変更の確率、または経路エンベロープを判定してもよい。たとえば、識別された小型自家用機は、円錐形の経路エンベロープを有し、小型自家用機の動作特性を反映するように測定されてもよい。経路エンベロープは、図4及び5を参照してさらに詳細に論じられる。
飛行管理システム300はまた、複数のUAVの間の通信ネットワークを維持することが可能な無線通信部品324(図1に示される通信ネットワーク122など)またはP2Pネットワークを備えてもよい。たとえば、UAV及びUAVの空域内で動作する1つまたは複数の近くのUAVは、データベース情報、物体識別データ、及び/またはUAVの空域からの捕捉信号を表すデータを転送してもよい。さらにまた、複数のUAVの検出限界内に位置づけられる物体は、UAVネットワークに対する物体の位置の三角法を用いる測量を可能にし得る。
図4は、識別された物体を特性パラメータと関連付け、拡大縮小可能な経路エンベロープを識別された物体と関連付ける、例示的な性能パラメータデータベース400の概略図である。データベース400は、上昇率、動作上限、航続可能距離、運動性、降下率、巡航速度などの、複数の性能パラメータ402と、関連する値403を備えてよい。データベース400に保持されるすべての物体は、性能パラメータ402のそれぞれと関連する値を有してもよい。物体は、固定翼404(1)、回転翼機404(2)、気球/小型飛行船404(3)、静止物体などの物体の種類404に基づいて、さらに分類されてもよい。いくつかの実施形態において、データベース400は、航空機の特定のモデルなどの、特定の航空機及び/または物体を含んでもよい。物体の各種類404は、特定性を増加させることでさらに物体を識別する1つまたは複数のサブカテゴリを有してもよい。たとえば、「固定翼」は「商用」及び自家用」にさらに小区分されてもよく、さらに「商用貨物」及び「商用旅客」に再び区分されてもよい。さらにまた、物体の各種類404は、1つまたは複数の可視表現406によって表されてもよい。1つまたは複数の可視表現は、識別された物体の構造的特徴の識別のために使用されてもよい。さらに、データベース400は、各物体の種類の拡大縮小可能な経路エンベロープを備えてもよい。拡大縮小可能な経路エンベロープは、たとえば運動性、速度、または作動上限などの1つまたは複数の性能パラメータ402、及び、識別された物体の関連する性能値403に基づいて、物体の経路変更の確率を反映してもよい。
経路エンベローププロファイルは、経路エンベロープを表す拡大縮小可能な体積として特徴づけられてもよい。拡大縮小可能な体積は、速度及び/または加速度、物体の経路で利用可能な履歴情報などの識別された物体の動作特性に基づいて測定されてもよい。たとえば、スケーリング因子は、UAVの空域内の物体と関連付けられる予測可能性因子を反映するように寸法決めされてもよい。さらにまた、検出物体の経路が閾値を超えて、及び/または、所定の時間にわたるUAVの空域内の実例の閾値を超えて変化する場合、物体の経路が同じ所定の時間にわたって一定である場合より、スケーリング因子は大きい。予測可能性因子は、履歴データに基づいて一定の経路を維持する可能性がある物体について、「1」の値に近づいてもよい。
拡大縮小可能な体積は、物体の種類の特性でもよい。たとえば、固定翼408航空機の性能パラメータは一般に、離陸、着陸、及び乱気流または他の航空機を避ける高度変更以外は、比較的一定の飛行経路になる。そのために、結果として得られる拡大縮小可能な体積410は、航空機の比較的穏やかな運動性及び航空機の比較的限られた速度及び加速度エンベロープを反映する円錐形状の拡大縮小可能な体積410になることがある。拡大縮小可能な経路エンベロープは、寸法特性412によって数学的に説明されてもよい。寸法特性は、物体の動作特性を表すために測定されてもよい。
同様に、固定翼航空機408に対してより高い運動性を有する回転翼機414は、涙滴形状の拡大縮小可能な体積416を有してもよい。涙滴形状の体積は、方向、速度、及び/または加速度を迅速に変化させる回転翼機の能力を表すことができる。回転翼機の拡大縮小可能な体積416は、回転翼機の動作特性を反映するように測定し得る類似の寸法特性417によって、数学的に表されてもよい。
第3の例である気球または小型飛行船418は、比較的小さい球状の拡大縮小可能な体積420を有してもよく、速度及び運動性などの物体の限られた性能パラメータを反映する。体積420は、たとえば、固定翼航空機408または回転翼機414に対する小型飛行船の予測不能性を反映して球状でもよい。球状形状は寸法特性422によって表されてもよく、小型飛行船の動作特性を反映するように測定されてもよい。
図5は、物体の現在位置、経路、及び将来の経路変化の可能性を表す、確率導出マップ500を示すUAV空域の概略図である。たとえば、UAVの飛行管理システム300は、固定翼航空機504として物体を識別し、次いで、円錐形状によって表され、物体の現在の動作特性508を表すように測定される三次元経路エンベロープを判定してもよい。経路エンベロープは、三次元等確率(すなわち、一定の確率)経路マップとして、さらに表されてもよい。経路マップの等確率ラインの密度は、経路エンベロープによって説明される体積内の任意点で物体を見つける変化する確率508を表す。たとえば、高密度等確率ラインの点は、その点での現在の経路に対する経路変更の可能性が高いことを示してもよい。
たとえば、将来いくつかの点で固定翼航空機の位置を見つけ出す確率は、1〜nの等確率ライン506によって説明し得る。物体の現在位置に近接して経路変更する確率506(1)は比較的小さくてもよい。逆相関により、物体が物体の現在位置に近い点に位置づけられる可能性は比較的高いと言うことができる。しかしながら、現在位置から離れた点506(n)では、経路変更の確率は、より近い位置506(1)に比べて比較的高く、したがって、将来さらに遠い点506(n)で固定翼航空機504を見つけ出す可能性はより小さい。
しかしながら、回転翼機物体512は固定翼航空機504より操縦しやすいことがあり、したがって、より予測できない。回転翼機の例において、回転翼機512のはるかに前方の等確率ラインは、回転翼機が経路を変えることがある可能性が高いことを表して、より圧縮してもよい。後部ならびに現在の経路から90度及び180度の等確率ラインは、迅速に針路を変える回転翼機の512の能力を反映して、あまり高密度でなくてもよく、同時に、回転翼機512がその現在の動作特性516を維持する(すなわち、回転翼機は短い期間ではなく長い期間で進む方向を変える可能性がある)確率を考慮に入れる。
UAVの飛行計画管理システム300は、UAVの現在の動作特性510及び飛行計画132を、UAVの空域100における1つまたは複数の物体の現在の動作特性、ならびに、各物体と関連付けられる確率マップと比較して、UAV502の最もリスクの小さい飛行計画を判定してもよい。このように、UAV502は、UAVの空域100に対して変更する程度に関するリスクを管理してもよい。たとえば、ペイロード収集位置などの、より制御された環境において、UAV502のリスクテイク能力は、環境内の所定の位置での追加の制御機構を反映するように増加してもよい。
場合によっては、飛行計画と関連付けられるリスクのレベルは、米国連邦航空庁などの管理団体に提出される飛行計画の考慮事項を含んでもよい。提出される飛行計画は、航空機識別、機器種類(すなわち、物体の種類)、巡航速度、飛行時間などを含んでもよい。UAVの飛行計画管理システム300は、航空機の提出された飛行計画のデータベースに問い合わせて、リスクアセスメント、つまり、UAVの飛行計画132とUAVの空域100の物体の提出された飛行計画との間の相互作用の可能性を考慮に入れてもよい。
UAVオペレータは、ペイロード配達中の調整された空域で、UAV502の任意のリスクテイク能力を大きく減少、または排除することを望み、安全を保証してもよい。これによりUAV502はその飛行計画を保留し、UAV502が十分にリスクのない飛行計画を決定できない混雑した空域に適応し得る。
図6は、航空灯及び衝突防止灯600を含む代表的な照明システムを有する航空機を含むUAVの空域を表す絵画平面図である。検出された航空機602のこれらの照明システムは、航空機の左側の赤色604及び白色606の光を含んでもよい。航空機の右側の緑色608及び白色610の光、ならびに、航空機の後方部、通常は航空機の尾部の白色光612。さらに、航空機は、航空機の中間部626の頂部に白色光を有してもよい。その上、航空機は、航空機の胴体の後部の白色光630、ならびに、翼及び推進系の前方かつ航空機の胴体上に通常は位置づけられる衝突防止灯628を有してもよい。照明システムの意図は一般に、霧/雲などの低視認状況の間、または夜に、すべての方向からの航空機の視認性を増強することである。
図3に関する上記のように、飛行管理システム300の光学センサ316は、航空機照明システム600の相対位置、点滅回数、及び/または回転回数を捕らえてもよい。たとえば、衝突防止灯618は、1分あたり40〜100サイクルの回転回数を有してもよい。位置及び/または回数を特徴データベース308と比較することによって、飛行管理システム300は物体の種類を識別し、物体動作特性及び物体の経路エンベロープをさらに判定してもよい。
複数のUAVが同じ空域で運用されているとき、それらはピアツーピアネットワーク624を確立して、それらの検出された環境についての情報を共有してもよい。たとえば、第1のUAV614は、検出された航空機602の右側の緑色光608及び白色光610、ならびに頂部の白色光626を視認し得る。第1のUAV614は、光学センサ618を使用して、複数の画像616をキャプチャしてもよい。
第2のUAV620は、後方の白色光612、左側の赤色光604及び白色光606、ならびに、後方の白色光630及び衝突防止灯628を直接、視認し得る。第2のUAV620は、その光学センサ622を使用して、複数の画像616をキャプチャしてもよい。さらにまた、各UAVは、キャプチャ画像及び処理したデータを、ネットワーク624内で動作する他のUAVと共有してもよい。データ共有は、図7に示される複数UAVの通信ネットワークを参照してさらに説明される。
図7は、UAVの空域の平面図を表し、かつ、個々のUAVの検出限界を拡大し、ネットワーク内の個々のUAVの信号強度を増大させることが可能なUAVピアツーピア(P2P)通信ネットワーク700を示す概略図である。2つ以上のUAVはP2Pネットワーク702を介して通信してもよく、たとえば、2つ以上のUAVはそれぞれの検出限界内の検出物体に関する情報を交換してよい。それによってUAVはその検出限界の範囲を拡大し、P2Pネットワーク702を介して、1つまたは複数の追加のUAVの検出限界を含み得る。さらに、UAVのネットワークは、ネットワーク702内の任意の個々のUAVの精度を改善し、物体が複数のUAVの検出限界内にあるネットワークのUAVに対する物体の位置を三角法で測定するためのデータを提供し得る。
たとえば、通信ネットワーク700は、空域の中で動作する、1〜nのUAV及び複数の物体を含んでもよい。ネットワークの第1のUAV706は、そのセンサの範囲と関連付けられる検出限界704を有してもよい。その上、UAV706は、その検出限界704内に1つまたは複数の物体を有してもよい。たとえば、これは複数の固定翼航空機を含んでもよく、1つは第1のUAV706のみの検出限界内で動作し、第2の固定翼航空機716は第1のUAV706及び第2のUAV708の検出限界内で動作している。第2のUAV708はそのセンサの検知能力と関連付けられる検出限界730を有する。
第1のUAV706は、2つの物体を検出かつ識別してもよく、さらに、上記のように各物体の動作特性を判定してもよい。その上、第1のUAV706は、図4及び5に関連して、上記のように各物体の経路エンベロープを判定してもよい。第2のUAV708も、第2の固定翼航空機716を検出し、その動作特性724ならびに物体の経路エンベロープを判定してもよい。P2Pネットワーク702は、第1及び第2のUAVによって判定される動作特性データを2つのUAV間で転送してもよい。追加のデータによって、各UAVは、その決定された動作特性及び経路エンベロープを更新してもよい。さらにまた、各UAVは、ネットワークに関連して知られている2つのUAVの位置を有する、他から収集されるデータを使用して、2つのUAVに対する航空機716の位置を三角法で測定してもよい。
第2の航空機716に加えて、第2のUAV708は、第3の固定翼航空機714及び航空機722の動作特性を検出かつ識別してもよい。第3の航空機714は第1のUAV706の検出限界704の外側にあるので、第2のUAV708は、動作特性722などの第3の航空機714に関する情報を、P2Pネットワーク702を介して第1のUAV706に渡してもよい。これにより、第1のUAV706はその検出限界704の外側で動作する物体をより大きく視認し得る。
同様に、第nのUAV710は、第1または第2のUAVの検出限界の外側のセンサと関連付けられる検出限界728を有してもよい。第nのUAV710は、P2Pネットワーク702内の1つまたは複数のUAVと、その検出限界728内で検出される物体718の動作特性726を共有し、P2Pネットワークで動作する各UAVの検出限界を超えて空域の視認性を改善し得る。
いくつかの実施形態において、第1のUAV706は、P2Pネットワーク702上での情報交換によって、その検出スキームの精度を改善してもよい。たとえば、物体716が第1のUAV706の外側の検出限界704に位置づけられ、物体716がUAVのセンサで収集されるより小さいエネルギー信号によってのみ検出可能であるとき、
第1のUAV706は、第2のより近いUAV708によって捕らえられるより高いエネルギー信号に頼ってもよい。UAVによって捕らえられた信号の信号対雑音(SN)比が一方に近づき、近くのUAVがより高いSN比で信号を捕らえ、同じP2Pネットワーク702内で動作しているときに、データ共有が起動されてもよい。
図8は、物体を検出して識別し、UAV飛行計画800を管理するための例示的なプロセスのフロー図である。動作が説明される順番は、限定として解釈されることを意図せず、任意の数の説明されるブロックが、任意の順番で組み合わせることができ、及び/または、同時にプロセスを実施し得る。プロセス800は、図1及び3に関して説明される。
802において、UAV114は、その1つまたは複数のセンサを介して、UAVの空域100を表す信号を捕らえる。UAV114は、UAVの空域100で動作する物体102から発生する1つまたは複数の物体検出可能信号106を捕らえてもよい。センサはたとえば、光学センサ316、音響センサ318、及び/またはマルチスペクトルセンサ320を含んでもよい。物体が航空機である場合、音響センサ318は、たとえば、航空機の推進系によって発生する1つまたは複数の音響信号を捕らえてもよい。さらに、航空機は、航空機の推進系によって発生し、赤外スペクトルにおける電磁エネルギーが可能な光学センサ316によって検出可能な熱から熱的サインを放出してもよい。さらにまた、光学センサ316は、UAVの空域100を表す可視画像を収集してもよい。
マルチスペクトルセンサ320は、物体から反射される電磁信号を受信して、多重スペクトル画像を作成してもよい。多重スペクトル画像を使用して、物体を構成し、特定のエネルギーサインを反映するコーティングの種類、材料の種類などの特定の構造的特徴を判定してもよい。物体と関連付けられる固有の構造的特徴を、物体を識別するために使用してもよい。
さらにまた、マルチスペクトルセンサは電磁エネルギーの広域スペクトルを受信してもよいが、そのスペクトル内の特定のバンドのみが804において信号プロセッサ310で分析されてもよい。たとえば、UAVの空域で動作し、特徴データベース308に含まれる可能性がある物体は、特徴データベース308に記憶される、知られているスペクトルサインを有してもよい。スペクトルサインは、物体と独自に関連付けられる電磁エネルギーの1つまたは複数の特定のバンドを含んでもよい。そのために、信号プロセッサモジュール310は、全スペクトル、あるいはスペクトル全体の一部分またはバンドのみ受信してもよい。バンドは、UAVの空域に存在する可能性がある物体の知られているスペクトルサインと関連付けられる。同様に、信号プロセッサモジュール310は、全スペクトル、または空域に存在する可能性がある物体と関連付けられるバンドのみを分析してもよい。
804において、信号プロセッサモジュール310はセンサから発生した信号を受信してもよく、その信号は動作806で分析されてもよいフォーマットの捕捉センサデータを表す。さらにまた、信号プロセッサモジュール310は受信信号を処理し、信号に存在する特徴を識別して利用する。さらに、信号プロセッサモジュール310は、UAVの空域で動作する別のUAVのセンサから発生し、ピアツーピアネットワークでUAVに伝送される信号を受信してもよい。たとえば、信号プロセッサモジュール310は、フル信号の信号対雑音比に対する信号強度に基づいて、閾値に一致または上回る信号の部分を識別してもよい。
806において、信号プロセッサモジュール310は、特徴に関して、発生した信号を分析してもよい。特徴は、赤外線エネルギーの固有のスペクトルフィンガープリント、または分光写真の1つまたは複数の固有の時間周波数特性によって表される音響パターンでもよい。信号プロセッサモジュール310はまた、分析のための遠隔サーバに無線通信部品を介して、発生した信号を表すデータを有してもよい(たとえば、クラウドサーバまたは専用サーバにアップロードされて、分析される)。
次いで信号プロセッサモジュール310は、動作808において、空域の1つまたは複数の物体の存在を判定してもよい。信号プロセッサモジュール310は、発生した信号の特徴を特徴データベース312と比較し、識別された特徴を、知られている物体の発生した信号のデータベースの特徴312に照合することによって、これを実現してもよい。発生した信号の特徴が特徴データベース312の1つまたは複数の特徴に類似しているとき、信号プロセッサモジュール310は、UAVの空域で物体を見つけ出す可能性に部分的に依存して、物体を識別してもよい。たとえば、ワシントン州シアトルで運用するUAVは、地域のフロート水上機の保有率により、固定された翼物体の特徴をフロート水上機に関連付けてもよい。しかしながら、アリゾナ州テンピで運用するUAVは、UAVが砂漠でフロート水上機に遭遇する可能性はほとんどないため、特徴をフロート水上機特性特徴データベース312に関連付けてもよく、または関連付けなくてもよい。
特徴データベースモジュール308は、受信した信号の重要な特徴をデータベースと比較し、それによって、物体を識別してもよい。受信した信号の強度及び質に応じて、特徴データベースモジュール308は、特定の物体の識別を戻してもよい。これは、たとえば、de Havilland Canada DHC−3 Otterと識別されるフロート水上機である。信号強度が小さいまたは信号対雑音条件が小さい場合、特徴データベースモジュール308は物体の種類のみを戻してもよい。たとえば、信号データベースモジュールは「固定翼」との識別または、より詳細には「フロート水上機」という物体の種類を戻してもよい。さらに、特徴データベースモジュール308は、識別情報を戻さなくてもよく、またはヌル識別を戻してもよい。
810において、UAV114は、信号プロセッサモジュール310からのセンサデータ及び発信元の識別に基づいて物体の動作特性104を判定する。たとえば、UAV114は、1つまたは複数の物体検出可能信号106を監視し、経時的な信号強度及び/または指向性の変化に基づいて物体の動作特性104を判定してもよい。
812において、UAV114は物体102の経路エンベロープを判定してもよい。物体経路モジュール308は、性能パラメータデータベース314からの識別された物体102と関連付けられる1つまたは複数の性能パラメータを調べてもよい。性能パラメータは、最大速度、動作上限、運動性などを含んでもよい。物体経路モジュール308は、物体の性能パラメータを考慮して、物体がUAVに対するその経路を変更するという可能性を判定する。次いでこの経路変更の可能性は、UAVによって識別される各物体の経路エンベロープの形状及びサイズを判定するために使用されてもよい。これは、図4及び5に関して詳細に説明される。
たとえば、動作806で識別された物体がDHC−3 Otterである場合、物体経路モジュール308は、その特定の航空機の関連する運動性に基づいて、経路変更の適度な可能性を判定してもよい。結果として得られる経路エンベロープは円錐形状でもよく、その寸法はDHC−3 Otterに見合った動作特性とし得る。
ステップ814において、UAVは、動作810からの経路エンベロープを利用して、UAVの飛行計画132を更新してもよい。たとえば、UAVの現在の飛行特性112が決定された経路エンベロープと交差する可能性がある場合、UAV114はその飛行計画132を更新して、物体102と干渉する可能性を最小化または排除してもよい。さらにまた、UAV114は、とりわけ、宛先130までの距離、ペイロード重量、残燃料、充電スタンドの近接度、及び/または、拠点位置128からの移動距離に対して最適化される、更新された飛行計画を決定する際に、自身の飛行計画132の特徴を考慮してもよい。いくつかの状況で、UAV114は、空域100の混雑のために、運用の保留を要求されることがある。UAV114はまた、たとえば、不十分な燃料、利用できない燃料補給所、及び/または、識別された物体102との高い干渉の可能性により拠点位置128に戻す飛行計画132が要求されると判定してもよい。
UAV114は、UAVの動作を通してプロセス800で説明される収集信号を常に監視してもよい。
図9は、UAVの空域を表す画像を使用して、物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図である。プロセス900は、たとえば、燃料レベル、UAVの空域100の混雑、またはリスクレベルに対するオペレータの選択などの要因に応じて、間欠的または連続的でもよい。動作が説明される順番は、限定として解釈されることを意図せず、任意の数の説明されるブロックが、任意の順番で組み合わせることができ、及び/または、同時にプロセスを実施し得る。図9は、図1及び3に関して論じられる。
902において、UAVの光学センサ124は、UAVの空域100を表す1つまたは複数の画像をある期間にわたって収集する。時間は、受信されるデータの質(すなわち、信号強度または信号対雑音比)または、物体102が画像内で検出されないかどうかに関連して決定されてもよい。そのために、質の低いデータが光学センサ124によって受信される場合、時間は長くなることがあり、データの質が比較的良好である場合、時間は短くなることがある。
904において、UAVの信号プロセッサモジュール310は、収集された画像を分析して、1つまたは複数の物体の存在を判定してもよい。たとえば、画像は、検出物体の航空灯または衝突防止灯を表す複数の光を含有してもよい。
906において、信号プロセッサモジュール310は、判定された特徴を、知られている物体発生元の特徴データベース312と比較してもよい。比較により、ステップ910において識別された物体と確定してよい。しかしながら、物体が識別されない場合、ヌル値が物体経路モジュール308に戻され、912においてデフォルト経路エンベロープになる。デフォルトの経路エンベロープは、所望の安全要因を保証し得る。
916において、信号プロセッサモジュール310は、所定の期間にわたって、キャプチャ画像内の物体の変化を比較し、物体102の動作特性104を判定する。たとえば、UAV114に関する画像の変化は、物体102の経路、UAV114に対する物体の速度、及び/または加速度を示すことがある。
物体102が特徴データベース312との特徴の比較によって識別される場合、識別された物体102は、ステップ918で、性能パラメータデータベース314からの物体性能パラメータと関連付けられてもよい。関連付けは、識別された物体を、たとえば、最大上昇率及び降下率、識別された物体の作動上限、音、最大速度、及び/または全体的な運動性などの1つまたは複数の性能パラメータと関連付ける参照用テーブルによって行われてもよい。性能パラメータデータベース314はまた、図4に関する上記のように1つまたは複数の拡大縮小可能な体積を含んでもよい。
920において、飛行計画マネージャモジュール306は、物体102の決定した経路エンベロープをUAVの動的飛行計画132と比較し、相互作用の可能性を判定してもよい。経路エンベロープは、912からのデフォルトエンベロープでもよい。UAV114はその動的飛行計画132を更新して、相互作用の可能性を最小化し、UAVの拠点位置128と1つまたは複数の宛先位置130との間の飛行計画132を最適化してもよい。
図10は、UAVの空域を表す音響信号を使用して、物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図である。1002において、音響センサ126は、物体の発生または反射した音響信号を受信してもよい。音響センサ126は、捕捉音響信号の指向性を検出することが可能なセンサのアレイアセンブリの形態でもよい。動作が説明される順番は、限定として解釈されることを意図せず、任意の数の説明されるブロックが、任意の順番で組み合わせることができ、及び/または、同時にプロセスを実施し得る。
1004において、信号プロセッサモジュール310は、信号強度、時間、及び周波数の分光写真として信号を表してもよい。信号プロセッサモジュール310は、1006で、捕捉音響信号の固有のフィンガープリントまたはサインを表す分光写真の部分を識別してもよい。たとえば、信号プロセッサモジュール310は、閾値に一致または閾値を超える分光写真の信号対雑音比に関する信号強度に基づいて、分光写真のフィンガープリント部分を識別してもよい。
さらにまた、重要と考えられる信号対雑音比の範囲は、信号の品質(すなわち、強度及び全体的な信号対雑音比)に応じて変化してもよい。さらに、重要な特徴が識別されない場合、信号プロセッサモジュール310は、重要であると考えられる信号対雑音比の範囲を広げてもよい。その上、物体がステップ1010で識別されない場合、信号プロセッサモジュールはまた、信号対雑音比の範囲を広げてもよい。
1008において、信号プロセッサモジュール310は、1010で、フィンガープリントを特徴データベースにマップして、物体102を識別してもよい。しかしながら、物体が識別されない場合、ヌル値が物体経路モジュール308に戻され、1012においてデフォルト経路エンベロープになる。デフォルトの経路エンベロープは、所望の安全要因を保証し得る。
1014において、信号プロセッサモジュール310は、識別された物体102の動作特性104を判定するために、所定の時間にわたって、分光写真の変化を識別してもよい。たとえば、捕捉音響信号の強度または指向性の変化は、UAV114に対する物体102の経路、速度、及び/または加速度を示してもよい。
1010での物体の識別はまた、物体経路モジュール308で使用され、1016で、性能パラメータを識別された物体102と関連付けてもよい。たとえば、物体経路モジュール308は、識別された物体102を性能パラメータデータベース314で調べて、性能パラメータを識別された物体102と関連付けてもよい。物体経路モジュール308は、物体の動作特性104及び関連する性能パラメータに少なくとも部分的に基づいて、1018で経路エンベロープを判定してもよい。
1020において、物体経路モジュール308は、UAVの飛行計画132と物体の経路エンベロープとの間の相互作用の可能性があるかどうか判定してもよい。経路エンベロープは、1012からのデフォルトエンベロープでもよい。相互作用の可能性がない場合、UAV114は1022で、その現在の飛行計画132を維持してもよい。しかしながら、相互作用の可能性があると判定された場合、UAV114は1024でその動的飛行計画132を更新して、相互作用の可能性を最小化し、UAVの拠点位置128と1つまたは複数の宛先位置130との間の飛行計画132を最適化してもよい。
図11は、物体を検出して識別し、UAV飛行計画を管理するための例示的なプロセスのフロー図であり、複数のUAVの通信ネットワーク1100上での情報の交換を示す。動作が説明される順番は、限定として解釈されることを意図せず、任意の数の説明されるブロックが、任意の順番で組み合わせることができ、及び/または、同時にプロセスを実施し得る。図11は図6を参照して説明される。
たとえば、動作1102〜1114及び1116〜1128はそれぞれ、図8に記載されたプロセスステップを反映している。動作1102〜1114は第1のUAV614に搭載の飛行管理システムによって処理され、ステップ1116〜1128は第2のUAV620に搭載の飛行管理システムによって処理される。動作1104、1106、1108、1110、及び/または1112において、第1のUAV614は、通信ネットワーク624を介して第2のUAV620に情報を提供してもよく、逆もまた同じである。
たとえば、第1のUAV614は、ステップ1106で、生信号データまたは分析された信号特性を第2のUAV620に提供してもよい。第2のUAV620は、自身の捕捉信号品質に基づいて、データを受信してもよく、または拒絶してもよい。たとえば、第2のUAV620が、自身の信号の信号強度または信号対雑音比があまりにも小さいと判定した場合、第2のUAV620は、ネットワークインタフェース624を介して第1のUAV614からデータを受けてもよい。
いくつかの実施形態において、第1のUAV614は、1120で、第2のUAV620からの分析された信号特性を受信してもよい。第2のUAV620は、このシナリオの動作1122〜1128を実行しなくてもよいが、処理のために第1のUAV614に情報を渡すだけでもよい。第1のUAV614は、第2のUAV620から受信されるデータを受けてもよく、または拒絶してもよい。第1のUAV614が情報を受ける場合、第1のUAV614は、第2のUAV620からの分析された信号特性を組み込み、1108で識別された1つまたは複数の物体の経路エンベロープを判定する。その上、第1のUAV614は、第2のUAV620に、1112からの1つまたは複数の物体の決定した経路エンベロープを共有してもよい。このように、第2のUAV620は検知用UAVとして働き、第1のUAV614に分析されたセンサデータを伝達してもよい。これにより労力の重複を避けることができる。しかしながら、第2のUAV620は経路データを独力で判定してもよい。
本明細書に開示される1つまたは複数の実施形態は、UAVに連結される1つまたは複数のセンサで、UAVを囲む空域を表すセンサデータをある期間にわたって捕捉すること、飛行物体と関連付けられる複数の放出を表す情報をセンサデータで検出すること、UAVと飛行物体との間の推定距離を判定すること、センサデータ及びUAVと飛行物体との間の推定距離に部分的に基づいて、複数の放出のうちの1つまたは複数の特徴を判定すること、特徴データベースを使用して、複数の放出のうちの1つまたは複数の特徴に少なくとも部分的に基づいて、飛行物体を識別すること、センサデータに少なくとも部分的に基づいて、飛行物体の推定対気速度を判定すること、識別された飛行物体及び飛行物体の推定対気速度と関連付けられる性能パラメータに少なくとも部分的に基づいて、飛行物体の経路エンベロープを判定すること、及び/または、飛行物体の経路エンベロープに少なくとも部分的に基づいて、UAVの飛行計画を更新すること、のうちの1つまたは複数を含む方法を含んでもよい。上記の方法では、複数の放出は、光学または画像放出、音波放出、ならびに/または、飛行物体によって放出及び/もしくは反射される電磁波のスペクトルからのマルチスペクトル信号のうちの1つまたは複数を含んでもよいが、これらに限定されない。上記の方法では、1つまたは複数であるセンサは、光学センサ、音響センサ、及び/または、マルチスペクトル電磁波センサのうちの1つまたは複数を含んでもよいが、これらに限定されない。
任意選択的に、1つまたは複数の特徴は、物体サインを定義してもよく、外部航空機照明システム、1つまたは複数の衝突防止灯のうちの少なくとも1つを含んでもよい。ここで、物体は、複数の検出された光のうちの少なくとも2つの間の推定距離、及び/または、1つまたは複数の検出された衝突防止灯の回転数のうちの少なくとも1つを判定することによって、少なくとも部分的に識別されてもよい。
任意選択的に、識別することが、1つまたは複数の特徴に少なくとも部分的に基づいて、飛行物体を飛行物体のクラスと関連付けることを含んでもよく、データベースの飛行物体のクラスを調べることによって、飛行物体を1つまたは複数の性能パラメータと関連付けることをさらに含んでもよく、飛行物体のクラスと関連付けられた性能パラメータに少なくとも部分的に基づいて、経路エンベロープを判定することを含んでもよい。
任意選択的に、特徴データベースは、物体の上昇率、降下率、及び/または運動性パラメータのうちの少なくとも1つを保存してもよい。ここで、経路エンベロープは、特徴データベースを介して飛行物体と関連付けられる上昇率、降下率、または、運動性パラメータのうちの少なくとも1つに少なくとも部分的に基づいてもよい。
任意選択的に、方法は、ビームフォーマを使用して音響及び/またはマルチスペクトル信号を処理し、飛行物体のおよその位置及び/またはおよその対気速度を判定する前にビーム形成信号を作成することをさらに含んでもよく、飛行物体の経路エンベロープを判定することは、ビーム形成信号を使用して実行されてもよい。
任意選択的に、音響信号の1つまたは複数の特徴は、経時的に分光写真の形態の信号フィンガープリントを形成し、1つまたは複数の特徴は、閾値に一致するまたは閾値を超える音響信号の信号対雑音比によって判定されてもよい。
任意選択的に、マルチスペクトル信号は、電磁波のスペクトル内から定義された禁止を備えてもよい。任意選択的に、定義されたバンドは、特定の物体がUAVの空域に存在する可能性に少なくとも部分的に基づいて判定されてもよく、特定の物体は知られているスペクトルサインを有する。
任意選択的に、特徴は、物体組成、1つまたは複数の物体表面コーティング、1つまたは複数の物体表面仕上げ、及び/または、色特性のうちの1つまたは複数を含んでもよい。
本明細書に開示される1つまたは複数の実施形態は、1つまたは複数のプロセッサ、コンピュータ可読命令を格納するメモリ、UAVに連結され、UAVを少なくとも部分的に囲む空域内の物体から受信される放出から信号を生成するように構成される1つまたは複数であるセンサ、及び/または、実行時、1つまたは複数のプロセッサに、物体と関連付けられる信号の受信、信号の分析に少なくとも部分的に基づく信号と関連付けられた物体の識別情報の判定、物体の識別情報少なくとも部分的に基づく物体の性能パラメータの判定、及び、性能パラメータに少なくとも部分的に基づく物体の経路エンベロープの判定のうちの1つまたは複数を実行させる、メモリ内に格納される飛行管理構成要素、のうちの1つまたは複数を含むUAVを含んでもよい。上記のUAVでは、放出は、光学または画像放出、音波放出、ならびに/または、飛行物体によって放出及び/もしくは反射される電磁波のスペクトルからのマルチスペクトル信号のうちの1つまたは複数を含んでもよいが、これらに限定されない。上記のUAVでは、1つまたは複数であるセンサは、光学センサ、音響センサ、及び/または、マルチスペクトル電磁波センサのうちの1つまたは複数を含んでもよいが、これらに限定されない。
任意選択的に、飛行管理部品は、物体のおよその位置及び対気速度を判定するようにさらに構成されてもよい。飛行管理部品は、ビームフォーマを使用して、信号を処理し、ビーム形成信号を生成するように構成されてもよく、ここで、物体の位置及び対気速度は、ビーム形成信号に少なくとも部分的に基づいて判定されてもよい。
任意選択的に、飛行管理部品は、UAVのまわりに定義される複数のゾーンのうちの1つのゾーン内に物体を位置づけるように構成されてもよい。
任意選択的に、UAVはまた、1つまたは複数の近くのUAVとピアツーピアネットワークを構築する通信部品を含んでもよく、通信部品は、信号、物体の識別情報、物体の1つまたは複数の動作特性、及び/または物体の経路エンベロープのうちの少なくとも1つを、1つまたは複数の近くのUAVと交換するように構成される。
任意選択的に、UAVはまた、UAVとUAVの空域内で動作する1つまたは複数の追加のUAVとの間の通信ネットワークを保持する通信部品を含んでもよく、ここで、UAVを少なくとも部分的に囲む空域で物体を検出することは、1つまたは複数の追加のUAVから受信される少なくとも追加の信号にさらに基づいてもよい。
任意選択的に、飛行管理部品は、三角法を用いる測量を使用して少なくとも1つの近くのUAVから交換される情報に少なくとも部分的に基づいて、物体のおよその位置及び対気速度を判定するように構成されてもよい。
任意選択的に、性能パラメータは、データベースに保存されてもよく、さまざまな物体のそれぞれと関連付けられた少なくとも上昇率、降下率、及び/または運動性パラメータを含んでもよい。
任意選択的に、物体の識別情報は航空機のモデルを含んでもよく、性能パラメータは航空機のモデルと関連付けられてもよい。
任意選択的に、飛行管理部品は、1つまたは複数のプロセッサに、UAVと、物体と関連付けられた経路エンベロープとの間の相互作用の可能性の判定、及び/または、UAVと経路エンベロープとの間の相互作用を避けるためのUAV飛行計画の更新のうちの1つまたは複数をさらに実行させてもよい。
任意選択的に、1つまたは複数の動作特性を判定することは、関連する光の第1の光と関連する光の第2の光との間の距離を判定すること、及び/または、関連する光の第1の光と第2の光との間の距離を、探索動作を介して、データベースに格納される物体の1つまたは複数の特徴と関連付けること、のうちの1つまたは複数をさらに含んでもよい。
本明細書に開示される1つまたは複数の実施形態は、実行時、UAVを囲む少なくとも一部の空域のイメージの受信と、イメージに示される照明送信元の1つまたは複数の特徴を検出するためのイメージの分析と、1つまたは複数の特徴をデータベースと比較することによる、照明送信元と関連付けられた物体の識別と、識別に少なくとも部分的に基づいた物体の経路エンベロープの判定と、のうちの1つまたは複数を含む行為を1つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を保存する1つまたは複数のプロセッサ及びメモリのうちの1つまたは複数を含む飛行管理システムを含んでもよい。
任意選択的に、飛行管理システムによって実行される行為は、UAVと物体の経路エンベロープとの間の相互作用の確率に少なくとも部分的に基づいて、UAVの飛行計画を更新することを含んでもよい。
任意選択的に、飛行管理システムによって実行される行為は、データベースを使用して、1つまたは複数の性能パラメータを物体と関連付けることを含んでもよく、ここで、経路エンベロープを判定することは性能パラメータに少なくとも部分的に基づく。性能パラメータは、少なくとも、さまざまな物体のそれぞれと関連付けられる上昇率、降下率、及び運動性パラメータを含んでもよい。
任意選択的に、イメージに示される照明光源の1つまたは複数の特徴は、イメージに示される照明光源の少なくとも1つの回転回数及び/または点滅回数を含んでもよい。
任意選択的に、経路エンベロープは、空域の体積によって表されてもよく、物体が所定の時間以内に空域の体積内の所定の位置に移動する確率を反映してもよい。所定の時間は、UAVの1つまたは複数の動作特性に部分的に基づいてもよい。
任意選択的に、照明光源と関連付けられる物体は、静止物体を含んでもよい。
本明細書に開示される1つまたは複数の実施形態は、実行時、物体から放出される電磁エネルギーから捕捉されるマルチスペクトル信号に基づいて物体を識別することと、物体から捕捉される音からの音声信号を生成することと、音声信号のうちの1つまたは複数の特徴に少なくとも部分的に基づいて物体を識別することと、物体を識別することに少なくとも部分的に基づいて物体の性能パラメータを判定することと、性能パラメータに少なくとも部分的に基づいて物体の経路エンベロープを判定すること、とのうちの1つまたは複数を含む行為を1つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を保存する1つまたは複数のプロセッサ及びメモリを含む物体検出及び回避システムを含んでもよい。物体検出及び回避システムは、マルチスペクトル信号、音声信号、またはマルチスペクトル及び音声信号の両方を使用する物体の識別を含んでもよい。物体検出及び回避システムはまた、画像または光学信号を使用する物体の識別を含んでもよい。
任意選択的に、プロセッサによって実行される行為は、UAVと物体の経路エンベロープとの間の相互作用の確率に少なくとも部分的に基づいてUAVの飛行計画を更新することを含んでもよい。
任意選択的に、物体を識別することは、マルチスペクトル及び/または音声信号の1つまたは複数の特徴を、個々の信号の特徴をそれぞれの物体または物体の群と関連付けるデータベースに格納される信号の特徴と照合することを含んでもよい。
任意選択的に、プロセッサによって実行される行為は、所定の期間にわたるマルチスペクトル及び/または音声信号の変化に少なくとも部分的に基づいて物体のおよその対気速度を判定することを含んでもよい。経路エンベロープは、物体のおよその対気速度及び性能パラメータに少なくとも部分的に基づいて測定されてもよい拡大縮小可能な体積を使用して形成されてもよい。
任意選択的に、実行される行為は、1つまたは複数の近くのUAVからの少なくともいくつかの音声信号を受信することと、1つまたは複数の近くのUAVからの少なくともいくつかのマルチスペクトル信号を受信することと、発生した音声信号のうちの少なくともいくつかを1つまたは複数の近くのUAVに伝送することと、捕捉マルチスペクトル信号のうちの少なくともいくつかを1つまたは複数の近くのUAVに伝送することと、のうちの1つまたは複数をさらに含んでもよい。
任意選択的に、物体検出及び回避システムは、UAVを少なくとも部分的に囲み、物体サインを定義する1つまたは複数の特徴を識別する空域の信号を捕捉するように構成される1つまたは複数の光学センサをさらに含んでもよく、そして、外部航空機照明システムまたは衝突防止灯のうちの少なくとも1つを含んでもよい。ここで、物体は、複数の検出された光のうちの少なくとも2つの間の距離の少なくとも1つを判定し、物体の物理的特性及び/または検出された衝突防止灯の回転数を判定することのうちの1つまたは複数によって少なくとも部分的に識別され、回転数は特定の航空機種類と関連付けられる。
任意選択的に、物体検出及び回避システムは、物体から捕捉される電磁エネルギーのスペクトル内の1つまたは複数のバンドを分析することをさらに含んでもよい。ここで、1つまたは複数のバンドは、特定の物体がUAVの空域に存在する可能性に少なくとも部分的に基づいて判定され、特定の物体は知られているスペクトルサインを有する。
結論
主題が構造的特徴及び/または方法論的行為に特有の用語で説明されたが、添付の特許請求の範囲で定義される主題が説明される特定の機能または行為に必ずしも限定されるわけではないことは理解されるべきである。むしろ、特定の機能及び行為は、特許請求の範囲を実装することの例示的な形態として開示される。

Claims (20)

  1. 無人航空機(UAV)の1つまたは複数の音響センサによって、飛行物体の推進によって生成された音波から、音響信号を生成することと、
    前記音響信号の1つまたは複数の特性を決定することと、
    前記1つまたは複数の特性と既知の音響信号のデータベースとの比較に少なくとも部分的に基づいて、前記飛行物体を識別することと、
    複数の飛行物体または飛行物体のクラスのうちの少なくとも1つに対する性能パラメータを含むデータベースを使用して、性能パラメータを前記飛行物体に関連付けることと、
    前記音響信号に少なくとも部分的に基づいて、前記飛行物体の概算位置および概算対気速度を決定することと、
    前記概算位置、前記概算対気速度、および前記関連付けられた性能パラメータに少なくとも部分的に基づいて、前記飛行物体の経路エンベロープを決定することと、
    前記飛行物体の前記経路エンベロープに少なくとも部分的に基づいて、前記UAVの飛行計画を更新することと
    を含み、
    前記更新された飛行計画は、前記飛行物体の前記経路エンベロープと相互作用しない、
    方法。
  2. 前記飛行物体の前記概算位置および前記概算対気速度を決定する前に、ビーム形成器を使用して前記音響信号を処理して、ビーム形成された音響信号を作成することをさらに含み、前記飛行物体の前記経路エンベロープを前記決定することは、前記ビーム形成された音響信号を使用して実行される、請求項1に記載の方法。
  3. 前記飛行物体を前記識別することは、前記飛行物体のクラスを決定することを含み、前記関連付けられた性能パラメータは、飛行物体の前記クラスに関するものである、請求項1に記載の方法。
  4. 前記経路エンベロープは、前記飛行物体に関連付けられた上昇率、降下率、または運動性パラメータのうちの1つに少なくとも部分的に基づく、請求項1に記載の方法。
  5. 前記音響信号の前記1つまたは複数の特性は、スペクトログラムの形態で信号フィンガープリントを経時的に生成し、前記1つまたは複数の特性は、前記音響信号の信号対雑音比が閾値に合致するか、または超過するかによって決定される、請求項1に記載の方法。
  6. 1つまたは複数のプロセッサと、
    コンピュータ可読命令を格納するためのメモリと、
    無人航空機(UAV)に連結された1つまたは複数の音響センサであって、前記UAVを少なくとも部分的に囲む空域内の物体から受信した音から音響信号を生成する音響センサと、
    前記メモリ内に格納される飛行管理部品であって、実行されたとき、前記1つまたは複数のプロセッサに、
    前記物体に関連付けられた前記音響信号を受信し、
    前記音響信号の分析に少なくとも部分的に基づいて、音響信号に関連付けられた前記物体の識別を決定し、
    前記物体の前記識別に少なくとも部分的に基づいて、前記物体の性能パラメータを決定し、
    前記性能パラメータに少なくとも部分的に基づいて、前記物体の経路エンベロープを決定する
    ようにさせる飛行管理部品と
    を備えたUAV。
  7. 前記飛行管理部品は、前記物体の概算位置および概算対気速度を決定するようにさらに構成されている、請求項6に記載のUAV。
  8. 前記飛行管理部品は、ビーム形成器を使用して前記音響信号を処理して、ビーム形成された音響信号を生成するようにさらに構成されており、前記物体の前記位置および前記対気速度は、前記ビーム形成された音響信号に少なくとも部分的に基づいて決定される、請求項7に記載のUAV。
  9. 前記飛行管理部品は、前記UAVの周囲で定義された複数のゾーンのうちの1つのゾーン内で前記物体を位置付けるようにさらに構成されている、請求項6に記載のUAV。
  10. 1つまたは複数の近くのUAVとピアツーピアネットワークを作成するための通信部品をさらに備え、前記通信部品は、前記音響信号、前記物体の前記識別、または前記物体の前記経路エンベロープのうちの少なくとも1つを前記1つまたは複数の近くのUAVと交換するように構成されている、請求項6に記載のUAV。
  11. 前記飛行管理部品は、三角測量を使用して前記1つまたは複数の近くのUAVのうちの少なくとも1つから交換された情報に少なくとも部分的に基づいて、前記物体の概算位置および概算対気速度を決定するようにさらに構成されている、請求項10に記載のUAV。
  12. 前記性能パラメータはデータベースに格納され、様々な物体のそれぞれに関連付けられた上昇率、降下率、および運動性パラメータを少なくとも含む、請求項6に記載のUAV。
  13. 前記物体の前記識別は航空機のモデルであり、前記性能パラメータは前記航空機の前記モデルに関連付けられている、請求項6に記載のUAV。
  14. 1つまたは複数のプロセッサと、
    実行されたとき、前記1つまたは複数のプロセッサに
    物体から捕捉された音から音声信号を生成することと、
    前記音声信号の1つまたは複数の特性に少なくとも部分的に基づいて、前記物体を識別することと、
    前記物体の前記識別に少なくとも部分的に基づいて、前記物体の性能パラメータを決定することと、
    前記性能パラメータに少なくとも部分的に基づいて、前記物体の経路エンベロープを決定することと、
    を含む動作を実行させるコンピュータ実行可能命令を格納するメモリと、
    を備えた、物体検出および回避システム。
  15. 前記動作は、UAVと前記物体の前記経路エンベロープとの間の相互作用の確率に少なくとも部分的に基づいて、前記UAVの飛行計画を更新することをさらに含む、請求項14に記載の物体検出および回避システム。
  16. 前記物体を識別することは、前記音声信号の前記1つまたは複数の特性を、個々の信号特性とそれぞれの物体または物体のグループと関連付けるデータベースに格納された信号特性とを照合することを含む、請求項14に記載の物体検出および回避システム。
  17. 定義された期間にわたる前記音声信号における変化に少なくとも部分的に基づいて、前記物体の対気速度を決定することをさらに含む、請求項14に記載の物体検出および回避システム。
  18. 前記経路エンベロープは、前記物体の前記対気速度および性能パラメータに少なくとも部分的に基づいてスケールされる拡大縮小可能な体積を使用して形成される、請求項17に記載の物体検出および回避システム。
  19. 前記動作は、
    1つまたは複数の近くのUAVから少なくともいくつかの音声信号を受信することと、
    前記生成された音声信号のうちの少なくともいくつかを1つまたは複数の近くのUAVに送信することと
    をさらに含む、請求項14に記載の物体検出および回避システム。
  20. 前記物体によって反射または放出され、前記物体に関連付けられた一意の材料を示す電磁エネルギーの特定波長を捕捉するためのマルチスペクトルセンサをさらに備え、前記物体によって反射または放出された電磁エネルギーの前記特定波長に少なくとも部分的に基づいて、前記物体を識別することをさらに含む、請求項14に記載の物体検出および回避システム。
JP2019021023A 2014-12-12 2019-02-07 無人航空機(uav)、uavの飛行計画を更新する方法、および物体検出および回避システム Active JP6807966B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US14/569,233 US9997079B2 (en) 2014-12-12 2014-12-12 Commercial and general aircraft avoidance using multi-spectral wave detection
US14/569,233 2014-12-12
US14/569,125 2014-12-12
US14/569,183 2014-12-12
US14/569,125 US9761147B2 (en) 2014-12-12 2014-12-12 Commercial and general aircraft avoidance using light pattern detection
US14/569,183 US9685089B2 (en) 2014-12-12 2014-12-12 Commercial and general aircraft avoidance using acoustic pattern recognition

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017531325A Division JP6480587B2 (ja) 2014-12-12 2015-12-11 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避

Publications (2)

Publication Number Publication Date
JP2019083061A true JP2019083061A (ja) 2019-05-30
JP6807966B2 JP6807966B2 (ja) 2021-01-06

Family

ID=55083484

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017531325A Active JP6480587B2 (ja) 2014-12-12 2015-12-11 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避
JP2019021023A Active JP6807966B2 (ja) 2014-12-12 2019-02-07 無人航空機(uav)、uavの飛行計画を更新する方法、および物体検出および回避システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017531325A Active JP6480587B2 (ja) 2014-12-12 2015-12-11 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避

Country Status (5)

Country Link
EP (3) EP3564927A1 (ja)
JP (2) JP6480587B2 (ja)
CN (1) CN107111958B (ja)
CA (1) CA2968864C (ja)
WO (1) WO2016094849A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020255304A1 (ja) * 2019-06-19 2020-12-24

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409051B (zh) * 2015-03-31 2021-02-26 深圳市大疆创新科技有限公司 用于生成飞行管制的认证系统和方法
EP3223103A1 (en) * 2016-03-23 2017-09-27 Sikorsky Aircraft Corporation Mission parameterization system
WO2018035596A1 (en) 2016-08-25 2018-03-01 Intelligent Sciences Ltd. Aircraft acoustic position and orientation detection method and apparatus
WO2019035014A1 (en) * 2017-08-15 2019-02-21 Ottenheimers, Inc. CAPTURE OF REMOTE OBJECTS
US20210074168A1 (en) * 2017-09-15 2021-03-11 Ntt Docomo, Inc. Flight control system and flight control apparatus
JP6791823B2 (ja) 2017-09-25 2020-11-25 Kddi株式会社 管理装置、飛行管理方法及びプログラム
JP6603950B1 (ja) * 2018-07-23 2019-11-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd マルチコプター
JP2022502663A (ja) * 2018-10-02 2022-01-11 フォルテム テクノロジーズ,インコーポレイテッド ドローンおよび物体の分類のためのシステムおよび方法
CN109302263A (zh) * 2018-10-29 2019-02-01 天津大学 一种基于音频识别的全空域无人机干扰机系统
CN117930875A (zh) * 2018-12-04 2024-04-26 深圳市大疆创新科技有限公司 控制可移动装置的移动的方法及系统
US11163320B1 (en) * 2019-02-28 2021-11-02 Rockwell Collins, Inc. Processing of multispectral sensors for autonomous flight
US11307581B2 (en) 2019-02-28 2022-04-19 Rockwell Collins, Inc. Multispectrally enhanced synthetic vision database system and method
DE102019114354A1 (de) * 2019-05-28 2020-12-03 Volocopter Gmbh Verfahren und System zur Vermeidung von Kollisionen zwischen Fluggeräten und anderen fliegenden Objekten
WO2021005876A1 (ja) * 2019-07-05 2021-01-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US20210020049A1 (en) * 2019-07-17 2021-01-21 Honeywell International Inc. Methods and systems for modifying flight path around zone of avoidance
EP3819088B1 (de) * 2019-11-07 2022-04-06 Siemens Aktiengesellschaft Verfahren zur bestimmung eines sicherheitsbereiches und zur bahnplanung für roboter
WO2022051767A1 (en) * 2020-09-03 2022-03-10 The Regents Of The University Of California Temporally and spectrally adaptive sonar for autonomous vehicle navigation
CN112249345B (zh) * 2020-10-15 2024-04-16 航宇救生装备有限公司 一种椅载电子式开伞器状态指示装置及方法
JP6858921B2 (ja) * 2020-12-25 2021-04-14 Kddi株式会社 管理装置、飛行管理方法及びプログラム
EP4080482A1 (en) * 2021-04-22 2022-10-26 Honeywell International Inc. System and method for obstacle detection and database management
CN114119677A (zh) * 2022-01-26 2022-03-01 华中科技大学 一种面向低慢小目标的机动光电探测识别系统
CN114998761B (zh) * 2022-06-15 2024-06-14 北京庚图科技有限公司 一种飞机目标检测方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161489A1 (en) * 2001-04-27 2002-10-31 Lockheed Martin Corporation Automatic flight envelope protection for uninhabited air vehicles
US7606115B1 (en) * 2007-10-16 2009-10-20 Scientific Applications & Research Associates, Inc. Acoustic airspace collision detection system
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
US20140316613A1 (en) * 2013-04-23 2014-10-23 The Boeing Company Aircraft Performance Monitoring System
JP2017526280A (ja) * 2015-03-31 2017-09-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機を制御するシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581250A (en) * 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
JP4001018B2 (ja) * 2003-01-15 2007-10-31 三菱電機株式会社 敵味方識別機能付き飛しょう体システム
US8463461B2 (en) * 2005-03-30 2013-06-11 The Boeing Company Trajectory prediction based on state transitions and lantencies
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
JP4890075B2 (ja) * 2006-04-05 2012-03-07 三菱電機株式会社 情報表示装置及び情報表示システム
US8060295B2 (en) * 2007-11-12 2011-11-15 The Boeing Company Automated separation manager
JP5101474B2 (ja) * 2008-12-03 2012-12-19 三菱重工業株式会社 無人機及び無人機用空中見張りシステム
CN201918032U (zh) * 2010-12-31 2011-08-03 同济大学 一种飞行器低空飞行防撞的装置
JP5086490B1 (ja) * 2012-05-16 2012-11-28 二郎 工藤 飛翔体の障害物接近警告システム
US20130321169A1 (en) * 2012-05-30 2013-12-05 Honeywell International Inc. Airport surface collision-avoidance system (ascas)
CN102749927A (zh) * 2012-07-20 2012-10-24 常州大学 无人飞机自动规避障碍物的系统及其规避方法
US9214021B2 (en) * 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
JP6379575B2 (ja) * 2014-03-27 2018-08-29 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161489A1 (en) * 2001-04-27 2002-10-31 Lockheed Martin Corporation Automatic flight envelope protection for uninhabited air vehicles
US7606115B1 (en) * 2007-10-16 2009-10-20 Scientific Applications & Research Associates, Inc. Acoustic airspace collision detection system
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
US20140316613A1 (en) * 2013-04-23 2014-10-23 The Boeing Company Aircraft Performance Monitoring System
JP2017526280A (ja) * 2015-03-31 2017-09-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機を制御するシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020255304A1 (ja) * 2019-06-19 2020-12-24
WO2020255304A1 (ja) * 2019-06-19 2020-12-24 日本電信電話株式会社 バリアデータ収集装置、バリアデータ収集方法、及びバリアデータ収集プログラム

Also Published As

Publication number Publication date
JP6807966B2 (ja) 2021-01-06
CN107111958A (zh) 2017-08-29
EP3230972B1 (en) 2020-02-05
CA2968864A1 (en) 2016-06-16
CN107111958B (zh) 2021-06-18
CA2968864C (en) 2019-08-27
EP3230972A1 (en) 2017-10-18
EP3567568A1 (en) 2019-11-13
EP3564927A1 (en) 2019-11-06
WO2016094849A1 (en) 2016-06-16
JP2017539033A (ja) 2017-12-28
JP6480587B2 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
JP6807966B2 (ja) 無人航空機(uav)、uavの飛行計画を更新する方法、および物体検出および回避システム
US10109204B1 (en) Systems and methods for unmanned aerial vehicle object avoidance
US9997079B2 (en) Commercial and general aircraft avoidance using multi-spectral wave detection
US9685089B2 (en) Commercial and general aircraft avoidance using acoustic pattern recognition
US12002373B2 (en) Adaptive sense and avoid system
US11370541B2 (en) Accident monitoring using remotely operated or autonomous aerial vehicles
CN111566580A (zh) 基于环境的可预测性的可调整的对象避开接近度门限
US20200380873A1 (en) Method and system for preventing collisions between aircraft and other flying objects
Meshcheryakov et al. An application of swarm of quadcopters for searching operations
US11854418B2 (en) Collision awareness using historical data for vehicles
US20220343773A1 (en) Updating airspace awareness for unmanned aerial vehicles
US20160299229A1 (en) Method and system for detecting objects
EP3989034A1 (en) Automatic safe-landing-site selection for unmanned aerial systems
CN110673627A (zh) 一种森林无人机搜寻方法
Satyarthi et al. Drone Technologies: Aviation Strategies, Challenges, and Applications
US20230282122A1 (en) Geofence management with an unmanned aerial vehicle
US20240087464A1 (en) Helicopter obstacle avoidance with slung load
Al-Zahrani Unauthorized Drones: Classifications and Detection Techniques
Arafat et al. The New Paradigm of Safe and Sustainable Transportation: Urban Air Mobility

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201208

R150 Certificate of patent or registration of utility model

Ref document number: 6807966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250