JP2019061659A - 自動検出及び回避システム - Google Patents

自動検出及び回避システム Download PDF

Info

Publication number
JP2019061659A
JP2019061659A JP2018147094A JP2018147094A JP2019061659A JP 2019061659 A JP2019061659 A JP 2019061659A JP 2018147094 A JP2018147094 A JP 2018147094A JP 2018147094 A JP2018147094 A JP 2018147094A JP 2019061659 A JP2019061659 A JP 2019061659A
Authority
JP
Japan
Prior art keywords
objects
image
detection
vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018147094A
Other languages
English (en)
Other versions
JP7236827B2 (ja
Inventor
アーロン ワイ． モッシャー，
Y Mosher Aaron
アーロン ワイ． モッシャー，
チャールズ ビー． スピネッリ，
B Spinelli Charles
チャールズ ビー． スピネッリ，
モーガン イー． クック，
E Cook Morgan
モーガン イー． クック，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019061659A publication Critical patent/JP2019061659A/ja
Application granted granted Critical
Publication of JP7236827B2 publication Critical patent/JP7236827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Vascular Medicine (AREA)

Abstract

【課題】ビークルのための検出及び回避システムを提供する。【解決手段】検出及び回避システム１００は、第１のカメラチャネル１１２において視野の第１の画像を取得するように構成された撮像ユニット１０２を備える。第１のカメラチャネル１１２は、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする。検出及び回避システム１００は、撮像ユニット１０２から第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニット１０４と、検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報を、ビークルのパイロット制御システムに伝達するように構成された通知ユニット１０８とを更に備える。それに応じて、パイロット制御は、検出されたオブジェクトを回避するようにビークルを操作する。【選択図】図１

Description

本発明は、概して衝突検出及び回避システムに関し、具体的には、閾値画像の使用による自動衝突検出及び回避のシステムと方法に関する。遠隔操縦又は自己操縦される航空機である無人航空機（ＵＡＶ）は、時として、伝統的な監視及び標的追跡以外にも様々な機能を実施するという任務を負ってきた。ＵＡＶは、小型且つ軽量であるが、カメラ、センサ、通信機器、又はその他ペイロードを運ぶことができる。しかしながら、共用空域内で安全に動作するためには、ＵＡＶは、あらゆる種類の空中衝突の危険、例えば、有人航空機、他のＵＡＶ、鳥、及び低高度の障害物から安全な距離でそれ自体を操縦することが必要である。
空中衝突回避システム（ＴＣＡＳ）及びＡＤＳ−Ｂ（Ａｕｔｏｍａｔｉｃ Ｄｅｐｅｎｄｅｎｔ Ｓｕｒｖｅｉｌｌａｎｃｅ−Ｂｒｏａｄｃａｓｔ）といった従来の自動検出及び回避システムは、比較的小型のビークル又はＵＡＶには現実的でないといえる。特に、これら従来の機器を搭載するＵＡＶは、ＵＡＶの極めて限られた機器運搬能力に大きな重量を加え、且つ電力消費を増大させうる。更に、ＴＣＡＳ及びトランスポンダのような機器のコストは高い。また、標準のＴＣＡＳ機器は、対応する機器を装備していない非協力飛行オブジェクト又は静止（動いていない）オブジェクトと対話することができない。このため、標準のＴＣＡＳ機器は、このような状況下において衝突しないようＵＡＶを導くことはできない。
したがって、空中衝突を自動的に検出及び回避するための、コンパクト且つ軽量で経済的な、ＵＡＶ用の機載式衝突検出及び回避システムが必要とされている。
以下に、本発明の特定の実施例の基本的理解を提供するために、本発明の簡単な概要を記載する。この概要は、本開示内容の広範な概説ではなく、本発明の鍵となる／必須のエレメントを特定したり、本発明の範囲を規定したりするものではない。この概要の唯一の目的は、これ以降のより詳細な説明の前置きとして、単純な形で本明細書に開示されるいくつかの概念を示すことである。
一般に、本発明の特定の実施例は、衝突検出及び回避のためのシステム、方法及びビークルを提供する。種々の実施例によれば、第１のカメラチャネルにおいて視野の第１の画像を取得するように構成された撮像ユニットを備えるビークル用の検出及び回避システムが提供される。第１のカメラチャネルは、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする。検出及び回避システムは、撮像ユニットから第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニットと、検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報を、ビークルのパイロット制御システムに伝達するように構成された通知ユニットとを更に備える。
いくつかの実施例では、検出及び回避システムの第１のカメラチャネルが放射線をフィルタリングする波長は紫外（ＵＶ）域内にあり、第１のカメラチャネルは、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする。
いくつかの実施例では、検出及び回避システムの第１の画像の処理は、地平線検出を含む。いくつかの実施例では、地平線検出は、地平線領域の端から延びる地上オブジェクトを含むように隣接ピクセルを加えることにより、地平線領域を拡張することを含む。
いくつかの実施例では、一又は複数のオブジェクトは、接続コンポーネントラベリング（ＣＣＬ）の使用により検出される。いくつかの実施例では、第１の画像の処理は、一の基準により、検出された一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択することを含む。
いくつかの実施例では、検出及び回避システムは、検出された一又は複数のオブジェクトに基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える。いくつかの実施例では、分析ユニットは、認識時に一又は複数のオブジェクトを分類する学習機構を含む。
いくつかの実施例では、撮像ユニットは更に、前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて、実質的に同じ視野の第２の画像を取得するように構成される。また、処理ユニットは更に、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別し、第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別するように構成される。検出及び回避システムは、一又は複数の第１及び第２の領域に基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える。いくつかの実施例では、第２の画像はカラー画像である。
いくつかの実施例では、分析ユニットは、認識時にオブジェクトを分類する学習機構を備える。いくつかの実施例では、分析ユニットは、分類することに加えて、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成する。いくつかの実施例では、検出及び回避システムは無人ビークルのためのものである。いくつかの実施例では、検出及び回避システムは無人航空機のためのものである。
本発明のまた別の実施例では、第１のカメラチャネルにおいて視野の第１の画像を取得することを含む、ビークルによる検出及び回避の方法が提供される。第１のカメラチャネルは、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする。この方法は、一又は複数のオブジェクトを検出するために第１の画像を処理すること、及び検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達することを更に含む。
いくつかの実施例では、第１のカメラチャネルが放射線をフィルタリングする波長は紫外域内にあり、第１のカメラチャネルは、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする。
いくつかの実施例では、第１の画像の処理は地平線検出を含む。いくつかの実施例では、地平線検出は、地平線領域の端から延びる地上オブジェクトを含むように隣接ピクセルを加えることにより、地平線領域を拡張することを含む。いくつかの実施例では、一又は複数のオブジェクトは、接続コンポーネントラベリング（ＣＣＬ）の使用により検出される。いくつかの実施例では、第１の画像の処理は、一の基準により、検出された一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択することを含む。
いくつかの実施例では、方法は、衝突危険情報を決定するために、検出された一又は複数のオブジェクトを分析ユニットに伝達することを更に含む。いくつかの実施例では、分析ユニットは、認識時に一又は複数のオブジェクトを分類する学習機構を含む。
いくつかの実施例では、方法は、前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて、実質的に同じ視野の第２の画像を取得することを更に含む。また、方法は、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別すること、及び第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別することを更に含む。方法は、衝突危険情報を決定するために、一又は複数の第１及び第２の領域を分析ユニットに伝達することを更に含む。いくつかの実施例では、第２の画像はカラー画像である。
いくつかの実施例では、分析ユニットは、認識時にオブジェクトを分類する学習機構を備える。いくつかの実施例では、分析ユニットは、分類することに加えて、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成する。
いくつかの実施例では、方法は、検出された一又は複数のオブジェクトを回避するための操作を実施することを更に含む。いくつかの実施例では、方法はビークルを操作する。いくつかの実施例では、ビークルは無人陸用ビークルであり、他のいくつかの実施例では、ビークルは無人航空機である。
本発明のまた別の実施例では、パイロット制御システム並びに検出及び回避（ＤＡＡ）システムを備えた航空ビークルが提供される。検出及び回避システムは、第１のカメラチャネルにおいて視野の第１の画像を取得するように構成された撮像ユニットを備える。第１のカメラチャネルは、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする。検出及び回避システムは、撮像ユニットから第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニットと、検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報を、パイロット制御システムに伝達するように構成された通知ユニットとを更に備える。
いくつかの実施例では、第１のカメラチャネルが放射線をフィルタリングする波長は紫外域内にあり、第１のカメラチャネルは、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする。
いくつかの実施例では、第１の画像の処理は水平線検出を含む。いくつかの実施例では、第１の画像の処理は、一の基準により、検出された一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択することを含む。
いくつかの実施例では、検出及び回避システムは、検出された一又は複数のオブジェクトに基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える。
いくつかの実施例では、航空ビークルの検出及び回避システムの撮像ユニットは更に、前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて、実質的に同じ視野の第２の画像を取得するように構成される。また、航空ビークルの検出及び回避システムの処理ユニットは更に、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別し、第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別するように構成される。航空ビークルの検出及び回避システムは、一又は複数の第１及び第２の領域に基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える。いくつかの実施例では、第２の画像はカラー画像である。
いくつかの実施例では、航空ビークルの検出及び回避システムの分析ユニットは、認識時にオブジェクトを分類する学習機構を含む。いくつかの実施例では、航空ビークルの検出及び回避システムの分析ユニットは、分類することに加えて、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成する。
いくつかの実施例では、航空ビークルのパイロット制御システムは、検出された一又は複数のオブジェクトを回避するようにビークルを操作する。いくつかの実施例では、航空ビークルは無人である。
本発明のまた別の実施例では、ビークルの検出及び回避のためにコンピュータシステムによって実行されるように構成された一又は複数のプログラムを含む、非一過性のコンピュータ可読媒体が提供される。一又は複数のプログラムは、第１のカメラチャネルにおいて視野の第１の画像を取得するための命令を含む。第１のカメラチャネルは、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする。命令は、一又は複数のオブジェクトを検出するために第１の画像を処理すること、及び検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達することを更に含む。
いくつかの実施例では、第１のカメラチャネルが放射線をフィルタリングする波長は紫外域内にあり、第１のカメラチャネルは、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする。
いくつかの実施例では、命令は、衝突危険情報を決定するために、検出された一又は複数のオブジェクトを分析ユニットに伝達することを含む。いくつかの実施例では、分析ユニットは、認識時に一又は複数のオブジェクトを分類する学習機構を含む。
いくつかの実施例では、命令は、前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて、実質的に同じ視野の第２の画像を取得することを更に含む。また、命令は、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別すること、及び第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別することを更に含む。命令は、衝突危険情報を決定するために、一又は複数の第１及び第２の領域を分析ユニットに伝達することを更に含む。いくつかの実施例では、第２の画像はカラー画像である。
いくつかの実施例では、分析ユニットは、認識時にオブジェクトを分類する学習機構を備える。いくつかの実施例では、分析ユニットは、分類することに加えて、認識時に一又は複数についてオブジェクトの領域のセグメンテーションを生成する。いくつかの実施例では、パイロット制御システムは、検出された一又は複数のオブジェクトを回避するようにビークルを操作する。
本発明は、本発明の特定の実施例を示す添付図面と併せて以下の説明を参照することにより、最もよく理解されるであろう。
本発明の一又は複数の実施例による、ビークル用の例示的検出及び回避システムの図式ブロック図である。 本発明の一又は複数の実施例による、例示的検出及び回避システムによる処理の種々の段階における一連の中間画像を示している。 本発明の一又は複数の実施例による、検出されたオブジェクトを分析する例示的検出及び回避システムの詳細な図式ブロック図である。 本発明の一又は複数の実施例による、ビークルのための衝突危険の検出及び回避の例示的方法のフロー図である。 本発明の一又は複数の実施例による、ビークルのための衝突危険の検出及び回避の例示的方法のフロー図である。 本発明の一又は複数の実施例による、別の航空機の近傍にある、例示的検出及び回避システムを装備した無人航空機（ＵＡＶ）の斜視図である。 本発明の一又は複数の実施例による、種々のプロセス及びシステムを実施することのできる例示的システムの図式ブロック図である。
これより、本発明を実行するために発明者により考慮されるベストモードを含む本発明のいくつかの特定の実施例について詳細に記載する。これら特定の実施例の例は、添付図面に示される。本発明はこれら特定の実施例に関して記載されるが、本発明を記載される実施例に限定することは意図されていない。反対に、代替例、修正例、及び等価物が、特許請求の範囲によって規定される本発明の概念及び範囲内に含まれうることが意図されている。
下記の説明では、本発明の完全な理解を提供するために、多数の具体的な詳細事項を明示する。本発明の特定の実施例は、これら具体的な詳細事項の一部又は全部を含まずに実施されうる。他の事例においては、本発明を不要に曖昧にしないよう、周知の処理工程については詳細に記載しない。
本発明の種々の技法及び機構は、明瞭性のために単数形で記載されることがある。しかしながら、別途明記されない限り、いくつかの実施例が、一技法の複数回の繰り返し又は一機構の複数の具体化を含むことに注意されたい。例えば、システムは、様々な状況で一のプロセッサを使用する。しかしながら、別途明記されない限り、本発明の範囲から逸脱せずに、システムが複数のプロセッサを使用できることが理解されよう。更に、本発明の技法及び機構は、二つのエンティティ間の接続を説明していることがある。二つのエンティティ間の接続が必ずしも直接的で妨害のない接続を意味せず、他の様々なエンティティが二つのエンティティ間に介在してよいことに注意されたい。例えば、プロセッサはメモリに接続されうるが、プロセッサとメモリの間には様々なブリッジ及びコントローラが存在してよいことが理解できよう。つまり、接続は、別途明記されない限り、必ずしも直接的で妨害のない接続を意味しない。
要旨
本発明は、無人航空機（ＵＡＶ）のようなビークルのための、衝突の危険を呈している閾値オブジェクトをマスクするために閾値（第１の）画像を用いて衝突の危険のあるオブジェクトを検出する検出及び回避システムを提供する。閾値オブジェクトを検出すると、検出及び回避システムは、ビークルのオートパイロット制御システムといったパイロット制御システムに、検出されたオブジェクトに基づいて決定された衝突危険情報に従って回避操作を実施するよう通知する。
いくつかの実施例では、検出及び回避システムは、それにより検出された閾値オブジェクトを認識する機械学習能力を利用する分析ユニットを更に備える。これにより、検出されたオブジェクトに関する分類情報が更に識別され、したがってビークルのパイロット制御システムに伝達される衝突危険情報の決定において利用される。いくつかの実施例では、検出及び回避システムは、第１の画像内のオブジェクトを検出するために訓練された機械学習システムを更に備える。
図１は、本発明の一又は複数の実施例による、ビークル用の例示的検出及び回避システムの図式ブロック図である。検出及び回避システム１００は、衝突危険情報をビークルのパイロット制御システム１５０（例えばオートパイロット制御システム）に伝達し、それに従って検出された衝突の危険を呈するオブジェクトとの衝突を回避するようにビークルが操作される。ここに示されるように、システム１００は第１のカメラチャネル１１２を備え、このチャネルでは、特定の波長の放射又は光のみが、撮像ユニット１０２による視野の第１の画像の捕獲のために通過できる。換言すれば、第１の画像は、特定の指定波長の光又は放射のみの使用により視野を記録し、特定の波長以外の波長の放射又は光はフィルタリングされて排除される。いくつかの実施例では、第１の画像は、所与のピクセルが「ＯＮ」又は「ＯＦＦ」であるバイナリ画像として生成される。例えば、ピクセルは、黒又は暗である場合に「ＯＮ」とラベリングされ、白又は明である場合に「ＯＦＦ」とラベリングされる。いくつかの実施例では、第１の画像はバイナリ画像へと閾値処理され、この場合、所定の閾値を上回る値のピクセルは「ＯＮ」とラベリングされ、所定の閾値を下回る場合は「ＯＦＦ」とラベリングされる。
視野内のいくつかのオブジェクトはこの波長で放射線を放出又は再放出しないため、第１のカメラチャネル１１２で捕獲された第１の画像は、これらオブジェクトを暗ピクセル又はＯＮピクセルとして表す。反対に、特定の指定波長の放射又は光によって照射されるエリア又は領域、並びに特定の指定波長の放射線を放出又は再放出するオブジェクトは、第１の画像において白ピクセル又はＯＦＦピクセルとして表わされる。例えば、太陽がＵＶ照射源である場合、日光に照らされた空はＵＶ写真では白背景として又はＯＦＦピクセルで捕獲さえる。同時に、先述の空にある飛行中の航空機は、太陽からのＵＶ域の放射線を遮り、且つＵＶ放射線を放出又は再放出しないため、反対に暗又はＯＮピクセルに捕獲される。可視光及び赤外光を吸収又は遮蔽する一方で、ＵＶ域の光を通過させる種々のＵＶフィルタを、第１のカメラチャネルにおけるＵＶ撮影のために使用することができる。このようなＵＶフィルタは、特殊な色ガラスから作製することができる及び／又は望ましくない波長を更に遮るために追加のフィルタガラスでコーティングされうる。
いくつかの実施例では、第１のカメラチャネル１１２において指定される特定の波長は、紫外（ＵＶ）域内である。いくつかの実施例では、第１のカメラチャネル１１２において、ＵＶ域内の放射線が、紫外（ＵＶ）域内にバンドパス波長域を有するＵＶフィルタ１１２Ａの使用により捕獲される。いくつかの実施例では、このような例示的ＵＶフィルタは、Ｂａａｄｅｒ Ｐｌａｎｅｔａｒｉｕｍ ＧｍｂＨ（Ｍａｍｍｅｎｄｏｒｆ，Ｇｅｒｍａｎｙ）から市販されているＢａａｄｅｒ−Ｕフィルタモデル＃２４５８２９１、又はＵＶＲ Ｄｅｆｅｎｓｅ Ｔｅｃｈ，Ｌｔｄ．（Ｗｉｌｔｏｎ，Ｎｅｗ Ｈａｍｐｓｈｉｒｅ，ＵＳＡ）から入手可能なＳｔｒａｉｇｈｔＥｄｇｅＵ紫外バンドパスフィルタ．モデル３７９ＢＰ５２である。
いくつかの実施例では、検出及び回避システム１００は第２のカメラチャネル１１４を更に含み、このチャネルにおいて、撮像ユニット１０２は、第１のカメラチャネル１１２において第１の画像が取得された視野と実質的に同じである視野の第２の画像を捕獲する。第１のカメラチャネル１１２が放射線をフィルタリングする波長の情報が与えられると、第２のカメラチャネル１１４は同じ波長の放射線をフィルタリングしないように構成される。したがって、放射線を放出又は再放出しないオブジェクト、或いはこの波長の放射線により照射されないエリアは、暗又はＯＮピクセルのみとしてではないが、それでも第２の画像に捕獲される。例えば、第２のカメラチャネルは、第２の画像がカラー画像として捕獲されるＲＧＢカメラチャネルとすることができる。上記飛行中の航空機の例については、航空機は第２の画像においてカラーで表わされうる。いくつかの実施例では、第２のカメラチャネルは、第１のカメラチャネルでのフィルタリングに指定された波長以外の波長の放射線をフィルタリングする。
第１の画像を取得すると、撮像ユニット１０２は第１の画像を処理ユニット１０４に伝達する。いくつかの実施例では、第１の画像は、ＵＶ域内の波長をフィルタリングするためにＵＶフィルタが第１のカメラチャネル１１２で利用されるＵＶ画像である。いくつかの実施例では、処理ユニット１０４は、取得された第１の画像を処理するために、地平線検出１２２、オブジェクト検出１２４、オブジェクト選択１２６、及び処理済みオブジェクト画像生成１２８のためのサブユニットを含む。先述のこれらサブユニットについては、図２及び４を参照して更に詳細に記載する。
いくつかの実施例では、一又は複数の検出されたオブジェクトが衝突の危険があるとオブジェクト選択サブユニット１２６が決定すると、処理ユニット１０４は通知ユニット１０８と通信し、通知ユニットは次いで、検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報を、ビークルのパイロット制御システム１５０に伝達する。いくつかの実施例では、このような選択ユニットは、衝突の危険のあるオブジェクトを選択する基準を、検出及び回避システムにより又はビークルのその他のシステムにより後で提供又は収集されるデータ及びフィードバックに基づいて訓練及び精緻化できるように、機械学習能によって更に可能となる。
他のいくつかの実施例では、処理ユニット１０４は、処理済みの第１の画像及び第２の画像を分析ユニット１０６に伝達する。種々の実施例によれば、分析ユニット１０６は、検出されたオブジェクトを分類又は識別する目的で、様々な認識システム及びツールを利用する。分析ユニット１０６によって生成される分類又は識別の結果と、それに基づいて決定される衝突危険情報は、通知ユニット１０８に伝達される。いくつかの実施例では、分類情報は、ＵＶ画像のみの使用により衝突の危険のあるオブジェクトの選択を行うための上記選択サブユニットを訓練するために供給される。いくつかの実施例では、このような認識又は識別システム及びツールは、機械学習能により可能となる。いくつかの実施例では、分析ユニット１０６は単一チャネル分類器１４２を含む。他のいくつかの実施例では、分析ユニット１０６は多重チャネル分類器１４４を含む。単一チャネル分類器１４２及び多重チャネル分類器１４４については、図３を参照して更に詳細に記載する。
処理ユニット１０４又は分析ユニット１０６から衝突危険情報を受け取ると、通知ユニット１０８は、衝突危険情報をパイロット制御システム１５０に伝達する。いくつかの実施例では、パイロット制御システム１５０は、ビークルのオートパイロット制御システムである。受け取られた衝突危険情報が与えられると、例えば、代替的飛行経路を計算すること、それ自体の速度又は高度を調節することなどにより、それに従って回避操作のオプションが生成されうる。いくつかの実施例では、回避操作は、高度及び速度データといったビークル自体の飛行状況を考慮して決定される。その結果として、パイロット制御システム１５０は、検出された衝突の危険を回避するようにビークルを操作する。
図２は、本発明の一又は複数の実施例による、ビークル用の例示的検出及び回避システムによる処理の様々な段階における一連の中間画像を示している。シーケンスは段階（Ａ）で開始され、第１のカメラチャネルにおいて捕獲された到来するＵＶ画像２００が検出及び回避システムの処理ユニットにより受け取られる。図示された到来するＵＶ画像２００は、その視野内に、雲オブジェクト２１２、飛行オブジェクト２２０、地平線の端２１４Ａを有する地平線２１４、並びに地平線の端に接続する複数の地上オブジェクト２１４Ｂ（例えば、家及び車など）といった例示的オブジェクトを含んでいる。簡略化して示すために、ここでは一つの雲オブジェクト２１２と一つの飛行オブジェクト２２０のみが示されている。種々の実施例では、一の種類のクラスのオブジェクト数又はオブジェクト種類若しくはオブジェクトクラスの数は制限されない。
段階（Ｂ）では、地平線上方の対象オブジェクトに焦点を当てるために、地平線検出のプロセスが画像２００に対して実施される。まず、地平線によって占有される画像内のピクセル領域を決定するために、地平線の端又は地平線のライン２１４Ａが検出される。次に、地平線の端２１４Ａより下の領域（地平線領域）が、地平線領域全体が均一に暗又は「ＯＮ」ピクセル（斜線領域）となるように、例えばベタ塗りを使用することにより塗りつぶされる。いくつかの実施例では、ベタ塗りは、例えば、内側の位置から地平線の端２１４Ａに向かって外側へ実施される。他のいくつかの実施例では、ベタ塗りは、地平線の端２１４Ａから領域内部に向かって内側へ実施される。次いで、地平線領域２１４は、地上オブジェクト２１４Ｂが地平線領域に完全に含まれるか又は埋まるまで、領域に一又は複数の隣接ピクセルを加えるように拡張される。本明細書に示すように、地平線領域２１４は、空のエリアへと上方に拡張されて新しい端２１６（点線により示す）を形成し、この拡張された端２１６は、地平線領域２１４の下にすべての地上オブジェクト２１４Ｂ（例えば、家及び車など）を、そこからいずれの地上オブジェクトも上方に突出しないように包囲する。
種々の実施例では、地平線領域の拡張は、いずれかの領域拡張プロセスによって実施することができる。例えば、地平線領域に付加される一又は複数の隣接ピクセルは、そこに付加されるための所定の閾値基準を満たす。段階（Ｂ）での処理の結果として、上昇した新しい端２１６を有するように修正された地平線領域２１４を含む中間画像２０２が生成される。
段階（Ｃ）では、中間画像２０２が更に処理されて、新しい地平線の端又は地平線のライン２１６より下の地平線領域２１４全体が除去される。結果として、飛行オブジェクト２２０と雲オブジェクト２１２のみを含む中間画像２０４が生成される。
段階（Ｄ）では、中間画像２０４は、その中に含まれる一又は複数の対象オブジェクトを検出するために更に処理される。本発明の種々の実施例によれば、任意の適切なコンピュータビジョン技術を利用して、中間画像２０４内のオブジェクトを検出することができる。例えば、いくつかの実施例では、画像内のオブジェクトを識別及びラベリングするために、接続コンポーネントラベリング（ＣＣＬ）が使用される。ＣＣＬ下では、その差が所定の閾値に満たない密度値を有する隣接ピクセルが、接続しており且つ同じオブジェクトの一部であると考慮される。したがって、それらピクセルは同じオブジェクトラベルを割り付けられる。本明細書に示すように、飛行オブジェクト２２０及び雲オブジェクト２１２の両方が、ＣＣＬの使用により接続したコンポーネントとして識別される。換言すれば、ＣＣＬの適用後、両者は、中間画像２０６において検出された対象オブジェクト候補である。ここでも、簡略化のために、ここでのＣＣＬ技術による検出対象として、一つの雲と一つの飛行オブジェクトのみが示されている。ＣＣＬによって検出されうるコンポーネント又はオブジェクトの数は制限されない。いくつかの実施例では、画像は、ＣＣＬが複数のオブジェクトをまとめて拡張することを防ぐように、ＣＣＬ適用前に前処理される。
いくつかの実施例では、一又は複数のラベリングされたオブジェクトからノイズピクセルを処理又は除去するために、ＣＣＬによってラベリングされた一又は複数のオブジェクトについて、膨張（ｄｉｌａｔｉｏｎ）及び収縮（ｅｒｏｓｉｏｎ）といった更なるモルフォロジ工程が実施される。いくつかの実施例では、膨張及び収縮の使用によるこのような処理は、ノイズピクセルを除去するために必要な回数にわたって繰り返される。いくつかの実施例では、更に処理される一又は複数のオブジェクトは、衝突の危険のあるオブジェクト候補の選択のために更にスクリーニングされる。換言すれば、様々な規則又は基準によって判断したときに衝突の危険がなさそうなオジェクトは、検出された一又は複数のオブジェクトから除外される。いくつかの実施例では、選択基準はオブジェクトのサイズである。例えば、オブジェクト（例えば、雲オブジェクト２１２）が所定の閾値、例えば中間画像２０６の３０％を上回るエリアを占めるとき、このようなオブジェクトは雲である可能性が高く、空中衝突の危険は低いと考慮される。いくつかの実施例では、空中衝突の危険の可能性のあるオブジェクトの最大サイズは、カメラ解像度、オブジェクトからの距離及びビークル速度の情報に基づいて計算することができる。したがって、計算されたサイズより大きなオブジェクトは、危険であるには大きすぎるとして除外することができる。いくつかの実施例では、パーセンテージ閾値といった選択基準は、経験的データから導出される。いくつかの実施例では、パーセンテージ閾値といった選択基準は、フィードバックデータを用いて訓練された機械学習システムによって決定される。
いくつかの実施例では、オブジェクト領域は、それぞれのサイズに従ってソーティングされる。例えば、一つの領域を最小領域として識別することができ、別の領域を最大領域として識別することができる。いくつかの実施例では、領域の所定の最小サイズ及び／又は最大サイズを取得することができ、最小サイズより小さな又は最大サイズより大きな領域又は非候補オブジェクトと考慮される。この場合も、それぞれの最小及び最大サイズは、経験的データから導出することができるか、又はフィードバックデータを用いて訓練された機械学習システムの使用により決定することができる。
ここに示されるように、雲オブジェクト２１２は、中間画像２０６において占めるエリアは大き過ぎるため、検出される衝突の危険のあるオブジェクトとして選択されない。反対に、飛行オブジェクト２２０は、検出及び回避システムにより検出されるオブジェクトとして選択される。したがって、雲オブジェクト２１２は、ＣＣＬのプロセスによりラベリングされたオブジェクトから除去される。段階（Ｄ）の処理の結果として、飛行中の航空機オブジェクト２２０のみを含む中間画像２０８が生成される。いくつかの実施例では、中間画像２０８は、マスク又は閾値画像として機能し、これは、最初の到来した第１の画像２００内の対象の領域に対応するＯＮピクセルの領域のみを含んでこれを規定する。換言すれば、マスク画像２０８は、ビジョンベースの衝突検出及び回避のための領域発見アルゴリズムを支援する閾値として機能しうる。本明細書に示すように、飛行中の航空機２２０は、マスク画像２０８内に示される唯一のオブジェクトである。
段階（Ｅ）では、第２のカメラチャネルにおいて捕獲された到来するカラー画像２５０に関し、飛行オブジェクト２２０の切り抜きカラー画像２３０及び／又は中間画像２０８と第２の画像２５０の複合画像２３２が、段階（Ｆ）で出力される最終的な中間画像として生成される。いくつかの実施例では、生成されたマスク画像に基づいて、一又は複数の第１の領域が第１の画像内において識別される。第１の画像と第２の画像は実質的に同じビューを捕獲しているので、結果的に一又は複数の第１の領域に対応する第２の画像内の一又は複数の第２の領域が識別される。本明細書に示すように、第１の画像内の航空機オブジェクト２２０を囲む四角形２２２の使用により、同じ航空機オブジェクト２２０に対応する領域２５２が第２の画像２５０内に特定される。いくつかの実施例では、四角形２２２は、四角形２５２を取り出して切り抜き画像２３０を作るために利用される。他のいくつかの実施例では、複合画像２３２は、マスク画像２０８を第２の画像２５０とマージすることにより生成される。ここに示すように、複合画像２３２は、四角形２３４内に、検出されたオブジェクト、即ち飛行中の航空機２２０のみを示す。
図３は、本発明の一又は複数の実施例による、検出されたオブジェクトを分析する例示的検出及び回避システムの詳細な図式ブロック図である。いくつかの実施例では、検出及び回避システム（図示しない）の処理ユニット３０２は、上述のようにして第１の画像及び第２の画像から処理された切り抜き画像３１２を、分析ユニット３０４に出力する。他のいくつかの実施例では、処理ユニット３０２は、上述のようにして第１の画像及び第２の画像から処理された複合画像３１４を、分析ユニット３０４に出力する。いくつかの実施例では、第１の画像はＵＶ画像であり、これは、視野内においてＵＶ域内の波長の放射線を放出又は再放出しない一又は複数のオブジェクトを暗又はＯＮピクセルで表わす。
本発明の種々の実施例によれば、処理ユニット３０２による第１及び第２の画像の処理の結果として切り抜き画像３１２が分析ユニット３０４に伝達されるとき、切り抜き画像３１２を分析するために単一チャネル分類器３１６が利用される。本発明の種々の実施例では、単一チャネル分類器３１６は、切り抜き画像のオブジェクトを分類するための対応するカテゴリ及びクラスに従って、ピクセルを識別及びラベリングするように訓練された機械学習システムを利用する。いくつかの実施例では、単一チャネル分類器３１６には、例えば限定されないが、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、又は任意の適切なニューラルネットワークが含まれる。いくつかの実施例では、ニューラルネットワークシステムは従来のニューラルネットワークとすることができる。いくつかの実施例では、ニューラルネットワークは多重計算レイヤを含みうる。
このようなニューラルネットワークは、様々なオブジェクトクラス、例えば限定されないが、様々な種類の航空機、鳥などを分類するように訓練することができる。ニューラルネットワークは、ピクセルが一オブジェクトクラスのものである可能性の結果を生成することもできる。例えば、ニューラルネットワークは、切り抜き画像３１２に含まれる航空機が、Ｂｏｅｉｎｇ ７８７ Ｄｒｅａｍｌｉｎｅｒである可能性が０％であること、Ｆ−１６ジェット戦闘機である可能性が５％であること、Ｂｏｅｉｎｇ Ｔ−Ｘ練習機である可能性が９５％であること、及びＧＡジェットである可能性が１５％であることを示す分類データを生成することができる。
本発明の種々の実施例によれば、処理された第１の画像と第２の画像両方に基づく複合画像３１４は分析ユニット３０４に伝達され、分析ユニット３０４の多重チャネル分類器３１８を利用して複合画像３１４が分析される。本発明の種々の実施例では、多重チャネル分類器３１８は、複合画像３１４のオブジェクトを分類するための対応するカテゴリ及びクラスに従って、ピクセルを識別及びラベリングし、オブジェクトについてセグメンテーション（例えば四角形の境界を決定すること）を実施するように訓練された機械学習システムを利用する。いくつかの実施例では、多重チャネル分類器３１８には、例えば、限定されないが、ＤｅｔｅｃｔＮｅｔ、ＦＣＮ−８（Ｂｅｒｋｅｌｅｙ）、ＰＶＡｎｅｔ、ＹＯＬＯ、ＤＡＲＴｎｅｔ、又は任意の適切な市販の及び／又は専用のニューラルネットワークが含まれる。いくつかの実施例では、ニューラルネットワークシステムは従来のニューラルネットワークとすることができる。いくつかの実施例では、ニューラルネットワークは多重計算レイヤを含みうる。
カテゴリ及びそれらそれぞれの可能性の結果ベクトルを受け取ると、分析ユニット３０４は、検出された航空機オブジェクトを、Ｔ−Ｘ訓練機である可能性が最も高いとして分類し、オブジェクト分類３２０を通知ユニット３０６に伝達する。多重チャネル分類器３１８が利用されるとき、オブジェクト分類３２２に加えて、オブジェクトのセグメンテーション３２４（第２の画像において航空機オブジェクト２２０の境界を決定する四角形）も通知ユニット３０６に伝達される。したがって、衝突危険情報は、分類情報又は分類情報とセグメンテーション情報の両方に基づいて決定される。例えば、検出されたＴ−Ｘ訓練機が回避操作をせずにビークルの経路と交差するまでにかかる時間を計算するために、Ｔ−Ｘ訓練機の航空機特性のデータベースを調べ、それに可能な最大速度を決定することができる。
図４Ａ及び４Ｂは、本発明の一又は複数の実施例による、ビークルのための衝突の危険の検出及び回避の例示的方法４００のフロー図である。種々の実施例では、方法４００は、検出及び回避システム１００を動作させて、衝突の危険を検出し、伝達された衝突の危険を回避するようにビークルが操作されるように、検出された衝突の危険をパイロット制御システム（例えばビークルのオートパイロット制御システム）に伝達する。
ステップ４０２では、第１のカメラチャネルにおいて視野の第１の画像又は画像フレームを取得する。第１のカメラチャネルが特定の波長における放射線をフィルタリングし、第１の画像は、その特定の波長において放射線を放射又は再放射しない一又は複数のオブジェクトを暗又はＯＮピクセルで表示する。この波長で放射線を放射又は再放射する視野内のオブジェクトは、この波長における放射線で照射される背景と共に、白又はＯＦＦピクセルとして捕獲される。いくつかの実施例では、波長は紫外（ＵＶ）域に含まれる。例えば、限定されないが、雲、航空機、鳥、又は地上オブジェクト（例えば、家、高くそびえるタワー、車など）といったオブジェクト及び地平線は、ＵＶ域内で放射線を放射又は再放射しないオブジェクトである。反対に、空が全体にＵＶ域内の太陽からの放射線により照射されるとき、ＵＶ域内の放射線を放射又は再放射していないオブジェクトにより隠されることのない視野内の空エリアは、この波長における放射線のエリアである。ＵＶ波長域内の放射線のフィルタリングは、任意の適切な技術により実施することができる。いくつかの実施例では、第１のカメラチャネルは、紫外（ＵＶ）域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする。
いくつかの実施例では、ステップ４１２で、第１の画像に加えて、第２の画像又は画像フレームを第２のカメラチャネルにおいて捕獲する。第２の画像又は画像フレームは、第１のカメラチャネルが第１の画像を捕獲する視野と実質的に同じ視野を捕獲する。第１のカメラチャネルとは異なり、第２のカメラチャネルは、第１のカメラチャネル用に構成されたこの波長の放射線をフィルタリングしない。
ステップ４０４では、一又は複数のオブジェクトを検出するために第１の画像を処理する。これら一又は複数のオブジェクトは、ビークルに衝突の危険の可能性を呈している可能性がある。本発明の種々の実施例によれば、第１の画像は、地平線検出４２０、オブジェクトを検出する接続コンポーネントラベリング４２２、及び検出されたオブジェクトからのオブジェクト４２４の選択といった一連の処理段階を通過する。いくつかの実施例では、ステップ４２０において、第１の画像に捕獲された地平線領域を検出するために地平線検出を実施する。検出された地平線領域に応答して、この領域を地上オブジェクトと共に削除するために、地平線領域を拡張するよう第１の画像を更に処理する。いくつかの実施例では、地平線領域はベタ塗りされる。次に、いくつかの実施例では、ステップ４２６において、地平線領域の端から延びる地上オブジェクトを含むように隣接ピクセルを加えることにより、地平線領域を拡張する。最後に、地平線検出の結果として拡張された地平線領域が第１の画像から除去され、第１の画像は第１の画像の第１の中間画像へと処理される。
いくつかの実施例では、ステップ４２２において、第１の中間画像を処理するために、接続コンポーネントラベリング（ＣＣＬ）の使用により一又は複数のオブジェクトを検出する。いくつかの実施例では、その後ステップ４２４において、検出された一又は複数のオブジェクトから、基準による選択が実施されて衝突の危険がなさそうなオブジェクトを除外する。一又は複数のオブジェクトが更に選択されると、これら一又は複数の選択オブジェクトは、検出された衝突の危険のあるオブジェクトと考慮され、それに基づいて衝突危険情報が決定される。したがって、ステップ４１０までの経路に沿って、検出された一又は複数の選択オブジェクトに基づいて決定されたこのような衝突危険情報は、ビークルのパイロット制御システムに伝達され、パイロット制御システムはそれに従って回避操作を実施することができる。
いくつかの実施例では、オブジェクトの選択には、ＵＶ画像のみの使用によりオブジェクトを選択するように訓練された機械学習システムが利用される。いくつかの実施例では、機械学習システムはニューラルネットワークシステム（従来のニューラルネットワークでもよい）を利用する。いくつかの実施例では、ニューラルネットワークは多重計算レイヤを含むことができる。
ステップ４２８では、ステップ４２４において選択された一又は複数のオブジェクトに対応する一又は複数の第１の領域を、第１の画像内で識別する。このような第１の領域は、選択されたオブジェクト全体を包含又は包囲する。例えば、第１の領域は、第１の領域が第１の画像内において包囲されたオブジェクトの切り抜き領域又はマスク領域となるように、オブジェクトの境界を決定する四角形である。
ステップ４３０では、一又は複数の第１の領域に対応する一又は複数の第２の領域を、第２の画像内で識別する。第２の画像は第１の画像が表すものと実質的に同じ視野を表すため、二つの画像内のピクセルの領域は、視野内の同じオブジェクトを表しているという意味で互いに対応する。例えば、第１の画像内で識別された一又は複数の第１の領域を第２の画像にマッピングすることにより、一又は複数の第２の領域を識別する。
ステップ４０６では、検出された一又は複数のオブジェクトを分析ユニットに伝達し、検出されたオブジェクトに基づいて衝突危険情報を決定する。いくつかの実施例では、ステップ４３２において、ステップ４２８及び４３０において識別された一又は複数の第１及び第２の領域をそれぞれ分析ユニットに伝達し、衝突危険情報を決定する。いくつかの実施例では、上述の切り抜き画像が分析ユニットに伝達される。他のいくつかの実施例では、上述の複合画像が分析ユニットに伝達される。
本発明の種々の実施例によれば、方法４００は、機械学習システム（例えば、単一チャネル分類器３１６及び／又は多重チャネル分類器３１８）を利用して一又は複数のオブジェクトを分類することができる。いくつかの実施例では、機械学習システムは、一又は複数の検出されたオブジェクトの種類又はクラスを分類する。いくつかの実施例では、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを更に生成する。
ステップ４０８では、検出された一又は複数の検出オブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達し、パイロット制御システムは回避操作を実施する。衝突危険情報は、オブジェクトの特性、例えば、検出された一又は複数のオブジェクトに関する分類情報から得られるサイズ、速度、進行方向、及び／又はその他関連情報も含みうる。ステップ４１０では、検出された一又は複数のオブジェクトを回避するために、一又は複数の回避操作（例えば逃避的操作）がビークルのパイロット制御システムによって実施される。
図５は、本発明の一又は複数の実施例による、別の航空機５０８の近傍にある、例示的検出及び回避システムを装備した例示的無人航空機（ＵＡＶ）５００の斜視図である。ＵＡＶ５００は、検出及び回避システム５０２に通信可能に連結されたパイロット制御システム５０４を含む。いくつかの実施例では、検出及び回避システム５０２は、ＵＡＶ５００の様々な位置に配置することのできる複数のカメラ５０３に連結されたカメラチャネル（図示しない）において画像フレームを取得する。例えば、カメラ５０３は、例えば、限定されないが、機首及び後端部（図示しない）を含む、ＵＡＶ５００の末端に配置することができる。別の実施例として、カメラ５０３は、前方を見るように、横方向を見るように、上方を見るように、下方を見るように、又は後方を見るように、配置及び分配することができる。図示では、検出及び回避システム５０２が、カメラ５０３において、遠方から接近して来る航空機５０８が見える視野５０６の画像を捕獲している。視野５０６について捕獲された画像フレームに基づいて、検出及び回避システム５０２は、上述のように画像フレーム（例えば第１の画像及び第２の画像）を処理及び分析して、航空機５０８が衝突の危険にあるかどうか、及びその危険はどの程度かを決定する。
衝突危険情報を決定すると、検出及び回避システム５０２は、検出された航空機５０８を回避するための操作をＵＡＶ５００が実行するように、決定された衝突危険情報をＵＡＶ５００のパイロット制御システム５０４に通知する。いくつかの実施例では、パイロット制御システムはオートパイロット制御システムである。いくつかの実施例では、検出及び回避システム５０２は、航空機５０８がどのように衝突の危険を呈しているかを決定し、ＵＡＶは、それに従って航空機５０８を回避するためにその飛行の高度及び／又はコースを変更するように命令される。いくつかの実施例では、一又は複数の操作オプションが衝突危険情報に基づいて生成され、複数のクラスとして分類されたオブジェクトが呈する危険に対処する一のオプションが、衝突を最もよく回避するために実施される。
図６は、本明細書に記載される種々のプロセス及びシステムを実施することのできる例示的システム６００を示すブロック図である。いくつかの実施例では、システム６００は検出及び回避システムであり、一又は複数の実施例は、検出及び回避システムを動作させる一又は複数のプログラムを記憶する非一過性のコンピュータ可読媒体の形態で実施される。特定の実施例によれば、本発明の特定の実施例を実施するために適したシステム６００は、プロセッサ６０１、メモリ６０３、インターフェース６１１、バス６１５（例えば、ＰＣＩバス又はその他相互接続ファブリック）、及びカメラチャネル６１７を含み、例えば検出及び回避（ＤＡＡ）システム内部において、ビークルにとっての衝突の危険を検出及び回避するように動作する。
プロセッサ６０１に動作可能に連結されて、カメラチャネル６１７は、システム６００がそこで画像を捕獲するように構成されている。いくつかの実施例では、適切なソフトウエア又はファームウエアの制御下で動作しているとき、プロセッサ６０１は、第１のカメラチャネルにおいて視野の第１の画像を取得すること（例えばステップ４０２において）、一又は複数のオブジェクトを検出するために第１の画像を処理すること（例えばステップ４０４において）、検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達すること（例えばステップ４０８において）、及び検出された一又は複数のオブジェクトを回避するための操作を実施すること（例えばステップ４１０において）を担う。いくつかの実施例では、プロセッサ６０１は更に、第２のカメラチャネルにおいて実質的に同じ視野の第２の画像を取得すること（例えばステップ４１２において）、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別すること（例えばステップ４２８において）、第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別すること（例えばステップ４３０において）、及び衝突危険情報を決定するために、一又は複数の第１及び第２の領域を分析ユニットに伝達すること（例えばステップ４０６において）を担う。
他の実施例では、プロセッサ６０１は、地平線検出（例えばステップ４２０において）、及び／又は接続コンポーネントラベリング（ＣＣＬ）の使用により一又は複数のオブジェクトを検出すること（例えばステップ４２２において）、及び／又は基準により、検出された一又は複数のオブジェクトから、オブジェクトを除外することを選択すること（例えばステップ４２４）、及び／又は検出されたオブジェクトを分析してオブジェクトを分類すること；及び／又は検出されたオブジェクトを分析してオブジェクトを分類し、更にオブジェクトのセグメンテーションを生成することを担う。他のいくつかの実施例では、プロセッサ６０１は、機械学習機構の使用により検出されたオブジェクトを分析することを担う。プロセッサ６０１の代わりに又はプロセッサ６０１に加えて、特別に構成された種々の装置を使用することもできる。
インターフェース６１１は、例えばネットワーク上で、データパケット又はデータセグメントを送受信するように構成することができる。インターフェースサポートの特定の実施例には、イーサネットインターフェース、フレームリレーインターフェース、ケーブルインターフェース、ＤＳＬインターフェース、トークンリングインターフェースなどが含まれる。加えて、ファストイーサネットインターフェース、ギガビットイーサネットインターフェース、ＡＴＭインターフェース、ＨＳＳＩインターフェース、ＰＯＳインターフェース、ＦＤＤＩインターフェースなどといった種々の超高速インターフェースが提供されうる。一般に、これらインターフェースは、適切な媒体との通信に適したポートを含みうる。場合によっては、これらインターフェースは独立のプロセッサも含むことができ、いくつかの事例では揮発性ＲＡＭを含みうる。独立のプロセッサは、このような通信集中型タスクを、パケット交換、媒体制御及び管理として制御することができる。
特定の実施例によれば、システム６００は、データ、並びに第１のカメラチャネルにおいて視野の第１の画像を取得するため（例えばステップ４０２において）、一又は複数のオブジェクトを検出するために第１の画像を処理するため（例えばステップ４０４において）、検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達するため（例えばステップ４０８において）、及び検出された一又は複数のオブジェクトを回避するための操作を実施するため（例えばステップ４１０）のプログラム命令を記憶するためにメモリ６０３を使用する。いくつかの実施例では、プロセッサ６０１は更に、第２のカメラチャネルにおいて実質的に同じ視野の第２の画像を取得すること（例えばステップ４１２において）、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別すること（例えばステップ４２８において）、第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別すること（例えばステップ４３０において）、及び衝突危険情報を決定するために、一又は複数の第１及び第２の領域を分析ユニットに伝達すること（例えばステップ４０６において）を担う。
いくつかの実施例では、メモリ６０３は、データ、並びに地平線検出のため（例えばステップ４２０において）、及び／又は接続コンポーネントラベリング（ＣＣＬ）の使用により一又は複数のオブジェクトを検出するため（例えばステップ４２２において）、及び／又は一の基準により、検出された一又は複数のオブジェクトから、オブジェクトを除外することを選択するため（例えばステップ４２４）、及び／又は検出されたオブジェクトを分析してオブジェクトを分類するため；及び／又は検出されたオブジェクトを分析してオブジェクトを分類し、更にオブジェクトのセグメンテーションを生成するためのプログラム命令を記憶する。他のいくつかの実施例では、記憶されたデータ及びプログラム命令は、検出されたオブジェクトを機械学習機構の使用により分析するためのものである。
更に、本開示は以下の条項による例を含む。
条項１． ビークルによる検出及び回避システムであって：第１のカメラチャネルにおいて視野の第１の画像を取得するように構成された撮像ユニットであって、第１のカメラチャネルは、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする、撮像ユニット；撮像ユニットから第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニット；及び検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達するように構成された通知ユニットを備える検出及び回避システム。
条項２． 前記波長が紫外域内にあり、第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする、条項１の検出及び回避システム。
条項３． 第１の画像を処理することが地平線検出を含む、条項１の検出及び回避システム。
条項４． 地平線検出が、地平線領域の端から延びる地上オブジェクトを含むように隣接ピクセルを加えることにより、地平線領域を拡張することを含む、条項３の検出及び回避システム。
条項５． 一又は複数のオブジェクトが、接続コンポーネントラベリング（ＣＣＬ）の使用により検出される、条項１の検出及び回避システム。
条項６． 第１の画像を処理することが、一の基準により、検出された一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択することを含む、条項１の検出及び回避システム。
条項７． 検出された一又は複数のオブジェクトに基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える、条項１の検出及び回避システム。
条項８． 分析ユニットが、認識時に一又は複数のオブジェクトを分類する学習機構を含む、条項７の検出及び回避システム。
条項９． 撮像ユニットが更に、前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて実質的に同じ視野の第２の画像を取得するように構成されており、処理ユニットが更に、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別し、第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別するように構成されており；且つ検出及び回避システムが、一又は複数の第１及び第２の領域に基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える、条項１の検出及び回避システム。
条項１０． 第２の画像がカラー画像である、条項９の検出及び回避システム。
条項１１． 分析ユニットが、認識時にオブジェクトを分類する学習機構を含む、条項９の検出及び回避システム。
条項１２． 分析ユニットが、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成する、条項９の検出及び回避システム。
条項１３． 通知ユニットが、パイロット制御システムに、検出された一又は複数のオブジェクトを回避する操作を実施することを通知する、条項１の検出及び回避システム。
条項１４． ビークルが無人ビークルである、条項１の検出及び回避システム。
条項１５． ビークルが無人航空機である、条項１の検出及び回避システム。
条項１６． ビークルによる検出及び回避方法であって：視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする第１のカメラチャネルにおいて、視野の第１の画像を取得すること；一又は複数のオブジェクトを検出するために第１の画像を処理すること；及び検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達することを含む方法。
条項１７． 前記波長が紫外域内にあり、第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする、条項１６の方法。
条項１８． 第１の画像を処理することが地平線検出を含む、条項１６の方法。
条項１９． 地平線検出が、地平線領域の端から延びる地上オブジェクトを含むように隣接ピクセルを加えることにより、地平線領域を拡張することを含む、条項１８の方法。
条項２０． 一又は複数のオブジェクトが、接続コンポーネントラベリング（ＣＣＬ）の使用により検出される、条項１６の方法。
条項２１． 第１の画像を処理することが、一の基準により、検出された一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択することを更に含む、条項１６の方法。
条項２２． 衝突危険情報を決定するために、検出された一又は複数のオブジェクトを分析ユニットに伝達することを更に含む、条項１６の方法。
条項２３． 分析ユニットが、認識時に一又は複数のオブジェクトを分類する学習機構を含む、条項２２の方法。
条項２４． 前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて実質的に同じ視野の第２の画像を取得すること；第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別すること；第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別すること；及び衝突危険情報を決定するために、一又は複数の第１及び第２の領域を分析ユニットに伝達することを更に含む、条項１６の方法。
条項２５． 第２の画像がカラー画像であること；分析ユニットが、認識時にオブジェクトを分類する学習機構を含むこと；及び分析ユニットが、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成することのうちの少なくとも一つに当てはまる、条項２４の方法。
条項２６． 検出された一又は複数のオブジェクトを回避するための操作を実施することを更に含む、条項１６の方法。
条項２７． ビークルが無人陸用ビークルであること；及びビークルが無人航空ビークルことのうちの少なくとも一つに当てはまる、条項１６の方法。
条項２８． パイロット制御システムと、第１のカメラチャネルにおいて視野の第１の画像を取得するように構成された撮像ユニットであって、第１のカメラチャネルは、視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタリングする、撮像ユニット；撮像ユニットから第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニット；及び検出された一又は複数のオブジェクトに基づいて決定された衝突危険情報をパイロット制御システムに伝達するように構成された通知ユニットを備える検出及び回避システムとを備える航空ビークル。
条項２９． 前記波長が紫外域内にあり、第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする、条項２８の航空ビークル。
条項３０． 第１の画像を処理することが地平線検出を含む、条項２８の航空ビークル。
条項３１． 第２８の画像を処理することが、一の基準により、検出された一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択することを含む、条項２８の航空ビークル。
条項３２． 検出及び回避システムが、検出された一又は複数のオブジェクトに基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える、条項２８の航空ビークル。
条項３３． 撮像ユニットが更に、前記波長における放射線をフィルタリングしない第２のカメラチャネルにおいて実質的に同じ視野の第２の画像を取得するように構成されており、処理ユニットが更に、第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別し、第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別するように構成されており；且つ検出及び回避システムが、一又は複数の第１及び第２の領域に基づいて衝突危険情報を決定するように構成された分析ユニットを更に備える、条項２８の航空ビークル。
条項３４． 第２の画像がカラー画像であること；分析ユニットが、認識時にオブジェクトを分類する学習機構を含むこと；分析ユニットが、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成すること；パイロット制御システムが、検出された一又は複数のオブジェクトを回避するようにビークルを操作すること；及び航空ビークルが無人であることのうちの少なくとも一つに当てはまる、条項３３の航空ビークル。
条項３５． コンピュータによって実行されるよう構成された一又は複数のプログラムを有する非一過性のコンピュータ可読記憶媒体であって、一又は複数のプログラムが：視野内の一又は複数のオブジェクトが放射線を放出しない波長の放射線をフィルタンリングする第１のカメラチャネルにおいて、視野の第１の画像を取得するため；一又は複数のオブジェクトを検出するために第１の画像を処理するため；及び識別された一又は複数のオブジェクトに基づいて決定された衝突危険情報をビークルのパイロット制御システムに伝達するための命令を含む、非一過性のコンピュータ可読記憶媒体。
条項３６． 前記波長が紫外域にあり、第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタの使用により放射線をフィルタリングする、条項３５の非一過性のコンピュータ可読記憶媒体。
条項３７． 命令が、衝突危険情報を決定するために、検出された一又は複数のオブジェクトを分析ユニットに伝達することを含む、条項３５の非一過性のコンピュータ可読記憶媒体。
条項３８． 分析ユニットが、認識時に一又は複数のオブジェクトを分類する学習機構を含む、条項３７の非一過性のコンピュータ可読記憶媒体。
条項３９． 命令が、前記波長の放射線をフィルタリングしない第２のカメラチャネルにおいて実質的に同じ視野の第２の画像を取得すること；第１の画像内において、一又は複数のオブジェクトに対応する一又は複数の第１の領域を識別すること；第２の画像内において、一又は複数の第１の領域に対応する一又は複数の第２の領域を識別すること；及び衝突危険情報を決定するために、一又は複数の第１及び第２の領域を分析ユニットに伝達することを更に含む、条項３５の非一過性のコンピュータ可読記憶媒体。
条項４０． 第２の画像がカラー画像であること；分析ユニットが、認識時にオブジェクトを分類する学習機構を含むこと；分析ユニットが、認識時に一又は複数のオブジェクトについて領域のセグメンテーションを生成すること；及びパイロット制御システムが、検出された一又は複数のオブジェクトを回避するようにビークルを操作することのうちの少なくとも一つに当てはまる、条項３９の非一過性のコンピュータ可読記憶媒体。
本発明について、特にその具体的な実施例を参照して示し、記載したが、当業者であれば、本発明の概念又は範囲から逸脱せずに、開示された実施例の形態及び詳細に変更が可能であることが理解できよう。したがって、本発明は、本発明の概念及び範囲に含まれるすべての変形例及び等価物を含むことを意図している。ここまでコンポーネント及びプロセスの多くを便宜上単数形で記載したが、当業者であれば、複数のコンポーネント及び繰り返されるプロセスも、本発明の技術を実施するために使用できることが分かるであろう。

Claims (15)

  1. ビークル（５００）による検出及び回避システム（１００）であって、
    第１のカメラチャネル（１１２）において視野（５０６）の第１の画像（２００）を取得するように構成された撮像ユニット（１０２）であって、前記第１のカメラチャネルが、前記視野内の一又は複数のオブジェクト（２１２、２２０）が放射線を放出しない波長の放射線をフィルタリングする、前記撮像ユニット（１０２）、
    前記撮像ユニットから前記第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニット（１０４）、及び
    検出された前記一又は複数のオブジェクト（２２０）に基づいて決定された衝突危険情報を前記ビークルのパイロット制御システム（１５０）に伝達するように構成された通知ユニット（１０８）
    を備える、検出及び回避システム。
  2. 前記波長が紫外域内にあり、前記第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタ（１１２Ａ）の使用により放射線をフィルタリングすること、
    前記一又は複数のオブジェクトが、接続コンポーネントラベリング（ＣＣＬ）（４２２）の使用により検出されること（１２４）、
    前記第１の画像を処理することが、一の基準により、検出された前記一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択すること（１２６）を更に含むこと、
    前記通知ユニットが、前記パイロット制御システムに、検出された前記一又は複数のオブジェクトを回避する操作を実施することを通知すること、
    前記ビークルが無人ビークルであること、及び
    前記ビークルが無人航空機であること
    のうちの少なくとも一つに当てはまる、請求項１に記載の検出及び回避システム。
  3. 前記第１の画像を処理することが地平線検出（１２２）を含み、前記地平線検出は、地平線領域（２１４）の端（２１４Ａ）から延びる地上オブジェクト（２１４Ｂ）を含むように隣接ピクセルを付加することにより、前記地平線領域を拡張することを含む、請求項１に記載の検出及び回避システム。
  4. 検出された前記一又は複数のオブジェクトに基づいて衝突危険情報を決定するように構成された分析ユニット（１０６）を更に備え、前記分析ユニットが、認識時に前記一又は複数のオブジェクトを分類する学習機構（１４２、１４４）を含む、請求項１に記載の検出及び回避システム。
  5. 前記撮像ユニットが更に、前記波長の放射線をフィルタリングしない第２のカメラチャネル（１１４）において実質的に同じ視野（５０６）の第２の画像（２５０）を取得するように構成されており、
    前記処理ユニットが更に、前記第１の画像内において、前記一又は複数のオブジェクトに対応する一又は複数の第１の領域（２２２）を識別し、前記第２の画像内において、前記一又は複数の第１の領域に対応する一又は複数の第２の領域（２５２）を識別するように構成されており、
    前記検出及び回避システムが、前記一又は複数の第１及び第２の領域に基づいて衝突危険情報を決定するように構成された分析ユニット（１０６）を更に備える、
    請求項１に記載の検出及び回避システム。
  6. 前記第２の画像がカラー画像であること、
    前記分析ユニットが認識時にオブジェクトを分類する学習機構（１４２、１４４）を含むこと、及び
    前記分析ユニットが、認識時に前記一又は複数のオブジェクトについて領域のセグメンテーション（２３４）を生成すること
    のうちの少なくとも一つに当てはまる、請求項５に記載の検出及び回避システム。
  7. ビークル（５００）による検出及び回避の方法（４００）であって、
    第１のカメラチャネル（１１２）において視野（５０６）の第１の画像（２００）を取得することであって、前記第１のカメラチャネルが、前記視野内の一又は複数のオブジェクト（２１２、２２０）が放射線を放出しない波長の放射線をフィルタリングする、前記第１の画像を取得すること（４０２）、
    前記一又は複数のオブジェクトを検出するために、前記第１の画像を処理すること（４０４）、及び
    検出された前記一又は複数のオブジェクト（２０２）に基づいて決定された衝突危険情報を前記ビークルのパイロット制御システム（１５０）に伝達すること
    を含む方法。
  8. 前記波長が紫外域内にあり、前記第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタ（１１２Ａ）の使用により放射線をフィルタリングすること、
    前記一又は複数のオブジェクトが、接続コンポーネントラベリング（ＣＣＬ）の使用により検出されること（４２２）、及び
    前記第１の画像を処理することが、一の基準により、検出された前記一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択すること（４２４）を更に含むこと
    のうちの少なくとも一つに当てはまる、請求項７に記載の方法。
  9. 前記第１の画像を処理することが地平線検出（４２０）を含み、前記地平線検出が、地平線領域（２１４）の端（２１４Ａ）から延びる地上オブジェクト（２１４Ｂ）を含むように隣接ピクセルを付加することにより、前記地平線領域を拡張することを（４２６）含む、請求項７に記載の方法。
  10. 前記方法が、衝突危険情報を決定するために、検出された前記一又は複数のオブジェクトを分析ユニット（１０６）に伝達すること（４０６）を更に含み、前記分析ユニットが、認識時に一又は複数の前記オブジェクトを分類する学習機構を含む、請求項７に記載の方法。
  11. 前記波長の放射線をフィルタリングしない第２のカメラチャネル（１１４）において実質的に同じ視野（５０６）の第２の画像（２５０）を取得すること（４１２）、
    前記第１の画像において、前記一又は複数のオブジェクトに対応する一又は複数の第１の領域（２２２）を識別すること（４２８）、
    前記第２の画像において、前記一又は複数の第１の領域に対応する一又は複数の第２の領域（２５２）を識別すること（４３０）、及び
    衝突危険情報を決定するために、前記一又は複数の第１の領域と前記一又は複数の第２の領域を分析ユニット（１０６）に伝達すること（４３２）
    を更に含む、請求項７に記載の方法。
  12. 前記第２の画像がカラー画像であること、
    前記分析ユニットが認識時にオブジェクトを分類する学習機構（１４２、１４４）を含むこと、及び
    前記分析ユニットが、認識時に前記一又は複数のオブジェクトについて領域のセグメンテーション（２３４）を生成すること
    のうちの少なくとも一つに当てはまる、請求項１１に記載の方法。
  13. 前記方法が、検出された前記一又は複数のオブジェクトを回避する操作を実施すること（４１０）を更に含み、
    前記ビークルが無人陸用ビークルであること、及び
    前記ビークルが無人航空ビークルであること
    のうちの少なくとも一つに当てはまる、請求項７に記載の方法。
  14. パイロット制御システム（５０４）と、
    第１のカメラチャネル（１１２）において視野（５０６）の第１の画像（２００）を取得するように構成された撮像ユニット（１０２）であって、前記第１のカメラチャネルが、前記視野内の一又は複数のオブジェクト（２１２、２２０）が放射線を放出しない波長の放射線をフィルタリングする、前記撮像ユニット（１０２）、
    前記撮像ユニットから前記第１の画像を受け取ってその中の一又は複数のオブジェクトを検出するように構成された処理ユニット（１０４）、及び
    検出された前記一又は複数のオブジェクト（２２０）に基づいて決定された衝突危険情報を前記パイロット制御システム（１５０）に伝達するように構成された通知ユニット（１０８）
    を含む検出及び回避システム（１００）と
    を備える航空ビークル（５００）。
  15. 前記波長が紫外域内にあり、前記第１のカメラチャネルが、紫外域内にバンドパス波長域を有するフィルタ（１１２Ａ）の使用により放射線をフィルタリングすること、
    前記第１の画像を処理することが、地平線検出（１２２）を含むこと、
    前記第１の画像を処理することが、一の基準により、検出された前記一又は複数のオブジェクトからの、衝突の危険がなさそうなオブジェクトの除外を選択すること（１２６）を更に含むこと、及び
    前記検出及び回避システムが、検出された前記一又は複数のオブジェクトに基づいて衝突危険情報を決定するように構成された分析ユニット（１０６）を更に備えること
    のうちの少なくとも一つに当てはまる、請求項１４に記載の航空ビークル。
JP2018147094A 2017-08-11 2018-08-03 自動検出及び回避システム Active JP7236827B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/675,591 2017-08-11
US15/675,591 US10515559B2 (en) 2017-08-11 2017-08-11 Automated detection and avoidance system

Publications (2)

Publication Number Publication Date
JP2019061659A true JP2019061659A (ja) 2019-04-18
JP7236827B2 JP7236827B2 (ja) 2023-03-10

Family

ID=62791641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018147094A Active JP7236827B2 (ja) 2017-08-11 2018-08-03 自動検出及び回避システム

Country Status (6)

Country Link
US (2) US10515559B2 (ja)
EP (1) EP3444748B1 (ja)
JP (1) JP7236827B2 (ja)
CN (1) CN109387828B (ja)
AU (1) AU2018214066B2 (ja)
CA (1) CA3002083C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021192080A1 (ja) * 2020-03-25 2021-09-30

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963133B2 (en) 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10431105B2 (en) * 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
CN113848971A (zh) * 2017-07-10 2021-12-28 深圳市道通智能航空技术股份有限公司 飞行器的控制方法及装置、飞行器
US10399699B1 (en) * 2017-07-10 2019-09-03 Autel Robotics Co., Ltd. Aircraft control method and apparatus and aircraft
US11136138B2 (en) 2017-07-10 2021-10-05 Autel Robotics Co., Ltd. Aircraft control method and apparatus and aircraft
US10515559B2 (en) 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system
FR3094081B1 (fr) * 2019-03-19 2021-02-26 Safran Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé
US11260852B2 (en) * 2019-03-26 2022-03-01 GM Global Technology Operations LLC Collision behavior recognition and avoidance
US11541882B2 (en) 2019-09-24 2023-01-03 Volvo Car Corporation Low-impact collision detection
EP3799008A1 (en) * 2019-09-26 2021-03-31 Volocopter GmbH Method of generating datasets for use in the training and validation of object detection systems
RU2755603C2 (ru) * 2019-09-30 2021-09-17 Акционерное общество "Лаборатория Касперского" Система и способ обнаружения и противодействия беспилотным летательным аппаратам
JP7259780B2 (ja) * 2020-02-21 2023-04-18 トヨタ自動車株式会社 運転支援システム
US11935220B1 (en) * 2023-08-14 2024-03-19 Shiv S Naimpally Using artificial intelligence (AI) to detect debris

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052645A (ja) * 2005-08-18 2007-03-01 Fujitsu Ltd 路面標示認識装置及びシステム
JP2014116007A (ja) * 2012-12-06 2014-06-26 Toyota Motor Engineering & Manufacturing North America Inc 物体検出パラメータ、物体認識パラメータ、又は、物体検出パラメータと物体認識パラメータの双方を調整するための方法及びロボット
US20150302591A1 (en) * 2014-04-16 2015-10-22 Hyundai Motor Company System for detecting obstacle using road surface model setting and method thereof
JP2015533109A (ja) * 2012-08-13 2015-11-19 ザ・ボーイング・カンパニーＴｈｅＢｏｅｉｎｇ Ｃｏｍｐａｎｙ ビデオ画像を用いた衝突検出
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252537B1 (en) * 1980-01-21 2001-06-26 Raytheon Company Air-to-air guidance system and method of operating same
AU2559399A (en) 1998-01-16 1999-08-02 Thresholds Unlimited, Inc. Head up display and vision system
JP2003015599A (ja) * 1998-01-22 2003-01-17 Matsushita Electric Ind Co Ltd プラズマディスプレイパネルの駆動方法
EP1202241B1 (en) 1998-09-04 2007-09-12 Matsushita Electric Industrial Co., Ltd. A plasma display panel driving method and plasma display panel apparatus capable of driving high-quality images with high luminous efficiency
EP1202214A3 (en) * 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
WO2006036398A2 (en) 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
FR2875913A1 (fr) * 2004-09-29 2006-03-31 Sea On Line Sa Systeme d'alerte anti-collision installe a bord d'un vehicule marin et procede d'analyse anti-collision
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
EP2159779B1 (en) * 2008-08-27 2013-01-16 Saab Ab Using image sensor and tracking filter time-to-go to avoid mid-air collisions
US8587770B1 (en) * 2008-09-24 2013-11-19 Jetprotect Corporation Aircraft collision warning system
US7889115B2 (en) * 2009-01-30 2011-02-15 The Boeing Company System and method for tracking and identifying aircraft and ground equipment
US9395264B2 (en) * 2011-06-14 2016-07-19 The Boeing Company Blunt impact test apparatus and method
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
US9747802B2 (en) * 2011-09-19 2017-08-29 Innovative Wireless Technologies, Inc. Collision avoidance system and method for an underground mine environment
US9091762B2 (en) * 2011-10-27 2015-07-28 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US8886372B2 (en) * 2012-09-07 2014-11-11 The Boeing Company Flight deck touch-sensitive hardware controls
WO2014100741A2 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
DE102013206915A1 (de) 2013-04-17 2014-10-23 Continental Teves Ag & Co. Ohg Vorrichtung, System und Verfahren zur Identifizierung belebter Verkehrsobjekte sowie Verwendung des Systems
CN106662636B (zh) * 2014-07-08 2020-12-25 巴斯夫欧洲公司 用于确定至少一个对象的位置的检测器
EP3399381A1 (en) * 2014-09-05 2018-11-07 SZ DJI Technology Co., Ltd. Context-based flight mode selection
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US20160282131A1 (en) * 2015-03-23 2016-09-29 Gulfstream Aerospace Corporation X-band avian radar detection and warning system
CN105371818A (zh) * 2015-11-30 2016-03-02 湖北易瓦特科技股份有限公司 测距避障仪和无人机测距避障的方法
US20180091797A1 (en) * 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
US11094208B2 (en) * 2016-09-30 2021-08-17 The Boeing Company Stereo camera system for collision avoidance during aircraft surface operations
US10453351B2 (en) * 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10515559B2 (en) 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052645A (ja) * 2005-08-18 2007-03-01 Fujitsu Ltd 路面標示認識装置及びシステム
JP2015533109A (ja) * 2012-08-13 2015-11-19 ザ・ボーイング・カンパニーＴｈｅＢｏｅｉｎｇ Ｃｏｍｐａｎｙ ビデオ画像を用いた衝突検出
JP2014116007A (ja) * 2012-12-06 2014-06-26 Toyota Motor Engineering & Manufacturing North America Inc 物体検出パラメータ、物体認識パラメータ、又は、物体検出パラメータと物体認識パラメータの双方を調整するための方法及びロボット
US20150302591A1 (en) * 2014-04-16 2015-10-22 Hyundai Motor Company System for detecting obstacle using road surface model setting and method thereof
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADMIN: "Object Counting using Connected Component Labelling", [ONLINE], JPN7022003036, 18 June 2017 (2017-06-18), ISSN: 0004817098 *
PRASAD S.HALGAONKAR: "Connected Component Analysis and Change Detection for Images", [ONLINE], JPN7022003037, 2011, ISSN: 0004817099 *
環境省: "第１章 放射線の基礎知識 １．３ 放射線", [ONLINE], JPN7022003035, 31 March 2013 (2013-03-31), ISSN: 0004817097 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021192080A1 (ja) * 2020-03-25 2021-09-30
WO2021192080A1 (ja) * 2020-03-25 2021-09-30 日本電気株式会社 可視化制御装置、可視化システム、可視化制御方法およびプログラム記憶媒体

Also Published As

Publication number Publication date
US10515559B2 (en) 2019-12-24
US20190051191A1 (en) 2019-02-14
US11455898B2 (en) 2022-09-27
AU2018214066B2 (en) 2023-08-31
CN109387828B (zh) 2024-02-23
US20200135038A1 (en) 2020-04-30
CN109387828A (zh) 2019-02-26
EP3444748A3 (en) 2019-07-17
CA3002083A1 (en) 2019-02-11
JP7236827B2 (ja) 2023-03-10
EP3444748A2 (en) 2019-02-20
CA3002083C (en) 2021-11-16
AU2018214066A1 (en) 2019-02-28
EP3444748B1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP7236827B2 (ja) 自動検出及び回避システム
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
Cheng et al. Lane detection with moving vehicles in the traffic scenes
US10332409B2 (en) Midair collision threat detection and assessment using visual information
Dey et al. Passive, long-range detection of aircraft: Towards a field deployable sense and avoid system
WO2010129907A2 (en) Method and system for visual collision detection and estimation
Carrio et al. Obstacle detection system for small UAVs using ADS-B and thermal imaging
Kouris et al. Informed region selection for efficient uav-based object detectors: Altitude-aware vehicle detection with cycar dataset
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
Mukadam et al. Detection of landing areas for unmanned aerial vehicles
CN111898444A (zh) 一种基于图像识别的飞机起落架状态判定方法
AU2020102304A4 (en) I-Drone: INTELLIGENT DRONE TO DETECT THE HUMAN AND PROVIDE HELP
Huang et al. Image-based sense and avoid of small scale UAV using deep learning approach
Farhadmanesh et al. Implementing Haar Cascade Classifiers for Automated Rapid Detection of Light Aircraft at Local Airports
Khan et al. Translearn-yolox: Improved-yolo with transfer learning for fast and accurate multiclass uav detection
Martin et al. A dataset of stationary, fixed-wing aircraft on a collision course for vision-based sense and avoid
Rajput et al. Hazard detection on runways using image processing techniques
Dolph et al. An Improved Far-Field Small Unmanned Aerial System Optical Detection Algorithm
Dumont et al. AWARE: A video monitoring library applied to the air traffic control context
Naseri et al. Detection of drones with YOLOv4 deep learning algorithm
Chakraborty et al. A Machine Learning based approach to Detect Birds over and around the Runway before they Strike the Aircrafts
Vasilopoulos et al. Autonomous Object Detection Using a UAV Platform in the Maritime Environment
Barresi et al. Airport markings recognition for automatic taxiing
Dolph Detection, Tracking, and Classification of Aircraft and Birds from Multirotor Small Unmanned Aircraft Systems
Driessen Object tracking in a computer vision based autonomous see-and-avoid system for unmanned aerial vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230228

R150 Certificate of patent or registration of utility model

Ref document number: 7236827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150