CN109387828A - 自动检测和规避系统 - Google Patents

自动检测和规避系统 Download PDF

Info

Publication number
CN109387828A
CN109387828A CN201810529134.0A CN201810529134A CN109387828A CN 109387828 A CN109387828 A CN 109387828A CN 201810529134 A CN201810529134 A CN 201810529134A CN 109387828 A CN109387828 A CN 109387828A
Authority
CN
China
Prior art keywords
image
detection
carrier
detected
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810529134.0A
Other languages
English (en)
Other versions
CN109387828B (zh
Inventor
A·Y·莫谢尔
C·B·斯皮内利
M·E·库克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109387828A publication Critical patent/CN109387828A/zh
Application granted granted Critical
Publication of CN109387828B publication Critical patent/CN109387828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Vascular Medicine (AREA)

Abstract

自动检测和规避系统。总体上，本公开的特定示例提供一种用于载具的检测和规避系统。根据各种示例，该检测和规避系统包括成像单元，其被配置为在第一相机通道处获得视野的第一图像。该第一相机通道过滤一波长的辐射，其中所述视野中的一个或更多个对象没有发射所述波长的辐射。该检测和规避系统还包括：处理单元，其被配置为从成像单元接收第一图像并检测其中的一个或更多个对象；以及通知单元，其被配置为将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。因此，引航控制操纵载具以规避所检测到的对象。

Description

自动检测和规避系统
技术领域
本公开总体上涉及碰撞检测和规避系统，更具体地讲，涉及利用阈值图像来自动碰撞检测和规避的系统和方法。
背景技术
无人驾驶空中载具(UAV)、遥控引航或自引航飞行器经常负责执行超出传统监视和目标跟踪的各种功能。UAV尽管小且重量轻，但是可承载相机、传感器、通信设备或其它有效载荷。然而，为了在共享空域中安全地操作，UAV需要距所有类型的空中碰撞危险(例如，有人驾驶飞行器、其它UAV、鸟类和低空障碍物)安全距离自己引航。
诸如交通碰撞规避系统(TCAS)和自动相关监视-广播(ADS-B)的传统自动检测和规避系统对于尺寸相对较小的载具或UAV而言可能不切实际。特别是，在UAV上使用这些传统设备可能给UAV的非常有限的设备承载能力带来显著的重量和功耗。此外，诸如TCAS和应答机的设备的成本高。另外，标准TCAS设备无法与未配备配套设备的非协作飞行或静止(非移动)对象交互。因此，在这些情况下，标准TCAS设备无法引导UAV远离碰撞。
因此，需要用于UAV的紧凑、重量轻且经济的机载碰撞检测和规避系统以自动地检测并规避空中交通碰撞。
发明内容
以下呈现本公开的简要总结以便提供本公开的特定示例的基本理解。本发明内容不是本公开的广泛概述，并且其并非标识本公开的关键/重要要素或划定本公开的范围。其唯一目的是以简化形式呈现本文所公开的一些概念，作为稍后呈现的更详细描述的序言。
总体来说，本公开的特定示例提供了用于碰撞检测和规避的系统、方法和载具。根据各种示例，提供了一种用于载具的检测和规避系统，其包括被配置为在第一相机通道处获得视野的第一图像的成像单元。第一相机通道过滤一波长的辐射，其中视野中的一个或更多个对象不发射该波长的辐射。该检测和规避系统还包括：处理单元，其被配置为从成像单元接收第一图像并检测其中的一个或更多个对象；以及通知单元，其被配置为将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。
在一些示例中，该检测和规避系统的第一相机通道过滤辐射的波长在紫外线(UV)范围内，并且第一相机通道利用具有在紫外线范围内的带通波长范围的滤光器来过滤辐射。
在一些示例中，该检测和规避系统的第一图像的处理包括地平线检测。在一些示例中，地平线检测包括通过添加邻近像素以包括从地平线区域的边缘延伸的地面对象来使地平线区域生长。
在一些示例中，利用连通组件标记(CCL)来检测所述一个或更多个对象。在一些示例中，第一图像的处理还包括按照标准从所检测到的一个或更多个对象选择以排除不太可能是碰撞危险的对象。
在一些示例中，该检测和规避系统还包括分析单元，其被配置用于基于所检测到的一个或更多个对象确定碰撞危险信息。在一些示例中，分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
在一些示例中，成像单元还被配置为在第二相机通道处获得基本上相同的视野的第二图像，该第二相机通道不过滤所述波长的辐射。处理单元被配置为在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域，并且在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域。该检测和规避系统还包括分析单元，其被配置为基于一个或更多个第一区域和一个或更多个第二区域来确定碰撞危险信息。在一些示例中，第二图像是彩色图像。
在一些示例中，分析单元包括学习机制以在识别时对对象进行分类。在一些示例中，除了分类之外，分析单元在识别时为所述一个或更多个对象生成区域分割。在一些示例中，该检测和规避系统用于无人驾驶载具。在一些示例中，该检测和规避系统用于无人驾驶空中载具。
在本公开的另一示例中，提供了一种载具的检测和规避方法，其包括在第一相机通道处获得视野的第一图像。第一相机通道过滤一波长的辐射，其中视野中的一个或更多个对象不发射该波长的辐射。该方法还包括处理第一图像以检测一个或更多个对象，并且将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。
在一些示例中，第一相机通道过滤辐射的波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围内的带通波长范围的滤光器来过滤辐射。
在一些示例中，第一图像的处理包括地平线检测。在一些示例中，地平线检测包括通过添加邻近像素以包括从地平线区域的边缘延伸的地面对象来使地平线区域生长。在一些示例中，利用连通组件标记(CCL)来检测所述一个或更多个对象。在一些示例中，第一图像的处理还包括按照标准从所检测到的一个或更多个对象选择以排除不太可能是碰撞危险的对象。
在一些示例中，该方法还包括将所检测到的一个或更多个对象传送给分析单元以确定碰撞危险信息。在一些示例中，分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
在一些示例中，该方法还包括在第二相机通道处获得基本上相同的视野的第二图像，该第二相机通道不过滤所述波长的辐射。该方法还包括在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域，并且在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域。该方法还包括将一个或更多个第一区域和一个或更多个第二区域传送给分析单元以确定碰撞危险信息。在一些示例中，第二图像是彩色图像。
在一些示例中，分析单元包括学习机制以在识别时对对象进行分类。在一些示例中，除了分类之外，分析单元在识别时为所述一个或更多个对象生成区域分割。
在一些示例中，该方法还包括执行操纵以规避所检测到的一个或更多个对象。在一些示例中，该方法操纵载具。在一些示例中，所述载具是无人驾驶陆地载具；在一些其它示例中，所述载具是无人驾驶空中载具。
在本公开的另一示例中，提供了一种航空载具，其包括引航控制系统以及检测和规避(DAA)系统。该检测和规避系统包括成像单元，其被配置为在第一相机通道处获得视野的第一图像。第一相机通道过滤一波长的辐射，其中视野中的一个或更多个对象不发射该波长的辐射。该检测和规避系统还包括：处理单元，其被配置为从成像单元接收第一图像并检测其中的一个或更多个对象；以及通知单元，其被配置为将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给引航控制系统。
在一些示例中，第一相机通道过滤辐射的波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围内的带通波长范围的滤光器来过滤辐射。
在一些示例中，第一图像的处理包括地平线检测。在一些示例中，第一图像的处理还包括按照标准从所检测到的一个或更多个对象选择以排除不太可能是碰撞危险的对象。
在一些示例中，该检测和规避系统还包括分析单元，其被配置用于基于所检测到的一个或更多个对象来确定碰撞危险信息。
在一些示例中，该航空载具的检测和规避系统的成像单元还被配置为在第二相机通道处获得基本上相同的视野的第二图像，该第二相机通道不过滤所述波长的辐射。该航空载具的检测和规避系统的处理单元还被配置为在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域，并且在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域。该航空载具的检测和规避系统还包括分析单元，其被配置为基于一个或更多个第一区域和一个或更多个第二区域来确定碰撞危险信息。在一些示例中，第二图像是彩色图像。
在一些示例中，该航空载具的检测和规避系统的分析单元包括学习机制以在识别时对对象进行分类。在一些示例中，除了分类之外，该航空载具的检测和规避系统的分析单元在识别时为所述一个或更多个对象生成区域分割。
在一些示例中，该航空载具的引航控制系统操纵载具以规避所检测到的一个或更多个对象。在一些示例中，航空载具是无人驾驶的。
在本公开的另一示例中，提供了一种非暂时性计算机可读介质，其包括被配置用于由计算机系统执行以用于载具的检测和规避的一个或更多个程序。所述一个或更多个程序包括用于在第一相机通道处获得视野的第一图像的指令。第一相机通道过滤一波长的辐射，其中视野中的一个或更多个对象不发射该波长的辐射。所述指令还包括处理第一图像以检测一个或更多个对象，并且将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。
在一些示例中，第一相机通道过滤辐射的波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围内的带通波长范围的滤光器来过滤辐射。
在一些示例中，所述指令还包括将所检测到的一个或更多个对象传送给分析单元以确定碰撞危险信息。在一些示例中，分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
在一些示例中，所述指令还包括在第二相机通道处获得基本上相同的视野的第二图像，该第二相机通道不过滤所述波长的辐射。所述指令还包括在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域，并且在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域。所述指令还包括将一个或更多个第一区域和一个或更多第二区域传送给分析单元以确定碰撞危险信息。在一些示例中，第二图像是彩色图像。
在一些示例中，分析单元包括学习机制以在识别时对对象进行分类。在一些示例中，除了分类之外，分析单元在识别时为所述一个或更多个对象生成区域分割。在一些示例中，引航控制系统操纵载具以规避所检测到的一个或更多个对象。
附图说明
通过参考以下结合附图进行的描述，可最佳地理解本公开，附图示出了本公开的特定示例。
图1示出根据本公开的一个或更多个示例的用于载具的示例检测和规避系统的示意性框图。
图2示出根据本公开的一个或更多个示例的示例检测和规避系统的处理的各个阶段的中间图像序列。
图3示出根据本公开的一个或更多个示例的分析所检测到的对象的示例检测和规避系统的详细示意性框图。
图4A至图4B示出根据本公开的一个或更多个示例的用于检测和规避载具的碰撞危险的示例方法的流程图。
图5示出根据本公开的一个或更多个示例的配备有示例检测和规避系统并且在另一飞行器附近的无人驾驶空中载具(UAV)的立体图。
图6示出能够实现根据本公开的一个或更多个示例的各种处理和系统的示例系统的示意性框图。
具体实施方式
现在将详细参考本公开的一些具体示例，包括发明人考虑用于实现本公开的最佳模式。这些具体示例的例子示出于附图中。尽管结合这些具体示例描述本公开，将理解，其并非旨在将本公开限于所描述的示例。相反，其旨在涵盖可包括在由所附权利要求书限定的本公开的精神和范围内的替代、修改和等同物。
在以下描述中，阐述了众多具体细节以便提供本公开的彻底理解。本公开的特定示例可在没有这些具体细节中的一些或全部的情况下实现。在其它情况下，没有详细描述熟知处理操作，以免不必要地模糊本公开。
为了清晰，本公开的各种技术和机制有时将以单数形式来描述。然而，应该注意的是，除非另外说明，否则一些示例包括技术的多次迭代或机制的多个实例。例如，系统在各种背景下使用一个处理器。然而，将理解，除非另外说明，否则系统可使用多个处理器，同时仍在本公开的范围内。此外，本公开的技术和机制有时将描述两个实体之间的连接。应该注意的是，两个实体之间的连接未必意指直接、无阻碍的连接，因为各种其它实体可驻留在这两个实体之间。例如，处理器可连接到存储器，但是将理解，各种桥和控制器可驻留在处理器和存储器之间。因此，除非另外说明，否则连接未必意指直接、无阻碍的连接。
概览
本公开提供了一种用于载具(例如，无人驾驶空中载具(UAV))的检测和规避系统，其使用阈值(第一)图像来检测碰撞危险对象，以遮掩(mask out)形成碰撞危险的阈值对象。在检测到阈值对象时，检测和规避系统通知载具的引航控制系统(例如，自动引航控制系统)根据基于所检测的对象确定的碰撞危险信息执行规避操纵。
在一些示例中，检测和规避系统还包括分析单元，其采用机器学习能力来识别由此检测的阈值对象。因此，关于所检测到的对象的分类信息被进一步标识并因此用于确定传送给载具的引航控制系统的碰撞危险信息。在一些示例中，检测和规避系统还包括被训练用于在第一图像中检测对象的机器学习系统。
示例
图1示出根据本公开的一个或更多个示例的用于载具的示例检测和规避系统的示意性框图。检测和规避系统100将碰撞危险信息传送给载具的引航控制系统150(例如，自动引航控制系统)，以使得载具被相应地操纵以规避与所检测到的形成碰撞危险的对象碰撞。如本文所示，系统100包括第一相机通道112，在该第一相机通道112处仅特定波长的辐射或光被允许通过以便于成像单元102捕获视野的第一图像。换言之，第一图像仅使用指定的特定波长的光或辐射记录视野，而特定波长以外的波长的辐射或光被滤除。在一些示例中，第一图像被生成为二值图像，其中给定像素或者为“ON”或者为“OFF”。例如，像素如果为黑色或暗的，则可被标记为“ON”；如果为白色或亮的，则可被标记为“OFF”。在一些示例中，第一图像被阈值化为二值图像，其中值大于预定阈值的像素被标记为“ON”；如果小于预定阈值，则标记为“OFF”。
当视野中的一些对象没有发射或再发射该波长的辐射时，在第一相机通道112处捕获的第一图像将那些对象表示为暗像素或ON像素。相反，由指定的特定波长的辐射或光照射的区域以及发射或再发射该指定的特定波长的辐射的对象在第一图像中被表示为白色像素或OFF像素。例如，太阳作为UV辐射源，阳光照射的天空在UV照片中被捕获为白色背景或在OFF像素中。同时，由于飞行器阻挡了来自太阳的UV范围内的辐射，并且飞行器没有发射或再发射UV辐射，所以在上述天空中的空中飞行器被捕获在暗或ON像素中。在吸收或阻挡可见和红外光的同时允许UV范围内的光通过的各种UV滤光器可用于第一相机通道处的UV摄影。这些UV滤光器可由特殊的有色玻璃制成和/或可涂覆有附加滤光玻璃以进一步阻挡不想要的波长。
在一些示例中，第一相机通道112处指定的特定波长在紫外线(UV)范围内。在一些示例中，在第一相机通道112处，利用具有在紫外线(UV)范围内的带通波长范围的UV滤光器112A捕获UV范围内的辐射。在一些示例中，这种示例性UV滤光器可以是可得自德国马门多夫的Baader Planetarium有限公司的Baader-U滤光器型号#2458291，或者可得自美国新罕布什尔州威尔顿的UVR Defense Tech有限公司的StraightEdgeU紫外线带通滤光器型号379BP52。
在一些示例中，检测和规避系统100还包括第二相机通道114，在该第二相机通道114处成像单元102捕获基本上与在第一相机通道112处获得第一图像的视野相同的视野的第二图像。给定第一相机通道112过滤辐射的波长的信息，第二相机通道114被配置为不过滤相同波长的辐射。因此，没有发射或没有再发射辐射的对象或者没有被该波长的辐射照射的区域仍然被捕获在第二图像中，而非仅作为暗或ON像素。例如，第二相机通道可以是将第二图像捕获为彩色图像的RGB相机通道。对于上述空中飞行器示例，飞行器可在第二图像中以颜色来表示。在一些示例中，第二相机通道过滤为第一相机通道指定进行过滤的波长以外的波长的辐射。
在获得第一图像时，成像单元102将第一图像传送给处理单元104。在一些示例中，第一图像是UV图像，其中在第一相机通道112处使用UV滤光器以过滤UV范围内的波长。在一些示例中，处理单元104包括用于地平线检测122、对象检测124、对象选择126和处理对象图像生成128的子单元以便处理所获得的第一图像。上述这些子单元将参照图2和图4A和图4B进一步详细描述。
在一些示例中，在对象选择子单元126确定一个或更多个检测到的对象是碰撞危险时，处理单元104与通知单元108通信，通知单元108继而将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统150。在一些示例中，这种选择单元还具有机器学习能力，使得可基于稍后由检测和规避系统或者由载具的其它系统提供或收集的数据和反馈训练和改进选择碰撞危险对象的标准。
在一些其它示例中，处理单元104将处理的第一图像和第二图像传送给分析单元106。根据各种示例，为了分类或标识所检测到的对象，分析单元106采用各种识别系统和工具。由分析单元106生成的分类或标识结果以及从其确定的碰撞危险信息被传送给通知单元108。在一些示例中，分类信息被馈送以训练上述选择子单元仅利用UV图像进行碰撞危险对象的选择。在一些示例中，这些识别或标识系统和工具具有机器学习能力。在一些示例中，分析单元106包括单通道分类器142。在一些其它示例中，分析单元106包括多通道分类器144。单通道分类器142和多通道分类器144将参照图3进一步详细描述。
在从处理单元104或分析单元106接收到碰撞危险信息时，通知单元108将碰撞危险信息传送给引航控制系统150。在一些示例中，引航控制系统150是用于载具的自动引航控制系统。给定所接收的碰撞危险信息，可相应地生成规避操纵的选项(例如，计算替代飞行路径、调节其自己的速度或高度等)。在一些示例中，考虑载具自己的飞行状态(例如，高度和速度数据)来确定规避操纵。结果，引航控制系统150操纵载具以规避所检测到的碰撞危险。
图2示出根据本公开的一个或更多个示例的用于载具的示例检测和规避系统的处理的各个阶段的中间图像序列。在序列中从阶段(A)开始，由检测和规避系统的处理单元接收在第一相机通道处捕获的传入UV图像200。传入UV图像200被示出为在其视野中包括诸如云对象212、空中对象220、具有地平线边缘214A的地平线214以及与之连接的多个地面对象214B(例如，房屋和汽车等)的示例对象。为了例示简单，本文中仅描绘了一个云对象212和一个空中对象220。在各种示例中，一种类别的对象的数量或者对象类型或对象类别的数量不受限制。
在阶段(B)，为了聚焦于位于地平线以上的感兴趣对象，对图像200执行地平线检测处理。首先，检测地平线边缘或地平线214A以确定图像中地平线所占据的像素区域。接下来，地平线边缘214A以下的区域(地平线区域)利用例如泛洪填充来填充，使得整个地平线区域均匀地处于暗或“ON”像素中(如阴影线区域所指示的)。在一些示例中，例如从内侧的位置向外朝着地平线边缘214A执行泛洪填充。在一些其它示例中，从地平线边缘214A向内朝着区域内侧执行泛洪填充。然后，使地平线区域214生长以向区域添加一个或更多个邻近像素，直至地面对象214B被完全包括或没入在地平线区域中。如本文所示，地平线区域214向上生长到天空区域中以形成新的边缘216(如虚线所指示的)，生长的边缘216将下面的所有地面对象214B(例如，房屋和汽车等)包围在地平线区域214中，而没有任何地面对象从其向上突出。
在各种示例中，可通过任何区域生长处理来执行地平线区域生长。例如，要添加到地平线区域的一个或更多个邻近像素满足添加的预定阈值标准。作为阶段(B)的处理结果，生成中间图像202，其包含被修改为具有升高的新边缘216的地平线区域214。
在阶段(C)，中间图像202被进一步处理以移除新的地平线边缘或地平线216以下的整个地平线区域214。结果，生成仅包含空中对象220和云对象212的中间图像204。
在阶段(D)，中间图像204被进一步处理，以检测包含在其中的一个或更多个感兴趣对象。根据本公开的各种示例，可使用任何合适的计算机视觉技术来检测中间图像204中的对象。例如，在一些示例中，使用连通组件标记(CCL)来标识和标记图像中的对象。在CCL下，密度值差异小于预定阈值的邻近像素被认为连通并且是同一对象的部分。因此，向那些像素指派相同的对象标记。如本文所示，利用CCL将空中对象220和云对象212二者标识为连通组件。换言之，通过应用CCL，二者均是中间图像206中的感兴趣的候选检测对象。同样，为了简单，本文中仅示出一个云对象和一个空中对象通过CCL技术检测。可利用CCL检测的组件或对象的数量不受限制。在一些示例中，在应用CCL之前对图像预处理以防止CCL将多个对象生长在一起。
在一些示例中，针对通过CCL标记的一个或更多个对象执行进一步的形态学操作(例如，扩张和/或侵蚀)以从一个或更多个标记的对象处理或移除噪声像素。在一些示例中，利用扩张和侵蚀的这种处理根据需要被重复多次，以移除噪声像素。在一些示例中，进一步处理的一个或更多个对象被进一步筛选以选择用于候选碰撞危险对象。换言之，从所检测到的一个或更多个对象排除当通过多种规则或标准判断时不太可能是碰撞危险的对象。在一些示例中，选择标准是对象的大小。例如，当对象(例如，云对象212)占据中间图像206的大于预定阈值(例如，30％)的区域时，这种对象被认为极有可能是云并且不太可能是空中碰撞危险。在一些示例中，给定相机分辨率、距对象的距离和载具的速度的信息，可计算潜在空中碰撞危险或对象的最大尺寸。因此，尺寸大于所计算的尺寸的对象由于太大而不是危险，所以可被排除。在一些示例中，从经验数据推导选择标准(例如，百分比阈值)。在一些示例中，通过利用反馈数据训练的机器学习系统来确定诸如百分比阈值的选择标准。
在一些示例中，对象区域根据其相应尺寸来排序。例如，一个区域可被标识为最小区域，而另一区域被标识为最大区域。在一些示例中，可获得区域的预定最小和/或最大尺寸以使得尺寸小于最小尺寸或者尺寸大于最大尺寸的区域将被认为是非候选对象。同样，相应最小和最大尺寸可从经验数据推导，或者使用利用反馈数据训练的机器学习系统来确定。
如这里所示，云对象212在中间图像206中占据太大区域，因此不被选择为检测到的碰撞危险对象。另一方面，空中对象220被选择为由检测和规避系统检测到的对象。因此，从通过CCL处理标记的对象移除云对象212。作为阶段(D)的处理结果，生成仅包含空中飞行器对象220的中间图像208。在一些示例中，中间图像208用作掩模或阈值图像，其仅包含和限定原始传入第一图像200中与感兴趣区域对应的ON像素的区域。换言之，掩模图像208可用作阈值以帮助用于基于视觉的碰撞检测和规避的区域寻找算法。如本文所示，空中飞行器220是掩模图像208中描绘的仅有对象。
在阶段(E)，参照在第二相机通道处捕获的传入彩色图像250，生成空中对象220的颜色剪切图像230和/或将中间图像208和第二图像250组合的图像232作为在阶段(F)输出的最终中间图像。在一些示例中，基于所生成的掩模图像，在第一图像中标识一个或更多个第一区域。由于第一和第二图像捕获基本上相同的视野，所以相应地标识第二图像中与所述一个或更多个第一区域对应的一个或更多个第二区域。如本文所示，通过针对第一图像中的飞行器对象220使用框222，在第二图像250中标识相同飞行器对象220的对应区域252。在一些示例中，使用框222来切出框252以创建剪切图像230。在一些其它示例中，通过将掩模图像208与第二图像250合并来生成组合图像232。如本文所示，组合图像232仅描绘了框234内检测到的对象(空中飞行器220)。
图3示出根据本公开的一个或更多个示例的分析所检测到的对象的示例检测和规避系统的详细示意性框图。在一些示例中，检测和规避系统(未示出)的处理单元302将如上所述从第一图像和第二图像处理的剪切图像312输出到分析单元304。在一些其它示例中，处理单元302将如上所述从第一图像和第二图像处理的组合图像314输出到分析单元304。在一些示例中，第一图像是UV图像，其将视野中没有发射或没有再发射UV范围内的波长的辐射的一个或更多个对象表示在暗或ON像素中。
根据本公开的各种示例，当剪切图像312作为处理单元302对第一和第二图像的处理结果被传送给分析单元304时，使用单通道分类器316来分析剪切图像312。在本公开的各种示例中，单通道分类器316使用已被训练为根据对应种类和类别来标识和标记像素的机器学习系统以对剪切图像的对象进行分类。在一些示例中，单通道分类器316包括(例如但不限于)AlexNet、GoogLeNet或者任何合适的神经网络。在一些示例中，神经网络系统可以是卷积神经网络。在一些示例中，神经网络可包括多个计算层。
这种神经网络可被训练以对各种对象类别(例如但不限于，各种类型的飞行器、鸟等)进行分类。神经网络还可生成像素为对象类别的概率结果。例如，神经网络可生成分类数据，其表明包含在剪切图像312中的飞行器有0％的概率是波音787梦想飞机，有5％的概率是F-16战斗机，有95％的概率是波音T-X教练机，有15％的概率是GA喷气机。
根据本公开的各种示例，当来自处理的第一图像和第二图像二者的组合图像314被传送给分析单元304时，使用分析单元304的多通道分类器318来分析组合图像314。在本公开的各种示例中，多通道分类器318使用已被训练为根据对应种类和类别来标识和标记像素的机器学习系统以对组合图像314的对象进行分类，以及对对象执行分割(例如，边界框)。在一些示例中，多通道分类器318包括(例如但不限于)DetectNet、FCN-8(Berkeley)、PVAnet、YOLO、DARTnet或者任何合适的商业和/或专有神经网络。在一些示例中，神经网络系统可以是卷积神经网络。在一些示例中，神经网络可包括多个计算层。
给定种类及其相应概率的结果向量，分析单元304将所检测到的飞行器对象分类为最有可能是T-X教练机，并将对象分类320传送给通知单元306。当使用多通道分类器318时，除了对象分类322之外，对象分割324(用于第二图像中的飞行器对象220的边界框)也被传送给通知单元306。因此，基于分类信息或者分类信息和分割信息二者来确定碰撞危险信息。例如，可咨询用于T-X教练机的飞行器的特性的数据库以确定其能够达到的最大速度，以计算在没有规避操纵的情况下所检测到的T-X教练机需要多久与载具相遇。
图4A和图4B示出根据本公开的一个或更多个示例的用于载具的碰撞危险检测和规避的示例方法400的流程图。在各种示例中，方法400操作检测和规避系统100以检测并将所检测到的碰撞危险传送给载具的引航控制系统(例如，自动引航控制系统)，使得载具被操纵以规避所传送的碰撞危险。
在步骤402，在第一相机通道处获得视野的第一图像或图像帧。在第一相机通道过滤特定波长的辐射的情况下，第一图像在暗或ON像素中渲染没有发射或再发射特定波长的辐射的一个或更多个对象的表示。视野中发射或再发射该波长的辐射的对象以及以该波长的辐射照射的背景被捕获为白色或OFF像素。在一些示例中，该波长在紫外线(UV)范围内。例如，诸如(但不限于)云、飞行器、鸟或地面对象(例如，房屋、高耸的塔、汽车等)和地平线的对象是没有发射或再发射UV范围内的辐射的对象。另一方面，当天空总体以来自太阳的UV范围内的辐射照射时，视野中未被没有发射或再发射UV范围内的辐射的对象遮挡的天空区域是该波长的辐射的区域。UV波长范围内的辐射的过滤可通过任何合适的技术来执行。在一些示例中，第一相机通道利用具有在紫外线(UV)范围内的带通波长范围的滤光器来过滤辐射。
在一些示例中，除了第一图像之外，在步骤412在第二相机通道处捕获第二图像或图像帧。第二图像或图像帧捕获基本上与第一相机通道捕获第一图像的视野相同的视野。与第一相机通道相反，第二相机通道不过滤为第一相机通道配置的波长的辐射。
在步骤404，处理第一图像以检测一个或更多个对象。那一个或更多个对象可形成对载具的潜在碰撞危险。根据本公开的各种示例，第一图像经过一系列处理阶段，例如地平线检测420、连通组件标记以检测对象422、以及从所检测到的对象选择对象424。在一些示例中，在步骤420，执行地平线检测以检测第一图像中捕获的地平线区域。响应于所检测到的地平线区域，第一图像被进一步处理以使地平线区域生长以便将所述区域与地面对象一起删除。在一些示例中，地平线区域被泛洪填充。接下来，在一些示例中，在步骤426，通过添加邻近像素以包括从地平线区域的边缘延伸的地面对象来使地平线区域生长。最后，作为地平线检测的结果将生长的地平线区域从第一图像移除，以使得第一图像被处理成第一图像的第一中间图像。
在步骤422，在一些示例中，通过利用连通组件标记(CCL)来检测一个或更多个对象以处理第一中间图像。此后在步骤424，在一些示例中，从所检测到的一个或更多个对象，按照标准选择以排除不太可能是碰撞危险的对象。一旦一个或更多个对象被进一步选择，那一个或更多个选择的对象就被认为是检测到的碰撞危险对象，基于所述碰撞危险对象来确定碰撞危险信息。因此，沿着到步骤410的路径，基于所检测到的一个或更多个选择的对象确定的这种碰撞危险信息被传送给载具的引航控制系统，使得引航控制系统可相应地执行规避操纵。
在一些示例中，对象的选择采用了机器学习系统，其已被训练为仅利用UV图像来选择对象。在一些示例中，机器学习系统可使用神经网络系统(可以是卷积神经网络)。在一些示例中，神经网络可包括多个计算层。
在步骤428，在第一图像中标识与在步骤424选择的一个或更多个对象对应的一个或更多个第一区域。这种第一区域可涵盖或包围所选择的整个对象。例如，第一区域可以是对象的边界框，使得第一区域是第一图像中所包围的对象的剪切区域或掩模区域。
在步骤430，在第二图像中标识与一个或更多个第一区域对应的一个或更多个第二区域。由于第二图像表示基本上与第一图像所表示的视野相同的视野，所以两个图像中的像素区域在它们表示视野中的相同对象的意义上讲彼此对应。例如，通过将第一图像中所标识的一个或更多个第一区域映射到第二图像，标识一个或更多个第二区域。
在步骤406，将所检测到的一个或更多个对象传送给分析单元以基于所检测到的对象确定碰撞危险信息。在一些示例中，在步骤432，分别在步骤428和430标识的一个或更多个第一区域和一个或更多个第二区域被传送给分析单元以确定碰撞危险信息。在一些示例中，上述剪切图像被传送给分析单元。在一些其它示例中，上述组合图像被传送给分析单元。
根据本公开的各种示例，方法400可采用机器学习系统(例如，单通道分类器316和/或多通道分类器318)来对一个或更多个对象进行分类。在一些示例中，机器学习系统对一个或更多个检测到的对象的类型或类别进行分类。在一些示例中，在识别时还针对一个或更多个对象生成区域分割。
在步骤408，基于所检测到的一个或更多个检测到的对象确定的碰撞危险信息被传送给载具的引航控制系统，使得引航控制系统可执行规避操纵。碰撞危险信息还可包括对象的特性，例如尺寸、速度、航向和/或从所检测到的一个或更多个对象的分类信息推导的其它相关信息。并且在步骤410，由载具的引航控制系统相应地执行一个或更多个规避操纵(例如，闪避操纵)以规避所检测到的一个或更多个对象。
图5示出根据本公开的一个或更多个示例的配备有示例检测和规避系统并且在另一飞行器508附近的示例无人驾驶空中载具(UAV)500的立体图。UAV 500包括引航控制系统504，其在通信上连接到检测和规避系统502。在一些示例中，检测和规避系统502在连接到多个相机503(可被定位在UAV 500的各种位置处)的相机通道(未示出)处获得图像帧。例如，相机503可被定位在UAV 500的端部，包括(例如但不限于)前端和尾端(未示出)。又如，相机503可被定位和分布成朝前、朝侧面、朝上、朝下或朝后。如本文所示，在相机503处，检测和规避系统502捕获视野506的图像，其中飞行器508看起来正从远处接近。基于针对视野506捕获的图像帧，检测和规避系统502如上所述处理和分析图像帧(例如，第一图像和第二图像)，以确定飞行器508是不是以及如何是碰撞危险。
一旦确定碰撞危险信息，检测和规避系统502将所确定的碰撞危险信息通知给UAV500的引航控制系统504，使得UAV 500执行操纵以规避所检测到的飞行器508。在一些示例中，引航控制系统是自动引航控制系统。在一些示例中，检测和规避系统502确定飞行器508如何形成碰撞危险，以使得UAV被指示相应地改变其速度和/或飞行路线以规避飞行器508。在一些示例中，基于碰撞危险信息生成一个或更多个操纵选项，并且执行解决被分类为多个类别的对象所形成的危险的一个操纵选项以最佳地规避碰撞。
图6是示出能够实现本公开中所描述的各种处理和系统的示例系统600的框图。在一些示例中，系统600可以是检测和规避系统，并且可按照存储一个或更多个程序以操作检测和规避系统的非暂时性计算机可读介质的形式来实现一个或更多个示例。根据特定示例，适合于实现本公开的特定示例的系统600包括处理器601、存储器603、接口611、总线615(例如，PCI总线或其它互连结构)和相机通道617，并且例如在检测和规避(DAA)系统内操作以为载具检测和规避碰撞危险。
在操作上连接到处理器601，相机通道617被配置为使得系统600在相机通道617处捕获图像。在一些示例中，当在适当软件或固件的控制下行动时，处理器601负责在第一相机通道处获得视野的第一图像(例如在步骤402)，处理第一图像以检测一个或更多个对象(例如在步骤404中)，将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统(例如在步骤408中)，并且执行操纵以规避所检测到的一个或更多个对象(例如在步骤410)。在一些示例中，处理器601还负责在第二相机通道处获得基本上相同视野的第二图像(例如在步骤412)，在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域(例如在步骤428)，在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域(例如在步骤430)，并且将一个或更多个第一区域和一个或更多个第二区域传送给分析单元以确定碰撞危险信息(例如在步骤406)。
在其它示例中，处理器601可负责地平线检测(例如在步骤420)，和/或利用连通组件标记(CCL)检测一个或更多个对象(例如在步骤422)，和/或从所检测到的一个或更多个对象按照标准选择以排除对象(例如在步骤424)，和/或分析所检测到的对象以对对象进行分类；和/或分析所检测到的对象以对对象进行分类并另外生成对象的分割。在一些其它示例中，处理器601可负责利用机器学习机制来分析所检测到的对象。代替处理器601或者除了处理器601之外，还可使用各种专门配置的装置。
接口611可被配置为例如经由网络发送和接收数据分组或数据段。接口支持的特定示例包括以太网接口、帧中继接口、线缆接口、DSL接口、令牌环接口等。另外，可提供各种超高速接口，例如快速以太网接口、千兆以太网接口、ATM接口、HSSI接口、POS接口、FDDI接口等。通常，这些接口可包括适合与适当介质通信的端口。在一些情况下，其还可包括独立处理器(在一些情况下，易失性RAM)。独立处理器可控制诸如分组交换、媒体控制和管理的通信密集型任务。
根据特定示例，系统600使用存储器603来存储数据和程序指令，以用于在第一相机通道处获得视野的第一图像(例如在步骤402)，处理第一图像以检测一个或更多个对象(例如在步骤404中)，将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统(例如在步骤408中)，并且执行操纵以规避所检测到的一个或更多个对象(例如在步骤410)。在一些示例中，处理器601还负责在第二相机通道处获得基本上相同视野的第二图像(例如在步骤412)，在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域(例如在步骤428)，在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域(例如在步骤430)，并且将一个或更多个第一区域和一个或更多个第二区域传送给分析单元以确定碰撞危险信息(例如在步骤406)。
在一些示例中，存储器603可存储数据和程序指令，以用于地平线检测(例如在步骤420)，和/或利用连通组件标记(CCL)检测一个或更多个对象(例如在步骤422)，和/或从所检测到的一个或更多个对象按照标准选择以排除对象(例如在步骤424)，和/或分析所检测到的对象以对对象进行分类；和/或分析所检测到的对象以对对象进行分类并另外生成对象的分割。在一些其它示例中，所存储的数据和程序指令用于利用机器学习机制来分析所检测到的对象。
此外，本公开包括根据以下条款的示例：
条款1.一种载具的检测和规避系统，包括：成像单元，其被配置为在第一相机通道处获得视野的第一图像，该第一相机通道过滤一波长的辐射，其中，视野中的一个或更多个对象没有发射所述波长的辐射；处理单元，其被配置为从成像单元接收第一图像并检测其中的一个或更多个对象；以及通知单元，其被配置为将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。
条款2.根据条款1所述的检测和规避系统，其中，所述波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器来过滤辐射。
条款3.根据条款1所述的检测和规避系统，其中，第一图像的处理包括地平线检测。
条款4.根据条款3所述的检测和规避系统，其中，所述地平线检测包括通过添加邻近像素以包括从地平线区域的边缘延伸的地面对象来使地平线区域生长。
条款5.根据条款1所述的检测和规避系统，其中，利用连通组件标记(CCL)来检测所述一个或更多个对象。
条款6.根据条款1所述的检测和规避系统，其中，第一图像的处理还包括按照标准从所检测到的一个或更多个对象选择以排除不太可能是碰撞危险的对象。
条款7.根据条款1所述的检测和规避系统，还包括被配置用于基于所检测到的一个或更多个对象确定碰撞危险信息的分析单元。
条款8.根据条款7所述的检测和规避系统，其中，分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
条款9.根据条款1所述的检测和规避系统，其中，成像单元还被配置为在第二相机通道处获得基本上相同视野的第二图像，该第二相机通道不过滤所述波长的辐射，其中，处理单元还被配置为在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域，并且在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域；并且其中，该检测和规避系统还包括被配置为基于所述一个或更多个第一区域和第二区域确定碰撞危险信息的分析单元。
条款10.根据条款9所述的检测和规避系统，其中，第二图像是彩色图像。
条款11.根据条款9所述的检测和规避系统，其中，分析单元包括学习机制以在识别时对对象进行分类。
条款12.根据条款9所述的检测和规避系统，其中，分析单元在识别时针对所述一个或更多个对象生成区域分割。
条款13.根据条款1所述的检测和规避系统，其中，通知单元通知引航控制系统执行操纵以规避所检测到的一个或更多个对象。
条款14.根据条款1所述的检测和规避系统，其中，所述载具是无人驾驶载具。
条款15.根据条款1所述的检测和规避系统，其中，所述载具是无人驾驶空中载具。
条款16.一种载具的检测和规避方法，该方法包括：在第一相机通道处获得视野的第一图像，该第一相机通道过滤一波长的辐射，其中，视野中的一个或更多个对象没有发射所述波长的辐射；处理第一图像以检测所述一个或更多个对象；以及将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。
条款17.根据条款16所述的方法，其中，所述波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器来过滤辐射。
条款18.根据条款16所述的方法，其中，第一图像的处理包括地平线检测。
条款19.根据条款18所述的方法，其中，所述地平线检测包括通过添加邻近像素以包括从地平线区域的边缘延伸的地面对象来使地平线区域生长。
条款20.根据条款16所述的方法，其中，利用连通组件标记(CCL)来检测所述一个或更多个对象。
条款21.根据条款16所述的方法，其中，第一图像的处理还包括按照标准从所检测到的一个或更多个对象选择以排除不太可能是碰撞危险的对象。
条款22.根据条款16所述的方法，该方法还包括将所检测到的一个或更多个对象传送给分析单元以确定碰撞危险信息。
条款23.根据条款22所述的方法，其中，分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
条款24.根据条款16所述的方法，该方法还包括：在第二相机通道处获得基本上相同视野的第二图像，该第二相机通道不过滤所述波长的辐射；在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域；在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域；以及将所述一个或更多个第一区域和所述一个或更多个第二区域传送给分析单元以确定碰撞危险信息。
条款25.根据条款24所述的方法，其中，下列项中的至少一个：第二图像是彩色图像；分析单元包括学习机制以在识别时对对象进行分类；以及分析单元在识别时针对所述一个或更多个对象生成区域分割。
条款26.根据条款16所述的方法，该方法还包括执行操纵以规避所检测到的一个或更多个对象。
条款27.根据条款16所述的方法，其中，下列项中的至少一个：所述载具是无人驾驶陆地载具；以及所述载具是无人驾驶航空载具。
条款28.一种航空载具，包括引航控制系统和检测和规避系统，该检测和规避系统包括：成像单元，其被配置为在第一相机通道处获得视野的第一图像，该第一相机通道过滤一波长的辐射，其中，视野中的一个或更多个对象没有发射所述波长的辐射；处理单元，其被配置为从成像单元接收第一图像并检测其中的一个或更多个对象；以及通知单元，其被配置为将基于所检测到的一个或更多个对象确定的碰撞危险信息传送给引航控制系统。
条款29.根据条款28所述的航空载具，其中，所述波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器来过滤辐射。
条款30.根据条款28所述的航空载具，其中，第一图像的处理包括地平线检测。
条款31.根据条款28所述的航空载具，其中，第一图像的处理还包括按照标准从所检测到的一个或更多个对象选择以排除不太可能是碰撞危险的对象。
条款32.根据条款28所述的航空载具，其中，该检测和规避系统还包括被配置用于基于所检测到的一个或更多个对象确定碰撞危险信息的分析单元。
条款33.根据条款28所述的航空载具，其中，成像单元还被配置为在第二相机通道处获得基本上相同视野的第二图像，该第二相机通道不过滤所述波长的辐射，其中，处理单元还被配置为在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域，并且在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域；并且其中，该检测和规避系统还包括被配置为基于所述一个或更多个第一区域和所述一个或更多个第二区域确定碰撞危险信息的分析单元。
条款34.根据条款33所述的航空载具，其中，下列项中的至少一个：第二图像是彩色图像；分析单元包括学习机制以在识别时对对象进行分类；分析单元在识别时针对所述一个或更多个对象生成区域分割；引航控制系统操纵载具以规避所检测到的一个或更多个对象；以及所述航空载具是无人驾驶的。
条款35.一种具有被配置用于由计算机执行的一个或更多个程序的非暂时性计算机可读存储介质，所述一个或更多个程序包括指令，所述指令用于：在第一相机通道处获得视野的第一图像，该第一相机通道过滤一波长的辐射，其中，视野中的一个或更多个对象没有发射所述波长的辐射；处理第一图像以检测所述一个或更多个对象；以及将基于所标识的一个或更多个对象确定的碰撞危险信息传送给载具的引航控制系统。
条款36.根据条款35所述的非暂时性计算机可读存储介质，其中，所述波长在紫外线范围内，并且第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器来过滤辐射。
条款37.根据条款35所述的非暂时性计算机可读存储介质，其中，所述指令还包括将所检测到的一个或更多个对象传送给分析单元以确定碰撞危险信息。
条款38.根据条款37所述的非暂时性计算机可读存储介质，其中，分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
条款39.根据条款35所述的非暂时性计算机可读存储介质，其中，所述指令还包括：在第二相机通道处获得基本上相同视野的第二图像，该第二相机通道不过滤所述波长的辐射；在第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域；在第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域；以及将一个或更多个第一区域和一个或更多个第二区域传送给分析单元以确定碰撞危险信息。
条款40.根据条款39所述的非暂时性计算机可读存储介质，其中，下列项中的至少一个：第二图像是彩色图像；分析单元包括学习机制以在识别时对对象进行分类；分析单元在识别时针对所述一个或更多个对象生成区域分割；以及引航控制系统操纵载具以规避所检测到的一个或更多个对象。
尽管已参照其特定示例具体地示出和描述了本公开，本领域技术人员将理解，在不脱离本公开的精神或范围的情况下，可进行所公开的示例的形式和细节上的改变。因此，本公开旨在被解释为包括落入本公开的真实精神和范围内的所有变化和等同物。尽管为了方便，上面以单数形式描述了许多组件和处理，本领域技术人员将理解，也可使用多个组件和重复的处理来实践本公开的技术。

Claims (15)

1.一种载具(500)的检测和规避系统(100)，该检测和规避系统包括：
成像单元(102)，该成像单元被配置为在第一相机通道(112)处获得视野(506)的第一图像(200)，该第一相机通道过滤一波长的辐射，其中，所述视野中的一个或更多个对象(212,220)没有发射所述波长的辐射；
处理单元(104)，该处理单元被配置为从所述成像单元接收所述第一图像并检测其中的一个或更多个对象；以及
通知单元(108)，该通知单元被配置为将基于所检测到的一个或更多个对象(220)确定的碰撞危险信息传送给所述载具的引航控制系统(150)。
2.根据权利要求1所述的检测和规避系统，其中，下列项中的至少一个：
所述波长在紫外线范围内，并且所述第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器(112A)来过滤辐射；
利用连通组件标记(CCL)来检测(124)所述一个或更多个对象(422)；
所述第一图像的所述处理还包括按照标准从所检测到的一个或更多个对象选择(126)以排除不太可能是碰撞危险的对象；
所述通知单元通知所述引航控制系统执行操纵以规避所检测到的一个或更多个对象；
所述载具是无人驾驶载具；以及
所述载具是无人驾驶空中载具。
3.根据权利要求1所述的检测和规避系统，其中，所述第一图像的所述处理包括地平线检测(122)，并且其中，所述地平线检测包括通过添加邻近像素以包括从地平线区域(214)的边缘(214A)延伸的地面对象(214B)来使所述地平线区域生长。
4.根据权利要求1所述的检测和规避系统，该检测和规避系统还包括被配置用于基于所检测到的一个或更多个对象确定碰撞危险信息的分析单元(106)，其中，所述分析单元包括学习机制(142,144)以在识别时对所述一个或更多个对象进行分类。
5.根据权利要求1所述的检测和规避系统，
其中，所述成像单元还被配置为在第二相机通道(114)处获得基本上相同视野(506)的第二图像(250)，该第二相机通道不过滤所述波长的辐射，
其中，所述处理单元还被配置为在所述第一图像中标识与所述一个或更多个对象对应的一个或更多个第一区域(222)，并且在所述第二图像中标识与所述一个或更多个第一区域对应的一个或更多个第二区域(252)；并且
其中，所述检测和规避系统还包括被配置为基于所述一个或更多个第一区域和所述一个或更多个第二区域确定碰撞危险信息的分析单元(106)。
6.根据权利要求5所述的检测和规避系统，其中，下列项中的至少一个：
所述第二图像是彩色图像，
所述分析单元包括学习机制(142,144)以在识别时对对象进行分类，以及
所述分析单元在识别时针对所述一个或更多个对象生成区域分割(234)。
7.一种载具(500)的检测和规避方法(400)，该方法包括以下步骤：
在第一相机通道(112)处获得(402)视野(506)的第一图像(200)，该第一相机通道过滤一波长的辐射，其中，所述视野中的一个或更多个对象(212,220)没有发射所述波长的辐射；
处理(404)所述第一图像以检测所述一个或更多个对象；以及
将基于所检测到的一个或更多个对象(220)确定的碰撞危险信息传送(408)给所述载具的引航控制系统(150)。
8.根据权利要求7所述的方法，其中，下列项中的至少一个：
所述波长在紫外线范围内，并且所述第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器(112A)来过滤辐射；
利用连通组件标记(CCL)来检测(124)所述一个或更多个对象(422)；以及
所述第一图像的所述处理还包括按照标准从所检测到的一个或更多个对象选择(424)以排除不太可能是碰撞危险的对象。
9.根据权利要求7所述的方法，其中，所述第一图像的所述处理包括地平线检测(420)，其中，所述地平线检测包括通过添加邻近像素以包括从地平线区域(214)的边缘(214A)延伸的地面对象(214B)来使所述地平线区域生长(426)。
10.根据权利要求7所述的方法，该方法还包括将所检测到的一个或更多个对象传送(406)给分析单元(106)以确定碰撞危险信息，其中，所述分析单元包括学习机制以在识别时对所述一个或更多个对象进行分类。
11.根据权利要求7所述的方法，该方法还包括以下步骤：
在第二相机通道(114)处获得(412)基本上相同视野(506)的第二图像(250)，该第二相机通道不过滤所述波长的辐射；
在所述第一图像中标识(428)与所述一个或更多个对象对应的一个或更多个第一区域(222)；
在所述第二图像中标识(430)与所述一个或更多个第一区域对应的一个或更多个第二区域(252)；以及
将所述一个或更多个第一区域和所述一个或更多个第二区域传送(432)给分析单元(106)以确定碰撞危险信息。
12.根据权利要求11所述的方法，其中，下列项中的至少一个：
所述第二图像是彩色图像；
所述分析单元包括学习机制(142,144)以在识别时对对象进行分类；以及
所述分析单元在识别时针对所述一个或更多个对象生成区域分割(234)。
13.根据权利要求7所述的方法，该方法还包括执行(410)操纵以规避所检测到的一个或更多个对象，其中，下列项中的至少一个：
所述载具是无人驾驶陆地载具；以及
所述载具是无人驾驶航空载具。
14.一种航空载具(500)，该航空载具包括：
引航控制系统(504)；以及
检测和规避系统(100)，该检测和规避系统包括：
成像单元(102)，该成像单元被配置为在第一相机通道(112)处获得视野(506)的第一图像(200)，该第一相机通道过滤一波长的辐射，其中，所述视野中的一个或更多个对象(212,220)没有发射所述波长的辐射；
处理单元(104)，该处理单元被配置为从所述成像单元接收所述第一图像并检测其中的一个或更多个对象；以及
通知单元(108)，该通知单元被配置为将基于所检测到的一个或更多个对象(220)确定的碰撞危险信息传送给所述引航控制系统。
15.根据权利要求14所述的航空载具，其中，下列项中的至少一个：
所述波长在紫外线范围内，并且所述第一相机通道利用具有在紫外线范围中的带通波长范围的滤光器(112A)来过滤辐射，
所述第一图像的所述处理包括地平线检测(122)，
所述第一图像的所述处理还包括按照标准从所检测到的一个或更多个对象选择(126)以排除不太可能是碰撞危险的对象，以及
所述检测和规避系统还包括被配置用于基于所检测到的一个或更多个对象确定碰撞危险信息的分析单元(106)。
CN201810529134.0A 2017-08-11 2018-05-29 自动检测和规避系统 Active CN109387828B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/675,591 US10515559B2 (en) 2017-08-11 2017-08-11 Automated detection and avoidance system
US15/675,591 2017-08-11

Publications (2)

Publication Number Publication Date
CN109387828A true CN109387828A (zh) 2019-02-26
CN109387828B CN109387828B (zh) 2024-02-23

Family

ID=62791641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810529134.0A Active CN109387828B (zh) 2017-08-11 2018-05-29 自动检测和规避系统

Country Status (6)

Country Link
US (2) US10515559B2 (zh)
EP (1) EP3444748B1 (zh)
JP (1) JP7236827B2 (zh)
CN (1) CN109387828B (zh)
AU (1) AU2018214066B2 (zh)
CA (1) CA3002083C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113291299A (zh) * 2020-02-21 2021-08-24 丰田自动车株式会社 驾驶辅助系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10431105B2 (en) * 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10963133B2 (en) 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
US11136138B2 (en) 2017-07-10 2021-10-05 Autel Robotics Co., Ltd. Aircraft control method and apparatus and aircraft
US10399699B1 (en) 2017-07-10 2019-09-03 Autel Robotics Co., Ltd. Aircraft control method and apparatus and aircraft
CN113848971A (zh) * 2017-07-10 2021-12-28 深圳市道通智能航空技术股份有限公司 飞行器的控制方法及装置、飞行器
US10515559B2 (en) 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system
FR3094081B1 (fr) * 2019-03-19 2021-02-26 Safran Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé
US11260852B2 (en) * 2019-03-26 2022-03-01 GM Global Technology Operations LLC Collision behavior recognition and avoidance
US11541882B2 (en) 2019-09-24 2023-01-03 Volvo Car Corporation Low-impact collision detection
EP3799008A1 (en) * 2019-09-26 2021-03-31 Volocopter GmbH Method of generating datasets for use in the training and validation of object detection systems
RU2755603C2 (ru) * 2019-09-30 2021-09-17 Акционерное общество "Лаборатория Касперского" Система и способ обнаружения и противодействия беспилотным летательным аппаратам
JP7231113B2 (ja) * 2020-03-25 2023-03-01 日本電気株式会社 可視化制御装置、可視化システム、可視化制御方法およびコンピュータプログラム
US11935220B1 (en) * 2023-08-14 2024-03-19 Shiv S Naimpally Using artificial intelligence (AI) to detect debris

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163309A (en) * 1998-01-16 2000-12-19 Weinert; Charles L. Head up display and vision system
US6252537B1 (en) * 1980-01-21 2001-06-26 Raytheon Company Air-to-air guidance system and method of operating same
US20020051578A1 (en) * 2000-10-31 2002-05-02 Taro Imagawa Method and apparatus for object recognition
JP2003015599A (ja) * 1998-01-22 2003-01-17 Matsushita Electric Ind Co Ltd プラズマディスプレイパネルの駆動方法
US20070188734A1 (en) * 2004-09-29 2007-08-16 Sea On Line Anti-Collision Warning System for Marine Vehicle and Anti-Collision Analysis Method
US20070210953A1 (en) * 2006-03-13 2007-09-13 Abraham Michael R Aircraft collision sense and avoidance system and method
EP2159779A1 (en) * 2008-08-27 2010-03-03 Saab Ab Using image sensor and tracking filter time-to-go to avoid mid-air collisions
US20100194622A1 (en) * 2009-01-30 2010-08-05 The Boeing Company System and method for tracking and identifying aircraft and ground equipment
CN102826234A (zh) * 2011-06-14 2012-12-19 波音公司 钝碰撞测试设备和方法
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法
CN104054115A (zh) * 2011-10-27 2014-09-17 湾流航空航天公司 用于避免地面上的飞机与障碍物之间发生碰撞的方法和系统
DE102013206915A1 (de) * 2013-04-17 2014-10-23 Continental Teves Ag & Co. Ohg Vorrichtung, System und Verfahren zur Identifizierung belebter Verkehrsobjekte sowie Verwendung des Systems
CN104603839A (zh) * 2012-08-13 2015-05-06 波音公司 使用视频图像的撞击检测
CN104603707A (zh) * 2012-09-07 2015-05-06 波音公司 驾驶舱触摸感应硬件控制
CN105009169A (zh) * 2012-12-21 2015-10-28 菲力尔系统公司 用于抑制图像中的天空区域的系统和方法
CN105517666A (zh) * 2014-09-05 2016-04-20 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
CN106662636A (zh) * 2014-07-08 2017-05-10 巴斯夫欧洲公司 用于确定至少一个对象的位置的检测器
US20170154203A1 (en) * 2015-11-30 2017-06-01 Ewatt Technology Co., Ltd. Ranging Obstacle Avoidance Instrument and Ranging Obstacle Avoidance Method for Unmanned Aerial Vehicle

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762066B1 (ko) 1998-09-04 2007-10-01 마츠시타 덴끼 산교 가부시키가이샤 고화질과 고휘도를 표시할 수 있는 플라즈마 디스플레이패널 구동방법 및 화상 표시 장치
JP2008511080A (ja) 2004-08-23 2008-04-10 サーノフ コーポレーション 融合画像を形成するための方法および装置
JP4822766B2 (ja) 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
US8587770B1 (en) * 2008-09-24 2013-11-19 Jetprotect Corporation Aircraft collision warning system
US9747802B2 (en) * 2011-09-19 2017-08-29 Innovative Wireless Technologies, Inc. Collision avoidance system and method for an underground mine environment
US10572774B2 (en) * 2012-12-06 2020-02-25 Toyota Motor Engineering & Manufacturing North America. Inc. Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters
KR101592685B1 (ko) * 2014-04-16 2016-02-12 현대자동차주식회사 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US20160282131A1 (en) * 2015-03-23 2016-09-29 Gulfstream Aerospace Corporation X-band avian radar detection and warning system
US10311302B2 (en) * 2015-08-31 2019-06-04 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US20180091797A1 (en) * 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
US11094208B2 (en) * 2016-09-30 2021-08-17 The Boeing Company Stereo camera system for collision avoidance during aircraft surface operations
US10453351B2 (en) * 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10515559B2 (en) 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252537B1 (en) * 1980-01-21 2001-06-26 Raytheon Company Air-to-air guidance system and method of operating same
US6163309A (en) * 1998-01-16 2000-12-19 Weinert; Charles L. Head up display and vision system
JP2003015599A (ja) * 1998-01-22 2003-01-17 Matsushita Electric Ind Co Ltd プラズマディスプレイパネルの駆動方法
US20020051578A1 (en) * 2000-10-31 2002-05-02 Taro Imagawa Method and apparatus for object recognition
US20070188734A1 (en) * 2004-09-29 2007-08-16 Sea On Line Anti-Collision Warning System for Marine Vehicle and Anti-Collision Analysis Method
CN101057159A (zh) * 2004-09-29 2007-10-17 锡安航运公司 用于水上运载工具的防撞报警系统以及防撞分析方法
US20070210953A1 (en) * 2006-03-13 2007-09-13 Abraham Michael R Aircraft collision sense and avoidance system and method
CN101385059A (zh) * 2006-03-13 2009-03-11 波音公司 飞机碰撞感测和规避系统和方法
EP2159779A1 (en) * 2008-08-27 2010-03-03 Saab Ab Using image sensor and tracking filter time-to-go to avoid mid-air collisions
US20100194622A1 (en) * 2009-01-30 2010-08-05 The Boeing Company System and method for tracking and identifying aircraft and ground equipment
CN102826234A (zh) * 2011-06-14 2012-12-19 波音公司 钝碰撞测试设备和方法
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法
CN104054115A (zh) * 2011-10-27 2014-09-17 湾流航空航天公司 用于避免地面上的飞机与障碍物之间发生碰撞的方法和系统
CN104603839A (zh) * 2012-08-13 2015-05-06 波音公司 使用视频图像的撞击检测
CN104603707A (zh) * 2012-09-07 2015-05-06 波音公司 驾驶舱触摸感应硬件控制
CN105009169A (zh) * 2012-12-21 2015-10-28 菲力尔系统公司 用于抑制图像中的天空区域的系统和方法
DE102013206915A1 (de) * 2013-04-17 2014-10-23 Continental Teves Ag & Co. Ohg Vorrichtung, System und Verfahren zur Identifizierung belebter Verkehrsobjekte sowie Verwendung des Systems
CN106662636A (zh) * 2014-07-08 2017-05-10 巴斯夫欧洲公司 用于确定至少一个对象的位置的检测器
CN105517666A (zh) * 2014-09-05 2016-04-20 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
US20170154203A1 (en) * 2015-11-30 2017-06-01 Ewatt Technology Co., Ltd. Ranging Obstacle Avoidance Instrument and Ranging Obstacle Avoidance Method for Unmanned Aerial Vehicle

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
COOMBES MATTHEW: ""Unmanned ground operations using semantic image segmentation through a Bayesian network"", 《UNMANNED AIRCRAFT SYSTEMS》, pages 868 - 877 *
张晟翀: ""低空背景下红外目标提取跟踪算法研究"", 《激光与红外》, vol. 40, no. 5, pages 546 - 549 *
李立春: ""基于边缘与区域特征的无人机图像地平线检测"", 《弹箭与制导学报》, vol. 29, no. 4, pages 281 - 285 *
杨善敏: ""低能见度下的地平线检测算法研究"", 《计算机工程与设计》, vol. 33, no. 1, pages 238 - 243 *
黄英东: ""一种基于图像信息的微小型飞行器姿态测量方法"", 《弹箭与制导学报》, vol. 29, no. 3, pages 9 - 13 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113291299A (zh) * 2020-02-21 2021-08-24 丰田自动车株式会社 驾驶辅助系统
CN113291299B (zh) * 2020-02-21 2024-01-02 丰田自动车株式会社 驾驶辅助系统

Also Published As

Publication number Publication date
AU2018214066A1 (en) 2019-02-28
EP3444748B1 (en) 2022-08-03
JP7236827B2 (ja) 2023-03-10
US10515559B2 (en) 2019-12-24
JP2019061659A (ja) 2019-04-18
AU2018214066B2 (en) 2023-08-31
EP3444748A3 (en) 2019-07-17
EP3444748A2 (en) 2019-02-20
US20200135038A1 (en) 2020-04-30
CN109387828B (zh) 2024-02-23
CA3002083A1 (en) 2019-02-11
US11455898B2 (en) 2022-09-27
CA3002083C (en) 2021-11-16
US20190051191A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN109387828A (zh) 自动检测和规避系统
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
US10614562B2 (en) Inventory, growth, and risk prediction using image processing
Kinaneva et al. Early forest fire detection using drones and artificial intelligence
Roosjen et al. Deep learning for automated detection of Drosophila suzukii: potential for UAV‐based monitoring
Yuan et al. UAV-based forest fire detection and tracking using image processing techniques
CN108369635B (zh) 用于航空图像获取与分析的方法
Dulava et al. Environmental reviews and case studies: applications of unmanned aircraft systems (UAS) for waterbird surveys
CN106203265A (zh) 一种基于无人机采集图像的施工扬尘污染源自动监测及影响范围预测系统及方法
Wich et al. Drones for conservation
Mukadam et al. Detection of landing areas for unmanned aerial vehicles
Passos et al. Automatic detection of Aedes aegypti breeding grounds based on deep networks with spatio-temporal consistency
FR3101432A1 (fr) Procédé et système de détection d’obstacles filaires pour aéronef
Chandana et al. Autonomous drones based forest surveillance using Faster R-CNN
Ahmad Application of machine learning in drone technology for tracking cattle movement
Kabra et al. Deep object detection for waterbird monitoring using aerial imagery
Jones et al. Controllable factors affecting accuracy and precision of human identification of animals from drone imagery
Passos et al. Toward improved surveillance of Aedes aegypti breeding grounds through artificially augmented data
CN107885231A (zh) 一种基于可见光图像识别的无人机捕获方法及系统
Majidi et al. Real time aerial natural image interpretation for autonomous ranger drone navigation
Kalmukov et al. Methods for Automated Remote Sensing and Counting of Animals
Tang et al. sUAS and Machine Learning Integration in Waterfowl Population Surveys
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
Troles et al. Task Planning Support for Arborists and Foresters: Comparing Deep Learning Approaches for Tree Inventory and Tree Vitality Assessment Based on UAV-Data
Hung et al. Vision-based shadow-aided tree crown detection and classification algorithm using imagery from an unmanned airborne vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant