CN115127544A - 用于导航的热成像系统和方法 - Google Patents

用于导航的热成像系统和方法 Download PDF

Info

Publication number
CN115127544A
CN115127544A CN202210245680.8A CN202210245680A CN115127544A CN 115127544 A CN115127544 A CN 115127544A CN 202210245680 A CN202210245680 A CN 202210245680A CN 115127544 A CN115127544 A CN 115127544A
Authority
CN
China
Prior art keywords
image data
sensor
thermal
visible spectrum
mobile platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210245680.8A
Other languages
English (en)
Inventor
C·J·波什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taili Diane Ferrier Business Systems
Original Assignee
Taili Diane Ferrier Business Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taili Diane Ferrier Business Systems filed Critical Taili Diane Ferrier Business Systems
Publication of CN115127544A publication Critical patent/CN115127544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0091—Surveillance aids for monitoring atmospheric conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本发明提供了热成像和导航系统及相关技术，以改善包括乘用载具的有人或无人移动平台的操作。一种热成像导航系统，包括热成像系统和被配置为与热成像系统通信的逻辑设备。该热成像系统包括热成像模块，该热成像模块被配置为提供与移动平台的预计路线对应的热图像数据。该逻辑设备被配置为接收热图像数据，接收与热图像数据对应的取向和/或位置数据，并至少部分地基于取向和/或位置数据和/或热图像数据生成与预计路线对应的操纵障碍物信息。

Description

用于导航的热成像系统和方法
相关申请的交叉引用
本申请要求于2021年3月10日提交的题为“THERMAL IMAGING FOR NAVIGATIONSYSTEMS AND METHODS”的美国临时专利申请No.63/159,444的优先权和权益，其全部内容通过引用并入本文。
本申请是于2021年1月7日提交的题为“VEHICULAR RADIOMETRIC CALIBRATIONSYSTEMS AND METHODS”的国际专利申请No.PCT/US2021/012554的部分继续，该国际专利申请要求于2020年1月10日提交的题为“VEHICULAR RADIOMETRIC CALIBRATION SYSTEMS ANDMETHODS”的美国临时专利申请No.62/959,602的优先权和权益，通过引用将上述两个申请的全部内容并入本文。
本申请是于2020年8月28日提交的题为“MULTISPECTRAL IMAGING FORNAVIGATION SYSTEMS AND METHODS”的国际专利申请No.PCT/US2020/048450的部分继续，该国际专利申请要求于2019年8月30日提交的题为“MULTISPECTRAL IMAGING FORNAVIGATION SYSTEMS AND METHODS”美国临时专利申请No.62/894,544的优先权和权益，通过引用将上述两个申请的全部内容并入本文。
技术领域
本发明总体上涉及多光谱成像，更具体地，涉及用于移动平台的导航的多光谱成像的系统和方法。
背景技术
现代移动平台，例如辅助或自动驾驶的有人和无人陆地载具和飞行器，包括无人飞行器(UAV)、远程操作水下载具(ROV)、无人(水)表面载具(USV)和无人地面载具(UGV)，其中任何一个都可以被配置为无人传感器平台，能够在长距离上并在所有环境(农村、城市、甚至水下)中进行操作。这样的系统的操作可包括对领航员的实时反馈和/或无人平台与远程基站之间的无线传输，远程基站通常包括显示器以高效地将平台捕获的遥测、图像和其他传感器数据传送到操作员。操作员通常可以仅依靠从移动平台接收的图像反馈或数据，在整个任务期间监控有人或无人移动平台的自动或辅助导航，并在必要时对有人或无人移动平台进行领航或以其他方式进行控制。
常规的成像系统通常过于昂贵和笨重，或者在相对常见的环境条件下缺乏足够的对比度，而无法用于载具或其他移动平台的可靠且安全的自动或辅助导航。因此，需要紧凑的成像系统和相关技术来提供可靠的场景评估，用于移动平台的导航。
发明内容
本公开提供了多光谱导航系统和相关技术，以改进有人或无人移动平台(包括辅助或自动领航的有人载具和无人传感器或勘测平台)的操作。所描述的多光谱导航系统的一个或多个实施例可以有利地包括多光谱成像系统，该多光谱成像系统包括多光谱成像模块、被配置为和与移动平台关联的基站建立无线通信链路的通信模块、被配置为测量多光谱成像系统和/或耦接的移动平台的取向和/或位置的取向和/或位置传感器、控制器以及用于测量和提供与移动平台的操纵和/或其他操作对应的传感器数据的一个或多个附加传感器，所述控制器用于控制通信模块、取向和/或位置传感器和/或移动平台的操作。
在各种实施例中，这样的附加传感器可以包括远程传感器系统，该远程传感器系统被配置为捕获勘测区域的传感器数据，从该传感器数据可以生成勘测区域的二维和/或三维空间地图。例如，导航系统可以包括一个或多个可见光谱、红外和/或紫外相机和/或耦接到移动平台的其他远程传感器系统。移动平台通常可以是飞行平台(例如，有人飞行器、UAS和/或其他飞行平台)、陆地平台(例如，机动载具)或水运平台(例如，船只或潜艇)。更一般地，用于多光谱导航系统的多光谱成像系统可以被实现为多光谱自主载具成像系统(例如，MAVIS，用于各种自主或自动领航移动平台或载具)。
在一个实施例中，一种系统包括多光谱成像系统，该多光谱成像系统包括多光谱成像模块，其被配置为提供与移动平台的预计路线对应的多光谱图像数据，以及逻辑设备，其被配置为与多光谱成像系统通信。逻辑设备可以被配置为接收与预计路线对应的多光谱图像数据；接收与多光谱图像数据对应的取向和/或位置数据；和至少部分地基于取向和/或位置数据与多光谱图像数据的组合来生成与预计路线对应的操纵障碍物信息。
在另一实施例中，一种方法包括从多光谱成像系统接收多光谱图像数据，该多光谱成像系统包括多光谱成像模块，该多光谱成像模块被配置为提供与移动平台的预计路线对应的多光谱图像数据；接收与多光谱图像数据对应的取向和/或位置数据；和至少部分地基于取向和/或位置数据与多光谱图像数据的组合生成与预计路线对应的操纵障碍物信息。
在一个实施例中，一种系统包括热成像系统，该热成像系统包括被配置为提供与移动平台的预计路线对应的热图像数据的热成像模块，和被配置为与热成像系统通信的逻辑设备。逻辑设备可以被配置为接收与预计路线对应的热图像数据；和至少部分地基于热图像数据生成与预计路线对应的操纵障碍物信息。
在另一实施例中，一种方法包括从包括热成像模块的热成像系统接收热图像数据，该热成像模块被配置为提供与移动平台的预计路线对应的热图像数据；和至少部分地基于热图像数据生成与预计路线对应的操纵障碍物信息。
本发明的范围由权利要求限定，该权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更加全面地理解本发明的实施例，并实现其附加的优点。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的实施例的多光谱导航系统的图。
图2示出了根据本公开的实施例的利用多光谱导航系统的移动平台的图。
图3示出了根据本公开的实施例的用于多光谱导航系统的多光谱成像系统的图。
图4-6示出了根据本公开的实施例的包括由用于多光谱导航系统的多光谱成像系统生成的图像的显示视图。
图7示出了根据本公开的实施例的使用多光谱导航系统提供辅助或自动领航导航的各种操作的流程图。
图8-10示出了根据本公开的实施例的包括由用于多光谱导航系统的多光谱成像系统生成的图像的显示视图。
图11是示出了根据本公开的实施例的与热成像导航系统关联的功能益处的图。
图12示出了根据本公开的实施例的利用热成像导航系统的移动平台的图。
图13A示出了根据本公开的实施例的利用热成像导航系统的移动平台的数据流图。
图13B示出了根据本公开的实施例的用于利用热成像导航系统的移动平台的更新系统的框图。
图14A-B示出了根据本公开的实施例的包括由用于热成像导航系统的热成像系统生成的图像的显示视图。
图15示出了根据本公开的实施例的使用热成像导航系统提供包括自动紧急制动的辅助或自动领航导航的各种操作的流程图。
图16A-F示出了根据本公开的实施例的包括由用于热成像导航系统的热成像系统生成的图像的显示视图。
本发明的实施例及其优点通过参考下面的详细描述得到最好的理解。应当理解，相似的附图标记用于标识一个或多个图中所示的相似元件。
具体实施方式
提供了多光谱导航系统和相关技术以提高移动平台(包括无人移动传感器平台)的操作灵活性和可靠性。用于高级驾驶员辅助系统(ADAS)的成像系统通常获取载具或移动平台周围的直接环境的实时视频图像。这样的图像可以帮助领航员(例如人类或自动驾驶仪)做出有关移动平台导航的决策，例如制动或规避操纵。当代商业ADAS相机产生的图像具有有限光谱内容或没有光谱内容：图像是RGB彩色或单色可见波段。这样的有限的光谱内容意味着在许多常见的环境条件(例如，航向和/或一天中的时间)下，实体对象可能与天空或其他遥远的背景相比几乎没有或没有对比度。
现实世界的示例可能是ADAS无法检测相对于天空/地平线相对较大的无特征地面阻碍物(例如，封闭的拖车)的情况。这样的不足可能是由可见光谱中有限的可见差异(例如颜色、亮度)引起的。这样的不足并不少见：由于天空“穹顶”的漫反射，阴天下的白色对象将往往具有与天空非常相似的亮度。本文所述的多光谱导航系统的实施例在类似条件下失效的可能性要小得多，因为实体对象极不可能在光谱波段的组合上发射或反射类似于天空中的光，该光谱波段可包括可见光谱和可见光之外的光谱，例如红外和/或紫外光谱。
呈现给成像导航系统的场景通常包括具有非常不同的近红外(NIR)、可见光(VIS)和长波UV(LWUV)光谱内容的区域。对可见光以外的光谱敏感的多光谱成像系统可以更可靠地确定场景内容的组成，例如，包括能够可靠地区分天空与其他载具、树木、灌木、建筑物或道路。因此，多光谱成像系统可以为成像导航系统提供更细微得多的数据流。
例如，在选择的波段中的同时测量提供了场景中表面材料的粗略反射/发射光谱。植被等材料反射具有独特光谱特征的阳光，而天空则发射不同的光谱。载具和路面在这样的选择的波段中的表现也与它们在可见波段中的表现不同。与许多紧密间隔的相对窄的光谱通道相比，对于多光谱相机使用少量(例如，2、3、4或5个)相对宽的光谱波段具有几个优点。更宽的光谱波段(例如，通常与宽带通滤光片关联)通常意味着将有更多的场景通量到达检测器，并在低光照条件下导致更好的曝光。更宽的光谱波段还允许更短的积分时间，从而减少了运动模糊，这是与安装在具有相对高的运动角速率的快速移动载具中的前视系统捕获的图像边缘关联的特定问题。
这样的多光谱成像捕获和处理技术也可以用于飞行器，包括无人空中系统。例如，具有自主操作能力的UAV可以实现为具有成像系统，该成像系统可以帮助人类或自动驾驶仪在不同的飞行情况下(包括在起飞、着陆和规避动作期间)做出关于要怎样做的决策。具有图像分析功能的多光谱成像系统可以提供有关物理环境的经处理的传感器信息，从而帮助领航员避开障碍物转向，例如白色空白广告牌，其可能具有与广告牌后面的阴天相同的可见波段辐射。多光谱图像还可以帮助确定植被的位置，这可以帮助移动平台避免降落在树上。多光谱图像还可以帮助移动平台知晓天空在成像场景中的位置，因为天空通常具有明显的多光谱特征。多光谱图像还可以帮助UAS可靠且准确地定位天空中的其他UAS，这对于例如UAS集群的空中操纵非常有用。
除了上述之外，实施例可以制造得相对紧凑，从而减少尺寸、重量和功率要求(相对于常规系统)，因此适合部署在各种应用(例如相对小的无人陆地载具和飞行器系统)中。现代有人和无人移动平台(包括无人传感器平台，例如无人飞行器(UAV)、远程操作水下载具(ROV)、无人(水)表面载具(USV)和无人地面载具(UGV))能够在长距离上并在所有环境中进行操作。这样的系统通常依赖于可能限制其行进范围的便携式动力源。本文所描述的实施例提供了相对轻量、紧凑且有特色的多光谱导航系统，其通常增加这样的移动平台(包括无人传感器平台)的可实现范围，这在尝试在勘测区域内相对快速且详尽地导航时可能特别有用。
在各种实施例中，多光谱图像和/或其他传感器数据可以实时或在勘测之后传输到基站，该基站可以被配置为将传感器数据与勘测区域的地图或平面图(floor plan)结合，以在地图或平面图的空间范围内在勘测地图中呈现传感器数据。这样的地图或平面图可以是二维或三维的。勘测地图可以存储在基站处，并且如果基站包括显示器，则作为图形叠加地图实时呈现给操作员/用户。例如，在操作期间，这样的地图可以为导航移动平台或定位移动平台以进行静止观察提供洞察力，或者，如果在将来时间要在同一区域进行操作，则这样的地图可以提供信息用于将来操作的路线规划。
图1示出了根据本公开的实施例的多光谱导航系统100的框图。在一些实施例中，系统100可以被配置为飞越场景，飞过结构，或接近目标并使用万向节系统122将多光谱成像系统/传感器有效载荷140瞄准场景、结构或目标或其部分和/或使用传感器托架128将环境传感器160瞄准场景、结构或目标或其部分，对场景、结构或目标或其部分成像或感测。产生的图像和/或其他传感器数据可以被处理(例如，由传感器有效载荷140、平台110和/或基站130)并通过使用用户接口132(例如，一个或多个显示器，例如多功能显示器(MFD)，便携式电子设备，例如平板计算机、膝上型计算机或智能电话，或其他适当的接口)显示给用户和/或存储在存储器中以供以后查看和/或分析。在一些实施例中，系统100可以被配置为使用这样的图像和/或其他传感器数据来控制平台110、传感器有效载荷140和/或环境传感器160的操作，如本文所述，例如控制万向节系统122使传感器有效载荷140朝向特定方向瞄准或控制推进系统124以将平台110移动和/或定向到场景或结构中的期望位置/取向或相对于目标的期望位置/取向。
在另外的实施例中，系统100可以被配置为使用平台110和/或传感器托架128来将环境传感器160定位和/或定向在场景、结构或目标或其部分处或相对于场景、结构或目标或其部分定位和/或定向。产生的传感器数据可以被处理(例如，由环境传感器160、平台110和/或基站130)并通过使用用户接口132(例如，一个或多个显示器，例如多功能显示器(MFD)、便携式电子设备，例如平板计算机、膝上型计算机或智能电话，或其他适当的接口)显示给用户和/或存储在存储器中以供以后查看和/或分析。在一些实施例中，系统100可以被配置为使用这样的传感器数据来控制平台110和/或环境传感器160的操作，如本文所述，例如控制推进系统124以将平台110移动和/或定向到场景或结构中的期望位置/取向或相对于目标的期望位置/取向。
在图1所示的实施例中，多光谱导航系统100包括平台110、可选的基站130和至少一个多光谱成像系统140。平台110可以是移动平台，其被配置为使多光谱成像系统140和/或环境传感器160(例如，相对于指定或检测目标)移动或飞行和定位。如图1所示，平台110可以包括控制器112、取向传感器114、陀螺仪/加速度计116、全球导航卫星系统(GNSS)118、通信模块120、万向节系统122、推进系统124、传感器托架128和其他模块126中的一个或多个。平台110的操作可以是基本上自主的和/或部分或完全由可选的基站130控制，可选的基站130可以包括用户接口132、通信模块134和其他模块136中的一个或多个。在其他实施例中，平台110可以包括基站130的一个或多个元件，例如对于各种类型的有人飞行器、陆地载具和/或水面或水下水运工具。
传感器有效载荷140和/或环境传感器160可以物理耦接到平台110并且被配置为捕获通过平台110和/或基站130的操作选择和/或框定的目标位置、区域和/或对象的传感器数据(例如，可见光谱图像、红外图像、紫外图像、窄孔径雷达数据、分析物传感器数据、定向辐射数据和/或其他传感器数据)。在一些实施例中，系统100的一个或多个元件可以在能够耦接到平台110或耦接在平台110内和/或由系统100的用户持有或携带的组合外壳或结构中实现。
控制器112可以被实现为任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)，其可以适于执行、存储和/或接收适当的指令，例如实现用于例如控制平台110和/或系统100的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理红外图像和/或其他传感器信号、确定传感器信息、提供用户反馈(例如，通过用户接口132)、向设备查询操作参数、为设备选择操作参数或执行本文描述的各种操作(例如，由系统100的各种设备的逻辑设备执行的操作)中的任何操作的方法。
此外，可以提供非暂时性介质来存储机器可读指令，以供加载到控制器112中并由控制器112执行。在这些和其他实施例中，控制器112可以在适当的情况下实现有其他部件，例如易失性存储器、非易失性存储器、一个或多个接口和/或用于与系统100的设备接口连接的各种模拟和/或数字部件。例如，控制器112可以适于随着时间的推移存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点组和/或其他操作参数，并使用用户接口132向用户提供这样的存储的数据。在一些实施例中，例如，控制器112可以与平台110的一个或多个其他元件集成，或分布作为平台110、基站130和/或传感器有效载荷140内的多个逻辑设备。
在一些实施例中，控制器112可以被配置为基本上连续地监测和/或存储平台110、传感器有效载荷140、环境传感器160和/或基站130的一个或多个元件提供的状态和/或传感器数据，举例来说，例如平台110、传感器有效载荷140和/或基站130的位置和/或取向，以及在平台110、传感器有效载荷140、环境传感器160和/或基站130之间建立的通信链路的状态。这样的通信链路可以被配置为在系统100的整个操作过程中基本连续地在系统100的元件之间建立然后传输数据，其中，这样的数据包括各种类型的传感器数据、控制参数和/或其他数据。
取向传感器114可以被实现为罗盘、浮子、加速度计和/或能够测量平台110(例如，相对于一个或多个参考取向(例如重力和/或磁北)的横滚、俯仰和/或偏航的大小和方向)、万向节系统122、成像系统/传感器有效载荷140和/或系统100的其他元件的取向并提供这样的测量作为可传送到的系统100的各种设备的传感器信号和/或数据的其他设备中的一个或多个。陀螺仪/加速度计116可以被实现为一个或多个电子六分仪、半导体设备、集成芯片、加速度计传感器、加速度计传感器系统或能够测量平台110和/或系统100的其他元件的角速度/加速度和/或线性加速度(例如，方向和大小)并提供可以传送到系统100的其他设备(例如，用户接口132、控制器112)的例如传感器信号和/或数据的测量的其他设备。
GNSS 118可以根据任何全球导航卫星系统来实现，包括基于GPS、GLONASS和/或伽利略的接收器和/或能够基于从空载和/或地面源(例如，eLoran和/或其他至少部分地面的系统)接收的无线信号来确定平台110(例如，或110平台的元件)的绝对和/或相对位置，并且能够提供例如可以传送到系统100的各种设备的传感器信号和/或数据(例如，坐标)的测量的其他设备。在一些实施例中，例如，GNSS 118可以包括高度计，或可以用于提供绝对高度。
通信模块120可以被实现为被配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块120可以被配置为从基站130接收飞行控制信号和/或数据并将它们提供给控制器112和/或推进系统124。在其他实施例中，通信模块120可以被配置为从传感器有效载荷140接收图像和/或其他传感器信息(例如，可见光谱、红外和/或紫外静态图像或视频图像)并将传感器数据中继到控制器112和/或基站130。在其他实施例中，通信模块120可以被配置为从环境传感器160接收传感器数据和/或其他传感器信息并将传感器数据中继到控制器112和/或基站130。在一些实施例中，例如，通信模块120可以被配置为支持扩展频谱传输，和/或系统100的元件之间的多个同时通信信道。无线通信链路可以包括一个或多个模拟和/或数字无线电通信链路，例如WiFi等，如本文所述，并且例如可以是在系统100的元件之间建立的直接通信链路，或者可以通过被配置为接收和重传无线通信的一个或多个无线中继站来中继。
在一些实施例中，通信模块120可以被配置为监测在平台110、传感器有效载荷140和/或基站130之间建立的通信链路的状态。这样的状态信息可以被提供给例如控制器112，或被传输到系统100的其他元件，用于监视、存储或进一步处理，如本文所述。由通信模块120建立的通信链路可以被配置为在系统100的整个操作过程中基本上连续地在系统100的元件之间传输数据，其中，这样的数据包括各种类型的传感器数据、控制参数和/或其他数据，如本文所述。
在一些实施例中，万向节系统122可以被实现为例如可以由控制器112控制以相对于目标稳定传感器有效载荷140或根据期望方向和/或相对位置使传感器有效载荷140瞄准的致动万向架底座。因此，万向节系统122可以被配置为向控制器112和/或通信模块120(例如，万向节系统122可以包括其自己的取向传感器114)提供传感器有效载荷140的相对取向(例如，相对于平台110的取向)。在其他实施例中，万向节系统122可以被实现为重力驱动底座(例如，非致动的)。在各种实施例中，万向节系统122可以被配置为提供电力、支持有线通信和/或以其他方式促进铰接传感器/传感器有效载荷140的操作。在其他实施例中，万向节系统122可以被配置为耦接到激光指示器、测距仪和/或其他设备，例如，以基本上同时支持、稳定多个设备(例如，传感器有效载荷140和一个或多个其他设备)、对其供电和/或使其瞄准。在替代实施例中，多光谱成像系统/传感器有效载荷140可以固定到移动平台110，使得万向节系统122被实现为传感器有效载荷140的固定视角安装系统。
推进系统124可以被实现为一个或多个螺旋桨、涡轮或其他基于推力的推进系统，和/或可用于向平台110提供动力和/或升力和/或使平台110转向的其他类型的推进系统。在一些实施例中，推进系统124可以包括多个螺旋桨(例如，三、四、六、八或其他类型的“旋翼”)，其可以被控制(例如，由控制器112)以为平台110提供升力和运动并为平台110提供取向。在其他实施例中，推进系统124可以被配置为主要提供推力，而平台110的其他结构提供升力，例如在固定翼实施例(例如，其中，机翼提供升力)和/或浮空器实施例(例如，气球、飞艇、混合浮空器)中。
在各种实施例中，推进系统124可以被实现有便携式动力源，例如电池和/或内燃机/发电机和燃料源，例如，其可以耦接到推进系统124和/或平台110的传动系统和/或驱动系。在其他实施例中，推进系统124可以被实现有制动系统125，例如，其可以被用于或被控制以抑制或消除平台110的运动，例如用于地面载具(包括乘用载具)的基于机电控制的盘或鼓的制动系统。
例如，其他模块126可以包括其他和/或附加传感器、致动器、通信模块/节点和/或用户接口/接口设备，并且可以用于提供例如与平台110的操作相关的附加环境信息。在一些实施例中，其他模块126可以包括湿度传感器、风和/或水温传感器、气压计、高度计、分析物检测系统、雷达系统、接近传感器、可见光谱相机或红外/热相机(具有附加底座)、辐照度检测器和/或提供测量和/或其他传感器信号的其他环境传感器，该测量和/或其他传感器信号可以显示给用户和/或由系统100的其他设备(例如，控制器112)使用以提供平台110和/或系统100的操作控制。
在一些实施例中，其他模块126可以包括耦接到平台110的一个或多个致动和/或铰接设备(例如，多光谱主动照明器、可见光和/或IR相机、雷达、声纳和/或其他致动设备)，其中，每个致动设备包括一个或多个致动器，其适于响应于一个或多个控制信号(例如，由控制器112提供)而调整设备相对于平台110的取向。特别地，其他模块126可以包括立体视觉系统，其被配置为提供可以用于计算或估计例如平台110的位置或用于计算或估计靠近平台110的导航危险的相对位置的图像数据。在各种实施例中，控制器130可以被配置为使用这样的接近和/或位置信息来帮助安全地领航平台110和/或监测通信链路质量，如本文所述。
测距传感器系统127可以被实现为相对于平台110、成像系统140和/或环境传感器160固定的雷达、声纳、激光雷达和/或其他测距传感器系统，并且被配置为提供对应于与成像系统140和/或环境传感器160的视场重叠和/或基本上以成像系统140和/或环境传感器160的光轴为中心的深度图的二维和/或三维测距传感器数据。
在测距传感器系统127被实现为雷达系统的实施例中，测距传感器系统127可以被实现为一个或多个电和/或机械耦接的控制器、发射器、接收器、收发器、信号处理逻辑设备、各种电气部件、各种形状和尺寸的天线元件、多通道天线/天线模块、雷达组件、组件支架和/或适于调整测距传感器系统127的任何部件的取向的各种致动器，如本文所述。例如，在各种实施例中，测距传感器系统127可以根据各种雷达系统布置来实现，该雷达系统布置可以用于检测例如陆地表面或水体表面的特征和其上面或上方的对象，和/或它们的相对速度(例如，它们的多普勒速度)。
更一般地，测距传感器系统127可以被配置为发射一个、多个或一系列雷达波束(例如，远程传感器波束)，接收对应的雷达回波(例如，远程传感器回波)，并将雷达回波转换成雷达数据和/或图像(例如，远程传感器图像数据)，例如指示结构、天气现象、波浪、其他移动结构、表面边界和/或其他操纵障碍物和/或将雷达波束反射回测距传感器系统127的对象的相对位置、取向和/或其他特性的一个或多个强度图和/或强度图的聚合。测距传感器系统127可以被配置为例如向平台110和/或基站130的用户接口提供这样的数据和/或图像以向用户显示，或将其提供给控制器112进行附加处理，如本文所述。此外，这样的数据可用于生成对应于AIS数据、ARPA数据、MARPA数据和/或一种或多种其他目标跟踪和/或识别协议的一个或多个图表。
在一些实施例中，测距传感器系统127可以使用紧凑的设计来实现，其中，多个雷达天线、传感器和/或关联的处理设备位于单个雷达组件外壳内，该外壳被配置为通过提供电力以及向测距传感器系统127的通信和来自测距传感器系统127的通信的单个电缆，与系统100的其余部分接口连接。在一些实施例中，测距传感器系统127可以包括被配置为帮助提供二维或三维航路点、提高雷达数据和/或图像质量和/或提供高度准确的雷达图像数据的取向和/或位置传感器，如本文所述。
常规雷达系统可能既昂贵又笨重，并且通常不能用于提供相对准确和/或无失真的雷达图像数据。测距传感器系统127的实施例包括低成本的单通道、双通道和/或多通道(例如，合成孔径)雷达系统，其可以被配置为产生详细的二维和三维雷达数据和/或图像。在一些实施例中，测距传感器系统127例如可以将电子设备和换能器整合到单个防水封装中，以减小尺寸和成本，并且可以被实现有到系统100的其他设备的单个连接(例如，经由借助以太网供电的以太网电缆、集成电力电缆和/或集成到单个接口电缆中的其他通信和/或电力传输导管)。
在各种实施例中，测距传感器系统127可以实现有其自己的专用取向和/或位置传感器(例如，类似于取向传感器114、陀螺仪/加速度计116和/或GNSS 118)，其可以结合在雷达组件外壳内，以提供雷达组件和/或天线的三维取向和/或位置，以在处理或后处理雷达数据以供显示时使用。传感器信息可例如用于校正雷达组件在波束发射期间和/或射束发射之间的移动，以提供对应雷达回波/样本的改进对准，和/或基于雷达组件/天线的测量的取向和/或位置生成图像。在其他实施例中，外部取向和/或位置传感器可以单独使用或与一个或多个集成传感器结合使用。
在测距传感器系统127被实现有一个或多个位置传感器的实施例中，测距传感器系统127可以被配置为提供多种雷达数据和/或图像增强。例如，测距传感器系统127可以被配置为提供雷达数据和/或远离平台110的用户定义的航路点的精确定位和/或定向。类似地，测距传感器系统127可以被配置为提供一系列雷达数据的准确的二维和/或三维聚合和/或显示；如果没有取向数据或位置数据来帮助确定航迹或航向，雷达系统通常会假定直线航迹，这可能会导致对应雷达数据和/或图像中的图像伪影和/或其他不准确性。此外，当被实现有位置传感器时，测距传感器系统127可以被配置为在不使用磁力计的情况下生成操纵障碍物的准确且详细的强度图。
在测距传感器系统127被实现有取向和/或位置传感器的实施例中，测距传感器系统127可以被配置为存储这样的位置/位置信息以及系统100可用的其他传感器信息(雷达回波、温度测量、文本描述、高度、平台速度和/或其他传感器和/或控制信息)。在一些实施例中，控制器112可以被配置为生成查找表，使得用户可以为特定位置选择测距传感器系统127的期望配置或协调其他一些传感器信息。替代地，可以使用自动调整算法基于传感器信息选择最佳配置。
在各种实施例中，测距传感器系统127还可以实现有同位成像系统(例如，成像系统140)，其可以包括一种或多种不同类型的成像模块，这些成像模块可以结合在雷达组件外壳内，以与雷达数据基本上同时提供图像数据，以在处理或后处理雷达数据时使用以供显示。图像数据可用于提高操作员对雷达数据的理解并增加系统100的总体功能。例如，实施例可包括一个或多个成像模块，使得成像模块与测距传感器系统127的雷达天线一起旋转，以生成对应于雷达平面位置指示器(PPI)显示视图的全景图。如本文所述，实施例提供了数据处理、数据融合以及显示数据和用户交互的方法。在其他实施例中，测距传感器系统127可以被实现为雷达系统，该雷达系统被实现为和/或被配置为与于2018年6月13日提交的题为“VEHICLE BASED RADAR UPSAMPLING”的美国专利申请No.16/0007,908(现在是美国专利No.10,928,512)中描述的实施例类似地操作，通过引用将其全部内容并入本文。
在各种实施例中，传感器托架128可以被实现为闩锁机构，该闩锁机构可以永久地安装到平台110，以提供环境传感器160相对于平台110的重心、相对于推进系统124和/或相对于平台110的其他元件的安装位置和/或取向。此外，传感器托架128可以被配置为提供电力、支持有线通信和/或以其他方式促进环境传感器160的操作，如本文所述。因此，传感器托架128可以被配置为在平台110和环境传感器160之间提供电力、遥测和/或其他传感器数据接口。在一些实施例中，万向节系统122可以与传感器托架128类似地实现，反之亦然。
例如，传感器托架128可以被实现为例如可以由控制器112控制以相对于目标稳定环境传感器160或根据期望的方向和/或相对位置使环境传感器160瞄准的致动万向节底座。因此，传感器托架128可以被配置为向控制器112和/或通信模块120提供环境传感器160(例如，相对于平台110的取向)的相对取向(例如，传感器托架128可以包括其自己的取向传感器114)。在其他实施例中，传感器托架128可实现为重力驱动底座(例如，非致动的)。在其他实施例中，传感器托架128可以被配置为耦接到激光指示器、测距仪和/或其他设备，例如，以基本上同时支持、稳定多个设备(例如，环境传感器160和一个或更多其他设备)、对其供电和/或使其瞄准。
基站130的用户接口132可以被实现为显示器、触摸屏、键盘、鼠标、操纵杆、旋钮、方向盘、轭和/或能够接受用户输入和/或向用户提供反馈的任何其他设备中的一个或多个。在各种实施例中，用户接口132可以适合于向系统100的其他设备(例如控制器112)提供用户输入(例如，作为由基站130的通信模块134传输的一种信号和/或传感器信息)。用户接口132也可以实现有一个或多个逻辑设备(例如，类似于控制器112)，其可以适于存储和/或执行指令，例如软件指令，从而实现本文描述的各种过程和/或方法中的任何一个。例如，用户接口132可以例如适于形成通信链路、传输和/或接收通信(例如，红外图像和/或其他传感器信号、控制信号、传感器信息、用户输入和/或其他信息)，或执行本文所述的各种其他过程和/或方法。
在一个实施例中，用户接口132可以适于显示各种传感器信息和/或其他参数的时间序列作为图表或地图的一部分或叠加在图表或地图上的各种传感器信息和/或其他参数的时间序列，其可以被参考到平台110和/或系统100的其他元件的位置和/或取向。例如，用户接口132可以适于显示叠加在地理地图上的平台110和/或系统100的其他元件的位置、航向和/或取向的时间序列，其可以包括一个或多个图表，其指示致动器控制信号、传感器信息和/或其他传感器和/或控制信号的对应时间序列。
在一些实施例中，用户接口132可以适于接受用户输入，例如，包括用户定义的目标目的地、航向、航路点、路线和/或系统100的元件的取向，并且生成控制信号以使平台110根据目标目的地、航向、路线和/或方向移动，或相应地使传感器有效载荷140或环境传感器160瞄准。在其他实施例中，例如，用户接口132可以适于接受修改控制器112的控制回路参数的用户输入。
在其他实施例中，用户接口132可以适于接受用户输入，例如，包括对于与平台110关联的致动或铰接设备(例如，传感器有效载荷140或环境传感器160)的用户定义的目标姿态、取向和/或位置，并生成控制信号，用于根据目标姿态、取向和/或位置来调整致动设备的取向和/或位置。这样的控制信号可以被传输到控制器112(例如，使用通信模块134和120)，然后该控制器可以相应地控制平台110。
通信模块134可以被实现为配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块134可以被配置为将飞行控制信号从用户接口132传输到通信模块120或144。在其他实施例中，通信模块134可以被配置为从传感器有效载荷140接收传感器数据(例如，可见光谱、红外和/或紫外静态图像或视频图像，或其他传感器数据)。在一些实施例中，通信模块134可以被配置为支持例如扩展频谱传输和/或系统100的元件之间的多个同时通信信道。在各种实施例中，如本文所述，通信模块134可以被配置为监测在基站130、传感器有效载荷140和/或平台110之间建立的通信链路的状态(例如，包括例如使用数字通信链路在系统100的元件之间传输和接收数据的分组丢失)。如本文所述，这样的状态信息例如可以被提供给用户接口132，或者被传送给系统100的其他元件，以进行监测、存储或进一步处理。
例如，基站130的其他模块136可以包括其他和/或附加的传感器、致动器、通信模块/节点和/或用于提供与基站130关联的附加环境信息的用户接口设备。在一些实施例中，例如，其他模块136可以包括湿度传感器、风和/或水温传感器、气压计、雷达系统、可见光谱相机、红外或热相机、GNSS和/或其他环境传感器，其提供可以向用户显示和/或由系统100的其他设备使(例如，控制器112)用的测量和/或其他传感器信号，以提供对平台110和/或系统100的操作控制，或处理传感器数据以补偿环境条件，例如近似在与平台110和/或基站130处于相同高度和/或位于相同区域内的大气的水含量。在一些实施例中，其他模块136可以包括一个或多个致动和/或铰接设备(例如，多光谱主动照明器、可见光和/或IR相机、雷达、声纳和/或其他致动设备)，其中，每个致动设备包括一个或多个致动器，其适于响应于一个或多个控制信号(例如，通过用户接口132提供)来调整设备的取向。
在成像系统/传感器有效载荷140被实现为成像设备的实施例中，成像系统/传感器有效载荷140可以包括成像模块142，其可以被实现为检测器元件的制冷和/或非制冷阵列，例如可见光谱、红外和/或紫外敏感检测器元件，包括量子阱红外光电检测器元件、基于辐射热计或微辐射热计的检测器元件、基于II型超晶格的检测器元件和/或可布置在焦平面阵列(FPA)中的其他红外光谱检测器元件(例如，以及对其他光谱敏感的其他检测器元件)。在各种实施例中，成像模块142可以实现有同时对可见光、近红外(NIR)和长波紫外(LWUV)光谱的一些部分敏感的检测器元件的基于互补金属氧化物半导体(CMOS)的FPA。在各种实施例中，成像模块142可以包括一个或多个逻辑设备(例如，类似于控制器112)，其可以被配置为在将由成像模块142的检测器元件捕获的图像提供给存储器146或通信模块144之前处理该图像。更一般地，成像模块142可以被配置为至少部分地或与控制器112和/或用户接口132结合来执行本文所述的任何操作或方法。
在一些实施例中，传感器有效载荷140可以例如实现有类似于成像模块142的第二或附加成像模块，其可以包括被配置为检测其他电磁频谱(例如可见光、热、紫外线和/或其他电磁频谱或这样的频谱的子集)的检测器元件。在各种实施例中，这样的附加成像模块可以被校准或配准到成像模块142，使得由每个成像模块捕获的图像占据其他成像模块的已知且至少部分重叠的视场，从而允许不同光谱的图像在几何上相互配准(例如，通过缩放和/或定位)。在一些实施例中，除了依赖于已知的重叠视场之外，或者作为依赖于已知的重叠视场的替代，可以使用模式识别处理将不同光谱的图像相互配准。
传感器有效载荷140的通信模块144可以被实现为被配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块144可以被配置为将图像从成像模块142传输到通信模块120或134。在其他实施例中，通信模块144可以被配置为从控制器112和/或用户接口132接收控制信号(例如，引导传感器有效载荷140的捕获、聚焦、选择性滤光和/或其他操作的控制信号)。在一些实施例中，通信模块144可以被配置为支持例如扩展频谱传输，和/或系统100的元件之间的多个同时通信信道。在各种实施例中，如本文所述，通信模块144可以被配置为监测在传感器有效载荷140、基站130和/或平台110之间建立的通信链路的状态(例如，包括例如使用数字通信链路在系统100的元件之间传输和接收的数据的分组丢失)。如本文所述，这样的状态信息可以例如被提供给成像模块142，或被传输给系统100的其他元件，以进行监测、存储或进一步处理。
存储器146可以被实现为一个或多个机器可读介质和/或逻辑设备，其被配置为例如存储软件指令、传感器信号、控制信号、操作参数、校准参数、红外图像和/或促进系统100的操作的其他数据，并将其提供给系统100的各种元件。存储器146还可以至少部分地实现为可移动存储器，例如安全数字存储卡，例如包括用于这样的存储器的接口。
传感器有效载荷140的取向传感器148可以类似于取向传感器114或陀螺仪/加速度计116和/或能够测量传感器有效载荷140、成像模块142和/或传感器有效载荷140的其他元件的取向(例如，相对于一个或多个参考取向(例如重力和/或磁北)的横滚、俯仰和/或偏航的大小和方向)并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的任何其他设备地实现。传感器有效载荷140的陀螺仪/加速度计(例如，角运动传感器)150可以被实现为一个或多个电子六分仪、半导体设备、集成芯片、加速度计传感器、加速度计传感器系统或能够测量传感器有效载荷140和/或传感器有效载荷140的各种元件的角速度/加速度(例如，角运动)和/或线性加速度(例如，方向和大小)并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的其他设备。GNSS 149可以类似于GNSS 118和/或能够测量传感器有效载荷140、成像模块142和/或传感器有效载荷140的其他元件的位置并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的任何其他设备地实现。
例如，传感器有效载荷140的其他模块152可以包括其他和/或附加传感器、致动器、通信模块/节点、制冷或非制冷滤光器和/或用于提供与传感器有效载荷140关联的附加环境信息的用户接口设备。在一些实施例中，其他模块152可以包括湿度传感器、风和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、GNSS和/或其他环境传感器，其提供可以向用户显示和/或由系统100的成像模块142或其他设备(例如，控制器112)使用的测量和/或其他传感器信号，以提供对平台110和/或系统100的操作控制，或处理图像以补偿环境条件。
在各种实施例中，环境传感器/传感器有效载荷160可以被实现为被配置为生成与平台110周围的环境对应的环境传感器数据的环境传感器。在图1所示的实施例中，环境传感器160包括传感器控制器162、存储器163、通信模块164、传感器组件166、取向和/或位置传感器(OPS)167、电源168和其他模块170。在各种实施例中，传感器组件166可以被实现有传感器元件，其被配置为检测存在危险分析物、电离辐射、发射率、热辐射、射频信号和/或接近平台110和/或环境传感器160或在其视场中的其他环境条件和/或生成与危险分析物、电离辐射、发射率、热辐射、射频信号和/或接近平台110和/或环境传感器160或在其视场中的其他环境条件对应的传感器数据。
例如，传感器控制器162可以被实现为一个或多个任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)，其可以适于执行、存储和/或接收适当指令，例如实现用于控制环境传感器160和/或环境传感器160的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理传感器信号、确定传感器信息、提供用户反馈(例如，通过用户接口132)、向设备查询操作参数、为设备选择操作参数或执行本文描述的各种操作中的任一个的方法。
此外，可以提供非暂时性介质来存储机器可读指令以供加载到传感器控制器162中并由传感器控制器162执行。在这些和其他实施例中，传感器控制器162可以在适当的情况下被实现有其他部件，例如易失性存储器、非易失性存储器、一个或多个接口和/或用于与环境传感器160的模块和/或系统100的设备接口连接的各种模拟和/或数字部件。例如，传感器控制器162可以随着时间的推移存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点组和/或其他操作参数，并使用用户接口132向用户提供这样的存储的数据。在一些实施例中，例如，传感器控制器162可以与环境传感器160的一个或多个其他元件集成，或分布为平台110、基站130和/或环境传感器160内的多个逻辑设备。
在一些实施例中，传感器控制器162可以被配置为基本上连续地监测和/或存储环境传感器160的传感器组件166的一个或多个元件的状态和/或存储由其提供的传感器数据，举例来说，例如平台110、环境传感器160和/或基站130的位置和/或取向，以及在平台110、环境传感器160和/或基站130之间建立的通信链路的状态。这样的通信链路可以被配置为在系统100的整个操作过程中基本连续地在系统100的元件之间建立然后传输数据，其中，这样的数据包括各种类型的传感器数据、控制参数和/或其他数据。
存储器163可以被实现为一个或多个机器可读介质和/或逻辑设备，例如，其被配置为存储软件指令、传感器信号、控制信号、操作参数、校准参数、传感器数据和/或促进环境传感器160和/或系统100的其他元件的操作的其他数据，并将其提供给系统100的各种元件。存储器163也可以至少部分地实现为可移动存储器，例如安全数字存储卡，例如包括用于这样的存储器的接口。
环境传感器160的通信模块164可以被实现为配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块164可以被配置为将来自环境传感器160和/或传感器组件166的传感器数据传输到平台110的通信模块120(例如，以进一步传输到基站130)或直接传输到基站130的通信模块134。在其他实施例中，通信模块164可以被配置为从控制器112和/或用户接口132接收控制信号(例如，引导环境传感器160的操作的控制信号)。在一些实施例中，通信模块164可以被配置为支持例如扩展频谱传输和/或系统100的元件之间的多个同时通信信道。
传感器组件166可以被实现有一个或多个传感器元件支撑件(例如，印刷电路板“PCB”)、连接器、传感器元件和/或被配置为促进环境传感器160的操作的其他模块。在特定实施例中，环境传感器160可以被实现为相对高分辨率的可见光谱相机(例如，HD或2K或4K可见光谱相机)，并且传感器组件166可以被实现为可见光谱敏感检测器元件的相对高分辨率的FPA，其被配置为生成由多光谱成像系统140基本同时成像的场景的相对高分辨率的图像和/或视频。
环境传感器160的取向和/或位置传感器(OPS)167可以类似于取向传感器114、陀螺仪/加速度计116、GNSS 118和/或能够测量环境传感器160、传感器组件166和/或环境传感器160的其他元件的取向和/或位置(例如，相对于例如重力和/或磁北的一个或多个参考方向的横滚、俯仰和/或偏航的大小和方向，以及绝对或相对位置)并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的任何其他设备地实现。
电源168可以被实现为任何电力存储设备，其被配置为向传感器组件166的每个传感器元件提供足够的电力，以保持所有这样的传感器元件激活并能够在环境传感器160与外部电力(例如，由平台110和/或基站130提供)断开连接时生成传感器数据。在各种实施例中，电源168可以由超级电容器实现，以便相对轻量并且促进平台110的飞行和/或平台110的相对容易的手持操作(例如，在平台110被实现为手持传感器平台的情况下)。
例如，环境传感器160的其他模块170可以包括其他和/或附加传感器、致动器、通信模块/节点和/或用于提供与环境传感器160关联的附加环境信息的用户接口设备。在一些实施例中，如本文所述，其他模块170可以包括湿度传感器、风和/或水温传感器、气压计、GNSS和/或其他环境传感器，其提供可以向用户显示和/或由系统100的传感器控制器162或其他设备(例如，控制器112)使用的测量和/或其他传感器信号，以提供对平台110和/或系统100的操作控制，或处理传感器数据以补偿环境条件。
通常，系统100的每个元件可以被实现有任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)，其可以适于执行、存储和/或接收适当的指令，例如实现用于例如提供传感器数据和/或图像，或用于在系统100的一个或多个设备之间传输和/或接收通信(例如传感器信号、传感器信息和/或控制信号)的方法的软件指令。
此外，可以提供一个或多个非暂时性介质用于存储机器可读指令供加载到与系统100的一个或多个设备一起实现的任何逻辑设备中并由其执行。在这些和其他实施例中，逻辑设备可以是在适当的情况下被实现有其他部件，例如易失性存储器、非易失性存储器和/或一个或多个接口(例如，集成电路间(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG))接口(例如，IEEE 1149.1标准测试访问端口和边界扫描架构)和/或其他接口，例如用于一个或多个天线的接口，或用于特定类型传感器的接口)。
传感器信号、控制信号和其他信号可以使用各种有线和/或无线通信技术在系统100的元件之间进行传送，例如，包括电压信号发送、以太网、WiFi、蓝牙、Zigbee、Xbee、Micronet或其他介质和/短距离有线和/或无线联网协议和/或实施方式。在这样的实施例中，系统100的每个元件可以包括支持有线、无线和/或有线和无线通信技术的组合的一个或多个模块。在一些实施例中，系统100的各种元件或元件的部分可以例如彼此集成，或者可以集成到单个印刷电路板(PCB)上以降低系统复杂性、制造成本、功率要求、坐标系误差和/或各种传感器测量之间的定时误差。
例如，系统100的每个元件可以包括一个或多个电池、电容器或其他电力存储设备，并且可以包括一个或多个太阳能电池模块或其他发电设备。在一些实施例中，设备中的一个或多个可以使用一个或多个电源线由平台110的电源供电。这样的电源线还可用于支持系统100的元件之间的一种或多种通信技术。
图2示出了根据本公开的实施例的多光谱导航系统200的移动平台110A和110B的图，该多光谱导航系统200包括环境传感器160和关联的传感器托架128的实施例。在图2所示的实施例中，多光谱导航系统200包括基站130、可选的副领航站230、具有铰接成像系统/传感器有效载荷140的移动平台110A、万向节系统122、环境传感器160和传感器托架128，以及具有铰接成像系统/传感器有效载荷140、万向节系统122、环境传感器160和传感器托架128的移动平台110B，其中，基站130和/或可选的副领航站230可以被配置为控制平台110A、平台110B、传感器有效载荷140和/或环境传感器160的运动、位置、取向和/或一般操作。
在各种实施例中，副领航站230可以相对于基站130类似地实现，例如包括类似的元件和/或能够具有类似的功能。在一些实施例中，副领航站230可以包括多个显示器，以促进环境传感器160和/或移动平台110A-B的各种成像和/或传感器有效载荷的操作，通常与领航移动平台110A-B分开，并促进传感器数据和对应指令的基本上实时的分析、可视化和通信，例如向与系统200的副领航员或用户联系的第一响应者。例如，基站130和副领航站230均可以被配置为呈现本文描述的任何显示视图。
如本文所述，多光谱导航系统100的实施例可以被实现有相对紧凑、重量轻、功率低的多光谱成像系统(例如，多光谱成像系统140)，其可用于帮助操作移动平台，例如通过辅助导航，其中，向操作员提供经处理的图像和/或显示视图以帮助操作员领航移动平台，或通过自动领航导航，其中，这样的图像用于根据期望的路线、目的地或其他操作参数自动领航移动平台。
在一些实施例中，多光谱成像系统可以包括由基于CMOS的FPA实现的成像模块，该FPA被形成、制造、组装和/或以其他方式配置为在IR、VIS和UV光谱/波段具有灵敏度。这样的成像模块可以包括拜耳滤波器，该滤波器被配置为在FPA中生成IR、VIS和UV像素的马赛克或图案，使得由多光谱成像模块捕获的每个图像包括关于由多光谱成像模块成像的每个场景的IR、VIS和UV信息。在特定实施例中，这样的FPA可以对NIR、VIS和LWUV光谱的一些部分敏感，包括至少400-750nm(VIS)、750-1100nm(NIR)和330-400nm(LWUV)，并且拜耳滤波器可以被配置为根据特定的马赛克或图案选择性地通过这样的波段。
在一些实施例中，例如，这样的拜耳滤波器可以直接沉积在FPA上，和/或可以形成类似于用于RGB VIS成像的马赛克的棋盘状马赛克。根据对于拜耳滤波器选择的特定马赛克和/或根据特定的去马赛克算法(例如，基于插值、光谱相关、空间相关和/或其他去马赛克技术中的一个或更多)，VIS、NIR或LWUV光谱中的任何一个可以相对于所得图像中的另两个光谱被强调或不给予强调。
在一些实施例中，可以例如基于与成像的场景或对象关联的一个或多个环境条件，或与移动平台110和/或多光谱成像系统140的成像模块142的操作状态、位置或取向关联的一个或多个环境条件，选择特定的去马赛克算法。例如，特定去马赛克算法可以被配置为基于一天中的时间(例如，太阳在天空中的位置)、移动平台110的位置和/或移动平台110和/或多光谱成像系统140的取向来不给予强调地平线对齐的偏振的VIS、NIR和/或LWUV对捕获的图像的贡献，以减少由来自地平线对齐表面的环境光的相对强的反射引起的图像伪影(例如，像素饱和伪影)。在另一示例中，当预计UV贡献相对低(例如，当太阳低于地平线)时，特定去马赛克算法可以被配置为基于一天中的时间(例如，由太阳提供的自然环境光的水平)、移动平台110的位置(例如，在水平线的地形图内放置移动平台140的地理位置和高度)和/或移动平台110和/或多光谱成像系统140的取向，强调UV对捕获的图像的贡献。
例如，这样的拜耳滤波器可以被实现为单带通滤波器的马赛克(例如，每个像素仅接收通过的IR、VIS、UV波段中的一个)，或者可以被实现为陷波宽带透射滤波器的马赛克(例如，每个像素接收除经陷波/滤波的IR、VIS、UV波段中的一个之外的所有波段)。在拜耳滤波器被实现为陷波宽带透射滤波器的马赛克的实施例中，可以从接收差异化光谱(例如，与光谱差异化陷波宽带透射滤波器关联)的两个或更多个像素的线性组合合成选择的主频带。在各种实施例中，如本文所述，这样的合成可以被实现在去马赛克算法内/被包括为去马赛克算法的一部分。相对于由单带通滤波器的马赛克实现的滤波，这样的技术可以提供增加的信噪比特性。
在各种实施例中，多光谱成像系统140能够以合理地高的帧速率操作，使得产生的图像流足够同时以有用于移动平台的导航(例如，在操作员或自动驾驶仪经常需要做出时间关键的操纵决策的情况下)。例如，实施例能够以接近约100帧/秒或更高的帧速率操作(例如，捕获和处理图像)。
在特定实施例中，多光谱成像系统140能够在两个或更多个预设值上循环与成像模块142的FPA关联的积分时间，使得多光谱成像系统140可以在所有成像波段中产生高动态范围(HDR)图像。例如，这样的HDR模式可以用于在各种照明条件下提供中阱(midwell)曝光值，并且在一些实施例中，积分时间可以由多光谱成像系统140基于环境光水平(例如，在一个或多个光谱中)、在先前捕获的多光谱图像中的对比度水平和/或其他环境传感器数据和/或得出或处理的传感器数据和/或图像进行确定和/或调整。例如，在太阳光谱在IR、VIS和UV中具有非常不同的场景亮度，并且场景光谱随昼夜循环而变化的情况下，这尤其重要。
中阱曝光值涉及在成像模块142的FPA(例如，图3的多光谱成像系统140的FPA374)的基于CMOS的实施例中的传感器元件的积分电容器在被模块控制器372跨越PCB 375(两个都是成像模块142的)读出(例如，放电)之前被允许充电到约其容量的一半的曝光事件。例如，读出频率和/或曝光时间(例如，由快门349的机械、机电和/或电子(例如LCD)实施例控制)可以至少部分地基于(例如，滤波器系统376选择的特定波段或跨多个波段的)平均场景辐射度来进行调整，使得与由FPA 374捕获的一个或多个波段关联的FPA 374的大多数传感器元件大致在它们的中阱曝光值下操作。在这样的中阱曝光值下操作导致在FPA 374的动态范围最线性部分(例如，对由FPA 374的传感器元件截获的光子提供基本线性的响应)内捕获的图像数据，这有助于避免与例如低阱电荷水平关联的图像噪声。通过循环通过不同的曝光时间(例如，积分时间)，实施例能够对于由多光谱成像系统140捕获的每个波段实现中阱操作性能。
例如，场景中的VIS辐射率通常会高于场景中的NIR或LWUV辐射率。5毫秒的曝光/积分时间可对于NIR和LWUV传感器元件(例如，由滤波器系统376选择)提供中阱曝光水平，但会过度曝光FPA 374的VIS传感器元件。多光谱成像系统140可被配置为根据第一5毫秒的曝光时间捕获第一图像，然后根据第二较短的曝光时间捕获第二图像，然后将第一图像的NIR和LWUV分量与第二图像的VIS分量组合以生成HDR图像(例如，只要第一和第二图像一个接一个地被捕获和/或当多光谱成像系统140或至少FOV 345相对于场景302基本静止时)。
在各种实施例中，多光谱成像系统140可以配备在由成像模块142捕获的光谱频段上是消色差的透镜系统。这样的透镜系统可以被实现有被选择为提供对于导航系统和UAS成像FOV要求(例如，任务、规范和/或监管要求)足够的相对宽的视场(FOV)的焦距。
在一些实施例中，多光谱成像系统140可以被配置为根据多光谱图像分析和/或算法(例如，机载或在传输到系统100的其他处理元件之后)处理捕获的图像，该多光谱图像分析和/或算法被配置为根据场景像素是特定对象类别的一部分的可能性来分类场景像素。例如，晴朗的天空对于其具有独特的光谱，在NIR中较暗而在UV中较亮。载具(即使是漆成白色的载具)也往往具有相反的光谱：在NIR波段中亮而在UV波段中暗。两种场景元素因此可以至少部分地基于它们的光谱特性被可靠地分类。在各种实施例中，例如，这样的多光谱图像分析和/或算法可以通过在多光谱成像系统140内或在与多光谱导航系统100关联的一个或多个控制器内实现的卷积神经网络(CNN)执行。
在特定实施例中，由多光谱成像系统140和/或成像模块142提供的图像数据可以使用每个像素两个字节来编码，其中，12位编码图像数据(例如，强度)并且剩余的四位编码关于与像素关联的分类概率的信息，例如像素是天空或不是天空的95％概率。这样的数据然后可以被多光谱导航系统100用于基本上实时地(例如，以100+帧/秒的时间实例)做出操纵(例如，制动和转向)决策。
图3示出了根据本公开的实施例的用于多光谱导航系统100和/或300的多光谱成像系统140的图。在图3中，多光谱成像系统140包括成像模块142，该成像模块包括多光谱FPA 374，其通过滤波器系统376、透镜系统378和/或可选的快门349沿着光轴344并根据FOV345接收来自场景302的光308。在各种实施例中，成像模块142可以包括印刷电路板(PCB)375或类似结构，其被配置为支撑FPA 374并将FPA 374和/或成像模块142的其他元件耦接到成像模块142的模块控制器372。如本文所述，滤波器系统376在一些实施例中可以被实现为具有被配置为向FPA 374的像素提供差异化光谱(例如，VIS、IR和UV光谱的一些部分)的选择的马赛克的拜耳滤波器。也如本文所述，透镜系统378可以例如对于提供给FPA374的像素的差异化光谱是消色差的，并且被配置为提供FOV 345。在一些实施例中，透镜系统378可以被致动，以调整FOV 345、多光谱成像系统140的缩放水平和/或传送到FPA 374的光的焦点。在其他实施例中，透镜系统378可以是固定透镜系统。
模块控制器372可以被实现为任何适当的处理设备(例如，微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他逻辑设备)，其可以由成像模块142和/或多光谱成像系统140使用以执行适当的指令，例如软件指令和/或信号处理操作，例如，用于使用FPA 374、滤波器系统376、透镜系统378和/或快门349捕获场景302的多光谱图像，对与这样的多光谱图像关联的原始像素数据去马赛克，和/或对与场景302内的对象304和/或背景306关联的这样的图像中的像素进行分类(例如，使用在模块控制器372内实现的CNN)。此外，模块控制器372可以被实现有各种信号处理设备，例如模数转换器(ADC)、触发输入、定时电路和本文所述的其他信号或传感器处理设备。
在各种实施例中，FPA 374可以通过类似地制造/设置尺寸的像素结构的二维平面阵列来实现，每个像素结构被配置为在成像模块142的整个光谱频段内敏感。在其他实施例中，FPA 374可以通过在结构上差异化的像素结构子阵列的阵列来实现，例如，其中，每个子阵列对成像模块142的全光谱频段的差异化子集敏感，和/或可以是非平面的(例如，相对于光轴344是凹面的)，三维的(例如，多层的)，和/或可以包括尺寸差异化的像素(例如，随着到光轴344的距离增加，具有更大的表面积)。
例如，滤波器系统376可以被实现为沉积或以其他方式附接到FPS 374的有效表面的静态拜耳滤波器结构，或者可以被实现为可调整或可控的拜耳滤波器结构或被配置为提供FPA 374的像素或FPA部分差异化光谱照明的其他类型的滤波器结构。在特定示例中，这样的拜耳滤波器可以被实现有对于每个NIR和LWUV像素的两个VIS像素(例如，类似于用于具有绿色2像素和红色和蓝色各1个像素的彩色VIS相机的一些拜耳滤波器图案)。这样的滤波器可以被实现为多层介电干涉型带通滤波器。更一般地，滤波器系统376可以被配置为根据两个或更多个、或者三个或更多个不同光谱提供FPA 374的空间和光谱差异化照明，其中，每个光谱可以是完全差异化的或者可以部分地与相邻的差异化光谱重叠。在一个实施例中，滤波器系统376的特性可以包括780-1000nm的NIR波段、具有60nm半峰全宽(FWHM)的370nm的LWUV波段和一般的VIS波段。
在其他实施例中，滤波器系统376可以至少部分地由多元光学元件滤波器阵列(例如，多元滤光器或滤波器阵列)实现。这样的特殊干涉滤波器通常根据相对复杂的改造透射曲线进行配置，该透射曲线被设计为执行光学计算操作，例如类似于缩放回归向量和场景的光谱响应之间的点积的操作。例如，回归向量通常是滤波器设计的结果，并且可以针对特定的感兴趣光谱进行优化。在一个实施例中，这样的滤波器可以包括具有选择图案的3个或可能更多不同的多元光学元件(MOE)的阵列。被设计为专门检测植被、晴朗天空、阴天、路面和载具等场景光谱的MOE阵列可提供优于简单的3波段方法的优势。与常规带通滤波器相比，这样的MOE滤波器可以由相对较少的层构成，因此它们通常比带通滤波器在物理上更薄，这使得在FPA像素可具有与滤波器层堆叠厚度相当的尺寸的情况下它们成为滤波器阵列的有吸引力的选择。这样的MOE滤波器也可倾向于具有更好的整体场景通量吞吐量(例如，当它们由比相当的带通滤波器阵列更少的层组成时)。
例如，透镜系统378可以被实现有一个或多个透镜实现，每个透镜配置为使光传递到FPA 374的基本上所有像素，或者可以被实现有透镜阵列(例如，微透镜阵列)，每个透镜配置为使光传递到FPA 374的像素子组。一般而言，在FPA对NIR、VIS和LWUV波段敏感的实施例中，如本文所述，透镜系统378的每个透镜可被配置为在从330-1100nm是颜色校正或消色差的。在一些实施例中，FOV 345可以是非对称的(例如，以匹配对应的FPA尺寸)并且为约42乘34度。
虽然图3所示的实施例示出了相对紧凑的多光谱成像系统140，其被实现有能够提供场景302的单视角多光谱图像的单个多光谱成像模块142，但在其他实施例中，例如，多光谱成像系统140可以被实现有多个成像模块142，每个成像模块对单独差异化的光谱敏感，和/或每个成像模块提供场景302的不同视角，例如根据不同的光轴和/或不同的FOV。
例如，PCB 375可以是常规的印刷电路板，并且适于提供对FPA 374和/或成像模块142的其他元件的电接入(例如，通过各种金属迹线)以及对FPA 374和/或成像模块142的其他元件的物理支撑。在一些实施例中，快门349可以被实现为机械的或可移除的遮光罩，其适于选择性地阻挡光308的一个或多个波段。在各种实施例中，快门349可以例如通过模块控制器372和/或成像系统控制器312被电子地致动(例如，打开和/或关闭)。例如，快门349可以耦接到外壳348/由外壳348支撑，并且外壳348可以例如适于保护系统300免受与太空或大气飞行关联的环境条件和/或其他室外环境条件，例如固定或铰接安装在陆地载具上。在其他实施例中，外壳348可以适于手持使用。
如图3所示，多光谱成像系统140可以被实现有适于促进多光谱成像系统140的操作的各种其他部件，包括捕获场景302的多光谱图像、对场景302的去马赛克图像、检测场景302的对象304和背景306的特性(例如，存在、程度、范围、半透明度、可见颜色和/或其他特性)和/或对场景302的对象304和背景306进行分类(例如，分类为天空或非天空、操纵障碍物或非操纵障碍物、移动目标或非移动目标、植被或非植被、道路/土地或非道路/土地、水面或非水面、和/或其可能性)和/或如本文所述地将这样的传感器数据报告给系统100的其他元件。在一些实施例中，系统300可以通过随时间推移聚合传感器数据(例如，多帧)以提供由系统300确定的这样的特性和/或分类的基于持续时间的可靠性，然后将传感器数据传输到系统100的其他元件，来报告传感器数据。在其他实施例中，系统300可以通过激励LED指示器和/或向系统300或100的部件(例如，警报器或电气开关或继电器)传输警报或通知信号来，报告传感器数据。
例如，取决于多光谱成像系统140和/或成像模块142的期望应用和/或总体尺寸，成像传感器控制器312、存储器146、用户接口332、通信模块144、显示器333和其他模块152中的每一个，如果可选地包括在多光谱成像系统140中，则可以耦接到PCB 375或外壳348。在其他实施例中，任何一个或一组这样的部件可以在例如多光谱成像系统140的外部和/或以分布式或分组方式实现(例如，多个成像系统控制器312操作多光谱成像系统140，或多个多光谱成像系统140由单个成像系统控制器312操作)。
成像系统控制器312可以被实现为任何适当的处理设备(例如，微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他逻辑设备)，系统300可以使用该处理设备执行适当的指令，例如软件指令和/或信号处理操作，用于例如使用成像模块142捕获场景302的多光谱图像、对与这样的多光谱图像关联的原始像素数据去马赛克、对这样的图像中的场景302的像素和/或元素进行分类(例如，使用在成像系统控制器312内实现的CNN)和/或将这样的传感器数据/信息报告给多光谱导航系统100或300的其他元件。此外，如本文所述，成像系统控制器312可以被实现有各种信号处理设备，例如模数转换器(ADC)、触发输入、定时电路和其他信号或传感器处理设备。
在各种实施例中，成像系统控制器312的至少某部分或某功能可以是单独的系统的其他现有控制器或逻辑设备的一部分或被实现有单独的系统的其他现有控制器或逻辑设备，例如服务器、个人电子设备(例如，移动电话、智能电话、平板设备、膝上型计算机、台式计算机)和/或可用于处理、报告或作用于由系统300捕获的多光谱图像的任何其他设备。在其他实施例中，成像系统控制器312可以适于与各种外部控制器或逻辑设备和关联组件接口连接和通信和/或以分布式方式执行各种操作。
一般而言，成像系统控制器312可以适于与系统300的其他部件接口连接和通信，以执行本文所述的方法和过程。在一个实施例中，成像系统控制器312可以例如适于使用通信模块144来报告多光谱图像和/或像素/对象分类，以显示333和呈现和/或显示这样的信息或警报通知，或者呈现和/或显示与场景302对应的分类图的图像。在另一实施例中，成像系统控制器312可以适于使用通信模块144来建立与例如远程报告系统的有线或无线通信链路，并且报告这样的传感器信息。
存储器146通常至少与成像系统控制器312通信并且可以包括一个或多个存储器设备(例如，存储器部件)以存储信息，包括图像数据、校准数据、其他类型的传感器数据和/或软件指令。这样的存储设备可以包括各种类型的易失性和非易失性信息存储设备，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦只读存储器)、闪存、盘驱动器和/或其他类型的存储器。在一个实施例中，存储器146可以包括可移动存储器设备，该可移动存储器设备可以从系统300移除并且用于将存储的数据传送到其他系统以供进一步处理和检查。
通信模块144可以被配置为促进系统300的各种部件之间(例如，成像系统控制器312和存储器146和/或显示器333之间)和/或各种外部设备(例如无线接入点、个人电子设备、服务器和/或其他检测器)之间的通信和接口连接。例如，诸如用户接口332和显示器333的部件可以通过通信模块144向成像系统控制器312传输数据和从成像系统控制器312接收数据，该通信模块144可以适于管理各种部件之间的有线和/或无线通信链路。因此，通信模块144可以支持用于本地系统网络的各种接口、协议和标准，例如控制器局域网(CAN)总线、本地互连网络(LIN)总线、面向媒体系统传输(MOST)网络、或ISO 11738(或ISO总线)标准。
在一些实施例中，成像系统控制器312可以适于通过通信模块144与远程用户接口、通知系统或其他检测系统通信，以例如聚合来自多个系统或传感器的报告和/或实现特定的检测和/或通知方法。因此，通信模块144可以包括无线通信部件(例如，基于IEEE802.11WiFi标准、蓝牙TM标准、ZigBeeTM标准或其他适当的短距离无线通信标准)、无线宽带部件(例如，基于WiMax技术)、移动蜂窝部件、无线卫星部件或其他适当的无线通信部件。通信模块144还可以被配置为通过诸如以太网接口的有线通信部件与有线网络和/或设备接口连接。
如果存在，则用户接口332提供与多光谱成像系统140的用户交互，并且可以包括一个或多个按钮、指示器(例如LED)、键盘、轨迹球、旋钮、操纵杆、显示器(例如，液晶显示器、触摸屏显示器)和/或适于接受用户输入和/或提供用户反馈的其他类型的用户接口。在一个实施例中，用户接口332可以包括电源按钮、振动马达、指示操纵障碍物的LED和/或提供操纵障碍物的可听指示的扬声器(例如，可见的、触觉的和/或可听的指示器)。在各种实施例中，如本文所述，用户接口332可用于输入各种系统配置设置，例如积分时间参数、去马赛克算法选择和/或其他配置设置。在一些实施例中，用户接口332可用于查看由系统300捕获和/或根据本文描述的各种操作处理的一个或多个报告、图表和/或其他图像数据。
如果存在，则显示器333可以被配置为呈现、指示或以其他方式传达警报、通知和/或图像数据和/或对象或像素分类的其他报告(例如，由成像系统控制器312生成)。显示器333可以用电子显示屏实现，例如液晶显示器(LCD)、阴极射线管(CRT)或各种其他类型的通常已知的视频显示器和监视器，包括触敏显示器。显示器333可适用于呈现图像数据、图表、视频、报告或本文所述的其他信息。
其他模块152可以包括温度传感器/探针(例如，热电偶、红外温度计)、LED或激光二极管、环境光传感器、电压调节器和/或滤波器、可变电压源和/或如本文所述可用于促进多光谱成像系统140的操作的其他类型的设备。在一些实施例中，其他模块152可以包括GNSS、加速度计、罗盘和/或能够感测多光谱成像系统140的位置和/或取向的其他取向传感器。其他模块152可以附加地包括被实现为电池的电源模块、电源适配器、充电电路、电源接口、电源监测器和/或提供移动电源的其他类型的电源。
根据本文所述的实施例，多光谱导航系统可受益于被配置为提高这样的系统的操作灵活性、可靠性和准确性的各种多光谱成像和可视化技术。特别地，实施例可以被配置为提供各种显示视图，例如，包括基于由多光谱成像系统140和/或系统100的其他成像器提供的图像的增强现实视图，从而允许用户使用和监测这样的特征和能力，并且可以根据被配置为减轻领航负担、保护这样的系统的移动平台的操作以及比常规导航系统更快且更可靠地定性和定量评估潜在的操纵障碍物和规避选项的各种过程和/或控制回路来实现。
在各种实施例中，系统100可以被配置为通过使用多光谱成像系统140和安装到移动平台110的其他传感器来可视化和表征操纵障碍物。通常，移动平台110可以将传感器数据中继到机载操作员或基站130和/或副领航站230处的远程操作员，其中，传感器数据可以被处理或用于操纵移动平台110。这样的传感器数据也可以在显示器上呈现以帮助可视化和表征操纵障碍物，从而辅助人类操作员检测并规避操纵障碍物。例如，系统100的元件可以自主地对一个或多个操纵障碍物的范围绘图并将得到的传感器数据叠加到地理空间图表或图像上，使得操作员可以可视化操纵障碍物的全范围并安全地前进。在系统100或300包括手持移动平台的实施例中，系统100或300的元件可以聚合各种数据，以向手持平台的用户提供关键和及时的警告和/或安全指令。
实施例可以将2D或3D传感器数据作为图标或彩色高光或斑点(blobs)叠加到地理空间地图或图像上，使得用户可以可视化操纵障碍物的范围。实施例可以可选地包括第二屏幕/附加基站，使得除了UAV/UGV领航员之外的用户可以查看/处理传感器数据。
在一些实施例中，显示视图(例如，由用户接口132和/或显示器333呈现)可以包括由各种选择器/指示器组(例如，标头、有效负载控制器菜单、视频馈送和平台遥测指示器)围绕的地理空间图表或增强图像，该选择器/指示器组被配置为可视化和/或量化操纵障碍物并操作移动平台110和/或移动平台110的元件。例如，标头可以包括一个或多个选择器和/或指示器，其被配置为例如接收特定选择器的用户选择，以启用、禁用或选择激活的传感器有效载荷(例如，多光谱成像系统140、环境传感器160)以在地理空间图表或增强图像中显示对应的地理参考传感器数据，或指示移动平台110和/或移动平台110的各种元件的操作状态。
在相关实施例中，地理空间图表或增强图像包括呈现在基础地图或图表上方的移动平台指示器和操纵障碍物叠加。在各种实施例中，系统100可以被配置为至少部分地基于当移动平台110在地理空间图表或增强图像中显示的区域内操纵时由多光谱成像系统140、环境传感器160提供的传感器数据和取向和/或位置数据(例如，由OPS 167和/或移动平台110的其他取向和/或位置或运动传感器或移动平台110的元件提供)来确定地理空间图表或增强图像内的操纵障碍物叠加的形状、范围和/或其他特性。例如，系统100可以被配置为基于由移动平台110提供的传感器数据和/或环境条件确定从光轴344的视角的与对象304关联的范围，并根据颜色映射呈现操纵障碍物叠加，以指示相对范围或接近速度，例如暖色(例如，红色)指示相对靠近或快速接近的操纵障碍物，而冷色(例如，蓝色)指示相对较远或快速后退的操纵障碍物。
在另一实施例中，系统100可以被配置为例如确定多种类型的操纵障碍物存在于特定勘测区域或场景内，并且根据显示视图中呈现的不同叠加层来呈现每种类型的操纵障碍物，每一叠加层可以由用户选择性地启用和/或禁用。
在各种实施例中，移动平台110可以被配置为基于例如由多光谱成像系统140和/或环境传感器160提供的传感器数据和/或基于由安装到移动平台110的传感器测量或由外部系统测量并传送到系统100的各种环境条件(例如，由在线数据库通过链接到基站130或副领航站230的无线网络提供的区域天气数据)来调整其路线。因此，移动平台110可以被配置为自主地避开操纵障碍物或危险环境(例如，显著的下降气流或其他不希望的环境条件和/或在这样的不希望的环境条件内的操纵障碍物)。例如，将UAV/UGV发送到危险环境中可能使移动平台110处于损坏的风险。通过添加基于载具上承载的多光谱图像和环境传感器的智能操纵避障，可以通过自动路线调整限制碰撞风险和/或低效操纵，从而保护移动平台110及其关联的传感器套件。
本文所述的实施例可以提供对操纵障碍物的自主反应。例如，控制器112和/或基站130或副领航站230的控制器可以被配置为从移动平台110和/或从安装到移动平台110的传感器接收多光谱图像、分类数据和/或其他传感器数据并确定路线调整以避开检测到的操纵障碍物和/或环境条件。路线调整的示例可以包括停止、转向、爬升和/或反向线路，以从操纵障碍物或危险环境撤退或以其他方式避开操纵障碍物或危险环境。例如，这样的路线调整可以中继到基站130的用户，或者可以由移动平台110直接/自主地实现。这样的自主响应旨在保持移动平台110的完整性并促进到达期望的目的地。
图4-6示出了根据本公开的实施例的显示视图400、500和600，其包括由用于多光谱导航系统100或300的多光谱成像系统140生成的图像。在图4中，显示视图400示出了邻域和各种场景元素(例如，道路、人行道、栅栏、植被和植被后面的结构，所有场景元素都在多云的天空下面)的相对高分辨率的可见光谱RGB或彩色图像402。在图5中，显示视图500示出了可见光谱彩色图像402中描绘的相同场景的单色可见光谱图像502、NIR图像504和LWUV图像506。图6示出了包括多光谱图像602的显示视图600，该多光谱图像包括光谱单色可见光谱图像502、NIR图像504和LWUV图像506中的每一个的特性，其中，每个差异化光谱被映射到人眼通常可见的R、G和B通道(例如，NIR图像数据被映射到R通道，VIS数据被映射到G通道，而LWUV数据被映射到B通道)。
从图4-6可以看出，白天天空光谱特征在NIR图像中具有相对低的光谱特征/亮度，在VIS图像中具有中等光谱特征/亮度，而在LWUV图像中具有相对非常亮的光谱特征/亮度。因此，与使用VIS图像时相比，在LWUV图像中以天空为背景显出轮廓的对象从天空中分割出来更容易得多，并且多光谱分析能够更好地区分天空和前景对象，例如其他移动平台。例如，很难想象在图5中描绘的所有三个波段中天空和某个封闭对象同时具有相同的表观辐射度的白天场景。此外，当对象或操纵障碍物超出可靠的LIDAR范围时，这样的多光谱分析特别有用。因此，实施例通常能够使用简单的图像减法来在场景中从其他对象分割出天空，即使当对象在可见光谱中看起来相似时也是如此。此外，机载CNN或其他机器视觉引擎(例如，在模块控制器372和/或成像系统控制器312内实现)可以快速执行像素和/或对象分类，并将包括“标记的”像素或像素组的多光谱图像数据发送到多光谱导航系统100的元件，并确定各种操纵调整以避开操纵障碍物，如本文所述。
在图5的各种图像中，可以看到在UV波段中抑制了自然光阴影。例如，瑞利散射通常会使整个天空在散射的UV阳光下相对明亮地发微光。由于整个天穹都被照亮，因此在UV波段中的阴影较不强烈(例如，如LWUV图像506中所示)。此外，LWUV图像中的许多前景对象将往往看起来很暗，因为UV被许多分子表面吸收。相比之下，由于瑞利散射较少，因此阴影在NIR波段中往往会被增强(例如，如NIR图像504所示)。因此，将NIR图像504和LWUV图像506彼此相减产生强调图像中的哪些像素可能是阴影的多光谱图像(例如，从而将这样的像素分类为阴影或非阴影，可选地具有关联的可能性)。
在另一示例中，以干净的雪为背景的白色衣服在VIS图像中通常不可见或对比度低，特别是在具有朦胧或不存在阴影的漫射环境光中。然而，在LWUV图像中，以干净的雪为背景的白色衣服通常非常明显，对比度相对高，并且可以利用CNN分析和/或从VIS图像中减去LWUV图像的图像减法相当容易地进行检测。
图7示出了根据本公开的实施例的使用多光谱导航系统提供辅助或自动领航导航的各种操作的流程图700。在一些实施例中，图7的操作可以被实现为由与图1-3中描绘的对应电子设备、传感器和/或结构关联的一个或多个逻辑设备或控制器执行的软件指令。更一般地，图7的操作可以用软件指令、机械元件和/或电子硬件(例如，电感器、电容器、放大器、致动器或其他模拟和/或数字部件)的任何组合来实现。
还应当理解，过程700的任何步骤、子步骤、子过程或框可以以不同于图7所示实施例的顺序或布置来执行。例如，在其他实施例中，一个或多个框可以从每个单独的过程中省略，或添加到每个单独的过程。此外，框输入、框输出、各种传感器信号、传感器信息、校准参数和/或其他操作参数可以在移动到对应过程的随后部分之前存储到一个或多个存储器。尽管参考图1-3中描述的系统描述了过程700，但是过程700可以由不同于那些系统并且包括电子设备、传感器、组件、机构、平台和/或平台属性的不同选择的其他系统执行。
图7的过程700可以总体上与用于使用多光谱导航系统100来导航勘测区域的方法对应。
在框702处，接收与移动平台的预计路线对应的多光谱图像数据。例如，控制器112、312和/或372、通信模块120、144和/或134、用户接口132和/或系统100的其他元件可以被配置为在移动平台110沿着预计路线(例如，在场景302内)操纵时从多光谱成像系统140和/或成像模块142接收多光谱图像数据。
在框704中，接收与多光谱图像数据对应的取向和位置数据。例如，系统100可以被配置为接收与在框702中接收的多光谱图像数据对应的取向和/或位置数据(例如，从系统100的各种取向、位置和/或其他运动传感器)。
在框706中，生成操纵障碍物信息。例如，系统100可以被配置为至少部分地基于在框702和704中接收的取向和/或位置数据以及多光谱图像数据的组合生成与移动平台110的预计路线(例如，在场景302内)对应的操纵障碍物信息(例如，指示场景302中对象304的位置、范围和/或其他特性)。
在框708中，呈现包括操纵障碍物信息的显示视图。例如，系统100可以被配置为在用户接口132的显示器和/或多光谱成像系统140的显示器333中呈现包括在框706中生成的操纵障碍物信息的显示视图(例如，图4-6的显示视图)。
在框710中，确定预计路线与操纵障碍物区域的相交。例如，系统100可以被配置为至少部分地基于在框706中生成的操纵障碍物信息来确定移动平台110的预计路线与场景302中的至少一个对象304的位置和/或范围相交。
在框712中，调整移动平台的预计路线。例如，系统100可以被配置为调整移动平台110的预计路线以避开在框710中确定的与移动平台110的预计路线相交的一个或多个操纵障碍物(例如，场景302中的多个对象304)。例如，系统100可以被配置为确定避开路线，该避开路线被配置为避开场景302内的所有操纵障碍物并且通常根据预定的航向或路径到达预定目的地或穿过场景302。在其他实施例中，系统100可以被配置为确定一系列避开路线，该避开路线被配置为在移动平台110操纵通过场景302时避开场景302内的各个操纵障碍物。
通过提供这样的用于多光谱导航的系统和技术，本公开的实施例大大提高了包括无人传感器平台的有人和无人移动平台的操作灵活性和可靠性。此外，这样的系统和技术可用于提高移动平台(包括无人移动传感器平台)的用户和操作员的操作安全性，超过常规系统所能达到的安全性。因此，实施例提供了具有显著增加的操作便利性和性能的多光谱成像系统和导航系统。
如上所述，场景中载具经常遇到的另一类重要的对象是植被。健康的植强烈地反射NIR辐射，尤其是在800nm波段。具有测量可见波段辐射和NIR辐射能力的相机系统可以被配置为检测所谓的红边：与大多数植被中的海绵状叶肉组织关联的反射率从700nm急剧上升到800nm。
一种识别树叶的算法是归一化差分植被指数或NDVI。该度量通常用于卫星远程感测。传统的NDVI最常被定义为多光谱图像中NIR波段和可见红波段之间的归一化对比度。对于所公开的多光谱成像系统的实施例，通常不存在与可见绿色或蓝色不同的单独的可见红色波段，因此可以修改传统的NVDI以形成mNDVI，以根据NIR与全可见光谱光之间的对比度来对其进行定义：
mNDVI＝(NIR-VIS)/(NIR+VIS)
使用mNDVI的这种定义，可以识别和选择阈值，以将多光谱图像中的像素分类为与成像场景中的植被关联。典型的阈值范围包括0.3-0.4的mNDVI。
另一有用的度量可以称为归一化差分天空指数或NDSI。例如，天空的LWUV和NIR图像之间通常存在强烈对比度，因为瑞利散射截面随波长的变化非常强烈：
σ瑞利～波长-4
LWUV光将比NIR光散射约16倍(例如，波长为NIR的两倍)，这使得天空在LWUV波段显得亮而在NIR波段显得暗。这个NDSI度量可以定义为：
NDSI＝(LWUV-NIR)/(LWUV+NIR)
使用NDSI的这种定义，可以识别和选择阈值，以将多光谱图像中的像素分类为与成像场景中的天空关联。典型的阈值包括约0.2的NDSI。
图8-10示出了根据本公开的实施例的显示视图800、900和1000，显示视图800、900和1000包括由用于多光谱导航系统100或300的多光谱成像系统140生成的图像。图8-10示出了同一场景的三个视图。在图8中，显示视图800示出了具有公路入口匝道和各种场景元素(例如，路灯、具有喷涂车道和方向指示器的道路、街道标志、人行道、栅栏、植被、桥梁和山脉，所有场景元素都在晴朗的天空下)的主交叉口的相对高分辨率的可见光谱RGB或彩色图像802。更一般地说，图8示出了典型ADAS场景的全彩色可见光图像。
在图9中，显示视图900示出了多光谱图像902，其包括可见光谱彩色图像802中描绘的相同场景的VIS图像、NIR图像和LWUV图像中的每一个的光谱特性，其中，每个差异化光谱被映射到人眼通常可见的R、G和B通道(例如，NIR图像数据映射到R通道，VIS数据被映射到G通道，而LWUV数据被映射到B通道)。图10示出了包括经处理图像或分类图1002的显示视图1000，如使用mNDVI和NDSI以及适当的阈值逐像素地识别，其将植被显示为红色、将天空显示为蓝色并将其余部分显示为黑色，如本文所述。例如，用于生成分类图1002的特定mNDVI和NDSI阈值分别为0.35和0.2。
公开的多光谱成像系统的实施例可以被配置为将诸如绿色道路标志的绿色对象与绿色植被区分开来。这样的能力使ADAS更容易识别和分割出绿色道路标志，并使用光学字符识别将成像的文本中的信息合并到其一般数据流中。此外，使用来自NIR和VIS波段的测量更容易在绿色植被背景中看到绿色载具。相比之下，如果使用常规的彩色相机，则绿色标志和道路上或停泊在路边的绿色载具都有在绿色植被的背景下丢失的风险。
例如，公路的LWUV图像可能会提供标志和其后面的植被之间最小的对比度，但在LWUV图像中，天空和其他一切东西之间通常存在相对高的对比度。因此，同一场景的多光谱图像将能够显示清楚地相互界定开的天空和植被。使用本文提供的光谱映射，可以在多光谱图像中用黄灰色描绘道路。因此，可以将路面(例如，使用映射的RGB颜色阈值)分类为与成像场景中的植被和天空两者不同，因为路面的多光谱外观与天空和植被的多光谱外观非常不同。选择适当的阈值、结构形态和/或识别其他分类处理特性或技术可包括实现适当的CNN训练和分类技术，其中，训练CNN以分类对ADAS重要的各种不同图像特征。
使用本文所述的技术，本文所述的多光谱导航系统的实施例能够：识别植被，因为它在NIR波段较亮，但在其他两个波段较暗；识别晴朗的天空，因为它在LWUV波段较亮，但在其他两个波段较暗；区分红色LED尾灯和具有红色滤波器的白炽灯尾灯；和通过穿过车窗的可见光来限定车窗的位置。实施例还能够：区分人造表面与自然表面；区分绿色载具和植被；区分天蓝色的载具和晴朗的天空；区分白色载具和阴天；区分结冰的道路和无冰的道路；和区分湿路和干路。
2019年，美国的交通事故造成6000多名行人死亡，创下有记录以来的最高年度总数，并将超过受伤的100000人送往医院。随着汽车行业向自主载具(AV)发展，在驾驶时进行感测、分类和做出基于人工智能(AI)的瞬间操纵决策的能力变得越来越必要。高级驾驶员辅助系统(ADAS)和相关的AV系统的任务是快速变得更智能且更安全。本文所述的实施例为汽车制造商、供应商、监管机构、汽车测试机构、商用载具运营商和消费者系统提供了最大化驾驶员、行人和其他易受伤害的道路使用者的安全性的系统。
图11是示出了根据本公开的实施例的与热成像导航系统(例如，图1中的多光谱导航系统100的实施例)关联的功能益处的示图1100。特别地，图11的示图1100示出了基于热成像的导航系统可以如何在示图1100中标识的安全特征相空间的相对较大部分上提供相对可靠的特征性能。此外，图11的示图1100示出了增加的可靠特征性能可以通过将热成像与可见光谱成像和/或其他远程传感器系统(例如雷达)结合来实现，其中，不同特征性能的重叠或融合基本上填充了示图1100中标识的安全特征相空间。
图12示出了根据本公开的实施例的利用热成像导航系统1200的移动平台110的图。例如，如本文所述，在一些实施例中，多光谱导航系统100可以被实现为热成像导航系统，其中，传感器有效载荷140可以被实现为包括热成像模块142的热成像系统140，环境传感器160可以被实现为包括可见光谱成像模块/传感器组件166的可见光谱成像系统160，并且热成像导航系统100可以包括测距传感器系统127，其可以被实现为雷达或其他类型的测距传感器系统。在这样的实施例中，热成像系统140、可见光谱成像系统160和测距传感器系统127中的每一个可以安装到平台110以具有重叠的视场(例如，场景302的重叠传感器数据)。
特别地，图12的热成像导航系统1200可以包括以下中的一个或多个：控制器112、推进系统124(例如，电马达或内燃机或混合动力马达，其耦接到传动系统和/或驱动系)、制动系统125(例如，沿着推进系统124的驱动系设置的一个或多个机电控制的夹紧或运动阻滞设备，包括在平台/乘用载具110的车轮处或车轮内)、测距传感器系统127a(格栅安装的雷达系统)、127b(前保险杠安装雷达或声纳系统)、127c(立柱安装的雷达系统)和/或127d(后保险杠或行李箱安装的雷达或声纳系统)、热成像系统1240a(车顶安装的“鲨鱼鳍”或“帽””或无线电天线集成的热成像系统)、1240b(立柱安装的热成像系统)、1240c(后挡风玻璃安装的热成像系统)和/或1240d(前挡风玻璃安装的热成像系统)和/或可见光谱成像系统1260a(前挡风玻璃安装的可见光谱成像系统)、1260b(车顶或车顶架1226安装的可见光谱成像系统)、1260c(后挡风玻璃安装的可见光谱成像系统)和/或1260d(行李箱安装的可见光谱成像系统)。
更一般地，图12中标识的每个安装点可用于安装如本文所述的热成像系统、可见光谱成像系统和/或远程传感器系统中的任何一个或组合。在各种实施例中，由每个安装的系统生成的所有传感器数据可用于生成由平台110的用户接口1232(例如，用于乘用载具110的仪表板显示器)呈现的显示视图。
图13A示出了根据本公开的实施例的利用热成像导航系统1200的移动平台110的数据流图1300。特别地，数据流图1300示出了向操纵障碍物检测器1340提供热和/或可见光谱图像的热成像系统1260和/或可见光谱成像系统，其可以被配置为将接收的图像和/或由操纵障碍物检测器1340生成的关联的操纵障碍物信息(例如，标记图像)提供给范围估计器1342。范围估计器1342可以被配置为确定和向传感器数据融合器1344提供与在接收的标记图像中表示的每个检测到的操纵障碍物关联的范围估计，并且传感器数据融合器1344可以被配置为例如使用由测距传感器系统127提供的测距传感器数据和/或由配准器1318提供的取向、位置、运动和/或其他配准或校准数据来融合或以其他方式组合由操纵障碍物检测器1340生成的标记图像和关联的范围估计，和/或由测距传感器系统127提供的测距传感器数据，如图所示。
传感器数据融合器1344可以被配置为向制动计划器1346(例如，自动紧急制动计划器)提供组合的传感器数据和/或图像，该制动计划器可以被配置为评估组合的传感器数据和/或图像，包括平台110的预计路线(例如，由配准器1318提供)并选择性地激活制动系统125和/或推进系统124的其他元件，以避免与操纵障碍物检测器1340检测到的任何操纵障碍物发生碰撞。
在可选的实施例中，操纵障碍物检测器1340可以被配置为基于热图像、可见光谱图像和/或测距传感器数据中的任何一个或其组合来生成标记图像。此外，范围估计器1342可以被配置为基于由操纵障碍物检测器1340提供的标记图像和/或由测距传感器系统127提供的测距传感器数据来确定和提供与每个检测到的操纵障碍物关联的范围估计。
在各种实施例中，操纵障碍物检测器1340、范围估计器1342、传感器数据融合器1344和/或制动计划器1346中的每一个可以被实现为单独的软件程序和/或作为单独的软件程序由控制器112执行。在特定实施例中，操纵障碍物检测器1340可以被实现为一个或多个CNN，其被配置为生成标记的热图像、可见光图像和/或混合图像，例如通过特征提取、语义分割、对象识别、分类和/或其他类似的基于CNN的图像和/或传感器数据处理中的一个或多个。
在一个实施例中，操纵障碍物检测器1340可以被配置为应用热图像训练的CNN来检测在由热成像系统1240提供的热图像中表示的操纵障碍物，并生成对应的标记热图像和/或对于在热图像中检测到的每个操纵障碍物的关联的地图分数(例如，准确性可能性值)。在相关实施例中，操纵障碍物检测器1340可以被配置为应用可见光谱图像训练的CNN来检测在由可见光谱成像系统1260提供的可见光谱图像中表示的操纵障碍物并生成对应的标记可见光谱图像和/或对于在可见光谱图像中检测到的每个操纵障碍物的关联的地图分数。在这样的实施例中，操纵障碍物检测器1340可以被配置为根据逻辑函数组合两组标记图像，例如根据一个或另一个识别具有高于频谱特定阈值的地图分数的操纵障碍物，和/或任何通常检测到的具有高于组合阈值的(来自每个频谱的)组合地图分数的操纵障碍物。
在另一实施例中，操纵障碍物检测器1340可以被配置为在应用混合图像训练的CNN以检测在混合图像中表示的操纵障碍物并生成对应的标记混合图像和/或对于在混合图像中检测到的每个操纵障碍物的关联的地图分数之前，将热图像与可见光谱图像混合，其中，只有地图分数高于混合图像阈值的操纵对象才作为标记的混合图像被转发到范围估计器1342。在其他实施例中，操纵障碍物检测器1340可以被配置为在应用融合传感器数据训练的CNN以检测在融合传感器数据中表示的操纵障碍物并生成对应的标记的混合或频谱特定图像和/或对于在融合传感器数据中检测到的每个操纵障碍物的关联的地图分数之前，将热图像与可见光谱图像混合并将结果与由测距传感器系统127提供的测距传感器数据组合，其中，只有地图分数高于融合传感器数据阈值的操纵对象才作为标记图像被转发到范围估计器1342。在各种实施例中，可以通过合成操纵障碍物来训练本文描述的任何CNN，其中，将计算机生成的动物和/或其他操纵障碍物添加到图像，以训练CNN适当地标记关联图像。
可以根据强调一个或其他光谱的一个或多个特性的各种度量来执行热和可见光谱图像混合。在一些实施例中，可见光谱图像的颜色特性可以根据重叠的热图像像素值进行调制。在其他实施例中，可见光谱图像的像素值可以在与重叠的热图像像素值混合之前被转换为灰度。在其他实施例中，在与重叠的可见光谱图像像素值(例如，灰度或彩色像素值)混合之前，可以将热图像像素值映射到特定的调色板。
在一些实施例中，范围估计器1342可以被配置为仅基于热或可见光谱图像生成范围和/或相对方向估计，例如通过识别具有已知平均特征位移的共同对象特征(例如，左舷和右舷尾灯)并基于已知平均特征位移、识别的对象特征的像素位移以及一个或多个位移校准参数(例如，通常特定于每个成像系统)来确定范围估计。在其他实施例中，范围估计器1342可以被配置为基于热图像、可见光谱图像或由测距传感器系统127提供的测距传感器数据中的一个或任意组合来生成范围和/或相对方向估计。例如，如果每个成像系统是已知的并且相对于测距传感器系统127是固定的，则可以在没有由配准器1318提供的配准数据的情况下执行这样的范围估计。
例如，传感器数据融合器1344可以被配置为融合由系统100和/或1200的任何传感器提供的基本上同步的传感器数据，和/或可以被配置为融合时间上差异化的数据，例如传感器数据和/或标记图像的时间序列，以促进准确的操纵障碍物跟踪，如本文所述。制动计划器1346可以被配置为接收所有单独的传感器数据、标记图像、范围和/或相对方向估计和/或融合传感器数据并选择性地激活制动系统125和/或推进系统124的其他元件以停止或降低平台110的速度以避免与由操纵障碍物检测器1340检测到的操纵障碍物的潜在碰撞，如本文所述。
图13B示出了根据本公开的实施例的用于利用热成像导航系统1200的移动平台110的更新系统1302的框图。如图13B中可见，更新系统1302可以包括各种平台110，每个平台110被配置为通过网络1320从更新服务器1390接收CNN配置(权重)。每个平台110(例如，乘用载具)可以如关于图1和/或12的平台110描述的那样实现。在各种实施例中，通信网络1320可以根据如本文所述的一个或多个有线和/或无线网络接口、协议、拓扑和/或方法来实现，并且在一些实施例中可以包括一个或多个LAN和/或WAN网络，包括蜂窝网络和/或互联网。
在一些实施例中，CNN操纵障碍物检测故障可以被识别(例如，通过热成像导航系统1200的用户超控)和/或本地存储在平台110处。在一些实施例中，更新服务器1390可以被配置为接收CNN操纵障碍物检测故障和关联的传感器数据，并生成更新的CNN配置以补偿这样的边缘情况/故障。例如，更新服务器1390和/或连接的专用CNN训练器和/或注释反馈回路可以被配置为至少部分地基于CNN操纵障碍物检测故障来调整当前CNN配置，并且可以存储更新的CNN配置以分发到平台110。
更新服务器1390可以被实现为逻辑设备、平板计算机、膝上型计算机、台式计算机和/或服务器计算机，其可以被配置为实现CNN配置数据库，该数据库存储和管理与不同平台关联的CNN配置并在例如用户请求时或在制造商或监管机构推送时向平台110提供更新的CNN配置。尽管网络1320在图13B中被示出为一个元素，但在各种实施例中，网络1320可以包括多个网络基础设施和/或基础设施的组合，其中，例如，每个平台110可以被配置为使用基本上不同的网络基础设施来访问更新服务器1390。
图14A-B示出了根据本公开的实施例的包括由用于热成像导航系统1200的热成像系统1240生成的图像的显示视图1400、1402。例如，图14A的显示视图1400示出了可见光谱图像1460、包括图像标记(例如，基于CNN的操纵障碍物图像标签1480和雷达传感器数据标签1482)的共同配准热图像1440和标记图像的自上而下或鸟瞰视图作为融合图像1427，其包括基于CNN的操纵障碍物图像标签1480、雷达传感器数据标签1482和与平台110的位置关联的局部区域图像标签。图14B的显示视图1402示出了具有基于可见光谱图像CNN的操纵障碍物标签1486(例如，人)的可见光谱图像1462、具有基于热图像CNN的操纵障碍物标签1484(例如，同一人)的热图像1442以及具有基于混合图像CNN的操纵障碍物标签1488的混合图像1444。
图15示出了根据本公开的实施例的使用热成像导航系统提供包括自动紧急制动的辅助或自动领航导航的各种操作的流程图1500。在一些实施例中，图15的操作可以被实现为由与图1-14B中描绘的对应电子设备、传感器、结构和/或相关图像或显示视图关联的一个或多个逻辑设备或控制器执行的软件指令。更一般地，图15的操作可以用软件指令、机械元件和/或电子硬件(例如，电感器、电容器、放大器、致动器或其他模拟和/或数字部件)的任何组合来实现。
过程1500的任何步骤、子步骤、子过程或框可以以与图15所示的实施例不同的顺序或布置来执行。例如，在其他实施例中，可以从每个单独的过程省略一个或多个框或向每个单独的过程添加一个或多个框。此外，框输入、框输出、各种传感器信号、传感器信息、校准参数和/或其他操作参数可以在移动到对应过程的随后部分之前存储到一个或多个存储器。尽管参考图1-14B中描述的系统来描述过程1500，但是过程1500可以由不同于那些系统并且包括电子设备、传感器、组件、机构、平台和/或平台属性的不同选择的其他系统来执行。
图15的过程1500通常可以总体上与使用热成像导航系统1200(例如，图1的多光谱导航系统100的实施例)导航道路和制动，以避开操纵障碍物的方法对应。
在框1502处，接收与移动平台的预计路线对应的热图像数据。例如，控制器112、312和/或372、通信模块120、144和/或134、用户接口1232和/或132和/或系统100和/或1200的其他元件可以被配置为在移动平台110沿着预计路线(例如，在场景302内)操纵时从热成像系统1240和/或成像模块142接收热图像数据。
在框1504处，接收与热图像数据的对应的传感器数据。例如，系统1200可以被配置为接收与在框1502中接收的热图像数据对应的可见光谱图像数据、雷达数据、激光雷达数据、其他测距传感器数据和/或取向和/或位置数据(例如，从系统100的各种取向、位置和/或其他运动传感器)。在一些实施例中，系统1200可以被配置为例如在进行到框1506之前混合热和可见光谱图像，或者以其他方式在进行到块1506之前组合热和可见光谱图像与接收的测距传感器数据，如本文所述。在一些实施例中，系统1200可以被配置为至少部分地基于平台110的速度来调整系统1200的任何成像系统的帧率。
在框1506处，生成操纵障碍物信息。例如，系统1200可以被配置为至少部分地基于在框1502中接收的热图像数据生成与移动平台110的预计路线(例如，场景302内)对应的操纵障碍物信息(例如，指示场景302中对象304的位置、范围和/或其他特性)。在其他实施例中，系统1200可以被配置为至少部分地基于如本文所述在框1502和1504中接收的传感器数据和热图像数据的组合生成与移动平台110的预计路线对应的操纵障碍物信息。在各种实施例中，如本文所述，这样的操纵障碍物信息可以包括标记的热图像、可见光谱图像和/或混合图像。在一些实施例中，如本文所述，这样的操纵障碍物信息可以包括范围和/或相对方向估计、与检测到的操纵障碍物对应的融合传感器数据和/或其他传感器数据或经处理的传感器数据。
在框1508处，呈现包括操纵障碍物信息的显示视图。例如，系统1200可以被配置为在用户接口1232的显示器和/或用户接口132的显示器中呈现包括在框1506中生成的操纵障碍物信息的显示视图(例如，图13A-14B的显示视图)。这样的显示视图可包括例如可见光谱图像、热光谱图像、混合图像和/或融合传感器数据和/或一种或多种类型的图像标记，如本文所述。
在框1510处，确定预计路线与操纵障碍物区域的相交。例如，系统1200可以被配置为至少部分地基于在框1506中生成的操纵障碍物信息来确定移动平台110的预计路线与场景302中的至少一个对象304的位置和/或范围相交。例如，如本文所述，这样的确定的相交中的每一个可以由制动计划器1346和/或控制器112确定。
在框1512处，激活移动平台的制动系统。例如，系统1200可以被配置为激活制动系统125和/或控制移动平台110的推进系统124的其他元件，以停止或减少平台110的运动以避开如框1510中确定的与移动平台110的预计路线相交的一个或多个操纵障碍物(例如，场景302中的多个对象304)。例如，系统1200可以被配置为确定避开路线，该避开路线被配置为在对平台110制动时在不失去对平台110的转向控制的情况下并且通常根据预定的航向或路径避开场景302内的所有操纵障碍物。在其他实施例中，系统1200可以被配置为确定一系列避开路线，该避开路线被配置为在移动平台110制动时避开场景302内的各个操纵障碍物。更简单地说，系统1200可以被配置为确定要施加到制动系统125以使平台110以尽可能最少的线性行进量停止的制动力。
通过提供这样的用于基于热图像的导航的系统和技术，本公开的实施例大大提高了包括乘用载具的有人和无人移动平台的操作灵活性和可靠性。此外，这样的系统和技术可用于提高移动平台(包括载人乘用载具)的用户和操作员的操作安全性，超过常规系统所能实现的安全性。因此，实施例提供了具有显著增加的操作便利性和性能的热成像导航系统。
如本文所述，实施例提供了一种巧妙的软件解决方案，该解决方案将可见光谱图像和/或视频与热图像和/或视频组合，以创建两者的混合组合。在一些实施例中，这样的混合图像使用部分热图像以及可见光谱图像来提供如颜色的特征以及读取标志和车道标记的能力，即使在弱光条件下也是如此。本文提供了这样的混合图像的示例。本文描述的实施例可以被配置为使用这样的混合图像作为用于基于AI的图像处理以及对象检测和跟踪方法的基础图像。这样的方法包括提供两个视频流的去扭曲和校正，然后在组合的视频上运行对象检测器(例如，基于CNN的对象检测器)和跟踪器。结果是单个CNN，这导致更好的整体效率和计算性能。相比之下，现有系统目前单独地处理每个视频流，这使对硬件的计算要求加倍。
本文描述的实施例提供了优于常规技术的附加性能，因为CNN和跟踪器可以利用附加的汽车信息(例如，速度、雷达、GPS、方向)作为基于AI的处理能力中的数据的一部分，因为可以在AI堆栈内确定每一侧的混合视频的加权值。此外，CNN可以使用来自由辐射热相机提供的场景温度数据的附加信息来检查分类对象的平均温度是否在可接受的温度范围内，以帮助限制误报检测。例如，被CNN分类为人的对象的像素都具有与所识别的人关联的温度值。可以对照关联特定环境中特定类型目标的可接受范围检查平均温度值。
夜间驾驶对司机来说可能很困难；驾驶员可能会发现很难看到关键的道路阻挡物和/或其他对象，例如弱势道路使用者(VRU)和动物。本文所述的实施例向驾驶员提供附加信息，使得驾驶员可以看到VRU和动物，伴随有足够的警告以做出反应，从而可以在夜间和其他具有挑战性的照明条件下避免事故。例如，可以将带有警报的混合视频呈现给驾驶员，或者来自相机的信息(例如，被混合，如本文所述)和检测机制可以用于使用AEB(自动紧急制动)来停止载具。
在各种实施例中，来自检测到VRU的关键信息可以显示给驾驶员。例如，示例显示视图(例如，图16A-F)使用热相机突出显示行人和载具，但可见光相机从驾驶员的视角显示来自汽车的视图(例如，包括驾驶员眼睛可以看到的内容)。当将与混合视频一起使用CNN时，实施例使用来自热和可见光谱数据的组合信息，并且与在可见光谱视频和热视频上独立操作的两个独立处理堆栈相比，降低了计算成本。
使用热和可见光谱图像中的一个或两个都可能出现误报检测。本文所述的实施例使用两个视频通道来更准确地检测VRU、动物和其他对象(如其他载具)，从而更可靠地确定由CNN分类的对象的存在和类型。实施例还确定和使用与检测到的对象的平均辐射热值对应的附加信息来确定分类的对象是否在期望辐射热值内，以减少和/或消除对象存在和/或分类时的误报。
场景中的某些校准对象也可以用作参考温度，以帮助确保非校准对象的辐射热值对于检测到的其他非校准对象(例如VRU)是有效/校准/准确的。例如，校准对象可以包括热成像模块附接到的载具的引擎盖的指定部分——引擎盖的该指定部分可以在热相机的视场内，并且温度传感器可以耦接到引擎盖的指定部分，并提供引擎盖的指定部分的准确温度，该温度可用于校准热成像模块。这样的校准对象可以通过IR和/或可见光谱可见标记(例如，配准点、十字和/或其他图形)来标记，以帮助识别与校准对象关联的像素。在其他实施例中，例如，这样的校准对象可以通过放置在道路旁或停车场出口处的静止结构(标志、标牌)、或保持在标准温度或被配置为将它们的温度传送给系统100的结构(例如通过IR或可见光谱亮光文本，或经由无线信标)来实现。
各种实施例包括安装在或以其他方式耦接到载具的具有相似或至少重叠视场的热相机(例如，热成像模块)和可见光谱相机(例如，可见光谱成像模块)。然后可以通过使用两个相机都可以看到的配准目标的校准过程来对两个视频进行缩放、去扭曲和/或校正。这样的校准过程可以被配置为对齐两个相机系统之间的像素(像素配准)。可见光和热透镜/透镜系统可能具有不同的朝向，并且校准过程可以补偿每个透镜的径向和切向朝向，使得来自两个相机的图像基本对齐并且可以相互叠加，从而使成像的对象在每个视频中重叠。
在一些实施例中，这样的配准校准可以使用场景中具有可检测和明确限定/鲜明边缘的对象来实时调整，从而即使在执行初始校准过程之后也可以保持或校正对齐。对齐的图像然后可以显示给驾驶员或由具有ADAS功能的载具使用，如本文所述。例如，组合图像(例如，显示视图和/或组合图像数据)可以包括从100％热和0％可见光到100％可见光和0％热或两者之间的任何百分比的可变贡献。这样的变化可以基于其中一种光谱提供关于特定应用的更可靠的图像数据(例如，对象检测、分类、图像配准和/或其他图像处理，如本文所述)的环境照明、天气和/或其他环境条件来选择。
在各种实施例中，可以向用户显示配准的多光谱视频(热的和可见光)和/或将其输入对象检测算法，特别是基于CNN的对象检测器中。如本文所述，与仅可见光视频或仅热视频相比，混合视频提供了优越的对象检测/感知。这样的CNN的实施例还可以实现跟踪器，该跟踪器保持图像帧之间的目标锁定并增加随着时间的推移对象检测的可靠性。与针对每种传感器类型的常规图像处理相比，由于仅使用一个网络，因此这样的CNN的实施例在计算成本方面相对非常高效。结果是由于计算硬件导致成本更低，并且由于多个同时光谱(例如，热和可见光)而导致更可靠的检测/分类。
每像素的辐射热值(校准的绝对温度)也可以使用热成像模块来实现，如本文所述。当检测到分类对象(例如，VRU)时，可以使用这样的每像素数据，并且组合与VRU关联的像素的平均值并获得相对温度值。与特定场景/环境温度的期望值相比，可以使用阈值范围来评估对象温度。这样的处理对CNN能力添加了置信度，并有助于减少或消除误报，这对于可靠和舒适的AEB应用特别有用。
在各种实施例中，可以为驾驶员生成包括混合光谱图像的显示视图。在一些实施例中，混合视频可以被配置为强调街道标志和颜色(来自可见光相机)，而在其他实施例中，以热强调VRU。其他显示视图主要是可见光谱图像，其中，检测到的对象以热进行显示。在其他实施例中，可以以可配置的方式向驾驶员显示具有CNN检测的热和可见光混合视频，使得考虑和优化各种驾驶员场景。例如，在完全黑暗的夜间驾驶时，热图像模块可以提供大部分视频流。在光线充足的情况下，可见光谱图像模块可以提供大部分的透明度。在其他实施例中，热检测将叠加在可见光谱视频上，尤其是在迎面而来的汽车前灯可能会刺眼并冲掉可见光谱图像的情况下。
图16A-B示出了根据本公开的实施例的包括由用于热成像导航系统1200的热成像系统1240生成的图像的显示视图1600-1605。例如，图16A的显示视图1600示出了混合图像1610，具有基于混合图像CNN的操纵障碍物标签1620(迎面而来的车流)、1622(沿着车道停放的载具)和1630(在人行横道中走过车流的行人)。显示视图1600中的每个操纵障碍物标签包括围绕热图像数据的标记框，表示对应的检测到的对象/操纵障碍物。在图16A所示的实施例中，混合图像1610主要是与关联于操纵障碍物标签1620、1622和1630的热图像结合的可见光谱图像。
图16B的显示视图1601示出了混合图像1610，具有基于混合图像CNN的操纵障碍物标签1620(迎面而来的车流)，其类似于图16A的显示视图1600，但呈现了不同的环境，其中，如果混合图像1610的那部分没有与关联于操纵障碍物标签1620的热图像叠加或以其他方式混合，则迎面而来的前灯的可见光谱眩光原本会模糊迎面而来的车流。
图16C的显示视图1602示出了混合图像1610，具有基于混合图像CNN的操纵障碍物标签1632(迎面而来的自行车骑手)，其类似于图16A的显示视图1600，但呈现了不同的环境，其中，如果混合图像1610的那部分没有与关联于操纵障碍物标签1632的热图像叠加或以其他方式混合，则可见光谱图像原本将不显示迎面而来的自行车骑手。
图16D的显示视图1603示出了混合图像1612，其主要是与关联于各种照明对象(例如尾灯1640、交叉口信号灯1642和路边反射器1644(例如，在混合图像1612中全部显示为红色))的可见光谱图像组合的热图像。在图16D所示的实施例中，混合图像1612包括足以识别和检测行人1650和车道标记1660的细节，即使在相对低光照条件下(例如，在可见光谱图像可能不包括类似细节的情况下)。
图16E的显示视图1604示出了混合图像1612，其主要是与关联于各种照明对象(例如人行横道标志1646、车道改道标志1648、拐角灯1670(具有关联的假日照明)和街灯1672(例如，在混合图像1612中全部以可见光谱颜色-白色、黄色、橙色-进行显示))的可见光谱图像组合的热图像。在图16E所示的实施例中，混合图像1612包括足以识别和检测车道标记1660的细节，即使在相对低光照条件下(例如，可见光谱图像可能不包括类似细节或被迎面而来的车流前灯的眩光盖过的情况下)。
图16F的显示视图1605示出了混合图像1612，其主要是与各种照明对象关联的可见光谱图像组合的热图像，例如尾灯/舷灯1640(例如，在混合图像1612中以可见光谱颜色-红色-进行显示)。在图16F所示的实施例中，混合图像1612包括基于混合图像CNN的操纵障碍物标签1624(在沿着道路的相同方向上行进的相对较小的车流)和1626(在沿着车道的相同方向上行进的相对较大的车流)。显示视图1600中的每个操纵障碍物标签包括围绕混合图像数据的标记框，表示对应的检测到的对象/操纵障碍物以及其关联的照明特征(例如，尾灯/舷灯1640)。
通过提供包括对组合或多光谱图像进行基于CNN的图像处理的系统和技术，本公开的实施例大大提高了包括乘用载具的有人和无人移动平台的操作灵活性和可靠性。此外，这样的系统和技术可用于提高移动平台(包括载人乘用载具)的用户和操作员的操作安全性，超过常规系统所能实现的安全性。因此，实施例提供了具有显著增加的操作便利性和性能的热成像导航系统。
在适用的情况下，本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。此外，在适用的情况下，本文阐述的各种硬件组件和/或软件组件可以组合成包括软件、硬件和/或两者的复合组件，而不背离本公开的精神。在适用的情况下，在不背离本公开的精神的情况下，本文阐述的各种硬件组件和/或软件组件可以被分离成包括软件、硬件或两者的子组件。此外，在适用的情况下，可以设想软件组件可以被实现为硬件组件，反之亦然。
根据本公开的软件，例如非暂时性指令、程序代码和/或数据，可以存储在一个或多个非暂时性机器可读介质上。还可以设想，可以使用联网的和/或其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中识别的软件。在适用的情况下，本文描述的各个步骤的顺序可以改变、组合成复合步骤和/或分离成子步骤，以提供本文描述的特征。
上述实施例说明但不限制本发明。还应该理解，根据本发明的原理，许多修改和变化都是可能的。因此，本发明的范围仅由随附权利要求限定。

Claims (20)

1.一种系统，所述系统包括：
热成像系统，其中，所述热成像系统包括热成像模块，所述热成像模块被配置为提供与移动平台的预计路线对应的热图像数据；和
逻辑设备，所述逻辑设备被配置为与所述热成像系统通信，其中，所述逻辑设备被配置为：
接收与所述预计路线对应的所述热图像数据；和
至少部分地基于所述热图像数据生成与所述预计路线对应的操纵障碍物信息。
2.根据权利要求1所述的系统，还包括：
取向和/或位置传感器，所述取向和/或位置传感器耦接到所述移动平台并被配置为提供与移动结构的运动关联的取向和/或位置数据；
其中，所述逻辑设备被配置为：
接收与所述热图像数据对应的取向和/或位置数据；
至少部分地基于所述取向和/或位置数据和所述热图像数据的组合，生成与所述预计路线对应的所述操纵障碍物信息；和
至少部分地基于生成的与所述预计路线对应的所述操纵障碍物信息，选择性地激活所述平台的制动系统。
3.根据权利要求1所述的系统，还包括：
可见光谱成像系统，所述可见光谱成像系统耦接到所述移动平台并被配置为提供与所述预计路线对应的可见光谱图像数据；和
取向和/或位置传感器，所述取向和/或位置传感器耦接到所述移动平台并被配置为提供与移动结构的运动关联的取向和/或位置数据；
其中，所述逻辑设备被配置为：
接收与所述热图像数据对应的可见光谱图像数据；
接收与所述热图像数据对应的取向和/或位置数据；和
至少部分地基于所述可见光谱图像数据、所述取向和/或位置数据以及所述热图像数据的组合，来生成与所述预计路线对应的所述操纵障碍物信息。
4.根据权利要求1所述的系统，还包括：
可见光谱成像系统，所述可见光谱成像系统耦接到所述移动平台并被配置为提供与所述预计路线对应的可见光谱图像数据；
其中，所述逻辑设备被配置为：
接收与所述热图像数据对应的可见光谱图像数据；和
至少部分地基于所述可见光谱图像数据和所述热图像数据的组合，来生成与所述预计路线对应的所述操纵障碍物信息。
5.根据权利要求4所述的系统，其中，所述逻辑设备被配置为：
至少部分地基于接收的可见光谱图像数据和热图像数据生成混合图像；和
至少部分地基于混合图像数据生成与所述预计路线对应的所述操纵障碍物信息。
6.根据权利要求1所述的系统，还包括：
测距传感器系统，所述测距传感器系统耦接到所述移动平台并被配置为提供与所述预计路线对应的测距传感器数据；
其中，所述逻辑设备被配置为：
接收与所述热图像数据对应的测距传感器数据；和
至少部分地基于所述测距传感器数据和所述热图像数据的组合，生成与所述预计路线对应的所述操纵障碍物信息。
7.根据权利要求1所述的系统，还包括：
测距传感器系统，所述测距传感器系统耦接到所述移动平台并被配置为提供与所述预计路线对应的测距传感器数据；和
可见光谱成像系统，所述可见光谱成像系统耦接到所述移动平台并被配置为提供与所述预计路线对应的可见光谱图像数据；
其中，所述逻辑设备被配置为：
接收可见光谱图像数据和与所述热图像数据对应的测距传感器数据；和
至少部分地基于所述可见光谱图像数据、所述测距传感器数据和所述热图像数据的组合，生成与所述预计路线对应的所述操纵障碍物信息。
8.根据权利要求7所述的系统，其中，所述逻辑设备被配置为：
至少部分地基于接收的可见光谱图像数据和所述热图像数据生成混合图像；和
至少部分地基于混合图像数据和所述测距传感器数据的组合，生成与所述预计路线对应的所述操纵障碍物信息。
9.根据权利要求8所述的系统，其中：
所述测距传感器系统包括格栅安装的雷达系统和/或格栅安装的激光雷达系统。
10.根据权利要求1所述的系统，还包括通信模块，所述通信模块被配置为与更新服务器建立无线通信链路，所述更新服务器与所述移动平台关联，其中：
所述热成像系统被配置为耦接到所述移动平台；并且
所述逻辑设备被配置为在所述移动平台沿着预计路线操纵时从所述热成像系统接收所述热图像数据，并通过所述无线通信链路将生成的与所述预计路线对应的操纵障碍物信息报告给所述更新服务器。
11.一种方法，所述方法包括：
从包括热成像模块的热成像系统接收热图像数据，所述热成像模块被配置为提供与移动平台的预计路线对应的热图像数据；和
至少部分地基于所述热图像数据，生成与所述预计路线对应的操纵障碍物信息。
12.根据权利要求11所述的方法，还包括：
从耦接到所述移动平台的取向和/或位置传感器接收与所述热图像数据对应的取向和/或位置数据；
至少部分地基于所述取向和/或位置数据以及热图像数据的组合，生成与所述预计路线对应的所述操纵障碍物信息；和
至少部分地基于生成的与所述预计路线对应的所述操纵障碍物信息，来选择性地激活所述平台的制动系统。
13.根据权利要求11所述的方法，还包括：
从耦接到所述移动平台的取向和/或位置传感器接收与所述热图像数据对应的取向和/或位置数据；
从耦接到所述移动平台并被配置为提供与所述预计路线对应的可见光谱图像数据的可见光谱成像系统接收与所述热图像数据对应的可见光谱图像数据；和
至少部分地基于所述可见光谱图像数据、所述取向和/或位置数据以及所述热图像数据的组合，来生成与所述预计路线对应的所述操纵障碍物信息。
14.根据权利要求11所述的方法，还包括：
从耦接到所述移动平台并被配置为提供与所述预计路线对应的可见光谱图像数据的可见光谱成像系统接收与所述热图像数据对应的可见光谱图像数据；和
至少部分地基于所述可见光谱图像数据和所述热图像数据的组合，来生成与所述预计路线对应的所述操纵障碍物信息。
15.根据权利要求14所述的方法，还包括：
至少部分地基于接收的可见光谱图像数据和所述热图像数据生成混合图像；和
至少部分地基于混合图像数据生成与所述预计路线对应的所述操纵障碍物信息。
16.根据权利要求11所述的方法，还包括：
从耦接到移动平台并被配置为提供与所述预计路线对应的测距传感器数据的测距传感器系统接收与所述热图像数据对应的测距传感器数据；和
至少部分地基于所述测距传感器数据和所述热图像数据的组合，来生成与所述预计路线对应的所述操纵障碍物信息。
17.根据权利要求11所述的方法，还包括：
从可见光谱成像系统和测距传感器系统接收可见光谱图像数据和与所述热图像数据对应的测距传感器数据，所述可见光谱成像系统耦接到所述移动平台并被配置为提供与所述预计路线对应的可见光谱图像数据，所述测距传感器系统耦接到所述移动平台并被配置为提供与所述预计路线对应的测距传感器数据；和
至少部分地基于所述可见光谱图像数据、所述测距传感器数据和所述热图像数据的组合，来生成与所述预计路线对应的所述操纵障碍物信息。
18.根据权利要求17所述的方法，还包括：
至少部分地基于接收的可见光谱图像数据和所述热图像数据生成混合图像；和
至少部分地基于混合图像数据和所述测距传感器数据的组合，生成与所述预计路线对应的所述操纵障碍物信息。
19.根据权利要求18所述的方法，其中：
所述测距传感器系统包括雷达系统和/或激光雷达系统。
20.根据权利要求11所述的方法，还包括：
当所述移动平台沿着所述预计路线操纵时，从所述热成像系统接收热图像数据；和
通过无线通信链路，经由被配置为与更新服务器建立无线通信链路的通信模块，向与所述移动平台关联的更新服务器报告生成的与所述预计路线对应的所述操纵障碍物信息。
CN202210245680.8A 2021-03-10 2022-03-10 用于导航的热成像系统和方法 Pending CN115127544A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163159444P 2021-03-10 2021-03-10
US63/159444 2021-03-10
US202163167632P 2021-03-29 2021-03-29
US63/167632 2021-03-29
US17/685,349 US20220291701A1 (en) 2021-03-10 2022-03-02 Thermal imaging for navigation systems and methods
US17/685349 2022-03-02

Publications (1)

Publication Number Publication Date
CN115127544A true CN115127544A (zh) 2022-09-30

Family

ID=80628577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210245680.8A Pending CN115127544A (zh) 2021-03-10 2022-03-10 用于导航的热成像系统和方法

Country Status (3)

Country Link
US (1) US20220291701A1 (zh)
EP (1) EP4056950A1 (zh)
CN (1) CN115127544A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11624660B1 (en) * 2021-10-15 2023-04-11 Motorola Solutions, Inc. Dynamic radiometric thermal imaging compensation
CN116592899B (zh) * 2023-04-28 2024-03-29 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2674354A1 (fr) * 1991-03-22 1992-09-25 Thomson Csf Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles.
CN209014724U (zh) * 2016-01-11 2019-06-21 菲力尔系统公司 基于交通工具的雷达上采样
GB2601644B (en) * 2017-04-28 2023-02-08 FLIR Belgium BVBA Video and image chart fusion systems and methods
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
WO2019225349A1 (ja) * 2018-05-24 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
CN114729804A (zh) * 2019-08-30 2022-07-08 泰立戴恩菲力尔商业系统公司 用于导航的多光谱成像系统和方法

Also Published As

Publication number Publication date
US20220291701A1 (en) 2022-09-15
EP4056950A1 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
US11917281B2 (en) Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length
US10395113B2 (en) Polarization-based detection and mapping method and system
US20230365129A1 (en) Apparatus and methods for obstacle detection
CN105393083B (zh) 周围环境感测系统
US10332409B2 (en) Midair collision threat detection and assessment using visual information
CN110537109A (zh) 用于自主驾驶的感测组件
EP4056950A1 (en) Thermal imaging for navigation systems and methods
US20220301303A1 (en) Multispectral imaging for navigation systems and methods
US10635116B2 (en) Video calibration with illumination invariant image
US20220214222A1 (en) Radiometric thermal imaging improvements for navigation systems and methods
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
EP3631391A1 (en) Polarization-based detection and mapping method and system
WO2023102911A1 (zh) 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质
Claro et al. Artuga: A novel multimodal fiducial marker for aerial robotics
US20230020142A1 (en) Situational awareness system for an autonomous or semi-autonomous vehicle
EP4067814A1 (en) Radiometric thermal imaging improvements for navigation systems and methods
US20230356863A1 (en) Fiducial marker detection systems and methods
US20220189319A1 (en) Mobile surveillance systems and methods for uas operational support
KR20230020933A (ko) 다중 세분성들의 라벨들이 있는 데이터 세트를 사용하는 뉴럴 네트워크 트레이닝

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination