CN110998596A - 夜间感测 - Google Patents

夜间感测 Download PDF

Info

Publication number
CN110998596A
CN110998596A CN201880049633.8A CN201880049633A CN110998596A CN 110998596 A CN110998596 A CN 110998596A CN 201880049633 A CN201880049633 A CN 201880049633A CN 110998596 A CN110998596 A CN 110998596A
Authority
CN
China
Prior art keywords
interest
sensor
region
visible spectrum
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880049633.8A
Other languages
English (en)
Other versions
CN110998596B (zh
Inventor
L·艾恩
D·E·波特
E·C·卡尔
唐效峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110998596A publication Critical patent/CN110998596A/zh
Application granted granted Critical
Publication of CN110998596B publication Critical patent/CN110998596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了结合传感器图像类型的用于夜视的系统和方法。一些具体实施可包括从长波红外传感器获得长波红外图像；检测所述长波红外图像中的对象；识别与所述对象相关联的感兴趣区域；基于与所述感兴趣区域相关联的数据来调整近红外传感器的控制参数；获得使用所述近红外传感器的所调整的控制参数捕获的近红外图像；以及基于与所述感兴趣区域相关联的所述近红外图像的数据来确定所述对象的分类。

Description

夜间感测
相关申请的交叉引用
本申请要求2017年9月28日提交的美国临时专利申请62/564,654的权益，该申请全文以引用方式并入本文以用于所有目的。
技术领域
本公开涉及用于夜间自主对象检测和识别的多模式感测。
背景技术
一些自动化系统收集处理大量传感器数据以识别周围环境中的对象。传感器数据的处理通常受到实时约束，以有利于导航和/或对自动化系统的稳健控制。
发明内容
本文公开了用于夜间自主对象检测和识别的多模式感测的具体实施。
在第一方面，本说明书中描述的主题可体现在包括以下各项的系统中：主体；致动器，所述致动器能够操作以引起所述主体的运动；长波红外传感器；以及近红外传感器。所述系统包括处理装置，所述处理装置被配置为从所述长波红外传感器获得长波红外图像，检测所述长波红外图像中的对象，识别与所述对象相关联的感兴趣区域，基于与所述感兴趣区域相关联的数据来调整所述近红外传感器的控制参数，获得使用所述近红外传感器的所调整的控制参数捕获的近红外图像，基于与所述感兴趣区域相关联的所述近红外图像的数据来确定所述对象的分类，基于所述对象的所述分类确定运动计划，以及向所述致动器输出命令以操纵所述系统。
在第二方面中，本说明书中描述的主题可实现在包括以下各项的系统中：长波红外传感器；近红外传感器；数据处理装置；以及存储能够由所述数据处理装置执行的指令的数据存储设备，所述指令在由所述数据处理装置执行时使得所述数据处理装置执行操作，所述操作包括：从所述长波红外传感器获得长波红外图像，检测所述长波红外图像中的对象，识别与所述对象相关联的感兴趣区域，基于与所述感兴趣区域相关联的数据来调整所述近红外传感器的控制参数，获得使用所述近红外传感器的所调整的控制参数捕获的近红外图像，以及基于与所述感兴趣区域相关联的所述近红外图像的数据来确定所述对象的分类。
在第三方面，本说明书中描述的主题可体现在包括以下各项的方法中：从长波红外传感器获得长波红外图像；检测长波红外图像中的对象；识别与对象相关联的感兴趣区域；基于与感兴趣区域相关联的数据来调整近红外传感器的控制参数；获得使用近红外传感器的所调整的控制参数捕获的近红外图像；以及基于与感兴趣区域相关联的近红外图像的数据来确定对象的分类。
附图说明
在阅读本公开时通过结合附图对以下具体实施方式得以最佳理解。应当强调的是，根据惯例，附图的各种特征结构不是成比例的。相反，为了清楚起见，各种特征结构的尺寸被任意扩大或缩小。
图1是用于夜间自主对象检测和识别的多模式感测过程的示例的流程图。
图2是用于调整感兴趣区域的控制参数的过程的示例的流程图。
图3A是用于确定对象的分类的过程的示例的流程图。
图3B是用于训练对象分类的机器学习单元的过程的示例的流程图。
图4是被配置为用于夜间自主对象检测和识别的多模式感测的车辆的示例的框图。
图5是用于车辆控制器的硬件配置的示例的框图。
图6是用于计算设备的硬件配置的示例的框图。
图7是安装在车辆上的不同类型的多个传感器的重叠视场的示例的示意图。
具体实施方式
夜间或低亮度环境对自动化车辆控制系统提出了挑战。例如，夜间由车辆上的前照灯提供的照明度可受到法律或法规的限制，这可继而限制用于检测车辆的路径中或附近的对象的可见光谱传感器(例如，相机)的有效距离。具有用于检测对象和/或对对象进行分类的所限制的有效距离(例如，约60米)可降低安全性和/或降低车辆安全行驶的速度。
可使用多种互补图像感测技术的组合来解决夜间或低亮度环境对象检测和分类的挑战。例如，对安装在车辆上的近红外照明器的照明度可能存在宽松的限制或没有限制。具有近红外照明器的近红外传感器可被配置为捕获距车辆显著更长距离(例如，200米)处的关于车辆的路径中或附近的对象的高分辨率图像信息。这可使得在车辆移动时能够对对象进行早期检测和分类，并提高安全性和/或最大速度。近红外照明器可在相对较窄的视场(例如，30度锥角)中投射近红外光。
尽管其距离可能相对有限，但可见光谱传感器可在多种颜色通道(例如，红色、绿色和蓝色)中提供高分辨率图像数据。可见光谱传感器还可提供车辆前方的路径的较宽视场(例如，120度视场)。
长波红外传感器捕获来自车辆周围环境中的对象的天然存在的热辐射，因此不依赖于照明器。长波红外传感器的有效距离可受到传感器分辨率和对象检测和/或分类的分辨率要求的限制。可包括部件传感器阵列的长波红外传感器可在车辆周围提供宽视场(例如，180度视场)。长波红外传感器可提供环境中对象的具有相对较低分辨率的图像。
在一些具体实施中，基于来自长波红外传感器的低分辨率图像数据检测到的对象通过调整用于其他感测模式和/或图像处理资源的控制参数来分类，以将车辆的计算机视觉资源聚焦在与所检测到的对象相关联的感兴趣区域上。例如，可调整传感器(例如，近红外传感器或可见光谱传感器)的积分时间、孔尺寸、滤波器或增益，以增强与感兴趣区域相关联的捕获图像的一部分。例如，可调整照明器(例如，近红外照明器或可见光谱照明器)的功率水平或视场，以增强与感兴趣区域相关联的捕获图像的一部分。例如，可调整计算控制参数(例如，用于图像处理的分辨率或图像处理遍次的计数)并将其应用于与感兴趣区域相关联的图像部分。
本文所述的技术可提供对自动化车辆的现有计算机视觉系统的改进。一些具体实施可增加可对车辆的路径中或附近的对象进行检测和分类的有效距离。一些具体实施可以更准确地对低亮度环境中的对象进行分类。可改善自动化车辆控制系统的安全性和/或可增加低亮度环境中的最大安全速度。
图1是用于夜间自主对象检测和识别的多模式感测过程100的示例的流程图。过程100包括从长波红外传感器获得110长波红外图像；检测120长波红外图像中的对象；识别130与对象相关联的感兴趣区域；基于与感兴趣区域相关联的数据来调整140一个或多个控制参数；获得150使用近红外传感器的所调整的一个或多个控制参数捕获的近红外图像；获得160使用可见光谱传感器的所调整的一个或多个控制参数捕获的可见光谱图像；基于与感兴趣区域相关联的近红外图像和/或可见光谱图像的数据来确定170对象的分类；基于对象的分类来确定180运动计划；以及向致动器输出190命令以操纵车辆。例如，过程100可由图4的自动化控制器450来实现。例如，过程100可由图5的车辆控制器500来实现。例如，过程100可由图6的计算设备600来实现。
过程100包括从长波红外传感器获得110长波红外图像。例如，长波红外传感器可检测与热辐射对应的光谱范围内的电磁辐射(例如，8微米至15微米的波长)。长波红外图像可包括宽视场(例如，180度)。长波红外图像可提供关于距传感器较长距离的空间中的对象的低分辨率信息。例如，可通过图4的长波红外传感器436获得110长波红外图像。例如，可通过图5的传感器接口530获得110长波红外图像。例如，可通过图6的无线接口630获得110长波红外图像。
过程100包括检测120长波红外图像中的对象。例如，可通过识别反射来自对象(例如，人物、动物或车辆)的热辐射的像素簇检测到120一个或多个对象，所述对象大于其在长波红外图像中所示的空间中的环境。例如，可使用图像分割例程(例如，实现Felzenszwalb分割)在长波红外图像中检测到120一个或多个对象，以识别长波红外图像中的与长波红外图像的视场内出现的对象相关联的像素簇。例如，可使用图4的对象检测器460检测到120对象。
过程100包括识别130与对象相关联的感兴趣区域。可以在多个传感器共用的坐标系(例如，车辆坐标系)中指定感兴趣区域。例如，感兴趣区域的指定可包括视角。感兴趣区域可对应于来自多个相应图像传感器的图像中的图像部分(例如，像素块)。可使用光束平差算法(例如，使用SLAM(同步定位和映射)算法)将感兴趣区域映射到来自多个传感器的图像的部分。可基于与对象相关联的簇中的长波红外图像的像素的位置来识别130感兴趣区域。例如，感兴趣区域的视角可指向像素簇上的中心处。可基于与对象相关联的像素簇的尺寸来确定感兴趣区域的尺寸。所识别的130感兴趣区域可对应于来自附加传感器的图像(例如，近红外图像和/或可见光谱图像)的图像部分，该图像部分可被分析以确定关于所检测到的120对象的附加信息。
过程100包括调整140感兴趣区域的一个或多个控制参数，以增强来自感兴趣区域中的附加传感器的数据的捕获和/或分析。例如，可基于与感兴趣区域相关联的数据来调整140近红外传感器的控制参数。例如，可调整140感兴趣区域中的像素的积分时间或曝光时间，以增强感兴趣区域内的近红外图像的对比度。例如，可调整140近红外传感器的孔尺寸以增强感兴趣区域内的近红外图像。例如，可通过选择对象的适当光谱范围(例如，基于对象的初始分类)来调整140(例如，选择)近红外传感器的滤波器，以增强感兴趣区域内的近红外图像。例如，可调整140近红外传感器的增益(例如，电子放大器增益)以增强感兴趣区域内的近红外图像。例如，可基于与感兴趣区域相关联的数据来调整140可见光谱传感器的控制参数(例如，积分时间、孔尺寸、滤波器选择和/或放大器增益)。例如，可基于与感兴趣区域相关联的数据来调整140可见光谱照明器的控制参数(例如，功率水平和/或视场)。例如，可基于与感兴趣区域相关联的数据来调整140近红外照明器的控制参数(例如，功率水平和/或视场)。例如，可基于与感兴趣区域相关联的数据来调整140计算控制参数(例如，用于信号处理遍次的分辨率或信号处理遍次的计数)。在一些具体实施中，多个传感器和图像处理例程的控制参数被调整140以提供关于感兴趣区域的更多信息。例如，图2的过程200可被实现以调整140感兴趣区域的控制参数。
过程100包括获得取150使用近红外传感器的所调整的140控制参数捕获的近红外图像。例如，近红外传感器可检测刚好低于可见光范围的光谱范围内的电磁辐射(例如，0.75微米至1.4微米的波长)。近红外照明器可用于在该光谱范围内产生从空间中的对象反射并由近红外传感器检测到的光。可使用所调整的140近红外照明器控制参数捕获近红外图像。所调整的140控制参数可包括例如积分时间、滤波器选择、孔尺寸选择和/或增益。在一些具体实施中，所调整的140一个或多个控制参数可包括近红外照明器的一个或多个控制参数(例如，功率水平和/或视场)。近红外图像可包括窄视场(例如，30度)。近红外图像可具有比长波红外图像更高的分辨率，并且包括关于距近红外传感器较长距离(例如，200米)的空间中的对象的信息。在一些具体实施中，近红外照明器包括从车辆指向不同方向的照明器阵列(例如，各自具有30度视场的共同跨越90度视场的三个照明器部件)，并且沿车辆的路径所指向的近红外照明器部件可具有其功率水平，当使用长波红外传感器未在其相应视场内检测到对象时，该功率水平可被调制为低功率或关闭(例如，以节省功率)，并且当使用长波红外传感器在其相应视场内检测到对象时，该功率水平可被调制为开启或高功率水平。例如，可通过图4的近红外传感器434获得150近红外图像。例如，可通过图5的传感器接口530获得150近红外图像。例如，可通过图6的无线接口630获得150近红外图像。
过程100包括从可见光谱传感器获得160使用可见光谱传感器的所调整的控制参数捕获的可见光谱图像。例如，可见光谱传感器可检测人类可见的光谱范围内的电磁辐射(例如，400纳米至700纳米的波长)。可见光谱传感器可捕获与不同颜色(例如，红色、绿色和蓝色)对应的多个光谱子范围中的光，并且可见光谱图像可包括多个颜色通道(例如，RGB或YCrCb)。可见光谱照明器(例如车辆上的前照灯)可用于在该光谱范围内产生从空间中的对象反射的并由可见光谱传感器检测到的光。可使用所调整的140可见光谱照明器控制参数来捕获可见光谱图像。可见光谱传感器的所调整的140控制参数可包括例如积分时间、滤波器选择、孔尺寸选择和/或增益。在一些具体实施中，所调整的140一个或多个控制参数可包括可见光谱照明器的一个或多个控制参数(例如，功率水平和/或视场)。可见光谱图像可包括视场(例如，120度或180度)。可见光谱图像可具有比长波红外图像更高的分辨率，并且包括关于距可见光谱传感器较短距离(例如，60米)的空间中的对象的信息。例如，可通过图4的可见光谱传感器432获得160可见光谱图像。例如，可通过图5的传感器接口530获得160可见光谱图像。例如，可通过图6的无线接口630获得160可见光谱图像。
过程100包括基于来自与感兴趣区域相关联的一个或多个传感器的数据来确定170对象的分类(例如，作为人物、动物、车辆、屏障、建筑物、交通标志、静态的，动态的等)。例如，可基于与感兴趣区域相关联的近红外图像的数据来确定170对象的分类。例如，可基于与感兴趣区域相关联的可见光谱图像的数据来确定170对象的分类。可将感兴趣区域的图像数据(例如，来自可见光谱图像、来自近红外图像和/或来自长波红外图像)预处理和/或输入到机器学习单元(例如，包括卷积神经网络)，该机器学习单元输出在感兴趣区域中出现的对象的分类。在一些具体实施中，使用所调整的140计算控制参数(例如，分辨率、条带或预处理遍次的计数)来确定对象的分类。例如，图3A的过程300可被实现以确定170对象的分类。例如，对象分类器470可用于确定170对象的分类。在一些具体实施(图1中未明确示出)中，用于获得和处理感兴趣区域的传感器数据的一个或多个控制参数可被迭代地调整140，以确定170在感兴趣区域中出现的对象的分类。
过程100包括基于对象的分类来确定180运动计划。例如，可由对象跟踪器使用对象分类来生成包括动态对象的投射路径的对象跟踪数据，该对象跟踪数据可用于确定180用于碰撞避免或通过的运动计划。例如，可由图4的自动化控制器450来确定180运动计划。
过程100包括向致动器输出190命令以操纵车辆。命令可基于所述运动计划。例如，可将命令输出190到电源和传动系统(例如，电源和传动系统422)、转向系统(例如，转向系统424)和/或制动系统(例如，制动系统426)。例如，可通过自动化控制器450、车辆控制器500或计算设备600输出190命令。例如，可通过控制器接口540或无线接口630输出190命令。例如，操纵车辆可包括加速、转弯和/或停止。
图2是用于调整感兴趣区域的控制参数的过程200的示例的流程图。过程200包括调整210近红外传感器的一个或多个控制参数；调整220近红外照明器的一个或多个控制参数；调整230可见光谱传感器的一个或多个控制参数；调整240可见光谱照明器的一个或多个控制参数；以及调整250用于处理感兴趣区域的图像数据的计算例程的一个或多个控制参数。例如，过程200可由图4的自动化控制器450来实现。例如，过程200可由图5的车辆控制器500来实现。例如，过程200可由图6的计算设备600来实现。
过程200包括调整210近红外传感器的一个或多个控制参数。例如，近红外传感器的所调整的210控制参数可为积分时间。积分时间可为在对图像捕获进行采样之前近红外传感器的图像感测元件收集光子的持续时间。例如，近红外传感器的所调整的210控制参数可为孔尺寸。可通过在图像传感器的覆盖件中扩大或缩小孔或通过在具有不同孔尺寸的覆盖件中交换来机械地调整210孔尺寸。例如，近红外传感器的所调整的210控制参数可为滤波器选择。滤波器选择可导致(例如，由玻璃或塑料制成的)光学滤光器被机械地移入或移出近红外传感器的感测元件上方的位置。例如，近红外传感器的所调整的210控制参数可为放大增益(例如，电子放大器增益)。
过程200包括基于与感兴趣区域相关联的数据来调整220近红外照明器控制参数。例如，所调整的220近红外照明器控制参数可为亮度。照明器的亮度可与功率水平和/或照明度成比例。例如，所调整的220近红外照明器控制参数为照明场。可通过改变覆盖照明器的透镜来调整220照明场。
过程200包括基于与感兴趣区域相关联的数据来调整230可见光谱传感器的控制参数。例如，可见光谱传感器的所调整的230控制参数可为积分时间。积分时间可为在对图像捕获进行采样之前可见光谱传感器的图像感测元件收集光子的持续时间。例如，可见光谱传感器的所调整的230控制参数可为孔尺寸。可通过在图像传感器的覆盖件中扩大或缩小孔或通过在具有不同孔尺寸的覆盖件中交换来机械地调整230孔尺寸。例如，可见光谱传感器的所调整的230控制参数可为滤波器选择。滤波器选择可导致(例如，由玻璃或塑料制成的)光学滤光器被机械地移入或移出可见光谱传感器的感测元件上方的位置。例如，可见光谱传感器的所调整的230控制参数可为放大增益(例如，电子放大器增益)。
过程200包括基于与感兴趣区域相关联的数据来调整240可见光谱照明器控制参数。例如，所调整的240可见光谱照明器控制参数可为亮度。照明器的亮度可与功率水平和/或照明度成比例。例如，所调整的240可见光谱照明器控制参数为照明场。可通过改变覆盖照明器的透镜来调整240照明场。
过程200包括基于与感兴趣区域相关联的数据来调整250计算控制参数。例如，计算控制参数可指定分辨率，该分辨率用于对来自传感器(例如，近红外传感器或可见光谱传感器)的图像数据进行图像处理以提取与对象相关的信息。例如，计算控制参数可指定条纹尺寸，该条纹尺寸将由卷积神经网络的卷积层用于处理来自传感器(例如，近红外传感器或可见光谱传感器)的图像数据以提取与对象相关的信息。例如，计算控制参数可指定预处理遍次的计数，该预处理遍次的计数将应用于来自传感器(例如，近红外传感器或可见光谱传感器)的图像数据以提取与对象相关的信息。
图3A是用于确定对象的分类的过程300的示例的流程图。过程300包括预处理310来自传感器的图像以提取感兴趣区域的特征；融合320来自多个传感器的感兴趣区域的特征；以及将特征输入330机器学习单元以确定在感兴趣区域中出现的对象的分类。例如，过程300可由图4的自动化控制器450来实现。例如，过程300可由图5的车辆控制器500来实现。例如，过程300可由图6的计算设备600来实现。
过程300包括预处理310来自传感器的图像以提取感兴趣区域的特征。例如，预处理310经Bayer滤波的可见光谱图像可包括对可见光谱图像进行去马赛克。例如，预处理310可见光谱图像、近红外图像和/或长波红外图像可包括施加降噪滤波(例如，空间降噪滤波和/或时间降噪滤波)。在一些具体实施中，预处理310来自传感器中的一个传感器的图像包括施加变换(例如，离散余弦变换或小波变换)或匹配的滤波器以从与感兴趣区域对应的图像部分提取特征(例如，频率或刻度特征)。在一些具体实施中，与感兴趣区域对应的图像部分的像素值被提取作为特征。
过程300包括融合320来自多个传感器的感兴趣区域的特征。在一些具体实施中，使用不同传感器捕获的经特征提取的图像可被重新采样，以有利于融合从处于共同分辨率的多个源图像(例如，可见光谱图像和近红外图像)的图像通道，以使用机器学习单元(例如，卷积神经网络)进行分析。
过程300包括将特征输入330到机器学习单元，以确定在感兴趣区域中出现的对象的分类(例如，作为人物、动物、车辆、屏障、建筑物、交通标志、静态的、动态的等)。例如，机器学习单元可包括卷积神经网络、支持向量机或贝叶斯网络。例如，可使用图3B的过程350来训练机器学习单元。
图3B是用于训练对象分类的机器学习单元的过程350的示例的流程图。过程350包括获得352训练数据；用地面实况标签标记354训练数据；以及使用训练数据和地面实况标签来训练356机器学习单元。例如，机器学习单元可以是卷积神经网络，并且其可以使用反向传播算法训练356。例如，过程350可由图4的自动化控制器450来实现。例如，过程350可由图5的车辆控制器500来实现。例如，过程350可由图6的计算设备600来实现。
图4是被配置为用于夜间自主对象检测和识别的多模式感测的车辆的示例的框图。车辆400包括车身410，其包含或附接到车辆400的其他系统和部件。车辆400包括能够用作车辆400与道路之间的界面的车轮420。车轮420提供可用于沿道路上的路径引导车辆的控制表面。车辆400包括能够操作以引起车身410运动的致动器。致动器包括动力和传动系统422、转向系统424和制动系统426。车辆400包括用于感测车辆400附近的环境的传感器组430。车辆400包括自动化控制器450，该自动化控制器被配置为基于来自传感器组430的传感器数据来操纵车辆，方法是将控制信号发送至致动器(例如，动力和传动系统422、转向系统424和/或制动系统426)。例如，车辆400可使用自动化控制器450来实现图1的过程100。
车辆400包括经由传动系统422连接至车轮的动力源(例如，内燃机和/或电池)，所述传动系统能够使车轮旋转，从而使车辆沿道路加速。车辆400包括转向系统424，该转向系统能够使车轮420相对于车身410转向，例如，通过控制车辆的偏航角和角速度或路径曲率，以引导车辆的运动。
车辆400包括传感器组430，所述传感器模块被配置为检测车辆附近的其他对象。传感器组430可包括各种传感器，包括可见光谱传感器432、近红外传感器434、长波红外传感器436和/或附加传感器(未示出)，诸如加速度计、陀螺仪、磁力仪、里程计、全球定位系统接收器、激光雷达传感器、雷达传感器等。传感器组430还可包括照明器，诸如可见光谱照明器438和近红外照明器440，所述照明器提供从环境中的物体反射的光，以有利于使用对应的图像传感器进行检测。当在夜间工作时，车辆的照明器可尤其有用。
传感器组430包括被配置为捕获车辆附近的空间中的对象的可见光谱图像的可见光谱传感器432(例如，相机或相机阵列)。例如，可见光谱传感器432可检测人类可见的光谱范围内的电磁辐射(例如，400纳米至700纳米的波长)。可见光谱传感器432可捕获与不同颜色(例如，红色、绿色和蓝色)对应的多个光谱子范围中的光，并且由可见光谱传感器432输出的可见光谱图像可包括多个颜色通道(例如，RGB或YCrCb)。可见光谱传感器432可包括用于捕获多通道可见光谱图像的滤色器阵列(例如，Bayer滤波器)。在一些具体实施中，可见光谱传感器为单通道(例如，具有针对所有传感器元件的单个滤波器)并且输出黒白图像。可见光谱传感器432可被配置为通过调整可见光谱传感器的一个或多个控制参数(例如，积分时间、滤波器选择、孔尺寸选择和/或增益)来增强感兴趣区域中所捕获图像的质量。可见光谱图像可包括视场(例如，120度或180度)。例如，可见光谱传感器432可提供图7中所述的可见光视场720。可见光谱图像可具有比长波红外图像更高的分辨率，并且包括关于距可见光谱传感器较短距离(例如，60米)的空间中的对象的信息。该距离可受由可见光谱照明器438提供的照明度的限制，尤其是在夜间。
传感器组430包括近红外传感器434，该近红外传感器被配置为捕获车辆附近的空间中的对象的近红外图像。例如，近红外传感器434可检测刚好低于可见光范围的光谱范围内的电磁辐射(例如，0.75微米至1.4微米的波长)。近红外传感器434可被配置为通过调整近红外传感器434的一个或多个控制参数(例如，积分时间、滤波器选择、孔尺寸选择和/或增益)来增强感兴趣区域中所捕获图像的质量。近红外传感器434可提供窄视场(例如，30度)。例如，近红外传感器434可提供图7中所述的近红外视场740。近红外图像可具有比长波红外图像更高的分辨率，并且包括关于距近红外传感器较长距离(例如，200米)的空间中的对象的信息。该距离可受由近红外照明器440提供的照明度的限制。
传感器组430包括长波红外传感器436，该长波红外传感器被配置为捕获车辆附近的空间中的对象的长波红外图像。例如，长波红外传感器436可检测与热辐射对应的光谱范围内的电磁辐射(例如，8微米至15微米的波长)。长波红外传感器436可提供宽视场(例如，180度)。例如，长波红外传感器436可提供图7中所述的长波红外视场730。来自长波红外传感器436的长波红外图像可提供关于距传感器较长距离的空间中的对象的低分辨率信息。
传感器组430包括可见光谱照明器438(例如车辆上的前照灯)，其被配置为将可见光从车辆投射到车辆400附近的对象上，以有利于捕获可见光谱图像。可见光谱照明器438可包括一个或多个透镜，该透镜引导来自可见光谱照明器438的光并确定可见光谱照明器438的视场。例如，可见光谱照明器438可用于在该光谱范围内产生从空间中的对象反射的并由可见光谱传感器432检测到的光。可使用可见光谱照明器438的一个或多个所调整的控制参数(例如，功率水平和/或视场)来捕获可见光谱图像。例如，可见光谱照明器438的照明度可受到针对车辆400的法律或法规和/或功率预算的限制。
传感器组430包括近红外照明器440，其被配置为将近红外光从车辆投射到车辆400附近的对象上，以有利于捕获近红外图像。例如，红外照明器440可用于在该光谱范围内产生从空间中的对象反射的并由近红外传感器434检测到的光。红外照明器440可包括一个或多个透镜，所述透镜引导来自红外照明器440的光并确定红外照明器440的视场。可使用红外照明器440的一个或多个所调整的控制参数(例如，功率水平和/或视场)来捕获近红外图像。例如，红外照明器440的照明度可受到针对车辆400的法律或法规和/或功率预算的限制。
车辆400包括自动化控制器450，所述自动化控制器被配置为接收来自传感器组430以及可能的其他来源(例如，车辆乘客/操作员控制接口)的数据并对数据进行处理，从而通过将控制信号发送至经由车轮420致动这些命令的致动器(例如，动力源和传动系统422、转向系统424和制动系统426)以操纵车辆400来实现对车辆400的运动的自动化控制。自动化控制器450可被配置为向传感器组430发送控制信号并从传感器组430接收传感器数据。例如，自动化控制器450可向传感器组430发送调整的控制参数，该调整的参数控制用于传感器数据捕获的传感器和/或照明器的配置，所述配置被定制为增强与检测到的对象相关联的感兴趣区域。在一些具体实施中，自动化控制器450被配置为在夜间对车辆附近的空间中的对象进行检测和分类，以通知对车辆400的控制。例如，自动化控制器450可被配置为实施关于图1描述的过程100。自动化控制器450可包括专门的数据处理和控制硬件和/或在具有附加能力的数据处理装置上运行的软件。例如，自动化控制器450可使用图5的车辆控制器500来实现。
自动化控制器450包括被配置为进行处理的对象检测器460或与该对象检测器交互。例如，对象检测器460可通过识别反射来自对象(例如，人物、动物或车辆)的热辐射的像素簇来检测一个或多个对象，所述对象大于其在长波红外图像中所示的空间中的环境。例如，可使用图像分割算法(例如，Felzenszwalb分割算法)在长波红外图像中检测到一个或多个对象，以识别长波红外图像中的与长波红外图像的视场内出现的对象相关联的像素簇。对象检测器460可包括专门的数据处理和控制硬件和/或在具有附加能力的数据处理装置上运行的软件。
自动化控制器450包括对象分类器470或与对象分类器进行交互，该对象分类器被配置为基于来自传感器的与感兴趣区域对应的图像数据对感兴趣区域中的对象进行分类。自动化控制器450可将感兴趣区域的图像数据从多个传感器(例如，可见光谱传感器432、近红外传感器434和/或长波红外传感器436)传递到对象分类器470，以确定在感兴趣区域中出现的对象的分类(例如，作为人物、动物、交通标志、静态的、动态的等)。例如，对象分类器470可包括卷积神经网络。在一些具体实施中，使用已基于感兴趣区域的数据(例如，指定感兴趣区域的位置和/或尺寸的数据)调整的计算控制参数(例如，分辨率、条纹或预处理遍次的计数)来确定对象的分类。例如，对象分类器470可实现图3A的过程300来对对象进行分类。对象分类器470可实现图3B的过程350以训练对象分类器470的机器学习部件。对象分类器470可包括专门的数据处理和控制硬件和/或在具有附加能力的数据处理装置上运行的软件。
自动化控制器450包括地图定位器480或与该地图定位器交互，该地图定位器被配置为融合来自车辆400的多个传感器的数据并基于本地传感器数据更新导航地图。在一些具体实施中，地图定位器可实现光束平差算法(例如，SLAM算法)。自动化控制器450可将感兴趣区域中的对象的分类传递到地图定位器480以有利于更新导航地图。地图定位器480可包括专门的数据处理和控制硬件和/或在具有附加能力的数据处理装置上运行的软件。
图5是用于车辆控制器500的硬件配置的示例的框图。硬件配置可包括数据处理装置510、数据存储设备520、传感器接口530、控制器接口540以及互连件550，数据处理装置510可通过互连件访问其他部件。例如，车辆控制器500可被配置为实现图1的过程100。
数据处理装置510可操作以执行已存储在数据存储设备520中的指令。在一些具体实施中，数据处理装置510是具有随机存取存储器的处理器，该随机存取存储器用于在读取自数据存储设备520的指令被执行时暂时存储这些指令。数据处理装置510可包括单个或多个处理器，每个处理器具有单个或多个处理核。另选地，数据处理装置510可包括能够操纵或处理数据的另一类型的一个或多个设备。例如，数据存储设备520可是非易失性信息存储设备，诸如硬盘驱动器、固态驱动器、只读存储器设备(ROM)、光盘、磁盘或任何其他合适类型的存储设备，诸如非暂态计算机可读存储器。数据存储设备520可包括能够存储用于由数据处理装置510检索或处理的数据的另一类型的一个或多个设备。例如，数据存储设备520可被分布在多个机器或设备诸如基于网络的存储器或多个机器中的存储器中，为了便于解释，该多个机器或设备执行可在本文中被描述为使用单个计算设备执行的操作。数据处理装置510可经由互连件550访问和操纵存储在数据存储设备520中的数据。例如，数据存储设备520可存储可由数据处理装置510执行的指令，该指令在由数据处理装置510执行时使数据处理装置510执行操作(例如，实现图1的过程100的操作)。
传感器接口530可被配置为控制和/或接收来自一个或多个传感器(例如，可见光谱传感器432、近红外传感器434和/或长波红外传感器436)的图像数据(例如，长波红外图像、近红外图像和/或可见光谱图像)。在一些具体实施中，传感器接口530可实现用于通过导体与一个或多个传感器设备进行通信的串口协议(例如，I2C或SPI)。在一些具体实施中，传感器接口530可包括用于经由低功率短距通信(例如，使用车辆区域网络协议)与一个或多个传感器组进行通信的无线接口。
控制器接口540允许向车辆内的其他系统输入和输出信息，以帮助实现车辆的自动化控制。例如，控制器接口540可包括用于向车辆中的致动器(例如，电源和传动系统422、转向系统424和制动系统426)发出控制信号并且从传感器组(例如，传感器组430)接收传感器数据的串行端口(例如，RS-232或USB)。例如，互连件550可以是系统总线，或者有线或无线网络(例如，车辆区域网络)。
图6是用于计算设备600的硬件配置的示例的框图。该硬件配置可包括数据处理装置610、数据存储设备620、无线接口630、用户界面640和互连件650，数据处理装置610通过互连件可访问其他部件。计算设备可被配置为基于来自多个传感器的图像数据在夜间对对象进行检测和分类。例如，计算设备600可被配置为实现图1的过程100。
数据处理装置610可操作以执行已存储在数据存储设备620中的指令。在一些具体实施中，数据处理装置610是具有随机存取存储器的处理器，该随机存取存储器用于在读取自数据存储设备620的指令被执行时暂时存储这些指令。数据处理装置610可包括单个或多个处理器，每个处理器具有单个或多个处理核。另选地，数据处理装置610可包括能够操纵或处理数据的另一类型的一个或多个设备。例如，数据存储设备620可是非易失性信息存储设备，诸如硬盘驱动器、固态驱动器、只读存储器设备(ROM)、光盘、磁盘或任何其他合适类型的存储设备，诸如非暂态计算机可读存储器。数据存储设备620可包括能够存储用于由数据处理装置610检索或处理的数据的另一类型的一个或多个设备。例如，数据存储设备620可被分布在多个机器或设备(诸如基于网络的存储器或多个机器中的存储器)中，为了便于解释，该多个机器或设备执行可在本文中被描述为使用单个计算设备执行的操作。数据处理装置610可经由互连件650访问和操纵存储在数据存储设备620中的数据。例如，数据存储设备620可存储可由数据处理装置610执行的指令，该指令在由数据处理装置610执行时使数据处理装置610执行操作(例如，实现图1的过程100的操作)。
无线接口630有利于与其他设备例如车辆(例如车辆400)通信。例如，无线接口630可有利于经由车辆Wi-Fi网络与车辆控制器(例如图5的车辆控制器500)通信。例如，无线接口630可有利于经由WiMAX网络与远程位置的车辆通信。
用户界面640允许从/向用户输入和输出信息。在一些具体实施中，用户界面640可包括显示器，该显示器可为液晶显示器(LCD)、阴极射线管(CRT)、发光二极管(LED)显示器(例如，OLED显示器)或其他合适的显示器。例如，用户界面640可包括触摸屏。例如，用户界面640可包括头戴式显示器(例如，虚拟现实眼镜或增强现实眼镜)。例如，用户界面640可包括位置输入设备，诸如鼠标、触摸板、触摸屏等；键盘；或其他合适的人或机器界面装置。例如，互连件650可以是系统总线，或者有线或无线网络(例如，车辆区域网络)。
图7是安装在车辆710上的不同类型的多个传感器的重叠视场700的示例的示意图。车辆710包括可见光谱传感器和可见光谱照明器，它们一起提供对应的可见光视场720，该可见光视场跨越约120度并且在车辆前方延伸60米。来自该可见光谱传感器的可见光谱图像可包括三个颜色通道(例如，红色、绿色和蓝色)。可见光谱照明器和传感器的距离可受到旨在防止盲发流量和光污染的法律和法规的限制。因此，可见光谱传感器可在相对较短的距离内提供高分辨率的彩色图像。
车辆710包括长波红外传感器，其提供对应长波红外视场730，该长波红外视场跨越180度并且具有在车辆前方延伸120米的有效距离(在合理的分辨率下)。因此，长波红外传感器可在相对中距离至长距离处提供低分辨率图像。
车辆710包括近红外传感器和近红外照明器，它们一起提供对应的近红外视场740，该近红外视场跨越约30度并且在车辆前方延伸200米。因此，近红外传感器可在相对较长的距离处提供高分辨率单色图像。
这些重叠视场700可提供补充信息，该补充信息可用于促进在夜间和低环境亮度环境中对对象进行稳健的检测和分类。例如，来自长波红外图像的低分辨率信息可用于检测对象和引导照明(例如，近红外光和/或可见光)，并且将较高分辨率模式的图像处理资源聚焦在所检测到的对象上以有利于对象的分类。
虽然已结合某些实施方案描述了本公开，但应当理解，本公开并不限于所公开的实施方案，相反，其旨在涵盖所附权利要求范围内所包括的各种修改形式和等同布置，所述范围将被赋予最广泛的解释，以便涵盖法律允许的所有此类修改形式和等同结构。

Claims (20)

1.一种系统，包括：
长波红外传感器；
近红外传感器；
数据处理装置；和
数据存储设备，所述数据存储设备存储能够由所述数据处理装置执行的指令，所述指令在由所述数据处理装置执行时使所述数据处理装置执行包括以下的操作：
从所述长波红外传感器获得长波红外图像，
检测所述长波红外图像中的对象，
识别与所述对象相关联的感兴趣区域，
基于与所述感兴趣区域相关联的数据来调整所述近红外传感器的控制参数，
获得使用所述近红外传感器的所调整的控制参数捕获的近红外图像，以及
基于与所述感兴趣区域相关联的所述近红外图像的数据来确定所述对象的分类。
2.根据权利要求1所述的系统，包括：
近红外照明器；
其中所述操作包括基于与所述感兴趣区域相关联的数据来调整近红外照明器控制参数；并且
其中使用所调整的近红外照明器控制参数捕获所述近红外图像。
3.根据权利要求2所述的系统，其中所述近红外照明器控制参数是亮度。
4.根据权利要求2所述的系统，其中所述近红外照明器控制参数是照明场。
5.根据权利要求1至4中任一项所述的系统，其中所述近红外传感器的所述控制参数是积分时间。
6.根据权利要求1至4中任一项所述的系统，其中所述近红外传感器的所述控制参数是孔尺寸。
7.根据权利要求1至4中任一项所述的系统，其中所述近红外传感器的所述控制参数是滤波器选择。
8.根据权利要求1至4中任一项所述的系统，其中所述近红外传感器的所述控制参数是放大增益。
9.根据权利要求1至8中任一项所述的方法，包括：
可见光谱传感器；
其中所述操作包括基于与所述感兴趣区域相关联的数据来调整所述可见光谱传感器的控制参数；
其中所述操作包括从所述可见光谱传感器获得使用所述可见光谱传感器的所调整的控制参数捕获的可见光谱图像；并且
其中基于与所述感兴趣区域相关联的所述可见光谱图像的数据来确定所述对象的所述分类。
10.根据权利要求9所述的系统，包括：
可见光谱照明器；
其中所述操作包括基于与所述感兴趣区域相关联的数据来调整可见光谱照明器控制参数；并且
其中使用所调整的可见光谱照明器控制参数捕获所述可见光谱图像。
11.根据权利要求1至10中任一项所述的系统，其中所述操作包括：
基于与所述感兴趣区域相关联的数据来调整计算控制参数；并且
其中使用所述计算控制参数确定所述对象的所述分类。
12.一种方法，包括：
从长波红外传感器获得长波红外图像；
检测所述长波红外图像中的对象；
识别与所述对象相关联的感兴趣区域；
基于与所述感兴趣区域相关联的数据来调整近红外传感器的控制参数；
获得使用所述近红外传感器的所调整的控制参数捕获的近红外图像；以及
基于与所述感兴趣区域相关联的所述近红外图像的数据来确定所述对象的分类。
13.根据权利要求12所述的方法，包括：
基于与所述感兴趣区域相关联的数据来调整可见光谱传感器控制参数；
从所述可见光谱传感器获得使用所述可见光谱传感器的所调整的控制参数捕获的可见光谱图像；并且
其中基于与所述感兴趣区域相关联的所述可见光谱图像的数据来确定所述对象的所述分类。
14.根据权利要求13所述的方法，包括：
基于与所述感兴趣区域相关联的数据来调整可见光谱照明器控制参数；并且
其中使用所调整的可见光谱照明器控制参数捕获所述可见光谱图像。
15.根据权利要求12至14中任一项所述的方法，包括：
基于与所述感兴趣区域相关联的数据来调整近红外照明器控制参数；并且
其中使用所调整的近红外照明器控制参数捕获所述近红外图像。
16.根据权利要求12至15中任一项所述的方法，其中所述近红外图像具有比所述长波红外图像高的分辨率。
17.一种车辆，包括：
车身；
致动器，所述致动器能够操作以引起所述车身的运动；
长波红外传感器；
近红外传感器；和
自动化控制器，所述自动化控制器被配置为：
从所述长波红外传感器获得长波红外图像，
检测所述长波红外图像中的对象，
识别与所述对象相关联的感兴趣区域，
基于与所述感兴趣区域相关联的数据来调整所述近红外传感器的控制参数，
获得使用所述近红外传感器的所调整的控制参数捕获的近红外图像，
基于与所述感兴趣区域相关联的所述近红外图像的数据来确定所述对象的分类，
基于所述对象的所述分类来确定运动计划，以及
向所述致动器输出命令以操纵所述车辆。
18.根据权利要求17所述的车辆，包括：
可见光谱传感器；
其中所述自动化控制器被配置为：
基于与所述感兴趣区域相关联的数据来调整所述可见光谱传感器的控制参数，以及
从所述可见光谱传感器获得使用所述可见光谱传感器的所调整的控制参数捕获的可见光谱图像；并且
其中基于与所述感兴趣区域相关联的所述可见光谱图像的数据来确定所述对象的所述分类。
19.根据权利要求18所述的车辆，包括：
可见光谱照明器；
其中所述自动化控制器被配置为基于与所述感兴趣区域相关联的数据来调整可见光谱照明器控制参数；并且
其中使用所调整的可见光谱照明器控制参数捕获所述可见光谱图像。
20.根据权利要求17至19中任一项所述的车辆，包括：
近红外照明器；
其中所述自动化控制器被配置为基于与所述感兴趣区域相关联的数据来调整近红外照明器控制参数；并且
其中使用所调整的近红外照明器控制参数捕获所述近红外图像。
CN201880049633.8A 2017-09-28 2018-09-10 夜间感测 Active CN110998596B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564654P 2017-09-28 2017-09-28
US62/564,654 2017-09-28
PCT/US2018/050226 WO2019067193A1 (en) 2017-09-28 2018-09-10 NOCTURNAL DETECTION

Publications (2)

Publication Number Publication Date
CN110998596A true CN110998596A (zh) 2020-04-10
CN110998596B CN110998596B (zh) 2023-11-07

Family

ID=63686135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049633.8A Active CN110998596B (zh) 2017-09-28 2018-09-10 夜间感测

Country Status (3)

Country Link
US (2) US10949679B2 (zh)
CN (1) CN110998596B (zh)
WO (1) WO2019067193A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037732A (zh) * 2020-09-11 2020-12-04 广州小鹏自动驾驶科技有限公司 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067193A1 (en) * 2017-09-28 2019-04-04 Apple Inc. NOCTURNAL DETECTION
US10620637B2 (en) * 2017-11-29 2020-04-14 GM Global Technology Operations LLC Systems and methods for detection, classification, and geolocation of traffic objects
US11144775B2 (en) * 2018-06-25 2021-10-12 Cnh Industrial Canada, Ltd. System and method for illuminating the field of view of a vision-based sensor mounted on an agricultural machine
US11039122B2 (en) * 2018-09-04 2021-06-15 Google Llc Dark flash photography with a stereo camera
US11800206B2 (en) 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11592575B2 (en) 2019-12-20 2023-02-28 Waymo Llc Sensor steering for multi-directional long-range perception
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
FR3107976B1 (fr) * 2020-03-03 2023-10-13 Naostage dispositif notamment pour la détection et éventuellement l’identification d’au moins une cible à l’intérieur d’un volume déterminé et ensemble comprenant un tel dispositif
WO2022122110A1 (en) * 2020-12-07 2022-06-16 Huawei Technologies Co., Ltd. Imaging structures
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US20230292015A1 (en) * 2022-03-08 2023-09-14 Nec Corporation Of America Image based localization

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231716A1 (en) * 2009-03-13 2010-09-16 Klaerner Mark A Vehicle-Mountable Imaging Systems and Methods
US20110063446A1 (en) * 2009-09-14 2011-03-17 Mcmordie David Saccadic dual-resolution video analytics camera
CN102147853A (zh) * 2005-09-19 2011-08-10 全视技术有限公司 用于生成场景的输出图像的方法
US20130201342A1 (en) * 2012-02-02 2013-08-08 Xerox Corporation Estimating a visible vector representation for pixels in an infrared image
CN103802727A (zh) * 2012-11-14 2014-05-21 上海市闵行区知识产权保护协会 一种低能见度导视系统
US20140139643A1 (en) * 2009-06-03 2014-05-22 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
CN103926634A (zh) * 2014-03-12 2014-07-16 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法
CN103975577A (zh) * 2011-10-07 2014-08-06 菲力尔系统公司 智能监视摄像机系统及方法
WO2015123143A1 (en) * 2014-02-11 2015-08-20 Flir Systems, Inc. Measurement device with thermal imaging capabilities and related methods
CN105760855A (zh) * 2016-03-15 2016-07-13 中国民航大学 一种多源光电信息融合飞机残骸识别系统
CN106056566A (zh) * 2016-06-02 2016-10-26 中国民航大学 一种机载视觉增强综合光电信息采集及处理系统
CN106127121A (zh) * 2016-06-15 2016-11-16 四川省遥感信息测绘院 一种基于夜间灯光数据的建成区智能化提取方法
CN106297142A (zh) * 2016-08-17 2017-01-04 云南电网有限责任公司电力科学研究院 一种无人机山火勘探控制方法及系统
CN106981080A (zh) * 2017-02-24 2017-07-25 东华大学 基于红外图像和雷达数据的夜间无人车场景深度估计方法
JP6185213B2 (ja) * 2015-03-31 2017-08-23 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US366475A (en) * 1887-07-12 Suspenders
CA2743237C (en) * 2008-10-22 2014-05-27 International Electronic Machines Corp. Thermal imaging-based vehicle analysis
US8503778B2 (en) * 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
US8587657B2 (en) * 2011-04-13 2013-11-19 Xerox Corporation Determining a number of objects in an IR image
US20160284075A1 (en) * 2013-03-14 2016-09-29 Essess, Inc. Methods, apparatus, and systems for structural analysis using thermal imaging
US20140300897A1 (en) * 2013-04-05 2014-10-09 Chemimage Corporation Security screening systems and methods
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
CN104501956B (zh) * 2014-12-30 2016-07-13 华中科技大学 一种超宽波段图谱关联探测装置与探测方法
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
US10712446B1 (en) * 2015-09-25 2020-07-14 Apple Inc. Remote sensing for detection and ranging of objects
WO2017151594A1 (en) * 2016-02-29 2017-09-08 Intelligent Material Solutions, Inc. Cooperative guidance system and method
KR102359806B1 (ko) * 2016-06-27 2022-02-09 모빌아이 비젼 테크놀로지스 엘티디 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
EP3514579A4 (en) * 2016-09-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. ROAD SURFACE CONDITION PREDICTION SYSTEM, DRIVING AID SYSTEM, ROAD SURFACE CONDITION PREDICTION METHOD AND DATA DISTRIBUTION METHOD
US10324226B2 (en) * 2017-02-23 2019-06-18 Witricity Corporation Foreign object detection using infared sensing
US20180284246A1 (en) * 2017-03-31 2018-10-04 Luminar Technologies, Inc. Using Acoustic Signals to Modify Operation of a Lidar System
US10924670B2 (en) * 2017-04-14 2021-02-16 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
US10397497B1 (en) * 2017-08-14 2019-08-27 Apple Inc. Solar invariant imaging system for object detection
WO2019067193A1 (en) * 2017-09-28 2019-04-04 Apple Inc. NOCTURNAL DETECTION
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147853A (zh) * 2005-09-19 2011-08-10 全视技术有限公司 用于生成场景的输出图像的方法
US20100231716A1 (en) * 2009-03-13 2010-09-16 Klaerner Mark A Vehicle-Mountable Imaging Systems and Methods
US20140139643A1 (en) * 2009-06-03 2014-05-22 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US20110063446A1 (en) * 2009-09-14 2011-03-17 Mcmordie David Saccadic dual-resolution video analytics camera
CN103975577A (zh) * 2011-10-07 2014-08-06 菲力尔系统公司 智能监视摄像机系统及方法
US20130201342A1 (en) * 2012-02-02 2013-08-08 Xerox Corporation Estimating a visible vector representation for pixels in an infrared image
CN103802727A (zh) * 2012-11-14 2014-05-21 上海市闵行区知识产权保护协会 一种低能见度导视系统
WO2015123143A1 (en) * 2014-02-11 2015-08-20 Flir Systems, Inc. Measurement device with thermal imaging capabilities and related methods
CN103926634A (zh) * 2014-03-12 2014-07-16 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法
JP6185213B2 (ja) * 2015-03-31 2017-08-23 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
CN105760855A (zh) * 2016-03-15 2016-07-13 中国民航大学 一种多源光电信息融合飞机残骸识别系统
CN106056566A (zh) * 2016-06-02 2016-10-26 中国民航大学 一种机载视觉增强综合光电信息采集及处理系统
CN106127121A (zh) * 2016-06-15 2016-11-16 四川省遥感信息测绘院 一种基于夜间灯光数据的建成区智能化提取方法
CN106297142A (zh) * 2016-08-17 2017-01-04 云南电网有限责任公司电力科学研究院 一种无人机山火勘探控制方法及系统
CN106981080A (zh) * 2017-02-24 2017-07-25 东华大学 基于红外图像和雷达数据的夜间无人车场景深度估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
OMID NOORI 等: "Site-specific management of common olive: Remote sensing, geospatial, and advanced image processing applications", COMPUTERS AND ELECTRONICS IN AGRICULTURE, pages 680 - 689 *
吴海兵 等: "基于四波段图像融合的彩色夜视方法研究", 光子学报, vol. 46, no. 05, pages 175 - 184 *
谢佳丽: "低空多光谱工程侦察成像系统的研究和设计", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2016, pages 138 - 1817 *
陆子凤: "红外热像仪的辐射定标和测温误差分析", 中国博士学位论文全文数据库 (信息科技辑), no. 2010, pages 135 - 6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037732A (zh) * 2020-09-11 2020-12-04 广州小鹏自动驾驶科技有限公司 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质
CN112037732B (zh) * 2020-09-11 2021-12-07 广州小鹏自动驾驶科技有限公司 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质

Also Published As

Publication number Publication date
CN110998596B (zh) 2023-11-07
US10949679B2 (en) 2021-03-16
US20190095721A1 (en) 2019-03-28
US20210201048A1 (en) 2021-07-01
WO2019067193A1 (en) 2019-04-04
US11600075B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN110998596B (zh) 夜间感测
US11704812B2 (en) Methods and system for multi-target tracking
US11204417B2 (en) Selective attention mechanism for improved perception sensor performance in vehicular applications
US11041957B2 (en) Systems and methods for mitigating effects of high-reflectivity objects in LiDAR data
US20210080575A1 (en) Apparatus for acquiring 3-dimensional maps of a scene
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
JP6387407B2 (ja) 周辺検知システム
US10884127B2 (en) System and method for stereo triangulation
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
US10708557B1 (en) Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
US11620478B2 (en) Semantic occupancy grid management in ADAS/autonomous driving
US11127147B2 (en) Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
US11676403B2 (en) Combining visible light camera and thermal camera information
CN116601681A (zh) 基于3d地图的相关输入通过优先处理感兴趣物体估计摄像机的自动曝光值
CN111833443A (zh) 自主机器应用中的地标位置重建
KR101868293B1 (ko) 차량용 라이다 장치
US11447063B2 (en) Steerable scanning and perception system with active illumination
JP7006678B2 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
US20220300768A1 (en) Evaluation process for a multi-task network
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20210083997A (ko) 오브젝트를 탐지하는 차량의 전자 장치 및 그의 동작 방법
TWI792512B (zh) 利用多視野之基於視覺的光達系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant