CN110654368A - 具有红外照明的街灯 - Google Patents

具有红外照明的街灯 Download PDF

Info

Publication number
CN110654368A
CN110654368A CN201910577844.5A CN201910577844A CN110654368A CN 110654368 A CN110654368 A CN 110654368A CN 201910577844 A CN201910577844 A CN 201910577844A CN 110654368 A CN110654368 A CN 110654368A
Authority
CN
China
Prior art keywords
light
vehicle
computer
infrared
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910577844.5A
Other languages
English (en)
Inventor
科德林·琼卡
海伦·伊丽莎白·库鲁斯-哈里根
杰弗里·托马斯·雷米勒德
安基特·吉里什·沃拉
徐璐
张琳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110654368A publication Critical patent/CN110654368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/08—Electric propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开提供了“具有红外照明的街灯”。一种系统，包括：光源，其被配置成发射可见范围内的波长和红外范围内的波长的光；以及车辆，其包括红外摄像机和计算机，所述计算机被编程为至少部分地基于来自所述摄像机的红外图像来识别对象。

Description

具有红外照明的街灯
技术领域
本公开总体上涉及车辆传感器。
背景技术
车辆可以包括一个或多个对象检测传感器(诸如摄像机传感器等)以检测例如在车辆外部区域中的对象。车辆计算机可以例如通过基于检测到的对象致动推进、制动、转向来操作车辆。在低光条件下，例如在夜间，车辆计算机可能无法检测到车辆外部区域中的对象。因此，计算机可能缺少足够的或充分的数据来致动车辆部件。
发明内容
本文公开了一种系统，其包括：光源，其被配置成发射可见范围内的波长和红外范围内的波长的光；以及车辆，其包括红外摄像机和计算机，所述计算机被编程为至少部分地基于来自所述摄像机的红外图像来识别对象。
所述车辆的摄像机还可以包括被配置成允许红外波长通过的光学路径。
所述计算机还可以被编程为基于所识别的对象致动车辆推进、车辆转向和车辆制动执行器中的至少一个。
所述计算机还可以被编程为接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据，确定接收的图像数据的质量值；并且在确定所确定的质量值超过指定阈值时，识别对象。
所述系统还可以包括第二计算机，所述第二计算机被编程为在确定对象在距街灯的指定距离内时，致动街灯的光源以发射红外波长的光。
所述第二计算机还被编程为基于所存储的街灯位置数据和所接收的对象位置数据，确定对象在距街灯的指定距离内。
所述计算机还可以被编程为接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据，确定接收的图像数据的分类置信度值；并且在确定所确定的分类置信度值超过指定阈值时，识别对象。
所述系统还可以包括第二计算机，所述第二计算机被编程为在确定环境光强度低于指定阈值时致动街灯的光源。
所述第二计算机还可以被编程为在确定环境光强度低于指定阈值时，激活光源以发射具有可见波长的光。
光源可以包括在街灯中。
本文还公开了一种方法，所述方法包括从光源发射可见范围内的波长和红外范围内的波长的光，以及至少部分地基于来自车辆红外摄像机的红外图像在车辆中识别对象。
所述车辆的摄像机还可以包括被配置成允许红外波长通过的光学路径。
所述方法还可以包括基于所识别的对象致动车辆推进、车辆转向和车辆制动执行器中的至少一个。
所述方法还可以包括接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据，确定接收的图像数据的质量值；以及在确定所确定的质量值超过指定阈值时，识别对象。
所述方法还可以包括：在确定对象在距街灯的指定距离内时，致动街灯的光源以发射红外波长的光。
所述方法还可以包括：基于所存储的街灯位置数据和所接收的对象位置数据，确定对象在距街灯的指定距离内。
所述方法还可以包括接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据，确定接收的图像数据的分类置信度值；并且在确定所确定的分类置信度值超过指定阈值时，识别对象。
所述方法还可以包括在确定环境光强度低于指定阈值时致动街灯的光源。
所述方法还可以包括：在确定环境光强度低于指定阈值时，激活光源以发射具有可见波长的光。
光源可以包括在街灯中。
还公开了一种被编程为执行任何上述方法步骤的计算装置。还公开了一种包括所述计算装置的空中无人机。还公开了一种包括所述计算装置的车辆。
还公开了一种计算机程序产品，所述计算机程序产品包括存储指令的计算机可读介质，所述指令可由计算机处理器执行以执行任何上述方法步骤。
附图说明
图1是示出示例性车辆、对象和街灯的图示。
图2是示出图1的车辆的示例性摄像机传感器的图示。
图3A是使用具有人类可见波长的照明从摄像机传感器接收的示例性图像。
图3B是使用具有人类可见波长和红外波长的照明从摄像机传感器接收的示例性图像。
图4A是图3A的图像的示例性直方图。
图4B是图3B的图像的示例性直方图。
图5是用于操作车辆的示例性过程的流程图。
图6是用于操作街灯的示例性过程的流程图。
具体实施方式
车辆包括传感器，诸如红外摄像机，例如近红外摄像机，其提供用于对象检测的数据。基础设施光源(例如街灯)包括一个或多个光源，所述一个或多个光源可以发射人类可见光的波长范围内的第一波长和在红外范围内的第二波长的光。车辆计算机被编程为至少部分地基于来自摄像机的红外图像来识别对象，例如另一车辆。用红外光照射对象可以有利地改善计算机对对象的检测，即使车辆没有配备红外光源或尚未激活红外光源也是如此。
图1示出了车辆100、对象160(例如，另一车辆)和街灯170。可以以多种方式给车辆100提供动力，例如，利用电动马达和/或内燃发动机。车辆100可以是陆地车辆，诸如汽车、卡车等。车辆100可以包括计算机110、执行器120、传感器130和人机界面(HMI)140。
计算机110包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并存储可由计算机110执行的用于执行包括如本文所公开的各种操作的指令。
计算机110可以以自主模式、半自主模式或非自主模式操作车辆100。出于本公开的目的，将自主模式定义为由计算机110控制车辆100的推进、制动和转向中的每一者的模式；在半自主模式中，计算机110控制车辆100的推进、制动和转向中的一者或两者；在非自主模式中，操作员控制车辆100的推进、制动和转向中的每一者。
计算机110可以包括编程以操作以下一者或多者：陆地车辆的制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部和/或外部灯等，以及确定计算机110(而非人类操作员)是否并且何时控制此类操作。另外，计算机110可以被编程为确定人类操作员是否以及何时控制此类操作。
计算机110可以包括或者例如经由如下面进一步描述的车辆100通信总线通信地耦合到多于一个处理器，例如，包括在车辆中用于监视和/或控制各种车辆控制器的控制器等，所述各种车辆控制器例如动力传动系统控制器、制动控制器、转向控制器等。计算机110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可以包括车辆中的总线(诸如控制器局域网(CAN)等)、和/或其他有线和/或无线机制。
计算机110可以经由车辆100网络向车辆中的各种装置传输消息和/或从各种装置接收消息，所述各种装置例如执行器120、HMI 140等。替代地或另外，在计算机110实际上包括多个装置的情况下，车辆100通信网络可以用于在本公开中表示为计算机110的装置之间的通信。如下进一步所述，各种电子控制器和/或传感器130可以经由车辆通信网络向计算机110提供数据。
车辆100的执行器120经由电路、芯片或可以根据如已知的适当控制信号来致动各种车辆子系统的其他电子和/或机械部件来实施。可以使用执行器120来控制车辆100的系统，诸如车辆100的制动、加速和/或转向。
车辆100的传感器130可以包括已知的各种装置以经由车辆通信总线提供数据。例如，传感器130可以包括设置在车辆100中和/或车辆100上的一个或多个摄像机、雷达、红外和/或激光雷达(LIDAR)传感器130，其提供包含车辆100外部的至少一些的数据。所述数据可以由计算机110通过诸如已知的合适的接口来接收。设置在例如车辆100的顶部上的LIDAR传感器130可以提供包括对象(诸如车辆100周围的其他车辆)的相对位置、尺寸和形状的对象数据。车辆100计算机110可以接收对象数据并且至少部分地基于所接收的对象数据在自主和/或半自主模式下操作车辆。
HMI 140可以被配置成例如在车辆100的操作期间接收用户输入。例如，用户可以通过经由HMI 140输入所请求的操作模式来选择操作模式，例如自主模式。此外，HMI 140可以被配置成向用户呈现信息。因此，HMI 140可以位于车辆100的乘客舱中。在一个示例中，计算机110可以输出指示车辆100的操作模式(诸如自主模式)由于事件而被停用的信息，所述事件例如LIDAR传感器130以影响对象检测的方式例如被雾、湿气、污垢等等覆盖或阻挡。
图2示出了示例性摄像机传感器130，所述摄像机传感器130包括主体210、图像传感器220和光学路径230。摄像机传感器130可以从传感器130的视野内的区域接收光束，并且可以基于接收的光束，例如以传统方式产生电信号。主体210可以包括例如由塑料、金属等形成的壳体，所述壳体包围摄像机传感器130的部件。图像传感器220可以包括电子接收器，例如电荷耦合器件(CCD)，所述电子接收器接收光束(例如由街灯170发射的光束)的反射，并基于所接收的光束产生电信号。图像传感器220可以检测特定于图像传感器220的波长范围内的光束。例如，图像传感器220可以具有包括人类可见波长范围、红外波长范围等的检测范围。光学路径230可以包括将入射光束聚焦到图像传感器220上的一个或多个透镜240。
计算机110可以被编程为基于来自图像传感器220的所生成的电信号生成图像。在本上下文中，图像是可存储在计算机110存储器中的数字图像。数字图像可以包括多个像素，并且图像数据可以包括诸如与像素中的每个像素相关联的图像强度和/或颜色的数据。透镜240可以由塑料和/或玻璃形成。此外，光学路径230可以包括一个或多个滤波器250。光滤波器250可以基于入射光束的波长对入射光束进行滤波。例如，可以配置(或制造)滤波器250以滤除指定的波长范围。入射光束可以包括多个波长或一个或多个范围的波长。滤波器250可以被配置成使第一范围的光通过并且完全减弱或阻挡第二波长范围。在本上下中，滤波器使光束通过、阻挡或减弱光束的能力是滤波器250的特性。
计算机110可以被编程为基于从传感器130(例如，摄像机传感器130)接收的数据来检测对象160。计算机110可以被编程为基于检测到的对象160操作车辆100。计算机110可以被编程为确定车辆100和检测到的对象160之间的距离d1，并且基于确定的距离d1操作车辆100。在一个示例中，计算机110可以被编程为在确定距离d1小于指定距离阈值(例如，10米)时致动车辆100制动执行器120。
如上所述，车辆100的操作可以至少部分地基于从摄像机传感器130接收的图像数据。对象160的检测可以基于所接收的图像数据的光学性质。光学性质可以包括亮度、对比度、直方图等中的一个或多个。因此，在低光条件下，例如在夜间，计算机110可能无法基于图像数据的光学性质(诸如的图像的低亮度)检测对象160和/或错误地检测不存在的对象。
接收的图像数据的光学性质(例如，亮度)可以基于(i)摄像机传感器130的视野的照明，(ii)镜头240如何将光束聚焦到图像传感器220上，和/或(iii)滤波器250的特性。例如，所接收的图像的亮度可以基于由光源(例如，街灯170、车辆100的灯等)提供的照明的强度和/或波长。在另一个示例中，所接收的图像的亮度可以基于通过滤波器250和/或由图像传感器220检测到的所接收的光束的波长(或波长范围)。换句话说，如果滤波器250减弱，或者不允许指定波长的光通过(即，阻挡)，或者图像传感器220无法(或被配置成不)检测指定的波长，则来自图像传感器220的所接收的电信号可能缺少与指定波长的光束相关的信号。
在一个示例中，街灯170可以包括光源180，光源180具有人类可见波长范围内的第一波长和红外波长范围内的第二波长，并且车辆100可以包括红外摄像机传感器130。此外，车辆100的计算机110可以被编程为至少部分地基于来自摄像机130的红外图像320来识别对象160。人类可见波长范围可以是390至770纳米(nm)的波长范围。红外波长范围可以是770至1000nm的波长范围，其对于人眼基本上是不可见的。
光源180可以包括第一光源，例如，可以提供第一波长的光的一个或多个发光二极管(LED)；以及第二光源，例如，可以提供第二波长的光的一个或多个LED。在另一个示例中，光源180可以包括一个或多个光源，例如LED，其可以发射第一波长和第二波长两者。换句话说，LED可以发射具有至少部分地与人类可见波长范围和红外波长范围两者重叠的波长范围的光。例如，光源180可以包括一个或多个LED，所述一个或多个LED发射波长范围在500nm和950nm之间的光束。
光学路径230可以包括允许红外光束(即，具有第二波长的光的反射)通过的滤波器250，或者滤波器可以从光学路径230中省略。因此，所接收的图像数据可以包括与从对象160接收的红外光束的反射相关联的红外图像数据。因此，计算机110可以被编程为至少部分地基于所接收的红外图像数据来识别对象160。在另一个示例中，车辆100可以包括：第一摄像机130，其具有不允许红外光通过的滤波器250；以及第二摄像机，即红外摄像机，其基本上仅允许红外波长范围内的光束通过。因此，计算机10可以被编程为接收来自第一摄像机的人类可见图像数据和来自第二摄像机的红外图像数据，并且基于人类可见图像数据和红外图像数据来识别对象。计算机110可以被编程为组合人类可见图像数据和红外图像数据以生成图像并识别组合图像数据中的对象160。在另一个示例中，摄像机传感器130可以被配置成捕获包括可见光和红外光的波长范围内的光。因此，从摄像机传感器130接收的图像数据可以包括来自可见光和红外光的图像数据。
如上所述，红外波长范围内的光通常对人眼是不可见的。然而，计算机110可以被编程为使用传统的图像处理技术基于所接收的红外图像数据生成图像。另外，计算机110可以被编程为基于人眼可见的红外图像数据生成图像，例如，使用诸如波长移位、颜色校正等技术。
参考图3A和图3B，计算机110可以被编程为接收基于从摄像机传感器130接收的数据的示例性图像310，所述数据是由图像传感器220基于人类可见光波长范围内的光对对象160的照射而生成。计算机110还可以被编程为接收基于从摄像机传感器130接收的数据的示例性图像320，所述数据是由图像传感器220基于使用具有第一波长范围和第二波长范围(即，人类可见波长范围和红外波长范围)的光束对对象160的照射而生成。
参考示例性图像310、320，计算机110可以被编程为确定图像310、320的分类置信度和/或质量值，并确定所接收的图像的分类置信度和/或质量是否足以执行对象检测，例如，检测对象160。计算机110还可以被编程为在确定所接收的图像310、320的分类置信度和/或质量超过指定阈值(即，置信度阈值或质量阈值)时以自主和/或半自主模式操作车辆100，但如果不是的话，则防止或不进行半自主和/或自主操作。
在本上下文中，分类置信度是例如在0％至100％的范围内指定的数值，其量化所接收的图像数据用于将包括在所接收的图像数据内的任何对象(例如，对象160)进行分类的适合性。计算机110可以被编程为使用已知的对象检测技术来确定分类置信度(或置信度)，所述对象检测技术例如包括图像处理、神经网络等。例如，在低光条件下(例如，在夜间)使用可见光波长接收的图像数据可能导致图像数据的低清晰度和/或对比度(例如，小于置信度阈值)。因此，计算机110(例如，使用基于神经网络的对象检测技术编程)可以确定与在正常光条件(例如，白天)期间接收的图像相比，在低光条件期间接收的图像的较低分类置信度。与仅使用可见光照明相反，在低光条件(例如，在夜间)期间使用红外和/或近红外波长接收的图像数据可以具有更高的清晰度和/或对比度，这可以增强(即，增加)图像的分类置信度。换句话说，通过使用近红外和/或红外光照射区域，可以增加图像数据的分类置信度，这可以导致计算机110在摄像机传感器130的视野中检测对象160的能力得到提高。
本文中图像质量是指例如在0％至100％的范围内指定的数值，其量化所接收的图像数据用于执行对象检测的适合性。可以基于图像数据的一个或多个性质(诸如亮度、对比度、饱和度效果、清晰度、噪声、失真、渐晕(图像角落附近的暗图像))等来定义质量。计算机110可以被编程为使用基于指定的图像质量定义的数学技术来确定图像310、320的质量。另外或替代地，计算机110可以被编程为进一步根据光条件确定图像质量。例如，计算机110可以被编程为基于诸如白天、夜晚、室内(例如，在诸如隧道、车库等的结构内部)和/或室外(例如，在道路上)的环境条件使用不同的质量定义(如参考图4A至图4B所讨论的)。因此，计算机110可以被编程为例如基于从车辆100光传感器130接收的数据和一天中的时间等来确定环境条件，以基于所确定的环境条件选择图像质量定义(或公式)，并基于所选的图像质量定义和所接收的图像数据确定图像质量。
参考图4A和图4B，计算机110可以被编程为通过生成直方图等(诸如由所接收的图像数据的示例性直方图图表410、420所示)来确定图像310、320的质量，并基于所确定的直方图图表410、420确定图像310、320。在一个示例中，图表410、420分别是图像310、320的直方图图表。图表410、420的X轴上的值示出了0到255的强度值，并且Y轴上的值指定图像310、320中具有相应强度的像素数。例如，强度值20处的值1000意指图像具有1000个强度值为20的像素。
如示例性图表410、420所示，与图像320相比较的图像310的直方图图表的分布更集中在图表的左侧(即，低强度像素值)。在本上下文中，“集中”意指数据的分布具有低标准偏差，例如，小于数据范围的30％。例如，参考图4B，图表420的强度值被指定在0(零)和255之间。当平均值为230并且标准偏差小于75(其是0到255范围的30％)时，数据集中在强度值230附近。换句话说，直方图图表420的分布更集中在右侧的图像320比直方图410的分布更集中在左侧的图像310更亮。可以基于图像310、320的亮度来指定图像310、320的质量，例如，可以将质量指定为直方图图表410、420的平均值。
计算机110可以被编程为在确定(i)所接收的图像数据的分类置信度超过置信度阈值(例如50％)以及(ii)质量值(即，直方图图表420的平均值)超过指定的质量阈值(例如100)中的至少一者时，确定图像320的质量足以使车辆100在自主或半自主模式下操作。换句话说，当所计算的图像数据的质量值超过指定阈值时，确定图像数据的质量是足够的。另外或替代地，计算机110可以被编程为基于图像310、320的其他光学性质(例如，对比度、饱和度效果等)和/或基于图像310、320的各种性质的组合来确定图像310、320的质量。另外或替代地，计算机110可以被编程为基于环境条件确定指定的质量阈值，例如，白天为100，夜晚为80等。
在一个示例中，街灯170可以被配置成在夜晚或当环境光水平下降到指定阈值以下时，例如，基于从安装在街灯170和/或中央控制电路上的光传感器接收的数据，发射第一波长范围和第二波长范围(即，可见范围和红外范围)中的光束。例如，计算机190可以被编程为确定光强度低于指定阈值，例如40勒克斯，其在阴天、日出和/或日落期间大约是环境光强度。另外或替代地，街灯170可以被配置成基于对象160、车辆100等的位置，致动(例如，打开或关闭)光源180和/或降低来自光源180的发射光的强度。例如，基础设施计算机190可以被编程为基于对象160与街灯170的距离d2(参见图1)打开光源180或致动光源180以输出第二波长。基础设施计算机190可以通信地连接到街灯170，例如，经由有线或无线通信网络。例如，远程计算机110可以被编程为在基于从对象160位置传感器接收的位置数据确定对象160在距离街灯170的指定距离d3(例如，200米)内时，致动街灯170。例如，计算机190可以被编程为基于存储的街灯170的位置数据和所接收的对象160的位置数据(例如，经由车辆对基础设施的无线通信网络)来确定距离d2。基础设施计算机190可以被编程为基于从第二街灯170接收的运动数据和第二街灯170的位置来致动光源180。
过程
图5是用于操作车辆100的示例性过程500的流程图。计算机110可以被编程为执行过程500的框。
过程500在框510中开始，其中计算机110从车辆100的传感器130接收数据，例如从摄像机传感器130接收图像数据。计算机110可以被编程成接收来自例如从红外摄像机传感器130和/或摄像机传感器130的包括红外图像数据的图像数据，所述红外摄像机传感器130和/或摄像机传感器130被配置成从检测可见光的摄像机130和检测红外光的摄像机130接收数据。
接下来，在框520中，计算机110确定所接收的图像数据的分类置信度。计算机110可以被编程为使用例如传统的对象检测技术来确定所接收的图像数据的分类置信度。另外或替代地，计算机110可以被编程为通过将存储在计算机110的存储器中的指定的质量定义(例如，质量确定的公式和/或阈值)应用于所接收的图像数据来确定所接收的图像数据的质量值。另外或替代地，计算机110可以被编程为基于环境条件(例如，白天、夜晚等)指定质量定义。计算机110可以被编程为基于所接收的图像数据确定质量值，例如图像直方图图表410、420的平均值。
接下来，在决策框530中，计算机110确定接收的图像数据的分类置信度和/或质量是否超过指定阈值。如果计算机110确定所确定的置信度超过置信度阈值(例如，50％)，和/或所接收的图像数据的质量(例如，亮度)超过预定阈值(例如50)(参考图表410、420，标度为0到255)，则过程500前进到框540；否则，过程500返回到框510。
在框540中，计算机110致动车辆100的执行器120以导航车辆100。计算机110可以被编程为通过基于预定目的地(例如经由车辆100HMI 140输入)致动车辆100的转向、制动和/或推进执行器120中的一个或多个来导航车辆100。
在框540之后，过程500结束，或者替代地，返回到框510，尽管图5中未示出。
图6是用于操作街灯170的示例性过程600的流程图。基础设施计算机190可以被编程为执行过程600的框。
过程600在框610中开始，其中基础设施计算机190从安装到街灯170的传感器(例如，光传感器、运动传感器等)接收数据。
接下来，在决策框620中，计算机190确定光强度是否低于指定阈值，例如40勒克斯。计算机190可以被编程为基于从安装到街灯170的光传感器接收的数据确定光强度低于阈值(例如在夜间)。如果计算机190确定光强度低于指定阈值，则过程600前进到框630；否则，过程600前进到框640。
在框630中，计算机190激活光源180以发射具有人类可见波长的光。计算机190可以被编程为致动光源180以打开例如具有人类可见波长的一个或多个LED。在框630之后，过程600前进到决策框650。替代地，在框630中，计算机190可以被编程为打开街灯170的红外光源180。例如，计算机190可以被编程为致动街灯170的一个或多个红外LED。在这样的示例中，在框630之后，过程600结束，或者替代地返回到框610，尽管图6中未示出。
在框640中，计算机190关闭光源180。在另一个示例中，计算机190可以被编程为使光源180变暗(即，减少发射光的量)。在框640之后，过程600结束。
在决策框650中，计算机190确定至少移动对象160(例如，车辆)是否在街灯170的指定距离d3内，例如200米内。计算机190可以被编程为基于例如从街灯170接收的运动传感器数据、从对象160的位置传感器接收的对象160的位置坐标等，确定移动对象160在街灯170的指定距离d3内(即，对象160与街灯170的距离d2小于阈值距离d3)。另外或替代地，计算机190可以被编程为基于从第二街灯170运动传感器接收的数据和包括街灯170和第二街灯170之间的距离的存储数据，确定移动对象160在街灯170的指定距离d3内。如果计算机190确定移动对象160在街灯170的距离阈值d3内，则过程600前进到框660；否则，过程600前进到框670。
在框660中，计算机190打开街灯170的红外光源180。例如，计算机190可以被编程为致动街灯170的一个或多个红外LED。
在框670中，计算机190关闭街灯170的红外光源180。例如，计算机190致动光源180以关闭光源180的红外LED或者降低来自红外光源180的发射光的强度。
在框660、670中的任一者之后，过程600结束，或者替代地返回到框610，尽管图6中未示出。
如本文所讨论的计算装置通常各自包括指令，所述指令可由诸如以上识别的那些的一个或多个计算装置执行，并且用于执行上述过程的框或步骤。计算机可以执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下单一形式或组合形式：JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的指令，并且执行这些指令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、快闪存储器、EEPROM、任何其他存储芯片或盒式磁带、或者计算机可以从中读取的任何其他介质。
关于本文所述的介质、过程、系统、方法等，应理解，虽然已经将此类过程等的步骤描述为按照某个有序序列发生，但是此类过程可以在以本文所述顺序之外的顺序执行所描述的步骤的情况下来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施方案而提供，而决不应当将其理解为对所公开的主题进行限制。
因此，应当理解，包括上面描述和附图以及下面权利要求在内的本公开旨在是说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于所属领域技术人员而言将是显而易见的。因此，本发明的范围不应当参考以上描述来确定，而是应当参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。可以设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总而言之，应理解，所公开的主题能够进行修改和变化。
根据本发明，提供了一种系统，其具有：光源，其被配置成发射可见范围内的波长和红外范围内的波长的光；以及车辆，其包括红外摄像机和计算机，所述计算机被编程为至少部分地基于来自摄像机的红外图像来识别对象。
根据一个实施例，车辆的摄像机还包括被配置成允许红外波长通过的光学路径。
根据一个实施例，计算机还被编程为基于所识别的对象致动车辆推进、车辆转向和车辆制动执行器中的至少一个。
根据一个实施例，计算机还可以被编程为：接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据；确定所接收的图像数据的质量值；并且在确定所确定的质量值超过指定阈值时，识别对象。
根据一个实施例，上述本发明的特征还在于第二计算机，所述第二计算机被编程为在确定对象在距街灯的指定距离内时，致动街灯的光源以发射红外波长的光。
根据一个实施例，所述第二计算机还被编程为基于所存储的街灯位置数据和所接收的对象位置数据，确定对象在距街灯的指定距离内。
根据一个实施例，所述计算机还被编程为：接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据；确定所接收的图像数据的分类置信度值；并且在确定所确定的分类置信度值超过指定阈值时，识别对象。
根据一个实施例，上述本发明的特征还在于第二计算机，所述第二计算机被编程为在确定环境光强度低于指定阈值时致动街灯的光源。
根据一个实施例，所述第二计算机还被编程为在确定环境光强度低于指定阈值时，激活光源以发射具有可见波长的光。
根据一个实施例，光源包括在街灯中。
根据本发明，一种方法包括从光源发射可见范围内的波长和红外范围内的波长的光；以及至少部分地基于来自车辆红外摄像机的红外图像在车辆中识别对象。
根据一个实施例，车辆的摄像机还包括被配置成允许红外波长通过的光学路径。
根据一个实施例，上述发明的特征还在于，基于所识别的对象致动车辆推进、车辆转向和车辆制动执行器中的至少一个。
根据一个实施例，上述发明的特征还在于，接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据；确定所接收的图像数据的质量值；并且在确定所确定的质量值超过指定阈值时，识别对象。
根据一个实施例，上述本发明的特征还在于，在确定对象在距街灯的指定距离内时，致动街灯的光源以发射红外波长的光。
根据一个实施例，上述本发明的特征还在于，基于所存储的街灯位置数据和所接收的对象位置数据，确定对象在距街灯的指定距离内。
根据一个实施例，上述发明的特征还在于，接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据；确定所接收的图像数据的分类置信度值；并且在确定所确定的分类置信度值超过指定阈值时，识别对象。
根据一个实施例，上述发明的特征还在于，在确定环境光强度低于指定阈值时，致动街灯的光源。
根据一个实施例，上述发明的特征还在于，在确定环境光强度低于指定阈值时，激活光源以发射具有可见波长的光。
根据一个实施例，光源包括在街灯中。

Claims (13)

1.一种方法，其包括：
从光源发射可见范围内的波长和红外范围内的波长的光；以及
至少部分地基于来自车辆红外摄像机的红外图像在车辆中识别对象。
2.如权利要求1所述的方法，其中所述车辆的所述摄像机还包括被配置成允许所述红外波长通过的光学路径。
3.如权利要求1所述的方法，其还包括基于所识别的对象致动车辆推进、车辆转向和车辆制动执行器中的至少一个。
4.如权利要求1所述的方法，其还包括：
接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据；
确定所述接收的图像数据的质量值；以及
在确定所述确定的质量值超过指定阈值时，识别所述对象。
5.如权利要求1所述的方法，其还包括：
接收来自所捕获的所述可见波长和红外波长中的每一者的光的图像数据；
确定所述接收的图像数据的分类置信度值；以及
在确定所述确定的分类置信度值超过指定阈值时，识别所述对象。
6.如权利要求1所述的方法，其还包括：在确定所述对象在距街灯的指定距离内时，致动所述街灯的所述光源以发射所述红外波长的光。
7.如权利要求6所述的方法，其还包括：基于所存储的街灯位置数据和所接收的对象位置数据，确定所述对象在距所述街灯的所述指定距离内。
8.如权利要求1所述的方法，其还包括在确定环境光强度低于指定阈值时致动街灯的所述光源。
9.如权利要求8所述的方法，其还包括：在确定环境光强度低于指定阈值时，激活所述光源以发射具有所述可见波长的光。
10.如权利要求1所述的方法，其中所述光源包括在街灯中。
11.一种计算装置，其被编程为执行如权利要求1至5中任一项所述的方法。
12.一种计算机程序产品，其包括存储指令的计算机可读介质，所述指令可由计算机处理器执行以执行如权利要求1至5中任一项所述的方法。
13.一种地面车辆，其包括被编程为执行如权利要求1至5中任一项所述的方法的计算装置。
CN201910577844.5A 2018-06-29 2019-06-28 具有红外照明的街灯 Pending CN110654368A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/023,016 2018-06-29
US16/023,016 US10706295B2 (en) 2018-06-29 2018-06-29 Street light with infrared illumination

Publications (1)

Publication Number Publication Date
CN110654368A true CN110654368A (zh) 2020-01-07

Family

ID=68886357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910577844.5A Pending CN110654368A (zh) 2018-06-29 2019-06-28 具有红外照明的街灯

Country Status (3)

Country Link
US (1) US10706295B2 (zh)
CN (1) CN110654368A (zh)
DE (1) DE102019117620A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188047B2 (en) * 2016-06-08 2021-11-30 Exxonmobil Research And Engineering Company Automatic visual and acoustic analytics for event detection
US11423639B2 (en) * 2020-07-31 2022-08-23 Ford Global Technologies, Llc Hidden camera detection systems and methods
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4032927A1 (de) 1990-10-17 1992-04-30 Bosch Gmbh Robert Vorrichtung zur verbesserung der sichtverhaeltnisse in einem kraftfahrzeug
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US5623186A (en) * 1995-01-27 1997-04-22 Archdekin; James M. Power saving voltage reduction system for high intensity discharge lighting systems
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US8531520B2 (en) * 2002-04-05 2013-09-10 Siemens Industry, Inc. System and method for traffic monitoring
DE10333370A1 (de) * 2003-07-23 2005-02-24 Schott Ag Beleuchtungseinrichtung, Linse und Herstellung der Linse
JP2008041571A (ja) 2006-08-09 2008-02-21 Koito Mfg Co Ltd 車両用赤外光照射ランプ
US7345414B1 (en) 2006-10-04 2008-03-18 General Electric Company Lamp for night vision system
TW200906223A (en) * 2007-07-30 2009-02-01 Topco Technologies Corp Illumination system
CN101457878B (zh) 2007-12-12 2010-11-10 富士迈半导体精密工业（上海）有限公司 路灯系统
EP2258148A1 (en) * 2008-02-22 2010-12-08 Tri-concept Technology Limited Apparatus and system for led street lamp monitoring and control
GB2497923B (en) * 2011-12-19 2013-12-11 Daniel Assoulin A road illumination system
CN102745139A (zh) 2012-07-24 2012-10-24 苏州工业园区七星电子有限公司 一种车辆夜间驾驶辅助系统
US9743242B2 (en) * 2012-10-01 2017-08-22 International Mobile Iot Corp. Earth positioning system
CN103538519B (zh) 2013-09-24 2016-08-17 奇瑞汽车股份有限公司 一种汽车近红外夜视系统的控制方法
KR101979269B1 (ko) * 2016-10-28 2019-05-16 엘지전자 주식회사 자율 주행 차량 및 자율 주행 차량의 동작 방법
KR102060070B1 (ko) * 2017-10-24 2019-12-27 엘지전자 주식회사 자동주차장치 및 이의 제어방법

Also Published As

Publication number Publication date
US20200005054A1 (en) 2020-01-02
US10706295B2 (en) 2020-07-07
DE102019117620A1 (de) 2020-01-02

Similar Documents

Publication Publication Date Title
US11341667B2 (en) Camera systems using filters and exposure times to detect flickering illuminated objects
CN109963744B (zh) 照明装置
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
JP6176028B2 (ja) 車両制御システム、画像センサ
US9245333B1 (en) Systems and methods for detecting obstructions within the field-of-view of an image sensor
CN110654368A (zh) 具有红外照明的街灯
US8315766B2 (en) Process for detecting a phenomenon limiting the visibility for a motor vehicle
US10703256B2 (en) Method for reducing headlight glare, headlight system and system controller for controlling a headlight system
EP2537709A2 (en) Image processing apparatus and light distribution control method
CN109703555B (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
US10771665B1 (en) Determination of illuminator obstruction by known optical properties
WO2018110389A1 (ja) 車両用照明システムおよび車両
CN111610574A (zh) 照明器遮挡物检测
US20170267162A1 (en) Smart light assembly and smart lighting system for a motor vehicle
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
WO2021059967A1 (ja) 物体認識装置及び物体認識プログラム
WO2022130866A1 (ja) 配光制御システム及びセンシングシステム
EP2595089B1 (en) Driver assistance system and method for a motor vehicle
CN116710838A (zh) 车载用感测系统及门控照相机
CN118322983A (zh) 一种车灯光束控制方法、装置、系统和车辆
CN117584853A (zh) 车辆及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination