CN111629128A - 通过已知光学性质确定照明器障碍物 - Google Patents

通过已知光学性质确定照明器障碍物 Download PDF

Info

Publication number
CN111629128A
CN111629128A CN202010118464.8A CN202010118464A CN111629128A CN 111629128 A CN111629128 A CN 111629128A CN 202010118464 A CN202010118464 A CN 202010118464A CN 111629128 A CN111629128 A CN 111629128A
Authority
CN
China
Prior art keywords
illuminator
brightness
luminaire
determining
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010118464.8A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
阿什温·阿伦莫治
文卡特什·克里希南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111629128A publication Critical patent/CN111629128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/566—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens including wiping devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本公开提供“通过已知光学性质确定照明器障碍物”。一种车辆包括具有视场的图像传感器、瞄准所述视场的照明器和包括处理器和存储器的计算机，所述存储器存储可由所述处理器执行的指令。所述计算机被编程为：照亮所述车辆外部的对象；确定所述对象具有已知光学性质；从数据库确定所述对象的所述光学性质；至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及至少基于所述照明器的所述亮度来调整所述照明器、图像传感器和所述计算机中的至少一者。

Description

通过已知光学性质确定照明器障碍物
技术领域
本发明涉及一种车辆，其包括具有视场的图像传感器、瞄准所述视场的照明器；和包括处理器和存储器的计算机，所述存储器存储可由所述处理器执行的指令。所述计算机被编程为：照亮车辆外部的对象；确定对象具有已知光学性质；从数据库确定对象的光学性质；至少基于对象的光学性质来计算照明器的亮度；以及至少基于照明器的亮度来调整照明器、图像传感器和计算机中的至少一者。
背景技术
自主车辆包括用于检测车辆周围场景的一个或多个装置。车辆基于所检测到的场景自主地控制其转向、制动、加速等。作为一个示例，车辆可以包括一个或多个图像传感器，例如，近场相机。
车辆可以包括用于照亮图像传感器的视场的照明器。照明器可以发射人眼不可见的光，例如红外光。照明器包括产生光的光源，例如，发光二极管(LED)。照明器还可以包括透镜，该透镜保护照明器的光源和其他部件不受例如污垢、灰尘、泥土、雨、雪等障碍物的影响。光从光源通过透镜发射到图像传感器的视场。
已知用于确定图像传感器的透镜上的障碍物并清洁所识别的障碍物的当前方法。但是，照明器的透镜上的障碍物会减少到达视场的产生的光量并降低图像质量。仍然有机会解决照明器的透镜上的障碍物。
发明内容
一种车辆包括：图像传感器，所述图像传感器具有视场；照明器，所述照明器瞄准所述视场；和计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：照亮所述车辆外部的对象，确定所述对象具有已知光学性质，从数据库确定所述对象的所述光学性质，至少基于所述对象的所述光学性质来计算所述照明器的亮度，以及至少基于所述照明器的所述亮度来调整所述照明器、所述图像传感器和所述计算机中的至少一者。
所述存储器可存储可执行以通过至少基于所述照明器的所述亮度清洁所述照明器的透镜来调整所述照明器的指令。
所述存储器可存储可执行以在所述透镜处喷射流体来清洁所述透镜的指令。
所述存储器可存储可执行以进行以下操作的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时调整所述照明器、所述图像传感器和所述计算机中的至少一者。
所述存储器可存储可执行以进行以下操作的指令：确定所述对象的几何结构并基于所述几何结构确定所述对象的类型。
所述存储器可存储可执行以进行以下操作的指令：确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
所述存储器可存储可执行以进行以下操作的指令：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
存储器可存储可执行以在照明期间捕获对象的图像的指令。
一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：用照明器照亮车辆外部的对象，确定所述对象具有已知光学性质，从数据库确定所述对象的所述光学性质，至少基于所述对象的所述光学性质来计算所述照明器的亮度，以及至少基于所述照明器的所述亮度来清洁所述照明器的透镜。
所述存储器可存储可执行以在所述透镜处喷射流体来清洁所述透镜的指令。
所述存储器可存储可执行以进行以下操作的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器的透镜。
所述存储器可存储可执行以进行以下操作的指令：确定所述对象的几何结构并基于对象的所述几何结构确定所述对象的类型。
所述存储器可存储可执行以进行以下操作的指令：确定所述对象相对于照明器的形状并至少基于所述形状计算所述照明器的所述亮度。
存储器可存储可执行以进行以下操作的指令：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
一种方法包括：照亮对象，确定所述对象具有已知光学性质，从数据库确定所述对象的所述光学性质，至少基于所述对象的所述光学性质来计算所述照明器的亮度，以及至少基于所述照明器的所述亮度来调整所述照明器、图像传感器和计算机中的至少一者。
调整照明器可以包括清洁照明器的透镜。
确定对象的类型可以包括确定对象的几何结构。
该方法可包括将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器。
该方法可包括确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
计算机可包括确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
附图说明
图1是包括图像传感器和照明器的车辆的透视图，其中照明器是无功率的并且路灯发光。
图2是照明器处于全功率的车辆的透视图。
图3是一个照明器照亮车道标记并且另一照明器照亮路标的车辆的透视图。
图4是车辆的系统的框图。
图5是由系统执行的方法的流程图。
具体实施方式
一种车辆包括具有视场的图像传感器、瞄准所述视场的照明器和包括处理器和存储器的计算机，所述存储器存储可由所述处理器执行的指令。所述指令可由处理器执行以：照亮车辆外部的对象；确定对象具有已知光学性质；从数据库确定对象的光学性质；至少基于对象的光学性质来计算照明器的亮度；以及至少基于照明器的亮度来调整照明器、图像传感器和计算机中的至少一者。
所述存储器可存储可执行以通过至少基于所述照明器的所述亮度来清洁所述照明器的透镜来调整所述照明器的另外的指令。所述存储器可存储可执行以在所述透镜处喷射流体来清洁所述透镜的另外的指令。
所述存储器可存储可执行以进行以下操作的另外的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时调整所述照明器、所述图像传感器和所述计算机中的至少一者。
所述存储器可存储可执行以进行以下操作的另外的指令：确定所述对象的几何结构并基于所述几何结构确定所述对象的类型。
所述存储器可存储可执行以进行以下操作的另外的指令：确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
存储器可存储可执行以进行以下操作的另外的指令：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
存储器可存储可执行以在照明期间捕获对象的图像的另外的指令。
一种系统可包括计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：用照明器照亮车辆外部的对象；确定所述对象具有已知光学性质；从数据库确定所述对象的所述光学性质；至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及至少基于所述照明器的所述亮度来清洁所述照明器的透镜。
所述存储器可存储可执行以在所述透镜处喷射流体来清洁所述透镜的另外的指令。
所述存储器可存储可执行以进行以下操作的另外的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器的透镜。
所述存储器可存储可执行以进行以下操作的另外的指令：确定所述对象的几何结构并基于对象的所述几何结构确定所述对象的类型。
所述存储器可存储可执行以进行以下操作的另外的指令：确定所述对象相对于照明器的形状并至少基于所述形状计算所述照明器的所述亮度。
存储器可存储可执行以进行以下操作的另外的指令：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
一种方法包括：照亮对象；确定所述对象具有已知光学性质；从数据库确定所述对象的所述光学性质；至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及至少基于所述照明器的所述亮度来调整所述照明器、图像传感器和计算机中的至少一者。
调整照明器可以包括清洁照明器的透镜。
确定对象的类型可以包括确定对象的几何结构。
该方法可包括将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器。
该方法可包括确定所述对象的所述形状并至少基于所述形状计算所述照明器的所述亮度。
方法可包括确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
参考附图，其中贯穿若干视图相似的数字指示相似的部分，车辆10包括一种系统，该系统包括具有视场的图像传感器12和瞄准该视场的照明器14。车辆10的系统包括计算机16，所述计算机具有处理器和存储器，所述存储器存储可由所述处理器执行的指令。所述计算机16被编程为：照亮车辆10外部的对象18，确定对象18具有已知光学性质，从数据库确定对象18的光学性质，至少基于对象18的光学性质来计算照明器14的亮度，以及至少基于照明器14的亮度来调整照明器14、图像传感器12和计算机16中的至少一者。
各种对象18的光学性质和/或对象18的各种类型可被预定并存储在数据库中，如下所述。在例如基于对象18的图像和/或HD地图确定对象18具有已知光学性质之后，访问数据库以确定对象18的光学性质，例如如下所述，从传感器数据和/或定位和HD地图数据等中检测对象。然后使用该光学性质来计算照明器14的亮度。换句话说，照明器14的亮度是基于对象18的类型的已知光学性质(例如，漫反射率、回归反射率和镜面反射率分量)来计算的。如下所述，对象18相对于光传感器12和/或照明器14的位置和/或取向也可以用于计算照明器14的亮度。然后，可以使用对照明器14的亮度的这种计算来确定是否应该由于照明器14的堵塞(例如，照明器14的透镜20上的障碍物)而调整该系统。作为一个示例，可以清洁照明器14的透镜20。
车辆10可以是任何类型的乘用或商用车，诸如汽车、卡车、运动型多功能车辆、跨界车辆、厢式货车、小型货车、出租车、公共汽车等。车辆10可以是自主车辆。计算机可被编程为完全地或较小程度地独立于人类驾驶员的干预来操作车辆10。计算机可以被编程为操作推进、制动系统、转向和/或其他车辆系统。出于本公开的目的，自主操作意味着计算机控制推进、制动系统和转向；半自主操作意味着计算机控制推进、制动系统和转向中的一个或两个，并且人类驾驶员控制剩余部分；以及非自主操作意味着人类驾驶员控制推进、制动系统和转向。
车辆10包括具有视场的图像传感器12和瞄准该视场的照明器14。图像传感器12和照明器14可以彼此相邻(如图1-图3所示)，或可以彼此隔开。照明器14具有透镜20，并且图像传感器12具有透镜22。照明器14的透镜20和图像传感器12的透镜22可以彼此分开。作为另一示例，图像传感器12和照明器14可以共享公共透镜(在图1-图3中用20、22标识)。图像传感器12和/或照明器14可以在车辆10上的任何合适的位置，例如，侧车身面板、车顶等。
图像传感器12可以是任何类型的图像传感器。作为一个示例，图像传感器12可以是数码相机，例如，近场相机。作为其他示例，图像传感器12可以是激光雷达传感器(例如，闪光激光雷达)、飞行时间相机等。图像传感器12被配置为捕获车辆10外部的场景的图像。
照明器14被配置为照亮车辆10外部的场景以照亮由图像传感器12捕获的图像。照明器14可以例如发射红外光。照明器14具有可以是例如LED光源的光源。照明器14可以不间断地发射光，或者可以发射闪光，例如用于闪光激光雷达。照明器14可以发射已知的光图案，并且在这样的示例中，可以与图像传感器12隔开，即在不同的视点处。换句话说，照明器14可以发射结构光。照明器14可以被配置为照亮车辆10外部的场景中的对象18，例如路标、车道标记、街道标志、树木、草、灌木丛，并且图像传感器12被配置为捕获由照明器14照亮的场景的图像。
车辆10可以包括用于清洁照明器14的透镜20的清洁装置24(图4)。清洁装置24可以包括瞄准照明器14的喷嘴26(图1-图3)。在一些示例中，在图1-图3中示出了喷嘴26，并且喷嘴26可以瞄准照明器14中的一个或所有。喷嘴26可以专用于一个照明器14，或者可以由多个照明器14共享。图1-图3中所示的喷嘴26位于车身上。作为其他示例，喷嘴26可被结合到传感器壳体中，例如，容纳图像传感器12和/或照明器14的壳体。喷嘴26可以在照明器14的透镜20处喷射流体，例如清洁流体和/或空气，以清洁透镜20。清洁装置24可以包括任何合适的泵、储存器、控制器等，以在计算机16指示时选择性地清洁透镜20，如下所述。
车辆10包括通信网络28，该通信网络28包括用于促进车辆部件之间的通信的硬件，诸如通信总线。通信网络28可以根据诸如控制器局域网(CAN)、以太网、WiFi、局域互连网(LIN)和/或其他有线或无线机制等多种通信协议来促进车辆部件之间的有线或无线通信。
经由电路、芯片或其他电子部件实施的计算机16包括在车辆10中以执行各种操作，包括如本文所描述的操作。计算机16是通常包括处理器和存储器的计算装置，所述存储器包括一种或多种形式的计算机可读介质并且存储可由处理器执行以用于执行包括本文公开的各种操作的指令。计算机16的存储器通常进一步存储经由各种通信机制接收的远程数据；例如，计算机16通常被配置用于在控制器局域网(CAN)总线等上、和/或用于使用其他有线或无线协议(例如蓝牙等)进行通信。计算机16还可具有到车载诊断连接器(OBD-II)的连接。经由通信网络，使用以太网、WiFi、CAN总线、局域互连网(LIN)和/或其他有线或无线机制，计算机16可以向车辆10中的各种装置传输数据和消息和/或从各种装置接收数据和消息，包括下文所述的。
计算机16被编程为启动计算照明器14的亮度的步骤。换句话说，计算机16被编程为触发系统和方法。计算机16可以基于输入确定应该启动计算亮度的步骤，或者可以接收进行启动的指令。
启动可以基于行进距离、时间间隔，或者基于某一图像特征或其变化。例如，可以通过已知方法(即，已知算法)确定图像传感器12的图像质量，并且可以随时间跟踪这种图像算法的结果和/或可将这种图像算法的结果与基线进行比较。例如，可以使用已知的统计过程控制/跟踪方法随时间跟踪图像质量。处理器可以被编程为基于图像质量的变化例如图像质量的劣化而启动。
作为另一示例，启动可以基于计算机16对对象18的检测(即，基于来自图像传感器12的输入)。换句话说，当计算机16将对象18识别为光学性质已知的对象时，计算机16可以启动计算照明器14的亮度的步骤。
作为另一示例，启动可以基于与高清(HD)地图的交叉引用以识别已知对象18并且基于在HD地图上与接近对象18的接近度来启动。众所周知，HD地图是用于自主导航的数字地图，并且在几何地图上包括信息层(诸如语义对象，诸如路标、车道标记、街道标志、树木、草、灌木丛、其他车辆等)。信息层可以是从几个自主车辆获得的信息的组合，以创建实时地图。
计算机16被编程为对车辆10周围(即，车辆10外部)的场景成像。具体地，计算机16被编程为以变化的照明器光照水平对车辆10周围的场景进行成像。改变图像的照明器光照水平允许减去环境光以确定照明器14的亮度，如下文进一步描述。作为示例，可以在没有来自照明器14的照明的情况下(即，照明器14位于0％)对场景进行成像并且可以在来自照明器14的全照明下(即，照明器14处于100％)对场景进行成像。换句话说，在没有来自照明器14的照明的情况下由图像传感器12拍摄至少一个图像，并且在来自照明器14的全照明下由图像传感器12拍摄至少一个图像。另外，或替代地，可以以介于0％和100％之间的水平对场景进行成像。成像可以在低车速或当车辆10停止时发生，或者作为另一示例，可以将多个图像融合在一起以避免由于在车辆10的移动期间图像的移位而引起的误差。作为另一示例，计算机16可以选通照明器14并且使用卷帘快门来创建单个“图像”，其中每个照明水平是图像的单独行。
对场景进行成像包括对场景中的对象18进行成像。如上所述，对象18可以是例如路标、车道标记、街道标志、树木、草、灌木丛、其他车辆等。照明器14对场景的照明包括照亮车辆10外部的对象18。
计算机16被编程为确定对象18具有已知光学性质，即可以从数据库访问的光学性质。作为一个示例，计算机16被编程为确定图像中光学性质(例如反射率)已知的一个或多个对象18的类型。然后将光学性质用于确定照明器14的亮度，如下文进一步所述。
例如，计算机16被编程为确定对象18的几何结构并基于几何结构(例如，通过图像中的对象检测)识别对象18(例如，在HD地图上)和/或确定对象18的类型。对象18的几何结构包括图像中对象18的形状、对象18与照明器14和/或图像传感器12之间的距离、对象18相对于照明器14和/或图像传感器12的取向。
图像传感器12(即，图像传感器12的传感器(CMOS、CCD等))所拍摄的场景的图像可以由一个或多个其他传感器或知识和/或算法来解译，以构造被成像的场景或至少一个或多个对象18的近似模型。场景的模型可包括场景的几何结构，即，对象18的形状、对象18与照明器14和/或图像传感器12之间的距离、对象18相对于照明器14和/或图像传感器12的取向。可通过使用以下各项来实现这种几何结构：运动中恢复结构技术；通过使用神经网络基于单目相机的深度图；通过使用神经网络辨识3D对象及其在空间中的取向；来自运动或视觉slam基于单目相机结构的深度图；来自另一传感器诸如激光雷达、雷达、超声波的传感器融合；与HD地图或更简单的逻辑(例如，路面平坦，车道标记位于道路上，并且车辆10大致垂直于地平面)融合的图像辨识的并入；立体成像；和/或飞行时间相机等。
基于该几何结构，计算机16被编程为基于对象18的图像识别对象18和/或确定对象18的类型。作为一个示例，场景的模型和构造上述模型的方式可以例如至少基于图像中对象18的形状来确定对象18的类型。作为另一示例，可以通过使用HD地图以及对车辆10的位置识别(即，车辆10在HD地图上的位置)来识别对象18。例如，HD地图可以识别对象18，并且可以知道车辆10与对象18的接近度，使得当对象18在图像传感器12的视场中时，系统可以对场景成像。
计算机16被编程为确定对象18的形状；对象18与照明器14和/或图像传感器12之间的距离；和/或对象18相对于照明器14和/或图像传感器12的取向。计算机16被编程为至少基于形状、距离和/或取向来计算照明器14的亮度。例如，处理器可以使用形状、距离和/或取向来识别对象18和/或确定对象18的类型，如上所述。另外或作为替代，处理器可以使用形状、距离和/或取向如下所述计算亮度。
计算机16被编程为确定对象18的光学性质和/或对象18的类型。作为示例，计算机16被编程为从数据库确定对象18的光学性质和/或对象18的类型。该数据库可以是例如在计算机16的存储器上的查找表，该查找表包括用于各种类型的对象18的光学性质。作为另一示例，数据库可以是HD地图上的数据库。例如，计算机16可以被编程为当场景基于如上所述的HD地图在对象18附近时对场景成像，将图像中对象18的类型识别为在HD地图中识别的类型，并且从HD地图访问该对象18的光学性质。在这样的示例中，可以基于来自已经对对象18成像的其他自主车辆的输入，在HD地图中连续地更新该特定对象18的光学性质。作为另一示例，计算机16可以被编程为将图像中的对象18识别为在HD地图中识别的对象(即基于车辆的几何结构和位置)，并且从HD地图访问该对象18的光学性质。
特别地，可以通过如上所述的类型来识别的对象18，例如路标、车道标记、街道标志、树木、草、灌木丛、其他车辆等，可以具有已知光学性质，例如反射(镜面反射、漫反射、回归反射)、吸收百分比和几何属性(距离、相对方向)等。这可以交叉引用照明器14的特定波长、一年中的时间(冬季与夏季)、HD地图(新车道标记与旧车道标记)和其他因素。如下所述，该信息用于照明器14的亮度的计算。
作为另一示例，在对象18是另一车辆的情况下，数据库可以在另一车辆上或由另一车辆更新。例如，车辆和/或他们的V2X(车辆对一切)通信中的基础设施可包括和/或传输此信息。例如，黑色的车辆可指示其具有10％的漫反射、2％的回归反射和5％的镜面反射。可以在上述成像和类型辨识中识别车辆，并且通过V2X传输光学性质，并且可以将这两条信息绑定在一起，以确定被成像的对象18(即黑色车辆)的光学性质。
计算机16被编程为至少基于对象18的光学性质来计算照明器14的亮度。另外，计算机16被编程为确定对象18与照明器14之间的距离和/或对象18相对于照明器14的取向并至少基于该距离和/或取向计算照明器14的亮度。
具体地，计算机16被编程为基于图像传感器12的已知物理属性(例如，曝光时间、模数增益、F-stop、渐晕、QE、焦距、F-stop、相机校准灵敏度、FOV、取向、位置(相对和绝对)等)和照明器14的已知物理属性(例如，波长、亮度与功率(V，I)、位置、取向、光源随与光之间的距离和夹角的强度(参见下面的技术背景中的图等)来计算照明器14的亮度。计算机16可以被编程为基于光的吸收来考虑天气，例如雾。
计算机16被编程为基于其中通过使用下面的等式对具有已知几何结构和光学性质的对象18进行分割和分析的图像的子区域来计算照明器14的亮度。可以分析该区域的强度。如果发现大的变化，则对象18可被进一步细分。当对象处于图像中的暗电流噪声可与信号相当的距离时，计算机16可以被编程为考虑图像中的暗电流噪声。
给定校准信息、先前获得的几何结构、变化的照明器功率电平下的图像序列以及确定的光学性质，可以按照以下等式计算照明器14的亮度：
Figure BDA0002392215680000131
其中：
r＝对象18与图像传感器12和/或照明器14之间的距离；
r漫反射(θ)＝对象18的已知漫反射值；
镜面(θ)＝对象18的已知镜面反射值；
回归_反射＝对象18的已知回归反射值；
fLED(θ)＝照明器透镜20的函数；
f对象(θ)＝对象18的函数；
f透镜(θ)＝图像传感器透镜22的函数；
Nd＝图像中像素的数字编号(值)；
Kc＝图像传感器12的校准常数；
t＝曝光时间(秒)；
fs＝光圈数(f-stop)；
S＝ISO感光度；
Ls＝场景的亮度(坎德拉/米2)。
在某些情况下，可以假设r近似相等。还可以假设光源在空间中传播到对象18并返回到图像传感器12的强度行为遵循点扩散函数，并对函数f(θ)进行了修改，这可以考虑照明器透镜20、对象18和图像传感器透镜22的取向功能。例如，照明器14可以具有强的取向依赖性，并且图像传感器12可以根据相对取向和图像传感器12的图像信号处理校正而经历渐晕效果。反射被认为是漫反射的，并且可以基于对象18及其在光源的光谱范围内的反射率来确定。上述等式的后一部分基于图像传感器12的校准减去环境光亮度的影响来确定对象18的亮度。上述等式的解计算照明器14的亮度。如果对象18相对于照明器14和图像传感器12如此正确地置于场景内，则上述等式中的项“镜面(θ)”校正用于镜面反射。可以假定该项通常为零，并且可以针对大多数采样的对象18从等式中删除。上述等式中的项“回归_反射”为冲击对象18时回归反射效应乘以照明器14的漫射光发射的量值。可以添加进一步的校正以考虑照明器14、对象18和图像传感器12的光谱性质。可以去除可能受到来自照明器14或其他光源的镜面反射影响的对象像素的其他部分，以简化跨子区域具有变化强度的对象18中的计算。
上述计算计算照明器14的减少百分比的数值。因此，如上所述，量化了劣化的程度并且可以基于该信息采取适当的措施。
计算机16被编程为确定照明器14的亮度是否低于预期和/或需要。相对低的亮度可能是由例如照明器14的透镜20上的堵塞和/或照明器14的故障(例如LED故障)引起的。作为示例，计算机16被编程为将照明器14的亮度与阈值进行比较。具体而言，处理器可被编程为使用统计过程控制和/或跟踪方法来比较和识别亮度变化。对于随时间变化的场景，可以重复在无照明和全照明下的成像以及基于光学性质计算照明器14的亮度，以确定移位。处理器也可交叉引用特定对象18与数据库(例如来自HD地图)，以考虑随时间的例如新车道标记的变化或劣化。
计算机16被编程为基于照明器14的亮度低于预期和/或需要而调整系统。例如，计算机16被编程为在亮度低于阈值时调整照明器14、图像传感器12和计算机16中的至少一者。作为示例，该调整可以是通过清洁照明器14的透镜20而对照明器14进行的调整。例如，可以在照明器14的透镜20处喷射流体诸如清洁液体和/或空气，以清洁透镜20。在这种情况下，处理器可以被编程为指示清洁装置24清洁透镜20。处理器可以被编程为通过重复上述亮度的计算来验证透镜20是干净的。调整系统的其他示例可以包括记录结果以备将来使用、安排维护(包括指示车辆10驾驶至服务提供商进行维护)、禁用系统(例如禁用图像传感器12和/或照明器14)和/或修改传感器融合和感知算法/逻辑以考虑较低亮度。在图像传感器12和照明器14共享透镜20、22的示例中，可以清洁整个透镜20、22，或者可以仅清洁照明器14通过其瞄准的透镜20、22的一部分。作为另一示例，例如在图像传感器12是相机的示例中，图像传感器12可以采取更长的曝光来获得具有足够图像曝光的改善质量的图像，假设劣化被限制并且图像传感器12的暗电流噪声在长时间曝光中不占优势。
操作图1-图4中所示的示例的方法500在图5中示出。计算机16可以被编程为执行图5中示出的方法。
参考框505，方法500包括启动计算照明器14的亮度的步骤，即，触发系统和方法500。框505可以包括基于输入确定应该启动计算亮度的步骤，和/或接收进行启动的指令。例如，框505可以包括计算或接收行进距离、时间间隔或某一图像特征或其变化，并基于该信息来启动系统和方法500。例如，方法500在框505中可包括通过已知方法(即，已知算法)确定图像传感器12的图像质量，并且这种图像算法的结果可以随时间进行跟踪和/或与基线进行比较。例如，该方法可包括使用已知的统计过程控制和/或跟踪方法随时间跟踪图像质量。作为另一示例，该方法可包括交叉引用高清(HD)地图以识别已知对象18并且基于在HD地图上与接近对象18的接近度来启动。
参考框510和515，该方法包括对车辆10周围的场景进行成像。具体地，该方法包括改变照明器光照水平。在框510和515中的示例中，该方法包括在没有来自照明器14的照明的情况下对场景进行成像(框510)，并且在具有来自照明器14的全照明的情况下对场景进行成像(框515)。换句话说，框510包括用图像传感器12对场景进行成像，并且框515包括用照明器14照亮场景和用图像传感器12对场景进行成像。另外，或替代地，方法可以包括以介于0％和100％之间的水平对场景进行成像。该方法可以包括在低车速下或在车辆10停止时成像。作为另一示例，该方法可包括将多个图像融合在一起以避免由于在车辆10的移动期间图像的移位而引起的误差。照亮场景包括照亮场景中的一个或多个对象18，并且对场景进行成像包括对对象18进行成像。
该方法包括确定对象18的几何结构(框520)并确定对象具有已知光学性质(框525)。这可以基于基于对象18的图像(即，在框510处拍摄的图像和/或在框515处拍摄的图像)的几何结构。具体地，方法在框520处可以包括计算和/或接收对象18与照明器14和/或图像传感器12之间的距离的测量值、对象18的几何结构、对象18相对于照明器14和/或图像传感器12的取向、与照明器14和/或图像传感器12的相对位置、和/或其他信息。方法在框520和/或框525处包括由一个或多个其他传感器或知识和/或算法来解译图像传感器12所拍摄的场景的图像，并构造被成像的场景或至少一个或多个对象18的近似模型，如上所述。例如，计算机16被编程为确定对象18的几何结构以及基于该几何结构识别对象18和/或确定对象18的类型。具体地，方法在框520和/或框525处包括由一个或多个其他传感器或知识和/或算法来解译图像传感器12所拍摄的场景的图像，以构造被成像的场景或至少一个或多个对象18的近似模型，如上所述。
方法在框525处包括基于对象18的图像识别对象18和/或确定对象18的类型。该方法可包括至少基于对象18的形状来确定对象18的类型。作为一个示例，场景的模型和构造上述模型的方式可以识别对象18和/或确定对象18的类型。作为另一示例，可以通过使用HD地图以及对车辆10的位置识别(即，车辆10在HD地图上的位置)来识别对象18。例如，HD地图可以识别对象18以及车辆10与对象18的接近度，使得当对象18在图像传感器12的视场中时，系统可以对场景成像。
参考框530，该方法包括在如上所述识别对象18和/或确定类型之后确定对象18的类型的光学性质。作为示例，该方法包括从数据库确定对象18的或对象18的类型的光学性质，如上所述。例如，该方法可包括访问例如在计算机16的存储器上的查找表，该查找表包括用于各种类型的对象18的光学性质。作为另一示例，该方法可包括当场景基于如上所述的HD地图在对象18附近时对场景成像，将图像中对象18的类型识别为在HD地图中识别的类型，并且从HD地图访问该对象18的光学性质。作为另一示例，该方法可以包括如上所述通过V2X通信访问光学性质。
参考框535，该方法包括基于光学性质(即，基于对象18和/或对象18的类型)、无照明下的图像和全照明下的图像来计算照明器14的亮度。具体而言，基于对象18和/或对象18的类型的计算可以包括基于对象18和/或对象18的类型的光学性质进行计算。另外，该方法可包括确定对象18与照明器14之间的距离和/或对象18相对于照明器14的取向并至少基于该距离和/或取向计算照明器14的亮度。计算亮度的方法可以包括实现上述计算。
该方法可包括基于其中通过使用下面的等式对具有已知几何结构和光学性质的对象18进行分割和分析的图像的子区域来计算亮度。可以分析该区域的强度。如果发现大的变化，则对象18可被进一步细分。
参考决策框540，该方法包括确定照明器14的亮度是否低于预期和/或需要。作为示例，该方法包括将照明器14的亮度(如上所述计算)与阈值进行比较。具体地，该方法可通过使用统计过程控制和/或跟踪来比较和识别亮度的变化。该方法可包括对于随时间变化的场景，重复在无照明和全照明下的成像以及基于光学性质计算照明器14的亮度，以确定移位。该方法可包括交叉引用特定对象18与数据库(例如来自HD地图)，以考虑随时间的例如新车道标记的变化或劣化。
参考框545，该方法包括基于照明器14的亮度低于预期和/或需要而调整系统。例如，该方法包括在亮度低于阈值时调整照明器14、图像传感器12和计算机16中的至少一者。作为示例，该方法包括清洁照明器14的透镜20，例如，在照明器14的透镜20处喷射诸如清洁液体和/或空气之类的流体以清洁透镜20。在这种情况下，该方法可包括通过重复上述亮度的计算来验证透镜20是干净的。调整系统的其他示例可包括记录结果以供将来使用、安排维护、修改传感器融合和感知算法/逻辑以考虑较低亮度。作为另一示例，图像传感器12可以采取更长的曝光来获得具有足够图像曝光的改善质量的图像，假设劣化被限制并且图像传感器12的暗电流噪声在长时间曝光中不占优势。作为另一示例，例如在图像传感器12是相机的示例中，图像传感器12可以进行多次变化的曝光以获得具有足够图像强度范围的高动态范围图像。
关于本文所述的过程500，应当理解，尽管已经将这种过程500的步骤描述为根据某个有序序列发生，但是这种过程500可以采用以本文所述顺序之外的顺序执行的所描述步骤来实践。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对过程500的描述是为了示出某些实施例而提供，而决不应当将其理解为对公开的主题进行限制。
计算装置(诸如计算机16)通常包括计算机可执行指令，其中所述指令可能够由诸如上文列出的那些计算装置的一个或多个计算装置来执行。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，这些编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Python、Perl等。这些应用中的一些可以在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，所述过程包括本文所述的过程中的一个或多个。可使用多种计算机可读介质来存储和传输此类指令和其他数据。
计算机可读介质(也被称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久性存储器。易失性介质可包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一种或多种传输介质来传输，所述传输介质包括同轴电缆、铜线和光纤，包括构成耦接到计算机的处理器的系统总线的电线。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或者计算机可读取的任何其他介质。
在一些示例中，系统元件可被实现为一个或多个计算装置(例如，服务器、个人计算机、计算模块等)上的、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上用于执行本文所描述的功能的此类指令。
已经以说明性方式描述了本公开，并且应当理解，已经使用的术语旨本质上是描述性而非限制性的词语。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以不同于具体描述的其他方式来实践。
根据本发明，提供了一种车辆，其具有：图像传感器，所述图像传感器具有视场；照明器，所述照明器瞄准所述视场；和计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：照亮所述车辆外部的对象；确定所述对象具有已知光学性质；从数据库确定所述对象的所述光学性质；至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及至少基于所述照明器的所述亮度来调整所述照明器、所述图像传感器和所述计算机中的至少一者。
根据实施例，所述存储器存储可执行以通过至少基于所述照明器的所述亮度清洁所述照明器的透镜来调整所述照明器的另外的指令。
根据实施例，所述存储器存储可执行以在所述透镜处喷射流体来清洁所述透镜的另外的指令。
根据实施例，所述存储器存储可执行以进行以下操作的另外的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时调整所述照明器、所述图像传感器和所述计算机中的至少一者。
根据实施例，所述存储器存储可执行以进行以下操作的另外的指令：确定所述对象的几何结构并基于所述几何结构确定所述对象的类型。
根据实施例，所述存储器存储可执行以进行以下操作的另外的指令：确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
根据实施例，存储器存储可执行以进行以下操作的另外的指令：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
根据实施例，存储器存储可执行以在照明期间捕获对象的图像的另外的指令。
根据本发明，提供了一种系统，其具有：计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：用照明器照亮车辆外部的对象；确定所述对象具有已知光学性质；从数据库确定所述对象的所述光学性质；至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及至少基于所述照明器的所述亮度来清洁所述照明器的透镜。
根据实施例，所述存储器存储可执行以在所述透镜处喷射流体来清洁所述透镜的另外的指令。
根据实施例，所述存储器存储可执行以进行以下操作的另外的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器的透镜。
根据实施例，所述存储器存储可执行以进行以下操作的另外的指令：确定所述对象的几何结构并基于对象的所述几何结构确定所述对象的类型。
根据实施例，所述存储器存储可执行以进行以下操作的另外的指令：确定所述对象相对于照明器的形状并至少基于所述形状计算所述照明器的所述亮度。
根据实施例，存储器存储可执行以进行以下操作的另外的指令：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。
根据本发明，一种方法包括：照亮对象；确定所述对象具有已知光学性质；从数据库确定所述对象的所述光学性质；至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及至少基于所述照明器的所述亮度来调整所述照明器、图像传感器和计算机中的至少一者。
根据实施例，调整照明器包括清洁照明器的透镜。
根据实施例，确定对象的类型包括确定对象的几何结构。
根据实施例，本发明的特征还在于：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器。
根据实施例，本发明的特征还在于：确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
根据实施例，本发明的特征还在于：确定对象与照明器之间的距离和/或对象相对于照明器的取向并至少基于该距离和/或取向计算照明器的亮度。

Claims (15)

1.一种车辆，其包括：
图像传感器，所述图像传感器具有视场；
照明器，所述照明器瞄准所述视场；以及
计算机，所述计算机包括处理器和存储器，所述存储器存储能够由所述处理器执行以进行以下操作的指令：
照亮所述车辆外部的对象；
确定所述对象具有已知光学性质；
从数据库确定所述对象的所述光学性质；
至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及
至少基于所述照明器的所述亮度来调整所述照明器、所述图像传感器和所述计算机中的至少一者。
2.如权利要求1所述的车辆，其中所述存储器存储能够执行以通过至少基于所述照明器的所述亮度清洁所述照明器的透镜来调整所述照明器的另外的指令。
3.如权利要求2所述的车辆，其中所述存储器存储能够执行以在所述透镜处喷射流体来清洁所述透镜的另外的指令。
4.如权利要求1-3中任一项所述的车辆，其中所述存储器存储能够执行以进行以下操作的另外的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时调整所述照明器、所述图像传感器和所述计算机中的至少一者。
5.如权利要求1-3中任一项所述的车辆，其中所述存储器存储能够执行以进行以下操作的另外的指令：确定所述对象的几何结构并基于所述几何结构确定所述对象的类型。
6.如权利要求1-3中任一项所述的车辆，其中所述存储器存储能够执行以进行以下操作的另外的指令：确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
7.一种系统，其包括计算机，所述计算机包括处理器和存储器，所述存储器存储能够由所述处理器执行以进行以下操作的指令：
用照明器照亮车辆外部的对象；
确定所述对象具有已知光学性质；
从数据库确定所述对象的所述光学性质；
至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及
至少基于所述照明器的所述亮度来清洁所述照明器的透镜。
8.如权利要求7所述的系统，其中所述存储器存储能够执行以在所述透镜处喷射流体来清洁所述透镜的另外的指令。
9.如权利要求7-8中任一项所述的系统，其中所述存储器存储能够执行以进行以下操作的另外的指令：将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器的所述透镜。
10.如权利要求7-8中任一项所述的系统，其中所述存储器存储能够执行以进行以下操作的另外的指令：确定所述对象相对于所述照明器的形状并至少基于所述形状计算所述照明器的所述亮度。
11.一种方法，其包括：
照亮对象；
确定所述对象具有已知光学性质；
从数据库确定所述对象的所述光学性质；
至少基于所述对象的所述光学性质来计算所述照明器的亮度；以及
至少基于所述照明器的所述亮度来调整所述照明器、图像传感器和计算机中的至少一者。
12.如权利要求11所述的方法，其中调整所述照明器包括清洁所述照明器的透镜。
13.如权利要求11-12中任一项所述的方法，其中确定所述对象的类型包括确定所述对象的几何结构。
14.如权利要求11-12中任一项所述的方法，其还包括将所述照明器的所述亮度与阈值进行比较，并且在所述亮度低于所述阈值时清洁所述照明器的所述透镜。
15.如权利要求11-12中任一项所述的方法，其还包括确定所述对象的形状并至少基于所述形状计算所述照明器的所述亮度。
CN202010118464.8A 2019-02-27 2020-02-26 通过已知光学性质确定照明器障碍物 Pending CN111629128A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/287,672 2019-02-27
US16/287,672 US10771665B1 (en) 2019-02-27 2019-02-27 Determination of illuminator obstruction by known optical properties

Publications (1)

Publication Number Publication Date
CN111629128A true CN111629128A (zh) 2020-09-04

Family

ID=72139116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118464.8A Pending CN111629128A (zh) 2019-02-27 2020-02-26 通过已知光学性质确定照明器障碍物

Country Status (3)

Country Link
US (1) US10771665B1 (zh)
CN (1) CN111629128A (zh)
DE (1) DE102020105059A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230080085A1 (en) * 2021-09-10 2023-03-16 Aptiv Technologies Limited Driver vision assistance systems and methods
TWI800140B (zh) * 2021-12-06 2023-04-21 致伸科技股份有限公司 監控方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891960B2 (en) * 2000-08-12 2005-05-10 Facet Technology System for road sign sheeting classification
JP2003174586A (ja) * 2001-12-07 2003-06-20 Seiko Precision Inc 撮像装置および携帯電子機器
GB0216483D0 (en) * 2002-07-16 2002-08-21 Trw Ltd Vehicle window cleaning apparatus and method
JP3915742B2 (ja) 2003-06-20 2007-05-16 株式会社デンソー 車両用物体認識装置
EP1498721A1 (de) * 2003-07-15 2005-01-19 ELMOS Semiconductor AG Vorrichtung zur Erkennung von Nebel, insbesondere für ein Fahrzeug
JP4444048B2 (ja) * 2004-09-13 2010-03-31 アサヒビール株式会社 熱可塑性接着剤検査装置及び検査方法
JP4437750B2 (ja) 2005-02-04 2010-03-24 三機工業株式会社 灯器の洗浄システム
WO2012092911A1 (de) 2010-11-30 2012-07-12 Conti Temic Microelectronic Gmbh Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
JP2012171536A (ja) 2011-02-23 2012-09-10 Jvc Kenwood Corp 車両用ランプ点灯状態判定装置
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP6120395B2 (ja) 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
US9542605B2 (en) * 2012-07-03 2017-01-10 Clarion Co., Ltd. State recognition system and state recognition method
US9804386B2 (en) * 2012-07-27 2017-10-31 Nissan Motor Co., Ltd. Camera device, three-dimensional object detection device, and lens cleaning method
JP5900622B2 (ja) * 2012-07-27 2016-04-06 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9569675B2 (en) * 2012-07-27 2017-02-14 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US9126534B2 (en) * 2013-03-14 2015-09-08 Ford Global Technologies, Llc Automated camera wash for vehicles
JP2015052495A (ja) * 2013-09-06 2015-03-19 株式会社リコー 導光体、物体検出装置
KR101527810B1 (ko) 2014-11-27 2015-06-11 한국건설기술연구원 도로 시인성 확보를 위한 적외선 촬상장치 및 이를 이용한 촬상 방법
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US9607242B2 (en) * 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US10035498B2 (en) 2015-04-22 2018-07-31 Ford Global Technologies, Llc Vehicle camera cleaning system
US20160341848A1 (en) * 2015-05-22 2016-11-24 Satoshi Nakamura Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program
WO2017019725A1 (en) * 2015-07-28 2017-02-02 Wenasont Dynamics Llc System and method for light and image projection
US20170034459A1 (en) * 2015-07-30 2017-02-02 Motorola Mobility Llc Electronic Device with Image Correction System and Methods Therefor
US10225445B2 (en) * 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10829044B2 (en) * 2016-08-08 2020-11-10 Koito Manufacturing Co., Ltd. Vehicle monitoring system using a plurality of cameras
JP6576887B2 (ja) * 2016-08-09 2019-09-18 クラリオン株式会社 車載装置
CN117310741A (zh) * 2017-01-03 2023-12-29 应诺维思科技有限公司 用于检测和分类物体的激光雷达系统和方法
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range

Also Published As

Publication number Publication date
DE102020105059A1 (de) 2020-08-27
US10771665B1 (en) 2020-09-08
US20200274998A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
US11915491B2 (en) Controlling host vehicle based on detected door opening events
US11834040B2 (en) Recognition and prediction of lane constraints and construction areas in navigation
US10303958B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
CN108116410B (zh) 用于控制车辆的速度的方法和设备
KR102327997B1 (ko) 주위 감지 시스템
JP2022185089A (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
US8767186B2 (en) Object detection system
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
US8315766B2 (en) Process for detecting a phenomenon limiting the visibility for a motor vehicle
CN111629128A (zh) 通过已知光学性质确定照明器障碍物
CN111413688A (zh) 弱光传感器清洁
CN116601681A (zh) 基于3d地图的相关输入通过优先处理感兴趣物体估计摄像机的自动曝光值
CN110045389A (zh) 用于物体检测的结构化光照明系统
US11521399B2 (en) Vehicle and control method thereof
US10706295B2 (en) Street light with infrared illumination
CN116648921A (zh) 车载用传感系统以及门控照相机
CN116648664A (zh) 车载用传感系统以及门控照相机
CN116710838A (zh) 车载用感测系统及门控照相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination