CN110298933A - 车辆传感器的高光溢出去除 - Google Patents

车辆传感器的高光溢出去除 Download PDF

Info

Publication number
CN110298933A
CN110298933A CN201910202266.7A CN201910202266A CN110298933A CN 110298933 A CN110298933 A CN 110298933A CN 201910202266 A CN201910202266 A CN 201910202266A CN 110298933 A CN110298933 A CN 110298933A
Authority
CN
China
Prior art keywords
pixel
blooming
image
vehicle
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910202266.7A
Other languages
English (en)
Inventor
赵真
科德林·琼卡
卢国玉
穆斯塔法·帕尔恰米
杰弗里·托马斯·雷米勒德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110298933A publication Critical patent/CN110298933A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了“车辆传感器的高光溢出去除”。一种系统，包括：处理器；以及存储器，所述存储器包括由所述处理器执行以进行以下动作的指令：获取场景的第一图像；在照亮所述场景的同时获取所述场景的第二图像；识别在通过从所述第二图像中减去所述第一图像而确定的差值图像中的像素高光溢出；基于以经验确定的参数来修复所述像素高光溢出；并且基于所述差值图像来操作车辆。

Description

车辆传感器的高光溢出去除
技术领域
本发明涉及一种用于从车辆传感器中去除高光溢出的方法和系统。
背景技术
车辆可以经配备来在自主导引模式和乘员导引模式两者下操作。车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并且基于所述信息来操作车辆。车辆的安全和舒适的操作可以取决于获取关于车辆环境的准确的和及时的信息。车辆传感器可以提供关于在车辆环境中要避免的路线和对象的数据。车辆的安全且有效的操作可以取决于当车辆在道路上操作时获取关于车辆环境中的路线和对象的准确且及时的信息。例如，车辆操作可以取决于获取来自车辆光学传感器(例如摄像机)的图像并作用于所述图像。然而，在变化的光照条件下准确地解译图像数据是一个问题。例如，在变化的光照条件下获得的数字图像可能包括所谓的“高光溢出(bloom)”。去除或修复高光溢出使得数字图像数据可以用于车辆操作是一个问题。
发明内容
一种方法包括：获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验预定的参数来修复像素高光溢出；以及基于差值图像来操作车辆。
所述方法还可以包括利用IR视频传感器获取第一图像。
所述方法还可以包括：在利用IR光照亮场景的同时，利用IR视频传感器获取第二图像。
以经验预定的参数可以包括阈值和边界框交叠率。
修复像素高光溢出可以包括根据阈值和边界框交叠率来去除像素高光溢出和/或减少像素高光溢出。
所述方法还可以包括：基于处理差值图像以识别饱和像素的连接区域和背景像素的连接区域来确定一组高光溢出像素。
去除像素高光溢出可以包括将一组饱和像素的像素值设置为其原始值。
减少像素高光溢出可以包括基于距离测量来减小该组高光溢出像素的像素强度值。
距离测量可以包括基于饱和像素的质心来确定L2范数函数以及基于饱和像素的连接区域来确定纵横比。
一种系统包括处理器和存储器。存储器包括由处理器执行以进行以下动作的指令：获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验预定的参数来修复像素高光溢出；并且基于差值图像来操作车辆。
所述系统还可以包括利用IR视频传感器获取第一图像。
所述系统还可以包括：在利用IR光照亮场景的同时，利用IR视频传感器获取第二图像。
以经验确定的参数可以包括阈值和边界框交叠率。
修复像素高光溢出可以包括根据阈值和边界框交叠率来去除像素高光溢出或减少像素高光溢出。
所述系统还可以包括：基于处理差值图像以识别饱和像素的连接区域和背景像素的连接区域来确定一组高光溢出像素。
去除像素高光溢出可以包括将一组饱和像素的像素值设置为其原始值。
减少像素高光溢出可以包括基于距离测量来减小该组高光溢出像素的像素强度值。
距离测量可以包括基于饱和像素的质心来确定L2范数函数以及基于饱和像素的连接区域来确定纵横比。
一种系统包括用于获取图像的装置；用于控制车辆转向、制动和动力传动系统的装置。所述系统包括计算机装置，所述计算机装置用于获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验确定的参数来修复像素高光溢出；以及通过用于控制车辆转向、制动和动力传动系统的装置基于差值图像来操作车辆。
以经验确定的参数可以包括阈值和边界框交叠率。
附图说明
图1是示例性车辆的框图。
图2是使用有源照明摄像机照亮的场景的示例性图像的图示。
图3是包括围绕非高光溢出像素和高光溢出像素两者的边界框的示例性图像的图示。
图4是经处理以仅去除高光溢出像素的示例性图像的图示。
图5是经处理以确定连接区域的示例性图像的图示。
图6是经处理以确定非高光溢出像素的示例性图像的图示。
图7是经处理以确定非高光溢出像素的两个示例性图像的图示。
图8是经处理以修复高光溢出的示例性图像的图示。
图9是针对图像中的高光溢出对象的纵横比调整的示例性L2范数的图示。
图10是使用图9中的L2范数进行高光溢出修复之前和之后的两个示例性图像的图示。
图11是基于修复图像中的像素高光溢出来操作车辆的示例性过程的流程图。
图12是用于修复图像中的像素高光溢出的示例性过程的流程图。
具体实施方式
车辆可以经配备来在自主导引模式和乘员导引模式两者下操作。就半自主或完全自主模式而言，是指其中车辆可以由计算装置进行导引的操作模式，所述计算装置作为具有传感器和控制器的车辆信息系统的一部分。车辆可以被占用或未被占用，但在任一种情况下，车辆可以在没有乘员辅助的情况下被导引。出于本公开的目的，自主模式被定义为如下：车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制；在半自主模式下，车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主车辆中，这些中没有一个由计算机控制。
例如，车辆中的计算装置可以被编程为获取关于车辆的外部环境的数据并且使用所述数据来确定将用于将车辆从当前位置操作到目的地位置的轨迹。所述数据可以包括在利用电磁辐射照亮传感器可见的场景的同时从包括在车辆中的传感器获取的图像。这些有源照明传感器包括RADAR、LIDAR和视频传感器(包括可见光和红外(IR)光的)。在照亮场景的同时从有源照明传感器获取数据可以提供允许计算装置在变化的环境条件下操作车辆的数据，所述环境条件包括例如在夜晚或其他低光条件。
本文公开了一种方法，其包括：在没有有源照明的情况下获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验预定的参数来修复像素高光溢出；以及基于差值图像来操作车辆。可以利用IR视频传感器获取第一图像，并且可以在利用IR光照亮场景的同时利用IR视频传感器获取第二图像。以经验预定的参数可以包括阈值和边界框交叠率。修复像素高光溢出可以包括根据阈值和边界框交叠率来基本上完全去除像素高光溢出或减少像素高光溢出。确定一组高光溢出像素可以基于处理差值图像以识别饱和像素的连接区域和背景(即，非饱和)像素的连接区域。
去除像素高光溢出可以包括将一组饱和像素的像素值设置为其原始值，并且减少像素高光溢出可以包括基于距离测量来减小该组高光溢出像素的像素强度值。距离测量可以包括基于饱和像素的质心来确定L2范数函数。可以基于距饱和像素的质心的行和列距离的对数来确定L2范数函数。可以通过对距离除以最大距离所得的结果求平方来对L2范数函数进行归一化。可以修改L2范数函数以考虑高光溢出对象的纵横比，使得针对对象的形状专门调整高光溢出减少。在减少像素高光溢出之后，可以确定第二边界框比并基于所述第二边界框比来确定是否去除像素高光溢出。处理差值图像以识别饱和像素的连接区域和背景像素的连接区域可以包括：基于对差值图像求阈值来确定扩展的高光溢出掩模图像。处理所述差值图像以识别饱和像素的连接区域和背景像素的连接区域包括：基于扩展的高光溢出掩模图像和背景掩模图像来确定经滤波的扩展的高光溢出掩模图像。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程用于执行上述方法步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验预定的参数来修复像素高光溢出；并且基于差值图像来操作车辆。可以利用IR视频传感器获取第一图像，并且可以在利用IR光照亮场景的同时利用IR视频传感器获取第二图像。以经验预定的参数可以包括阈值和边界框交叠率。修复像素高光溢出可以包括根据阈值和边界框交叠率来去除像素高光溢出或减少像素高光溢出。确定一组高光溢出像素可以基于处理差值图像以识别饱和像素的连接区域和背景像素的连接区域。
去除像素高光溢出可以包括将一组饱和像素的像素值设置为其原始值，并且减少像素高光溢出可以包括基于距离测量来减小该组高光溢出像素的像素强度值。距离测量可以包括基于饱和像素的质心来确定L2范数函数。可以基于距饱和像素的质心的行和列距离的对数来确定L2范数函数。可以通过对距离除以最大距离所得的结果求平方来对L2范数函数进行归一化。可以修改L2范数函数以考虑高光溢出对象的纵横比，使得针对对象的形状专门调整高光溢出减少。在减少像素高光溢出之后，可以确定第二边界框比并基于所述第二边界框比来确定是否去除像素高光溢出。处理差值图像以识别饱和像素的连接区域和背景像素的连接区域可以包括：基于对差值图像求阈值来确定扩展的高光溢出掩模图像。处理所述差值图像以识别饱和像素的连接区域和背景像素的连接区域包括：基于扩展的高光溢出掩模图像和背景掩模图像来确定经滤波的扩展的高光溢出掩模图像。
图1是车辆信息系统100的图示，所述车辆信息系统100包括可在自主(“自主”本身在本公开中是指“完全自主”)模式和乘员导引(也称为非自主)模式下操作的车辆110。车辆110也包括用于在自主操作期间执行计算以导引车辆110的一个或多个计算装置115。计算装置115可以从传感器116接收关于车辆的操作的信息。计算装置115可以以自主模式、半自主模式或非自主模式来操作车辆110。出于本公开的目的，将自主模式定义为由计算装置控制车辆110的推进、制动和转向中的每一者的模式；在半自主模式下，计算装置115控制车辆110的推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆的推进、制动和转向。
计算装置115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行以便执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程来操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部和/或外部灯等中的一者或多者，以及确定计算装置115而不是人类操作者是否控制这类操作和何时控制这类操作。
计算装置115可以包括一个以上的计算装置(例如，包括在车辆110中用于监测和/或控制各种车辆部件的控制器(例如，动力传动系统控制器112、制动控制器113、转向控制器114等)或例如经由如下文进一步描述的车辆通信总线耦合到所述一个以上的计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；车辆110网络可以另外地或替代地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
经由车辆网络，计算装置115可以向车辆中的各种装置(例如，控制器、执行器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，车辆通信网络可以用于本公开中被表示为计算装置115的装置之间的通信。另外，如上文所提及，各种控制器或感测元件(诸如传感器116)可以经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置用于经由网络130通过车辆对基础设施(V-to-I)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下所述，所述接口111包括允许计算装置115经由诸如无线因特网(Wi-Fi)或蜂窝网络的网络130与远程服务器计算机120通信的硬件、固件和软件。因此，V-to-I接口111可以包括处理器、存储器、收发器等，它们被配置成利用各种有线和/或无线联网技术，例如蜂窝、和有线和/或无线分组网络。计算装置115可以被配置用于使用在附近车辆110之间在移动自组网基础形成或通过基于基础设施的网络形成的车辆对车辆(V-to-V)网络(例如，根据专用短距离通信(DSRC)和/或类似通信)通过V-to-I接口111与其他车辆110通信。计算装置115也包括诸如已知的非易失性存储器。计算装置115可通过将信息存储在非易失性存储器中来记录信息以供以后检索和经由车辆通信网络和车辆对基础设施(V-to-I)接口111传输给服务器计算机120或用户移动装置160。
如上文已经提及，通常包括在存储在存储器中并且可由计算装置115的处理器执行的指令中的是编程用于在没有人类操作者的干预的情况下操作(例如，制动、转向、推进等)一个或多个车辆110部件。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可以在没有驾驶员操作车辆110的情况下作出各种确定和/或控制各种车辆110部件和/或操作。例如，计算装置115可以包括编程来调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且高效行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、特定位置处的到达时间和十字路口(不具有指示灯)最小到达时间以通过十字路口。
控制器(如该术语在本文中所使用的)包括通常被编程来控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的可能包括如本文所描述的另外的编程的电子控制单元(ECU)。控制器可以可通信地连接到计算装置115并且从计算装置115接收指令以根据指令致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动。
车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)或类似单元，作为非限制性示例，所述已知的电子控制单元(ECU)或类似单元包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个执行器。控制器112、113、114可以被编程并且连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局部互连网络(LIN)总线)以从计算机115接收指令并且基于指令控制执行器。
传感器116可以包括已知的各种装置以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前面的下一个车辆的距离，设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可以由计算装置115使用来自主地或半自主地操作车辆110。
车辆110通常是具有三个或更多个车轮的基于地面的自主车辆110(例如，客车、轻型载货汽车等)。车辆110包括一个或多个传感器116、V-to-I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但不受限制，传感器116可以包括例如测高仪、摄像机、激光雷达(LIDAR)、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用来感测车辆110的操作环境，例如，传感器116可以检测诸如天气条件(降雨、外界温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用来收集数据，包括与车辆110的操作(诸如速度、横摆率、转向角度、发动机转速、制动压力、油压力、施加到车辆110中的控制器112、113、114的功率电平、部件之间的连接性和车辆110的部件的准确和及时性能)相关的动态车辆110数据。
图2是照亮的场景的示例性图像200的图示。图像200是以黑白渲染的伪彩色图像，以符合专利局规则。伪彩色图像200是数据值或“像素”的二维阵列，其中每个像素由单个数值表示，并且通过基于每个像素的数值分配显示的颜色来显示像素。像素数值和颜色之间的关系可以由色标202表示，色标202描绘了以1500到5000的任意单位表示的强度作为此处通过以黑白的半色调渲染表示的颜色。在该示例中，利用IR光照亮场景，并且由IR视频传感器116获取图像200并将其传输到计算装置115。可以通过IR光源照亮图像200中的场景。IR光源可以包括IR发光二极管(LED)，IR发光二极管(LED)例如响应于来自计算装置115的电信号而发射IR光。在计算装置115指示IR LED发射IR光的同时，计算装置115可以指示IR视频传感器116获取照亮的场景的IR视频图像200。因为包括在图像200中的像素数据是基于有源照明，所以最大化数据量可以包括增加辐射到场景上的IR光的量以增加所获取的数据量。在该示例中，在场景中的表面上的最大投射功率(以瓦特/厘米2为单位测量)可以通过IR视频传感器116中的饱和来限制，IR视频传感器116接收从场景中的表面反射的能量。
最大化IR照射的投射功率可以提供包括背景数据206、208的图像200数据。问题可能由来自场景中的回归反射表面(诸如道路标志、施工标记、车道标记、交通灯等)的饱和返回210引起，因为在允许成像背景数据206、208的IR照明的功率下，饱和返回210可以使IR视频传感器116饱和并导致像素高光溢出。回归反射表面是涂有膜(塑料)或涂料的表面，所述膜或涂料包括微观玻璃珠，所述微观玻璃珠将落在其上的高百分比的光沿其光被接收的方向直接反射回去，因此称为回归反射器。在基于标准CCD或CMOS的传感器上，像素高光溢出像素光晕通过由饱和的传感器像素产生的过量电荷溢出到传感器上的相邻像素中引起。像素高光溢出可以使得一部分或全部伪彩色图像200不可用。
由图像200中的回归反射表面引起的像素高光溢出可以通过根据饱和返回210和背景返回206、208之间的分离去除像素高光溢出或减少像素高光溢出来修复。以这种方式处理图像200可以从图像200中去除寄生噪声并且使得图像200能够更好地由计算装置115处理以用于与车辆110的操作相关的任务，诸如机器学习网络，其例如包括对象检测和分类算法。当与饱和返回210相关联的像素和与背景返回206、208相关联的像素充分分离时，可以从图像200基本上完全去除受像素高光溢出影响的像素。下文关于图4至图8讨论去除像素高光溢出。当饱和返回210未和与背景返回206、208相关联的像素充分分离时，移除受高光溢出影响的像素可能导致移除与背景返回206、208相关联的像素，这是不想要的结果。在这种情况下，通过应用所计算的基于距离的强度减小矩阵以减少像素高光溢出，可以减小像素高光溢出的影响。下文关于图9和图10讨论强度减小矩阵。在减少像素高光溢出的步骤之后，可以再次检查图像200以查看新的饱和返回210是否不再与背景返回206、208交叠，并且现在可以基本上完全去除。在这两种情况下，来自引起饱和返回210的回归反射器的原始强度信息包括在处理之后的图像200中。
处理图像200以修复像素高光溢出通过在不照亮场景的情况下获取图像200来开始。这提供了基准图像200，可以从在利用IR光照亮场景时获取的后续图像200中减去该基准图像。这将去除背景照明并去除强度值低于传感器噪声水平的像素。在背景减法之后，可以基于饱和返回210来确定边界框212。计算装置115可以对图像200求阈值以确定包括8路连接区域的二进制图像，其中每个连接区域对应于饱和返回210。对图像200求阈值是指图像变换，其中如果输入像素的值大于预定阈值，则输出像素被赋予值“1”，并且如果输入像素的值小于预定阈值，则输出像素被赋予值“0”。8路连接是指如果第二像素在以第一像素为中心的3像素乘3像素窗口内与第一像素相邻，则确定第一“1”像素连接到第二“1”像素。可以通过对8路连接的“1”像素进行分组来形成“1”像素的连接区域。由于饱和返回210可以具有比背景返回206、208大许多数量级的返回强度，所以以经验确定阈值是简单的并且可以准确地用于将来自反射回归对象的饱和返回210与来自背景对象的背景返回206、208分割。
在从背景分割饱和返回210以形成二进制图像之后，计算装置115可以使用机器视觉软件程序来确定对应于饱和返回210的二进制图像中的每个连接区域的边界框212。例如，MATLABTM图像处理库(Mathworks，Natick，MA 01760，Rev.R2017a)中包括的“regionprops”函数可以用于确定与分割的饱和返回210相关联的二进制图像中的边界框212。边界框212指定起始x,y像素坐标和边界框212的高度和宽度(以像素为单位)。在图1中，与饱和返回210相关联的像素高光溢出由边界框212内的高强度像素指示。
图3示出了包括边界框的示例性二进制掩模图像300的进一步处理。二进制掩模图像300可以通过求阈值由伪彩色图像200形成。色标302指示二进制图像300中表示的像素值包括由黑色像素表示的“1”和由白色像素表示的“0”。在这种情况下，可以以经验确定用于从伪彩色图像200形成二进制掩模图像300的阈值，以形成用于用以形成二进制掩模306、308背景返回和用以形成二进制掩模310的饱和返回的连接区域。二进制掩模图像300可以由计算装置115使用包括形态学算子的机器视觉软件程序来处理，以基于图像200创建包括二进制掩模306、308、310的一个或多个二进制掩模图像300。二进制掩模图像300可以是通过对二进制图像200执行“闭”运算和“spur”运算而创建的紧密高光溢出掩模。例如，“闭”运算和“spur”运算包括在MATLABTM图像处理库的“bwmorph”函数中。这些形态学运算基于连接区域创建干净且紧密的二进制掩模，所述连接区域包括二进制掩模图像300中的大于以经验确定的最小尺寸(例如10个像素)的二进制掩模306、308、310。对于二进制图像300中的二进制掩模306、308、310，可以如上面关于图2所讨论的那样确定边界框312、314、316。
基于饱和返回210的与二进制掩模310相关联的边界框316与基于背景返回208的与二进制掩模308相关联的边界框314之间的交叠率可以用于确定是否去除高光溢出像素或减少高光溢出像素。可以使用交并比技术来确定交叠比。在该技术中，两个边界框314、316的交集(二进制OR)的像素面积比除以两个边界框314、316的并集(二进制AND)。然后可以将得到的交叠率与以经验确定的比率进行比较。如果确定的交叠率等于或大于预定比率，则可以从图像200成功地去除与饱和返回210相关联的高光溢出像素，而不影响与背景返回208相关联的像素。
如果交叠率小于预定比率，则去除与饱和返回210相关联的高光溢出像素也将去除与背景返回208相关联的像素，这是不想要的结果。在这种情况下，可以减少而非去除与饱和返回210相关联的高光溢出像素，以保留与背景返回208相关联的像素。在图像300中，与二进制掩模308相关联的边界框314和与二进制掩模310相关联的边界框316之间的交叠率小于预定比率(例如5％)，其中预定比率可以优选地在1％和10％之间。还可以基于来自图像200的边界框212与图像300中的边界框314之间的交叠来确定交叠率，并且将其与以经验确定的值进行比较，如前一段中所述，以获得第二交叠测量值。
图4是伪彩色扩展的高光溢出掩模400的黑白渲染。伪彩色扩展的高光溢出掩模400将扩展的高光溢出掩模400的二进制像素编码为1或2，而不是0或1，由色标402指示。通过基于来自图像200的边界框212和与来自图像300的二进制掩模308相关联的边界框314的交集内的饱和返回210而减去与二进制掩模310相关联的像素以形成扩展的高光溢出掩模400，而形成扩展的高光溢出掩模400。
图5是伪彩色二进制扩展的高光溢出掩模图像500的黑白渲染。伪彩色二进制扩展的高光溢出掩模图像500将扩展的高光溢出掩模图像500的二进制像素编码为0或1，由色标502示出。通过使用低于用于形成二进制图像300的阈值的以经验确定的阈值第一次对伪彩色图像200求阈值而形成扩展的高光溢出掩模。该阈值可以使用校准的回归反射材料以经验确定，其中例如可以预先确定返回信号的强度。注意，扩展的高光溢出掩模400包括比二进制图像300高光溢出更多的像素。
图6是伪彩色扩展的高光溢出和背景掩模图像600的黑白渲染。伪彩色扩展的高光溢出掩模和背景掩模图像600将像素编码为0、1或2，如色标602所示。通过将扩展的高光溢出掩模400和背景掩模图像300的像素相乘来形成扩展的高光溢出和背景掩模图像600中的像素。通过从扩展的高光溢出和背景掩模图像600中去除值“1”(黑色)像素并保留用于和与饱和返回210相关联的边界框212交叠的边界框610的“2”个(半色调)像素而实现，所述交叠指示边界框610与像素高光溢出相关联。注意，由于边界框608不和与饱和返回210相关联的边界框212交叠，所以可以保留“1”和“2”像素两者，这是因为边界框608与像素高光溢出不关联。
图7是两个经伪彩色滤波的、扩展的高光溢出和背景掩模图像700、704的黑白渲染。经滤波的、扩展的高光溢出和背景掩模图像700、704将像素编码为0、1或2，如由色标702、706所示。通过将扩展的高光溢出掩模400和背景掩模图像300的像素相乘来形成滤波的、扩展的高光溢出和背景掩模图像700、704的像素，如上面关于图6所描述，并且然后使用形态滤波器进行滤波以扩展保留的背景像素，同时仍然排除高光溢出像素。示例性形态滤波器是包括在MATLABTM图像处理工具箱中的“imdilate”函数。经滤波的、扩展的高光溢出和背景掩模图像700、704分别表示使用3×3和7×7窗口的滤波。如在经滤波的、扩展的高光溢出和背景掩模图像700、704中可以看到，其中较大尺寸的滤波器窗口包括更多的背景像素，同时还包括更多的高光溢出像素。用于确定背景像素和保留的高光溢出像素之间的比率的窗口尺寸可以使用经校准的回归反射器基于测试数据以经验确定，如上面关于图5所讨论。
图8是伪彩色输出图像800的黑白渲染。伪彩色输出图像根据色标802对像素进行编码，其中强度由1500至5000的任意单位表示。输出图像800包括背景返回804、806，其通过将图像200乘以由经滤波的、扩展的高光溢出和背景掩模图像700、704形成的二进制掩模而形成。除了来自图像200的掩模像素之外，输出图像800中还包括设置回到回归反射器的原始强度的像素808，由边界框810指示。该过程在保持回归反射器的原始强度的同时去除了最大数量的高光溢出像素。
图9是L2范数函数的伪彩色图像900的黑白渲染。L2范数函数图像900的像素的值由色标902指示。L2范数函数是基于距离的强度减小矩阵，其用于通过根据像素与饱和返回的距离减小像素的强度值来减少饱和返回周围的像素中的像素高光溢出。例如，根据饱和返回，L2范数函数可以与伪彩色图像900卷积，以根据距离减小像素的强度值。
图10示出了伪彩色图像1000和伪彩色输出图像1004的黑白渲染。图像1000和输出图像1004中的强度值以任意单位编码，如由色标1002、1006所示。图像1000包括来自回归反射器的背景返回1006和饱和返回1010、1012，其中饱和返回1010、1012如上面关于图2所述被识别且由边界框1014、1016包围。在该示例中，由饱和返回1010、1012引起的高光溢出像素使得边界框1014、1016与围绕背景返回1006的边界框交叠，其交叠率大于预定比率，这意味着如上关于图3至图8所述的高光溢出去除在不去除很大一部分背景像素的情况下无法执行。在该示例中，执行高光溢出去除导致消除输出图像1004中的所有背景像素。
在该示例中，例如，可以通过确定每个饱和返回1010、1012的质心来计算用于饱和返回1010、1012的强度加权质心。例如，可以使用MATLABTM图像处理库中的“regionprops”函数计算每个饱和返回1010、1012的加权质心，其中基于距饱和返回1010、1012加权的质心的像素距离执行基于距离的强度减小。强度减小可以通过等式1和2计算为距加权质心的距离的L2范数的对数的绝对值：
dists＝|log(|(col-centroidx)|width+|(row-centroidy)|height)| (1)
dists＝(dists/max(dists))2 (2)
其中row和col指示图像1000的行和列，centroidx和centroidy指示饱和返回1010、1012的强度加权质心的x，y坐标，并且width和height分别是边界框1014、1016的像素的宽度和高度，并且dists是基于L2范数函数900的基于距离的强度减小矩阵而计算的强度，通过对dists除以最大dists所得的结果求平方而进行归一化。
基于饱和返回1010、1012来计算L2范数函数图像900中示出的示例性基于距离的强度减小矩阵。注意，由于两个饱和返回1010、1012的尺寸的不对称性而引起L2范数函数图像900中的不对称性。在基于L2范数函数图像900的高光溢出减少之后，可以分别在边界框1024、1026内的输出图像1004中恢复饱和返回1020、1022的原始像素值。以这种方式，可以减少像素高光溢出，同时保留最大数量的背景像素。
图11是关于图1至图10描述的用于基于修复差值图像中的像素高光溢出来操作车辆的过程1100的流程图图示。例如，过程1100可以由计算装置115的处理器实施，从传感器116获得输入信息，并且执行命令并且经由控制器112、113、114发送控制信号。过程1100包括以所公开的顺序进行的多个步骤。过程1100也包括具有更少的步骤的实施方式或可以包括以不同顺序进行的步骤。
过程1100开始于步骤1102，其中包括在车辆110中的计算装置115获取第一图像。第一图像可以由车辆110传感器116获取，包括如上面关于图2所述的IR视频传感器。
在步骤1104处，在利用发射光能来照亮场景的光源(例如上面关于图2所述的IRLED)照亮传感器116的视野中的场景的同时，计算装置115利用IR视频传感器116获取第二图像。
在步骤1106处，计算装置115从第二图像中减去第一图像以消除背景噪声并创建差值图像200，并且通过确定与场景中的回归反射器相关联的饱和返回210来识别差值图像200中的像素高光溢出，如上关于图2所述。
在步骤1108处，计算装置115基于以经验确定的参数来修复差值图像200中的像素高光溢出。修复像素高光溢出包括根据将确定的交叠率与预定比率进行比较的结果来去除或减少饱和返回210，其中交叠率是基于如图2至图8所述的边界框212、314、316。另外，在减少像素高光溢出之后，例如，可以处理输出图像1004以确定任何减少的饱和返回210现在是否都适合于使用关于图2至图8描述的技术来移除。
在步骤1110处，计算装置115基于像素高光溢出被去除的输出图像800或像素高光溢出减少的输出图像1004来操作车辆110。基于输出图像800或输出图像1004来操作车辆100意味着将输出图像800或输出图像1004输入到在计算装置115上执行的软件程序，以确定要传送到控制器112、113、114的控制信号，以控制车辆转向、制动和动力传动系统部件从而引导车辆110行驶到目的地，如上面关于图1所述。在步骤1110之后，过程1100结束。
图12是关于图1至图10描述的用于修复差值图像中的像素高光溢出的过程1200的流程图图示。过程1200对应于图11的过程1100中的步骤1108。例如，过程1200可以由计算装置115的处理器实施，从传感器116获得输入信息，并且执行命令并且经由控制器112、113、114发送控制信号。过程1200包括以所公开的顺序进行的多个步骤。过程1200也包括具有更少的步骤的实施方式或可以包括以不同顺序进行的步骤。
过程1200开始于步骤1202，其中包括在车辆110中的计算装置115输入差值图像200。已经确定差值图像200包括高光溢出像素，所述高光溢出像素由与差值图像200中的一个或多个回归反射器相关联的饱和返回210指示。通过基于以经验预定的阈值对差值图像求阈值来识别饱和返回210，如上面关于图2所讨论。
在步骤1204处，计算装置115确定与饱和返回210和二进制掩码306、308、310相关联的边界框212、312、314、316，并且从而确定交叠的边界框212、314、316的交叠率，如上面关于图3所讨论。
在步骤1206处，将在步骤1204处确定的交叠率与以经验预定的比率进行比较。在交叠参数大于预定比率的示例中，过程1200转到步骤1212以减少像素高光溢出。在交叠参数大于或等于预定比率的示例中，过程1200转到步骤1208以去除像素高光溢出。
在步骤1208处，计算装置115通过根据交叠率使用掩模图像700、704来处理图像200而去除像素高光溢出，以创建输出图像800，如上面关于图2至图8所讨论。在步骤1208之后，过程1200转到步骤1210以输出输出图像800、1004。
在步骤1212处，计算装置115通过将图像700与L2范数函数900卷积以通过基于距离的强度减小减少像素高光溢出而减少像素高光溢出，如上面关于图9和图10所讨论，以产生输出图像1004。
在步骤1214处，计算装置115可以确定输出图像1004中的边界框1014、1016，以确定交叠率是否因处理输出图像1004以减少像素高光溢出而发生了改变。如果交叠率已经改变使得交叠率小于以经验预定的值，则计算装置、过程1200转到步骤1208以去除输出图像1004中的像素高光溢出。如果确定的交叠率仍然大于或等于以经验预定的比率，则过程1200转到步骤1210以输出输出图像800、1004。
在步骤1210处，计算装置115输出去除或减少了高光溢出像素的修复的输出图像800、1004，以存储在与计算装置115相关联的非易失性存储器装置处。输出图像800、1004可以由计算装置115从非易失性存储器调用，以用于操作车辆110，如上面关于图1所述。在步骤1210之后，过程1200结束。
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所述的那些的一个或多个计算装置执行并且用于执行上文描述的过程的框或步骤。例如，上文所讨论的过程框可以被体现为计算机可执行命令。
计算机可执行命令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用各种计算机可读介质来将这类命令和其他数据存储在文件中并且传输这类命令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存储存储器等)上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，命令)的任何介质。这种介质可采取许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。非易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储芯片或盒式磁带，或计算机可从中读取的任何其他介质。
除非本文做出相反的明确指示，否则权利要求中使用的所有术语旨在给予其如本领域技术人员所理解的普通和通常的含义。特别地，除非权利要求叙述明确的相反限制，否则单数冠词(诸如，“一个/一种”、“该”、“所述”等)的使用应理解为叙述一个或多个所指示元件。
术语“示例性”在本文以代表示例的意义使用，例如，对“示例性小部件”的引用应被理解为仅指代小部件的示例。
修饰值或结果的副词“大约”指的是形状、结构、测量、值、确定、计算结果等可由于材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷等而与确切描述的几何结构、距离、测量、值、确定、计算结果等有所偏差。
在附图中，相同的附图标号指示相同元件。另外，这些元件中的一些或全部可改变。关于本文所描述的介质、过程、系统、方法等，应当理解，虽然此类过程等的步骤已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应当理解，某些步骤可同时执行，可添加其他步骤，或可省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且绝不应被解释为限制所要求保护的本发明。
根据本发明，一种方法包括：获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验预定的参数来修复像素高光溢出；以及基于差值图像来操作车辆。
根据实施例，本发明的特征还在于利用IR视频传感器获取第一图像。
根据实施例，本发明的特征还在于，在利用IR光照亮场景的同时，利用IR视频传感器获取第二图像。
根据实施例，以经验预定的参数包括阈值和边界框交叠率。
根据实施例，修复像素高光溢出包括根据阈值和边界框交叠率来去除像素高光溢出和/或减少像素高光溢出。
根据实施例，本发明的特征还在于，基于处理差值图像以识别饱和像素的连接区域和背景像素的连接区域来确定一组高光溢出像素。
根据实施例，去除像素高光溢出包括将一组饱和像素的像素值设置为其原始值。
根据实施例，减少像素高光溢出包括基于距离测量来减小该组高光溢出像素的像素强度值。
根据实施例，距离测量可以包括基于饱和像素的质心来确定L2范数函数以及基于饱和像素的连接区域来确定纵横比。
根据本发明，提供了一种系统，其具有：处理器；以及存储器，所述存储器包括由处理器执行以进行以下动作的指令：获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验预定的参数来修复像素高光溢出；并且基于差值图像来操作车辆。
根据实施例，本发明的特征还在于利用IR视频传感器获取第一图像。
根据实施例，本发明的特征还在于，在利用IR光照亮场景的同时，利用IR视频传感器获取第二图像。
根据实施例，以经验确定的参数包括阈值和边界框交叠率。
根据实施例，修复像素高光溢出包括根据阈值和边界框交叠率来去除像素高光溢出或减少像素高光溢出。
根据实施例，本发明的特征还在于，基于处理差值图像以识别饱和像素的连接区域和背景像素的连接区域来确定一组高光溢出像素。
根据实施例，去除像素高光溢出包括将一组饱和像素的像素值设置为其原始值。
根据实施例，减少像素高光溢出包括基于距离测量来减小该组高光溢出像素的像素强度值。
根据实施例，距离测量可以包括基于饱和像素的质心来确定L2范数函数以及基于饱和像素的连接区域来确定纵横比。
根据本发明，提供了一种系统，其具有：用于获取图像的装置；用于控制车辆转向、制动和动力传动系统的装置；计算机装置，其用于：获取场景的第一图像；在照亮场景的同时获取场景的第二图像；识别在通过从第二图像中减去第一图像而确定的差值图像中的像素高光溢出；基于以经验确定的参数来修复像素高光溢出；以及通过用于控制车辆转向、制动和动力传动系统的装置基于差值图像来操作车辆。
根据实施例，以经验确定的参数包括阈值和边界框交叠率。

Claims (15)

1.一种方法，其包括：
获取场景的第一图像；
在照亮所述场景的同时获取所述场景的第二图像；
识别通过从所述第二图像中减去所述第一图像而确定的差值图像中的像素高光溢出；
基于以经验预定的参数来修复所述像素高光溢出；以及
基于所述差值图像来操作车辆。
2.如权利要求1所述的方法，其还包括利用IR视频传感器获取所述第一图像。
3.如权利要求1所述的方法，其还包括：在利用用IR光照亮所述场景的同时，利用IR视频传感器获取所述第二图像。
4.如权利要求1所述的方法，其中以经验预定的参数包括阈值和边界框交叠率。
5.如权利要求4所述的方法，其中修复所述像素高光溢出包括：根据所述阈值和所述边界框交叠率来去除所述像素高光溢出或减少所述像素高光溢出。
6.如权利要求5所述的方法，其还包括：基于处理所述差值图像以识别饱和像素的连接区域和背景像素的连接区域来确定一组高光溢出像素。
7.如权利要求6所述的方法，其中去除所述像素高光溢出包括将一组饱和像素的像素值设置为其原始值。
8.如权利要求7所述的方法，其中减少所述像素高光溢出包括基于距离测量来减小所述一组高光溢出像素的像素强度值。
9.如权利要求8所述的方法，其中所述距离测量包括基于饱和像素的质心来确定L2范数函数。
10.如权利要求9所述的方法，其中基于距饱和像素的所述质心的行和列距离的对数来确定所述L2范数函数。
11.如权利要求10所述的方法，其中通过对所述距离除以最大距离所得的结果求平方来对所述L2范数函数进行归一化。
12.如权利要求11所述的方法，其中在减少所述像素高光溢出之后，确定第二边界框比并基于所述第二边界框比来确定是否去除像素高光溢出。
13.如权利要求12所述的方法，其中处理所述差值图像以识别饱和像素的连接区域和背景像素的连接区域包括：基于对所述差值图像求阈值来确定扩展的高光溢出掩模图像。
14.如权利要求13所述的方法，其中处理所述差值图像以识别饱和像素的连接区域和背景像素的连接区域包括：基于所述扩展的高光溢出掩模图像和背景掩模图像来确定经滤波的扩展的高光溢出掩模图像。
15.一种系统，其包括被编程来执行如权利要求1至14中任一项所述的方法的计算机。
CN201910202266.7A 2018-03-21 2019-03-18 车辆传感器的高光溢出去除 Pending CN110298933A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/927,331 US10593029B2 (en) 2018-03-21 2018-03-21 Bloom removal for vehicle sensors
US15/927,331 2018-03-21

Publications (1)

Publication Number Publication Date
CN110298933A true CN110298933A (zh) 2019-10-01

Family

ID=67848418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910202266.7A Pending CN110298933A (zh) 2018-03-21 2019-03-18 车辆传感器的高光溢出去除

Country Status (3)

Country Link
US (1) US10593029B2 (zh)
CN (1) CN110298933A (zh)
DE (1) DE102019106845A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554575A (zh) * 2020-04-23 2021-10-26 华东交通大学 一种基于偏振原理的高反物体表面高光去除方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210027380A (ko) * 2018-07-05 2021-03-10 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 다수의 센서들 및 감소된 복잡도 신경망들을 사용한 오브젝트 검출
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
CN113168515A (zh) * 2018-12-10 2021-07-23 金泰克斯公司 用于减小视场搜索空间的扫描设备
US11353331B2 (en) * 2019-10-25 2022-06-07 Here Global B.V. Method, apparatus, and computer program product for requesting traffic data
US11847771B2 (en) * 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation
DE102020208093A1 (de) 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Rechnereinheit für eine LiDAR-Vorrichtung und LiDAR-Vorrichtung
DE102020130884A1 (de) 2020-11-23 2022-05-25 Valeo Schalter Und Sensoren Gmbh Aktives Sensorsystem und Objekterkennung
DE102022115277A1 (de) 2022-06-20 2023-12-21 Valeo Detection Systems GmbH Verfahren zum Betreiben eines LiDAR-Systems, LiDAR-System und Fahrzeug

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP2004048345A (ja) 2002-07-11 2004-02-12 Niles Co Ltd 撮像システム
US7808538B2 (en) 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
JP5012315B2 (ja) * 2007-08-20 2012-08-29 セイコーエプソン株式会社 画像処理装置
US9329700B2 (en) * 2010-01-14 2016-05-03 Smart Technologies Ulc Interactive system with successively activated illumination sources
US8699812B2 (en) 2011-06-09 2014-04-15 General Electric Company System and method for quality improvement in CT imaging
US9759995B2 (en) * 2011-08-18 2017-09-12 Massachusetts Institute Of Technology System and method for diffuse imaging with time-varying illumination intensity
JP6466346B2 (ja) 2013-02-15 2019-02-06 サイオニクス、エルエルシー アンチブルーミング特性を有するハイダイナミックレンジｃｍｏｓ画像センサおよび関連づけられた方法
US9462202B2 (en) 2013-06-06 2016-10-04 Samsung Electronics Co., Ltd. Pixel arrays and imaging devices with reduced blooming, controllers and methods
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US10395385B2 (en) * 2017-06-27 2019-08-27 Qualcomm Incorporated Using object re-identification in video surveillance

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554575A (zh) * 2020-04-23 2021-10-26 华东交通大学 一种基于偏振原理的高反物体表面高光去除方法

Also Published As

Publication number Publication date
US10593029B2 (en) 2020-03-17
US20190295231A1 (en) 2019-09-26
DE102019106845A1 (de) 2019-09-26

Similar Documents

Publication Publication Date Title
CN110298933A (zh) 车辆传感器的高光溢出去除
US10949684B2 (en) Vehicle image verification
US11023782B2 (en) Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium
US11042758B2 (en) Vehicle image generation
DE102019125303A1 (de) Reinigung des fahrzeugsensors
US10735716B2 (en) Vehicle sensor calibration
CN106503653A (zh) 区域标注方法、装置和电子设备
CN107031508A (zh) 用于车辆的后视系统及其使用方法
CN109767637A (zh) 倒计时信号灯识别及处理的方法和装置
CN111986128A (zh) 偏心图像融合
WO2020079698A1 (en) Adas systems functionality testing
US20200408535A1 (en) Map change detection
US11645360B2 (en) Neural network image processing
JP7359735B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN109902610A (zh) 交通标志识别方法和装置
US11657572B2 (en) Systems and methods for map generation based on ray-casting and semantic class images
CN116391161A (zh) 在自主载具运行期间模拟情景的载具内操作
CN116703966A (zh) 多对象跟踪
CN109703555A (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
CN113442916A (zh) 车辆不确定性共享
CN114291011A (zh) 车辆神经网络
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
JP2021128705A (ja) 物体状態識別装置
CN109614843A (zh) 色彩学习
CN112440970A (zh) 车辆神经网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination