CN111669513A - 通过脉冲照明实现弱光视觉的系统和方法 - Google Patents

通过脉冲照明实现弱光视觉的系统和方法 Download PDF

Info

Publication number
CN111669513A
CN111669513A CN202010148917.1A CN202010148917A CN111669513A CN 111669513 A CN111669513 A CN 111669513A CN 202010148917 A CN202010148917 A CN 202010148917A CN 111669513 A CN111669513 A CN 111669513A
Authority
CN
China
Prior art keywords
vehicle
intensity level
rows
camera
cmos camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010148917.1A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111669513A publication Critical patent/CN111669513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/04—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body
    • H01L27/08—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including only semiconductor components of a single kind
    • H01L27/085—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including only semiconductor components of a single kind including field-effect components only
    • H01L27/088—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including only semiconductor components of a single kind including field-effect components only the components being field-effect transistors with insulated gate
    • H01L27/092—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including only semiconductor components of a single kind including field-effect components only the components being field-effect transistors with insulated gate complementary MIS field-effect transistors
    • H01L27/0922—Combination of complementary transistors having a different structure, e.g. stacked CMOS, high-voltage and low-voltage CMOS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开提供了“通过脉冲照明实现弱光视觉的系统和方法”。描述了用于改善车辆摄像机功能的车辆和方法。一种示例性车辆包括CMOS摄像机、灯和成像控制器。所述成像控制器被配置成通过以下操作来捕获多个图像帧，针对每个图像帧：一次曝光所述CMOS摄像机的一个或多个行，以及在捕获所述CMOS摄像机的最后一行之后的帧时间间隙期间暂停曝光。所述成像控制器还被配置成针对所述多个图像帧中的一个或多个：在所述图像帧的第一部分期间以降低的强度水平操作一个或多个灯，其中所述降低的强度水平低于最大平均强度水平；以及在所述图像帧的第二部分期间以升高的强度水平操作所述一个或多个灯，其中所述升高的强度水平高于所述最大平均强度水平。

Description

通过脉冲照明实现弱光视觉的系统和方法
技术领域
本公开总体上涉及车辆摄像机，并且更具体地，涉及在具有卷帘快门的摄像机的使用期间通过脉冲照明来改善弱光条件下的操作。
背景技术
现代车辆包括各种摄像机，诸如前向、后向和侧向摄像机。这些摄像机中的一个或多个可以用于协助车辆执行各种操作，诸如车辆的自主控制、车辆的自动停止或转弯以避免事故、当对象在车辆附近时提醒驾驶员以及各种其他目的。在白天，这些摄像机通常不难捕获图像并在很远的距离处分辨图像中的对象。然而，在弱光情况下，摄像机和/或利用摄像机图像(例如，对象检测)的系统的有效范围大大减小。
这些摄像机中的一些摄像机可能是使用卷帘快门操作的CMOS摄像机，使得摄像机的行的子组一次从上到下(或从下到上)曝光。然后，基于曝光的行的组合来生成由摄像机捕获的所得图像。
发明内容
所附权利要求限定了本申请。本公开概述了实施例的各方面，并且不应被用来限制权利要求。如对于本领域的普通技术人员来说在研究以下附图和详细描述后将显而易见的是，根据本文所述的技术设想了其他实现方式，并且这些实现方式意图落入本申请的范围内。
公开了一种车辆，其包括：包括多个行的CMOS摄像机；一个或多个灯，其被配置成照亮所述CMOS摄像机的视野；以及成像控制器。所述成像控制器被配置成通过以下操作来捕获多个图像帧，针对每个图像帧：一次曝光CMOS摄像机的一个或多个行，以及在捕获CMOS摄像机的最后一行之后的帧时间间隙期间暂停曝光。时间帧间隙还可以包括传输时间。成像控制器还被配置成针对多个图像帧中的一个或多个，在图像帧的第一部分期间以降低的强度水平操作一个或多个灯，其中所述降低的强度水平低于最大平均强度水平，并且在图像帧的第二部分期间以升高的强度水平操作一个或多个灯，其中所述升高的强度水平高于所述最大平均强度水平。
公开了一种通过车辆摄像机捕获图像的方法。所述方法包括通过以下操作来捕获多个图像帧，针对每个图像帧：一次曝光CMOS摄像机的一个或多个行，以及在捕获摄像机的最后一行之后的帧时间间隙期间暂停曝光。所述方法还包括针对多个图像帧中的一个或多个：在图像帧的第一部分期间以降低的强度水平操作照亮CMOS摄像机的视野的一个或多个车灯，其中所述降低的强度水平低于最大平均强度水平，并且在图像帧的第二部分期间以升高的强度水平操作一个或多个车灯，其中所述升高的强度水平高于所述最大平均强度水平。
附图说明
为了更好地理解本发明，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且相关元件可以省略，或者在一些情况下，比例可能已经被夸大，以便强调和清楚地示出本文所述的新颖特征。另外，系统部件可以被不同地布置，如本领域中已知。另外，在附图中，贯穿若干视图，相同的附图标记表示对应的部分。
图1示出了根据本公开的实施例的车辆。
图2示出了根据本公开的实施例的示出图1的车辆的示例性电子部件的框图。
图3示出了根据本公开的实施例的一系列示例性图像帧。
图4示出了根据本公开的实施例的图像帧的另一示例。
图5示出了根据本公开的实施例的示例性方法的流程图。
具体实施方式
尽管本发明可以以各种形式实施，但是在附图中示出了并将在下文中描述一些示例性和非限制性实施例，应理解，本公开被认为是本发明的示例，并且不意图将本发明限制于示出的特定实施例。
如上所述，车辆可以包括一个或多个用于各种目的的摄像机，诸如可以基于摄像机捕获的图像来控制或提醒用户的高级驾驶员辅助系统(ADAS)。这些摄像机中的一个或多个可以是CMOS卷帘快门摄像机。这些摄像机中使用的常规传感器可能具有较差的动态范围和较低的感光度。因此，ADAS功能在某些情况下可能会受到限制，诸如在黄昏、黎明、晚上以及其他弱光情况下。具体地，在弱光条件下，摄像机检测远距离对象的能力，特别是检测非反射性对象(例如，穿过街道的深色动物或穿深色衣服的行人)的能力受到限制。
此外，在弱光条件下对对象的检测可能限于车辆或其他光源(例如，街灯)照亮以及希望避免远光灯遮挡其他驾驶员的视线的地方。例如，在车辆的正常甚至远光灯照明下，照明的视野可能小于摄像机的视野(在典型的日光条件下)。如果没有被其他车辆或基础设施外部照明，则在摄像机视野内但在车辆典型照明范围之外的对象可能仍未被检测到。
一些解决方案可以包括使用红外摄像机或使用专用摄像机传感器、使用多帧HDR和使用多增益单成像HDR，来增大传感器裸片的尺寸和扩大摄像机的像素尺寸。然而，这些解决方案可能大大增加车辆的成本和复杂性，并且具有其自身的缺点和局限性。
考虑到这些问题，本文公开的示例性实施例可以使车辆能够对在更远的距离处的对象成像并且对在车辆前灯的照明区域之外的对象成像(诸如朝向车辆的侧面并且朝向空中以对道路上方的标牌成像)。其他好处可能包括有限的成本增加和改善车辆ADAS功能。
为了提供这些好处中的一个或多个，示例性实施例可以包括将照明从图像帧捕获的第一部分转移到第二部分。法规规定车辆前灯必须定位在最小高度和最大高度之间，并且必须成角度以免闪到其他驾驶员的眼睛，并且限于最大输出。为了改善摄像机的图像帧捕获的照明条件，可以在图像不在捕获关键信息(或根本不在捕获信息)时的时间段期间减少光输出，并且在捕获关键或重要信息时增加光输出。
另外，示例可以包括在与摄像机传感器中期望的一行或多行被曝光的时间帧相对应的短持续时间内，引入比平均输出大得多(例如，大10倍)的光脉冲。这可以大大增大摄像机可以针对一个或多个行成像的距离，同时不干扰其他驾驶员。可以基于许多因素来选择在捕获增加了照明的图像帧期间的特定行，这些因素包括车辆位置、方位、海拔、关于车辆周围环境的认识等等。这可以允许车辆更好地捕获和检测车辆周围的对象、标牌的存在，并为车辆提供各种其他好处。
图1示出了根据本公开的实施例的示例性车辆100。车辆100可以是标准汽油动力车辆、混合动力车辆、电动车辆、燃料电池车辆或任何其他机动性实施类型的车辆。车辆100可以是非自主的、半自主的或自主的。车辆100可以包括与机动性相关的部分，诸如具有发动机、变速器、悬架、驱动轴和/或车轮等的动力传动系统。在所示示例中，车辆100可以包括一个或多个电子部件。车辆100可以包括摄像机102、前灯106、侧灯108和成像控制器110。参考图2描述车辆100的各种其他电子部件。
摄像机102可以是用于捕获图像的任何合适的摄像机。如图1所示，摄像机102可以被安装成使得其具有前向视野104。摄像机102捕获的图像可以显示在车辆显示器(未示出)上。替代地或另外，由摄像机捕获的图像可以被一个或多个车辆系统使用，诸如用于对象识别、车道检测、自主控制等。
摄像机102可以是具有卷帘快门的CMOS摄像机。要进行操作，摄像机可以从上到下、从下到上或以其他某种顺序曝光行。在捕获图像帧期间，每一行可以被暴露一段时间。相邻行的曝光时间可能会重叠。在摄像机102的最后一行曝光之后的帧时间间隙期间可以暂停曝光，使得摄像机102每秒捕获特定数量的帧(例如，30fps)。
前灯106和侧灯108中的一者或多者可以被配置成照亮摄像机102的视野104的全部或一部分。每个灯可以是具有相对快速的上升和下降时间的LED照明器。这可以使灯能够进行操作，使得摄像机102的一个或多个行暴露于升高的光强度，而一个或多个其他的行暴露于来自灯106和/或108的降低的光强度。车辆100的侧面、前部、顶部、底部和/或后部可以包括另外的灯。
成像控制器110可以被配置成执行本文所描述的一个或多个功能或动作。例如，成像控制器110可以被配置成通过依次曝光摄像机102的行来经由摄像机102捕获多个图像帧。然后，成像控制器110可以在给定帧的最后一行的曝光与下一个帧的第一行的曝光之间的帧时间间隙期间暂停曝光。
成像控制器110还可以被配置成在摄像机行的曝光期间和帧时间间隙期间控制灯106和108的照明。这可以包括基于下文讨论的一个或多个因素，在特定时间升高和/或降低照明水平。何时发生升高或降低的时间可以基于选择哪一行(哪几行)。例如，可以基于各种车辆度量来选择一个或多个行，所述车辆度量诸如地理位置、位置、方位、海拔、车辆是否正在接近标牌等。下文关于图3和图4讨论进一步的详情。
图2示出了根据一些实施例的示出车辆100的电子部件的示例性框图200。在所示示例中，电子部件200包括车载计算系统202、信息娱乐主机单元220、通信系统230、传感器240、电子控制单元250和车辆数据总线260。
车载计算系统202可以包括：成像控制器110，其可以包括微控制器单元、控制器或处理器；以及存储器212。控制器110可以是任何合适的处理装置或处理装置集合，诸如(但不限于)：微处理器、基于微控制器的平台、集成电路、一个或多个现场可编程门阵列(FPGA)和/或一个或多个专用集成电路(ASIC)。存储器212可以是易失性存储器(例如，包括非易失性RAM、磁性RAM、铁电RAM等的RAM)、非易失性存储器(例如，磁盘存储器、快闪存储器、EPROM、EEPROM、基于忆阻器的非易失性固态存储器等)、不可改变的存储器(例如，EPROM)、只读存储器和/或大容量存储装置(例如，硬盘驱动器、固态驱动器等)。在一些示例中，存储器212包括多种类别的存储器，特别是易失性存储器和非易失性存储器。
存储器212可以是非暂时性计算机可读介质，在其上可以嵌入一个或多个指令集，诸如用于操作本公开的方法的软件。所述指令可以体现如本文所述的方法或逻辑中的一种或多种。例如，指令完全地或至少部分地驻留在存储器212、计算机可读介质中的任何一者或多者内，和/或在指令的执行期间驻留在成像控制器110内。
术语“非暂时性计算机可读介质”和“计算机可读介质”包括单个介质或多个介质，诸如集中式数据库或分布式数据库，和/或存储一个或多个指令集的相关联高速缓存和服务器。另外，术语“非暂时性计算机可读介质”和“计算机可读介质”包括任何有形介质，所述有形介质能够存储指令集、对指令集进行编码或携带指令集以供处理器执行或致使系统执行本文所公开的方法或操作中的任何一个或多个。如本文中所使用的，术语“计算机可读介质”明确地定义为包括任何类型的计算机可读存储装置和/或存储盘，并且不包括传播信号。
信息娱乐主机单元220可以提供车辆100与用户之间的接口。信息娱乐主机单元220可以包括一个或多个输入和/或输出装置，诸如显示器222和用户接口224，以从用户接收输入和为用户显示信息。输入装置可以包括例如控制旋钮、仪表板、用于图像捕获和/或视觉命令识别的数字摄像机、触摸屏、音频输入装置(例如，车厢传声器)、按钮或触摸板。输出装置可以包括仪表组输出(例如，刻度盘、照明装置)、致动器、抬头显示器、中央控制台显示器(例如，液晶显示器(LCD)、有机发光二极管(OLED)显示器、平板显示器、固态显示器等)和/或扬声器。在所示示例中，信息娱乐主机单元220包括用于信息娱乐系统(诸如
Figure BDA0002401745610000071
的
Figure BDA0002401745610000072
和MyFord
Figure BDA0002401745610000073
Figure BDA0002401745610000074
的
Figure BDA0002401745610000075
的
Figure BDA0002401745610000076
等)的硬件(例如，处理器或控制器、存储器、存储装置等)和软件(例如，操作系统等)。在一些示例中，信息娱乐主机单元220可以与车载计算系统202共享处理器。另外，信息娱乐主机单元220可以将信息娱乐系统显示在例如车辆100的中央控制台显示器上。
通信系统230可以包括有线或无线网络接口以实现与一个或多个内部或外部系统、装置或网络进行通信。通信网络230还可以包括硬件(例如，处理器、存储器、存储装置等)和软件以用于控制有线或无线网络接口。在所示示例中，通信系统230可以包括
Figure BDA0002401745610000077
模块、GPS接收器、专用短程通信(DSRC)模块、超宽带(UWB)通信模块、WLAN模块和/或蜂窝调制解调器，所有这些都电耦合到一个或多个相应的天线。
蜂窝调制解调器可以包括用于基于标准的网络(例如，全球移动通信系统(GSM)、通用移动通信系统(UMTS)、长期演进(LTE)、码分多址(CDMA)、WiMAX(IEEE 802.16m)；以及无线千兆比特(IEEE802.11ad)等)的控制器。WLAN模块可以包括用于无线局域网的一个或多个控制器，诸如
Figure BDA0002401745610000078
控制器(包括IEEE 802.11a/b/g/n/ac或其他)、
Figure BDA0002401745610000079
控制器(基于
Figure BDA00024017456100000710
特别兴趣小组维护的
Figure BDA00024017456100000711
核心规范)，和/或
Figure BDA00024017456100000712
控制器(IEEE 802.15.4)，和/或近场通信(NFC)控制器等。此外，内部和/或外部网络可以是公共网络，诸如互联网；专用网络，诸如内联网；或它们的组合，并且可以利用现在可用或后来开发的各种网络协议，包括但不限于基于TCP/IP的网络协议。
通信系统230还可以包括有线或无线接口以实现与电子装置(诸如用户的移动装置)的直接通信。示例性DSRC模块可以包括无线电和软件，以广播消息并在车辆之间以及车辆与一个或多个其他装置或系统之间建立直接连接。DSRC是主要用于运输的在5.9GHz频带中操作的无线通信协议或系统。
传感器240可以通过任何合适的方式布置在车辆100中及其周围。传感器240可以包括摄像机102和一个或多个惯性传感器242。惯性传感器242可以提供关于车辆前进方向、方位等的信息。
ECU 250可以监测并控制车辆100的子系统。ECU 250可以经由车辆数据总线260来传达和交换信息。另外，ECU 250可以向其他ECU 250传达属性(诸如ECU 250的状态、传感器读数、控制状态、错误和诊断代码等)和/或从其他ECU接收请求。一些车辆可以具有位于车辆周围的各个位置的七十个或更多个ECU 250，所述七十个或更多个ECU 250通过车辆数据总线260通信地耦合。ECU 250可以是包括它们自己的电路(诸如集成电路、微处理器、存储器、存储装置等)和固件、传感器、致动器和/或安装硬件的离散的电子器件组。在所示示例中，ECU 250可以包括远程信息处理控制单元252和车身控制单元254。
远程信息处理控制单元252可以例如使用由GPS接收器、通信系统230和/或一个或多个传感器240接收的数据来控制对车辆100的跟踪。车身控制单元254可以控制车辆的各个子系统。例如，车身控制单元254可以控制行李厢闩锁、车窗、电动锁、电动天窗控制、防盗锁止系统和/或电动后视镜等。
车辆数据总线260可以包括与网关模块结合的一个或多个数据总线，所述一个或多个数据总线通信地耦合车载计算系统202、信息娱乐主机单元220、通信模块230、传感器240、ECU 250以及连接到车辆数据总线260的其他装置或系统。在一些示例中，车辆数据总线260可以根据国际标准组织(ISO)11898-1限定的控制器局域网(CAN)总线协议来实施。替代地，在一些示例中，车辆数据总线260可以是媒体导向系统传输(MOST)总线，或CAN灵活数据(CAN-FD)总线(ISO 11898-7)或CAN与CAN-FD的组合。
图3示出了根据本公开的实施例的一系列示例性图像帧300a和300b。图像帧300a和300b可以彼此类似或相同。
图像帧300a包括多个行302。每行可以包括多个像素。图像帧300a还包括帧时间间隙310。帧时间间隙310可以占整个图像帧300的很大或很小的百分比。例如，帧时间间隙可以占整个帧的15-40％。可以基于摄像机操作的帧速率来确定或设置帧时间间隙持续时间。例如，摄像机102可以增大或减小帧时间间隙，以便每秒产生特定数量的帧，诸如30fps，并且在白天和晚上的照明条件下考虑不同的所需曝光时间。也可以使用其他帧速率。
成像控制器110还可以被配置成通过曝光CMOS摄像机102的行以及在曝光CMOS摄像机的最后一行306之后的帧时间间隙310期间暂停曝光，来捕获多个图像帧。
成像控制器还可以被配置成针对一个或多个帧，在图像帧的第一部分期间以降低的强度水平操作一个或多个灯，其中所述降低的强度水平低于最大平均强度水平，并且在图像帧的第二部分期间以升高的强度水平操作一个或多个灯，其中所述升高的强度水平高于所述最大平均强度水平。
在图3所示的示例中，示出了图像帧300a的第一部分320和第二部分322。相对于最大平均强度水平，第一部分320期间的光强度水平降低330，并且相对于最大平均强度水平，第二部分322期间的光强度水平升高332。在一些示例中，在第一部分320期间的降低的强度水平与在第二部分322期间的升高的强度水平的组合的平均强度水是最大平均强度水平334。这使车辆能够将总光强度输出保持在最大允许输出处或以下。
在一些示例中，降低的光强度水平330和升高的光强度水平332之间的差为5％。各种研究已经表明，这种“闪烁”的或强度变化水平在典型的人不会注意到的范围内。然而，如果强度变化大于5％，则可能有惹恼或伤害其他驾驶员的风险。另外，可能需要短的脉冲持续时间来解决引起其他驾驶员问题的闪烁或眼睛安全影响。如上所述，最大平均强度水平334可以由一个或多个法规规定。
因此，各种公开的实施例引起照明从第一部分320转移到第二部分322。这具有双重好处：将平均输出光强度水平保持在允许的最大值或以下，并且在捕获摄像机的关键行期间降低照明不会导致丢失任何相关信息。在第一部分320中的行的曝光期间，摄像机102没有捕获重要信息(即，帧时间间隙310不包括相关的视觉数据)，但是摄像机102确实在第二部分322期间捕获了驾驶员和/或车辆系统的相关信息。
在特定示例中，第一部分320包括帧时间间隙310。因为摄像机102在帧时间间隙310期间没有捕获相关的视觉信息，所以摄像机不需要照明(尽管在该时间段内照明仍然对驾驶员有帮助)。因此，关于摄像机的功能，在帧时间间隙310期间降低照度没有缺点。
在另一个示例中，第一部分320还可以或替代地包括图像帧300的多个行302的子组，包括顶行304和底行306中的任一者或两者。摄像机的顶行304和底行306可以捕获摄像机的外罩，并且因此，这些行不捕获相关的视觉信息来供驾驶员和/或车辆系统使用。顶行304和底行306可以在每个帧中捕获相同的信息，因为它们被外罩遮盖。
在一些示例中，第二部分322包括摄像机的多个行302中的一个或多个，特别是包括相关视觉信息(例如，对象、标牌、地平线等)的那些行。例如，第二部分可以包括摄像机的所有行302。在这种情况下，第一部分可以包括帧时间间隙310，而第二部分包括摄像机的所有行。
在另一个示例中，第二部分可以包括多个行302的子组。这种情况在图3中示出，其中第一部分320包括帧时间间隙310和被外罩遮盖的行，而第二部分322包括未被外罩遮盖的行。
图4示出了根据本公开的实施例的另一示例性图像帧400。特定地，图4示出了在第二部分422期间增加的光脉冲436。帧400包括多个行402和帧时间间隙410。
成像控制器110可以在第一部分420期间降低照明强度水平430，并且在第二部分422期间升高照明强度水平432。如图所示，第二部分422还包括子部分，在所述子部分期间，光强度水平显著升高(例如，10x)，如图4中的峰436所示。光强度峰436可以在第二部分422内的任何位置。另外，第二部分422可以不包括升高的光强度水平，除了峰436。换句话说，除了在峰436期间发生的那些帧之外，在所有帧的捕获和帧时间间隙期间，光强度水平可以低于最大平均光强度水平434。应当理解，第二部分422可以包括峰和一个或多个周围的行(诸如图4所示)两者，或者可以替代地仅包括包括峰436的部分/行。
图像帧400示出了地平线440，沿着地平线440可以看到动物(驼鹿)。各种实施例可以包括基于地平线440的位置选择第二部分422的一个或多个行，包括竖直位置和/或围绕地平线的特定行。例如，成像控制器可以确定地平线440的位置，并且选择接近地平线440的一个或多个行。然后，这些选定的行可以包括第二部分，所述第二部分的光强度水平升高。可以选择接近地平线440的行，因为地平线440很有可能包含由车辆检测的对象(例如，动物、过马路的人等)。
在某些示例中，成像控制器110可以基于一个或多个车辆度量为第二部分422选择一个或多个行。车辆度量可以包括地理位置、车辆位置、方位、海拔、车辆惯性特征以及车辆是否正在接近标牌(例如，基于GPS和地图数据来确定)。这些车辆度量可以用于确定第二部分422中要包括哪些行。例如，可以选择包括标牌的行。可以包括被预测为包括标牌的行(例如，基于车辆的预测路线以及其他信息)。可以选择包括或围绕地平线的行。预测算法可以用于基于本文公开的车辆位置、移动和其他度量，来确定地平线440和/或标牌可能位于何处。相关视觉信息的这些预测的行位置可能影响第二部分422的行的选择。也可以使用各种其他度量和确定。
在一个示例中，成像控制器110可以预测高空标牌正在接近。作为响应，成像控制器可以选择朝向图像帧440的顶部的一个或多个行。当这些选定的行在图像帧的捕获期间被曝光时，可以控制灯以具有升高的强度水平。此外，可能会打开一个或多个另外的灯(诸如远光灯、侧灯等)。因此，第二部分的行可以接收从标牌反射回来的另外的光，从而允许车辆在更大的距离处检测到标牌。
在另一个示例中，成像控制器110可以确定地平线440相对于摄像机行的位置(例如，确定哪些行包括地平线)。可以基于车辆度量(诸如车辆是在沿上坡行驶、在沿下坡行驶还是在沿平坦表面行驶)来确定或预测这一点。此外，车辆可以基于地理位置、计划的路线、过去的图像帧等来预测车辆即将遇到的地形。一旦确定或预测了地平线440，就可以为第二部分选择围绕地平线的行，以便在曝光那些行时提供增加的照明。这可以使车辆能够在增大的距离处检测到地平线上的对象。
在一些示例中，成像控制器110可以修改一个或多个行的增益和/或曝光时间。例如，这可以包括选择要包括在第二部分中的行。
图5示出了根据本公开的实施例的示例性方法500的流程图。方法500可以通过在捕获图像帧期间将光强度从第一部分转移到第二部分，来使车辆摄像机视觉系统能够检测到更大的距离处的对象，并且具有改善的清晰度。图5的流程图表示存储在存储器(诸如存储器212)中并且可以包括一个或多个程序的机器可读指令，所述一个或多个程序在由处理器(诸如处理器110)执行时可以致使车辆100执行本文所述的一个或多个功能。尽管参考图5中所示的流程图描述了示例性程序，但是可以替代地使用用于执行本文所述的功能的许多其他方法。例如，可以重新排列或彼此连续或并行地执行框的执行次序，可以改变、消除和/或组合框以执行方法500。此外，由于结合图1至图4的部件公开了方法500，因此下面将不再详细描述那些部件的一些功能。
方法500可以在框502处开始。在框504处，方法500可以包括以降低的光强度水平捕获图像帧的第一部分。如上所述，降低的光强度水平是相对于最大平均光强度水平的降低的光强度水平。
在框506处，方法500包括以升高的光强度水平捕获图像帧的第二部分。如上所述，升高的光强度水平是相对于最大平均光强度水平的升高的光强度水平。实际上，可用的光强度(即，降低的光强度水平和最大平均光强度水平之间的差)从在第一部分期间使用转移到在第二部分期间使用。以这种方式，输出相同的总光强度，同时在捕获重要视觉信息的第二部分的捕获期间提供增加的照明。光强度从摄像机没有捕捉到重要视觉信息的部分转移到有重要视觉信息要捕捉的部分。
在框508处，方法500包括在帧时间间隙期间暂停曝光。如上所述，帧时间间隙使摄像机能够基于捕获帧的最后一行与捕获下一帧的第一行之间的延迟，以特定的帧速率进行操作。
在框510处，方法500可以包括确定是否已经捕获了最后一个帧。如果车辆继续捕获图像帧(即，摄像机保持开启)，则所述方法可以返回到框504以捕获下一个帧。然而，如果车辆停止捕获帧(即，车辆关闭或所公开的功能关闭)，则所述方法然后在框512处结束。
在本申请中，反义连词的使用意图包括连词。定冠词或不定冠词的使用并不意图指示基数。特定地，对“所述”对象或“一”和“一个”对象的引用也意图表示可能的多个此类对象中的一个。此外，连词“或”可以用来传达同时存在的特征而非相互排斥的替代例。换句话说，连词“或”应理解为包括“和/或”。如本文使用的，术语“模块”和“单元”是指这样的硬件，所述硬件具有电路以通常与传感器结合来提供通信、控制和/或监测能力。“模块”和“单元”还可以包括在电路上执行的固件。术语“包括”(“includes”、“including”和“include”)是包含性的，并且相应地具有与“包含”(“comprises”、“comprising”和“comprise”)相同的范围。
上述实施例并且特别是任何“优选的”实施例是各实现方式的可能示例，并且仅被阐述用于清楚地理解本发明的原理。在未实质上脱离本文中描述的技术的精神和原理的情况下，可以对上述一个或多个实施例进行许多变化和修改。本文中所有修改都意图包括在本公开的范围内并且受所附权利要求保护。
根据本发明，提供了一种车辆，其具有：包括多个行的CMOS摄像机；一个或多个灯，其被配置成照亮CMOS摄像机的视野；以及成像控制器，其被配置成：通过以下操作来捕获多个图像帧，针对每个图像帧：一次曝光CMOS摄像机的一个或多个行；以及在捕获CMOS摄像机的最后一行之后的帧时间间隙期间暂停曝光；并且针对多个图像帧中的一个或多个：在图像帧的第一部分期间以降低的强度水平操作一个或多个灯，其中所述降低的强度水平低于最大平均强度水平；以及在图像帧的第二部分期间以升高的强度水平操作所述一个或多个灯，其中所述升高的强度水平高于所述最大平均强度水平。
根据一个实施例，第一部分包括帧时间间隙。
根据一个实施例，第一部分包括CMOS摄像机的多个行的子组，所述子组包括CMOS摄像机的顶行和/或底行中的一者或多者。
根据一个实施例，降低的强度水平和升高的强度水平之间的差为5％。
根据一个实施例，升高的强度水平是最大平均强度水平的10倍以上之大。
根据一个实施例，第二部分包括CMOS摄像机的一个或多个行。
根据一个实施例，CMOS摄像机的多个行包括被配置成捕获CMOS摄像机的外罩的第一子组和被配置成不捕获CMOS摄像机的外罩的第二子组，并且其中第二部分包括第二子组。
根据一个实施例，成像控制器还被配置成确定地平线位置，并且其中一个或多个行包括基于地平线位置选择的CMOS摄像机的多个行的子组。
根据一个实施例，所述一个或多个行包括基于一个或多个车辆度量选择的CMOS摄像机的多个行的子组。
根据一个实施例，一个或多个车辆度量包括地理位置和车辆方位中的一者或两者。
根据一个实施例，成像控制器还被配置成修改图像帧的第二部分的一个或多个行的增益和曝光时间。
根据一个实施例，在第一部分期间的降低的强度水平与在第二部分期间的升高的强度水平的组合的平均强度水是最大平均强度水平。
根据本发明，提供了一种通过车辆摄像机捕获图像的方法，所述方法具有以下步骤：通过以下操作来捕获多个图像帧，针对每个图像帧：一次曝光CMOS摄像机的一个或多个行，所述CMOS摄像机包括多个行；以及在捕获车辆摄像机的最后一行之后的帧时间间隙期间暂停曝光；并且针对多个图像帧中的一个或多个：在图像帧的第一部分期间以降低的强度水平操作照亮CMOS摄像机的视野的一个或多个车灯，其中所述降低的强度水平低于最大平均强度水平；以及在图像帧的第二部分期间以升高的强度水平操作所述一个或多个车灯，其中所述升高的强度水平高于所述最大平均强度水平。
根据一个实施例，第一部分包括帧时间间隙。
根据一个实施例，第二部分包括CMOS摄像机的一个或多个行。
根据一个实施例，CMOS摄像机的多个行包括被配置成捕获CMOS摄像机的外罩的第一子组和被配置成不捕获CMOS摄像机的外罩的第二子组，并且其中第二部分包括第二子组。
根据一个实施例，本发明的特征还在于确定地平线位置，其中一个或多个行包括基于地平线位置选择的CMOS摄像机的多个行的子组。
根据一个实施例，所述一个或多个行包括基于一个或多个车辆度量选择的CMOS摄像机的多个行的子组。
根据一个实施例，一个或多个车辆度量包括地理位置和车辆方位中的一者或两者。
根据一个实施例，本发明的特征还在于修改图像帧的第二部分的一个或多个行的增益和曝光时间。

Claims (15)

1.一种车辆，其包括：
包括多个行的CMOS摄像机；
一个或多个灯，其被配置成照亮所述CMOS摄像机的视野；以及
成像控制器，其被配置成：
通过以下操作捕获多个图像帧，针对每个图像帧：
一次曝光所述CMOS摄像机的一个或多个行；以及
在捕获所述CMOS摄像机的最后一行之后的帧时间间隙期间暂停曝光；并且
针对所述多个图像帧中的一个或多个：
在所述图像帧的第一部分期间以降低的强度水平操作所述一个或多个灯，其中所述降低的强度水平低于最大平均强度水平；以及
在所述图像帧的第二部分期间以升高的强度水平操作所述一个或多个灯，其中所述升高的强度水平高于所述最大平均强度水平。
2.如权利要求1所述的车辆，其中所述第一部分包括所述帧时间间隙。
3.如权利要求1所述的车辆，其中所述第一部分包括所述CMOS摄像机的所述多个行的子组，所述子组包括所述CMOS摄像机的顶行和/或底行中的一者或多者。
4.如权利要求1所述的车辆，其中所述第二部分包括所述CMOS摄像机的一个或多个行。
5.如权利要求4所述的车辆，其中所述CMOS摄像机的所述多个行包括被配置成捕获所述CMOS摄像机的外罩的第一子组和被配置成不捕获所述CMOS摄像机的所述外罩的第二子组，并且其中所述第二部分包括所述第二子组。
6.如权利要求4所述的车辆，其中所述成像控制器还被配置成确定地平线位置，并且其中所述一个或多个行包括基于所述地平线位置选择的所述CMOS摄像机的所述多个行的子组。
7.如权利要求4所述的车辆，其中所述一个或多个行包括基于一个或多个车辆度量选择的所述CMOS摄像机的所述多个行的子组。
8.如权利要求7所述的车辆，其中所述一个或多个车辆度量包括地理位置和车辆方位中的一者或两者。
9.如权利要求4所述的车辆，其中所述成像控制器还被配置成修改所述图像帧的所述第二部分的所述一个或多个行的增益和曝光时间。
10.如权利要求1所述的车辆，其中在所述第一部分期间的所述降低的强度水平与在所述第二部分期间的所述升高的强度水平的组合的平均强度水平是所述最大平均强度水平。
11.一种通过车辆摄像机捕获图像的方法，所述方法包括：
通过以下操作捕获多个图像帧，针对每个图像帧：
一次曝光CMOS摄像机的一个或多个行，所述CMOS摄像机包括多个行；以及
在捕获所述车辆摄像机的最后一行之后的帧时间间隙期间暂停曝光；并且
针对所述多个图像帧中的一个或多个：
在所述图像帧的第一部分期间以降低的强度水平操作照亮所述CMOS摄像机的视野的一个或多个车灯，其中所述降低的强度水平低于最大平均强度水平；以及
在所述图像帧的第二部分期间以升高的强度水平操作所述一个或多个车灯，其中所述升高的强度水平高于所述最大平均强度水平。
12.如权利要求11所述的方法，其中所述第一部分包括所述帧时间间隙，并且其中所述第二部分包括所述CMOS摄像机的一个或多个行。
13.如权利要求12所述的方法，其中所述CMOS摄像机的所述多个行包括被配置成捕获所述CMOS摄像机的外罩的第一子组和被配置成不捕获所述CMOS摄像机的所述外罩的第二子组，并且其中所述第二部分包括所述第二子组。
14.如权利要求12所述的方法，其还包括确定地平线位置，其中所述一个或多个行包括基于所述地平线位置选择的所述CMOS摄像机的所述多个行的子组。
15.如权利要求12所述的方法，其中所述一个或多个行包括基于一个或多个车辆度量选择的所述CMOS摄像机的所述多个行的子组，其中所述一个或多个车辆度量包括地理位置和/或车辆方位中的一者或两者。
CN202010148917.1A 2019-03-08 2020-03-05 通过脉冲照明实现弱光视觉的系统和方法 Pending CN111669513A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/297,228 2019-03-08
US16/297,228 US20200282921A1 (en) 2019-03-08 2019-03-08 Systems and methods for low light vision through pulsed lighting

Publications (1)

Publication Number Publication Date
CN111669513A true CN111669513A (zh) 2020-09-15

Family

ID=72147075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010148917.1A Pending CN111669513A (zh) 2019-03-08 2020-03-05 通过脉冲照明实现弱光视觉的系统和方法

Country Status (3)

Country Link
US (1) US20200282921A1 (zh)
CN (1) CN111669513A (zh)
DE (1) DE102020106218A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
US11760281B2 (en) 2020-11-17 2023-09-19 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11953586B2 (en) * 2020-11-17 2024-04-09 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11951937B2 (en) 2021-03-12 2024-04-09 Ford Global Technologies, Llc Vehicle power management
US11912235B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle object detection
US11916420B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle sensor operation
KR20230086979A (ko) * 2021-12-09 2023-06-16 현대자동차주식회사 차량 및 차량의 제어방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2946336B1 (en) * 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters

Also Published As

Publication number Publication date
DE102020106218A1 (de) 2020-09-10
US20200282921A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN111669513A (zh) 通过脉冲照明实现弱光视觉的系统和方法
CN108810421B (zh) 改善低光照情景中的车辆摄像机性能的车辆和方法
CN111527743A (zh) 扩展动态范围的多种操作模式
CN112040154A (zh) 用于减少成像光源中的闪烁伪影的系统和方法
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
US20180304804A1 (en) Vehicular illumination device, vehicle system and vehicle
KR102690791B1 (ko) 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체
CN107972569B (zh) 车灯组控制方法、装置、系统及车辆
US10402666B2 (en) Vehicle monitoring of infrastructure lighting
US11490023B2 (en) Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle
JP7264018B2 (ja) システム、情報処理装置、及び、プログラム
CN116249632A (zh) 用于使用门控成像来控制照明的设备、系统和方法
US9969332B1 (en) Reduction of LED headlight flickering in electronic mirror applications
CN110843660A (zh) 基于天气条件的车辆前照光的控制
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
JP2012054689A (ja) 可視光データ処理装置、可視光通信システム、可視光データ処理方法及びそのプログラム
CN111216636A (zh) 行驶控制装置、控制方法以及存储程序的存储介质
GB2586802A (en) System and method for identifying light emitter flicker
JP2020136731A (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
US20220329723A1 (en) Method and system for mitigating image flicker from strobed lighting systems
JP5776001B2 (ja) 情報表示装置及び情報表示方法
GB2586804A (en) Method and system for mitigating image flicker from strobed lighting systems
WO2024002694A1 (en) Method for monitoring a lighting system of a vehicle, in particular of a utility vehicle, electronic control unit, vehicle, in particular utility vehicle, and computer program
JP2023055204A (ja) 車両用記録装置
CN116416599A (zh) 前车刹车的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200915