CN113126252B

CN113126252B - 微光成像系统

Info

Publication number: CN113126252B
Application number: CN202011560278.6A
Authority: CN
Inventors: 平山真吾
Original assignee: Axis AB
Current assignee: Axis AB
Priority date: 2019-12-30
Filing date: 2020-12-25
Publication date: 2022-05-03
Anticipated expiration: 2040-12-25
Also published as: TWI767422B; JP7057818B2; US11153546B2; TW202133601A; EP3846440A1; JP2021114762A; EP3846440B1; US20210203901A1; CN113126252A; KR20210086454A; KR102333707B1

Abstract

公开了微光成像系统。用于生成包括至少一条道路和至少一个交通信号灯的对象组的微光图像的交通监控系统包括照相机和处理单元，照相机被配置成生成包括像素组的第一图像，像素组的每个像素包括与像素颜色、饱和度值和亮度值相对应的颜色编码值，处理单元被配置成对于像素组的每个像素：在像素颜色与第一颜色组中的一种相对应的情况下，修改颜色编码值以降低像素的饱和度值，以及在像素颜色与红色相对应且像素的亮度值低于第一阈值的情况下，修改颜色编码值以降低像素的饱和度值，在像素颜色与红色相对应且像素的亮度值等于或高于第一阈值的情况下，保持像素的饱和度值，并且根据第一图像的所修改的颜色编码值生成对象组的微光图像。

Description

微光成像系统

背景技术

用于对光线充足的场景(例如，白天场景)和微光场景(例如，夜间场景)进行成像的公知的照相机配置是具有可移除的IR(红外)截止滤光器的照相机配置。IR截止滤光器是一种移除波长大于700纳米的光(例如，近红外光或NIR光)的滤光器。IR截止滤光器可用于对白天场景进行成像，在白天场景中，NIR光可能影响成像传感器并使可见光的精确捕获更困难。对于对微光场景进行成像，精确的颜色表示可能是困难的或不可能的。因此，取而代之的是优先捕获尽可能多的光，并且移除IR截止滤光器。这确保了到达光传感器的光量最大化。

在微光照相机的一个重要用例中，对夜间交通场景进行成像以捕获并记录场景中的车辆移动。由于在场景中移动的车辆通常响应于交通信号灯，因此从交通信号灯发射的光也应当由微光照相机准确地捕获。然而，考虑到微光场景中精确地对颜色进行成像的困难，因此需要一种方法来改进微光照相机图像的处理，以精确地确定交通信号灯的颜色。

美国专利申请公开2015/294167A1描述了一种用于通过将彩色图像转换为单色标度图像；将第一单色标度图像转换为第一二值图像；基于至少一个预定几何参数识别第一二值图像中的候选斑点的第一集合；以及使用绿色交通灯分类符识别绿色交通灯来检测交通信号灯的方法。

PCT专利申请2009/026966A1描述了一种确定图像与对应的背景图像的亮度差以及确定图像与对应的背景图像的色度差并相应地改变背景图像的亮度的方法。

美国专利申请公开2018/302575A1描述了一种车载夜视系统，该车载夜视系统在第一组像素上具有红通光谱滤波器，在第二组像素上具有蓝通光谱滤波器，在第三组像素上具有绿通光谱滤波器，并且第四组像素中的每个像素至少感测近红外辐射。近红外照明源可操作以发射不可见的近红外照明，以增强照相机的夜间观察。

发明内容

本公开的第一方面是一种生成微光图像的方法，该方法包括以下步骤：捕获包括像素组的第一图像，像素组中的每个像素具有由包括饱和度值和亮度值的颜色编码值所限定的像素颜色，对于像素组中的每个像素：在像素颜色与第一颜色组中的一种相对应的情况下，修改颜色编码值以降低像素的饱和度值，以及在像素颜色与第二颜色组中的一种相对应的情况下，并且在像素的亮度值低于第一阈值的情况下，修改颜色编码值以降低像素的饱和度值，其中，第二颜色组由至少一种颜色组成，并且其中，第二颜色组中的颜色不被包括在第一颜色组中，在像素颜色与第二颜色组中的一种相对应的情况下，并且在像素的亮度值等于或高于第一阈值的情况下，保持像素的饱和度值，根据第一图像的所修改的颜色编码值生成微光图像。

可选地，第一颜色组包括蓝色和绿色。第一颜色组可以进一步包括青色、品红色和黄色。第二颜色组可以包括红色。可替代地，第一颜色组进一步包括蓝色、青色、品红色和黄色，并且第二颜色组包括红色和绿色。

第一图像可以根据在图像传感器处接收的光来生成，并且其中光包括红外光。红外光可以具有700纳米与1000纳米之间的波长。

颜色编码值可以对应于YUV颜色编码系统，并且像素颜色可以根据颜色编码值的色度值组来确定。降低像素的饱和度值的步骤可以包括降低颜色编码值的色度值。此外，降低像素的饱和度值的步骤可以包括将颜色编码值的色度值设置为零。

本公开的第二方面是一种非暂态计算机可读介质，在该介质上存储有计算机代码指令，该计算机代码指令在由以下方面的成像单元的处理单元执行时，适于执行上述方法。

本公开的第三方面是一种用于生成微光图像的成像单元，成像单元包括照相机和处理单元，其中：照相机被配置成生成包括像素组的第一图像，像素组中的每个像素具有由包括饱和度值和亮度值的颜色编码值所限定的像素颜色，并且处理单元被配置成对于像素组中的每个像素：在像素颜色与第一颜色组中的一种相对应的情况下，修改颜色编码值以降低像素的饱和度值，以及在像素颜色与第二颜色组中的一种相对应的情况下，并且在像素的亮度值低于第一阈值的情况下，修改颜色编码值以降低像素的饱和度值，其中，第二颜色组由至少一种颜色组成，并且其中，第二颜色组中的颜色不被包括在第一颜色组中，在像素颜色与第二颜色组中的一种相对应的情况下，并且在像素的亮度值等于或高于第一阈值的情况下，保持像素的饱和度值，根据第一图像的所修改的颜色编码值生成微光图像。

照相机可以包括图像传感器，并且第一图像可以根据在图像传感器处接收的包括红外光的光来生成。红外光可以具有700纳米与1000纳米之间的波长。

颜色编码值可以与YUV颜色编码系统相对应，并且像素颜色可以根据颜色编码值的色度值组来确定。

处理单元可以被配置成通过降低颜色编码值的色度值来降低像素的饱和度值。此外，处理单元可以被配置成通过将颜色编码值的色度值设置为零来降低像素的饱和度值。

本公开的第四方面是一种交通监控系统，用于生成包括至少一条道路和至少一个交通信号灯的对象组的微光图像，交通监控系统包括照相机和处理单元，其中：照相机被配置成生成包括像素组的第一图像，像素组中的每个像素包括与像素颜色、饱和度值和亮度值相对应的颜色编码值，并且处理单元被配置成对于像素组中的每个像素：在像素颜色与第一颜色组中的一种相对应的情况下，修改颜色编码值以降低像素的饱和度值，以及在像素颜色与红色相对应的情况下，并且在像素的亮度值低于第一阈值的情况下，修改颜色编码值以降低像素的饱和度值，在像素颜色与红色相对应的情况下，并且像素的亮度值等于或高于第一阈值的情况下，保持像素的饱和度值，并且根据第一图像的所修改的颜色编码值生成对象组的微光图像。

附图说明

通过以下参考附图对示例的详细描述，本发明的其他特征和优点将变得显而易见，其中：

图1是成像设备和要成像的对象组的图，

图2是由成像设备的图像传感器捕获的对象组的图像的表示，

图3是示出了由成像设备捕获的图像的颜色处理步骤的颜色空间图，

图4是根据图3的颜色处理步骤处理的微光图像的表示，

图5是微光图像处理方法的流程图，

图6是示出了图像的颜色处理步骤的颜色空间图，

图7是根据图6的颜色处理步骤处理的微光图像的表示。

具体实施方式

本描述涉及用于提供场景的改进的微光成像的设备和技术。在整个描述中，相同的附图标记用于识别对应的元件。

图1是成像单元100和交通场景21的示例的图。在一个示例中，成像单元100是交通监控系统200的一部分。成像单元100包括照相机110、处理单元120，并且可以进一步包括非暂态计算机可读介质130。照相机110具有视场15和图像传感器，图像传感器被配置成根据在图像传感器处接收的光来生成第一图像20。图像传感器可以包括可见光传感器(例如，半导体电荷耦合器件(CCD)、互补金属-氧化物-半导体(CMOS)中的有源像素传感器或N型金属-氧化物-半导体(NMOS，Live MOS)传感器)中的一个或组合。照相机110的视场(FOV)15被限定为照相机110可以拾取光的角度。视场取决于图像传感器的尺寸和与图像传感器一起使用的透镜的焦距。照相机110的视场15可以覆盖交通场景21。对于本示例，光被理解为具有至少300纳米与1000纳米之间的波长。然而，其他示例可以包括具有受限光谱的人造光。

照相机110可以可选地进一步包括红外截止滤光器。红外截止滤光器可以被固定或自动或手动可移除。在一个示例中，红外截止滤光器可以响应于由成像单元100检测到的微光条件而自动移除，以允许照相机110进行改进的微光成像。红外截止滤光器可以被配置成过滤波长大于700纳米的光。在一个示例中，红外截止滤光器被配置成过滤波长在700纳米与1000纳米之间的光，即近红外(NIR)光。

处理单元120被配置成从图像传感器接收第一图像20，并且执行一个或多个图像处理步骤以从第一图像20生成微光图像10。一个或多个图像处理步骤可以包括调整第一图像20的像素中的一个或多个的像素值，以生成微光图像10。处理单元120被描述为单个单元，但是也可以被配置为单独的控制器或模块。单独的处理单元或模块可以是用于例如处理视频和图像的专用控制器，或者是可以控制多于一个部件的通用控制器或模块。处理单元120或专用模块或控制器可以至少部分地由中央处理单元(CPU)执行的软件来实现。在示例中，计算机程序产品包括指令，该指令当由计算机执行时，使计算机执行上述关于处理单元120的步骤。处理单元可以由运行在一个或多个通用或专用计算设备上的专用软件(或固件)来实现。在本上下文中，应当理解，这样的计算设备的每个“元件”或“装置”指代方法步骤的概念等同物；元件/装置与特定硬件或软件例程之间并非总是一一对应。一件硬件有时包括不同的装置/元件。例如，处理单元在执行一个指令时可以用作一个元件/装置，但是在执行另一指令时可以用作另一元件/装置。此外，在某些情况下，一个元件/装置可以由一个指令实现，但在某些其他情况下由多个指令实现。自然地，可以想到，一个或多个元件(装置)完全由模拟硬件部件实现。

处理单元可以包括一个或多个处理单元，例如，CPU(“中央处理单元”)、GPU(“图形处理单元”)、AI加速器芯片、DSP(“数字信号处理器”)、ASIC(“专用集成电路”)、定标器、DDIC(显示驱动器集成电路)、离散模拟和/或数字部件或诸如FPGA(“现场可编程门阵列”)的某些其他可编程逻辑设备。处理单元可以进一步包括系统存储器(例如，非暂态计算机可读介质130)以及将包括系统存储器的各种系统部件耦接到处理单元的系统总线。系统总线可以是包括使用各种总线体系结构中的任何一种的存储器总线或存储器控制器、外围总线和局部总线的几种类型的总线结构中的任何一种。系统存储器可以包括易失性和/或非易失性存储器形式的计算机存储介质，例如只读存储器(ROM)、随机存取存储器(RAM)和闪存。专用软件和相关联的控制参数值可以存储在系统存储器中，或者存储在计算设备中包括或计算设备可访问的其他可移除/不可移除的易失性/非易失性计算机存储介质(例如，磁介质、光学介质、闪存卡、数字磁带、固态RAM、固态ROM等)上。处理单元可以包括一个或多个通信接口，例如串行接口、并行接口、USB接口、无线接口、网络适配器等以及诸如A/D转换器的一个或多个数据采集设备。专用软件可以被提供至任何合适的计算机可读介质(包括记录介质和只读存储器)上的处理单元。

尽管该描述可能涉及“交通场景”或“交通监控系统”，但是应当理解，本文描述的方法和设备可以应用于微光成像的所有形式和应用，而不限于微光交通场景的成像。

在图1中所示的交通场景的示例中，交通场景21包括对象组，对象组包括交通信号灯22、路灯26和路面27。交通信号灯22被布置成向行驶在路面27上的车辆提供清晰的视觉信号。在该示例中，交通信号灯22被配置成向行驶在路面27上的车辆可视地指示至少以下信号：停止和前进。交通信号灯22可以包括红灯23，红灯23当点亮时可视地向车辆发出指令“停止”。交通信号灯22还可以包括绿灯25，绿灯25当点亮时可视地向车辆发出指令“前进”。最后，交通信号灯22可以包括橙灯24，橙灯24当点亮时可视地向车辆发出“小心”信号。在该示例中，对象组进一步包括路灯26，路灯26被配置成使用可视波长(例如，白光或黄光)向交通场景21提供一般照明。最后，交通场景21可以包括反射表面组，反射表面组反射交通场景21内的任何活动光源(例如，红灯23、橙灯24、绿灯25或路灯26)或来自交通场景21外部的光。反射表面可以包括路面27，例如在被雨淋湿时。

图2描绘了由图像传感器根据在图像传感器处接收的光而生成的第一图像20。如上所描述，光可以包括近红外光。第一图像20由包括多个像素的像素组组成。每个像素具有由颜色编码值限定的颜色值。可以根据YUV颜色编码系统对颜色编码值进行编码，在YUV颜色编码系统中，像素颜色根据色度值组来确定。YUV(或Y’UV)模型根据一个亮度(或明度)值(Y’)和分别被称为U值(蓝色投影)和V值(红色投影)的两个色度值来限定颜色空间。

像素的饱和度值(可替代地被描述为色度值)可以通过调整像素的U值和V值来控制。U值和V值越高(或负时越低)，像素越饱和(即色彩丰富)。U值和V值越接近零，像素就变得越灰。

在可替代的示例中，使用可替代的颜色编码系统(例如，YCbCr)，并且应用对应的像素颜色处理步骤以实现本文所描述的饱和度的对应的降低。

图3描绘了用于降低像素组的饱和度以产生图4中所示的单色处理图像32的技术。在图3中，像素的色度值U和V分别被示为X轴和Y轴。示例红色像素被标记为R，示例绿色像素被标记为G，示例蓝色像素被标记为B，示例黄色像素被标记为Y，示例品红色像素被标记为M，并且示例青色像素被标记为C。在图3的示例中，像素的U值、V值中的每一个被移动以更接近图形的原点，从而降低了图像中的颜色。在一个示例中，U值、V值中的每一个被移动至原点本身，留下完全单色的图像。图4示出了单色处理图像32，其中第一图像20的每个像素的U值、V值已经降低到零。在图4中，路灯26和红灯23均被点亮。然而，由于处理的图像32中缺少颜色，因此仅基于颜色不可能在这些光源之间进行区分。在从红灯23、橙灯24和绿灯25发射的光之间进行区分是特别重要的的情况下，并且在第一图像20的分辨率不够高或聚焦不够清晰以仅基于位置来允许区分光的情况下，这种情景可能是特别不利的。在这种情景下，可能难以或不可能确定交通信号灯22正在传输哪个交通信号。

图5是根据描述的一个示例的克服了上述配置的缺点的微光图像处理方法的流程图。在一个示例中，由成像单元100的处理单元120在第一图像20上执行以下步骤中的每一个。

在步骤310中，图像传感器根据在图像传感器处接收的光来生成第一图像20。第一图像20包括包含多个像素的像素组，每个像素包括对应于颜色编码方案的颜色编码值，例如参考图2、图3和图4描述的那些。在该示例中，颜色编码值包括描述像素的像素颜色的饱和度值和亮度值。

在步骤320中，处理第一图像20的像素组，使得对于具有与第一颜色组中的一种相对应的颜色的每个像素，饱和度值(例如，图6的示例中所示的U值、V值)被降低。在一个示例中，对于具有与第一颜色组中的一种相对应的颜色的每个像素，饱和度值被降低至零。在一个示例中，第一颜色组包括除红色之外的所有颜色。即，更新第一图像20中的不与红色相对应的所有像素以降低它们的饱和度值。在U值和V值具有-0.5至+0.5的可能范围的一个示例中，具有与小于-0.4的U值和大于+0.4的V值相对应的饱和度值的像素被限定为“红色”。然而，根据平均光水平、图像的平均饱和度和/或来自其他光源的干扰，可以限定“红色”的容差可能变化。在另一示例中，具有与小于-0.25的U值和大于+0.25的V值相对应的饱和度值的像素被限定为“红色”。在从图像(例如，仅交通信号灯的图像)只能期望有限的颜色组的情况下，由于绿色像素和黄色像素具有与红色像素完全不同的值，因此可以进一步扩展被认为是“红色”的限定。如下所描述，用于限定“红色”的U值和V值的范围也可以根据亮度值的阈值而变化。这些概念可以等效地应用于其他颜色。

在颜色编码方案是RGB颜色编码方案的另一示例中，第一颜色组由蓝色和绿色组成。在颜色编码方案是RGBCMY颜色编码方案的另一示例中，第一颜色组由蓝色、绿色、青色、品红色和黄色组成。得到的图像是包含灰度像素或红色像素的图像。然而，因为大量的红色光源(包括从例如路面27和甚至交通信号灯22的部分的反射表面反射的红光)也可能存在在交通场景21内，所以灰度/红色图像可能仍难以用于精确地检测红色交通信号灯。在另一示例中，第一颜色组包括除红色和绿色之外的所有颜色。在另一示例中，第一颜色组包括除红色、绿色和黄色(即由交通信号灯使用的颜色)之外的所有颜色。

在步骤330中，处理像素组，使得对于具有与第二颜色组中的一个相对应的颜色和低于第一阈值的亮度值的每个像素，饱和度值被降低。第一阈值可以根据成像光源的亮度，特别是交通信号灯的亮度来设置。此外，第一阈值可以根据来自其他明亮光的光“噪声”可以容忍的程度来设置。例如，在成像的交通信号灯非常亮的情况下，阈值可以被设置为高。在场景中存在大量的光噪声的情况下，阈值也应当被设置为高，以滤除光噪声。在一个示例中，第二颜色组包括红色。即，与红色相对应但亮度值低于阈值的所有像素也被更新，以降低它们的饱和度值。在另一示例中，第二颜色组包括红色和绿色。在另一示例中，第二颜色组包括红色、绿色和黄色。

在步骤340中，处理像素组，使得对于具有与第二颜色组中的一种相对应的颜色和高于第一阈值的亮度值的每个像素，饱和度值被保持。在一个示例中，第二颜色组包括红色。即与红色相对应并且亮度高于阈值的所有像素保持它们的红色。在另一示例中，第二颜色组包括红色和绿色。在另一示例中，第二颜色组包括红色、绿色和黄色。由于该步骤还可以包括不采取任何动作(即，保持值可以包括直接不对其进行更新)，因此该“步骤”也可被视为不存在。

如上所描述，在采用YUV颜色编码方案的情况下，用于限定“红色”的U值和V值的范围也可以根据第一阈值而变化。在一个示例中，第一阈值越大，用于限定“红色”的U和V值的范围就越大。这提供的优点是，只要像素足够亮，就允许落入“红色”的宽泛限定内的像素被保持，而暗的红光需要更接近理想的“红色”才能被保持。相同的概念可以等效地应用于其他颜色编码方案。

与以上类似，在采用YUV颜色编码方案的情况下，第一阈值可以取决于用于限定“红色”的U和V值的范围。在狭义地限定“红色”像素颜色的情况下，可以设置亮度值的相对低的第一阈值，但是在宽泛地限定“红色”像素颜色的情况下(例如，包括更多的橙红色)，可以设置亮度值的相对高的第一阈值。可以基于要捕获的场景的测试图像来手动或自动调整这些值。优选地，所有期望的交通信号灯应当保持其颜色，同时限制霓虹灯、反射表面等形式的颜色噪声量。

在步骤350中，根据上述步骤的输出生成微光图像10(如图7中所描绘)。在第一颜色组包括除红色之外的所有颜色并且第二颜色组由红色组成的示例中，微光图像10将包括大部分灰度图像，但是具有与第一图像20中的亮红色像素相对应的红色像素。如图7中所示，这将允许红灯23与路灯26之间的明显区别。红灯23(暗阴影表示红色)将被示为红色，而路灯26将保持单色。这也允许红灯23与未被主动点亮的红色车辆之间的区分。这可以允许观察者清楚地辨别由交通信号灯22发射的颜色。这可以允许更好地确定交通场景21内的交通事故的记录图像或视频中的交通违规或责任。尽管在以上示例中使用红色，但是可以采用任何颜色或颜色的组合，例如用于观察和区分蓝光、绿光、黄光等或颜色的任何组合。

Claims

1.一种生成微光图像(10)的方法，所述方法包括以下步骤：

捕获包括像素组的第一图像(20)，所述像素组中的每个像素具有由包括饱和度值和亮度值的颜色编码值所限定的像素颜色，

对于所述像素组中的每个像素：

在所述像素颜色与第一颜色组中的一种相对应的情况下，修改所述颜色编码值以降低所述像素的所述饱和度值，以及

在所述像素颜色与第二颜色组中的一种相对应的情况下，并且在所述像素的所述亮度值低于第一阈值的情况下，修改所述颜色编码值以降低所述像素的所述饱和度值，其中，被包括在所述第二颜色组中的所述颜色不被包括在所述第一颜色组中，并且其中，被包括在所述第一颜色组中的所述颜色不被包括在所述第二颜色组中，

在所述像素颜色与所述第二颜色组中的一种相对应的情况下，并且在所述像素的所述亮度值等于或高于所述第一阈值的情况下，保持所述像素的所述饱和度值，

根据所述第一图像(20)的所修改的颜色编码值生成所述微光图像(10)。

2.根据权利要求1所述的方法，其中，所述第一颜色组包括蓝色和绿色。

3.根据权利要求2所述的方法，其中，所述第一颜色组进一步包括青色、品红色和黄色。

4.根据权利要求1所述的方法，其中，所述第二颜色组包括红色。

5.根据权利要求1所述的方法，其中，所述第一颜色组进一步包括蓝色、青色、品红色和黄色，并且其中，所述第二颜色组包括红色和绿色。

6.根据权利要求1所述的方法，其中，所述第一图像(20)根据在图像传感器处接收的光来生成，并且其中，所述光包括红外光。

7.根据权利要求6所述的方法，其中，所述红外光具有700纳米与1000纳米之间的波长。

8.根据权利要求1所述的方法，其中，所述颜色编码值与YUV颜色编码系统相对应，并且其中，所述像素颜色根据所述颜色编码值的色度值组来确定。

9.根据权利要求8所述的方法，其中，降低所述像素的所述饱和度值的所述步骤包括：降低所述颜色编码值的所述色度值。

10.根据权利要求8所述的方法，其中，降低所述像素的所述饱和度值的所述步骤包括：将所述颜色编码值的所述色度值设置为零。

11.一种用于生成微光图像(10)的成像单元(100)，所述成像单元(100)包括照相机(110)和处理单元(120)，其中：

所述照相机(110)被配置成生成包括像素组的第一图像(20)，所述像素组中的每个像素具有由包括饱和度值和亮度值的颜色编码值所限定的像素颜色，并且

所述处理单元(120)被配置成对于所述像素组中的每个像素：

在所述像素颜色与所述第二颜色组中的一种相对应的情况下，并且在所述像素的所述亮度值等于或高于所述第一阈值的情况下，保持所述像素的所述饱和度值，并且

12.根据权利要求11所述的成像单元(100)，其中，所述照相机(110)包括图像传感器，并且其中，所述第一图像(20)根据在图像传感器处接收的包括红外光的光来生成。

13.根据权利要求12所述的成像单元(100)，其中，所述红外光具有700纳米与1000纳米之间的波长。

14.一种非暂态计算机可读介质(130)，在所述介质上存储有计算机代码指令，所述计算机代码指令在由根据权利要求11所述的成像单元(100)的所述处理单元(120)执行时，适于执行根据权利要求1所述的方法。

15.一种交通监控系统(200)，用于生成包括至少一条道路和至少一个交通信号灯的对象组的微光图像(10)，所述交通监控系统(200)包括根据权利要求11所述的成像单元(100)，其中，所述成像单元(100)被配置成根据所述第一图像(20)的所修改的颜色编码值来生成所述对象组的所述微光图像(10)。