CN108063898B - 图像生成设备 - Google Patents

Abstract

提供了一种图像生成设备。在该图像生成设备中，图像组合单元针对按顺序的第一过程和第二过程中的每一个来将第一图像和第二图像进行组合以生成合成图像，所述合成图像具有以第一位宽度表示相应像素的亮度水平的数字像素值；范围设置器针对第一过程和第二过程中的每一个来设置关于合成图像的至少一个目标的目标亮度水平分布范围，所述分布范围表示至少一个目标的亮度水平分布于其中的范围；动态范围调整器调整针对第一过程和第二过程中的一个生成的合成图像的动态范围，使得针对第一过程和第二过程中的相应一个生成的合成图像的动态范围与针对第一过程设置的目标亮度水平分布范围相匹配。

Description

图像生成设备

技术领域

本公开内容涉及用于将多个图像进行组合以生成具有较高动态范围的合成图像的图像生成设备；所述多个图像在相应的不同的快门时间即曝光时间期间捕获或者以相应的不同的快门速度捕获。

背景技术

高动态范围功能(HDR功能)将在第一快门时间期间捕获的第一图像与在比第一快门时间长的第二快门时间期间捕获的第二图像进行组合，以生成具有从低亮度水平到高亮度水平的较高动态范围的合成图像。

车载相机在其中包含了这样的HDR功能，并且使用HDR功能来提高对诸如道路上的白线和/或其他车辆等对象进行检测的准确度。当相应车辆正在行驶时，车载相机捕获图像，与此同时其光环境变化。车载相机周围的光环境的这种变化使由车载相机捕获的图像的色调发生改变。这种色调改变可能会降低对诸如白线等对象进行检测的准确度。

为了解决这个问题，日本专利申请公布No.2016-96417公开了一种安装在车辆中的相机系统。该相机系统获得关于车辆周围的光环境的信息；所述光环境在车辆行驶同时发生变化。例如，光环境信息包括关于白天光环境的信息和关于夜间光环境的信息。

该相机系统在第一快门时间期间捕获第一图像，并且在比第一快门时间长的第二快门时间期间捕获第二图像。然后，相机系统根据光环境选择自动白平衡校正任务和自定义白平衡校正任务中的一个，以将所选择的自动白平衡校正任务和自定义白平衡校正任务中的一个应用于第一图像和第二图像中的每一个图像。此后，相机系统将第一图像与第二图像进行组合，从而生成具有较高动态范围的合成图像。

发明内容

除了由相机捕获的图像的色调之外，相机周围的光环境的变化还会使要被捕获的对象的亮度分布改变。由图像传感器捕获的图像的每个像素的值，(即，每个像素的像素值)表示该图像的相应像素的由有限的位宽度(即，有限的位数)限制的亮度水平。因此，即使由相机捕获的图像受到自动白平衡校正任务和自定义白平衡校正任务中的仅一个任务，可能仍然难以有效地使用有限的位数来表示合成图像的每个像素的亮度水平。

这可能导致在合成图像中出现以下情况中的至少一种：

1.出现阻断式阴影(blocked-up shadow)或破碎式阴影(crushed shadow)；

2.出现爆发式高亮(blown-out highlight)或剪白(clipped whites)；以及

3.出现像素值被分配给对应于未被成像的目标的未使用的亮度水平。

像素值被分配给未使用的亮度水平的情况的出现可能导致合成图像的粗糙的灰度。

鉴于上述情况，本公开内容的一个方面旨在提供能够解决上述问题的图像生成设备。

具体地，本公开内容的替选方面旨在提供这样的图像生成设备，其中每个图像生成设备都能够有效地使用有限的位数来表示下述合成图像的每个像素的亮度水平：所述合成图像是基于在相应的彼此不同的第一快门时间和第二快门时间期间捕获的第一图像和第二图像。

根据本公开内容的示例性方面，提供了一种图像生成设备。该图像生成设备包括控制器，该控制器被配置成针对按顺序的第一过程和第二过程中的每一个来基于相机的控制参数使相机基于第一快门时间捕获第一图像和基于第二快门时间捕获第二图像。第一图像和第二图像各自包括要被成像的至少一个目标。第一快门时间比第二快门时间长，并且控制参数包括第一快门时间和第二快门时间。图像生成设备包括图像组合单元，该图像组合单元被配置成针对第一过程和第二过程中的每一个来将第一图像和第二图像进行组合以生成合成图像，合成图像具有其每个像素的数字像素值。每个像素的数字像素值以第一位宽度表示相应像素的亮度水平。图像生成设备包括范围设置器，该范围设置器被配置成针对第一过程和第二过程中的每一个来设置关于合成图像的至少一个目标的目标亮度水平分布范围。目标亮度水平分布范围表示至少一个目标的亮度水平分布于其中的范围。图像生成设备包括压缩特性生成器，该压缩特性生成器被配置成针对第一过程和第二过程中的每一个来生成用于以第二位宽度对合成图像的每个像素的数字像素值进行压缩的压缩特性。第二位宽度小于第一位宽度。图像生成设备包括压缩单元，该压缩单元被配置成针对第一过程和第二过程中的每一个来根据压缩特性对合成图像进行压缩以生成压缩的合成图像。图像生成设备包括动态范围调整器，该动态范围调整器被配置成调整针对第一过程和第二过程中的一个生成的合成图像的动态范围，使得针对第一过程和第二过程中的相应一个生成的合成图像的动态范围与由范围设置器针对第一过程设置的目标亮度水平分布范围相匹配。

根据本公开内容的示例性方面的动态范围调整器调整针对第一过程和第二过程中的一个生成的合成图像的动态范围，使得针对第一过程和第二过程中的相应一个生成的合成图像的动态范围与由范围设置器针对第一过程设置的目标亮度水平分布范围相匹配。

这使得合成图像的动态范围能够与由范围设置器设置的目标亮度水平分布范围相匹配；所述至少一个目标的亮度水平分布在目标亮度水平分布范围内。

因此，这防止了数字像素值被分配给在目标亮度水平分布范围之外的未使用的亮度水平，其中，每个数字像素值均受第二位宽度(即，有限的位数)限制。这使得能够有效地使用有限的位数来表示合成图像的每个像素的相应亮度水平。

鉴于结合附图的以下描述，本公开内容的各个方面的上述和/或其他特征和/或优点将被进一步理解。本公开内容的各个方面可以在适当时包括和/或不包括不同的特征和/或优点。此外，本公开内容的各个方面可以在适当时对其他实施方式的一个或多个特征进行组合。对具体实施方式的特征和/或优点的描述不应被解释为限制其他实施方式或权利要求。

附图说明

参照附图，根据以下实施方式的描述，本公开内容的其它方面将变得明显，在附图中：

图1是示意性地示出了根据本公开内容的第一实施方式的图像生成设备的结构的示例的框图；

图2是示意性地示出了由图1所示的图像生成设备执行的图像生成周期的示例的流程图；

图3是示意性地示出了根据第一实施方式的关于第一图像的亮度水平的第一像素值特性和关于第二图像的亮度水平的第二像素值特性的图；

图4是示意性地示出了根据第一实施方式的关于第一图像的亮度水平的第一像素值特性和关于第二图像的亮度水平的放大的第二像素值特性的图；

图5是示意性地示出了基于第一图像和第二图像的组合生成的HDR合成图像和由图1所示的图像生成器生成的压缩特性的示例的图；

图6是示意性地示出了根据第一实施方式的基于第一图像和第二图像的HDR合成图像的亮度水平的直方图的示例的图；

图7是示意性地示出了根据第一实施方式的HDR合成图像的亮度水平的其中存在两个分开的分布的直方图的示例的图；

图8是示意性地示出了根据第一实施方式的HDR合成图像的目标亮度水平分布范围与HDR合成图像的当前动态范围之间的关系的图；

图9是示意性地示出了第一场景(场景1)的第一图像和第二图像的亮度水平的直方图、基于该直方图确定的目标亮度水平分布范围和基于该目标亮度水平分布确定的压缩特性的图；

图10是示意性地示出了第二场景(场景2)的第一图像和第二图像的亮度水平的直方图、基于该直方图确定的目标亮度水平分布范围和基于该目标亮度水平分布确定的压缩特性的图；

图11是示意性地示出了根据本公开内容的第二实施方式的图像生成设备的结构的示例的框图；

图12是示意性地示出了由图11所示的图像生成设备执行的图像生成周期的示例的流程图；

图13是示意性地示出了图1所示的相机装置的最大动态范围与目标亮度水平分布范围之间的关系的图；以及

图14是示意性地示出了根据本公开内容的第三实施方式的图像生成设备的结构的示例的框图。

具体实施方式

下面参照附图来描述本公开内容的实施方式。在实施方式中，为避免冗余描述，省略或简化了对实施方式之间用相同附图标记表示的相同部件的描述。

第一实施方式

下面参照图1至图10来描述根据本公开内容的第一实施方式的图像生成设备10。

参照图1，安装在车辆V中的图像生成设备10包括相机装置20和处理器30。

相机装置20包括成像单元21和图像生成器22。相机装置20例如安装在车辆V的前挡风玻璃的预定位置处。该预定位置被确定成能够捕获车辆V前方的包括车辆V将要行驶的路面的预定区域。特别地，该预定位置位于车辆V的后视镜的后侧，使得后视镜使车辆V的驾驶员看不到相机装置20。

成像单元21包括光学系统211、图像传感器212、放大器213和模数(A/D)转换器214。光学系统211包括至少一个透镜以将光引导至图像传感器212。

图像传感器212包括各自包括电荷耦合器件(CCD)或互补型金属氧化物半导体(CMOS)开关的光敏元件；所述光敏元件被布置成二维阵列以构成将引导的光形成为图像的成像表面。二维排列的光敏元件构成接收从光学系统211输出的光的成像区域。

光敏元件中的每一个对光的量或水平均是敏感的；光的水平等于或大于预定噪声水平并且等于或小于预定饱和水平。

具体地，用作像素的二维排列的光敏元件中的每一个被配置成在快门时间ST或曝光时间期间接收从光学系统211引导的光的分量。二维排列的光敏元件中的每一个还被配置成将所接收的光分量的强度或亮度水平转换成与所接收的光分量的亮度水平成比例的模拟像素值或模拟像素信号。

二维排列的光敏元件接收光的快门时间ST——换言之，二维排列的光敏元件暴露于光的快门时间ST——是能够由例如随后描述的处理器30控制的控制参数。也就是说，处理器30能够控制图像传感器212的快门时间ST。

快门时间ST也可以被表示成图像传感器212的快门速度。也就是说，快门速度越高，快门时间ST越短。

特别地，图像传感器212周期性地在相应的不同的第一快门时间ST1和第二快门时间ST2期间捕获第一图像和第二图像；这些快门时间ST1和ST2是由处理器30设置的控制参数。应当注意，第一快门时间ST1被设置得比第二快门时间ST2长。也就是说，第一图像可以被称为长快门时间图像，并且第二图像可以被称为短快门时间图像。

放大器213接收第一图像和第二图像中的每一个。然后，放大器213以能够由随后描述的处理器30可变地控制的模拟增益对第一图像和第二图像中的每一个的模拟像素值进行放大。也就是说，处理器30能够控制放大器213的模拟增益。

A/D转换器214基于预定位宽度(即，位数)将第一图像和第二图像中每一个的经放大器213放大的模拟像素信号(模拟像素值)转换成数字像素信号(数字像素值)。根据第一实施方式的位宽度被设置为12位。

图像生成器22例如被设计为包括图像信号处理器的硬件电路。图像生成器22例如包括组合单元221和压缩单元222。

组合单元221从成像单元21获得数字化的第一图像和第二图像，并且将数字化的第一图像和第二图像彼此组合以生成具有较高动态范围的合成图像——该合成图像将被称为HDR合成图像。图像的动态范围表示图像的对比度的范围。在快门时间期间由图像传感器212捕获的图像的动态范围根据图像传感器212的光敏元件的灵敏度来确定。此外，由图像传感器212捕获的图像的动态范围根据快门时间的长度来确定。

例如，组合单元221生成具有每个像素的数字像素值的HDR合成图像，每个像素的数字像素值表示相应像素的亮度水平；HDR合成图像的每个像素的数字像素值的位宽度被设置为16位，即，大于第一图像和第二图像中每一个的12位的位宽度。

压缩单元222对具有每个像素的由16位的第一位宽度表示的数字像素值的HDR合成图像进行压缩以生成具有每个像素的由12位的第二位宽度表示的数字像素值的压缩的HDR合成图像。第二位宽度可以被设置为其他位宽度，只要第二位宽度比第一位宽度短即可。压缩单元222将具有每个像素的由12位的第二位宽度表示的数字像素值的压缩的HDR合成图像输出到处理器30。

也就是说，成像单元21被配置成周期性地生成压缩的HDR合成图像，并且将压缩的HDR图像周期性地输出到处理器30。

处理器30主要被配置为包括CPU 30a、存储装置30b、输入端口30c1和30c2以及输出端口30d的至少一个已知的微型计算机。存储装置30b例如包括诸如RAM、ROM和闪速存储器的半导体存储器中的至少一个。这些半导体存储器例如是非暂态存储介质。

输入端口30c1和30c2中的每一个能够通过有线或无线方式与相机装置20通信。输出端口30d能够通过有线或无线方式与相机装置20通信。

例如，处理器30的CPU 30a可以运行存储在存储装置30b中的一个或更多个程序，即，程序指令集，从而将处理器30的各种功能模块作为软件操作来实现。换言之，CPU 30a可以运行存储在存储装置30b中的程序，从而根据相应的一个或更多个程序来执行一个或更多个例程。处理器30的上述例程和/或各种功能可以被实现为硬件电子电路。例如，处理器30的各种功能可以通过包括数字电路(包括许多逻辑门)、模拟电路、数字/模拟混合电路或硬件/软件混合电路的电子电路的组合来实现。

多个微型计算机可以构成处理器30。

通过CPU 30a实现的功能模块包括范围设置器31、参数确定器32、成像控制器33、图像处理器34和图像识别器35。

范围设置器31经由输入端口30c2接收在当前周期从图像生成器22输出的HDR合成图像。然后，范围设置器31根据要从HDR合成图像中识别的至少一个目标来设置HDR合成图像的亮度水平的目标亮度水平分布范围；要识别的所述至少一个目标将被称为至少一个识别目标。

参数确定器32根据压缩的HDR合成图像的亮度水平的目标亮度水平分布范围来确定第一快门时间ST1的值、第二快门时间ST2的值和模拟增益的值以作为控制参数的值。

用作例如动态范围调整器的成像控制器33根据所确定的控制参数的值(即，第一快门时间ST1、第二快门时间ST2和模拟增益)来控制成像单元21，从而在下一周期捕获下一第一图像和下一第二图像。

图像处理器34丢弃从成像单元21输出的压缩的HDR合成图像的每个像素的12位数字像素值中的预定最低若干位。例如，图像处理器34丢弃压缩的HDR合成图像的每个像素的12位数字像素值中的最低四位，从而将具有每个像素的8位数字像素值的输出图像输出到图像识别器35。

图像识别器35被配置成能够处理具有8位或不到8位的数据，并且从输出图像识别至少一个识别目标。然后，图像识别器35被配置成将识别结果输出到ECU 100。

接下来参照图2来描述由图像生成设备10执行的图像生成周期，即，图像生成过程。也就是说，图像生成设备10以预定间隔周期性地执行图像生成周期。

在当前图像生成周期的步骤S10中，成像控制器33使用控制参数来控制成像单元21，以使成像单元21在相应的不同的第一快门时间ST1和第二快门时间ST2期间捕获第一图像和第二图像。在当前图像生成周期中使用的控制参数已经由参数确定器32在前一图像生成周期的步骤S40中确定。根据第一实施方式的第二快门时间ST2被设置为1.25[ms]，并且根据第一实施方式的第一快门时间ST1被设置为20[ms]。

在步骤S10中，成像单元21以模拟增益对第一图像和第二图像中的每一个进行放大，并且基于12位的预定位宽度将放大的第一图像和第二图像中每一个的模拟像素信号(模拟像素值)转换成数字像素信号(数字像素值)。

接下来，在步骤S20中，图像生成器22获得从成像单元21发送的数字化的第一图像和第二图像，并且将数字化的第一图像和第二图像彼此组合以生成HDR合成图像。

图3示出了表示关于第一图像的亮度水平的第一像素值特性PV1和关于第二图像的亮度水平的第二像素值特性PV2的曲线图。该曲线图的纵轴表示第一图像和第二图像中每一个的数字像素值，以及横轴表示第一图像和第二图像中相应一个的相应亮度水平。由于快门时间ST1被设置为快门时间ST2的16倍，因此，针对第一图像在图像传感器212的成像区域上接收的光量是针对第二图像在图像传感器212的成像区域上接收的光量的16倍。因此，尽管目标的亮度水平未改变，但是目标的第一图像的每个数字像素值都是同一目标的第二图像的相应数字像素值的16倍。

因此，在步骤S20中，图像生成器22获得第一快门时间ST1与第二快门时间ST2的比率，并以获得的比率作为数字增益对第二图像的数字像素值进行放大，以使第二像素值特性PV2与第一像素值特性PV1相匹配。放大的第二像素值特性PV2由图4中的附图标记PV2A示出。也就是说，这使得第二图像的每个像素的数字像素值和第一图像的相应像素的数字像素值表示相同的亮度水平。

具体地，第一快门时间ST1与第二快门时间ST2的比率为16，使得图像生成器22将第二图像的数字像素值乘以16。这导致第二图像的每个像素的亮度水平被表示为第一位宽度，即，16位宽度。也就是说，第二图像的每个像素的数字像素值在从00000到65535的范围内。

例如，图像生成器22被配置成：

1.选择第一图像的相应像素的数字像素值和第二图像的相应像素的数字像素值之一；或者

2.将第一图像的每个像素的数字像素值和第二图像的相应像素的数字像素值两者进行合并。

特别地，例如，图像生成器22被配置成针对合成图像的低亮度水平区域来选择第一图像(即，长快门时间图像)的数字像素值，并且针对合成图像的高亮度水平区域来选择第二图像(即，短快门时间图像)的数字像素值。

图5示出了由附图标记CI表示的基于第一图像和第二图像的组合生成的HDR合成图像的示例；HDR合成图像CI的每个像素的数字像素值由第一位宽度(即，16位宽度)来表示。

接下来，在步骤S30中，范围设置器31设置关于在步骤S20中生成的HDR合成图像的至少一个识别目标的目标亮度水平分布范围。

图6示出了基于第一图像(长快门时间图像)和第二图像(短快门时间图像)的HDR合成图像的亮度水平的直方图H的示例，该图的横轴表示HDR合成图像的亮度水平，纵轴表示与HDR合成图像的每个亮度水平对应的像素数。换言之，图的纵轴表示与第一图像和第二图像的每个亮度水平相对应的像素的出现频率。

如图6所示，第一图像(长快门时间图像)的亮度水平分布在直方图H中相对较低的区域中，而第二图像(短快门时间图像)的亮度水平分布在直方图H中相对较高的区域中。在步骤S30中，目标亮度水平分布范围被限定为直方图H中从可变下限水平LL到可变上限水平UL的亮度水平分布范围。

具体地，在步骤S30中，范围设置器31设置上限水平UL的值，使得HDR合成图像中的亮度水平高于上限水平UL的像素的数目小于预定高对比度阈值。此外，在步骤S30中，范围设置器31设置下限水平LL的值，使得HDR合成图像中的亮度水平低于下限水平LL的像素的数目小于预定低对比度阈值。

高对比度阈值被预先确定为防止估计的较高亮度水平对象出现爆发式高亮或剪白的值，并且低对比度阈值被预先确定为防止估计的较低亮度水平对象出现阻断式阴影或破碎式阴影的值。

在步骤S30中，如果存在HDR合成图像的一些亮度水平的两个分开的直方图并且两个分开的直方图中的一个被定位成高于预定上限阈值，则范围设置器31从HDR合成图像的亮度水平中去除被定位成高于预定上限阈值的那个分开的直方图，从而关于剩余的分开的直方图(即，亮度水平的剩余分布)来设置目标亮度水平分布范围。该上限阈值被预先确定为如下亮度水平：该亮度水平位于要由相机装置20捕获的识别目标(诸如行人和其他车辆)通常能够具有的预定亮度水平范围之外。换言之，具有比上限阈值更高的高亮度水平的对象可以是诸如太阳或荧光灯的光源，使得它们可以从要由相机装置20捕获的识别目标中被去除。

例如，如果存在HDR合成图像的亮度水平的两个分开的分布H1和H2并且分开的分布H2被定位成高于预定上限阈值，则范围设置器31去除分开的分布H2，从而关于剩余的分开的分布H1来设置目标亮度水平分布范围(参见图7)。

也就是说，HDR合成图像的目标亮度水平分布范围表示HDR合成图像的目标动态范围。

接下来，在步骤S40中，参数确定器32根据目标亮度水平分布范围来确定包括第一快门时间ST1、第二快门时间ST2和模拟增益的控制参数中的至少一个的值。

图8示意性地示出了针对HDR合成图像的目标亮度水平分布范围(即，目标动态范围)与HDR合成图像的当前动态范围之间的关系。具体地，图8示出了HDR合成图像的当前动态范围不足以满足目标动态范围。

具体地，如图8中的圆圈部分A所示，HDR合成图像的在其最低亮度水平部分处的当前动态范围不足以满足其最低亮度水平部分处的目标动态范围。这可能导致包括在HDR合成图像中的至少一个识别目标的相应部分出现阻断式阴影或破碎式阴影。此外，如图8中的圆圈部分B所示，HDR合成图像的在其最高亮度水平部分处的当前动态范围不足以满足其最高亮度水平部分处的目标动态范围。这可能导致包括在HDR合成图像中的至少一个识别目标的相应部分饱和，使得包括在HDR合成图像中的至少一个识别目标的相应部分可能出现爆发式高亮或剪白。另一方面，如果HDR合成图像的当前动态范围比目标亮度水平分布范围宽，则HDR合成图像中会包括未使用的不对应于识别目标的亮度水平。

为了解决这种情况，参数确定器32在步骤S40中计算包括第一快门时间ST1、第二快门时间ST2和模拟增益的控制参数中的至少一个的值；至少一个控制参数的所述值需要使HDR合成图像的当前动态范围与目标动态范围(即，在步骤S30中设置的目标亮度水平分布范围)相匹配。

具体地，如果HDR合成图像的在其最低亮度水平部分处的当前动态范围不足以满足其最低亮度水平部分处的目标动态范围，则参数确定器32将第一快门时间ST1的值确定得更长。这使得低于当前动态范围的最低亮度水平的亮度水平能够被设置为00001，从而使当前动态范围向较暗方向(亮度水平较低方向)延伸。

此外，如果HDR合成图像的在其最高亮度水平部分处的当前动态范围不足以满足其最高亮度水平部分处的目标动态范围，则参数确定器32将第二快门时间ST2的值确定得更短。这使得高于当前动态范围的最高亮度水平的亮度水平能够被设置为基于第一位宽度(即，16位宽度)的最大值；该最大值为65535。

如果尽管第一快门时间ST1已经达到其上限但HDR合成图像的当前动态范围的最低亮度水平仍然未覆盖目标动态范围的最低亮度水平，则参数确定器32确定(即，调整)模拟增益的值以使当前动态范围向较暗方向(亮度水平较低方向)延伸。

应当注意，所确定的至少一个控制参数的值由成像控制器33在下一上述当前图像生成周期的步骤S10中使用。也就是说，如果在步骤S10中未确定剩余控制参数的新值，则成像控制器33在当前图像生成周期的步骤S10中已经使用的剩余控制参数的值还被成像控制器33在下一当前图像生成周期的步骤S10中使用。

接下来，在步骤S50中，图像生成器22生成用于对在步骤S20中生成的HDR合成图像进行压缩的压缩特性CC。

HDR合成图像是基于具有相应的不同的快门时间ST1和ST2的第一图像和第二图像的组合而生成的，HDR合成图像具有每个像素的由第一位宽度(即，16位宽度)表示的数字像素值。也就是说，HDR合成图像的每个像素的数字像素值的第一位宽度比图像识别器35能够识别的8位宽度长。

因此，图像生成器22被配置成对HDR合成图像进行压缩，HDR合成图像的每个像素的位宽度从16位变为8位。

首先，图像生成器22生成以12位宽度的数字像素值表示HDR合成图像的在当前动态范围或目标动态范围内的亮度水平的压缩特性CC。

在图5中以曲线形式示出由图像生成器22生成的压缩特性的示例。

具体地，图5所示的压缩特性CC具有：

1.预定第一压缩率C1，该预定第一压缩率C1针对于HDR合成图像的像素的在预定低亮度水平区域LR1内的亮度水平，所述低亮度水平区域LR1被限定为低于预定第一亮度水平L1；

2.预定第二压缩率C2，该预定第二压缩率C2针对于HDR合成图像的像素的在预定中间亮度水平区域LR2内的亮度水平，所述中间亮度水平区域LR2被限定为等于或高于第一亮度水平L1并低于预定第二亮度水平L2，第二压缩率C2高于第一压缩率C1；以及

3.预定第三压缩率C3，该预定第三压缩率C3针对于HDR合成图像的像素的在预定高亮度水平区域LR3内的亮度水平，所述高亮度水平区域LR3被限定为等于或高于第二亮度水平L2并低于与动态范围的最高亮度水平相对应的预定第三亮度水平L3，第三压缩率C3高于第二压缩率C2。

换言之，压缩特性的压缩率在第一亮度水平L1处从第一压缩率C1变为第二压缩率C2，并且在第二亮度水平L2处从第二压缩率C2变为第三压缩率C3。

如果HDR合成图像中的至少一个识别目标是夜间的行人，则由于夜间行人的身体躯干因前灯灯光不太可能落在其上而具有低亮度水平，因此，图像生成器22将压缩特性CC的第一压缩率C1设置为1，即，将在低亮度水平区域LR1内的压缩特性CC设置为不进行压缩。此外，图像生成器22将压缩特性CC的在中间亮度水平区域LR2内的第二压缩率C2设置为高于第一压缩率1。

此外，由于夜间行人的腿部因前灯灯光很可能落在其上而具有高亮度水平，因此，图像生成器22将在高亮度水平区域LR3内的第三压缩率C3设置得高于第二压缩率C2。

换言之，图像生成器22生成压缩特性CC使得：

(1)对于HDR合成图像的在低亮度水平区域LR1内的数字像素值不进行压缩，从而使得HDR合成图像在低亮度水平区域LR1内具有第一图像本身的数字像素值；

(2)对于HDR合成图像的在中间亮度水平区域LR2和高亮度水平区域LR3的每一个内的数字像素值进行高压缩；以及

(3)目标亮度水平分布范围越宽，针对HDR合成图像的在高亮度水平区域LR3内的数字像素值的压缩率越高。

随后，在步骤S60中，图像生成器22基于在步骤S50中生成的压缩特性CC对具有每个像素的由16位的第一位宽度表示的数字像素值的HDR合成图像进行压缩，从而生成具有每个像素的由12位的第二位宽度表示的数字像素值的压缩的HDR合成图像。然后，在步骤S60中，图像生成器22将压缩的HDR合成图像发送到图像处理器34。

图像处理器34丢弃从图像生成器22发送的压缩的HDR合成图像的每个像素的12位数字像素值中的最低四位，从而向图像识别器35输出具有每个像素的8位数字像素值的输出图像。此后，图像生成设备10终止当前图像生成周期，然后返回到步骤S10，从而执行下一图像生成周期。

接下来，描述表明图像生成设备10如何操作以生成HDR合成图像的第一示例和表明图像生成设备10如何操作以生成HDR合成图像的第二示例。

图9示意性地示出了：

1.第一图像和第二图像的亮度水平的直方图H10，其中每个图像是通过在第(m-1)个图像生成周期中由相机装置20捕获第一场景而生成的，其中m是大于2的整数；

2.在第(m-1)个图像生成周期中设置为直方图H10的亮度水平分布范围的目标亮度水平分布范围；以及

3.根据第一示例的在第(m-1)个图像生成周期中由图像生成器22生成的压缩特性CC1。

图10也示意性地示出了：

1.第一图像和第二图像的亮度水平的直方图H11，其中每个图像是通过在第(n-1)个图像生成周期中由相机装置20捕获第二场景而生成的，其中n是大于2的整数；

2.在第(n-1)个图像生成周期中设置为直方图H11的亮度水平分布范围的目标亮度水平分布范围；以及

3.根据第二示例的在第(n-1)个图像生成周期中由图像生成器22生成的压缩特性CC2。

例如，第一场景是在白天由相机装置20捕获作为第一图像和第二图像的场景，第二场景与第一场景不同，是当车辆V正在隧道出口行驶时由相机装置20所捕获的场景。

图9示出了目标亮度水平分布范围是根据直方图H10设置的，并且至少一个控制参数的值被确定成使得第(m-1)个图像生成周期中的HDR合成图像的动态范围与目标亮度水平分布范围相匹配。

此后，在接下来的第m个图像生成周期中根据所确定的至少一个控制参数的值来捕获第一图像和第二图像，使得基于第m个图像生成周期中的第一图像和第二图像来生成HDR合成图像。在第m个图像生成周期中生成的HDR合成图像的动态范围基本上与在第(m-1)个图像生成周期中设置的目标亮度水平分布范围相匹配。

将12位宽度的数字像素值分配给HDR合成图像的在HDR合成图像的动态范围内的相应亮度水平，即，分配给HDR合成图像的在HDR合成图像中的至少一个识别目标的目标亮度水平分布范围内的相应亮度水平，从而生成压缩的HDR合成图像。

场景1的HDR合成图像的压缩特性CC1具有：

1.预定第一压缩率C11，该预定第一压缩率C11针对于HDR合成图像的像素的在预定低亮度水平区域LR11内的亮度水平，所述预定低亮度水平区域LR11被限定为低于预定第一亮度水平L11；

2.预定第二压缩率C12，该预定第二压缩率C12针对于HDR合成图像的像素的在预定中间亮度水平区域LR12内的亮度水平，所述预定中间亮度水平区域LR12被限定为等于或高于第一亮度水平L11并低于预定第二亮度水平L12，第二压缩率C12高于第一压缩率C11；以及

3.预定第三压缩率C13，该预定第三压缩率C13针对于HDR合成图像的像素的在预定高亮度水平区域LR13内的亮度水平，所述预定高亮度水平区域LR13被限定为等于或高于第二亮度水平L12并低于与动态范围的最高亮度水平相对应的预定第三亮度水平L13，第三压缩率C13高于第二压缩率C12。

类似地，场景2的HDR合成图像的压缩特性CC2具有：

1.预定第一压缩率C21，该预定第一压缩率C21针对于HDR合成图像的像素的在预定低亮度水平区域LR21内的亮度水平，所述预定低亮度水平区域LR21被限定为低于预定第一亮度水平L21；

2.预定第二压缩率C22，该预定第二压缩率C22针对于HDR合成图像的像素的在预定中间亮度水平区域LR22内的亮度水平，所述预定中间亮度水平区域LR22被限定为等于或高于第一亮度水平L21并低于预定第二亮度水平L12，第二压缩率C22高于第一压缩率C21；以及

3.预定第三压缩率C23，该预定第三压缩率C23针对于HDR合成图像的像素在预定高亮度水平区域LR23内的亮度水平，所述预定高亮度水平区域LR23被限定为等于或高于第二亮度水平L22并低于与动态范围的最高亮度水平相对应的预定第三亮度水平L23，第三压缩率C23高于第二压缩率C22。

也就是说，第一场景的HDR合成图像的动态范围比第二场景的HDR合成图像的动态范围宽。

因此，针对HDR合成图像的像素的在低亮度水平区域LR11内的亮度水平的第一压缩率C11与针对HDR合成图像的像素的在低亮度水平区域LR21内的亮度水平的第二压缩率C21相同。相比之下，针对HDR合成图像的像素的在高亮度水平区域LR13内的亮度水平的第三压缩率C13高于针对HDR合成图像的像素的在高亮度水平区域LR23内的亮度水平的第三压缩率C23。

如上所述，图像生成设备10被配置成将HDR合成图像的在目标亮度水平分布范围内的所有亮度水平设置为相应数字像素值。因此，该配置减少了数字像素值向HDR合成图像的不对应于HDR合成图像中的识别目标的亮度水平的分配。该配置还确保数字像素值被分配给HDR合成图像中的至少一个识别目标的亮度水平。

本公开内容的上述第一实施方式实现了以下第一至第五有益效果。

根据第一实施方式的图像生成设备10被配置成确定控制成像单元21的控制参数中的至少一个的值以生成其动态范围与目标亮度水平分布范围相匹配的HDR合成图像，其中包括在HDR合成图像中的至少一个识别目标的亮度水平分布在目标亮度水平分布范围内。图像生成设备10还被配置成将受预定位宽度限制的有限数字像素值分配给所生成的HDR合成图像的动态范围。

该配置实现了第一有益效果：减少了数字像素值向HDR合成图像的不对应于HDR合成图像中的识别目标的亮度水平的分配。因此，这使得数字像素值能够被分配给HDR合成图像中的至少一个识别目标的亮度水平。

根据第一实施方式的图像生成设备10被配置成基于所确定的控制参数来捕获第一图像和第二图像，以使基于第一图像和第二图像生成的HDR合成图像的动态范围与目标亮度水平分布范围相匹配。该配置实现了第二有益效果：与通过对HDR合成图像进行处理来使HDR合成图像的动态范围与目标亮度水平分布范围相匹配而获得的输出图像相比，向图像识别器35生成了基于HDR合成图像的更清晰的输出图像。该配置还降低了图像生成设备10的处理负荷。

图像生成设备10被配置成设置目标亮度水平分布范围，使得亮度水平高于上限水平UL的像素的数目小于预定高对比度阈值。因此，该配置实现了第三有益效果：防止至少一个识别目标出现爆发式高亮或剪白。

图像生成设备10被配置成设置目标亮度水平分布范围，使得亮度水平低于下限水平LL的像素的数目小于预定低对比度阈值。该配置实现了第四有益效果：防止至少一个识别目标出现阻断式阴影或破碎式阴影。

图像生成设备10被配置成设置目标亮度水平分布范围，同时去除高于上限阈值的亮度水平分布。该配置实现了第五有益效果：去除目标亮度水平分布范围中的与至少一个识别目标明显不同的对象，从而将数字像素值分配给HDR合成图像中的至少一个识别目标的亮度水平。

第二实施方式

下面参照图11至图13来描述本公开内容的第二实施方式。

根据第二实施方式的图像生成设备10A与图像生成设备10的不同之处在于以下几点。因此，下面主要描述根据第二实施方式的图像生成设备10A的不同点，并且省略或简化对第一实施方式与第二实施方式之间的以相同或相似的附图标记表示的相似部件的描述，从而消除冗余描述。

根据第一实施方式的图像生成设备10被配置成确定控制成像单元21的控制参数中的至少一个的值以生成其动态范围与目标亮度水平分布范围相匹配的HDR合成图像，其中，包括在HDR合成图像中的至少一个识别目标的亮度水平分布在目标亮度水平分布范围内。

相比之下，根据第二实施方式的图像生成设备10A被配置成生成其动态范围具有最大宽度的HDR合成图像。具有其最大宽度的动态范围将被称为最大动态范围。然后，该图像生成设备被配置成对HDR合成图像进行处理以剪辑(即，提取)其动态范围被调整为与目标亮度水平分布范围相匹配的校正的HDR合成图像。HDR合成图像的最大动态范围根据相机装置20的设计规范来预先确定，相机装置20的设计规范包括图像传感器212的光敏元件的灵敏度以及相机装置20的快门时间ST的最大值和最小值。

具体地，如图11所示，在图像生成设备10A中，图像生成器22A不包括压缩单元222，因此，图像生成器22A生成并向处理器30中的图像处理器34A输出具有每个像素的由16位的第一位宽度表示的数字像素值的HDR合成图像。

图像生成设备10A的图像处理器34A用作根据第一实施方式的范围设置器31和压缩单元222二者，因此，从处理器30中去除了范围设置器31。

此外，图像生成设备10A被配置成周期性地执行参照图12的与图2所示的图像生成周期部分地不同的图像生成周期，即，图像生成过程。

在当前图像生成周期的步骤S100中，参数确定器32确定包括第一快门时间ST1、第二快门时间ST2和模拟增益的控制参数中的至少一个的值，使得基于控制参数生成的HDR合成图像的动态范围与最大动态范围相匹配。

接下来，在步骤S110中，成像控制器33使用在步骤S100中确定的控制参数来控制成像单元21，以使得成像单元21在相应的不同的第一快门时间ST1和第二快门时间ST2期间捕获第一图像和第二图像，这类似于步骤S10中的操作。在步骤S110中，成像单元21还以模拟增益对第一图像和第二图像中的每一个进行放大，并且基于12位的预定位宽度将放大的第一图像和第二图像中的每一个的模拟像素信号(模拟像素值)转换成数字像素信号(数字像素值)，这类似于步骤S10中的操作。

接下来，在步骤S120中，图像生成器22A获得从成像单元21发送的数字化的第一图像和第二图像，并且将数字化的第一图像和第二图像彼此组合以生成HDR合成图像，这类似于步骤S20中的操作。在步骤S120中生成的HDR合成图像的每个像素的数字像素值由第一位宽度(即，16位宽度)表示，并且在步骤S120中生成的HDR合成图像的动态范围被设置为最大动态范围。HDR合成图像被从图像生成器22发送到图像处理器34A。

接下来，在步骤S130中，图像处理器34A例如用作范围设置器，以设置关于在步骤S120中生成的HDR合成图像的至少一个识别目标的目标亮度水平分布范围，这类似于步骤S30中的操作。

如图6一样，图13示意性地示出了第一图像(长快门时间图像)和第二图像(短快门时间图像)的亮度水平的直方图HA。图13还示意性地示出了HDR合成图像的最大动态范围。

在步骤S130中的操作之后，图像处理器34A例如用作动态范围调整器，以从在步骤S120中生成的HDR合成图像剪辑(即，获得)其动态范围与目标亮度水平分布范围相匹配的校正的HDR图像(参见图13)。然后，图像处理器34将在步骤S120中生成的HDR合成图像更新为校正的HDR合成图像。

接下来，在步骤S150中，图像处理器34A例如用作压缩单元，以生成用于对在步骤S140中生成的校正的HDR合成图像进行压缩的压缩特性CC，这类似于步骤S50中的操作。

随后，在步骤S160中，图像处理器34A例如用作压缩单元，以基于在步骤S150中生成的压缩特性CC对具有每个像素的由16位的第一位宽度表示的数字像素值的校正的HDR合成图像进行压缩，从而在步骤S160中生成具有每个像素的由12位的第二位宽度表示的数字像素值的压缩的HDR合成图像。

在步骤S160中，图像处理器34A丢弃压缩的HDR合成图像的每个像素的12位数字像素值中的最低四位，从而向图像识别器35输出具有每个像素的8位数字像素值的输出图像。此后，图像生成设备10A终止当前图像生成周期，然后返回到步骤S100，从而执行下一图像生成周期。

本公开内容的上述第二实施方式除了实现上述第三至第五有益效果之外，还实现了以下第六有益效果。

具体地，图像生成设备10A被配置成生成其动态范围被设置为最大动态范围的HDR合成图像，并且从HDR合成图像剪辑其动态范围与目标亮度水平分布范围相匹配的校正的HDR合成图像。因此，该配置减少了数字像素值向HDR合成图像的不对应于HDR合成图像中的识别目标的亮度水平的分配。从而，这使得数字像素值能够被分配给HDR合成图像中的至少一个识别目标的亮度水平。

第三实施方式

下面来描述本公开内容的第三实施方式。

根据第三实施方式的图像生成设备10B与图像生成设备10A的不同之处在于以下几点。因此，下面主要描述根据第三实施方式的图像生成设备10B的不同点，并且省略或简化对第二实施方式与第三实施方式之间的以相同或相似的附图标记表示的相似部件的描述，从而消除冗余描述。

根据第二实施方式的图像生成设备10A被配置成使得图像处理器34A生成其动态范围被调整为与目标亮度水平分布范围相匹配的校正的HDR合成图像。

相比之下，参照图14，图像生成设备10B包括图像生成器22B，来代替图像生成器22A。

具体地，图像生成器22B，即组合单元221，获得从成像单元21发送的数字化的第一图像和第二图像，并且将数字化的第一图像和第二图像彼此组合以生成HDR合成图像(参见步骤S120)。

接下来，图像生成器22B包括图像处理电路221A，该图像处理电路221A用作例如范围设置器，以设置关于在步骤S120中生成的HDR合成图像的至少一个识别目标的目标亮度水平分布范围(参见步骤S130)。

生成器22B的图像处理电路221A还用作例如动态范围调整器，以从在步骤S120中生成的HDR合成图像剪辑其动态范围与目标亮度水平分布范围相匹配的校正的HDR图像，从而将在步骤S120中生成的HDR合成图像更新为校正的HDR合成图像(参见步骤S140)。

接下来，图像生成器22B，即压缩单元222，生成用于对在步骤S140中生成的校正的HDR合成图像进行压缩的压缩特性CC(参见步骤S150)，并且基于在步骤S150中生成的压缩特性CC来对具有每个像素的由16位的第一位宽度表示的数字像素值的校正的HDR合成图像进行压缩，从而生成具有每个像素的由12位的第二位宽度表示的数字像素值的压缩的HDR合成图像(参见步骤S160)。

然后，图像处理器34丢弃从成像单元21输出的压缩的HDR合成图像的每个像素的12位数字像素值中的预定最低若干位。例如，图像处理器34丢弃压缩的HDR合成图像的每个像素的12位数字像素值中的最低四位，从而将具有每个像素的8位数字像素值的输出图像输出到图像识别器35。

也就是说，图像生成器22B被编程为执行步骤S120至步骤S140中的操作，并且图像处理器34被编程为执行步骤S150和步骤S160中的操作。

本公开内容的上述第三实施方式除了实现上述第三至第五有益效果之外，还实现了上述第六有益效果。

本公开内容不限于第一至第三实施方式的描述，并且第一至第三实施方式中的每一个的描述在本公开内容的范围内可以被广泛地修改。

在第一至第三实施方式中的每一个中，快门时间ST被设置为第一快门时间ST1和第二快门时间ST2，但本公开内容不限于此。具体地，可以将快门时间ST设置为以降序排列的第一快门时间ST1至第三快门时间ST3，并且可以基于第一快门时间ST1至第三快门时间ST3来生成HDR合成图像。此外，可以将快门时间ST设置为四个或更多个快门时间，并且可以基于四个或更多个快门时间来生成HDR合成图像。

第一至第三实施方式中的每一个中的一个元件的功能可以被分布到多个元件，并且多个元件具有的功能可以被组合到一个元件中。第一至第三实施方式中的每一个的至少部分结构可以用与相应实施方式的该至少部分结构具有相同功能的已知结构来代替。第一至第三实施方式中的每一个的部分结构可以被省略。第一至第三实施方式中的每一个的至少部分结构可以添加至其他实施方式的结构或由其他实施方式的结构来替换。包括在由权利要求使用的语言指定的技术构思中的所有方面构成本发明的实施方式。

除了图像生成设备以外，本公开内容还可以通过各种实施方式来实现，所述各种实施方式包括各自包括图像生成设备的系统、用于服务作为图像生成设备之一的计算机的程序、存储程序的存储介质和图像生成方法。

尽管本文中已经描述了本公开内容的说明性实施方式，但是本公开内容不限于本文中所描述的实施方式，而是包括具有本领域普通技术人员基于本公开内容将领会的修改、省略、组合(例如，跨各种实施方式的各方面的组合)、改编和/或替选方案的任何和所有实施方式。权利要求中的限制将基于权利要求中使用的语言来广泛地解释，并且不限于在本说明书中描述的或在本申请的审查期间的示例，这些示例被解释为非排他性的。

Claims (11)

1.一种图像生成设备，包括：

控制器，所述控制器被配置成针对按顺序的第一过程和第二过程中的每一个来基于相机的控制参数使所述相机基于第一快门时间捕获第一图像和基于第二快门时间捕获第二图像，所述第一图像和所述第二图像各自包括要被成像的至少一个目标，所述第一快门时间比所述第二快门时间长，所述控制参数包括所述第一快门时间和所述第二快门时间；

图像组合单元，所述图像组合单元被配置成针对所述第一过程和所述第二过程中的每一个来将所述第一图像和所述第二图像进行组合以生成合成图像，所述合成图像具有其每个像素的数字像素值，每个像素的所述数字像素值以第一位宽度表示相应像素的亮度水平；

范围设置器，所述范围设置器被配置成针对所述第一过程和所述第二过程中的每一个来设置关于所述合成图像的所述至少一个目标的目标亮度水平分布范围，所述目标亮度水平分布范围表示所述至少一个目标的亮度水平分布于其中的范围；

压缩特性生成器，所述压缩特性生成器被配置成针对所述第一过程和所述第二过程中的每一个来生成用于以第二位宽度对所述合成图像的每个像素的所述数字像素值进行压缩的压缩特性，所述第二位宽度小于所述第一位宽度；

压缩单元，所述压缩单元被配置成针对所述第一过程和所述第二过程中的每一个来根据所述压缩特性对所述合成图像进行压缩以生成压缩的合成图像；以及

动态范围调整器，所述动态范围调整器被配置成调整针对所述第一过程和所述第二过程中的一个生成的所述合成图像的动态范围，使得针对所述第一过程和所述第二过程中的相应一个生成的所述合成图像的动态范围与由所述范围设置器针对所述第一过程设置的所述目标亮度水平分布范围相匹配。

2.根据权利要求1所述的图像生成设备，其中，

所述动态范围调整器被配置成针对所述第二过程来确定所述控制参数中的至少一个的值，使得针对所述第二过程生成的所述合成图像的动态范围与由所述范围设置器针对所述第一过程设置的所述目标亮度水平分布范围相匹配。

3.根据权利要求1所述的图像生成设备，其中，

针对所述第一过程的用于当前图像生成过程的所述控制参数被确定成使得针对所述第一过程的所述合成图像的动态范围与依据所述相机的设计规范预先确定的最大动态范围相匹配；以及

所述动态范围调整器被配置成从由所述图像组合单元针对所述第一过程生成的所述合成图像中提取其动态范围与由所述范围设置器针对所述第一过程设置的所述目标亮度水平分布范围相匹配的校正的合成图像，

所述压缩单元被配置成根据所述压缩特性将针对所述第一过程的所述校正的合成图像压缩为所述压缩的合成图像。

4.根据权利要求1所述的图像生成设备，其中，

针对所述第一过程的用于当前图像生成过程的所述控制参数被确定成使得针对所述第一过程的所述合成图像的动态范围与依据所述相机的设计规范预先确定的最大动态范围相匹配；以及

所述动态范围调整器安装在所述相机中并且被配置成从由所述图像组合单元针对所述第一过程生成的所述合成图像剪辑其动态范围与由所述范围设置器针对所述第一过程设置的所述目标亮度水平分布范围相匹配的校正的合成图像。

5.根据权利要求1至4中任一项所述的图像生成设备，其中，

所述范围设置器被配置成设置所述目标亮度水平分布范围，使得所述合成图像的亮度水平的第一像素的数目小于预定高对比度阈值，所述第一像素的亮度水平高于预定上限。

6.根据权利要求1至4中任一项所述的图像生成设备，其中，

所述范围设置器被配置成设置所述目标亮度水平分布范围，使得所述合成图像的亮度水平的第二像素的数目小于预定低对比度阈值，所述第二像素的亮度水平低于预定下限。

7.根据权利要求5所述的图像生成设备，其中，

所述范围设置器被配置成设置所述目标亮度水平分布范围，使得所述合成图像的亮度水平的第二像素的数目小于预定低对比度阈值，所述第二像素的亮度水平低于预定下限。

8.根据权利要求1至4中任一项所述的图像生成设备，其中，

所述范围设置器被配置成：如果所述合成图像的亮度水平中的至少一个亮度水平高于预定上限阈值，则从所述合成图像的亮度水平中去除所述至少一个亮度水平，以基于所述合成图像的剩余亮度水平来设置所述目标亮度水平分布范围。

9.根据权利要求5所述的图像生成设备，其中，

所述范围设置器被配置成：如果所述合成图像的亮度水平中的至少一个亮度水平高于预定上限阈值，则从所述合成图像的亮度水平中去除所述至少一个亮度水平，以基于所述合成图像的剩余亮度水平来设置所述目标亮度水平分布范围。

10.根据权利要求6所述的图像生成设备，其中，

所述范围设置器被配置成：如果所述合成图像的亮度水平中的至少一个亮度水平高于预定上限阈值，则从所述合成图像的亮度水平中去除所述至少一个亮度水平，以基于所述合成图像的剩余亮度水平来设置所述目标亮度水平分布范围。

11.根据权利要求7所述的图像生成设备，其中，

所述范围设置器被配置成：如果所述合成图像的亮度水平中的至少一个亮度水平高于预定上限阈值，则从所述合成图像的亮度水平中去除所述至少一个亮度水平，以基于所述合成图像的剩余亮度水平来设置所述目标亮度水平分布范围。

Images