CN111698486A

CN111698486A - 用于模拟数字成像设备的方法

Info

Publication number: CN111698486A
Application number: CN202010156322.0A
Authority: CN
Inventors: M·皮特克; M·亚辛斯基
Original assignee: Aptiv Technologies Ltd
Current assignee: Aptiv Technologies Ltd
Priority date: 2019-03-15
Filing date: 2020-03-09
Publication date: 2020-09-22
Anticipated expiration: 2040-03-09
Also published as: CN111698486B; US20200294279A1; US11282241B2; EP3709623A1

Abstract

用于模拟数字成像设备的方法。本公开在于用于模拟捕获场景的数字成像设备的计算机实现方法，该成像设备包括滤色器阵列和用于滤色器阵列的各个原色的输出通道，所述方法包括：提供包含数字成像设备的像素的像素数据的场景的图像，该像素数据在输入色空间中指定，其中，输入色空间的基准色刺激与数字成像设备的滤色器阵列的原色不同；确定像素数据的亮度值；将至少一个光谱色分配给像素数据；计算各个输出通道的像素数据的颜色相关输出值；以及提供所计算的像素数据的输出值作为成像设备的像素的输出数据。

Description

用于模拟数字成像设备的方法

技术领域

本公开涉及用于模拟数字成像设备的计算机实现方法。

背景技术

在汽车应用中使用诸如数码摄像机的数字成像设备来捕获车辆周围的环境。这种成像设备的输出数据通常被馈送到图像分析设备，以提取关于所捕获的场景的信息，诸如其它车辆的位置和/或轨迹、道路标志等。这些图像分析设备可以是诸如高级驾驶员辅助系统(ADAS)的辅助系统的一部分，该辅助系统基于从由成像设备提供的图像中提取的信息来至少部分地控制车辆。

用于所述图像分析设备的算法使用模拟系统来越来越广泛地被设计和/或验证，该模拟系统模拟车辆周围的环境并提供表示由成像设备捕获的视场的图像数据。可以通过将图像数据作为输入提供给算法并且分析通过所述算法从图像数据提取的信息来对所述算法进行测试。由于所分析的图像已经由模拟系统生成，所以可以通过将由所述算法提取的信息与用于生成图像的附加信息进行比较，来自动验证通过所述算法提取的信息。

为了进行准确测试，由模拟系统提供的图像数据应与成像设备在捕获模拟场景时将传送的输出尽可能紧密地匹配。此外，为了在实时条件下测试算法，图像数据应设置有与真实成像设备的输出数据速率(例如，被配置成视频摄像机的成像设备的流速率)对应的速率。

因此，需要基于表示要由成像设备捕获的场景的给定图像数据来准确且有效地再现数字成像设备的输出。

发明内容

本公开提供了一种方法、模拟系统和非暂时性计算机可读介质。

在一个方面，本公开在于用于模拟捕获场景的数字成像设备的计算机实现方法，该成像设备包括滤色器阵列(color filter array)和用于所述滤色器阵列的至少一个原色或各个原色的输出通道，其中，该成像设备由模型描述，该模型包括输入通道和针对数字成像设备的各个输出通道的光谱灵敏度。该方法包括以下步骤：

-经由输入通道提供场景的图像，该图像包含数字成像设备的像素的像素数据，该像素数据在输入色空间中指定，

其中，输入色空间的基准色刺激与数字成像设备的滤色器阵列的原色不同，

-确定像素数据的亮度值，

-将至少一个光谱色分配给像素数据，

-计算各个输出通道的像素数据的颜色相关输出值，

其中，各个输出通道的颜色相关输出值取决于：以分配给像素数据的至少一个光谱色估计的相应输出通道的光谱灵敏度；以及像素数据的亮度值；以及

-提供所计算的像素数据的输出值作为成像设备的像素的输出数据。

该图像被提供为数字图像，并且可以是已经由车辆模拟系统模拟的模拟图像。所提供的图像表示当使用摄像机捕获实际场景时将产生的成像设备的视场。该方法允许将表示场景的图像的像素数据从输入色空间转换到成像设备的输出色空间，该输出色空间由摄像机的滤色器阵列的原色给出。输出色空间构成了摄像机正在输出实际输出数据的色空间。该转换具有以下技术效果：从作为输入提供的图像计算的输出数据与拍摄实际场景时由成像设备产生的图像数据紧密匹配。此外，所计算的输出数据与用于最初提供场景的图像的输入色空间无关。因此，多种源(特别是多种车辆模拟系统)可以被用于生成图像，并且利用图像数据测试图像分析算法的结果不取决于所使用的特定源。

将光谱色分配给像素数据并基于成像设备在所分配的光谱色下的光谱灵敏度来计算像素数据的输出值具有以下技术效果：由于这些非线性被编码在光谱灵敏度中，并且仅必须以分配给像素数据的光谱色估计光谱灵敏度，所以可以准确且有效地再现成像设备的颜色感知中的非线性。因此，可以缩短实现该方法所需的计算时间。光谱灵敏度可以被存储为列表数据，从而以分配给像素数据的光谱色的估计是节省存储器的且有时间效率的。此外，该方法可以针对成像设备的多个像素并行执行，这进一步减少了计算时间。附加地或另选地，一旦至少一个光谱色已经被分配给像素数据，就可以至少部分并行地执行像素数据的各输出值的计算。

该数字成像设备可以是(真实)摄像机，例如产生单个图像的静态摄像机和/或以给定帧速率产生图像流的视频摄像机。该成像设备可以适于在汽车应用中使用，例如作为车辆的前置摄像头。

该成像设备包括具有单独感光点(photosite)的数字成像传感器、以及在传感器与成像设备的成像光学器件之间放置在感光点前面的滤色器阵列。滤色器阵列可以是包括具有一个红色滤色器元件(R)和四个透明(C)滤色器元件的单元格(unit cell)的RCCC滤色器阵列，或者是具有包括一个红色滤色器元件、两个黄色(Y)滤色器元件和一个青色滤色器元件(Cy)的单元格的RYYCy滤色器阵列。数字成像设备的模型包括针对滤色器阵列的各个颜色的各光谱灵敏度。在RCCC滤色器阵列的情况下，该模型包括两个光谱灵敏度，一个光谱灵敏度用于与红色滤色器元件相关联的红色通道，并且另一个光谱灵敏度用于与透明(clear)滤色器元件相关联的透明通道。在RYYCy滤色器阵列的情况下，该模型包括三个光谱灵敏度，一个光谱灵敏度用于红色通道，一个光谱灵敏度用于与黄色滤色器元件相关联的黄色通道，并且一个光谱灵敏度用于与青色滤色器元件相关联的青色通道。

输入色空间可以是例如附加色空间，例如，诸如sRGB色空间等的RGB色空间。在RGB色空间的情况下，输入色空间的基准色刺激对应于红色(R)、绿色(G)和蓝色(B)。然而，由于仅根据分配给像素数据的至少一个光谱色来计算颜色相关输出数据，所以输入色空间也可以是任何其它色空间。

该模型可以包括光谱灵敏度作为光谱灵敏度函数或作为具有列表值的光谱灵敏度图表。可以通过执行对与分配给像素数据的光谱色相关联的灵敏度值的查找或搜索来估计光谱灵敏度。光谱灵敏度根据入射电磁辐射的颜色或波长指定由成像设备的相关颜色通道检测的相对光量。光谱灵敏度可以被提供为所测量的光谱灵敏度，并且该方法可以包括测量用于不同输入颜色的各颜色通道的光谱灵敏度的步骤。与成像设备的颜色通道相关联的光谱灵敏度可以存储在计算机的存储器单元中，该计算机被配置成实现本文描述的方法。

图像的像素数据表示成像设备在捕获场景时在像素上成像的电磁辐射。图像可以由模拟系统生成，并且可以构成模拟系统的输出数据。输出数据还可以包括附加信息，该附加信息指定处理图像的图像分析设备应从图像中提取的信息。具有相关附加信息的图像可以例如构成用于图像分析设备的标记训练数据。

可以通过将像素数据转换成与输入色空间和与数字成像设备的输出通道所限定的色空间不同的中间色空间来确定像素数据的亮度值。中间色空间可以是例如CIE 1931XYZ或CIE 1931 xyY色空间，并且然后可以通过像素数据的Y坐标的值来给出亮度值。

像素数据的各输出值可以被计算为与像素数据的亮度值成正比和/或与通过以分配给像素数据的光谱色估计对应光谱灵敏度而获得的灵敏度值成正比。例如，可以通过将灵敏度值与像素数据的亮度值相乘来计算各输出值。

成像设备可以包括多个像素，并且因此提供给输入通道的图像可以包括多个像素数据。可以针对各个像素执行以下步骤：确定像素数据的亮度值；将至少一个光谱色分配给像素数据；计算像素数据的颜色相关输出值；以及提供所计算的输出值。当在计算机上实现该方法时，可以至少部分地并行执行针对各像素执行的步骤。

该方法可以包括将输出数据转换成最终色空间的步骤和/或经由用户界面(例如经由数字显示器)输出该输出数据的步骤。最终色空间可以是与输入色空间相同的色空间。最终色空间可以是RGB色空间，例如在sRGB色空间中。

根据一个实施方式，该方法包括检查至少一个光谱色是否能够被分配给像素数据的步骤，其中，仅在至少一个光谱色能够被分配给像素数据时，执行将至少一个光谱色分配给像素数据的所述步骤和计算用于各个输出通道的颜色相关输出值的所述步骤。如果没有光谱色能够被分配给像素数据，则该方法包括以下步骤：

-计算用于各个输出通道的像素数据的颜色无关输出值，

其中，颜色无关输出值被计算为相等的，以及

-提供所计算的像素数据的颜色无关输出值作为成像设备的像素的输出数据。

像素数据的颜色无关值可以被计算为与像素数据的亮度值成正比。

根据一个实施方式，如果像素数据的色位点(color locus)与灰度值不同，则决定至少一个光谱色能够被分配给像素数据，并且如果像素数据的色位点与灰度值对应，则决定没有光谱色能够被分配给像素数据。为了检查至少一个光谱色是否能够被分配给像素数据，该方法因此可以包括检查像素数据的色位点是否与灰度值对应的步骤。

如果像素数据的色位点与灰度值对应，则像素数据的微小颜色变化和表示像素数据的色刺激值通常会导致分配给像素数据的光谱色的显著改变。这降低了从输入色空间到由成像设备的颜色通道表示的输出色空间的颜色转换的准确性。通过仅在像素数据的色位点与灰度值不同时才将至少一个光谱色分配给像素数据，可以避免这些不准确性。

根据一个实施方式，如果表示在附加色空间中(例如在RGB色空间中)的像素数据的色刺激值均超过给定第一阈值，和/或色刺激值与色刺激值的平均值之间(例如在色刺激值与色刺激值的中间值之间)的差低于第二阈值，则像素数据的色位点与灰度值对应。

第一阈值构成像素数据的色刺激值必须超过以适于作为灰度值的绝对阈值，并且第二阈值限定了灰度值的各色刺激值之间的容许变化的容限(tolerance)。第一阈值可以对应于表示输入色空间中的像素数据的色刺激值的最大值的多于四分之一或多于一半。第二阈值可以对应于色刺激值的最大值的少于一半、少于四分之一或少于五分之一。

RGB色空间可以是sRGB色空间，并且色刺激值的最大值可以对应于255。然后，第一阈值可以等于或大于70、等于或大于100或者等于或大于130。第二阈值可以等于或小于100、等于或小于70或者等于或小于50。

根据一个实施方式，该方法包括以下步骤：

-检查单个主光谱色是否能够被分配给像素数据，

其中，如果所述单个主光谱色能够被分配给像素数据，则针对各输出通道计算的输出值均取决于仅以主光谱色估计的相应输出通道的光谱灵敏度。

因此，仅需要针对一个光谱色，即针对主光谱色，估计颜色通道的光谱灵敏度，并且从输入色空间到输出通道的输出色空间的转换在计算上是简单的。

根据一个实施方式，检查单个主光谱色是否能够被分配给像素数据包括以下步骤：

-检查从CIE 1931 xyY色度图的白色点(特别是从D65白色点)经过色度图中的像素数据的色位点的外推是否与色度图的光谱轨迹相交。

如果所述外推与光谱轨迹相交，则决定单个主光谱色可以被分配给像素数据，并且该方法包括以下步骤：

-将对应于外推与光谱轨迹之间的交点的光谱色分配给像素数据作为单个主光谱色。

该方法可以包括以下步骤：将像素数据从输入色空间(例如，sRGB色空间)转换到CIE 1931 xyY色空间，例如，在检查单个主光谱色是否能够被分配给像素数据之前。CIE1931 xyY形成用于确定像素数据的亮度值和色位点的中间色空间。可以通过从像素数据得出的线性sRGB值的矩阵相乘来执行所述转换。检查外推是否与色度图的光谱轨迹相交可以通过计算外推来直接执行。其还可以通过检查像素数据的色位点是否位于色度图的区域之外来执行，该色度图包括所述外推与色度图的紫色线相交的所有色位点。

根据一个实施方式，该方法包括检查两个光谱色是否能够被分配给像素数据。此外，如果所述两个光谱色能够被分配给像素数据，则针对各输出通道计算的输出值均取决于以两个光谱色中的第一光谱色估计的对应输出通道的光谱灵敏度和以两个光谱色的第二光谱色估计的对应输出通道的光谱灵敏度。

可以通过检查像素数据的色位点是否与灰度值不同和/或通过检查单个主光谱色是否能够被分配给像素数据，来检查两个光谱色是否能够被分配给像素数据。然后，如果像素数据与灰度值不同和/或如果没有单个主光谱色能够被分配给像素数据，则可以决定仅两个光谱色能够被分配给像素数据。

第一光谱色可以对应于与sRGB红色对应的光谱色，并且相当于波长为612.4348nm。第二颜色可以对应于与sRGB蓝色对应的光谱色，并且相当于波长为449.3598nm。

根据一个实施方式，检查两个光谱色是否能够被分配给像素数据包括以下步骤：检查从CIE 1931 xyY色度图的白色点(特别是从D65白色点)经过色度图中的像素数据的色位点的外推是否与色度图的紫色线相交。如果所述外推与紫色线相交，则决定两个光谱色能够被分配给像素数据，并且该方法包括：将与sRGB红色对应的光谱色分配给像素数据作为第一光谱色，并且将与sRGB蓝色对应的光谱色分配给像素数据作为第二光谱色。

可以通过检查像素数据的色位点是否位于色度图的包括外推与色度图的紫色线相交的所有色位点的区域内来实现检查外推是否与紫色线相交。可以将位于所述区域内的色位点的x和y色度坐标存储在实现该方法的计算机系统的存储器单元中，并且该方法可以包括将像素数据的x和y色度坐标与位于所述区域中的所述色位点的所存储的坐标进行比较(例如通过插值)的步骤。

根据一个实施方式，各输出通道的输出值均取决于以所述第一光谱色估计的对应输出通道的光谱灵敏度和以第二光谱色估计的对应输出通道的光谱灵敏度的线性组合。按照所述线性组合来计算输出值允许有效的计算。该线性组合的引数可以由像素数据的色位点给出。引数可以取决于CIE 1931 xyY色度图中的X色度坐标和/或宽色度坐标。引数可以取决于从色度图的白色点经过像素数据的色位点的外推与色度图的紫色线相交的位置。可以从像素数据的色位点的x色度坐标和y色度坐标二者来计算该位置，或者另选地仅从x色度坐标或仅从y色度坐标来计算位置。

根据一个实施方式，线性组合的引数由CIE 1931 xyY色度图中的像素数据的色位点的x色度坐标值给出，特别是由在像素数据的色位点的x色度坐标值处估计的S形函数给出。

因此，线性组合的引数(argument)可以仅由x色度坐标给出，而在计算引数时可以忽略y色度坐标。这允许以简单且有效的方式确定引数，从而减少确定引数所需的计算时间。已经发现，忽略沿y色度坐标而引入的误差是可以忽略的，因为沿紫色线定位的色位点的y色度坐标的改变与x色度坐标的对应改变相比较小。使用S形函数确保在分配给像素数据的两个光谱色之间的平滑颜色过渡。S形函数可以是逻辑函数。

根据一个实施方式，如果所述至少一个光谱色能够被分配给像素数据，则用于各输出通道的输出值均取决于表示与成像设备的对应输出通道相关联的全局增益的测量增益参数。

与摄像机的各输出通道相关联的增益参数可以表示各颜色通道的强度变化，该强度变化与入射辐射的波长无关并且对于模拟摄像机是特定的。

可以通过执行以下步骤来获得各增益参数：在成像设备捕获测试场景时，记录成像设备的对应颜色通道的输出信号值；在输入色空间中生成测试场景的图像，例如，通过用另一摄像机记录测试场景，该摄像机的颜色通道具有与输入色空间的基准刺激值相对应的原色；执行所述方法，其中，经由模拟模型的输入通道提供测试场景的图像；以及将通过对测试场景的图像执行该方法而生成的输出数据与由摄像机生成的输出信号值进行比较。然后可以确定各颜色通道的增益参数，使得所计算的各颜色通道的输出值与摄像机生成的对应信号值相匹配。

根据一个实施方式，针对成像设备的各输出通道的所测量增益参数彼此不同。

根据一个实施方式，滤色器阵列是RCCC或RYYCy滤色器阵列。

根据一个实施方式，该方法包括以下步骤：

-测量数字成像设备的各个输出通道的光谱灵敏度，以及

-通过将所测量的光谱灵敏度存储在被配置成实现该方法的计算机系统的存储器单元中来提供所测量的光谱灵敏度。

利用撞击在成像设备的滤色器阵列上的单色电磁辐射来测量光谱灵敏度。可以针对具有覆盖电磁光谱的预定范围的输入波长值或输入颜色的电磁辐射来测量光谱灵敏度。所测量的光谱灵敏度可以被存储为列表值。

根据一个实施方式，该方法包括以下步骤：

-获得场景的图像作为由数字成像设备捕获的场景(特别是交通场景)的虚拟模拟的输出数据，

-通过对所计算的数字成像设备的输出数据执行诸如对象识别、车辆检测、运动检测等的图像分析，从所计算的输出数据获得图像信息，

-提供图像信息作为用于场景的虚拟模拟的输入数据。

可以从模拟系统的车辆模拟模块获得场景的图像作为输出数据。图像分析可以由模拟系统的图像分析模块执行，该图像分析模块接收所计算的输出数据并提供图像信息作为输出数据。模拟系统可以被配置成根据作为输入数据接收的图像信息来调整场景。例如，模拟系统可以包括用于生成用于车辆的控制数据的驾驶辅助模块，例如，高级驾驶员辅助模块。车辆模拟模块可以被配置成模拟车辆对驾驶员辅助模块生成的控制信号的反应，并根据模拟的车辆反应来调整场景的所生成的图像。例如，当车辆的运动响应于控制信号而改变(例如，通过改变方向)时，所生成的图像可以被调整以反映摄像机的视野的改变。

该方法还可以包括自动地调整用于获得图像信息的分析算法和/或用于实现驾驶员辅助模块的控制算法的步骤。可以通过将从输出数据提取的图像信息反馈到模拟系统来调整算法。这种算法可以例如被配置成人工神经网络，并且由模拟系统生成的场景的图像可以被用作算法的人工神经网络的训练数据。

该方法还可以包括以下步骤：在车辆中实现数字成像设备，并且将数字成像设备连接到车辆的图像分析设备，该图像分析设备被配置成从由摄像机生成的输出数据获得图像信息。图像分析设备可以被配置成实现已经使用模拟系统自动调整的分析算法。图像分析设备可以连接到车辆的驾驶辅助设备，该车辆的驾驶辅助设备被配置成基于图像信息生成控制数据并且将控制数据输出到车辆。驾驶辅助设备可以被配置成实现已经使用模拟系统自动调整的控制算法。

该方法还可以包括以下步骤：从摄像机接收图像作为输出数据；通过图像分析算法从输出数据生成图像信息；基于所生成的图像信息生成控制数据；以及将控制数据输出到车辆。

在另一方面，本公开在于一种模拟系统，所述模拟系统被配置成执行本文所描述的计算机实现方法的多个或全部步骤。该模拟系统可以被配置成包括处理单元、至少一个存储器单元和至少一个非易失性数据存储装置的计算机系统。成像设备的模型可以被存储在非易失性数据存储装置和/或存储器单元中。该模拟系统可以包括成像设备模拟模块，该成像设备模拟模块包括成像设备和/或图像分析模块和/或驾驶辅助模块和/或车辆模拟模块的模型。

在另一方面，本公开在于一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的多个或全部步骤或方面的指令。所述计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪存的只读存储器(ROM)；等。此外，计算机可读介质可以被配置成能够经由诸如互联网连接的数据连接来访问的数据存储装置，例如在线数据存储库或云存储装置。

本公开还在于一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的多个或全部步骤或方面。

附图说明

这里结合示意性示出的以下附图描述了本公开的示例性实施方式和功能：

图1是具有捕获交通场景的成像设备的车辆；

图2是模拟系统和用于模拟成像设备的成像设备模拟模块；

图3是用于模拟数字成像设备的方法；

图4是包括提供给成像设备模型的输入通道的像素数据的色位点的CIE 1931 xyY色度图；

图5是用于确定分配给像素数据的光谱色的线性组合的引数的S形函数。

具体实施方式

图1示出了车辆1，该车辆包括数字成像设备10、连接至成像设备10的图像分析设备151以及连接至图像分析设备151的驾驶辅助设备161。车辆1可以是汽车，并且成像设备10可以是数码摄像机。成像设备10被配置成对车辆的环境进行成像并且捕获交通场景5，例如在车辆1前方的交通场景。从场景5入射的电磁辐射7被成像设备10的成像光学器件19成像到成像设备10的传感器设备上。传感器设备包括成像传感器12和滤色器阵列14，其中，滤色器阵列14被布置在成像传感器12与成像设备10的光学器件19之间。

传感器设备包括多个逻辑像素20。各个逻辑像素20包括成像传感器12的多个感光点21和滤色器阵列14的对应滤色器元件25。成像设备10包括用于与各像素20相关联的滤色器元件25的各个原色的各颜色通道16、17、18。对于各个像素20，滤色器阵列14包括具有第一原色的第一滤色器元件、具有第二原色的两个第二滤色器元件和具有第三原色的第三滤色器元件。因此，成像设备10包括用于第一原色的第一输出通道16、用于第二原色的第二输出通道17和用于第三原色的第三输出通道18。滤色器阵列14可以例如被配置成RYYCy滤色器阵列，使得第一颜色对应于红色、第二颜色对应于黄色并且第三颜色对应于青色。

成像设备10被配置成生成包括针对各个颜色通道16、17、18的输出值的输出数据，该输出数据表示由与各颜色通道16、17、18相关联的感光点21记录的电磁辐射7的强度。颜色值由图像分析设备151接收，该图像分析设备151被配置成实现图像分析算法，以通过执行图像分析(诸如，对象识别、车辆检测、运动检测等)从成像设备10的输出数据提取图像信息152。图像信息152由驾驶辅助设备161接收，并且驾驶辅助设备161被配置成实现控制算法以生成用于控制车辆1的驾驶行为的控制数据162。驾驶辅助设备161被配置成高级驾驶员辅助设备。

图2示出了用于开发和估计图像分析算法和控制算法的模拟系统100和成像设备模拟模块149。成像设备模拟模块149被配置成模拟成像设备10的颜色感知处理，并且包含表示成像设备10的模型110。成像设备模拟模块149和模型110包括用于接收输入数据的输入通道112和用于提供输出数据的输出通道115，其中，输出通道115对应于数字成像设备10的各输出通道16、17、18。

模拟系统100包括图像分析模块150、驾驶辅助模块160和车辆模拟模块170。车辆模拟模块170被配置成生成要由所模拟的数字成像设备10捕获的交通场景5的图像30的流，作为模拟输出数据172。各个图像30被提供在输入色空间中，并且经由输入通道112被馈送到成像设备模拟模块149。由成像设备模拟模块149生成的输出数据115被馈送到图像分析模块150，该图像分析模块150实现图像分析算法并从成像设备模拟模块149的输出数据中提取图像信息152。输出数据115被提供在与由滤色器阵列14的原色限定的色空间对应的输出色空间中。

图像信息152由驾驶辅助模块160接收，该驾驶辅助模块160实现控制算法并生成用于控制所模拟的车辆10的行为的控制数据162。控制数据162被反馈到车辆模拟模块170，该车辆模拟模块170计算所模拟的车辆1对控制数据162的反应以及在馈送到成像设备模拟模块149的图像30中的对应改变。

图3示出了由模拟系统100和成像设备模拟模块149执行的计算机实现方法300。方法300包括测量301数字成像设备10的各个输出通道16、17、18的光谱灵敏度的步骤。方法300还包括：从车辆模拟模块170获得305图像30作为模拟输出数据172的步骤；以及经由输入通道112将图像30提供310给成像设备模拟模块149的步骤。在由sRGB色空间给出的输入色空间中指定图像30，使得图像30的各像素数据均包括针对输入色空间的红色通道的色刺激值R、针对蓝色通道的色刺激值B以及针对输入色空间的绿色通道的色刺激值G。

方法300包括将图像30从输入色空间转换315到中间色空间的步骤，由此中间色空间由CIE 1931 xyY色空间给出。图像30的各像素数据的色刺激值R、G、B到CIE 1931 xyY色空间的转换是通过从各色刺激值R、G、B得出的线性sRGB值R_srgb、G_srgb、B_srgb的矩阵相乘来实现的，这导致通过下式给出色刺激值X、Y、Z：

线性sRGB值R_srgb、G_srgb、B_srgb按照如下获得：

在此，a＝0.055并且C是具有在0到1之间的值的R、G或B。

随后，计算像素数据的x色度坐标和y色度坐标：

方法300还包括确定320像素数据的亮度值的步骤，该亮度值由CIE 1931 xyY色空间中的像素数据的表示的色刺激值Y给出。

方法300还包括通过检查像素数据的色位点是否与灰度值对应来检查330至少一个光谱色是否能够被分配给像素数据的步骤。如果像素数据的各个色刺激值R、G、B超过等于130的第一阈值，并且如果各色刺激值R、G、B与像素数据的色刺激值R、G、B的中间值之间的差均低于等于50的第二阈值(其中，各色刺激值R、G、B的范围在最小值0与最大值255之间)，则决定该色位点与灰度值对应。如果像素数据的色位点与灰度值对应，则决定没有光谱色能够被分配给像素数据，否则决定至少一个光谱色能够被分配给像素数据。

如果没有光谱色能够被分配给像素数据，则方法300包括计算341成像设备10的各个颜色通道16、17、18的颜色无关输出值的步骤。颜色无关输出值由下式给出：

c_indep(i)＝g_i*255*Y

其中，i表示成像设备10的各颜色通道16、17、18，并且g_i均表示与对应的颜色通道16、17、18相关联的全局增益参数。随后，方法300包括提供351所计算的像素数据的颜色无关输出值c_indep(i)作为成像设备10的像素20的输出数据125的步骤。

如果至少一个光谱色能够被分配给像素数据，则方法300包括：检查332主光谱色是否能够与像素数据相关联的步骤，以及检查334两个光谱色是否能够被分配给像素数据的步骤。如图4所示，在这些步骤332、334中，针对各个像素数据，检查在表示CIE 1931 xyY色空间的x色度坐标35和y色度坐标36的色度图50中，从色度图50中的白色点52经过像素数据的色位点132的外推(extrapolation)37是否与色度图50的光谱轨迹54或紫色线56相交。由此白色点52由D65白色点给出。

如果像素数据的色位点132位于由紫色线56和在白色点52与紫色线56的端部之间延伸的直线所界定的紫色区域58中，则外推37与紫色线56相交。否则，外推37与色度图50的光谱轨迹54相交。

如果外推37与紫色线56相交，则决定两个光谱色(但不是主光谱色)能够被分配给像素数据。然后，方法300包括将两个光谱色分配339给像素数据的步骤，其中，第一光谱色由对应于sRGB红色的光谱色给出，并且第二光谱色由对应于sRGB蓝色的光谱色给出。因此，对于各个输出通道16、17、18，以产生第一光谱灵敏度值的第一光谱色和产生第二光谱灵敏度值的第二光谱色估计对应的光谱灵敏度。

如果外推37与光谱轨迹54相交，则决定主光谱色能够被分配给像素数据。然后，方法300包括将主光谱色分配337给像素数据的步骤。主光谱色由外推37与光谱轨迹54的交点39的色度坐标给出。在这种情况下，对于各个输出通道16、17、18，仅以产生各个输出通道16、17、18的主光谱灵敏度值的主光谱色估计对应的光谱灵敏度。

因此，主光谱色通过以下步骤被分配给像素数据：计算在像素数据的色位点132与白色点52之间的直线作为外推37；找到所产生的线与光谱轨迹54的交点39；获得交点39的x色度坐标值和y色度坐标值作为与像素数据对应的主光谱色的色度坐标值；以及通过主光谱色的x色度坐标值和主光谱色的y色度坐标值获得主光谱色的波长值。

方法300还包括为所模拟的成像设备10的各输出通道16、17、18计算340颜色相关输出值的步骤。如果主光谱色能够被分配给像素数据，则各输出通道16、17、18的输出值由下式给出：

c_depend(i)＝g_i*css_i(λ_d)*255*Y

其中，css_i(λ_d)表示通过在主光谱色λ_d下估计各光谱灵敏度css_i(λ)，i＝1...3获得的主光谱灵敏度值。

如果两个光谱色(但是不是主光谱色)能够被分配给像素数据，则模拟成像设备10的各输出通道16、17、18的输出值由下式给出：

c_depend(i)＝g_i*(css_i(λ_red)*w_red(x)+css_i(λ_blue)*w_blue(x))*255*Y

其中，λ_red＝612.4348并且λ_blue＝449.3598。第一光谱灵敏度值css_i(λ_red)和第二光谱灵敏度值css_i(λ_blue)的线性组合的第一引数w_red(x)和第二引数w_blue(x)由第一S形函数w_red(x)和第二S形函数w_blue(x)给出，其中，各个S形函数在像素数据的色位点的x色度坐标值x处被估计。

第一S型函数由以下逻辑函数给出

并且第二S型函数由以下对数函数给出：

值c、d以被选择成c＝-20.1821和d＝-0.3083。对于的这些值c、d，图5中示出了第一S形函数61和第二S形函数62与x色度坐标值35的相关性。

作为在图3中未示出的另一步骤，方法300可以包括将像素数据的输出值转换成用于显示输出数据的可视化色空间的色刺激值。可视化色空间又是sRGB色空间。可视化色空间中的输出数据的各色刺激值R_out、G_out、B_out被计算为已经从输出通道16、17、18获得的输出数据的输出值的线性组合。对于RYYCy滤色器阵列14的输出通道16、17、18，输出数据的色刺激值R_out、G_out、B_out被计算为：

R_out＝value_red*mask_red+value_yellow*mask_yellow

G_out＝value_yellow*mask_yellow+value_cyan*mask_cyan

B_out＝value_cyan*mask_cyan

其中，value_red是第一(红色)输出通道16的输出值、value_yellow是第二(黄色)输出通道17的输出值并且value_cyan是第三(青色)输出通道18的输出值，并且mask_red、mask_yellow、mask_cyan是用于颜色转换的对应逻辑掩码。

方法300还包括提供350所计算的颜色相关输出值作为所模拟的数字成像设备10的各像素20的颜色相关输出数据125的步骤。方法300还包括以下步骤：图像分析模块150从输出数据125获得355图像信息152；将图像信息152作为输入数据提供360给驾驶辅助模块160；以及驾驶辅助模块160从图像信息152生成365控制数据162。最后，方法300包括将控制数据162反馈370到车辆模拟模块170的步骤。

应当理解，本文给出的所有值(例如，波长或系数或其它参数)也包含与给定数值相差+/-20％、+/-10％、+/-5％或+/-3％的偏差。

还应理解，关于诸如白色点52、紫色线56、紫色区域58等的有颜色的要素的描述本身并不是指附图中的颜色，而是指由各要素表示的颜色。

参考编号列表

1 车辆

5 场景

7 电磁辐射

10 数字成像设备

12 成像传感器

14 滤色器阵列

16 第一输出通道

17 第二输出通道

18 第三输出通道

19 成像光学器件

20 像素

21 感光点

25 滤色器元件

30 图像

35 x色度坐标值

36 y色度坐标值

37 外推

39 交点

50 色度图

52 白色点

54 光谱轨迹

56 紫色线

58 紫色区域

61 第一S形函数

62 第二S形函数

100 模拟系统

110 成像设备模型

112 输入通道

115 输出通道

125 输出数据

132 色位点

149 成像设备模拟模块

150 图像分析模块

151 图像分析设备

152 图像信息

160 驾驶辅助模块

161 驾驶辅助设备

162 控制数据

170 车辆模拟模块

172 模拟输出数据

300 方法

301 测量光谱灵敏度

305 获得模拟输出数据

310 提供图像

315 转换到中间色空间

320 确定亮度值

330 检查至少一个光谱色是否能够被分配

332 检查主光谱色是否能够被分配

334 检查两个光谱色是否能够被分配

337 分配单个主光谱色

339 分配两个光谱色

340 计算颜色相关输出值

341 计算颜色无关输出值

350 提供所计算的颜色相关输出数据

351 提供所计算的颜色无关输出数据

355 获得图像信息

360 提供图像信息作为输入数据

365 生成控制数据

370 反馈控制数据

Claims

1.一种用于模拟捕获场景(5)的数字成像设备(10)的计算机实现方法(300)，

所述成像设备(10)包括滤色器阵列(14)和用于所述滤色器阵列(14)的各个原色的输出通道(16、17、18)，

其中，所述成像设备(10)由模型(110)描述，所述模型(110)包括输入通道(112)和用于所述数字成像设备(10)的各个输出通道(16、17、18)的光谱灵敏度，

其中，所述方法(300)包括以下步骤：

-经由所述输入通道(112)提供(310)所述场景(5)的图像(30)，所述图像包含所述数字成像设备(10)的像素(20)的像素数据，所述像素数据在输入色空间中指定，

其中，所述输入色空间的基准色刺激与所述数字成像设备(10)的所述滤色器阵列(14)的原色不同，

-确定(320)所述像素数据的亮度值，

-将至少一个光谱色分配(337、339)给所述像素数据，

-计算(340)各个输出通道(16、17、18)的所述像素数据的颜色相关输出值，

其中，各个输出通道(16、17、18)的所述颜色相关输出值取决于：以被分配给所述像素数据的所述至少一个光谱色估计的相应输出通道(16、17、18)的光谱灵敏度；以及所述像素数据的所述亮度值，以及

-提供(350)所计算的所述像素数据的输出值作为所述成像设备(10)的所述像素(20)的输出数据(125)。

2.根据权利要求1所述方法(300)，所述方法(300)包括以下步骤：

-检查(330)所述至少一个光谱色是否能够被分配给所述像素数据，

其中，仅在所述至少一个光谱色能够被分配给所述像素数据时，执行将所述至少一个光谱色分配(337、339)给所述像素数据的所述步骤和计算(340)各个输出通道(16、17、18)的所述颜色相关输出值的所述步骤，

其中，如果没有光谱色能够被分配给所述像素数据，则所述方法(300)包括以下步骤：

-计算(341)各个输出通道(16、17、18)的所述像素数据的颜色无关输出值，

其中，所述颜色无关输出值被计算为相等的，以及

-提供(351)所计算的所述像素数据的颜色无关输出值作为所述成像设备(10)的所述像素(20)的所述输出数据(125)。

3.根据权利要求2所述的方法(300)，

其中，如果所述像素数据的色位点(132)与灰度值不同，则决定所述至少一个光谱色能够被分配给所述像素数据，

其中，如果所述像素数据的所述色位点(132)与灰度值对应，则决定没有光谱色能够被分配给所述像素数据。

4.根据权利要求3所述的方法(300)，

其中，如果表示在附加色空间中的、例如在RGB色空间中的所述像素数据的色刺激值均超过给定第一阈值，和/或所述色刺激值与所述色刺激值的平均值之间的差低于第二阈值，例如所述色刺激值与所述色刺激值的中间值之间的差低于第二阈值，则所述像素数据的所述色位点(132)与灰度值对应。

5.根据前述权利要求中的一项所述的方法(300)，所述方法(300)包括以下步骤：

-检查(332)单个主光谱色是否能够被分配给所述像素数据，

其中，如果所述单个主光谱色能够被分配给所述像素数据，则针对各输出通道(16、17、18)计算的所述输出值均取决于仅以所述主光谱色估计的相应输出通道(16、17、18)的所述光谱灵敏度。

6.根据权利要求5所述的方法(300)，

其中，检查(332)所述单个主光谱色是否能够被分配给所述像素数据的步骤包括以下步骤：

-检查在CIE 1931xyY色度图(50)中的从所述色度图(50)的白色点(52)、特别是从D65白色点(52)经过所述像素数据的色位点(132)的外推(37)是否与所述色度图(50)的光谱轨迹(54)相交，

其中，如果所述外推(37)与所述光谱轨迹(54)相交，则决定所述单个主光谱色能够被分配给所述像素数据，并且所述方法(300)包括以下步骤：

-将对应于所述外推(37)与所述光谱轨迹(54)之间的交点的光谱色分配(337)给所述像素数据，作为所述单个主光谱色。

7.根据前述权利要求中的一项所述的方法(300)，所述方法(300)包括以下步骤：

-检查(334)两个光谱色是否能够被分配给所述像素数据，

其中，如果所述两个光谱色能够被分配给所述像素数据，则针对各输出通道(16、17、18)计算的所述输出值均取决于以所述两个光谱色中的第一光谱色估计的对应输出通道(16、17、18)的所述光谱灵敏度和以所述两个光谱色中的第二光谱色估计的对应输出通道(16、17、18)的所述光谱灵敏度。

8.根据权利要求7所述的方法(300)，

其中，检查(334)所述两个光谱色是否能够被分配给所述像素数据包括以下步骤：

-检查(336)在CIE 1931xyY色度图(50)中的从所述色度图(50)中的白色点(52)、特别是从D65白色点(52)经过所述像素数据的色位点(132)的外推(37)是否与所述色度图(50)中的紫色线(56)相交，

其中，如果所述外推(37)与所述紫色线(56)相交，则决定所述两个光谱色能够被分配给所述像素数据，并且所述方法(300)包括以下步骤：

-将与sRGB红色对应的光谱色分配(339)给所述像素数据，作为所述第一光谱色，以及

-将与sRGB蓝色对应的光谱色分配(339)给所述像素数据，作为所述第二光谱色。

9.根据权利要求7和8中的一项所述的方法(300)，

其中，各输出通道(16、17、18)的所述输出值均取决于以所述第一光谱色估计的对应输出通道(16、17、18)的所述光谱灵敏度和以所述第二光谱色估计的所述对应输出通道(16、17、18)的所述光谱灵敏度的线性组合。

10.根据权利要求9所述的方法(300)，

其中，所述线性组合的引数由所述CIE 1931xyY色度图(50)中的所述像素数据的所述色位点(132)的x色度坐标值(35)给出，特别是由以所述像素数据的所述色位点(132)的所述x色度坐标值(35)估计的S形函数(61、62)给出。

11.根据前述权利要求中的一项所述的方法(300)，

其中，如果所述至少一个光谱色能够被分配给所述像素数据，则各输出通道(16、17、18)的所述输出值均取决于表示与所述成像设备(10)的对应输出通道(16、17、18)相关联的全局增益的测量增益参数。

12.根据前述权利要求中的一项所述的方法(300)，所述方法(300)包括以下步骤：

-测量所述数字成像设备(10)的各个输出通道(16、17、18)的所述光谱灵敏度，

-通过将所测量的所述光谱灵敏度存储在被配置成实现所述方法(300)的计算机系统的存储器单元中来提供所述光谱灵敏度。

13.根据前述权利要求中的一项所述的方法(300)，所述方法(300)包括以下步骤：

-获得(305)所述场景(5)的图像作为由所述数字成像设备(10)捕获的所述场景(5)、特别是交通场景(5)的虚拟模拟的输出数据(172)，

-通过对所计算的输出数据(125)执行诸如对象识别、车辆检测、运动检测等的图像分析，从所计算的所述数字成像设备(10)的输出数据(125)获得(355)图像信息(152)，

-提供(360)所述图像信息(152)作为用于所述场景(5)的所述虚拟模拟的输入数据。

14.一种模拟系统(100)，所述模拟系统(100)被配置成执行权利要求1至13中的至少一项所述的计算机实现方法(300)，

所述模拟系统(100)被配置成计算机系统，所述计算机系统包括处理单元和包括所述成像设备(10)的所述模型的至少一个存储器单元。

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至13中的至少一项所述的计算机实现方法的指令。