CN111543045A - 图像的实时亮度优化和对比度优化 - Google Patents

Abstract

本发明涉及一种用于拍摄图像(10)的方法，所述方法包括以下步骤：借助传感器(2)检测(100)区域，并且产生所述区域的具有预定义数量的像素的映射(20)，所述像素说明亮度值，以及将所述映射(20)划分成具有预定义的第一尺寸的块(30)；通过将所述块(30)缩小尺寸至预定义的第二尺寸来创建(200)辅助映射(40)，所述预定义的第二尺寸小于所述预定义的第一尺寸；根据所述辅助映射(40)的每个块(30)的像素的亮度值，对所述辅助映射的每个块的像素进行排序(300)；根据所排序的像素对于每个块(30)确定处理参数(51，52)，所属的块(30)的像素必须借助所述处理参数来进行处理，以便实现亮度最大化和/或对比度最大化；根据所述处理参数(51，52)对处理函数(61，62)进行插值(500)；将所述处理函数(61，62)应用(600)在所述映射(20)的像素上，以便产生所述图像(10)。

Description

图像的实时亮度优化和对比度优化

技术领域

本发明涉及一种用于拍摄图像的方法。尤其实时地对图像的亮度和/或对比度进行优化。此外，本发明涉及用于执行该方法的一种计算机程序和一种控制设备。

背景技术

由现有技术已知用于优化图像的各种算法。因此，例如由以下公开内容已知AINDANE算法：li Tao和Vijayan K.Asari所著的《Adaptive and integratedneighborhood-dependent approach for nonlinear enhancement of colour images》(电子影像杂志，14(4):043006，2005年10月)。

此外，由Tsai,C.和Chou,C.J的以下公开内容已知SCRCLCE方法：《Image VideoProc》(2011)2011:6.doi:10.1186/1687-5281-2011-6。

然而，为了实时地处理图像，所有这些算法和方法都需要大量的计算资源。因此，相应地需要在台式计算机或笔记本电脑中提供的快速时钟驱动的CPU(英：CentralProcessing Unit，中央处理单元)。同样可以相应地使用快速GPU(英：GraphicsProcessing Unit，图形处理单元)或专用的图像处理硬件——例如相应配置的FPGA(英：Field Programmable Gate Array，现场可编程门阵列)。然而，在控制设备中通常不存在所有这些技术。控制设备尤其涉及嵌入式系统(英：embedded Systems)，所述嵌入式系统例如用于车辆、监测系统等，其中，不使用昂贵的硬件，以便保持低的系统成本。因此，不能使用所提及的优化方法。

发明内容

根据本发明的方法描述一种新的方案。可以有效地在SIMD(英：SingleInstruction,Multiple Data，单指令多数据)协处理器上(例如在ARM NEON协处理器上)使用该方法。因此，该方法可以最佳地在微处理器上实施。例如，该方法可以在分辨率为752×640像素的8位灰度图像上以每秒60帧使用，其中，仅需要ARM NEON协处理器的SIMD能力，并且其中仅出现最小的CPU负载。该方法也可以在其他SIMD架构上使用。

根据本发明的用于拍摄图像的方法包括以下步骤：首先，借助传感器检测周围环境区域。此外，产生具有预定义数量的像素的映射(Abbildung)，其中，像素说明亮度值。因此，该映射是所检测的周围环境区域的图像表示。传感器尤其是成像传感器。随后，将映射划分成具有预定义的第一尺寸的块。块的预定义的第一尺寸尤其相应于映射的如下特征的尺寸：这些特征应在后续的处理中被保留。然后，通过将块缩小(Herunterrechnen)到小于第一尺寸的预定义的第二尺寸来创建辅助映射。为此，尤其采用下采样方法。通过这种缩小，块内的像素数量降低，使得存在较少数量的像素可用于实施进一步的处理步骤。这能够实现随后的步骤：根据辅助映射的每个块的像素的亮度值，对这些像素进行排序。像素的这种排序能够简单且低开销地执行。尤其已知用于对像素进行排序的高效排序算法。通过所述缩小，像素的数量降低，使得能够执行快速排序。

尤其可以并行地实现这种排序，这相比于已知措施具有巨大优点。

在排序之后，根据所排序的像素确定处理参数。借助处理参数对每个块的像素进行处理，以便实现亮度最大化和/或对比度最大化。因此，逐块地进行参数的确定，分别进行亮度的局部优化和对比度的局部优化。因此能够降低用于确定处理参数的计算能力，因为始终总是仅局部地确定处理参数，而不是对于整个图像全局地进行确定。

随后，由处理参数对处理函数进行插值。通过处理函数能够对原始检测的映射的每个单独的像素进行处理。因此，最终将处理函数应用在映射的像素上。以这种方式产生图像。该图像因此具有最佳的亮度和最佳的对比度。在此，能够实时地在微处理器上执行整个方法，使得尤其在嵌入式系统中执行亮度优化和/或对比度优化。以这种方式尤其能够在车辆和/或监测系统和/或其他集成的应用中产生最佳图像。

从属权利要求包含本发明的优选扩展方案。

优选地设置，在确定处理参数时不考虑预定义数量的最大亮度值和/或最小亮度值。通过所述缩小，存在将不准确性引入辅助映射的风险。因此，如此实现所述缩小，使得将预定义数量的像素转换成单个像素。这些单个像素要么可以具有所有像素的平均值，要么仅具有待汇总的像素中的单个的值。在第一种情况下，不会将不准确性引入辅助映射中。在第二种情况下，存在产生图像噪声的风险。为了减小图像噪声而设置：针对每个块，不考虑预定义数量的最大亮度值和/或最小亮度值。为了确定处理参数，在每个块中仅使用如下数量的像素：所述数量的像素不具有极限值。在此，极限值可以视为最大亮度值或最小亮度值。尤其根据待处理的像素来进行极限值的定义。通过不考虑最大亮度值和/或最小亮度值，尤其定义分位数滤波器。

此外有利地设置，对于辅助映射的每个块，确定缩放因子作为处理参数。借助缩放因子对块的最大亮度值进行缩放，以便实现能够通过像素表示的最大亮度值。因此，使块的亮度最大化。同时确保不出现饱和，该饱和会导致图像信息丢失。因此，通过选择缩放因子确保：即使最亮的像素也仍然保持不发生饱和。因此，通过缩放因子使亮度较低的像素最大程度地变亮。

同样地，以有利的方式求取偏移值和乘法因子(Multiplikator)作为每个块的处理参数。尤其根据块的像素的最低亮度值来求取偏移值。优选根据块的像素的亮度值的分布来求取乘法因子。以这种方式，在减去偏移值并随后与乘法因子相乘之后，每个块的像素的亮度值能够在在最大亮度值与最小亮度值之间延伸。最大亮度值和最小亮度值是如下极限值：所述极限值能够通过像素表示。这意味着对比度被优化。尤其尽可能地充分利用能够通过像素实现的最大值范围。这意味着使较暗的像素最大程度地变暗，而使较亮的像素最大程度地变亮。同时确保不产生饱和，使得完全不存在信息丢失。同样确保不会丢失各个像素值，这意味着在计算上不会下降到零以下。因此再次确保不会出现信息丢失。

对于之前描述的能够通过像素表示的最大亮度值和/或最小亮度值，优选不考虑预定义的容差范围。这意味着，不将像素能够具有的最大值、而是将由理论上最大可能值减去容差范围计算得出的值视为像素的最大亮度值。这同样适用于最小亮度值，该最小亮度值由理论上最小可能的值(尤其值零)加上容差范围计算得出。以这种方式可以确保：在进一步处理中，尤其在使用(根据处理参数的插值)处理函数时，每个处理的像素安全且可靠地保持在能够显示的范围内。因此不会出现饱和，由此降低信息丢失的风险。

有利地，插值的步骤包括二维局部多项式插值。为此使用三阶多项式。三阶多项式有利地分别在三个相邻的处理参数上延伸。在两个多项式之间的过渡点处，多项式具有相同的值和相同的一阶导数。因此，处理函数在处理参数的整个范围上是连续且可微分的。特别有利地，如此进行多项式插值，使得首先在布置为矩阵的处理参数的一个方向上进行插值，随后在第二方向上进行插值。因此实现二维插值。这意味着，对于原始创建的映射的每个像素，可以计算出最终图像的所处理的像素。为此仅需要像素在X方向和Y方向上的坐标。特别有利地，多项式插值是二阶插值方法的第二步骤。在此，在第一步骤中进行像素的双线性插值，以便将像素扩展为像素块(例如扩展为8×8的像素块)。

有利地设置，第二预定义的尺寸相应于的8×8像素。因此，仅需对64个像素进行排序。可以通过由现有技术已知的双调排序法(bitonic-sorter)来高效地并行地对8×8的像素块进行排序。原则上，第二预定义的尺寸有利地匹配于NEON寄存器的数量。这意味着，8×16像素块表示借助常规NEON架构能够实现的最大第二预定义的尺寸。为了实现高效的排序，因此有利地设置，第二预定义的尺寸相应于8×8像素。

本发明还涉及一种计算机程序。计算机程序设置用于实施之前描述的方法。计算机程序尤其是一种计算机程序产品，该计算机程序产品包括如下指令：当所述指令在计算设备上实施时，该指令促使处理器执行之前描述的方法的之前描述的步骤。计算设备的处理器尤其涉及控制设备的微处理器。

本发明还包括一种机器可读的存储介质。在该机器可读的存储介质上存储有之前描述的计算机程序产品。

最后，本发明包括一种控制设备。控制设备用于实施之前描述的方法。因此尤其设置，该控制设备与用于信号传输的传感器耦合，以便能够对区域进行检测。特别有利地，控制设备还可以实施如之前所述的计算机程序。

之前描述的方法有利地不仅适用于彩色图像，而且也适用于灰度图像。在任何情况下都设置，在执行以上定义的方法时，像素说明彩色图像的亮度或灰度图像的灰度值。对于执行之前描述的方法而言，彩色图像的亮度并不重要相关，因此可以不考虑。像素有利地涉及说明亮度和/或灰度值的8位值。因此，这些值涉及刻度在0至255之间的亮度值。

附图说明

以下参考附图详细地描述本发明的实施例。在附图中：

图1示出用于执行根据本发明的实施例的方法的系统的示意图；

图2示出根据本发明的实施例的方法的流程图的示意图；

图3示出在根据本发明的实施例的方法期间的所排序的像素的示意图；

图4示出在执行根据本发明的实施例的方法情况下的根据第一替代方案来确定处理参数的示意图；

图5示出在执行根据本发明的实施例的方法情况下的根据第二替代方案来确定处理参数的示意图；

图6示出在执行根据本发明的实施例的方法情况下的二维插值的方向的示意图；

图7示出在执行根据本发明的实施例的方法期间的二维插值的方向的另一示意图；

图8示出在执行根据本发明的实施例的方法期间的二维插值的示意图。

具体实施方式

图1示意性地示出用于执行根据本发明的实施例的方法的系统。该系统包括控制设备1和传感器2。在控制设备1上优选能够实施以下描述的方法。该方法用于实时地拍摄和优化图像。在图2中示意性地示出该方法的流程图。

首先，借助传感器2检测100周围环境的区域。在此产生具有预定义数量的像素的映射20，所述像素分别说明亮度值。每个像素尤其是8位值，所述8位值表示所提到的亮度。例如，映射20可以包括752×640像素的分辨率。

映射20被划分成具有预定义的第一尺寸的块30。预定义的第一尺寸尤其相应于如下尺寸：无论如何(即使在处理之后)都存在的各个图像特征具有所述尺寸。随后，通过将块30缩小(Herunterrechnen)至预定义的第二尺寸来创建200辅助映射40。预定义的第二尺寸小于预定义的第一尺寸，并且所述预定义的第二尺寸尤其是8×8像素。

随后，根据辅助映射40的每个块30的像素的亮度值，对这些像素进行排序300。尤其通过已知的双调排序算法执行这种排序。有利地，所提到的双调排序算法可以以具有64×8位输入参数的NEON汇编语言实现。由此能够针对每个块的像素进行高效且并行的排序。因此能够在非常短的时间内执行像素的排序，由此，即使在SIMD协处理器(如ARM-NEON协处理器)上执行该方法时，也确保根据本发明的实施例的方法的实时性。有利地，所提到的ARM-NEON协处理器是如之前所述的控制设备1的一部分。

分类300的步骤的优点尤其在于，仅必须对有限数量的像素进行排序。如此，一方面，在创建200辅助映射40时通过缩小来在总体上减少待排序的像素的数量，另一方面，通过借助块30进行的划分又降低各个待排序的像素的数量。同时，在存储器使用方面存在优势，因为像素的排序不需要附加的存储器空间。相反，(通常基于直方图均衡的)常规优化方法将需要附加的存储空间来计算直方图。

根据所排序的像素来确定400处理参数51、52，必须借助所述处理参数处理块30的各个像素，以便实现亮度最大化和/或对比度最大化。尤其设置，根据第一处理参数51进行对比度最大化，而根据第二处理参数52进行亮度最大化。因此，处理参数51、52对于每个块可用。这意味着，处理参数的数量相应于块的数量。在此，处理参数可以包括用于处理像素的单个处理因子和/或多个处理因子。处理参数51、52能够分别布置成矩阵。在此，通过矩阵对处理参数51、52的表示相应于块30在辅助映射40内的布置。因此例如设置，矩阵左上角中的处理参数被分配给辅助映射40的左上的块30。这意味着，矩阵表示可以用于插值的各个基点(Stützpunkt)，以便生成对于整个映射20有效的处理函数61、62。为此，由处理参数51、52对处理函数61、62进行插值500。插值500尤其分两个阶段进行。在第一阶段中进行双极插值，其中，在双极插值中将单个像素扩展成8×8像素块。这可以以NEON汇编语言简单且低开销地实现。在第二阶段中，将各个处理参数51、52插值成块30的预定义的第一尺寸。该第二阶段不应生成如下插值的值：通过所述插值的值，超过原始数据组的限制(即处理参数的限制)。否则会存在如下风险：之前描述的第一阶段的双极插值被损坏。

作为最后的步骤，将处理函数61、62应用在600映射20的像素上。以这种方式能够创建图像10。在此，用于创建图像10的整个过程是实时的，由此尤其能够生成在亮度和对比度方面被优化的实时视频流。对于处理函数61、62又适用的是：优选存在第一处理函数61，通过该第一处理函数能够优化对比度，而通过第二处理函数62能够优化亮度。

以下参考图3至图8单独地描述根据本发明的方法的之前描述的步骤的各个方面。

在创建200辅助映射40时可以以不同的方式进行缩小。在任何情况下，都将预定义数量的像素结合成单个像素。这些单个像素要么可以具有所有所结合的像素的平均值，要么替代地仅具有待结合的像素中的单个的值。在第一种情况下，不会将不准确性引入到辅助映射40中，其中，同时增加计算开销，因为需要计算待结合的像素的平均值。因此，有利地进行所描述的第二可能性，即，将待结合的像素中的单个值分配给最终得到的像素。由于借此未考虑大量像素值，因此存在将图像噪声引入到辅助映射40中的风险。为了衰减这种噪声，在确定400处理参数51、52时，尤其对于每个块30不考虑预定义数量的最大亮度值5和/或最小亮度值4。这在图3中示出。

图3示意性地示出延伸区域3的表示，对于每个块30，像素的亮度值在该延伸区域3上延伸。为了求取处理参数51、52，仅使用中部区域6，从而不考虑预定义数量的最小亮度值4以及预定义数量的最大亮度值5。以这种方式实现分位数滤波器。因此可以有效地消除辅助映射40的可能的图像噪声。

图4示意性地示出第二处理参数52的确定。在此，应将原始像素8处理成改善的像素9。在图4中分别示出最大延伸区域7，该最大延伸区域表示每个像素可以具有的值域。通过第二处理参数52应使亮度最大化。因此确定缩放因子，该缩放因子用于对每个块30中的一个的像素的亮度值进行缩放。在图4中所示的示例中，原始像素8具有位于延伸区域7的下半部分中的亮度变化过程。根据缩放因子，能够在所处理的像素9中实现如下区域：该区域位于延伸区域7的上部最大区域中。仅不考虑上容差范围11。这意味着，通过缩放因子无法实现最大可能的值(255)，而是仅能够实现较小的值。

根据每个块30的最亮的像素来确定缩放因子。为此求取：应将块30的最亮的像素的值乘以哪个因子，以便获得能够通过像素表示的最大值(尤其减去上容差范围11)。以这种方式能够针对每个块30求取缩放因子，以便因此获得第二处理参数52。

图5示意性地示出用于确定第一处理参数的方案，该第一处理参数导致对比度优化。再次存在原始像素8，应将所述原始像素处理成改善的像素9。原始像素8再次在以下区域中延伸：该区域位于整个延伸区域7的下半部分，并且仅占据整个延伸区域7的非常小的部分。因此，求取偏移值和乘法因子，其中，根据所属的块30的像素的最低亮度值来求取偏移值，并且根据所属的块30的像素的亮度值的分布来求取乘法因子。以这种方式能够实现，将区域(原始像素8在该区域中延伸)扩展到整个延伸区域7。再次不考虑上容差范围11。同样忽略下容差范围12。因此，块30的像素分布在整个延伸区域7上(尤其减去上容差范围11和下容差范围12)，尤其提高相应的块30的对比度。

尤其在之前描述的第二阶段中，借助多项式插值来进行插值600，其中，使用三阶多项式。插值500是两阶段的，其中，区分水平方向与垂直方向。因此，能够求取水平地布置在处理参数51、52的矩阵中的水平处理参数51a、52a。借助三阶多项式在这些水平处理参数51a、52a上进行插值。在此，插值500在三个基点上逐段地进行，这表示在水平方向上在三个处理参数51a、52a上逐段地进行。在此设置，在两个多项式13之间的过渡点14处，所提到的多项式13具有相同的值和相同的一阶导数15，分别通过逐段地插值求取所述两个多项式。因此尤其实现：多项式13全部形成连续且可微分的曲线，该曲线在处理参数51a、52a的所有水平值上延伸。在图7中示意性地示出这一点，其中，在图7中将水平处理参数51a、52a线性连接以进行比较。由图7可以看出，分别逐段地在三个点上进行的多项式插值实现：借此获得的水平处理函数61a、62a不超过或仅最小地超过原始值(即水平处理参数51a、52a)。通过在过渡点14处设置相同的值和相同的一阶导数15，实现连续且随处可微的曲线。过渡点14例如可以是两个处理参数51、52之间的中间点或处理参数51、52本身。

在图8中示出，在水平水平方向上进行插值之后，在垂直方向上进行插值。因此，除了水平处理函数61a、62a之外，还求取垂直处理函数61b、62b。将这两个函数合并，以便因此获得二维处理函数61、62。因此，可以将处理函数61、62应用在映射20的各个单独的像素上，以便改善亮度和/或对比度。

通过将处理函数61、62应用在映射20上获得图像10。在此，要么可以使用第一处理函数61来优化对比度，要么可以使用第二处理函数62来优化亮度，要么使用两个处理函数61、62。应注意，对比度优化和亮度优化并非仅分别用于实现所描述的优化，而是，亮度优化也可以改善对比度，并且对比度优化也可以改善亮度。相应函数的名称仅说明主要应实现哪种效果。

与由现有技术已知的直方图均衡相反，借此提供如下可能性：如何能够借助简单的计算设备实现映射的实时优化。因此不必单独地进行直方图均衡。更确切地说，通过之前描述的在亮度和对比度方面的优化，可以实时地实现可靠的优化。在此，计算要求非常低，使得能够在微处理器上执行。

Claims (10)

1.一种用于拍摄图像(10)的方法，所述方法包括以下步骤：

借助传感器(2)检测(100)区域，并且产生所述区域的具有预定义数量的像素的映射(20)，所述像素说明亮度值，以及将所述映射(20)划分成具有预定义的第一尺寸的块(30)，

通过将所述块(30)缩小至预定义的第二尺寸来创建(200)辅助映射(40)，所述预定义的第二尺寸小于所述预定义的第一尺寸，

根据所述辅助映射(40)的每个块(30)的像素的亮度值，对所述辅助映射的每个块的像素进行排序(300)，

根据所排序的像素对于每个块(30)确定(400)处理参数(51，52)，必须借助所述处理参数来处理所属的块(30)的像素，以便实现亮度最大化和/或对比度最大化，

由所述处理参数(51，52)对处理函数(61，62)进行插值(500)，

将所述处理函数(61，62)应用(600)在所述映射(20)的像素上，以产生所述图像(10)。

2.根据权利要求1所述的方法，其特征在于，对于每个块(30)，在确定所述处理参数(51，52)时不考虑预定义数量的最大亮度值(5)和/或最小亮度值(4)。

3.根据以上权利要求中任一项所述的方法，其特征在于，对于所述辅助映射(40)的每个块(30)，确定缩放因子作为处理参数(51，52)，借助所述缩放因子对所述块(30)的最大亮度值进行缩放，以便实现能够通过像素表示的最大亮度值。

4.根据以上权利要求中任一项所述的方法，其特征在于，对于每个块(30)，求取偏移值和乘法因子作为处理参数(51，52)，其中，根据所述块(30)的像素的最低亮度值求取所述偏移值，并且根据所述块(30)的像素的亮度值的分布求取所述乘法因子，使得在减去所述偏移值并随后与所述乘法因子相乘之后，所述块(30)的像素的亮度值在能够通过像素表示的最大亮度值与最小亮度值之间延伸。

5.根据权利要求3或4所述的方法，其特征在于，对于能够通过像素表示的最大亮度值和/或最小亮度值，不考虑所述像素的预定义的容差范围(11，12)。

6.根据以上权利要求中任一项所述的方法，其特征在于，所述插值(500)的步骤包括：分别借助三阶多项式分别在三个相邻的处理参数(51，52)上进行二维逐段的多项式插值，其中，在两个多项式(13)之间的每个过渡点(14)处，所述多项式(13)具有相同的值和相同的一阶导数(15)。

7.根据以上权利要求中任一项所述的方法，所述第二预定义的尺寸相应于8×8像素。

8.一种计算机程序，所述计算机程序设置用于实施根据以上权利要求中任一项所述的方法。

9.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求8所述的计算机程序。

10.一种控制设备(1)，所述控制设备设置用于实施根据权利要求1至7中任一项所述的方法。

Images