CN101854557A

CN101854557A - 实时图像生成器

Info

Publication number: CN101854557A
Application number: CN200910216919A
Authority: CN
Inventors: 田升宪
Original assignee: Dongbu Electronics Co Ltd
Current assignee: DB HiTek Co Ltd
Priority date: 2008-12-31
Filing date: 2009-12-31
Publication date: 2010-10-06
Also published as: US8452094B2; US20100166301A1; TW201030669A; KR20100079546A; KR101539379B1

Abstract

本发明披露了一种实时图像生成器。实时图像生成器包括第一模块，其仅提取来自图像的RGB(红色、绿色和蓝色)值的具有SHV(色调、饱和度和值)域的亮度分量；第二模块，其利用所提取的亮度分量(V)和自然对数值来输出对于全部图像的亮度分量的对数总和值和像素计数值；以及第三模块，其利用第二模块中输出的自然对数总和值和像素计数值来计算图像的亮度平均值，该第三模块利用计算所得的亮度平均值产生包括对于每一亮度范围的色调映射运算因子(Ld)以得到最终的输出图像的色调映射查询表，其中该第三模块通过使输入图像的RGB值与色调映射查询表的相应色调映射运算因子(Ld)相乘而输出色调映射的RGB值。

Description

实时图像生成器

相关申请的引用

本申请要求享有于2008年12月31日提交的韩国专利申请No.10-2008-0138068的优先权，将其全部内容通过引用方式结合于此以供参考。

技术领域

本发明涉及图像处理技术，更具体地，涉及实时宽动态范围(WDR)图像生成器。

背景技术

传统的WDR图像生成器可以被分成TRC和TMO(色调映射操作)两类。TRC型计算图像的适当色调曲线，由此TRC型基于该适当的色调曲线实施色调映射。TMO型基于预先计算的图像的统计结果通过利用计算适合于每一像素的亮度分量的运算因子来实施色调映射。

TRC型具有较短的计算时间和较短的任务完成时间，但会使其性能变差。相反，TMO型具有较好的性能，但其计算时间相对较长且任务完成时间相对较长。

图1中示出了体现了这样的TMO型色调映射的WDR图像生成器的结构。

图1是示出了传统WDR图像生成器的框图。

图1中示出的向RGB块1转换的色彩空间将输入图像的RGB(红色、绿色和蓝色)信息转移至具有亮度分量(Y)和色度分量(C)的YCbCr色彩空间中。这里，所得到的亮度分量(Y)的数学公式如下：

[式1]

L_w＝0.2654*R_W+0.6704*G_W+0.0642*B_w

景象亮度计算模块2仅输出从色彩空间转换至RGB1中的YCbCr色彩空间中转换的亮度分量(L_w(i，j和t_k))。

对数平均亮度计算模块5利用景象亮度计算2的输出累加值和自然对数来计算图像的总亮度。该计算利用以下式进行：

[式2]

L_{avg} = \exp (\frac{Σ \log (δ + L_{w})}{N})

对数平均亮度计算5利用以上的式1和式2计算图像的亮度分量的平均值(L_avg(t_k-1))，并且其利用以下的线性换算参数‘α’来导出下一图像的L_s：

[式3]

L_{s} (i, j, t_{k}) = \frac{α}{L_{avg} (t_{k - 1})} * L_{w} (i, j, t_{k})

可应用于图像的运算因子L_d利用由式3导出的L_s如以下示出的式4而导出：

[式4]

L_{d} = \frac{L_{s} (i, j, t_{k}) * (1.0 + \frac{L_{s} (i, j, t_{k})}{L_{white}^{2} (t_{k - 1})})}{1.0 + L_{s} (i, j, t_{k})}

将由公式4得到的运算因子L_d应用于由以下式5输入的彩色图像C_w并得到最终输出图像C_d。这里，C_d与Rd、G_d和B_d有关。

[式5]

C_{d} = L_{d} * {(\frac{C_{w}}{L_{w}})}^{γ}

这样的传统WDR图像生成器关于自然对数和幂函数来实施对数运算。正因为如此，传统的WDR图像生成器对于实施执行另一图像的处理以及自然对数和幂函数的对数运算具有很大的负载。此外，其很难与其他的模块实施同步。

此外，不论何时将每一像素输入到模块中，传统WDR图像生成器必须要实施以上的式3至式5。正因为如此，传统的WDR图像生成器必须实施4次需要最大容量和较长时间的除法对数运算。因此，传统WDR图像生成器不适合用于需要高时标速率的分辨率高于800万像素水平的高分辨率图像。

此外，传统WDR图像生成器使用如式1所示的用于进行实时图像处理的色彩空间转换计算，并且由于真实图像中的色彩分量和亮度分量之间的相关性会引起图像的色彩失真。为了防止这样的色彩失真，需要对具有较大计算量的运算因子的例如式3至式5的色彩失真进行校正。此外，由于加入了式5的调谐点(γ)，会使图像处理算法的灵活性变差。

发明内容

因此，本发明涉及一种实时图像生成器。

本发明的一个目的是提供一种用于处理高分辨率图像的实时高速图像处理的实时图像生成器。

本发明的另一个目的是提供一种即使是当用于处理图像的其他函数正在运算时也能够进行实时图像处理的实时图像生成器。

下文将参考附图在说明书中部分阐述本发明的其他优点、目的以及特征，并且根据对下文的分析，部分将对本领域技术人员变得显而易见，或从本发明的实践中获知。本发明的目的和其他优点可以由本发明的说明书和权利要求以及附图中所具体指出的结构来实现和获得。

为了实现这些目的和其他优点，并且根据本发明的目的，正如本文中所体现和广泛描述的，实时图像生成器包括第一模块，其仅提取来自图像的RGB(红色、绿色和蓝色)值的具有SHV(色调、饱和度和值)域的亮度分量；第二模块，其利用所提取的亮度分量(V)和自然对数值来输出对于全部图像的亮度分量的对数总和值和像素计数值；以及第三模块，其利用第二模块中输出的自然对数总和值和像素计数值来计算图像的亮度平均值，该第三模块利用计算所得的亮度平均值产生包括对于每一亮度范围的色调映射运算因子(Ld)以得到最终的输出图像的色调映射查询表，其中该第三模块通过使输入图像的RGB值与色调映射查询表的相应色调映射运算因子(Ld)相乘而输出色调映射的RGB值。

应当理解的是，本发明上文中的一般性描述和下文的详细描述都是示例性和解释性的，并且旨在提供如权利要求所述的本发明的进一步理解。

附图说明

本发明中包含的附图是为了对本发明的披露内容进一步说明，其包含在本申请中，并构成了本申请的一部分，与用于解释本发明的披露内容的精神相结合对本发明的披露内容进行描述。

在附图中：

图1是举例说明传统的WDR图像生成器的结构的框图；

图2是举例说明用于图像处理的图像管道的框图；

图3是举例说明包括WDR模块的广域色调映射模块的框图；

图4是举例说明根据本发明的对数查询表(LOG的LUT)的实施方式的图；

图5是举例说明在根据本发明的查询表中用于输入图像自然对数的方法的图；

图6是举例说明在固件模块中的图像处理计时的图；

图7是举例说明局部色调映射模块的图；以及

图8是举例说明用于减少应用于局部色调映射的逻辑计算的三角状函数的图。

具体实施方式

下面将参照附图，详细描述本发明的具体实施方式。可以的话，在该多个附图中，相同的附图标号应用于相同或类似的部件。

如下，将参照附图描述根据本发明的示例性实施方式的实时图像生成器。

图2是举例说明用于图像处理的图像管道的框图。

图2所示的图像管道2的WDR图像处理功能包括计算在TMO型色调映射函数中的每个像素的运算因子(operator)的处理。简化自然对数和指数函数以进行实时处理，而不影响在图像处理中的其他函数。

如图2所示，WDR处理模块14设置在RGB处理模块13与RGB对YUV处理模块15的中间，并在色彩空间由RGB转换至YUV之前进行WDR处理。具体地，将RGB数据输入至WDR处理模块中，并输出RGB数据。

如图2所示，将图像管道10设置为实时输出该输入图像，且根据本发明的图像管道10的多个模块具有辅助结构即固件模块20。本文中，固件模块使用具有高arm 9系列中心性能(coreperformance)的高版本。

图2示出的传感器界面模块11、Bayer处理模块、Y处理模块16和C处理模块17是众所周知的图像管道10的构造，因此将省略其详细描述。

如下，设置在RGB处理模块13与RGB对YUV处理模块15之间的WDR模块14具体地与固件模块20相连通。

图2示出的WDR处理模块14包括广域色调映射模块和局部色调映射模块。

图3是举例说明包括WDR模块的广域色调映射模块的框图。

如图3所示，广域色调映射模块包括WDR测光模块50和WDR广域色调映射模块60。

首先，根据本发明，仅使用来自图像的RGB值的HSV域的亮度分量(V)。因此，在RGB对V模块40中的图像的RGB值中仅提取亮度分量(V)，而不包括作为颜色分量的H和S分量，并将RGB对V模块40的输出输入至WDR测光模块50中。

WDR测光模块50计算图像的自然对数平均值以便进行下一图像帧(frame)的广域色调映射，其将自然对数平均值输出至WDR广域色调映射模块60。即，如果当前图像帧是第n个图像帧，则利用在WDR测光模块50中获得的自然对数平均值来生成WDR广域色调映射模块60的TMO查询表(TMO的LUT)62，其将用于第(n+1)个图像帧。具体地，计算对数亮度总和模块51通过利用对数查询表(LOG的LUT)52的自然对数来计算RGB对V模块40输出的亮度分量的对数总和。

如图3所示，计算对数亮度总和模块51的输出连同所得的图像的像素计数值一起记录在寄存器53中。在这里，计算对数亮度总和模块51的输出与像素计数值在基准脉冲(H_ref)的一个周期的最后脉冲中记录在寄存器53中。

WDR测光模块50的两个寄存器53应该分别是32位的，且利用在基准脉冲(H_ref)的一个周期的最后脉冲完成时更新的寄存器53的写入值来产生对于实际的WDR广域色调映射模块60的每一像素计数值的TMO的LUT 62。本文中，TMO的LUT 62对应于硬件方面的SRAM。

即，将在WDR广域色调映射模块60的TMO的LUT 62中更新的寄存器53的写入值写入在V_sync失效周期，并将其应用至下一图像帧。

如下，将描述对应于通过利用LOG的LUT 52的自然对数在RGB对V模块40中输出的亮度分量的性能计算处理。通常，进行自然对数处理以得到相对应帧的自然对数平均值。然而，根据本发明，该LOG的LUT 52包括32阶(step)，且其预测并读取相对应亮度的自然对数值。这时，在LOG 52的查询表中使用13×32-位(＝416位)SRAM。

图4是举例说明根据本发明的对数查询表(LOG的LUT)的构成的图。

如果自然对数的查询表对应于输出图像的所有亮度值0～1023，则需要使用13×1024位＝13299位＝12.987字节，这是难于使用的。

根据本发明，在如图4所示的构成对数查询表52的32阶中得到样本，并查询和预测具有其中包括的输入图像的周期。该实施方式在图5中示出。

图5是举例说明在根据本发明的LOG的LUT中相对于输入图像应用自然对数的方法的图。

如果给出对应于在WDR测光模块50中输入的亮度值(V_n、V_cur和V_n+1)的自然对数值(Y_n、Y_cur、Y_n+1)，则Y_cur可由下式6得到：

[式6]

Y_{cur} = \frac{(V_{n + 1} - V_{cur}) * Y_{n} + (V_{cur} - V_{n}) * Y_{n + 1}}{(V_{n + 1} - V_{cur}) + (V_{cur} - V_{n})}

由于本发明在自然对数运算中使用查询表，减少了逻辑运算，并由此改进了图像处理速度。即，在实时图像生成器中用于计算该图像的自然对数值的自然对数运算形成了32阶查询表，并因此对于自然对数运算的逻辑运算减少，并且提高了速度。此外，在图像处理中实时运算可以不影响其他的函数模块。

如下，将描述通过利用计算对数亮度总和模块51的输出与像素计数值而产生WDR广域色调映射模块60的TMO的LUT 62的处理。

在通过利用上述LOG的LUT 52和式6而得到对于输出图像的自然对数值之后，将在所感兴趣的区域(ROI)中的像素的对数亮度(亮度的对数)与像素计数值的总和在寄存器53中进行更新。该更新是在当相对于所感兴趣的区域(ROI)的基准脉冲(H_ref)的最后脉冲完成时进行的。

如下式7所示，在V_sync失效周期完成之前，从最后脉冲完成时，通过利用在固件模块20(图3中的70)中的寄存器53的两个值计算输入图像的平均值。

[式7]

获得图像的平均值(L_avg)之后，对于如式8所示的每一个亮度范围计算Ld(TMO)，以产生TMO的LUT 62。

[式8]

L_{d 1} = \frac{(L_{s} * (1 + \frac{L_{s}}{L_{\max}^{2}}))}{(1 + L_{5})}

[式9]

L_{s} = \frac{α * V_{cur}}{L_{avg}}

为了计算运算因子Ld1，利用α计算Ls，其中α是如式9所示的线性换算因数。Ld1是应用于图像的运算因子，通过利用式9计算的Ls进行计算。

在利用上式8和式9产生运算因子Ld1之后，所产生的Ld1对应于输入图像的位水平(bit level)例如8位或10位进行换算。之后，如在以下式10中所示计算最终的Ld1运算因子：

[式10]

式10中的“最大LuVal”是指输入图像的所有亮度值0～255或0～1023中最大的一个。在8位输入图像的情况下，最大值是255，在10位输入图像的情况下，其为1023。当在式8至式9中输入“V_cur＝最大LuVal”时，计算最大的运算因子“最大Ld”。

相对于例如8位输入图像情况下的0～255以及10位输入图像情况下的0～1023的亮度范围，进行式8至式10的计算，以完成TMO的LUT 62。

根据本发明的TMO的LUT 62在使用具有相对高的中心容量版本的arm9系列的固件模块20(图3中的70)中计算，在下一个图像帧开始之前，在同步失效周期(V_sync失效)中将其对应于所对应的TMO的LUT 62而输入至寄存器中。结果，根本未使用其他的硬件逻辑，且在上式中利用除法运算时，逻辑运算因子的数目不会增加。

图6举例说明了在固件模块20(图3中的70)进行上式8至式10的处理之后，对应于TMO的LUT的寄存器的应用的计时。具有相对高的中心容量的arm9系列固件模块20(图3中的70)可实现200Mhz的高速，因此固件模量的运算性能计时可以是图6中所示的计时。

如下，将描述广域色调映射运算。

如果当前的图像帧是第n个图像帧，则图3所示的TMO的LUT62是对应于在第(n+1)个图像帧中进行的色调映射运算(TMO)的查询表。

如图3所示，在第n个图像帧中通过利用第(n+1)个获得的TMO查询表62来进行利用输入图像的R、G和B值的运算因子Ld的多重运算。作为对应于广域色调映射的结果输出了输出RGB值(R_o、G_o和B_o)。

如下，将描述局部色调映射模块。如果实施上述广域色调映射，则亮区域保持当前值，而暗区域的像素会相对于当前的摄像机图案而更亮，例如可改进总对比度。然而，这样的广域色调映射改进了图像的总对比度，并使得局部对比度变差，例如，总体浑浊输出图像。

为了改进这种局部对比度，应该根据本发明在广域色调映射之后进行局部色调映射以改进局部对比度。

图7是举例说明局部色调映射模块的图。

在RGB对V模块80中输入的R、G和B值是基于广域色调映射的结果而获得的Ro、Go和Bo。当前输入的R_i、G_i和B_i值被再转换为RGB对V模块80中的亮度分量，并将所转换的亮度分量输入至线路存储器90中。因此，在局部色调映射运算模块91中进行下式11中示出的运算：

[式11]

式11所示的点表示卷积(convolution)。

在计算式11中的3×3函数核中的局部平均之后，可以计算作为式11的第2行第2列的中心数的V22与局部平均之间的差值(差Val)。

[式12]

差Val＝V₂₂-局部_Avg

为了改进当前输入图像的像素中心的局部对比度，将由式12计算的差值(差Val)加入至当前的像素中心值(V22)，如下式13所示：

[式13]

V_out＝V₂₂+差Val

即，如果局部平均值小于中心像素值，则将差值(差Val)的绝对值加入至中心值(V22)，以相应地提高局部平均值。如果局部平均值大于中心像素值，则从中心像素值(V22)中减去差值(差Val)的绝对值，以便在局部区域中增大对比度。

这种局部色调映射弥补了由广域色调映射引起的总体图像对比度变差的特性。

可由上式13得到局部色调映射的结果，在使用差值(差Val)其本身的情况下，本文中过多地强调了局部对比度，使得图像看起来不太协调。因此，可将上式13转化成下式14而使用：

[式14]

V_out＝V₂₂+重量(V₂₂)*差Val

通过利用图8所示的简单三角状函数来计算式14中的“权重”，以减少逻辑运算。图8是举例说明用于减少逻辑计算的应用于局部色调映射的三角状函数的图。

制成了利用图8所示的三角状函数的权重查询表93，以进行相应的权重值对从局部色调映射运算模块91输出的差值(差Val)的相乘运算。为了该相乘运算，设置了乘数92，将中心值(V_c)例如V₂₂加入至乘数92的输出中。本文中，为了该添加，进一步设置了加数94。

在计算输入与输出的比例之后，经过延缓器97的输入图像(R_i、G_i和G_j)利用所计算的比例进行相乘运算，以计算最终的输出(R_o、G_o和B_o)，如式15所示。用于计算比例的输入为由式14计算的V_out(＝V_o)，而输出为中心值(V_c)。

[式15]

R_o＝R_i*比例

G_o＝G_i*比例

B_o＝B_i*比例

本文中，比例为V_o/V_c，即中心值与加数94的输出(V_o)的比值。

根据本发明，存在以下的影响。

首先，制作对数查询表代替自然对数运算。结果，减少了对数运算，并相应地提高了图像处理速度。即，根据本发明的32阶对数查询表将代替根据传统的实时图像生成器的用于计算对数平均值的自然对数运算，由此，可以减少用于进行自然对数运算的逻辑运算。结果，足够高地改进了图像处理速度，保障了实时图像处理，而不会对其他函数由任何影响。

此外，传统的TMO类型逻辑运算的复杂性得到改进，因此改进了图像处理速度。即，在基于传统的TMO的WDR运算法则中，需要进行对于每一像素的色调映射运算。因此，需要更多逻辑运算的除法运算的使用将增多，并且对于每一像素需要进行其他的运算逻辑。结果，传统的TPM类型逻辑运算具有降低总运算速度的缺点。因为在例如，在SVGA水平下低于800×600的低分辨率图像中时标速率并不高，这是没问题的。在像素水平高于800万像素的表现高像素数码静止摄影中，需要高的时标速率。基于传统的色调映射运算的WDR运算法则并不适于这种情况。然而，根据本发明，转换了需要更多运算的色调映射运算，成为查询表形式，且该所需的色调映射运算查询表是以单一框表形式一次形成的。

此外，由根据本发明的图像的RGB值，仅仅使用了HSV域亮度分量。结果，不会出现颜色失真。即，根据传统的图像生成器，如式1所示，在亮度分量计算中还使用了颜色分量。因为亮度分量与颜色分量之间存在差异，所以出现了颜色失真。然而，根据本发明，在本发明仅使用了HSV域亮度分量，并在颜色相关分量SV平面与亮度相关分量V平面之间形成了完全的正交关系。结果，将所需的运算简单转换为如式7至式10所示。

此外，计算了亮度相关分量的输入V_i与色调映射运算的输出V_o。该输出与输入的比例(比例＝Vo/Vi)简单地与输入R、G和B值相乘，由此，将输出确定等于将HSV域中的色调映射运算转换成HSV和RGB而计算的输出。结果，本发明仅使用了转换的亮度分量，而未通过将RGB转换为HSV而使用三个分量(H、S和V)中的全部。此外，减少了用于将RGB转换成HSV或与之相反的逻辑运算并减少所使用的存储器。

很明显，只要不违背本发明的精神和保护范围，本领域技术人员可以作出各种改变和变型。

因此，本发明的目的在于将本发明的各种实施方式的改变和变型包括在本发明所附权利要求范围之内。

Claims

1.一种实时图像生成器，包括：

第一模块，仅提取具有来自图像的RGB(红、绿和蓝)值的SHV(色调、饱和度和值)域的亮度分量；

第二模块，输出通过使用所提取的亮度分量(V)与自然对数值而相对于整个图像的亮度分量的对数总和值与像素计数值；以及

第三模块，通过利用在所述第二模块中输出的自然对数总和值与像素计数值而计算图像的亮度平均值，所述第三模块形成了色调映射查询表，包括对于每一亮度范围的色调映射运算因子(Ld)，以通过使用所计算的亮度平均值获得最终的输出图像；

其中，所述第三模块通过将所述色调映射查询表中对应的色调映射运算因子(Ld)与输入图像的RGB值相乘而输出色调映射的RGB值。

2.根据权利要求1所述的实时图像生成器，其中，所述第二模块包括通过利用当前图像帧的自然对数值而用于处理产生的下一帧图像的自然对数值的对数查询表。

3.根据权利要求2所述的实时图像生成器，其中，所述第二模块包括：

计算对数亮度总和模块，计算相对于由第一模块提取的所述亮度分量的自然对数值的总和；

寄存器，用于写入所述计算对数亮度总和模块和所述像素计数值的输出。

4.根据权利要求3所述的实时图像生成器，其中，在基准脉冲的单一周期的最后脉冲中，将所述计算对数亮度总和与所述像素计数值的所述输出写入在所述寄存器中。

5.根据权利要求2所述的实时图像生成器，其中，包括自然对数值的对数查询表具有所述输入图像的所有亮度范围的32阶样本。

6.根据权利要求1所述的实时图像生成器，其中，所述色调映射查询表包括：

L_avg是通过利用式1计算的亮度平均值；

通过利用所计算的亮度平均值(L_avg)、线性换算系数(α)、以及当前图像的亮度分量(V_cur)的式2

L_{s} = \frac{α * V_{cur}}{L_{avg}}

而导出L_s；

L_d1是通过利用式3

L_{d 1} = \frac{(L_{s} * (1 + \frac{L_{s}}{L_{\max}^{2}}))}{(1 + L_{5})}

而应用于下一个图像的运算因子；以及

Ld是对应于所述输入图像的位水平换算之后，通过利用式4计算出的最终运算因子，以及

式4中的“最大LuVal”是指所述输入图像的所有亮度值中的最大亮度值，而“最大Ld”是当在式2至式3中输入“V_cur＝最大LuVal”时，作为计算出的最大的运算因子的值。

7.根据权利要求1所述的实时图像生成器，进一步包括：

局部色调映射模块，由所述第三模块输出的所述色调映射RGB值，用于改进对应于所述图像的像素中心中的局部对比度。

8.根据权利要求7所述的实时图像生成器，其中，所述局部色调映射模块包括：

转换模块，从所述第三模块的输出仅转换成亮度分量；

线性存储器，将所述转换模块的输出写入其内；

局部色调映射运算模块，通过利用写入至所述线性存储器中的亮度分量，计算N×N核函数中的核函数中心值与计算出的局部平均值之间的差值，所述局部色调映射运算模块通过将所述计算的差值加入到所述核函数中心值中而调整N×N区域的对比度，以改进所述像素中心的所述局部对比度。

9.根据权利要求8所述的实时图像生成器，其中，如果所述局部平均值小于所述核函数中心值，所述局部色调映射运算模块通过利用将所述差值的绝对值加入到所述中心值中而计算出的值而提高所述N×N核函数区域的对比度，

如果所述局部平均值大于所述核函数中心值，所述局部色调映射运算模块通过利用从所述中心值中减去所述差值的绝对值而计算出的值而提高所述N×N核函数区域的对比度。

10.根据权利要求8所述的实时图像生成器，其中，所述局部色调映射运算模块通过加入所述差值与对于所述核函数中心值的预定权重值相乘而计算出的值来调节所述N×N核函数区域的对比度。