CN105163047B - 一种基于色彩空间转换的hdr图像生成方法、系统及拍摄终端 - Google Patents

Abstract

本发明公开了一种基于色彩空间转换的HDR图像生成方法、系统及拍摄终端，其通过获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像，并通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，然后分别对所述的各个图像的亮度分量进行映射处理和融合处理得到融合亮度分量，以及对所述的各个图像的色彩分量进行融合处理得到融合色彩分量，最后将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成得到HDR图像；从而得到更好的去鬼影效果，并且只对亮度分量进行CRF估计，大大提升了算法的效率，便于推广在手机、数码相机或平板电脑等配置有摄像头的拍摄终端上。

Description

一种基于色彩空间转换的HDR图像生成方法、系统及拍摄终端

技术领域

本发明涉及图像处理技术领域，特别是一种基于色彩空间转换的HDR图像生成方法及其应用该方法的系统、拍摄终端。

背景技术

高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，特别是在明暗相差较大的室内环境中拍照时，开启相机HDR功能的拍照效果明显更加柔和清晰，目前很多相机均带有该功能，但传统的HDR图像生成方法是根据不同的曝光时间的LDR(Low-Dynamic Range)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。由于欠曝光图像在亮处保留了较丰富的信息，而过曝光图像在暗处保留了较丰富的信息，所以在将多张图像合成为结果图时，结果图中的每个像素的像素值是结合了多张图像中的对应像素的像素值而计算出来的，可见这种方法是利用了多张图像的信息来进行合成的，能够更好的反映人真实环境中的视觉效果。但是传统的使用多张图像进行合成的方法是将多张图像直接叠加在一起来合成图像，由于不同的图像在同一位置的像素所占权重不同，并且在拍照时时常发生手的抖动，所以往往是多张图像不能完全对齐，这样就会导致合成的图像出现鬼影。

发明内容

本发明为解决上述问题，提供了一种基于色彩空间转换的HDR图像生成方法、系统及拍摄终端，能够更有效的保留图像细节，并且去鬼影效果更好。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种基于色彩空间转换的HDR图像生成方法，其包括以下步骤：

10.获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像；

20.将所述的低曝光度图像、正常曝光度图像、高曝光度图像通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离；

30.对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量；

40.对所述的各个图像的色彩分量进行融合处理，得到融合色彩分量；

50.将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成，得到HDR图像。

优选的，所述的步骤10中的低曝光度图像、正常曝光度图像、高曝光度图像分别为一张或一张以上，并对曝光度不同的各张图像进行物理对齐。

优选的，所述的步骤20中通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，其转换前的色彩空间为RBG色彩空间，转换后的色彩空间为YUV色彩空间，所述的亮度分量为YUV色彩空间的Y通道信息，所述的色彩分量为YUV色彩空间的U通道信息和V通道信息。

优选的，所述的步骤20中通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，其转换前的色彩空间为RBG色彩空间，转换后的色彩空间为LAB色彩空间，所述的亮度分量为LAB色彩空间的L通道信息，所述的色彩分量为LAB色彩空间的A通道信息和B通道信息。

优选的，所述的步骤30中对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量，进一步包括以下步骤：

31.对所述的各个图像的亮度分量分别进行相机反映函数的映射处理，得到亮度映射图；

32.将所述的各个图像的亮度映射图进行加权求和的融合处理，得到亮度辐射图；

33.对所述的亮度辐射图进行色调映射处理，得到最终的融合亮度分量。

优选的，所述的步骤40中对所述的各个图像的色彩分量进行融合处理得到融合色彩分量，是将所述的低曝光度图像、高曝光度图像的色彩分量分别与正常曝光度图像的色彩分量进行差值计算和阈值计算，将所述的低曝光度图像、高曝光度图像的色彩分量的信息补充到正常曝光度图像，得到融合色彩分量。

其次，本发明提供一种基于色彩空间转换的HDR图像生成系统，其包括：

图像获取模块，用于获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像；

色彩空间转换模块，用于将所述的低曝光度图像、正常曝光度图像、高曝光度图像通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离；

亮度分量融合模块，用于对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量；

色彩分量融合模块，用于对所述的各个图像的色彩分量进行融合处理，得到融合色彩分量；

色彩空间逆转换模块，用于将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成，得到HDR图像。

优选的，所述的亮度分量融合模块进一步包括：

CRF映射单元，其对所述的各个图像的亮度分量分别进行相机反映函数的映射处理，得到亮度映射图；

加权求和单元，其将所述的各个图像的亮度映射图进行加权求和的融合处理，得到亮度辐射图；

色调映射单元，其对所述的亮度辐射图进行色调映射处理，得到最终的融合亮度分量。

另外，本发明还提供一种拍摄终端，其特征在于，该拍摄终端包括如上所述的基于色彩空间转换的HDR图像生成系统。

优选的，所述拍摄终端包括：手机、数码相机或平板电脑。

本发明的有益效果是：

本发明的一种基于色彩空间转换的HDR图像生成方法、系统及拍摄终端，其通过获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像，并通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，然后分别对所述的各个图像的亮度分量进行映射处理和融合处理得到融合亮度分量，以及对所述的各个图像的色彩分量进行融合处理得到融合色彩分量，最后将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成得到HDR图像；从而得到更好的去鬼影效果，并且只对亮度分量进行CRF估计，大大提升了算法的效率，便于推广在手机、数码相机或平板电脑等配置有摄像头的拍摄终端上。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于色彩空间转换的HDR图像生成方法的流程简图；

图2为本发明基于色彩空间转换的HDR图像生成系统的结构示意图；

图3为本发明拍摄终端的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于色彩空间转换的HDR图像生成方法，其包括以下步骤：

10.获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像；

20.将所述的低曝光度图像、正常曝光度图像、高曝光度图像通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离；

30.对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量；

40.对所述的各个图像的色彩分量进行融合处理，得到融合色彩分量；

50.将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成，得到HDR图像。

所述的步骤10中的低曝光度图像、正常曝光度图像、高曝光度图像分别为一张或一张以上，并对曝光度不同的各张图像进行物理对齐。对齐的方法可以是中阈值位图对齐、特征点对齐、光流法对齐、块匹配对齐、基于分层模型的对齐；各种对齐方法的介绍如下：

中阈值位图对齐：这个算法是用递归的方式做的，每次都把图片缩小成一半大小，从底层(最小)开始，往{(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)}这九个方向移动，找出其中最“适合”的一个移动方向调整之，传回上层。

特征点对齐：特征点对齐指的是先检测出图像中的特征点，然后利用相对应的特征点在不同图像中的位置进行对齐。现今比较流行的算法有SIFT和SURF等。

光流法对齐：光流法用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动，实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法，然后利用检测出来的移动信息进行对齐。

块匹配对齐：块匹配的基本思想是将目标图像分割成固定大小的块，然后在参考图像中寻找匹配最好的块。利用匹配块的位移信息进行图片对齐。

基于分层模型的对齐：分层模型是一种用于开发网络的设计方法，描述了通信问题划分为几个小的问题(层次)，每个问题对应一个层次。先从最简单的层次对齐，再往复杂的层次递进。

所述的步骤20中通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，其转换前的色彩空间为RBG色彩空间，转换后的色彩空间为YUV色彩空间，所述的亮度分量为YUV色彩空间的Y通道信息，所述的色彩分量为YUV色彩空间的U通道信息和V通道信息。或者，所述的步骤20中通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，其转换前的色彩空间为RBG色彩空间，转换后的色彩空间为LAB色彩空间，所述的亮度分量为LAB色彩空间的L通道信息，所述的色彩分量为LAB色彩空间的A通道信息和B通道信息。

所述的步骤30中对所述的各个图像的亮度分量(YUV色彩空间的通道Y，或者LAB色彩空间的通道L)进行映射处理和融合处理，得到融合亮度分量，进一步包括以下步骤：

31.对所述的各个图像的亮度分量分别进行相机反映函数的映射处理，得到亮度映射图；

32.将所述的各个图像的亮度映射图进行加权求和的融合处理，得到亮度辐射图(即radiance图)；

33.对所述的亮度辐射图进行色调映射处理(tone mapping)，得到最终的融合亮度分量。

本发明通过上述融合方法能够有效地保留图像的细节。

其中，所述的步骤31中的相机反映函数(camera response function，CRF)的计算公式如下：

其中函数g为CRF的反函数的对数，Z为图像像素值，t为曝光时间，E为HDR图，由于函数g和E都是未知变量，因此采用最小二乘法来解这个方程，当O最小时为最优解。

所述的步骤33中的色调映射处理tone mapping是将步骤32的radiance图映射到0到255之间，形成一张正常的图片。tone mapping可以采用线性映射方法或者非线性映射方法或者线性与非线性两者相结合的映射方法。线性映射方法就是设计一条映射曲线，将radiance的值从小到大映射到0到255,。非线性映射方法有直方图均衡等等，线性与非线性两者相结合的映射方法可采用加权求和的方式将上述线性方法和非线性方法结合起来。

所述的步骤40中对所述的各个图像的色彩分量(YUV色彩空间的通道U、V，或者LAB色彩空间的通道A、B)进行融合处理得到融合色彩分量，是将所述的低曝光度图像、高曝光度图像的色彩分量分别与正常曝光度图像的色彩分量进行差值计算和阈值计算，将所述的低曝光度图像、高曝光度图像的色彩分量的信息补充到正常曝光度图像，得到融合色彩分量。

对于RBG色彩空间转换为YUV色彩空间的实施例,所述的差值计算和阈值计算的具体步骤如下：

将低曝光图像I1和高曝光图像I2的U通道和V通道分别与正常曝光图像I3进行求差值，得到：

diff(I1,I3,U)＝abs(I1(U)-I3(U)),

diff(I2,I3,U)＝abs(I2(U)-I3(U)),

diff(I1,I3,V)＝abs(I1(U)-I3(V)),

diff(I2,I3,V)＝abs(I2(U)-I3(V))。

设置阈值T1＝5，T2＝250，T3＝128，

当I3(U)<＝T1且diff(I1,I3,U)>T3时，I3(U)＝I1(U)。

当I3(V)<＝T1且diff(I1,I3,V)>T3时，I3(V)＝I1(V)。

当I3(U)>＝T2且diff(I2,I3,U)>T3时，I3(U)＝I2(U)。

当I3(V)>＝T2且diff(I2,I3,V)>T3时，I3(V)＝I2(V)。

对于RBG色彩空间转换为LAB色彩空间的实施例,所述的差值计算和阈值计算的具体步骤如下：

将低曝光图像I1和高曝光图像I2的A通道和B通道分别与正常曝光图像I3进行求差值，得到：

diff(I1,I3,A)＝abs(I1(A)-I3(A)),

diff(I2,I3,A)＝abs(I2(A)-I3(A)),

diff(I1,I3,B)＝abs(I1(A)-I3(B)),

diff(I2,I3,B)＝abs(I2(A)-I3(B))。

设置阈值T1＝5，T2＝250，T3＝128，

当I3(A)<＝T1且diff(I1,I3,A)>T3时，I3(A)＝I1(A)。

当I3(B)<＝T1且diff(I1,I3,B)>T3时，I3(B)＝I1(B)。

当I3(A)>＝T2且diff(I2,I3,A)>T3时，I3(A)＝I2(A)。

当I3(B)>＝T2且diff(I2,I3,B)>T3时，I3(B)＝I2(B)。

如图2所示，本发明提供一种基于色彩空间转换的HDR图像生成系统100，其包括：

图像获取模块A，用于获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像；

色彩空间转换模块B，用于将所述的低曝光度图像、正常曝光度图像、高曝光度图像通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离；

亮度分量融合模块C，用于对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量；

色彩分量融合模块D，用于对所述的各个图像的色彩分量进行融合处理，得到融合色彩分量；

色彩空间逆转换模块E，用于将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成，得到HDR图像。

其中，所述的亮度分量融合模块C进一步包括：

CRF映射单元C1，其对所述的各个图像的亮度分量分别进行相机反映函数的映射处理，得到亮度映射图；

加权求和单元C2，其将所述的各个图像的亮度映射图进行加权求和的融合处理，得到亮度辐射图；

色调映射单元C3，其对所述的亮度辐射图进行色调映射处理，得到最终的融合亮度分量。

如图3所示，本发明还提供一种拍摄终端200，该拍摄终端200包括如上所述的基于色彩空间转换的HDR图像生成系统100，其中，基于色彩空间转换的HDR图像生成系统100可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。本发明的HDR技术效果稳定，通过色彩空间转换的方式将亮度分量和色彩分量进行分离，并分别对亮度分量和色彩分量做不同的处理，从而得到更好的去鬼影效果，并且只对亮度分量进行CRF估计，大大提升了算法的效率，便于推广在手机、数码相机或平板电脑等配置有摄像头的拍摄终端上。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于色彩空间转换的HDR图像生成方法，其特征在于，包括以下步骤：

10.获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像；

20.将所述的低曝光度图像、正常曝光度图像、高曝光度图像通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离；

30.对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量；

40.对所述的各个图像的色彩分量进行融合处理，得到融合色彩分量；

50.将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成，得到HDR图像；

其中，所述的步骤30中对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量，进一步包括以下步骤：

31.对所述的各个图像的亮度分量分别进行相机反映函数的映射处理，得到亮度映射图；

32.将所述的各个图像的亮度映射图进行加权求和的融合处理，得到亮度辐射图；

33.对所述的亮度辐射图进行色调映射处理，得到最终的融合亮度分量。

2.根据权利要求1所述的一种基于色彩空间转换的HDR图像生成方法，其特征在于：所述的步骤10中的低曝光度图像、正常曝光度图像、高曝光度图像分别为一张或一张以上，并对曝光度不同的各张图像进行物理对齐。

3.根据权利要求1所述的一种基于色彩空间转换的HDR图像生成方法，其特征在于：所述的步骤20中通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，其转换前的色彩空间为RBG色彩空间，转换后的色彩空间为YUV色彩空间，所述的亮度分量为YUV色彩空间的Y通道信息，所述的色彩分量为YUV色彩空间的U通道信息和V通道信息。

4.根据权利要求1所述的一种基于色彩空间转换的HDR图像生成方法，其特征在于：所述的步骤20中通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离，其转换前的色彩空间为RBG色彩空间，转换后的色彩空间为LAB色彩空间，所述的亮度分量为LAB色彩空间的L通道信息，所述的色彩分量为LAB色彩空间的A通道信息和B通道信息。

5.根据权利要求1或2或3所述的一种基于色彩空间转换的HDR图像生成方法，其特征在于：所述的步骤40中对所述的各个图像的色彩分量进行融合处理得到融合色彩分量，是将所述的低曝光度图像、高曝光度图像的色彩分量分别与正常曝光度图像的色彩分量进行差值计算和阈值计算，将所述的低曝光度图像、高曝光度图像的色彩分量的信息补充到正常曝光度图像，得到融合色彩分量。

6.一种基于色彩空间转换的HDR图像生成系统，其特征在于，其包括：

图像获取模块，用于获取连续拍摄的曝光度不同的至少三张图像：低曝光度图像、正常曝光度图像、高曝光度图像；

色彩空间转换模块，用于将所述的低曝光度图像、正常曝光度图像、高曝光度图像通过色彩空间转换的方法对各个图像的亮度分量和色彩分量进行分离；

亮度分量融合模块，用于对所述的各个图像的亮度分量进行映射处理和融合处理，得到融合亮度分量；

色彩分量融合模块，用于对所述的各个图像的色彩分量进行融合处理，得到融合色彩分量；

色彩空间逆转换模块，用于将所述的融合色彩分量和融合亮度分量通过色彩空间逆转换的方法进行合成，得到HDR图像；

其中，所述的亮度分量融合模块进一步包括：

CRF映射单元，其对所述的各个图像的亮度分量分别进行相机反映函数的映射处理，得到亮度映射图；

加权求和单元，其将所述的各个图像的亮度映射图进行加权求和的融合处理，得到亮度辐射图；

色调映射单元，其对所述的亮度辐射图进行色调映射处理，得到最终的融合亮度分量。

7.一种拍摄终端，其特征在于，包括权利要求6所述的基于色彩空间转换的HDR图像生成系统。

8.根据权利要求7所述的拍摄终端，其特征在于，所述拍摄终端包括：手机、数码相机或平板电脑。