CN105744159A - 一种图像合成方法及装置 - Google Patents

Abstract

本发明公开了一种图像合成方法及装置，所述方法包括：获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；基于所述至少两个待处理图像，确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。

Description

一种图像合成方法及装置

技术领域

本发明涉及信号处理领域中的图像处理技术，尤其涉及一种图像合成方法及装置。

背景技术

目前，高动态范围图像(High-DynamicRange，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-DynamicRange)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。目前的HDR算法合成主要有两种策略，第一种，拍摄不同的曝光图像，通过估算相机的光照响应曲线，将图像的亮度范围从低动态范围映射到高动态范围，之后通过色调映射算法将图像映射到适合图像显示器查看的图像位数；第二种，拍摄单幅图像，通过图像对比度和亮度调整，将对图像曝光不足区域对比度增强，在曝光过量的区域进行对比度抑制；第一种方法通过物理成像相机响应曲线的原理，可以获取比较自然的HDR图像，但是过程比较复杂，算法复杂度高；第二种方法比较直接，方法复杂度不高，对于曝光不足的区域可以进行修复，但是曝光过度区域很难抑制还原为实际场景亮度。

发明内容

有鉴于此，本发明的主要目的在于提出一种图像合成方法及装置，能至少解决现有技术中存在的上述问题。

本发明实施例提供了一种图像合成方法，包括：

获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

计算得到针对所述至少两个待处理图像的特征权值，其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

基于所述至少两个待处理图像，确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；

基于所述待处理图像的高频图像部分、低频图像部分以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合得到所述至少两个初始图像对应的融合图像。

本发明实施例提供了一种图像合成装置，所述装置包括：

获取单元，用于获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

计算单元，用于基于所述至少两个待处理图像，分别确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；计算得到针对所述至少两个待处理图像的特征权值；其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

融合单元，用于基于所述待处理图像的高频图像部分、低频图像部分、以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。

采用本发明提供的图像合成方法及装置，获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；计算得到针对所述至少两个待处理图像的特征权值；基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。如此，基于每一个图像中不同像素点对应的特征权值进行多个图像的融合，从而能够保证最终融合得到的图像从细节上保证图像的质量。

附图说明

图1为实现本发明各个实施例的移动终端的硬件结构示意图；

图2为如图1所示的移动终端的无线通信系统示意图；

图3为本发明实施例图像合成方法流程示意图一；

图4为本发明实施例两种色彩空间示意图；

图5a为本发明实施例两个初始图像的示意图；

图5b为本发明实施例三个初始图像的示意图；

图6为本发明实施例图像合成方法流程示意图二；

图7为本发明实施例针对图像进行小波分解示例图；

图8为本发明实施例处理逻辑示意图；

图9为本发明实施例合成结果示意图；

图10为本发明实施例与另一种合成方案的效果对比示意图；

图11为本发明实施例图像合成装置结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，本实施例中所述图像处理装置可以为移动终端，也可以为服务器，或者还可以为个人电脑、笔记本电脑、相机等终端设备。

下面，可以以所述图像处理装置为移动终端为示例进行描述，移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的移动终端的硬件结构示意。

移动终端100可以包括A/V(音频/视频)输入单元120、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机1210。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。

输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。

如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。

现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。

这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。

参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC275。

每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz,5MHz等等)。

分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。

如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。

在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。

作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。

基于上述移动终端硬件结构以及通信系统，提出本发明方法以及装置的各个实施例。

实施例一、

本发明实施例提供了一种图像合成方法，如图3所示，包括：

步骤301：获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

步骤302：计算得到针对所述至少两个待处理图像的特征权值；其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

步骤303：基于所述至少两个待处理图像，确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；

步骤304：基于所述待处理图像的高频图像部分、低频图像部分以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合得到所述至少两个初始图像对应的融合图像。

这里，所述获取到至少两个初始图像，包括：获取到针对目标对象的具备不同的曝光量的至少两个初始图像。其中，所述至少两个初始图像可以为两个初始图像也可以为三个初始图像。可以理解的是，所述目标对象可以为针对相同的景物也可以为针对相同的人物，本实施例不对其进行限定。

所述第一色彩空间可以为红(R)、绿(G)、蓝(B)色彩空间；所述第二色彩空间可以为色调(H)，饱和度(S)，明度(V)色彩空间。HSV空间将图像的颜色和亮度进行分离，与RGB色彩空间相比更符合人眼的视觉感受。HSV这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。如图4所示，其中，图左边表征RGB颜色空间的模型，图右边表征HSV颜色空间的模型；将RGB色彩空间的图像转换为HSV色彩空间的图像可以采用如下公式进行计算：

max(R,G,B)→V

$\left\{\begin{array}{cc}\frac{V-min(R,G,B)}{V}& \begin{array}{cc}if& V\≠0\end{array}\\ 0& otherwise\end{array}\right.\→S$

$\left\{\begin{array}{cc}60(G-B)/(V-\min (R,G,B\left)\right)& ifV=R\\ 120+60(B-R)/(V-\min (R,G,B\left)\right)& ifV=G\\ 240+60(R-G)/(V-\min (R,G,B\left)\right)& ifV=B\end{array}\right.\→H$

IfH<0thenH←H+360.Onoutput0≤V≤1,0≤S≤1,0≤H≤360。即，当H小于零时，则将H替换为H+360得到的数值；并且最终输出的数值V小于等于1且大于等于0；S小于等于1且大于等于零；H小于等于360、且大于等于0。

本实施例分别对两种场景进行说明：

场景一、使用两个初始图像进行后续处理的场景，在本场景中，所述两个初始图像可以分别为第一初始图像以及第二初始图像，其中，所述第一初始图像以及第二初始图像对应的曝光量不同。假设第一初始图像的曝光量大于第二初始图像。

需要说明的是，本实施例中，假设二幅图像已经经过了配准，像素点对齐了，比如，图像如图5a所示，其中，第一初始图像为a，第二初始图像为b。

所述计算得到针对所述至少两个待处理图像的特征权值，可以为计算得到针对每一个待处理图像中每一个像素点对应的特征权值，也就是说，针对每一个待处理图像中的每一个像素点在进行融合的时候，都会对应了不同的调整值。

优选地，本实施例中所述特征权值可以为归一化的特征权值，这样可以保证进行融合之后的图像不会超出原有的值域范围。

所述基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像，可以为：将第一待处理图像中每一个像素的高频图像部分以及低频图像部分与对应的像素的特征权值进行计算，得到该待处理图像的该像素点在融合图像中保留的能够对最终的融合图像产生影响的部分特征；将第二待处理图像中每一个像素点的高频图像部分以及低频图像部分与对应的像素点的特征权值进行计算，得到该第二待处理图像的该像素点在最终的融合图像中保留的能够对最终的融合图像产生影响的部分特征。

场景二、使用两个初始图像进行后续处理的场景，在本场景中，所述两个初始图像可以分别为第一初始图像、第二初始图像以及第三初始图像，其中，第一初始图像、第二初始图像以及第三初始图像对应的曝光量不同。假设第一初始图像的曝光量大于第二初始图像，第二初始图像的曝光量大于第三初始图像。

需要说明的是，本实施例中，假设三幅图像已经经过了配准，像素点对齐了，比如，图像如图5b所示，其中，第一初始图像为a，第二初始图像为b、第三初始图像为图像c。

所述计算得到针对所述至少两个待处理图像的特征权值，可以为计算得到针对每一个待处理图像中每一个像素点对应的特征权值，也就是说，针对每一个待处理图像中的每一个像素点在进行融合的时候，都会对应了不同的调整值。

优选地，本实施例中所述特征权值可以为归一化的特征权值，这样可以保证进行融合之后的图像不会超出原有的值域范围。

所述基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像，可以为：分别将第一待处理图像、第二待处理图像以及第三待处理图像中每一个像素的高频图像部分以及低频图像部分与对应的像素的特征权值进行计算，得到该待处理图像的该像素点在融合图像中保留的能够对最终的融合图像产生影响的部分特征。

可见，通过采用上述方案，获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；计算得到针对所述至少两个待处理图像的特征权值；基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。如此，基于每一个图像中不同像素点对应的特征权值进行多个图像的融合，从而能够保证最终融合得到的图像从细节上保证图像的质量。

实施例二、

本发明实施例提供了一种图像合成方法，如图3所示，包括：

步骤301：获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

步骤302：计算得到针对所述至少两个待处理图像的特征权值；其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

步骤303：基于所述至少两个待处理图像，确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；

步骤304：基于所述待处理图像的高频图像部分、低频图像部分以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合得到所述至少两个初始图像对应的融合图像。

这里，所述获取到至少两个初始图像，包括：获取到针对目标对象的具备不同的曝光量的至少两个初始图像。其中，所述至少两个初始图像可以为两个初始图像也可以为三个初始图像。可以理解的是，所述目标对象可以为针对相同的景物也可以为针对相同的人物，本实施例不对其进行限定。

所述第一色彩空间可以为红(R)、绿(G)、蓝(B)色彩空间；所述第二色彩空间可以为色调(H)，饱和度(S)，明度(V)色彩空间。HSV空间将图像的颜色和亮度进行分离，与RGB色彩空间相比更符合人眼的视觉感受。HSV这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。如图4所示，其中，图左边表征RGB颜色空间的模型，图右边表征HSV颜色空间的模型；将RGB色彩空间的图像转换为HSV色彩空间的图像可以采用如下公式进行计算：

max(R,G,B)→V

$\left\{\begin{array}{cc}\frac{V-min(R,G,B)}{V}& \begin{array}{cc}if& V\&NotEqual;0\end{array}\\ 0& otherwise\end{array}\right.\&RightArrow;S$

$\left\{\begin{array}{cc}60(G-B)/(V-\min (R,G,B\left)\right)& ifV=R\\ 120+60(B-R)/(V-\min (R,G,B\left)\right)& ifV=G\\ 240+60(R-G)/(V-\min (R,G,B\left)\right)& ifV=B\end{array}\right.\&RightArrow;H$

IfH<0thenH←H+360.Onoutput0≤V≤1,0≤S≤1,0≤H≤360。

所述计算得到针对所述至少两个待处理图像的特征权值之前，所述方法还包括：基于所述至少两个待处理图像，分别确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分。

其中，所述获取到每一个待处理图像对应的高频图像部分以及低频图像部分可以利用小波系数针对所述待处理图像中的像素点进行分解，比如，可以采用公式Iwave_k(i,j)进行计算，其中，I可以表示所述待处理图像，wave()为小波分解函数，(i,j)表示像素点的横纵坐标。

所述计算得到针对所述至少两个待处理图像的特征权值，可以包括：

计算每一个待处理图像中每一个像素点的区域对比度、以及每一个像素点的梯度值；

基于所述每一个像素点的区域对比度以及所述梯度值，确定所述每一个待处理图像的特征权值；

基于所述至少两个待处理图像的特征权值，确定针对每一个待处理图像的归一化特征权值。

其中，所述每一个像素点的区域对比度可以采用以下公式进行计算：

${\mathrm{CL}}_{i,j}=\underset{i=-M}{\overset{M}{\&Sigma;}}\underset{j=-N}{\overset{N}{\&Sigma;}}{\left(p\right(i,j)-m(i,j\left)\right)}^2;m(i,j)=\frac{1}{M*N}\underset{i=-M}{\overset{M}{\&Sigma;}}\underset{j=-N}{\overset{N}{\&Sigma;}}p(i,j);$

p(i,j)为该像素点的像素值,m(i,j)为局部区域平均值；其中，M和N表示选定的区域中最大像素点的位置。

利用soble算子计算图像在水平和垂直方向的梯度大小。该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以I代表原始图像，Gx及Gy分别代表经纵向及横向边缘检测的图像，GL_i,j为该图像像素点出的梯度大小，其公式如下：

$\begin{array}{cc}{G}_x^2=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]\&CircleTimes;I& G_y^2=\left[\begin{array}{ccc}-1& -2& +1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]\&CircleTimes;I;\end{array}$

${\mathrm{GL}}_{i,j}==\sqrt{G_x^2+G_y^2}.$

进一步地，所述基于所述每一个像素点的区域对比度以及所述梯度值，确定所述每一个待处理图像的特征权值，可以为：将所述每一个像素点的区域对比度以及所述梯度值相乘，得到所述每一个待处理图像的每一个像素点对应的特征权值；具体可以采用以下公式WM(i,j)＝CL_i,j*GL_i,j表示；其中，WM(i,j)用于表征特征权值。

在上述方案的基础上，所述确定针对每一个待处理图像的归一化特征权值，可以采用公式：进行计算，其中，n为初始图像的数量，比如，n＝2时表示有两个初始图像，n＝3时表示有三个初始图像；WM(I,k)为第k幅图像的融合权值系数，这样就将不同曝光图像的融合系数权值归一化了，满足保证了图像融合后像素不会超出原有的值域范围。

所述基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，包括：

将所述至少两个待处理图像的高频图像部分以及所述低频图像部分、分别与每一个待处理图像的归一化特征权值相乘，得到归一化之后的待处理图像；

将归一化之后的至少两个待处理图像作和，将所述至少两个待处理图像进行融合。

具体的，可以采用以下公式进行说明：

n为初始图像的数量，Iwave_k(i,j)为图像I中任一像素(i，j)点的小波分解，从上面的公式计算可以看出，区域对比度越大，梯度特征越大说明，该像素点的区域特征越明显，图像细节越清晰，是HDR图像中需要保留图像像素点，因此融合权值也比较大。

所述得到所述至少两个初始图像对应的融合图像，包括：

将所述融合后的图像进行转换，得到基于第一色彩空间的融合图像。可以理解的是，这里所述的转换可以与本实施例中提供的第一色彩空间转换到第二色彩空间的方式相反，最终得到的为RGB色彩空间的图像。

可见，通过采用上述方案，获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；计算得到针对所述至少两个待处理图像的特征权值；基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。如此，基于每一个图像中不同像素点对应的特征权值进行多个图像的融合，从而能够保证最终融合得到的图像从细节上保证图像的质量。

进一步地，通过小波变换得到像素点的高频图像部分以及低频图像部分，进而与区域对比度特征以及梯度联合特征选择出满足HDR要求的像素点进行HDR图像合成，生成的HDR图像可以有效地突出场景的暗部细节并抑制图像过曝细节。

实施例三、

本实施例基于上述两个实施例给出的方案，利用三幅曝光量不同的初始图像进行图像合成方法的具体说明，见图6所示，包括以下步骤：

S100获取三幅不同曝光量的图像。

S200将图像由RGB色彩空间转换到HSV空间。

S300利用小波变换将HSV图像分解为高频和低频部分。

S400区域对比度特征以及梯度联合特征权值融合。

具体实施如下：

S100获取三幅不同曝光量的图像。这三幅图像分别为低曝光、正常曝光、过曝光图像，需要说明的一点，假设三幅图像已经经过了配准，像素点对齐了。图像如图5b所示。

S200将图像由RGB色彩空间转换到HSV空间，由于HSV空间将图像的颜色和亮度进行分离，相交RGB色彩空间符合人眼的视觉感受。HSV这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。如图4所示。

S300利用小波变换将HSV图像分解为高频和低频部分。小波变换是图像的多尺度、多分辨率分解，它可以聚焦到图像的任意细节，被称为数学上的显微镜。近年来，随着小波理论及其应用的发展，已将小波多分辨率分解用于像素级图像融合。小波变换的固有特性使其在图像处理中有如下优点：1.完善的重构能力，保证信号在分解过程中没有信息损失和冗余信息；2.把图像分解成平均图像和细节图像的组合，分别代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息；3.具有快速算法，它在小波变换中的作用相当于FFT算法在傅立叶变换中的作用，为小波变换应用提供了必要的手段；4.二维小波分析提供了与人类视觉系统方向相吻合的选择性图像。图7给出了小波分解作用一副图像的示意图，(a)为原始图像，(b)、(c)、(d)为分解一次、二次、三次的小波系数图像。

S400通过S300中的小波分解后，得到了三幅不同曝光图像分别在HSV空间的小波分解系数。通过观察图5b中的三幅不同曝光量的图像可以发现，曝光不足的图像在亮部细节的区域对比度较好，图像细节清晰，例如天空中的云彩部分；曝光过量的图像在暗部细节比较清晰，例如城墙下的绿色草丛，图像细节清晰；正常曝光的图像在暗部细节和亮部细节表型的都一般，整体图像视觉效果一般。

HDR图像就是需要保留场景中的暗部和亮部细节，增强图像的整体亮度范围的细节。因此，如图8所示，小波分解后，需要将这些相对清晰的细节的系数保留下来，融合规则的选择是融合算法的关键。

因此，本文对分解后的小波系数进行局部区域对比度和全局的梯度图像特征计算，生成三幅不同曝光图像融合系数的权值图像WeightMap，计算过程如下：

WM(i,j)＝CL_i,j*GL_i,j(1)

式(1)中i,j为图像中任一像素p点的坐标，WM(i,j)为该像素参与融合算法的初始化权值，CL_i,j为该像素点的局部区域对比度，GL_i,j为该像素点的梯度值大小。

$\begin{array}{c}{\mathrm{CL}}_{i,j}=\underset{i=-M}{\overset{M}{\&Sigma;}}\underset{j=-N}{\overset{N}{\&Sigma;}}{\left(p\right(i,j)-m(i,j\left)\right)}^2\\ m(i,j)=\frac{1}{M*N}\underset{i=-M}{\overset{M}{\&Sigma;}}\underset{j=-N}{\overset{N}{\&Sigma;}}p(i,j)\end{array}---\left(2\right)$

式(2)中，p(i,j)为该像素点的像素值,m(i,j)为局部区域平均值。

利用soble算子计算图像在水平和垂直方向的梯度大小。该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以I代表原始图像，Gx及Gy分别代表经纵向及横向边缘检测的图像，G为该图像像素点出的梯度大小，其公式(3)如下：

$\begin{array}{cc}{G}_x^2=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]\&CircleTimes;I& G_y^2=\left[\begin{array}{ccc}-1& -2& +1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]\&CircleTimes;I\end{array}---\left(3\right)$

${\mathrm{GL}}_{i,j}==\sqrt{G_x^2+G_y^2}$

按照上述计算过程，分别可以计算出三幅不同的曝光图像图像的融合权值图

${\mathrm{WM}}_{NM}(I,k)=\frac{WM(I,k)}{\underset{k=1}{\overset{3}{\&Sigma;}}WM(I,k)}---\left(4\right)$

式(4)中，WM(I,k)为第k幅图像的融合权值系数，这样就将不同曝光图像的融合系数权值归一化了，满足保证了图像融合后像素不会超出原有的值域范围。按照式子(5)就可以将，3幅图像分解的小波系数进行融合，高频系数和低频系数融合规则一致，均是乘以融合权值系数。

$F(i,j)=\underset{k=1}{\overset{3}{\&Sigma;}}{\mathrm{Iwave}}_k(i,j)*{\mathrm{WM}}_{NM}(I,k)---\left(5\right)$

Iwave_k(i,j)为图像中任一像素(i，j)点的小波分解系数，从上面的公式计算可以看出，区域对比度越大，梯度特征越大说明，该像素点的区域特征越明显，图像细节越清晰，是HDR图像中需要保留图像像素点，因此融合权值也比较大。

图9给出了两组不同曝光合成HDR的图像，第一组图像，基于图5b的三个图得到了合成图像，从中可以看出，HDR合成图像中的天空保留了曝光不足图像区域的天空清晰区域，城墙上的草丛也保留了曝光过量图像区域的暗部细节。参看椭圆标记的区域部分。这里与另一种HDR算法效果进行比较。由于另一种HDR算法并不公开，因此首先需要明确的两点，1不能确定高通是否通过3张不同曝光的图像进行合成；2如果是通过3张合成，合成算法未知。基于上述两点，本专利将与高通HDR算法效果进行比较，MTK的机型目前没有机型，暂时对比不了。这里给出3组测试场景。通过图10给出的测试场景可以发现，本专利的算法得到的HDR效果在暗部细节保留方面与高通效果类似，在过曝区域的高光抑制方面，另一种HDR算法没有能够很好的抑制高光细节，导致该部分像素出现过曝。而方案的算法可以有效地抑制高光过曝问题。可以参考红色标记区域的细节对比。在图像的锐度和饱和度方面，本文专利目前没有进行最后的调整，整体的饱和度和锐度较另一种HDR效果要逊色。

实施例四、

本发明实施例提供了一种图像合成装置，如图11所示，包括：

获取单元1101，用于获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

计算单元1102，用于基于所述至少两个待处理图像，分别确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；计算得到针对所述至少两个待处理图像的特征权值；其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

融合单元1103，用于基于所述待处理图像的高频图像部分、低频图像部分、以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。

这里，所述获取单元1101，具体用于获取到针对目标对象的具备不同的曝光量的至少两个初始图像。

所述第一色彩空间可以为红(R)、绿(G)、蓝(B)色彩空间；所述第二色彩空间可以为色调(H)，饱和度(S)，明度(V)色彩空间。HSV空间将图像的颜色和亮度进行分离，与RGB色彩空间相比更符合人眼的视觉感受。HSV这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。如图4所示，其中，图左边表征RGB颜色空间的模型，图右边表征HSV颜色空间的模型；将RGB色彩空间的图像转换为HSV色彩空间的图像可以采用如下公式进行计算：

max(R,G,B)→V

$\left\{\begin{array}{cc}\frac{V-min(R,G,B)}{V}& \begin{array}{cc}if& V\&NotEqual;0\end{array}\\ 0& otherwise\end{array}\right.\&RightArrow;S$

$\left\{\begin{array}{cc}60(G-B)/(V-\min (R,G,B\left)\right)& ifV=R\\ 120+60(B-R)/(V-\min (R,G,B\left)\right)& ifV=G\\ 240+60(R-G)/(V-\min (R,G,B\left)\right)& ifV=B\end{array}\right.\&RightArrow;H$

IfH<0thenH←H+360.Onoutput0≤V≤1,0≤S≤1,0≤H≤360。

所述计算得到针对所述至少两个待处理图像的特征权值之前，所述计算单元，用于基于所述至少两个待处理图像，分别确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分。

其中，所述获取到每一个待处理图像对应的高频图像部分以及低频图像部分可以利用小波系数针对所述待处理图像中的像素点进行分解，比如，可以采用公式Iwave_k(i,j)进行计算，其中，I可以表示所述待处理图像，wave()为小波分解函数，(i,j)表示像素点的横纵坐标。

所述计算单元，用于计算每一个待处理图像中每一个像素点的区域对比度、以及每一个像素点的梯度值；基于所述每一个像素点的区域对比度以及所述梯度值，确定所述每一个待处理图像的特征权值；基于所述至少两个待处理图像的特征权值，确定针对每一个待处理图像的归一化特征权值。

其中，所述每一个像素点的区域对比度可以采用以下公式进行计算：

${\mathrm{CL}}_{i,j}=\underset{i=-M}{\overset{M}{\&Sigma;}}\underset{j=-N}{\overset{N}{\&Sigma;}}{\left(p\right(i,j)-m(i,j\left)\right)}^2;m(i,j)=\frac{1}{M*N}\underset{i=-M}{\overset{M}{\&Sigma;}}\underset{j=-N}{\overset{N}{\&Sigma;}}p(i,j);$

p(i,j)为该像素点的像素值,m(i,j)为局部区域平均值；其中，M和N表示选定的区域中最大像素点的位置。

利用soble算子计算图像在水平和垂直方向的梯度大小。该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以I代表原始图像，Gx及Gy分别代表经纵向及横向边缘检测的图像，GL_i,j为该图像像素点出的梯度大小，其公式如下：

$\begin{array}{cc}{G}_x^2=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]\&CircleTimes;I& G_y^2=\left[\begin{array}{ccc}-1& -2& +1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]\&CircleTimes;I;\end{array}$

${\mathrm{GL}}_{i,j}==\sqrt{G_x^2+G_y^2}.$

进一步地，所述基于所述每一个像素点的区域对比度以及所述梯度值，确定所述每一个待处理图像的特征权值，可以为：将所述每一个像素点的区域对比度以及所述梯度值相乘，得到所述每一个待处理图像的每一个像素点对应的特征权值；具体可以采用以下公式WM(i,j)＝CL_i,j*GL_i,j表示；其中，WM(i,j)用于表征特征权值。

在上述方案的基础上，所述确定针对每一个待处理图像的归一化特征权值，可以采用公式：进行计算，其中，n为初始图像的数量，比如，n＝2时表示有两个初始图像，n＝3时表示有三个初始图像；WM(I,k)为第k幅图像的融合权值系数，这样就将不同曝光图像的融合系数权值归一化了，满足保证了图像融合后像素不会超出原有的值域范围。

所述融合单元，用于将所述至少两个待处理图像的高频图像部分以及所述低频图像部分、分别与每一个待处理图像的归一化特征权值相乘，得到归一化之后的待处理图像；将归一化之后的至少两个待处理图像作和，将所述至少两个待处理图像进行融合。

具体的，可以采用以下公式进行说明：

n为初始图像的数量，Iwave_k(i,j)为图像I中任一像素(i，j)点的小波分解，从上面的公式计算可以看出，区域对比度越大，梯度特征越大说明，该像素点的区域特征越明显，图像细节越清晰，是HDR图像中需要保留图像像素点，因此融合权值也比较大。

所述融合单元，用于将所述融合后的图像进行转换，得到基于第一色彩空间的融合图像。可以理解的是，这里所述的转换可以与本实施例中提供的第一色彩空间转换到第二色彩空间的方式相反，最终得到的为RGB色彩空间的图像。

可见，通过采用上述方案，获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；计算得到针对所述至少两个待处理图像的特征权值；基于所述待处理图像的高频图像部分以及低频图像部分、所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。如此，基于每一个图像中不同像素点对应的特征权值进行多个图像的融合，从而能够保证最终融合得到的图像从细节上保证图像的质量。

进一步地，通过小波变换得到像素点的高频图像部分以及低频图像部分，进而与区域对比度特征以及梯度联合特征选择出满足HDR要求的像素点进行HDR图像合成，生成的HDR图像可以有效地突出场景的暗部细节并抑制图像过曝细节。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像合成方法，其特征在于，所述方法包括：

获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

计算得到针对所述至少两个待处理图像的特征权值，其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

基于所述至少两个待处理图像，确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；

基于所述待处理图像的高频图像部分、低频图像部分以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合得到所述至少两个初始图像对应的融合图像。

2.根据权利要求1所述的方法，其特征在于，所述计算得到针对所述至少两个待处理图像的特征权值，包括：

计算每一个待处理图像中每一个像素点的区域对比度、以及每一个像素点的梯度值；

基于所述每一个像素点的区域对比度以及所述梯度值，确定所述每一个待处理图像的特征权值；

基于所述至少两个待处理图像的特征权值，确定针对每一个待处理图像的归一化特征权值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述待处理图像的高频图像部分、低频图像部分以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，包括：

将所述至少两个待处理图像的高频图像部分以及所述低频图像部分、分别与每一个待处理图像的归一化特征权值相乘，得到归一化之后的待处理图像；

将归一化之后的至少两个待处理图像作和，将所述至少两个待处理图像进行融合。

4.根据权利要求1所述的方法，其特征在于，所述得到所述至少两个初始图像对应的融合图像，包括：

将所述融合后的图像进行转换，得到基于第一色彩空间的融合图像。

5.根据权利要求1所述的方法，其特征在于，所述获取到至少两个初始图像，包括：

获取到针对目标对象的具备不同的曝光量的至少两个初始图像。

6.一种图像合成装置，其特征在于，所述装置包括：

获取单元，用于获取到至少两个初始图像，将所述至少两个初始图像分别转换为至少两个待处理图像；其中，所述初始图像为基于第一色彩空间的图像，所述待处理图像为基于第二色彩空间的图像；

计算单元，用于基于所述至少两个待处理图像，分别确定针对每一个所述待处理图像对应的高频图像部分以及低频图像部分；计算得到针对所述至少两个待处理图像的特征权值；其中，所述特征权值为针对待处理图像的每一个像素点的权值组成的集合；

融合单元，用于基于所述待处理图像的高频图像部分、低频图像部分、以及所述待处理图像的特征权值，对所述至少两个待处理图像进行融合，得到所述至少两个初始图像对应的融合图像。

7.根据权利要求6所述的装置，其特征在于，

所述计算单元，具体用于基计算每一个待处理图像中每一个像素点的区域对比度、以及每一个像素点的梯度值；基于所述每一个像素点的区域对比度以及所述梯度值，确定所述每一个待处理图像的特征权值；基于所述至少两个待处理图像的特征权值，确定针对每一个待处理图像的归一化特征权值。

8.根据权利要求7所述的装置，其特征在于，

所述融合单元，具体用于将所述至少两个待处理图像的高频图像部分以及所述低频图像部分、分别与每一个待处理图像的归一化特征权值相乘，得到归一化之后的待处理图像；将归一化之后的至少两个待处理图像作和，将所述至少两个待处理图像进行融合。

9.根据权利要求6所述的装置，其特征在于，

所述融合单元，具体用于将所述融合后的图像进行转换，得到基于第一色彩空间的融合图像。

10.根据权利要求6所述的装置，其特征在于，

所述获取单元，具体用于获取到针对目标对象的具备不同的曝光量的至少两个初始图像。