CN104639920A - 基于单帧双次曝光模式的宽动态融合方法 - Google Patents

Abstract

本发明公开了一种基于单帧双次曝光模式的宽动态融合方法，该方法包括：根据曝光格式获得长曝光像素与短曝光像素；根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线；根据长曝光像素与短曝光像素和映射曲线，以完成长曝光与短曝光像素映射；判断长曝光像素和/或短曝光像素边缘方向并获得长曝光像素和/或短曝光像素边缘方向的插值；根据长曝光与短曝光像素映射和长曝光像素和/或短曝光像素边缘方向的插值，融合长曝光和短曝光。本发明的基于单帧双次曝光模式的宽动态融合方法，具有提升动态范围大,对图像细节保护的更好,色彩更真实。

Description

基于单帧双次曝光模式的宽动态融合方法

技术领域

本发明涉及图像处理领域，尤其涉及基于单帧双次曝光模式的宽动态融合方法。

背景技术

宽动态技术是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。当在强光源（日光、灯具或反光等）照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是摄像机的动态范围。普通的摄像机动态范围只有60db，也就是在一个画面中亮区与暗区的照度比小于一千倍时，能同时看清楚亮区暗区。而宽动态摄像机动态范围可达到120db，也就是亮区与暗区的照度比达到一百万倍时，也能同时看清楚亮区暗区。

实现宽动态技术有两类方法，一类是图像后处理方式，如申请号为201210528573.2中所述。这种方法受限于图像传感器本身的动态范围，提升空间不大，最多将动态范围提升12db。另一类是图像传感器多次曝光，一次长曝光，一次短曝光，然后利用图像处理方法将两次曝光的图像融合为一副图像。多次曝光方法又分两种，一种是多帧模式，这种模式是一帧图像长曝光，一帧图像短曝光，然后图像处理做帧间融合，这种模式不适宜拍摄运动物体，容易出现“鬼影”。另一种是单帧模式，一帧图像内实现长短曝光，然后做帧内图像融合处理。这也是本发明采用的模式。这种模式如果图像融合处理得不好，容易损失图像细节，颜色也会失真。

与申请号为201010608108.0的单帧长短曝光宽动态融合模式相比，本发明的处理方法完全不同，本发明在效果上提升动态范围更大，对图像细节保护的更好，色彩也更真实。

发明内容

针对宽动态融合方法存在的上述的不足，本发明的目的是提供一种基于单帧双次曝光模式的宽动态融合方法，具有提升动态范围大,对图像细节保护的更好,色彩更真实。

为达到上述目的，本发明的实施例采用如下技术方案：

基于单帧双次曝光模式的宽动态融合方法，其特征在于，包括：

根据曝光格式获得长曝光像素与短曝光像素；

根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线；

根据长曝光像素与短曝光像素和映射曲线，以完成长曝光与短曝光像素映射；

判断长曝光像素和/或短曝光像素边缘方向并获得长曝光像素和/或短曝光像素边缘方向的插值；

根据长曝光与短曝光像素映射和长曝光像素和/或短曝光像素边缘方向的插值，融合长曝光和短曝光。

依照本发明的一个方面，其中，根据曝光格式获得长曝光像素或短曝光像素具体包含以下步骤：

计算像素位置（ｉ，ｊ）除以4的余数，其公式如下：

i4=i%4

j4=j%4

其中，i代表像素在图像的水平位置，j代表像素在图像的垂直位置，

当图像像素所处位置为L∈(i4<2∩j4<2)∪(i4≥2∩j4≥2)时，即为长曝光像素L；

当图像像素所处位置为S∈(i4<2∩j4≥2)∪(i4≥2∩j4<2)时，即为短曝光像素S。

依照本发明的一个方面，所述根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线具体步骤如下：其中，所述映射曲线的关系式如下：

$\mathrm{RO}=\left\{\begin{array}{cc}\mathrm{RI}*k1& \mathrm{RI}<\mathrm{th}1\\ (\mathrm{RI}-\mathrm{th}1)*k2+c1& \mathrm{RI}<\mathrm{th}2\\ \frac{M-c2}{M-\mathrm{th}2}*\mathrm{RI}+\frac{c2-\mathrm{th}2}{M-\mathrm{th}2}*M& \mathrm{RI}\&GreaterEqual;\mathrm{th}2\end{array}\right.$

其中，RO代表输出像素值，RI代表输入像素值，th1、th2为线段分割阈值，c1、c2分别为RI为th1，th2时对应的RO的值，k1为c1与th1对应的斜率,k2为c2与th2对应的斜率，M为常数，即输入图像的灰度等级，若灰度等级为n，则M=2^n，即2的n次幂。

依照本发明的一个方面，其中，所述c1和c2的计算关系式如下：

c1=th1*k1；

c2=(th2-th1)*k2+th1*k1。

依照本发明的一个方面，其中，所述计算斜率k1，k2值具体的公式如下:

k1=k1_i*kr；

k2=k2_i*kr；

其中k1_i代表k1的初始值，k2_i代表k2的初始值，kr为斜率的矫正系数。

依照本发明的一个方面，其中，所述斜率的矫正系数kr的具体计算关系式如下：

$\mathrm{kr}=\left\{\begin{array}{cc}1/2& \mathrm{RIav}<M/64\\ \frac{\mathrm{RIav}}{M}*32& M/64\&le;\mathrm{RIav}<M/16\\ 2& \mathrm{RIav}\&GreaterEqual;M/16\end{array}\right.$

其中，RIav为曝光像素的均值，M为常数，即输入图像的灰度等级。

依照本发明的一个方面，其中，计算k1的初始值k1_i、k2的初始值k2_i、th1和th2值的具体关系式如下：

当前像素在短曝光区域时，其关系式为

k1_i=k_ls，k2_i=1；

th1=M/k_ls/4，th2=M/k_ls/2；

当前像素在长曝光区域时，其关系式为

k1_i=1，k2_i=1/k_ls；

th1=M/4，th2=M/2；

其中，k_ls代表长曝光与短曝光比例，M代表常数，即输入图像的灰度等级。

依照本发明的一个方面，其中，所述曝光像素的均值RIav的具体计算关系如下:

$\mathrm{RIav}=\left({\mathrm{\&Sigma;}}_{p=i-2}^{i+2}{\mathrm{\&Sigma;}}_{q=j-2}^{j+2}(\mathrm{RI}(p,q)\&Element;L)\right)/\mathrm{LP}$

其中,p、q代表曝光像素的均值的像素位置，LP代表曝光像素的个数。

依照本发明的一个方面，其中，根据长曝光与短曝光像素映射和长曝光像素和/或短曝光像素边缘方向的插值，融合长曝光和短曝光的具体步骤如下：

计算融合因子Fk，其关系式为：

当前像素为长曝光时，Fk=（M–RO）/M；

当前像素为短曝光时，Fk=RO/M；

计算长曝光和短曝光的融合值,其关系式如下：

Rf(i,j)＝Fk(i,j)*RO(i,j)+(1-Fk(i,j))*Re(i,j)；

其中，Fk代表融合因子；M为常数，即输入图像的灰度等级；Rf代表长曝光和短曝光的融合值。

本发明的基于单帧双次曝光模式的宽动态融合方法，具有提升动态范围大,对图像细节保护的更好,色彩更真实。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于单帧双次曝光模式的宽动态融合方法实施例的流程示意图；

图2为本发明的一种基于单帧双次曝光模式的宽动态融合方法实施例的映射曲线示意图；

图3为本发明的一种基于单帧双次曝光模式的宽动态融合方法实施例的长短曝光示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、图2、图3所示,本实施例提供的一种基于单帧双次曝光模式的宽动态融合方法,该方法包括:

步骤S1：根据曝光格式获得长曝光像素与短曝光像素；

根据曝光格式获得长曝光像素与短曝光像素；具体地，首先根据曝光格式确定长曝光与短曝光像素的位置，计算像素位置（ｉ，ｊ）除以4的余数，其公式如下：

i4=i%4

j4=j%4

其中，i代表像素在图像的水平位置，j代表像素在图像的垂直位置，%代表求余数，i4和j4代表为变量名称。

当图像像素所处位置为L∈(i4<2∩j4<2)∪(i4≥2∩j4≥2)时，即为长曝光像素L，L代表长曝光像素；

当图像像素所处位置为S∈(i4<2∩j4≥2)∪(i4≥2∩j4<2)时，即为短曝光像素S，S代表短曝光像素。

步骤S2：根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线；

根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线；所谓映射曲线，是指图像像素的输出值与输入值的映射关系，具体地，所述映射曲线的关系式如下：

$\mathrm{RO}=\left\{\begin{array}{cc}\mathrm{RI}*k1& \mathrm{RI}<\mathrm{th}1\\ (\mathrm{RI}-\mathrm{th}1)*k2+c1& \mathrm{RI}<\mathrm{th}2\\ \frac{M-c2}{M-\mathrm{th}2}*\mathrm{RI}+\frac{c2-\mathrm{th}2}{M-\mathrm{th}2}*M& \mathrm{RI}\&GreaterEqual;\mathrm{th}2\end{array}\right.$

其中，RO代表输出像素值，RI代表输入像素值，th1为线段A1分割阈值，th2为线段A2分割阈值，c1、c2分别为RI为th1，th2时对应的RO的值，k1为c1与th1对应的斜率，k2为c2与th2对应的斜率，M为常数，即输入图像的灰度等级，若灰度等级为n，则M=2^n，即2的n次幂。

其中，因线段连续，故c1和c2的计算关系式如下：

c1=th1*k1

c2=(th2-th1)*k2+th1*k1

具体地，所述计算斜率k1，k2值具体的公式如下:

k1=k1_i*kr；

k2=k2_i*kr；

其中k1_i代表k1的初始值，k2_i代表k2的初始值，kr为斜率的矫正系数。

具体地，其中，所述斜率的矫正系数kr的具体计算关系式如下：

$\mathrm{kr}=\left\{\begin{array}{cc}1/2& \mathrm{RIav}<M/64\\ \frac{\mathrm{RIav}}{M}*32& M/64\&le;\mathrm{RIav}<M/16\\ 2& \mathrm{RIav}\&GreaterEqual;M/16\end{array}\right.$

其中，RIav为曝光像素的均值，M为常数，即输入图像的灰度等级。

具体地，其中，计算k1的初始值k1_i、k2的初始值k2_i、th1和th2值的具体关系式如下：

当前像素在短曝光区域时，其关系式为

k1_i=k_ls，k2_i=1；

th1=M/k_ls/4，th2=M/k_ls/2；

当前像素在长曝光区域时，其关系式为

k1_i=1，k2_i=1/k_ls；

th1=M/4，th2=M/2；

其中，k_ls代表长曝光与短曝光比例，M代表常数，即输入图像的灰度等级。

具体地，其中，所述曝光像素的均值RIav的具体计算关系如下:

$\mathrm{RIav}=\left({\mathrm{\&Sigma;}}_{p=i-1}^{i+2}{\mathrm{\&Sigma;}}_{q=j-2}^{j+2}(\mathrm{RI}(p,q)\&Element;L)\right)/\mathrm{LP}$

其中,p、q代表曝光像素的均值的像素位置，LP代表曝光像素的个数。

以当前像素（i，j）为核心的5*5图像区域的曝光像素的均值为例，当前像素为长曝光时，LP=13，当前点为短曝光像素时，LP=12。

计算得到k1，k2，th1，th2的值后，即计算出了输入像素值与输出像素值间的映射关系值，从而获得映射曲线。

步骤S3：根据长曝光像素与短曝光像素和映射曲线，以完成长曝光与短曝光像素映射；

根据步骤S1确定长曝光与短曝光像素的位置后，亦可获得长曝光像素与短曝光像素，选择步骤S2中计算并获得的相应的映射曲线，以完成长曝光与短曝光像素映射；即根据步骤S1中所获得的长曝光像素与短曝光像素和步骤S2中的长曝光像素与短曝光像素映射来完成长曝光像素与短曝光像素的映射。

步骤S4：判断长曝光像素和/或短曝光像素边缘方向并获得长曝光像素和/或短曝光像素边缘方向的插值；

判断长曝光像素和短曝光像素边缘方向并获得长曝光像素和短曝光像素边缘方向的插值；也可以只判断长曝光像素边缘方向并获得长曝光像素边缘方向的插值；也可以只判断短曝光像素边缘方向并获得短曝光像素边缘方向的插值，具体地，首先计算当前像素RI（i，j）水平与垂直方向的梯度，其关系式如下：

Dh（i,j）=|RI（i，j-2）-RI（i，j+2）|

Dv（i,j）=|RI（i-2，j）-RI（i+2，j）|

其中，Dh代表为水平方向梯度，Dv代表为垂直方向梯度。

然后再计算边缘方向的插值，其关系如下：

$\mathrm{Re}(i,j)=\left\{\begin{array}{ccc}(\mathrm{RO}(i,j-2)+\mathrm{RO}(i,j+2))& /2& \mathrm{Dh}(i,j)<\mathrm{Dv}(i,j)\\ (\mathrm{RO}(i-2,j)+\mathrm{RO}(i+2,j))& /2& \mathrm{Dh}(i,j)\&GreaterEqual;\mathrm{Dv}(i,j)\end{array}\right.$

其中，Re代表边缘方向的插值。

步骤S5：根据长曝光与短曝光像素映射和长曝光像素和/或短曝光像素边缘方向的插值，融合长曝光和短曝光。

具体地，根据步骤S3中的长曝光像素与短曝光像素的映射和步骤S4中的长曝光像素和短曝光像素边缘方向的插值，来完成实现融合长曝光和短曝光；也可以根据步骤S3中的长曝光像素与短曝光像素的映射和步骤S4中的长曝光像素边缘方向的插值，来完成实现长曝光和短曝光的融合；还可以根据步骤S3中的长曝光像素与短曝光像素的映射和步骤S4中的短曝光像素边缘方向的插值，来完成长曝光和短曝光的融合。

本发明的基于单帧双次曝光模式的宽动态融合方法，具有提升动态范围大,对图像细节保护的更好,色彩更真实。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.基于单帧双次曝光模式的宽动态融合方法，其特征在于，包括：

根据曝光格式获得长曝光像素与短曝光像素；

根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线；

根据长曝光像素与短曝光像素和映射曲线，以完成长曝光与短曝光像素映射；

判断长曝光像素和/或短曝光像素边缘方向并获得长曝光像素和/或短曝光像素边缘方向的插值；

根据长曝光与短曝光像素映射和长曝光像素和/或短曝光像素边缘方向的插值，融合长曝光和短曝光。

2.根据权利要求1所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，所述根据曝光格式获得长曝光像素与短曝光像素具体包含以下步骤：

计算像素位置（ｉ，ｊ）除以4的余数，其公式如下：

i4=i%4

j4=j%4

其中，i代表像素在图像的水平位置，j代表像素在图像的垂直位置，

当图像像素所处位置为L∈(i4<2∩j4<2)∪(i4≥2∩j4≥2)时，即为长曝光像素L；

当图像像素所处位置为S∈(i4<2∩j4≥2)∪(i4≥2∩j4<2)时，即为短曝光像素S。

3.根据权利要求1所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，所述根据长短曝光比例与每个像素所处亮暗区域计算并获得映射曲线具体步骤如下：其中，所述映射曲线的关系式如下：

$\mathrm{RO}=\left\{\begin{array}{cc}\mathrm{RI}*k1& \mathrm{RI}<\mathrm{th}1\\ (\mathrm{RI}-\mathrm{th}1)*k2+c1& \mathrm{RI}<\mathrm{th}2\\ \frac{M-c2}{M-\mathrm{th}2}*\mathrm{RI}+\frac{c2-\mathrm{th}2}{M-\mathrm{th}2}*M& \mathrm{RI}\&GreaterEqual;\mathrm{th}2\end{array}\right.$

其中，RO代表输出像素值，RI代表输入像素值，th1、th2为线段分割阈值，c1、c2分别为RI为th1，th2时对应的RO的值，k1为c1与th1对应的斜率,k2为c2与th2对应的斜率，M为常数，即输入图像的灰度等级，若灰度等级为n，则M=2^n，即2的n次幂。

4.根据权利要求3所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，所述c1和c2的计算关系式如下：

c1=th1*k1；

c2=(th2-th1)*k2+th1*k1。

5.根据权利要求3至4之一所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，所述计算斜率k1，k2值具体的公式如下:

k1=k1_i*kr；

k2=k2_i*kr；

其中k1_i代表k1的初始值，k2_i代表k2的初始值，kr为斜率的矫正系数。

6.根据权利要求5所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，所述斜率的矫正系数kr的具体计算关系式如下：

$\mathrm{kr}=\left\{\begin{array}{cc}1/2& \mathrm{RIav}<M/64\\ \frac{\mathrm{RIav}}{M}*32& M/64\&le;\mathrm{RIav}<M/16\\ 2& \mathrm{RIav}\&GreaterEqual;M/16\end{array}\right.$

其中，RIav为曝光像素的均值，M为常数，即输入图像的灰度等级。

7.根据权利要求5所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，计算k1的初始值k1_i、k2的初始值k2_i、th1和th2值的具体关系式如下：

当前像素在短曝光区域时，其关系式为

k1_i=k_ls，k2_i=1；

th1=M/k_ls/4，th2=M/k_ls/2；

当前像素在长曝光区域时，其关系式为

k1_i=1，k2_i=1/k_ls；

th1=M/4，th2=M/2；

其中，k_ls代表长曝光与短曝光比例，M代表常数，即输入图像的灰度等级。

8.根据权利要求6所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，所述曝光像素的均值RIav的具体计算关系如下:

$\mathrm{RIav}=\left({\mathrm{\&Sigma;}}_{p=i-2}^{i+2}{\mathrm{\&Sigma;}}_{q=j-2}^{j+2}(\mathrm{RI}(p,q)\&Element;L)\right)/\mathrm{LP}$

其中,p、q代表曝光像素的均值的像素位置，LP代表曝光像素的个数。

9.根据权利要求1所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，判断长曝光像素和/或短曝光像素边缘方向并获得长曝光像素和/或短曝光像素边缘方向的插值还包含以下步骤：

首先计算当前像素RI（i，j）水平与垂直方向的梯度，其关系式如下：

Dh（i,j）=|RI（i，j-2）-RI（i，j+2）|

Dv（i,j）=|RI（i-2，j）-RI（i+2，j）|

其中，Dh代表为水平方向梯度，Dv代表为垂直方向梯度。

然后再计算边缘方向的插值，其关系如下：

$\mathrm{Re}(i,j)=\left\{\begin{array}{ccc}(\mathrm{RO}(i,j-2)+\mathrm{RO}(i,j+2))& /2& \mathrm{Dh}(i,j)<\mathrm{Dv}(i,j)\\ (\mathrm{RO}(i-2,j)+\mathrm{RO}(i+2,j))& /2& \mathrm{Dh}(i,j)\&GreaterEqual;\mathrm{Dv}(i,j)\end{array}\right.$

其中，Re代表边缘方向的插值。

10.根据权利要求1所述的基于单帧双次曝光模式的宽动态融合方法，其特征在于，根据长曝光与短曝光像素映射和长曝光像素和/或短曝光像素边缘方向的插值，融合长曝光和短曝光的具体步骤如下：

计算融合因子Fk，其关系式为：

当前像素为长曝光时，Fk=（M–RO）/M；

当前像素为短曝光时，Fk=RO/M；

计算长曝光和短曝光的融合值,其关系式如下：

Rf(i,j)＝Fk(i,j)*RO(i,j)+(1-Fk(i,j))*Re(i,j)；

其中，Fk代表融合因子；M为常数，即输入图像的灰度等级；Rf代表长曝光和短曝光的融合值。