CN110708470B - 一种自适应互补曝光数字图像处理方法、图像获取设备 - Google Patents

Abstract

本发明属于数字图像处理技术领域，公开了一种自适应互补曝光数字图像处理方法、图像获取设备，随机曝光一幅初始有效图像；并通过初始图像曝光7幅不同亮度的图像；将得到的8幅图像划分成16块区域，分别求每块区域的图像熵；将对应区域块的图像熵进行高斯拟合得到16条高斯曲线；通过比较16条高斯曲线峰值的大小，将16块区域划分成亮暗细节区域块；将对应的亮细节区域块的图像熵进行高斯拟合，其高斯曲线的峰值即为理想的低曝光时间，理想的高曝光时间同理可求。本发明在高曝光条件下，以提升光照较弱区域的图像细节信息为目标，而在低曝光条件下，以提升光照较强区域的图像细节信息为目标，合成后的图像质量最好，细节表现相对最完整。

Description

一种自适应互补曝光数字图像处理方法、图像获取设备

技术领域

本发明属于数字图像处理技术领域，尤其涉及一种自适应互补曝光数字图像处理方法、图像获取设备。

背景技术

目前，最接近的现有技术：为了能够在高动态场景下输出高质量的图像，在强光区域和弱光区域都有很好的纹理细节，研究者们提出了多曝光融合算法，在保持相机位姿情况下，通过连续捕获多张不同曝光时间的图像进行后期融合处理，合成一幅高质量的图像。但这种方法有很多缺陷，现行的算法中通常设定固定的多个曝光时间，采集多幅图像，之后进行合成。一方面，即使在高动态场景下，使用固定曝光时间得到的多幅图像之间依然有很大的冗余度。饱和式采集的工作模式增加了高动态图像采集的时间，也大幅增加了后处理的计算量。另一方面，连续采集多幅图像需要更长的总体曝光时间，当场景中有运动物体时，需要用额外的计算资源解决图像合成中的虚影问题，且曝光时间越长，所需要的计算量越大。此外，这种工作模式也只能适用于静止图像的拍摄，不能适用于HDR视频的拍摄，无法适用于今后高动态场景视频录制的需求。

针对上述技术问题，本发明提出了一种自适应互补曝光算法。在高动态场景下，采用本发明提出的自适应互补曝光算法，能够自动控制曝光时间捕获两幅最佳的互补图像，这两幅互补图像能在后期合成中获得与多幅图像融合等同的效果。

解决上述技术问题的难度：

对于不同的高动态场景，如何有效的降低高动态范围成像的捕获时间且不降低融合图像的质量；算法如何收敛到最佳的高低曝光时间。

解决上述技术问题的意义：

本发明提出的自适应互补曝光算法，在高动态场景下对于每一幅输出图像仅需要拍摄两幅互补图像即可输出一幅高动态图像；本发明提出的自适应互补曝光算法，通过采集少量的图像，即可拟合得到最佳的高低曝光图像的曝光时间；本发明提出的自适应互补曝光算法复杂度低，所需图像数量少，可有效降低高动态范围成像的总体捕获时间、减少存储空间，而且也避免了多个图像产生的冗余信息较多的问题。

发明内容

针对现有技术存在的问题，本发明提供了一种自适应互补曝光数字图像处理方法、图像获取设备。

本发明是这样实现的，一种自适应互补曝光数字图像处理方法，所述自适应互补曝光数字图像处理方法随机曝光一幅初始有效图像；并通过初始图像曝光7幅不同亮度的图像；将得到的8幅图像划分成16块区域，分别求每块区域的图像熵；将对应区域块的图像熵进行高斯拟合得到16条高斯曲线；通过比较16条高斯曲线峰值的大小，将16块区域划分成亮暗细节区域块；将对应的亮细节区域块的图像熵进行高斯拟合，其高斯曲线的峰值即为理想的低曝光时间，理想的高曝光时间同理可求。

进一步，所述自适应互补曝光数字图像处理方法包括以下步骤：

第一步，用初始曝光时间t捕获一幅图像，求得对应图像平均亮度

第二步，由初始图像和初始图像的平均亮度捕获7幅不同亮度的图像；

第三步，将以上8幅图像划分成16块区域，分别求每幅图像16块区域的图像熵。

第四步，以第二步的8幅图像的曝光时间为自变量，第三步的每块区域的图像熵为因变量，对每块区域进行8点高斯拟合，得到16条高斯曲线。

第五步，由第四步得到的16条高斯曲线可得到16个曲线峰值所对应的曝光时间，取最小的5块区域为低曝光图像的亮细节区域块，最大的5块区域为高曝光图像的暗细节区域块；

第六步，将8幅图像中对应的亮细节区域块的图像熵进行相加，并进行8点高斯拟合，高斯曲线的峰值即为所求的低曝光图像的曝光时间；同理可求高曝光图像的曝光时间。

进一步，所述第一步捕获的初始图像即捕获一幅有效图像作为初始图像。

进一步，所述第二步捕获不同亮度的图像，其曝光时间的计算公式为：

其中，

为目标平均亮度，

为曝光时间t捕获图像的平均亮度，t_i为第i幅图像的曝光时间，i＝1,2,3,4,5，将t,t₁,t₂,t₃,t₄,t₅进行排序得到排序好的曝光时间序列t₁,t₂,t₃,t₄,t₅,t₆。令

得到以t₇、t₈为曝光时间的图像，并将t₁～t₈进行排序得到排序好的曝光时间序列t₁～t₈。

进一步，所述第三步将每幅图像均划分成16块区域，并分别求每块区域的图像熵，共求得16组图像熵，且每组图像熵有8个值。

进一步，所述第四步以第二步的8幅图像的曝光时间为自变量，第三步的每组图像熵为因变量，进行8点高斯拟合，得到16条高斯曲线；

其中，高斯拟合方法如下：

设有一组实验数据(x_i,y_i)(i＝1,2,3...)，用高斯函数描述：

式中待估参数y_max，x_max和S分别为高斯曲线的峰值、峰值位置和半宽度信息，两边取自然对数为：

令：

则：

简记为：

Z＝XB；

根据最小二乘原理，构成的矩阵B的广义最小二乘解为：

B＝(X^TX)^-1X^TZ；

再由B的值求出待估参数y_max，x_max和S，即可得到高斯函数的特征参数。

进一步，所述第五步由第四步得到的16条高斯曲线得到16个曲线峰值所对应的曝光时间，即每块区域拟合后图像熵最大时所对应的曝光时间；当该曝光时间较小时，该区域块即为低曝光图像中的亮细节区域块，当该曝光时间较大时，该区域块即为高曝光图像中的暗细节区域块；将16个曝光时间的值进行排序，取最小的5个曝光时间所对应的区域块为低曝光图像的亮细节区域块，最大的5个曝光时间所对应的区域块为高曝光图像的暗细节区域块。

进一步，所述第六步将8幅图像中对应的亮细节区域块的图像熵进行相加，并进行8点高斯拟合，高斯曲线的峰值即为所求的低曝光图像的曝光时间；将高低曝光图像的曝光时间作为程序的输出。

本发明的另一目的在于提供一种应用所述自适应互补曝光数字图像处理方法的图像获取设备。

本发明的另一目的在于提供一种应用所述自适应互补曝光数字图像处理方法的信息数据处理终端。

综上所述，本发明的优点及积极效果为：本发明通过自动调整并且定位两个曝光参数，在高曝光条件下，以提升光照较弱区域的图像细节信息为目标，而在低曝光条件下，以提升光照较强区域的图像细节信息为目标，使得最后收敛到两幅最佳的曝光时间组合图像，它们合成后的图像质量最好，细节表现相对最完整。

附图说明

图1是本发明实施例提供的自适应互补曝光数字图像处理方法的流程图。

图2是本发明实施例提供的自适应互补曝光数字图像处理方法的实现流程图。

图3是本发明实施例提供的拍摄的8幅不同亮度的图像示意图。

图4是本发明实施例提供的16块区域以图像熵为因变量曝光时间为自变量进行8点高斯拟合的示意图；

图中：(a)中蓝色离散点表示8幅图像第一块区域图像熵和曝光时间的对应关系，红色曲线表示对8个离散点进行高斯拟合得到的曲线，蓝色直线是对红色曲线的峰值所作的垂线，t₁表示红色曲线的峰值所对应的曝光时间；(b)～(p)同理分别表示第二块区域至第十六块区域。

图5是本发明实施例提供的将细节区域块进行8点高斯拟合的示意图；

图中：(a)表示将低曝光图像的亮细节区域块进行高斯拟合，曲线峰值所对应的曝光时间t_l即为所求的低曝光图像的曝光时间；同理(b)表示将高曝光图像的暗细节区域块进行高斯拟合，曲线峰值所对应的曝光时间t_h即为所求的高曝光图像的曝光时间。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种自适应互补曝光数字图像处理方法、图像获取设备，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的自适应互补曝光数字图像处理方法包括以下步骤：

S101：随机曝光一幅初始有效图像；并通过初始图像曝光7幅不同亮度的图像；

S102：将得到的8幅图像划分成16块区域，分别求每块区域的图像熵；

S103：将对应区域块的图像熵进行高斯拟合得到16条高斯曲线；

S104：通过比较16条高斯曲线峰值的大小，将16块区域划分成亮暗细节区域块；

S105：将对应的亮细节区域块的图像熵进行高斯拟合，其高斯曲线的峰值即为理想的低曝光时间，理想的高曝光时间同理可求。

下面结合附图对本发明的技术方案作进一步的描述。

如图2所示，本发明实施例提供的自适应互补曝光数字图像处理方法包括以下步骤：

步骤一、用初始曝光时间t捕获一幅有效图像，求得对应图像平均亮度

步骤二、由初始图像和初始图像的平均亮度捕获7幅不同亮度的图像，其曝光时间的计算公式为：

其中，

为目标平均亮度，

为曝光时间t捕获图像的平均亮度，t_i为第i幅图像的曝光时间，i＝1,2,3,4,5，将t,t₁,t₂,t₃,t₄,t₅进行排序得到排序好的曝光时间序列t₁,t₂,t₃,t₄,t₅,t₆。令

得到以t₇、t₈为曝光时间的图像，并将t₁～t₈进行排序得到排序好的曝光时间序列t₁～t₈。捕获的8幅图像如图3所示。

步骤三、将以上8幅图像划分成16块区域，分别求每幅图像16块区域的图像熵，即共求得16组图像熵，且每组图像熵有8个值。

步骤四、以S2的8幅图像的曝光时间为自变量，S3的每组图像熵为因变量，进行8点高斯拟合，可得到16条高斯曲线，如图4所示。

其中，高斯拟合方法如下：

设有一组实验数据(x_i,y_i)(i＝1,2,3...)，可用高斯函数描述：

式中待估参数y_max，x_max和S分别为高斯曲线的峰值、峰值位置和半宽度信息。上式两边取自然对数为：

令：

则：

简记为：

Z＝XB；

根据最小二乘原理，构成的矩阵B的广义最小二乘解为：

B＝(X^TX)^-1X^TZ；

进而再由B的值求出待估参数y_max，x_max和S，即可得到高斯函数的特征参数。

步骤五、由S4得到的16条高斯曲线可得到16个曲线峰值所对应的曝光时间，即每块区域拟合后图像熵最大时所对应的曝光时间。当该曝光时间较小时，该区域块即为低曝光图像中的亮细节区域块，当该曝光时间较大时，该区域块即为高曝光图像中的暗细节区域块。16条高斯曲线峰值所对应的曝光时间为(单位为微秒)：区域1：64927，区域2：78977，区域3：1000，区域4：44093，区域5：48632，区域6：73313，区域7：16662，区域8：34225，区域9：51809，区域10：45391，区域11：18804，区域12：38237，区域13：24501，区域14：26112，区域15：24818，区域16：21425。故将16个曝光时间的值进行排序，取最小的5个曝光时间所对应的区域块即区域3、区域7、区域11、区域16、区域13为低曝光图像的亮细节区域块，最大的5个曝光时间所对应的区域块即区域2、区域6、区域1、区域9、区域5为高曝光图像的暗细节区域块。

步骤六、将8幅图像中对应的亮细节区域块的图像熵进行相加，并进行8点高斯拟合。高斯曲线的峰值即为所求的低曝光图像的曝光时间17420。同理可求高曝光图像的曝光时间49440。拟合的高斯曲线如图5所示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自适应互补曝光数字图像处理方法，其特征在于，所述自适应互补曝光数字图像处理方法随机曝光一幅初始有效图像；并通过初始图像曝光7幅不同亮度的图像；将每幅图像均划分成16块区域，并分别求每块区域的图像熵，共求得16组图像熵，且每组图像熵有8个值；将对应区域块的图像熵进行高斯拟合得到16条高斯曲线；通过比较16条高斯曲线峰值的大小，将16块区域划分成亮暗细节区域块；将对应的亮细节区域块的图像熵进行高斯拟合，其高斯曲线的峰值即为理想的低曝光时间，将对应的暗细节区域块的图像熵进行高斯拟合，其高斯曲线的峰值即为理想的高曝光时间。

2.如权利要求1所述的自适应互补曝光数字图像处理方法，其特征在于，所述自适应互补曝光数字图像处理方法包括以下步骤：

第一步，用初始曝光时间t捕获一幅图像，求得对应图像平均亮度

第二步，由初始图像和初始图像的平均亮度捕获7幅不同亮度的图像；

第三步，将每幅图像均划分成16块区域，并分别求每块区域的图像熵，共求得16组图像熵，且每组图像熵有8个值；

第四步，以第二步的8幅图像的曝光时间为自变量，第三步的每块区域的图像熵为因变量，对每块区域进行8点高斯拟合，得到16条高斯曲线；

第五步，由第四步得到的16条高斯曲线可得到16个曲线峰值所对应的曝光时间，取最小的5块区域为低曝光图像的亮细节区域块，最大的5块区域为高曝光图像的暗细节区域块；

第六步，将8幅图像中对应的亮细节区域块的图像熵进行相加，并进行8点高斯拟合，高斯曲线的峰值即为所求的低曝光图像的曝光时间；将对应的暗细节区域块的图像熵进行高斯拟合，其高斯曲线的峰值即为理想的高曝光时间。

3.如权利要求2所述的自适应互补曝光数字图像处理方法，其特征在于，所述第一步捕获的初始图像即捕获一幅有效图像作为初始图像。

4.如权利要求2所述的自适应互补曝光数字图像处理方法，其特征在于，所述第二步捕获不同亮度的图像，其曝光时间的计算公式为：

其中，

为目标平均亮度，

为曝光时间t捕获图像的平均亮度，t_i为第i幅图像的曝光时间，i＝1,2,3,4,5，将t,t₁,t₂,t₃,t₄,t₅进行排序得到排序好的曝光时间序列t′₁，t′₂，t′₃，t′₄，t′₅，t′₆；令

得到以t′₇、t′₈为曝光时间的图像，并将t′₁～t′₈进行排序得到排序好的曝光时间序列t₁～t₈。

5.如权利要求2所述的自适应互补曝光数字图像处理方法，其特征在于，所述第四步以第二步的8幅图像的曝光时间为自变量，第三步的每组图像熵为因变量，进行8点高斯拟合，得到16条高斯曲线；

其中，高斯拟合方法如下：

设有一组实验数据(x_i,y_i)(i＝1,2,3...)，用高斯函数描述：

式中待估参数y_max，x_max和S分别为高斯曲线的峰值、峰值位置和半宽度信息，两边取自然对数为：

令：

lny_i＝z_i，

则：

简记为：

Z＝XB；

根据最小二乘原理，构成的矩阵B的广义最小二乘解为：

B＝(X^TX)^-1X^TZ；

再由B的值求出待估参数y_max，x_max和S，即可得到高斯函数的特征参数。

6.如权利要求2所述的自适应互补曝光数字图像处理方法，其特征在于，所述第五步由第四步得到的16条高斯曲线得到16个曲线峰值所对应的曝光时间，即每块区域拟合后图像熵最大时所对应的曝光时间；当该曝光时间较小时，该区域块即为低曝光图像中的亮细节区域块，当该曝光时间较大时，该区域块即为高曝光图像中的暗细节区域块；将16个曝光时间的值进行排序，取最小的5个曝光时间所对应的区域块为低曝光图像的亮细节区域块，最大的5个曝光时间所对应的区域块为高曝光图像的暗细节区域块。

7.如权利要求2所述的自适应互补曝光数字图像处理方法，其特征在于，所述第六步将8幅图像中对应的亮细节区域块的图像熵进行相加，并进行8点高斯拟合，高斯曲线的峰值即为所求的低曝光图像的曝光时间；同理可求高曝光图像的曝光时间，将高低曝光图像的曝光时间作为程序的输出。

8.一种应用权利要求1～7任意一项所述自适应互补曝光数字图像处理方法的图像获取设备。

Images