CN106373105B - 基于低秩矩阵恢复的多曝光图像去伪影融合方法 - Google Patents

Abstract

本发明公开了一种基于低秩矩阵恢复的多曝光图像去伪影融合方法。首先，归一化输入多曝光图像序列；接着，使用相机响应函数对归一化后的图像序列进行辐射校准；然后向量化多曝光图像序列构成低秩矩阵恢复的数据矩阵；使用改进的低秩矩阵恢复算法得到低秩矩阵；从低秩矩阵数据中恢复目标的高动态范围（High dynamic range，HDR）图像。本发明利用低秩矩阵恢复的最新研究成果，能够得到有效去除融合后的HDR图像中的伪影和模糊问题。

Description

基于低秩矩阵恢复的多曝光图像去伪影融合方法

技术领域

本发明涉及一种将低动态范围图像合成高动态范围图像的方法，具体来说，它涉及一种利用辐射校准和低秩矩阵恢复算法完成对多曝光的低动态范围图像序列的融合，最后生成没有伪影的高动态范围图像的方法。

背景技术

高动态范围成像已经开始成为一种商业产品，比如智能手机。在相同真实的场景中，大多数成像传感器的有限动态范围，往往无法捕捉到场景完整动态范围的亮度，然而使用一种相对简单廉价的方式可以解决这个限制，就是捕获若干对同一场景不同曝光时间的图像然后把它们融合成一张记录场景亮度的高动态范围图像，因此有效的扩展图像动态范围。然而由于相机的抖动或者场景中物体的移动，往往会导致融合后的图像出现伪影或者模糊的现象。

发明内容

针对以上的不足，本发明提供了一种改进的低秩矩阵恢复的多曝光图像去伪影融合方法，来解决现有融合后的图像出现伪影或者模糊的现象。

为了解决上述技术问题，本发明的技术方案为：

一种改进的低秩矩阵恢复的多曝光图像去伪影融合方法，包括：

a)对输入多曝光图像序列进行归一化处理；

b)对归一化处理后的多曝光图像序列使用相机响应函数实现辐射校准；

c)向量化多曝光图像序列中每一幅辐射校正的图像作为数据矩阵的列向量；

d)使用低秩矩阵恢复算法求解数据矩阵的低秩矩阵；

e)由低秩矩阵重构出高动态范围图像。

所述步骤a)与步骤b)之间还包括：

步骤ab)对数字图像采集设备的相机响应函数进行标定，相机响应函数定义为场景亮度通过透镜系统入射到传感器表面的辐射照度映射到最终采集设备获取的数字图像像素值的关系，该函数属于采集设备的特征曲线且为递增函数，必定存在逆映射。也可以拍摄多幅线性映射的多曝光图像。辐射校正使得图像的亮度都为线性映射关系，增加融合图像的准确性。

所述步骤a)的具体实现过程为：

a1)对多曝光图像序列的每一幅图像进行归一化处理。选取图像RGB三通道其中一个通道的灰度图，并定义输入图像中任意一点处的像素值为Y，I表示为归一化之后的像素值：

所述步骤b)的具体实现过程为：

b1)定义标定的相机响应函数的逆映射为f^-1，定义多曝光图像序列中的图像为I，对应的曝光时间参数为t，I′表示辐射校正的图像：

其中，使用图像采集设备的曝光环绕方法拍摄多幅不同曝光的图像，以中间曝光时间参数的图像作为参考图像，其曝光时间参数为t_ref。

所述步骤c)的具体实现过程为：

c1)定义多曝光图像序列为{I₁，I₂，...，I_N}，辐射校正后的多曝光图像序列为{I′₁，I′₂，...，I′_N}，其中N为多曝光图像序列的数量。将辐射校正后的图像序列向量化得到矩阵L：

D＝[vec(I′₁)|vec(I′₂)|...|vec(I′_N)] (3)

其中，数据矩阵

M为图像像素总数，N为多曝光图像序列的数量，M＞＞N。

c2)定义经过低秩矩阵恢复算法得到的低秩矩阵为L，稀疏噪声矩阵为E，使得数据矩阵D＝L+E：

L＝[vec(L₁)|vec(L₂)|...|vec(L_N)]

E＝[vec(E₁)|vec(E₂)|...|vec(E_N)] (4)

其中，L_i为低秩对齐后的图像，E_i为场景中的稀疏噪声图像，图像L_i和E_i宽度和高度与图像I相同。

所述步骤d)的具体实现过程为：

d1)对数据矩阵D进行低秩矩阵恢复算法，求解得到低秩矩阵L：

其中，参数为优化方程的惩罚因子λ＞0，R为目标低秩矩阵L的秩。上式为多曝光图像去伪影融合问题，利用凸松弛将求秩函数转换为截断核函数，l₀范数转换为l₁范数求得最优解：

其中，截断核函数为

σ_i为矩阵L的奇异值。对于多曝光图像去伪影融合方法令R＝1。

d2)采用增广拉格朗日乘子法求解该问题，定义拉格朗日方程为

其中，μ＞0是拉格朗日乘子法的惩罚因子，Y是拉格朗日乘子矩阵，<A，B>＝trace(A^TB)为矩阵内积，

为Frobenius范数。则优化方程转化为无约束问题

求解方法如下：

d3)令迭代次数定义为k。迭代开始时k＝0，初始化各个矩阵为：

Y₀＝D/max(||D||₂，||D||_∞)

L₀＝0

E_o＝0

其中，Y₀的初始化可以使得目标函数值<D，Y₀>适当的大。||D||₂＝max(σ_i|i＝1，...，rank(D))，

d4)更新低秩矩阵L_k+1和稀疏噪声矩阵E_k+1：

d5)更新拉格朗日乘子矩阵Y_k+1和拉格朗日乘子法的惩罚因子μ_k+1：

Y_k+1＝Y_k+μ_k(D-L_k+1-E_k+1)

μ_k+1＝min(ρμ_k，μ_max) (10)

其中，ρ为迭代收敛因子，控制收敛速度和收敛误差。μ_max确保μ_k有界，且令μ_max＝10⁷μ₀。增广拉格朗日乘子法求解的好处是如果{μ_k}是递增序列且有界该求解方法线性收敛，如果{μ_k}无界该求解方法超线性收敛。这里令ρ＝1.5，可以保证收敛速度和收敛误差得到平衡。

d6)定义迭代终止条件为：

其中，∈为误差阈值。为了得到较精准的收敛结果，令∈＝10^-5。令最大迭代次数为k_max＝500，如果满足迭代条件或者到达最大迭代次数则进入步骤e)；否则自增迭代步数k，回到步骤d4)继续迭代。

所述步骤d4)还包括：

d41)基于交替方向乘子法迭代求解

定义迭代次数为j，分解为以下局部子问题进行迭代求解：

d42)初始化时，令j＝0，初始化

和

d43)首先求解矩阵

定义Sigmoid函数为S(·)：

S(x)＝(1+e^-a(x-b))^-1 (13)

为了能够得到足够低秩的矩阵，这里令a＝4，b＝0。定义截断核函数的软阈值算子

根据截断核函数的软阈值算子，定义部分奇异值阈值算子

其中，l为矩阵Y的秩。

svd(·)表示奇异值分解，

那么更新矩阵

的方法如下：

d44)求解得到新的

后代入下一个子问题更新

根据：

其中，

则更新

得：

d45)定义迭代的终止条件为：

其中，∈₁为误差阈值，一般令∈₁＝10^-2。令最大迭代次数为j_max＝5，当满足终止条件或者到达最大迭代次数时，则进入步骤d5)；否则，自增迭代步数j，回到步骤d43)继续进行迭代。

所述步骤e)的具体实现过程为：

e1)由步骤d)得到了低秩矩阵L。定义场景的辐射照度为H：

由上式可以得到HDR图像的其中一个通道的亮度信息，重复步骤a)直到完成RGB三个通道的融合，最终得到HDR图像。

与现有技术相比，本发明的有益效果：

本发明提出基于改进的低秩矩阵恢复的多曝光图像去伪影融合方法。基于低秩矩阵恢复使得融合结果不受稀疏噪声的影响，且保证了即使只有少量数据的条件下能够得到更低秩的矩阵，其最优解尽量集中在最大奇异值的空间。求解低秩矩阵恢复问题时，要求低秩矩阵最大的奇异值能够涵盖绝大部分数据，而代表噪声的奇异值则要尽可能小。对于只有3或5幅的图像序列，令目标函数中的R＝1，即秩为1时的低秩矩阵部分尽可能不受到影响，提高了融合方法的稳定性。本专利能够很好的去除融合动态场景时伪影和模糊的现象。

附图说明

图1为一种基于低秩矩阵恢复的多曝光图像去伪影融合方法框图；

图2为一种基于低秩矩阵恢复的多曝光图像去伪影融合方法流程图；

图3为本发明待处理的动态场景的多曝光图像序列；

图4为经过色调映射的融合后去伪影的HDR图像。

具体实施方式

下面结合附图对本发明进行进一步阐述。

如图1所示，本发明基低秩矩阵恢复的多曝光图像去伪影融合方法包括：1)对输入多曝光图像序列进行归一化处理；2)对归一化处理后的多曝光图像序列使用相机响应函数实现辐射校准；3)向量化多曝光图像序列中每一幅辐射校正的图像作为数据矩阵的列向量；4)使用低秩矩阵恢复算法求解数据矩阵的低秩矩阵；5)由低秩矩阵重构出高动态范围图像。基于低秩矩阵恢复的多曝光图像去伪影融合方法的具体实施过程如图2所示。

下面对各步骤进行详细阐述：

1)如图3所示为动态场景的多曝光图像序列与曝光时间参数。对输入多曝光图像序列进行归一化处理。

11)定义多曝光图像序列为{I₁，I₂，...，I_N}，对多曝光图像序列的每一幅图像进行归一化处理。选取图像RGB三通道其中一个通道的灰度图，并定义输入图像中任意一点处的像素值为Y，I表示为归一化之后的像素值：

2)对数字图像采集设备的相机响应函数进行标定，相机响应函数定义为场景亮度通过透镜系统入射到传感器表面的辐射照度映射到最终采集设备获取的数字图像像素值的关系，该函数属于采集设备的特征曲线且为递增函数，必定存在逆映射。也可以拍摄多幅线性映射的多曝光图像。辐射校正使得图像的亮度都为线性映射关系，增加融合图像的准确性。

21)定义标定的相机响应函数的逆映射为f^-1，定义多曝光图像序列中的图像为I，对应的曝光时间参数为t，I′表示辐射校正的图像：

其中，使用图像采集设备的曝光环绕方法拍摄多幅不同曝光的图像，以中间曝光时间参数的图像作为参考图像，其曝光时间参数为t_ref。

3)向量化多曝光图像序列中每一幅辐射校正的图像I′作为数据矩阵的列向量。

31)辐射校正后的多曝光图像序列为{I′₁，I′₂，...，I′_N}，其中N为多曝光图像序列的数量。将辐射校正后的图像序列向量化得到矩阵L：

D＝[vec(I′₁)|vec(I′₂)|...|vec(I′_N)] (3)

其中，数据矩阵

M为图像像素总数，N为多曝光图像序列的数量，M＞＞N。

32)定义经过低秩矩阵恢复算法得到的低秩矩阵为L，稀疏噪声矩阵为E，使得数据矩阵D＝L+E：

L＝[vec(L₁)|vec(L₂)|...|uec(L_N)]

E＝[vec(E₁)|vec(E₂)|...|vec(E_N)] (4)

其中，L_i为低秩对齐后的图像，E_i为场景中的稀疏噪声图像，图像L_i和E_i宽度和高度与图像I相同。

4)使用低秩矩阵恢复算法从数据矩阵D中分解出低秩矩阵L。

41)对数据矩阵D进行低秩矩阵恢复算法，求解得到低秩矩阵L：

其中，参数为优化方程的惩罚因子λ＞0，R为目标低秩矩阵L的秩。上式为多曝光图像去伪影融合问题，利用凸松弛将求秩函数转换为截断核函数，l₀范数转换为l₁范数求得最优解：

其中，截断核函数为

σ_i为矩阵L的奇异值。对于多曝光图像去伪影融合方法令R＝1。

42)采用增广拉格朗日乘子法求解该问题，定义拉格朗日方程为

其中，μ＞0是拉格朗日乘子法的惩罚因子，Y是拉格朗日乘子矩阵，<A，B>＝trace(A^TB)为矩阵内积，

为Frobenius范数。则优化方程转化为无约束问题

求解方法如下：

43)令迭代次数定义为k。迭代开始时k＝0，初始化各个矩阵为：

Y₀＝D/max(||D||₂，||D||_∞)

L₀＝0

E₀＝0

其中，Y₀的初始化可以使得目标函数值<D，Y₀>适当的大。||D||₂＝max(σ_i|i＝1，...，rank(D))，

44)更新低秩矩阵L_k+1和稀疏噪声矩阵E_k+1：

45)更新拉格朗日乘子矩阵Y_k+1和拉格朗日乘子法的惩罚因子μ_k+1：

Y_k+1＝Y_k+μ_k(D-L_k+1-E_k+1)

μ_k+1＝min(ρμ_k，μ_max) (10)

其中，ρ为迭代收敛因子，控制收敛速度和收敛误差。μ_max确保μ_k有界，且令μ_max＝10⁷μ₀。增广拉格朗日乘子法求解的好处是如果{μ_k}是递增序列且有界该求解方法线性收敛，如果{μ_k}无界该求解方法超线性收敛。这里令ρ＝1.5，可以保证收敛速度和收敛误差得到平衡。

46)定义迭代终止条件为：

其中，∈为误差阈值。为了得到较精准的收敛结果，令∈＝10^-5。令最大迭代次数为k_max＝500，如果满足迭代条件或者到达最大迭代次数则进入步骤5)；否则自增迭代步数k，回到步骤44)继续迭代。

所述步骤44)还包括：

441)基于交替方向乘子法迭代求解

定义迭代次数为j，分解为以下局部子问题进行迭代求解：

442)初始化时，令j＝0，初始化

和

443)首先求解矩阵

定义Sigmoid函数为S(·)：

S(x)＝(1+e^-a(x-b))^-1 (13)

为了能够得到足够低秩的矩阵，这里令a＝4，b＝0。定义截断核函数的软阈值算子

根据截断核函数的软阈值算子，定义部分奇异值阈值算子

其中，l为矩阵Y的秩。

svd(·)表示奇异值分解，

那么更新矩阵

的方法如下：

444)求解得到新的

后代入下一个子问题更新

根据：

其中，

则更新

得：

445)定义迭代的终止条件为：

其中，∈₁为误差阈值，一般令∈₁＝10^-2。令最大迭代次数为j_max＝5，当满足终止条件或者到达最大迭代次数时，则进入步骤45)；否则，自增迭代步数j，回到步骤443)继续进行迭代。

5)由低秩矩阵L重构出高动态范围图像H。

51)低秩矩阵恢复算法得到了低秩矩阵L。定义场景的辐射照度为H：

由上式可以得到HDR图像的其中一个通道的亮度信息，直到完成RGB三个通道的融合，最终得到HDR图像，如图4所示。

Claims (7)

1.一种基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，包括：

a)对输入多曝光图像序列进行归一化处理；

b)对归一化处理后的多曝光图像序列使用相机响应函数实现辐射校准；

c)向量化多曝光图像序列中每一幅辐射校正的图像作为数据矩阵的列向量；

d)使用低秩矩阵恢复算法求解数据矩阵的低秩矩阵；

e)由低秩矩阵重构出高动态范围图像；

所述步骤d)的具体实现过程为：

d1)对数据矩阵D进行低秩矩阵恢复算法，求解得到低秩矩阵L：

其中，参数为优化方程的惩罚因子λ＞0，R为目标低秩矩阵L的秩，E表示稀疏噪声矩阵；上式为多曝光图像去伪影融合问题，利用凸松弛将求秩函数转换为截断核函数，l₀范数转换为l₁范数求得最优解：

其中，截断核函数为

σ_i为矩阵L的奇异值；对于多曝光图像去伪影融合方法令R＝1；

d2)采用增广拉格朗日乘子法求解该问题，定义拉格朗日方程为

其中，μ＞0是拉格朗日乘子法的惩罚因子，Y是拉格朗日乘子矩阵，<A，B>＝trace(A^TB)为矩阵内积，

为Frobenius范数；则优化方程转化为无约束问题

求解方法如下：

d3)令迭代次数定义为k；迭代开始时k＝0，初始化各个矩阵为：

Y₀＝D/max(||D||₂，||D||_∞)

L₀＝0

E₀＝0

其中，M为图像像素总数，Y₀的初始化可以使得目标函数值<D，Y₀>适当的大；||D||₂＝max(σ_i|i＝1，...，rank(D))，

d4)更新低秩矩阵L_k+1和稀疏噪声矩阵E_k+1：

d5)更新拉格朗日乘子矩阵Y_k+1和拉格朗日乘子法的惩罚因子μ_k+1：

Y_k+1＝Y_k+μ_k(D-L_k+1-E_k+1)

μ_k+1＝min(ρμ_k，μ_max) (10)

其中，ρ为迭代收敛因子，控制收敛速度和收敛误差；μ_max确保μ_k有界，且令μ_max＝10⁷μ₀；增广拉格朗日乘子法求解的好处是如果{μ_k}是递增序列且有界该求解方法线性收敛，如果{μ_k}无界该求解方法超线性收敛；这里令ρ＝1.5，可以保证收敛速度和收敛误差得到平衡；

d6)定义迭代终止条件为：

其中，∈为误差阈值；为了得到较精准的收敛结果，令∈＝10^-5；令最大迭代次数为k_max＝500，如果满足迭代条件或者到达最大迭代次数则进入步骤e)；否则自增迭代步数k，回到步骤d4)继续迭代。

2.根据权利要求1所述的基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，所述步骤a)与步骤b)之间还包括：

步骤ab)对数字图像采集设备的相机响应函数进行标定，相机响应函数定义为场景亮度通过透镜系统入射到传感器表面的辐射照度映射到最终采集设备获取的数字图像像素值的关系，该函数属于采集设备的特征曲线且为递增函数，必定存在逆映射；或拍摄多幅线性映射的多曝光图像，辐射校正使得图像的亮度都为线性映射关系，增加融合图像的准确性。

3.根据权利要求1所述的基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，所述步骤a)的具体实现过程为：

对多曝光图像序列的每一幅图像进行归一化处理；选取图像RGB三通道其中一个通道的灰度图，并定义输入图像中任意一点处的像素值为Y，I表示为归一化之后的像素值：

4.根据权利要求1所述的基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，所述步骤b)的具体实现过程为：

定义标定的相机响应函数的逆映射为f^-1，定义多曝光图像序列中的图像为I，对应的曝光时间参数为t，I′表示辐射校正的图像：

其中，使用图像采集设备的曝光环绕方法拍摄多幅不同曝光的图像，以中间曝光时间参数的图像作为参考图像，其曝光时间参数为t_ref。

5.根据权利要求1所述的基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，所述步骤c)的具体实现过程为：

c1)定义多曝光图像序列为{I₁，I₂，...，I_N}，辐射校正后的多曝光图像序列为{I′₁，I′₂，...，I′_N}，其中N为多曝光图像序列的数量；将辐射校正后的图像序列向量化得到矩阵D：

D＝[vec(I′₁)|vec(I′₂)|...|vec(I′_N)] (3)

其中，数据矩阵

M为图像像素总数，N为多曝光图像序列的数量，M＞＞N；

c2)定义经过低秩矩阵恢复算法得到的低秩矩阵为L，稀疏噪声矩阵为E，使得数据矩阵D＝L+E：

L＝[vec(L₁)|vec(L₂)|...|vec(L_N)]

E＝[vec(E₁)|vec(E₂)|...|vec(E_N)] (4)

其中，L_i为低秩对齐后的图像，E_i为场景中的稀疏噪声图像，图像L_i和E_i宽度和高度与图像I相同。

6.根据权利要求1所述的基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，所述步骤d4)还包括：

d41)基于交替方向乘子法迭代求解

定义迭代次数为j，分解为以下局部子问题进行迭代求解：

d42)初始化时，令j＝0，初始化

和

d43)首先求解矩阵

定义Sigmoid函数为S(·)：

S(x)＝(1+e^-a(x-b))^-1 (13)

为了能够得到足够低秩的矩阵，这里令a＝4，b＝0；定义截断核函数的软阈值算子

根据截断核函数的软阈值算子，定义部分奇异值阈值算子

其中，l为矩阵Y的秩；

sud(·)表示奇异值分解，

那么更新矩阵

的方法如下：

d44)求解得到新的

后代入下一个子问题更新

根据：

其中，

则更新

得：

d45)定义迭代的终止条件为：

其中，∈₁为误差阈值，一般令∈₁＝10^-2；令最大迭代次数为j_max＝5，当满足终止条件或者到达最大迭代次数时，则进入步骤d5)；否则，自增迭代步数j，回到步骤d43)继续进行迭代。

7.根据权利要求1所述的基于低秩矩阵恢复的多曝光图像去伪影融合方法，其特征在于，所述步骤e)的具体实现过程为：

由步骤d)得到了低秩矩阵L；定义场景的辐射照度为H：

由上式可以得到HDR图像的其中一个通道的亮度信息，重复步骤a)直到完成RGB三个通道的融合，最终得到HDR图像。

Images