CN106651798A - 一种有效的图像镜面反射移除方法 - Google Patents

Abstract

本发明公开了一种有效的图像镜面反射移除方法，利用镜面反射图像中的“鬼影”作为先验知识，构建相应模型对图像镜面反射进行去除。通过建立基本模型、得到关于反射消除的数据拟合项，接着采用有效的高斯混合模型先验技术进行图像恢复。涉及到的镜面反射去除算法，其优越性在于可以仅通过一张包含反射干扰的输入图像得到理想的恢复效果。

Description

一种有效的图像镜面反射移除方法

技术领域

本发明涉及图像恢复领域中的镜面反射移除，具体涉及一种有效的图像镜面反射移除方法。

背景技术

日常生活中，由于拍摄条件的制约，我们经常需要通过玻璃窗或玻璃板拍摄景物。例如：从行驶的火车内部拍摄车外的自然风光；在室内透过封闭的窗户拍摄窗外物体；在街边通过商店橱窗拍摄店内商品；在博物馆拍摄收藏在玻璃柜中的藏品等。在通过上述情况得到的照片中，我们期望的场景(景物)通常会被相机所在方向的玻璃层的反射影像所干扰，严重影响照片质量。因此需要对获得的照片进行相应的后处理以去除反射，也就是说需要从获得的景物叠加的图片中分离出反射影像。这是很实用的技术，也有着重要的理论意义，但该问题存在严重的病态性。这需要涉及到有效的镜面反射移除算法，利用相应的先验知识来消除问题的病态性，对反射进行消除。

发明内容

本发明克服了通过玻璃窗或玻璃板拍照存在镜面反射干扰的不足，提供解决一种有效的图像镜面反射移除方法。

为解决上述的技术问题，本发明采用以下技术方案：

一种有效的图像镜面反射移除方法，它包括以下步骤：

步骤1，将镜面反射图像中的“鬼影”构建模型，“鬼影”模型建模为反射层R与鬼影核K的卷积，对应模型如下：

Y＝X+R*K

其中，Y为观测到的图像，X为真实场景，*为卷积操作；

步骤2，构建图像块数据库；

步骤3，利用期望最大化算法求解高斯混合模型的参数；

步骤4，利用步骤3中所求参数，对图像层与反射层均构建相应的块级高斯混合模型约束；

步骤5，利用步骤3中得到的高斯混合模型先验，并联合非负约束，得到最终代价函数；

S.T.X≥0，R≤1

其中P_i为块提取操作矩阵；

步骤6，采用估计方法计算鬼影核K，在本方法假设下，鬼影核K仅存在两个非零值，鬼影核K可参数化为一个二维的空间偏移向量d_k和一个相对的减弱因子c_k；

其中，为第一层反射图像的第i像素，为第二层反射图像的第i像素；

步骤7，利用估计方法得到的鬼影核K，再结合一个总变分先验，采用分裂Bregman方法求解得到初始估计值；

步骤8，利用步骤7中的初始估计值，以及步骤5中的代价函数，采用半二次方法求解。

更进一步的技术方案是，所述步骤6中的估计方法具体如下：

步骤6.1，利用的二维自相关映射计算偏移，上述映射在d_k对应的地方会有局部最大值，则检测局部最大映射即可得到偏移估计，如果检测到局部最大值为零偏移，则置c_k为零且返回，否则进行步骤6.2至6.3；

步骤6.2，利用Harris角点检测算法得到输入图Y上的角点；

步骤6.3，提取以角点为中心的5×5块，并对所有角点块以及其d_k偏移后的块进行相关性计算，相关性大的认为为鬼影块，然后求出c_k。

本技术方案利用镜面反射图像中的“鬼影”(或称为“重影”)作为先验知识，构建相应模型对图像镜面反射进行去除。“鬼影”或“重影”产生的原因：玻璃窗或玻璃板由两面组成，内部的玻璃平面产生第一层反射，外部平面产生第二层反射，第二层是第一层的偏移与减弱版本。算法利用的特性：上述提到的“鬼影”现象，其提供了关键的分割反射与期望场景的线索。我们可以将鬼影建模为反射层R与鬼影核K的卷积，对应基本模型如下：

Y＝X+R*K

其中，Y为观测到的图像，X为真实场景，*为卷积操作。

利用上述模型，可以得到关于反射消除的数据拟合项。接着，为了消除病态性，我们可以采用有效的高斯混合模型(GMM)先验。初始化阶段，我们直接采用基本的总变分(TV)先验，得到初始图像估计后，再结合“鬼影”与GMM的方法进行恢复。涉及到的镜面反射去除算法，其优越性在于可以仅通过一张包含反射干扰的输入图像得到理想的恢复效果，与主流的融合多张包含镜面反射的图片信息来进行反射去除的方法有着显著的差别。在系统实际使用中，用户可以根据需求选择在线或离线进行恢复。

与现有技术相比，本发明的有益效果是：

通过本发明的方法，可以很好地提升存在镜面反射的图像的质量，并且有离线与在线版本，可使得用户有更好的体验。

附图说明

图1为本发明一种实施例的一种有效的图像镜面反射移除方法的流程图。

具体实施方式

下面结合附图对本发明作进一步阐述。

本方法具体实施过程如下：

步骤一：用户拍照，对存在镜面反射干扰的照片可以选择在线与离线两种处理，如果选择在线处理，转二，否则转至四；

步骤二：为节省数据量，用户选取原始照片中存在镜面反射的区域，并自动进行压缩(如：JPEG2000)，通过网络上传至在线恢复系统；

步骤三：处理完成后，用户可从网上下载至相机、手机或电脑等，完成全部处理。

步骤四：用户将照片导入电脑相应软件，系统自动对照片进行恢复，完成全部处理。

其中涉及的有效的图像镜面反射移除方法如图1所示，它包括以下步骤：

步骤1，将镜面反射图像中的“鬼影”构建模型，“鬼影”模型建模为反射层R与鬼影核K的卷积，对应模型如下：

Y＝X+R*K

其中，Y为观测到的图像，X为真实场景，*为卷积操作；

步骤2，构建图像块数据库；

步骤3，利用期望最大化算法求解高斯混合模型的参数；

步骤4，利用步骤3中所求参数，对图像层与反射层均构建相应的块级高斯混合模型约束；

步骤5，利用步骤3中得到的高斯混合模型先验，并联合非负约束，得到最终代价函数；

S.T. X≥0，R≤1

其中P_i为块提取操作矩阵；

步骤6，采用估计方法计算鬼影核K，在本方法假设下，鬼影核K仅存在两个非零值，鬼影核K可参数化为一个二维的空间偏移向量d_k和一个相对的减弱因子c_k；

其中，为第一层反射图像的第i像素，为第二层反射图像的第i像素；

估计方法具体如下：

步骤6.1，利用的二维自相关映射计算偏移，上述映射在d_k对应的地方会有局部最大值，则检测局部最大映射即可得到偏移估计，如果检测到局部最大值为零偏移，则置c_k为零且返回，否则进行步骤6.2至6.3；

步骤6.2，利用Harris角点检测算法得到输入图Y上的角点；

步骤6.3，提取以角点为中心的5×5块，并对所有角点块以及其d_k偏移后的块进行相关性计算，相关性大的认为为鬼影块，然后求出c_k

步骤7，利用估计方法得到的鬼影核K，再结合一个总变分先验，采用分裂Bregman方法求解得到初始估计值；

步骤8，利用步骤7中的初始估计值，以及步骤5中的代价函数，采用半二次方法求解。

以上具体实施方式对本发明的实质进行详细说明，但并不能对本发明的保护范围进行限制，显而易见地，在本发明的启示下，本技术领域普通技术人员还可以进行许多改进和修饰，需要注意的是，这些改进和修饰都落在本发明的权利要求保护范围之内。

Claims (2)

1.一种有效的图像镜面反射移除方法，其特征在于，它包括以下步骤：

步骤1，将镜面反射图像中的“鬼影”构建模型，“鬼影”模型建模为反射层R与鬼影核K的卷积，对应模型如下：

Y＝X+R*K

其中，Y为观测到的图像，X为真实场景，*为卷积操作；

步骤2，构建图像块数据库；

步骤3，利用期望最大化算法求解高斯混合模型的参数；

步骤4，利用步骤3中所求参数，对图像层与反射层均构建相应的块级高斯混合模型约束；

步骤5，利用步骤3中得到的高斯混合模型先验，并联合非负约束，得到最终代价函数；

$\begin{array}{c}\left|\right|Y-X-R*K|{|}_2^2-{\mathrm{\σ}}^2{\mathrm{\Σ}}_{i}log\left(GMM\right(P_{i}X\left)\right)-{\mathrm{\σ}}^2{\mathrm{\Σ}}_{i}log\left(GMM\right(P_{i}X\left)\right)\\ \begin{array}{cc}S.T.& X\≥0,R\≤1\end{array}\end{array}$

其中P_i为块提取操作矩阵；

步骤6，采用估计方法计算鬼影核K，在本方法假设下，鬼影核K仅存在两个非零值，鬼影核K可参数化为一个二维的空间偏移向量d_k和一个相对的减弱因子c_k；

$R_i=R_i^1+C_k\·R_i^2$

其中，为第一层反射图像的第i像素，为第二层反射图像的第i像素；

步骤7，利用估计方法得到的鬼影核K，再结合一个总变分先验，采用分裂Bregman方法求解得到初始估计值；

$\left|\right|Y-X-R*K|{|}_2^2+{\mathrm{\σ}}^2\·TV\left(X\right)+{\mathrm{\σ}}^2\·TV\left(R\right)$

步骤8，利用步骤7中的初始估计值，以及步骤5中的代价函数，采用半二次方法求解。

2.根据权利要求1所述的一种有效的图像镜面反射移除方法，其特征在于，

所述步骤6中的估计方法具体如下：

步骤6.1，利用的二维自相关映射计算偏移，上述映射在d_k对应的地方会有局部最大值，则检测局部最大映射即可得到偏移估计，如果检测到局部最大值为零偏移，则置c_k为零且返回，否则进行步骤6.2至6.3；

步骤6.2，利用Harris角点检测算法得到输入图Y上的角点；

步骤6.3，提取以角点为中心的5×5块，并对所有角点块以及其d_k偏移后的块进行相关性计算，相关性大的认为为鬼影块，然后求出c_k。