CN106127696A - 一种基于bp神经网络拟合运动场的图像去除反射方法 - Google Patents

Abstract

本发明公开了一种基于BP神经网络拟合运动场的图像去除反射方法，相机平行移动连续拍摄多帧图像序列，计算出参考图和其所有相邻图像的稀疏运动场，消除拍摄图像序列时要等间隔拍摄取样的限制，具有很好的精准性；对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场；采用基于BP神经网络算法拟合出整幅图像的运动场，并利用该运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像；对初始分离后的图像进行优化迭代，精确分离后的图像细节。本发明采用基于BP神经网络算法拟合整幅图像的运动场，速度快，易实施；避免了等间隔拍摄取样，减少了图像去除玻璃反射的处理时间，降低了处理的复杂度。

Description

一种基于BP神经网络拟合运动场的图像去除反射方法

技术领域

本发明属于图像处理、计算机视觉技术和计算机图形学领域，尤其涉及一种基于BP神经网络拟合运动场的图像去除反射方法。

背景技术

图像去除反射是计算机图形学、计算机视觉和图像处理领域的热点研究技术之一。因为在拍摄透明介质玻璃后的景物时，玻璃上反射的图像会对玻璃后的景物造成破坏，导致捕获的图像质量下降，出现图像模糊、色彩失真等现象，不仅降低图像的可视性，更对后续图像处理算法(如物体识别、特征提取、图像分析等)的进行造成困难。反射分量的去除可以对图像立体重建、识别和追踪等应用提供十分有用的信息，因此研究图像去除玻璃反射方法具有重要的意义。近年来，随着智能移动终端的普及，使用智能移动设备随时随地拍摄图像更加方便快捷。受限于智能移动设备的硬件性能，现有的一些图像去除反射方法，如基于物理装置偏振滤波器，通过旋转偏振镜片实现反射分量去除，该方法拍摄时直接去除反射层不需要后期图像处理，但使用者需具备极化和摄影理论知识，目前市场上的智能移动设备并不具备相应的硬件装置，不能满足需求；基于单幅输入图像去除反射方法，通过对所拍景物分类人工的增加更多的约束信息来解决图像分层的病态问题，例如对图像中属于背景层或者反射分量其中一类的像素进行人工标注，将图像大致分为背景层和反射层两个区域，该交互式方法对人工依赖性较大；基于多幅图像去除反射方法，采用相机平行移动连续拍摄多帧图像序列，即拍摄者在玻璃前沿平行于玻璃的方向水平移动连续拍摄多张图像，利用背景层和玻璃反射层相对于拍摄者运动视差的不同去除反射层。该类方法不需要人工实时交互，例如，郭晓杰提出的叠加图像分解算法(SID:Superimposed ImageDecomposition)选取不同的角度拍摄多张图片，但其主要适用于处理景深较小的平面图像去除玻璃反射，对于拍摄存在较大景深的图像效果十分不好；Tianfan Xue提出的边缘流算法(edge flow)潜在要求拍摄图像序列时水平近似等间隔，实际应用中拍摄者难以精准把握。此外，在该方法的算法设计方面，由于其在计算高分辨率的图像边缘信息相关性上耗时久，处理一幅图像耗时会随着图像尺寸的增大呈现出几何级增加，难以运用到实际应用中。与edge flow算法不同的是，本发明提出的算法同步求解参考图像与多幅相邻图像之间的稀疏运动场，避免了等间隔拍摄取样要求，减少了拍摄限制条件，更准确的应用于后续坐标匹配阶段，采用BP神经网络算法代替曲面插值拟合整幅图像的运动场，拟合效果更优。

发明内容

本发明的目的在于提供一种基于BP神经网络拟合运动场的图像去除反射方法，旨在解决如移动设备不具备偏振滤波器等硬件装置、或对人工依赖性较大、耗时长、图像处理速度较慢等现有的某些图像去除反射方法存在的问题。

本发明是这样实现的，一种基于BP神经网络拟合运动场的图像去除反射方法，所述基于运动场的图像去除反射方法包括：相机平行移动连续拍摄多帧图像序列，计算出参考图像与所有多幅相邻图像稀疏运动场，消除拍摄图像序列时要等间隔拍摄取样的限制；对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场；采用基于BP神经网络算法拟合出整幅图像的运动场，并利用该运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像；对初始分离后的图像进行优化迭代，进一步精确分离后图像细节。存在严重反射层的图像经本发明所述方法处理之后，可去除大部分反射层图像，目标图像质量可得到明显提升。

进一步，所述基于BP神经网络拟合运动场的图像去除反射方法在提取图像边缘之前对高分辨率图像进行上下采样处理。随着现代图像分辨率逐步提升，对高分辨率图像计算相邻图像归一化互相关时，消耗较长时间。本发明在预处理阶段对其进行下采样，可有效缩短计算图像间运动场的时间，进而可求解出参考图像与所有多幅相邻图像的稀疏运动场，而不是仅求解出参考图像和其一幅相邻图像的运动场，推导出其余图像和相邻图像的运动场值，消除了等间隔的拍摄条件。

进一步，在提取图像边缘之前对高分辨率图像进行下采样和上采样处理，可以有效减少后续计算相邻图像间归一化互相关的时间。进而可实现单独求解每一幅相邻图像与参考图像之间的运动场，使得其余四幅图像相对于参考图像的运动场之间相互独立，即可在水平方向上任意间隔拍摄图像序列，避免了等间隔拍摄的限制条件，更准确的应用于后续坐标匹配阶段。

进一步，采用BP神经网络算法代替曲面插值拟合整幅图像的运动场，速度快，简单易实施。

进一步，所述基于运动场的图像去除反射方法包括以下步骤：

步骤一，相机平行移动连续拍摄多帧图像序列{I₁,I₂,I₃,I₄,I₅}，选取其中一幅图像I₃为参考帧；

步骤二，对所述序列图像{I₁,I₂,I₃,I₄,I₅}进行倍的降采样处理；

步骤三，由于图像的边缘点具有丰富的信息量且包含重要的语义关联，平行移动拍摄图像时，其边缘表面方向变化比较剧烈，对图像序列{I₁,I₂,I₃,I₄,I₅}进行Canny边缘检测，并提取图像序列的边缘。实验使用边缘像素替代整幅图像，将图像数据稀疏化，不仅可以简单有效地概括物体的形状、简化运算，还可以准确的表示物体的运动趋势；

步骤四，根据检测出来的图像边缘像素点集，选取I₃边缘上像素点{x_I＝(x_i,y_i)}为中心像素块，对图像{I₁,I₂,I₄,I₅}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I₃与{I₁,I₂,I₄,I₅}归一化互相关极小值，得到四个对应边缘像素的稀疏矩阵值V_j(x)，计算公式为：

$\begin{array}{cc}\underset{V}{min}& \underset{x\∈{\mathrm{edgeI}}_i}{\Σ}\left(I_i\right(x),I_j(x+V\left(x\right)\left)\right),i=3,j=1,2,4,5;\end{array}$

通过计算每幅相邻图像与参考图像的稀疏矩阵值V_j(x)，可以避免拍摄图像序列时要等间隔拍摄取样的限制，在保证主要拍摄目标在图像中的前提下，相邻图像之间可移动任意间隔，同时也进一步精准后续步骤的坐标配准。

步骤五，对所述稀疏运动场V₃(x)进行拟合，采用RANSAC算法，基于背景层I_B和反射层I_R相对于相机位置的不同，导致背景层稀疏运动场V_B(x)和反射层稀疏运动场V_R(x)具有不同的取值范围，对图像的稀疏矩阵V(x)进行RANSAC拟合，得到I_B的稀疏运动场V_B(x)，再对V(x)-V_B(x)再次RANSAC拟合，得到反射层的稀疏运动场V_R(x)，得出分离后的背景层稀疏运动场V_B(x)和反射层稀疏运动场V_R(x)；

步骤六，将所述中值滤波后的两层图像的稠密运动场分别进行m倍的上采样，恢复到原图像序列的大小；

步骤七，建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集，取两层隐层数，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[x_iy_j]及其相应V_B(x)和V_R(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：

反复训练神经网络，使得其中V_ij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量。训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场F_B(x,y)和反射层稠密运动场F_R(x,y)；

步骤八，对所述稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Med_med来替代该像素的值，计算公式为：

步骤九，基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像I_B和反射层图像I_R；

步骤十，根据初始分离后的背景层图像I_B和反射层图像I_R，优化迭代min(I₃-I_B-I_R)，依据I_B+I_R与I₃的归一化互相关值(NCC:Normalized Cross Correlation)作相应的正确的处理，通过计算式I₃-I_B-I_R和设定阈值，提炼背景层图像I_B和反射层图像I_R中正确的像素点，转至步骤七，继续后续步骤，如果NCC_k＞NCC_k-1，继续后续步骤，每进行一次迭代，计算I_B+I_R与I₃的NCC值，如果NCC_k＞NCC_k-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。

更具体地，本发明提供的基于BP神经网络拟合运动场的图像去除反射方法，在与以往图像去除反射方法效果相当的基础上，避免了等间隔拍摄取样要求，减少了拍摄限制条件；在提取图像边缘之前对高分辨率图像进行下采样和上采样处理，可以有效减少后续计算相邻图像间归一化互相关的时间。其中，若不增加下采样处理，计算参考图像与一个相邻图像的NCC消耗时间为278秒，本发明增加下采样后，消耗时间为56秒，速度明显得到提升；同步求解参考图像与多幅相邻图像之间的稀疏运动场，更准确的应用于后续坐标匹配阶段；采用BP神经网络算法代替曲面插值拟合整幅图像的运动场，简单易实施。本发明以分辨率为1152×648的图像序列处理为例，硬件环境采用Intel(R)Core(TM)i5CPU处理器，RAM为8GB的PC设备，所需时间共为5.6分钟。

附图说明

图1是本发明实施例提供的基于BP神经网络拟合运动场的图像去除反射方法流程图。

图2是本发明实施例提供的去除反射的输入图像序列示意图。

图3是本发明实施例提供的输入图像序列边缘检测图像示意图。

图4是本发明实施例提供的参考图像与其余图像序列的稀疏运动场示意图。

图5是本发明实施例提供的图像序列背景层和反射层边缘分离示意图。

图6是本发明实施例提供的图像序列神经网络拟合后的背景层和反射层稠密运动场示意图。

图7是本发明实施例提供的参考图像背景层和反射层分离后的图像效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

本发明提供的基于运动场的图像去除反射方法，流程图如图1所示，具体包括如下步骤：

步骤一，相机平行移动连续拍摄多帧图像序列{I₁,I₂,I₃,I₄,I₅}，选取其中一幅图像I₃为参考帧，如图2所示，序列图像1～5分别对应所拍摄的图像序列{I₁,I₂,I₃,I₄,I₅}，该图像序列中的每一幅图像均包含目标景物和反射层两层图像。

步骤二，对所述序列图像{I₁,I₂,I₃,I₄,I₅}进行倍的降采样处理，可有效的减少下述步骤计算图像序列与参考图像的归一化互相关时间；

步骤三，对图像序列{I₁,I₂,I₃,I₄,I₅}进行Canny边缘检测，得到每一幅图像的边缘图像，实验使用边缘像素替代整幅图像，将图像数据稀疏化，不仅可以简单有效地概括物体的形状、简化运算，还可以准确的表示物体的运动趋势。图3为输入图像序列{I₁,I₂,I₃,I₄,I₅}所对应的边缘图像；

步骤四，根据检测出来的图像边缘像素点集，选取I₃边缘上像素点{x_I＝(x_i,y_i)}为中心像素块，对图像{I₁,I₂,I₄,I₅}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I₃与{I₁,I₂,I₄,I₅}归一化互相关极小值，可得到四个对应边缘像素的稀疏矩阵值V_j(x)，边缘上的像素点具有不同的值，四幅运动场效果图如图4所示，其中，运动场1、运动场2、运动场4以及运动场5分别对应的是图像{I₁,I₂,I₄,I₅}相对于I₃移动的运动场。计算公式为：

$\begin{array}{cc}\underset{V}{min}& \underset{x\∈{\mathrm{edgeI}}_i}{\Σ}\left(I_i\right(x),I_j(x+V\left(x\right)\left)\right),i=3,j=1,2,4,5;\end{array}$

通过计算每幅相邻图像与参考图像的稀疏矩阵值V_j(x)，可以避免拍摄图像序列时要等间隔拍摄取样的限制，在保证主要拍摄目标在图像中的前提下，相邻图像之间可移动任意间隔，同时也进一步精准后续步骤的坐标配准。

步骤五，对所述稀疏运动场V_j(x)进行拟合，采用RANSAC算法。基于背景层I_B和反射层I_R相对于相机位置的不同，导致背景层稀疏运动场V_B(x)和反射层稀疏运动场V_R(x)具有不同的取值范围。由于背景层图像I_B在整幅图像中占主导地位，故首先对图像的稀疏矩阵V(x)进行RANSAC拟合，可得到I_B的稀疏运动场V_B(x)。之后，再对V(x)-V_B(x)再次RANSAC拟合，可得到反射层的稀疏运动场V_R(x)。参数设置如下：迭代次数K：1000-2000次，偏差t：5-10，判决阈值th：5-9。基于背景层和反射层相对于相机的运动视差的不同，通过设定参数，利用RANSAC将两层运动场分类，由此得出分离后的背景层稀疏运动场V_B(x)和反射层稀疏运动场V_R(x)，可得到反射层和背景层稀疏运动场分离图，共四组，分离后的效果图如图5所示，每一行左侧为分离后的背景层，右侧为分离后的反射层；

步骤六，将所述中值滤波后的两层图像的稠密运动场分别进行m倍的上采样，恢复到原图像序列的大小；

步骤七，建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集。本发明中取隐层数为两层，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[x_iy_j]及其相应V_B(x)和V_R(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：

反复训练神经网络，使得其中V_ij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量。训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场F_B(x,y)和反射层稠密运动场F_R(x,y)，其中参考图像I₃与{I₁,I₂,I₄,I₅}背景层的稠密运动场效果图如图6所示，该图显示了每一个像素点的运动场值，水平移动拍摄图片时，相对于拍摄者，不同的像素点具有不同的运动场值，后续步骤利用该值进行图像重建；

步骤八，对所述稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Med_med来替代该像素的值，计算公式为：

步骤九，基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像I_B和反射层图像I_R。

步骤十，根据初始分离后的背景层图像I_B和反射层图像I_R，优化迭代min(I₃-I_B-I_R)，依据I_B+I_R与I₃的NCC值作相应的正确的处理。通过计算式I₃-I_B-I_R和设定阈值，消除神经网络泛化后偏差较大的像素点，提炼背景层图像I_B和反射层图像I_R中正确的像素点，转至步骤七，继续后续步骤，如果NCC_k＞NCC_k-1，继续后续步骤，每进行一次迭代，计算I_B+I_R与I₃的NCC值，如果NCC_k＞NCC_k-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。通过不断优化插值后的稠密运动场F_B(x,y)和反射层稠密运动场F_R(x,y)，进一步精确背景层图像I_B和反射层图像I_R。本发明所提供的方法对图像分离后效果图如图7所示，相较于处理前的图像序列，去除反射后的图像质量得到明显提升；

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于BP神经网络拟合运动场的图像去除反射方法，其特征在于，所述基于BP神经网络拟合运动场的图像去除反射方法包括：相机平行移动连续拍摄多帧图像序列，计算出参考图像与其相邻帧的稀疏运动场，消除拍摄图像序列时要等间隔拍摄取样的限制；对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场；采用基于BP神经网络算法拟合出整幅图像的运动场，并利用运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像；对初始分离后的图像进行优化迭代，分离图像细节。

2.如权利要求1所述的基于运动场的图像去除反射方法，其特征在于，所述基于运动场的图像去除反射方法在提取图像边缘之前对高分辨率图像进行下采样和上采样处理，求解出参考图像与剩余所有图像之间的稀疏运动场，应用于后续坐标匹配阶段，消除等间隔拍摄限制。

3.如权利要求1所述的基于运动场的图像去除反射方法，其特征在于，所述基于BP神经网络拟合运动场的图像去除反射方法包括以下步骤：

步骤一，相机平行移动连续拍摄多帧图像序列{I₁,I₂,I₃,I₄,I₅}，选取其中一幅图像I₃为参考帧；

步骤二，对所述序列图像{I₁,I₂,I₃,I₄,I₅}进行倍的下采样处理，m>1；

步骤三，对图像序列{I₁,I₂,I₃,I₄,I₅}进行Canny边缘检测，并提取图像序列的边缘；

步骤四，根据检测出来的图像边缘像素点集，选取I₃边缘上像素点{x_I＝(x_i,y_i)}为中心像素块，对图像{I₁,I₂,I₄,I₅}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I₃与{I₁,I₂,I₄,I₅}归一化互相关极小值，得到四个对应边缘像素的稀疏矩阵值V_j(x)，计算公式为：

$\begin{array}{cc}\underset{V}{\min }& \underset{x\∈{\mathrm{edgeI}}_i}{\Σ}\left(I_i\right(x),I_j(x+V\left(x\right)\left)\right),i=3,j=1,2,4,5;\end{array}$

步骤五，对图像的稀疏矩阵V(x)进行RANSAC拟合，得到I_B的稀疏运动场V_B(x)，再对V(x)-V_B(x)再次RANSAC拟合，得到反射层的稀疏运动场V_R(x)，得出分离后的背景层稀疏运动场V_B(x)和反射层稀疏运动场V_R(x)；参数设置如下：迭代次数K：1000-2000次，偏差t：5-10，判决阈值th：5-9；

步骤六，将所述中值滤波后的两层图像的稠密运动场分别进行m倍的上采样，恢复到原图像序列的大小；

步骤七，建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集，取两层隐层数，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[x_iy_j]及其相应V_B(x)和V_R(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：

反复训练神经网络，使得其中V_ij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量，训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场F_B(x,y)和反射层稠密运动场F_R(x,y)；

步骤八，对所述稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Med_med来替代该像素的值，计算公式为：

步骤九，基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像I_B和反射层图像I_R；

步骤十，根据初始分离后的背景层图像I_B和反射层图像I_R，优化迭代min(I₃-I_B-I_R)，依据I_B+I_R与I₃的归一化互相关值作相应的正确的处理，通过计算式I₃-I_B-I_R和设定阈值，提炼背景层图像I_B和反射层图像I_R中正确的像素点，转至步骤七，继续后续步骤，如果NCC_k＞NCC_k-1，继续后续步骤，每进行一次迭代，计算I_B+I_R与I₃的NCC值，如果NCC_k＞NCC_k-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。