CN106127696B - 一种基于bp神经网络拟合运动场的图像去除反射方法 - Google Patents
一种基于bp神经网络拟合运动场的图像去除反射方法 Download PDFInfo
- Publication number
- CN106127696B CN106127696B CN201610414883.XA CN201610414883A CN106127696B CN 106127696 B CN106127696 B CN 106127696B CN 201610414883 A CN201610414883 A CN 201610414883A CN 106127696 B CN106127696 B CN 106127696B
- Authority
- CN
- China
- Prior art keywords
- image
- sports ground
- sparse
- pixel
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000000926 separation method Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000005303 weighing Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000010287 polarization Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
本发明公开了一种基于BP神经网络拟合运动场的图像去除反射方法，相机平行移动连续拍摄多帧图像序列，计算出参考图和其所有相邻图像的稀疏运动场，消除拍摄图像序列时要等间隔拍摄取样的限制，具有很好的精准性；对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场；采用基于BP神经网络算法拟合出整幅图像的运动场，并利用该运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像；对初始分离后的图像进行优化迭代，精确分离后的图像细节。本发明采用基于BP神经网络算法拟合整幅图像的运动场，速度快，易实施；避免了等间隔拍摄取样，减少了图像去除玻璃反射的处理时间，降低了处理的复杂度。
Description
技术领域
本发明属于图像处理、计算机视觉技术和计算机图形学领域，尤其涉及一种基于BP神经网络拟合运动场的图像去除反射方法。
背景技术
图像去除反射是计算机图形学、计算机视觉和图像处理领域的热点研究技术之一。因为在拍摄透明介质玻璃后的景物时，玻璃上反射的图像会对玻璃后的景物造成破坏，导致捕获的图像质量下降，出现图像模糊、色彩失真等现象，不仅降低图像的可视性，更对后续图像处理算法(如物体识别、特征提取、图像分析等)的进行造成困难。反射分量的去除可以对图像立体重建、识别和追踪等应用提供十分有用的信息，因此研究图像去除玻璃反射方法具有重要的意义。近年来，随着智能移动终端的普及，使用智能移动设备随时随地拍摄图像更加方便快捷。受限于智能移动设备的硬件性能，现有的一些图像去除反射方法，如基于物理装置偏振滤波器，通过旋转偏振镜片实现反射分量去除，该方法拍摄时直接去除反射层不需要后期图像处理，但使用者需具备极化和摄影理论知识，目前市场上的智能移动设备并不具备相应的硬件装置，不能满足需求；基于单幅输入图像去除反射方法，通过对所拍景物分类人工的增加更多的约束信息来解决图像分层的病态问题，例如对图像中属于背景层或者反射分量其中一类的像素进行人工标注，将图像大致分为背景层和反射层两个区域，该交互式方法对人工依赖性较大；基于多幅图像去除反射方法，采用相机平行移动连续拍摄多帧图像序列，即拍摄者在玻璃前沿平行于玻璃的方向水平移动连续拍摄多张图像，利用背景层和玻璃反射层相对于拍摄者运动视差的不同去除反射层。该类方法不需要人工实时交互，例如，郭晓杰提出的叠加图像分解算法(SID:Superimposed ImageDecomposition)选取不同的角度拍摄多张图片，但其主要适用于处理景深较小的平面图像去除玻璃反射，对于拍摄存在较大景深的图像效果十分不好；Tianfan Xue提出的边缘流算法(edge flow)潜在要求拍摄图像序列时水平近似等间隔，实际应用中拍摄者难以精准把握。此外，在该方法的算法设计方面，由于其在计算高分辨率的图像边缘信息相关性上耗时久，处理一幅图像耗时会随着图像尺寸的增大呈现出几何级增加，难以运用到实际应用中。与edge flow算法不同的是，本发明提出的算法同步求解参考图像与多幅相邻图像之间的稀疏运动场，避免了等间隔拍摄取样要求，减少了拍摄限制条件，更准确的应用于后续坐标匹配阶段，采用BP神经网络算法代替曲面插值拟合整幅图像的运动场，拟合效果更优。
发明内容
本发明的目的在于提供一种基于BP神经网络拟合运动场的图像去除反射方法，旨在解决如移动设备不具备偏振滤波器等硬件装置、或对人工依赖性较大、耗时长、图像处理速度较慢等现有的某些图像去除反射方法存在的问题。
本发明是这样实现的，一种基于BP神经网络拟合运动场的图像去除反射方法，所述基于运动场的图像去除反射方法包括：相机平行移动连续拍摄多帧图像序列，计算出参考图像与所有多幅相邻图像稀疏运动场，消除拍摄图像序列时要等间隔拍摄取样的限制；对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场；采用基于BP神经网络算法拟合出整幅图像的运动场，并利用该运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像；对初始分离后的图像进行优化迭代，进一步精确分离后图像细节。存在严重反射层的图像经本发明所述方法处理之后，可去除大部分反射层图像，目标图像质量可得到明显提升。
进一步，所述基于BP神经网络拟合运动场的图像去除反射方法在提取图像边缘之前对高分辨率图像进行上下采样处理。随着现代图像分辨率逐步提升，对高分辨率图像计算相邻图像归一化互相关时，消耗较长时间。本发明在预处理阶段对其进行下采样，可有效缩短计算图像间运动场的时间，进而可求解出参考图像与所有多幅相邻图像的稀疏运动场，而不是仅求解出参考图像和其一幅相邻图像的运动场，推导出其余图像和相邻图像的运动场值，消除了等间隔的拍摄条件。
进一步，在提取图像边缘之前对高分辨率图像进行下采样和上采样处理，可以有效减少后续计算相邻图像间归一化互相关的时间。进而可实现单独求解每一幅相邻图像与参考图像之间的运动场，使得其余四幅图像相对于参考图像的运动场之间相互独立，即可在水平方向上任意间隔拍摄图像序列，避免了等间隔拍摄的限制条件，更准确的应用于后续坐标匹配阶段。
进一步，采用BP神经网络算法代替曲面插值拟合整幅图像的运动场，速度快，简单易实施。
进一步，所述基于运动场的图像去除反射方法包括以下步骤：
步骤一，相机平行移动连续拍摄多帧图像序列{I1,I2,I3,I4,I5}，选取其中一幅图像I3为参考帧；
步骤二，对所述序列图像{I1,I2,I3,I4,I5}进行倍的降采样处理；
步骤三，由于图像的边缘点具有丰富的信息量且包含重要的语义关联，平行移动拍摄图像时，其边缘表面方向变化比较剧烈，对图像序列{I1,I2,I3,I4,I5}进行Canny边缘检测，并提取图像序列的边缘。实验使用边缘像素替代整幅图像，将图像数据稀疏化，不仅可以简单有效地概括物体的形状、简化运算，还可以准确的表示物体的运动趋势；
步骤四，根据检测出来的图像边缘像素点集，选取I3边缘上像素点{xI＝(xi,yi)}为中心像素块，对图像{I1,I2,I4,I5}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I3与{I1,I2,I4,I5}归一化互相关极小值，得到四个对应边缘像素的稀疏矩阵值Vj(x)，计算公式为：
通过计算每幅相邻图像与参考图像的稀疏矩阵值Vj(x)，可以避免拍摄图像序列时要等间隔拍摄取样的限制，在保证主要拍摄目标在图像中的前提下，相邻图像之间可移动任意间隔，同时也进一步精准后续步骤的坐标配准。
步骤五，对所述稀疏运动场V3(x)进行拟合，采用RANSAC算法，基于背景层IB和反射层IR相对于相机位置的不同，导致背景层稀疏运动场VB(x)和反射层稀疏运动场VR(x)具有不同的取值范围，对图像的稀疏矩阵V(x)进行RANSAC拟合，得到IB的稀疏运动场VB(x)，再对V(x)-VB(x)再次RANSAC拟合，得到反射层的稀疏运动场VR(x)，得出分离后的背景层稀疏运动场VB(x)和反射层稀疏运动场VR(x)；
步骤六，将所述中值滤波后的两层图像的稠密运动场分别进行m倍的上采样，恢复到原图像序列的大小；
步骤七，建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集，取两层隐层数，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[xiyj]及其相应VB(x)和VR(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：
反复训练神经网络，使得其中Vij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量。训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场FB(x,y)和反射层稠密运动场FR(x,y)；
步骤八，对所述稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Medmed来替代该像素的值，计算公式为：
步骤九，基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像IB和反射层图像IR；
步骤十，根据初始分离后的背景层图像IB和反射层图像IR，优化迭代min(I3-IB-IR)，依据IB+IR与I3的归一化互相关值(NCC:Normalized Cross Correlation)作相应的正确的处理，通过计算式I3-IB-IR和设定阈值，提炼背景层图像IB和反射层图像IR中正确的像素点，转至步骤七，继续后续步骤，如果NCCk＞NCCk-1，继续后续步骤，每进行一次迭代，计算IB+IR与I3的NCC值，如果NCCk＞NCCk-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。
更具体地，本发明提供的基于BP神经网络拟合运动场的图像去除反射方法，在与以往图像去除反射方法效果相当的基础上，避免了等间隔拍摄取样要求，减少了拍摄限制条件；在提取图像边缘之前对高分辨率图像进行下采样和上采样处理，可以有效减少后续计算相邻图像间归一化互相关的时间。其中，若不增加下采样处理，计算参考图像与一个相邻图像的NCC消耗时间为278秒，本发明增加下采样后，消耗时间为56秒，速度明显得到提升；同步求解参考图像与多幅相邻图像之间的稀疏运动场，更准确的应用于后续坐标匹配阶段；采用BP神经网络算法代替曲面插值拟合整幅图像的运动场，简单易实施。本发明以分辨率为1152×648的图像序列处理为例，硬件环境采用Intel(R)Core(TM)i5CPU处理器，RAM为8GB的PC设备，所需时间共为5.6分钟。
附图说明
图1是本发明实施例提供的基于BP神经网络拟合运动场的图像去除反射方法流程图。
图2是本发明实施例提供的去除反射的输入图像序列示意图。
图3是本发明实施例提供的输入图像序列边缘检测图像示意图。
图4是本发明实施例提供的参考图像与其余图像序列的稀疏运动场示意图。
图5是本发明实施例提供的图像序列背景层和反射层边缘分离示意图。
图6是本发明实施例提供的图像序列神经网络拟合后的背景层和反射层稠密运动场示意图。
图7是本发明实施例提供的参考图像背景层和反射层分离后的图像效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
本发明提供的基于运动场的图像去除反射方法，流程图如图1所示，具体包括如下步骤：
步骤一，相机平行移动连续拍摄多帧图像序列{I1,I2,I3,I4,I5}，选取其中一幅图像I3为参考帧，如图2所示，序列图像1～5分别对应所拍摄的图像序列{I1,I2,I3,I4,I5}，该图像序列中的每一幅图像均包含目标景物和反射层两层图像。
步骤二，对所述序列图像{I1,I2,I3,I4,I5}进行倍的降采样处理，可有效的减少下述步骤计算图像序列与参考图像的归一化互相关时间；
步骤三，对图像序列{I1,I2,I3,I4,I5}进行Canny边缘检测，得到每一幅图像的边缘图像，实验使用边缘像素替代整幅图像，将图像数据稀疏化，不仅可以简单有效地概括物体的形状、简化运算，还可以准确的表示物体的运动趋势。图3为输入图像序列{I1,I2,I3,I4,I5}所对应的边缘图像；
步骤四，根据检测出来的图像边缘像素点集，选取I3边缘上像素点{xI＝(xi,yi)}为中心像素块，对图像{I1,I2,I4,I5}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I3与{I1,I2,I4,I5}归一化互相关极小值，可得到四个对应边缘像素的稀疏矩阵值Vj(x)，边缘上的像素点具有不同的值，四幅运动场效果图如图4所示，其中，运动场1、运动场2、运动场4以及运动场5分别对应的是图像{I1,I2,I4,I5}相对于I3移动的运动场。计算公式为：
通过计算每幅相邻图像与参考图像的稀疏矩阵值Vj(x)，可以避免拍摄图像序列时要等间隔拍摄取样的限制，在保证主要拍摄目标在图像中的前提下，相邻图像之间可移动任意间隔，同时也进一步精准后续步骤的坐标配准。
步骤五，对所述稀疏运动场Vj(x)进行拟合，采用RANSAC算法。基于背景层IB和反射层IR相对于相机位置的不同，导致背景层稀疏运动场VB(x)和反射层稀疏运动场VR(x)具有不同的取值范围。由于背景层图像IB在整幅图像中占主导地位，故首先对图像的稀疏矩阵V(x)进行RANSAC拟合，可得到IB的稀疏运动场VB(x)。之后，再对V(x)-VB(x)再次RANSAC拟合，可得到反射层的稀疏运动场VR(x)。参数设置如下：迭代次数K：1000-2000次，偏差t：5-10，判决阈值th：5-9。基于背景层和反射层相对于相机的运动视差的不同，通过设定参数，利用RANSAC将两层运动场分类，由此得出分离后的背景层稀疏运动场VB(x)和反射层稀疏运动场VR(x)，可得到反射层和背景层稀疏运动场分离图，共四组，分离后的效果图如图5所示，每一行左侧为分离后的背景层，右侧为分离后的反射层；
步骤六，将所述中值滤波后的两层图像的稠密运动场分别进行m倍的上采样，恢复到原图像序列的大小；
步骤七，建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集。本发明中取隐层数为两层，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[xiyj]及其相应VB(x)和VR(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：
反复训练神经网络，使得其中Vij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量。训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场FB(x,y)和反射层稠密运动场FR(x,y)，其中参考图像I3与{I1,I2,I4,I5}背景层的稠密运动场效果图如图6所示，该图显示了每一个像素点的运动场值，水平移动拍摄图片时，相对于拍摄者，不同的像素点具有不同的运动场值，后续步骤利用该值进行图像重建；
步骤八，对所述稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Medmed来替代该像素的值，计算公式为：
步骤九，基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像IB和反射层图像IR。
步骤十，根据初始分离后的背景层图像IB和反射层图像IR，优化迭代min(I3-IB-IR)，依据IB+IR与I3的NCC值作相应的正确的处理。通过计算式I3-IB-IR和设定阈值，消除神经网络泛化后偏差较大的像素点，提炼背景层图像IB和反射层图像IR中正确的像素点，转至步骤七，继续后续步骤，如果NCCk＞NCCk-1，继续后续步骤，每进行一次迭代，计算IB+IR与I3的NCC值，如果NCCk＞NCCk-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。通过不断优化插值后的稠密运动场FB(x,y)和反射层稠密运动场FR(x,y)，进一步精确背景层图像IB和反射层图像IR。本发明所提供的方法对图像分离后效果图如图7所示，相较于处理前的图像序列，去除反射后的图像质量得到明显提升；
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于BP神经网络拟合运动场的图像去除反射方法，其特征在于，所述基于BP神经网络拟合运动场的图像去除反射方法包括：相机平行移动连续拍摄多帧图像序列，计算出参考图像与其相邻帧的稀疏运动场，消除拍摄图像序列时要等间隔拍摄取样的限制；对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场；采用基于BP神经网络算法拟合出整幅图像的运动场，并利用运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像；对初始分离后的图像进行优化迭代，分离图像细节；
所述计算出参考图像与其相邻帧的稀疏运动场包括：对图像序列{I1,I2,I3,I4,I5}进行Canny边缘检测，得到每一幅图像的边缘图像，根据检测出来的图像边缘像素点集，选取I3边缘上像素点{xI＝(xi,yi)}为中心像素块，对图像{I1,I2,I4,I5}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I3与{I1,I2,I4,I5}归一化互相关极小值，可得到四个对应边缘像素的稀疏矩阵值Vj(x)，计算公式为：
对所述参考帧的稀疏运动场进行拟合，得出分离后的背景层稀疏运动场和反射层稀疏运动场具体包括：
对图像的稀疏矩阵V(x)进行RANSAC拟合，得到IB的稀疏运动场VB(x)，之后，再对V(x)-VB(x)再次RANSAC拟合，得到反射层的稀疏运动场VR(x)，得出分离后的背景层稀疏运动场和反射层稀疏运动场；
所述采用基于BP神经网络算法拟合出整幅图像的运动场，并利用运动场对拍摄的多帧图像进行坐标配准，重建分离后的两层图像包括：建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集；取隐层数为两层，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[xiyj]及其相应VB(x)和VR(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：
反复训练神经网络，使得其中Vij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量；训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场FB(x,y)和反射层稠密运动场FR(x,y)；对稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Medmed来替代该像素的值，计算公式为：
基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像IB和反射层图像IR；
所述对初始分离后的图像进行优化迭代，分离图像细节包括：
根据初始分离后的背景层图像IB和反射层图像IR，优化迭代min(I3-IB-IR)，依据IB+IR与I3的NCC值作相应的正确的处理，通过计算式I3-IB-IR和设定阈值，消除神经网络泛化后偏差较大的像素点，提炼背景层图像IB和反射层图像IR中正确的像素点，转至建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集，继续后续步骤，如果NCCk＞NCCk-1，继续后续步骤，每进行一次迭代，计算IB+IR与I3的NCC值，如果NCCk＞NCCk-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。
2.如权利要求1所述的基于BP神经网络拟合运动场的图像去除反射方法，其特征在于，所述基于运动场的图像去除反射方法在提取图像边缘之前对高分辨率图像进行下采样，求解出参考图像与剩余所有图像之间的稀疏运动场，应用于后续坐标匹配阶段，消除等间隔拍摄限制。
3.如权利要求1所述的基于BP神经网络拟合运动场的图像去除反射方法，其特征在于，所述基于BP神经网络拟合运动场的图像去除反射方法包括以下步骤：
步骤一，相机平行移动连续拍摄多帧图像序列{I1,I2,I3,I4,I5}，选取其中一幅图像I3为参考帧；
步骤二，对所述序列图像{I1,I2,I3,I4,I5}进行倍的下采样处理，m>1；
步骤三，对图像序列{I1,I2,I3,I4,I5}进行Canny边缘检测，并提取图像序列的边缘；
步骤四，根据检测出来的图像边缘像素点集，选取步骤三I3边缘上像素点{xI＝(xi,yi)}为中心像素块，对图像{I1,I2,I4,I5}的相应行进行逐像素匹配，采用置信传播方法，分别计算参考图像I3与{I1,I2,I4,I5}归一化互相关极小值，得到四个对应边缘像素的稀疏矩阵值Vj(x)，计算公式为：
步骤五，对图像的稀疏矩阵V(x)进行RANSAC拟合，得到IB的稀疏运动场VB(x)，再对V(x)-VB(x)再次RANSAC拟合，得到反射层的稀疏运动场VR(x)，得出分离后的背景层稀疏运动场VB(x)和反射层稀疏运动场VR(x)；参数设置如下：迭代次数K：1000-2000次，偏差t：5-10，判决阈值th：5-9；
步骤六，对所述稠密运动场分别进行自适应中值滤波，用像素点邻域中灰度级的中值Medmed来替代该像素的值，计算公式为：
步骤七，中值滤波后的两层图像的稠密运动场分别进行m倍的上采样，恢复到原图像序列的大小；
步骤八，建立前馈神经网络，采用基于BP算法的神经网络训练样本数据集，取两层隐层数，每层神经元均采用Sigmoid传输函数，将上述分层后的像素点[xiyj]及其相应VB(x)和VR(x)作为样本数据点训练神经网络，输入输出之间关系对照如下：
反复训练神经网络，使得其中Vij为神经网络的计算输出的运动场值，为实际期望输出的运动场值，W,V为每层的加权向量，训练完成后，利用该网络对其他像素点泛化，得到背景层图像的稠密运动场FB(x,y)和反射层稠密运动场FR(x,y)；
步骤九，基于所述两层图像的稠密运动场对原参考图像对应的像素点进行坐标配准，将配准后的图像灰度化，并对每个像素点进行计算，选取灰度值为中间值的点所在的配准图像对应位置的RGB值作为该点的新像素值，分别恢复出初始分离后的背景层图像IB和反射层图像IR；
步骤十，根据初始分离后的背景层图像IB和反射层图像IR，优化迭代min(I3-IB-IR)，依据IB+IR与I3的归一化互相关值作相应的正确的处理，通过计算式I3-IB-IR和设定阈值，提炼背景层图像IB和反射层图像IR中正确的像素点，转至步骤七，继续后续步骤，如果NCCk＞NCCk-1，继续后续步骤，每进行一次迭代，计算IB+IR与I3的NCC值，如果NCCk＞NCCk-1，说明重建图像精度增加，继续迭代，否则，停止迭代，结束程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610414883.XA CN106127696B (zh) | 2016-06-13 | 2016-06-13 | 一种基于bp神经网络拟合运动场的图像去除反射方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610414883.XA CN106127696B (zh) | 2016-06-13 | 2016-06-13 | 一种基于bp神经网络拟合运动场的图像去除反射方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106127696A CN106127696A (zh) | 2016-11-16 |
| CN106127696B true CN106127696B (zh) | 2019-06-07 |
Family
ID=57270505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610414883.XA Active CN106127696B (zh) | 2016-06-13 | 2016-06-13 | 一种基于bp神经网络拟合运动场的图像去除反射方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106127696B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103590B (zh) * | 2017-03-22 | 2019-10-18 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107730530A (zh) * | 2017-10-31 | 2018-02-23 | 西华大学 | 一种基于智慧城市的远程应急管理控制方法 |
| US11270161B2 (en) | 2017-11-27 | 2022-03-08 | Nvidia Corporation | Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene |
| US10762620B2 (en) | 2017-11-27 | 2020-09-01 | Nvidia Corporation | Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene |
| CN108364262A (zh) * | 2018-01-11 | 2018-08-03 | 深圳大学 | 一种模糊图像的复原方法、装置、设备及存储介质 |
| CN108961205B (zh) * | 2018-03-26 | 2022-04-12 | 杭州同绘科技有限公司 | 一种基于Sift-edge Flow的图像反射分离方法 |
| WO2019201336A1 (en) * | 2018-04-19 | 2019-10-24 | Shanghaitech University | Light field based reflection removal |
| CN110148150B (zh) * | 2019-06-20 | 2021-07-02 | 深圳大学 | 稠密连接非对称层次网络训练方法及心脏运动场估计方法 |
| CN111432233B (zh) * | 2020-03-20 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 用于生成视频的方法、装置、设备和介质 |
| CN115601536B (zh) * | 2022-12-02 | 2023-05-26 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030156118A1 (en) * | 2002-02-19 | 2003-08-21 | Olugbenga Ayinde | Method and system for cleaning images to highlight information recorded on a background surface |
| CN104091317A (zh) * | 2014-06-03 | 2014-10-08 | 天津大学 | 一种夜景图像窗户镜面反射效应去除方法 |
| CN104677309A (zh) * | 2015-03-24 | 2015-06-03 | 哈尔滨理工大学 | 基于稀疏表达的强反射表面编码光测量的高光抑制方法 |
| CN105023249A (zh) * | 2015-06-26 | 2015-11-04 | 清华大学深圳研究生院 | 基于光场的高光图像修复方法及装置 |
-
2016
- 2016-06-13 CN CN201610414883.XA patent/CN106127696B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030156118A1 (en) * | 2002-02-19 | 2003-08-21 | Olugbenga Ayinde | Method and system for cleaning images to highlight information recorded on a background surface |
| CN104091317A (zh) * | 2014-06-03 | 2014-10-08 | 天津大学 | 一种夜景图像窗户镜面反射效应去除方法 |
| CN104677309A (zh) * | 2015-03-24 | 2015-06-03 | 哈尔滨理工大学 | 基于稀疏表达的强反射表面编码光测量的高光抑制方法 |
| CN105023249A (zh) * | 2015-06-26 | 2015-11-04 | 清华大学深圳研究生院 | 基于光场的高光图像修复方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| "A uniform framework for estimating illumination chromaticity, correspondence, and specular reflection";Q Yang等;《IEEE Transactions on Image Processing 》;20110131;第20卷(第1期);53-63 |
| "一种实拍图像的高光去除方法";吴沛等;《物联网技术》;20131115(第11期);37-39 |
| "强反射表面编码光测量的高光修复与抑制方法研究";王旭颖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140815(第08期);I138-1298 |
| "自然光图像反射分量分离";张潇云;《湖南大学学报》;20150519;第42卷(第2期);126-133 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106127696A (zh) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106127696B (zh) | 一种基于bp神经网络拟合运动场的图像去除反射方法 | |
| Zhuang et al. | Underwater image enhancement with hyper-laplacian reflectance priors | |
| Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| Lee et al. | Single-image depth estimation based on fourier domain analysis | |
| CN110459301B (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
| US20200265597A1 (en) | Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks | |
| CN107862698B (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
| EP3971825A1 (en) | Systems and methods for hybrid depth regularization | |
| CN102867288B (zh) | 深度图像转换设备和方法 | |
| CN111428575B (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
| CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 | |
| CN112102182B (zh) | 一种基于深度学习的单图像去反射方法 | |
| An et al. | TR-MISR: Multiimage super-resolution based on feature fusion with transformers | |
| CN110070574A (zh) | 一种基于改进PSMNet的双目视觉立体匹配算法 | |
| Ubina et al. | Intelligent underwater stereo camera design for fish metric estimation using reliable object matching | |
| Chi et al. | Trinity-Net: Gradient-guided Swin transformer-based remote sensing image dehazing and beyond | |
| Wang et al. | Single image haze removal via attention-based transmission estimation and classification fusion network | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| CN108154488B (zh) | 一种基于显著图像块分析的图像运动模糊去除方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN106651798A (zh) | 一种有效的图像镜面反射移除方法 | |
| Li et al. | Underwater motion deblurring based on cascaded attention mechanism | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
| CN114821239A (zh) | 一种有雾环境下的病虫害检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |