CN108460742A - 一种基于bp神经网络的图像复原方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种提高图像复原质量的基于BP神经网络的图像复原方法。本发明包括(1)对原始图像进行初始化权值；(2)对进行初始化后的图像进行卷积运算；(3)对进行卷积运算后的图像进行池化；(4)输出池化后图像的损失函数等。本发明提出了混合神经网络在图像复原中的应用。将卷积神经网络与BP神经网络结合分步实现图像复原。通过训练卷积神经网络提取特征向量作为BP神经网络的输入，再通过训练BP神经网络实现图像复原。充分考虑退化过程邻域对退化像素值的影响，避免求解点扩展函数，复原效果优于现有方法。

Description

一种基于BP神经网络的图像复原方法

技术领域

本发明属于图像处理技术领域，具体涉及一种提高图像复原质量的基于BP神经网络的图像复原方法。

背景技术

据调查研究表明，人类视觉系统所获取的信息占人类获取的所有信息的80％以上。图像包含大量丰富的外部信息，作为信息的载体，是我们人类认识感知客观世界的重要方式。“一图胜千言”。图像通常包含颜色特征、纹理特征、形状特征等使得其更加形象生动。随着移动互联网的飞速发展，数字化的多媒体技术已经广泛应用于人类社会的各个领域。在现实生活中，具有图像采集功能的电子消费品数码照相机、平板电脑、摄像机和智能手机等已经成为每个人的生活必需品。而且人们每天通过微信、QQ、微博、Facebook等社交网络上传照片发表动态已经成为一种生活习惯。

2013年全球最大的社交网站Facebook透露该公司的11.5亿用户每天平均向其网站上传3.5亿张照片，照片上传总量达到2500亿张；可见图像作为信息的载体在信息沟通的方式上给人们的生活带来了极大的便利，人们对互联网和多媒体的依赖和需求对图像处理技术来说是很大的挑战。图像在人们使用过程中其质量的好坏对视觉和信息的交流有很大的影响。质量差的图像会给观看的人以不舒服的感受，反之质量高的图像则会给观看的人舒服的享受；同时质量低的图像导致图像上很多信息损失，造成一些通信的不便，导致经济损失等。然而，我们平时所采集的图像在形成的过程容易受外界因素的影响，比如噪声、拍摄设备等，就会导致最后的图像失真严重，这种情况也被称为图像退化。例如现实场景中采集图像时，相机的抖动、镜头的聚焦等外界因素将会导致模糊效应；另外，图像采集和传输的介质(传感器阵列)的密度小使得采集的像素点较少，致使最后图像的分辨率较低等。

为了提高图像质量我们可以通过提高采集设备的硬件性能。比如说可以提高传感器阵列的密度，即提高设备像素密度，工业中的制作工艺已经可以决解此类问题。但是像素密度的增加将会降低传感器的采光性能，噪声的影响也会随之增加。不仅如此，设备的成本也提高了不少。此外，现实中还存在一些情况是不能通过改善硬件设备来提高图像质量。例如相机抖动导致的模糊、图像压缩中噪声导致的图像失真等。所以说利用失真图像来还原出原始图像是一件非常重要的事情，且具有重大的实际意义。利用信号处理、机器学习等相关的理论知识，对图像退化过程进行表示和建模，消除或者降低退化图像信息的损失。这种基于软件的方法具有成本低、适用范围广等特点。近年来，随着多媒体技术的成熟发展，图像复原技术作为数字图像处理技术中一个重要的研究方向已经在军事遥感、安全监控、天文成像、医学、军事公安等众多科学领域中有广泛应用。

图像复原的目的就是为了提高图像质量，对质量低的图像通过补给模糊图像丢失的信息成分来获取高质量图像的过程。因为造成图像退化的原因各种各样，所以涉及的范围比较广。图像复原问题主要包括图像去模糊、图像超分辨率重建、图像去马赛克、图像压缩感知重建、图像去噪等几大类问题。本文重点关注图像去模糊和图像超分辨率重建两大类复原问题的研究。在图像复原领域，近年来各种各类的算法以及相关退化模型不断的被提出。早在20世纪60年代，图像复原已经在阿波罗登月计划和火星表面检测得到应用。对于图像复原的过程，通常根据退化的先验知识，结合数学知识预估退化模型，复原的过程就是对退化模型的求逆过程，再叠加图像的某些先验知识实现图像去模糊。模糊图像复原根据点扩散函数已知与否，图像复原可以分为两大类：非盲图像复原和盲图像复原。图像复原的方法有多种，如维纳滤波法、约束最小二乘法、迭代盲反卷积等。目前经典的去模糊算法基本都是建立在模糊核已知的情况下实现图像复原，但是模糊核是很难知道或者说很难精确的获得，所以盲复原技术应用需求更广泛和迫切。图像迭代盲解卷积法建立在不需要事先知道点扩展函数，直接通过先验知识预估模糊核，通过数学模型求解出原始图像。这个方法存在计算量大而且对噪声比较敏感两个劣势。因此，针对迭代盲解卷积法的优缺点，Fahmy等提出将图像的先验知识或者噪声的影响进行约束，加入一些约束条件，以获得更优的解。但是因为加入约束条件不是唯一确定的，所以解的个数也是不确定的，获得的复原效果未必最优。Zhang等提出一种基于稀疏表示的方法获取点扩散函数，图像复原效果较好，但是在细节的处理上不佳，往往丢失了细节信息。Cao等提出一种直接利用图像本身的结构信息即图像深度图推导求出图像退化的点扩散函数，虽然能够快速复原出图像，但经常夹带噪声残余。虽然各式各类的盲复原算法被提出，但是精确预估模糊核还是很难的一件事情。

发明内容

本发明的目的在于围绕分步图像去模糊神经网络模型提出一种基于BP神经网络的图像复原方法。

本发明的目的是这样实现的：

一种基于BP神经网络的图像复原方法，包括如下步骤：

(1)对原始图像进行初始化权值；

(2)对进行初始化后的图像进行卷积运算；

(3)对进行卷积运算后的图像进行池化；

(4)输出池化后图像的损失函数；

(5)判断损失函数是否收敛；如果收敛执行步骤(6)；如果不收敛则返回步骤(1)，重新更新权值；

(6)提取池化后图像的一维特征向量输入BP神经网络；

(7)初始化BP神经网络权值；

(8)计算BP神经网络的单元输出；

(9)计算单元输出的偏差；

(10)将单元偏差与阈值进行比较，如果单元偏差小于等于阈值则进行步骤(11)；如果单元偏差大于阈值则返回步骤(7)更新BP神经网络权值；

(11)BP神经网络输出对应原始图像的矩阵的中心像素值，进行图像复原。

所述的对原始图像进行初始化权值的方法包括：

qn＝q+αΔq；

Δq＝▽wE；

▽w＝min(E)；

E＝0.5||f(x)-y||²；

qn为更新的权值；q为原始权值；α为学习率；f(x)为前向传播最后输出，y是目标输出像素值。

所述的对初始化后的图像进行卷积运算是在卷积神经网络中进行的，具体包括：

所述的卷积神经网络中设置有R个卷积核，每个卷积核输出一个特征图，输入的图像数据经过卷积核的运算，再对结果进行平均之后得到一个输出卷积运算后的图像；

其中T_j代表第j个输出特征图，Y_j代表第j个卷积核的权值参数二维矩阵，U_i代表第i个输入的二维数据结构，M表示输入数据总数。

所述的对进行卷积运算后的图像进行池化包括最大值池化、中值池化和随机池化。

所述的输出池化后图像的损失函数为：

n(x,y)＝H[f(x,y)]-G(x,y)；

G(x,y)为池化后的图像；f(x,y)为进行卷积运算后的图像；H[*]为综合所有代价因素的函数；

所述的BP神经网络为三层，输入层神经元个数为9，中间隐含层神经元个数为20，并采用Sigmoid转换函数，输出层大小为1×1；隐含层选择Sigmoid转换函数，输入层要对图像灰度值先进行归一化处理到区间[0，1]。

通过计算均方误差来更新所述BP神经网络权值，具体包括：

G2_pm＝G1_pkβ(F1_pk)

A为输入神经元，S为隐层神经元，D为输出神经元个数。F1_pk和F2_pm分别为隐层和输出层的输出值，G1_pk和G2_pm分别为输入层到隐层和隐层到输出层的连接权值，J_pm为输入学习样本，输入学习样本对应的期望输出值为K_pm；β(*)为BP神经网络卷积核函数；μ为BP神经网络学习率。

所述的单元输出的偏差为：

V＝K_pm-f(x,y)。

本发明的有益效果在于：

本发明提出了混合神经网络在图像复原中的应用。将卷积神经网络与BP神经网络结合分步实现图像复原。通过训练卷积神经网络提取特征向量作为BP神经网络的输入，再通过训练BP神经网络实现图像复原。充分考虑退化过程邻域对退化像素值的影响，避免求解点扩展函数，复原效果优于现有方法。卷积神经网络提供了很好的特征训练BP神经网络，同时对于卷积神经网络用于图像复原后加BP神经网络为对卷积神经网络输出层的进一步调节，所以获得较好的复原结果。

附图说明

图1位本发明的具体流程图。

具体实施方式

下面结合附图1对本发明做进一步描述。

CNN比较出名的应用是Yann Le Cun教授构建出的Le Net5网络用于识别字符，在MNIST手写字符库上取得了当时世界上顶级的识别结果。到目前为止，CNN已经在人脸识别、图像分类、物体检测等方面都得到了广泛的应用，成为计算机图像处理领域的一大研究热点。卷积神经网络主要由两种分别具有不同功能的结构组成，它们分别是：卷积层和下采样层。这两个具有不同功能和结构的神经网络层往往是组合的使用。通常一个比较完整的深度卷积神经网络模型结构由若干卷积层和若干下采样层混合堆叠的组合而成，后面全连接上传统的神经网络以用于输出。对比于经典的神经网络模型，卷积神经网络不再是只能读入或接收表达方式比较局限的一维输入方式，它可以更好的接收信息表达更为丰富的二维数据结构或多维数据结构。因此，本发明提出一种基于BP神经网络的图像复原方法，将卷积神经网络和BP神经网络进行有机融合，包括如下步骤：

(1)对原始图像进行初始化权值；

(2)对进行初始化后的图像进行卷积运算；

(3)对进行卷积运算后的图像进行池化；

(4)输出池化后图像的损失函数；

(5)判断损失函数是否收敛；如果收敛执行步骤(6)；如果不收敛则返回步骤(1)，重新更新权值；

(6)提取池化后图像的一维特征向量输入BP神经网络；

(7)初始化BP神经网络权值；

(8)计算BP神经网络的单元输出；

(9)计算单元输出的偏差；

(10)将单元偏差与阈值进行比较，如果单元偏差小于等于阈值则进行步骤(11)；如果单元偏差大于阈值则返回步骤(7)更新BP神经网络权值；

(11)BP神经网络输出对应原始图像的矩阵的中心像素值，进行图像复原。

所述的对原始图像进行初始化权值的方法包括：

qn＝q+αΔq；

Δq＝▽wE；

▽w＝min(E)；

E＝0.5||f(x)-y||²；

qn为更新的权值；q为原始权值；α为学习率；f(x)为前向传播最后输出，y是目标输出像素值。

所述的对初始化后的图像进行卷积运算是在卷积神经网络中进行的，具体包括：

所述的卷积神经网络中设置有R个卷积核，每个卷积核输出一个特征图，输入的图像数据经过卷积核的运算，再对结果进行平均之后得到一个输出卷积运算后的图像；

其中T_j代表第j个输出特征图，Y_j代表第j个卷积核的权值参数二维矩阵，U_i代表第i个输入的二维数据结构，M表示输入数据总数。从上面的可以看出，对于一次输入所得到的特征图来说，它是某一个二维输入数据经一个卷积核计算的所有结果平均而来的，这个卷积核也就成为了公共权值，这就是卷积神经网络对于二维数据处理的一大优势：权值共享。在二维空间上，卷积运算实际上就是对局部区域的权值连接，组成输出特征图的像素实质上就是每一个局部二维空间上的数据值连接，这种局部区域也被称作感受野。经过卷积层处理后的输出二维数据其实质就是在输入二维数据的感受野上提取的特征组合而成的，而且这些由输入二维数据提供的特征点相对于他们的感受野而言相互之间保持了他们初始时的相对位置。

所述的对进行卷积运算后的图像进行池化包括最大值池化、中值池化和随机池化。池化运算的作用是将局部区域的主要特征提取出来，这也使得整个模型具有了一定的畸变能力和位移容忍能力。也就是说，经过池化操作之后得到的特征与没用经过畸变或位移影响前的特征是相同的。此外，池化操作可以大大的减少数据的维度，并相应的减少权值参数的总数量，从而降低了计算时间，提高了计算效率。

所述的输出池化后图像的损失函数为：

n(x,y)＝H[f(x,y)]-G(x,y)；

G(x,y)为池化后的图像；f(x,y)为进行卷积运算后的图像；H[*]为综合所有代价因素的函数；

BP神经网络是目前应用比较广泛的神经网络模型之一，其具有自适应、非线性映射、自学习、自组织、自适应的特性。BP网络中的隐含层可以完成非线性变换，也就是说它可以完成对多维函数的逼近。通过反复的训练网络，对于既定的输入可以映射出非线性输出。BP学习算法也称为反向传播算法，包括正向传播和反向传播两个过程。输入层接收来自外部的数据，然后经过中间单个或者多个隐层神经元的处理，将处理结果传递到输出层，这就完成了一次正向传播。反向传播的过程就是当实际输出跟目标值相差过大，没有达到可接受的范围时，通过误差函数不断调整各层权值比重，使网络进入收敛状态，输入与输出误差达到最小为止。本发明所述的BP神经网络为三层，输入层神经元个数为9，中间隐含层神经元个数为20，并采用Sigmoid转换函数，输出层大小为1×1；隐含层选择Sigmoid转换函数，输入层要对图像灰度值先进行归一化处理到区间[0，1]。

通过计算均方误差来更新所述BP神经网络权值，具体包括：

G2_pm＝G1_pkβ(F1_pk)

A为输入神经元，S为隐层神经元，D为输出神经元个数。F1_pk和F2_pm分别为隐层和输出层的输出值，G1_pk和G2_pm分别为输入层到隐层和隐层到输出层的连接权值，J_pm为输入学习样本，输入学习样本对应的期望输出值为K_pm；β(*)为BP神经网络卷积核函数；μ为BP神经网络学习率。

所述的单元输出的偏差为：

V＝K_pm-f(x,y)。

对于图像复原这个问题而言，模糊图像与清晰图像不可能是一个简单的线性关系，所以BP神经网络很适合用于图像复原。而且对于这个图像复原问题不需要求解矩阵逆问题，也自然避免了传统图像去模糊算法出现的振铃效应和对噪声的敏感度，可以获得令人较为满意的复原图象质量。研究表明，一个含有三层的BP神经网络足够完成多维输入到多维输出的非线性映射。而且隐层神经元在一定的范围内才能取得较好的效果，换句话说并不是越多越好。因为太多的神经元会降低网络的泛化能力，甚至出现过拟合现象。图像在退化过程中，某一点的像素值与其邻域的像素值有着很大的关系。对于图像中两个像素值相等的点，因为邻域的不同，退化的结果也会大相径庭。考虑到这个邻域的影响关系，在模糊图像上用大小为3×3的滑动窗口按步长为1提取网络的输入数据，那么原始清晰图像上对应3×3中心位置的像素点作为网络的输出。对于隐含层节点数目的选择直接影响到网络性能的好坏，目前对于这个数目的选择没有一个固定的标准。通过实验，隐含层节点数目为20时候网络性能优良，收敛速度快。

Claims (7)

1.一种基于BP神经网络的图像复原方法，其特征在于：包括如下步骤：

(1)对原始图像进行初始化权值；

(2)对进行初始化后的图像进行卷积运算；

(3)对进行卷积运算后的图像进行池化；

(4)输出池化后图像的损失函数；

(5)判断损失函数是否收敛；如果收敛执行步骤(6)；如果不收敛则返回步骤(1)，重新更新权值；

(6)提取池化后图像的一维特征向量输入BP神经网络；

(7)初始化BP神经网络权值；

(8)计算BP神经网络的单元输出；

(9)计算单元输出的偏差；

(10)将单元偏差与阈值进行比较，如果单元偏差小于等于阈值则进行步骤(11)；如果单元偏差大于阈值则返回步骤(7)更新BP神经网络权值；

(11)BP神经网络输出对应原始图像的矩阵的中心像素值，进行图像复原。

2.根据权利要求1所述的所述的一种基于BP神经网络的图像复原方法，其特征在于：对原始图像进行初始化权值的方法包括：

qn＝q+αΔq；

Δq＝▽wE；

▽w＝min(E)；

E＝0.5||f(x)-y||²；

qn为更新的权值；q为原始权值；α为学习率；f(x)为前向传播最后输出，y是目标输出像素值。

3.根据权利要求1所述的所述的一种基于BP神经网络的图像复原方法，其特征在于：所述的对初始化后的图像进行卷积运算是在卷积神经网络中进行的，具体包括：

所述的卷积神经网络中设置有R个卷积核，每个卷积核输出一个特征图，输入的图像数据经过卷积核的运算，再对结果进行平均之后得到一个输出卷积运算后的图像；

其中T_j代表第j个输出特征图，Y_j代表第j个卷积核的权值参数二维矩阵，U_i代表第i个输入的二维数据结构，M表示输入数据总数。

4.根据权利要求1所述的所述的一种基于BP神经网络的图像复原方法，其特征在于：所述的对进行卷积运算后的图像进行池化包括最大值池化、中值池化和随机池化。

5.根据权利要求1所述的所述的一种基于BP神经网络的图像复原方法，其特征在于：所述的输出池化后图像的损失函数为：

n(x,y)＝H[f(x,y)]-G(x,y)；

G(x,y)为池化后的图像；f(x,y)为进行卷积运算后的图像；H[*]为综合所有代价因素的函数；

所述的BP神经网络为三层，输入层神经元个数为9，中间隐含层神经元个数为20，并采用Sigmoid转换函数，输出层大小为1×1；隐含层选择Sigmoid转换函数，输入层要对图像灰度值先进行归一化处理到区间[0，1]。

6.根据权利要求1所述的所述的一种基于BP神经网络的图像复原方法，其特征在于：

通过计算均方误差来更新所述BP神经网络权值，具体包括：

G2_pm＝G1_pkβ(F1_pk)

A为输入神经元，S为隐层神经元，D为输出神经元个数。F1_pk和F2_pm分别为隐层和输出层的输出值，G1_pk和G2_pm分别为输入层到隐层和隐层到输出层的连接权值，J_pm为输入学习样本，输入学习样本对应的期望输出值为K_pm；β(*)为BP神经网络卷积核函数；μ为BP神经网络学习率。

7.根据权利要求1所述的所述的一种基于BP神经网络的图像复原方法，其特征在于：所述的单元输出的偏差为：

V＝K_pm-f(x,y)。