CN108171318B - 一种基于模拟退火—高斯函数的卷积神经网络集成方法 - Google Patents
一种基于模拟退火—高斯函数的卷积神经网络集成方法 Download PDFInfo
- Publication number
- CN108171318B CN108171318B CN201711236180.3A CN201711236180A CN108171318B CN 108171318 B CN108171318 B CN 108171318B CN 201711236180 A CN201711236180 A CN 201711236180A CN 108171318 B CN108171318 B CN 108171318B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- gaussian function
- layer
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Abstract
本发明采用模拟退火和高斯函数的集成方法对全连接层初始化权值和传统滤波器进行优化:首先提取样本的隐层特征映射作为先验信息,并利用模拟退火寻得最优解作为全连接层初始化权值,进而加快权值更新和卷积神经网络收敛;其次在卷积层引入高斯函数,通过高斯函数运算对图像进行平滑,降低噪声对特征提取的干扰,进而提升了卷积神经网络的性能。从而解决了在现有技术中卷积神经网络训练过程中梯度下降易陷入局部最优以及特征提取过程中噪声干扰过大等问题。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于模拟退火—高斯函数的卷积神经网络 集成方法。
背景技术
2006年,Hinton等在研究中发现多隐层的人工神经网络具有优异的特征学习能力,并 由此提出了深度学习的概念。近年来,深度学习在图像分类、行人检测、语音识别及自然语 言处理等实际领域都取得了很大的成功,利用卷积神经网络进行图像分类是深度学习关于图 像处理的一种应用。
卷积神经网络是基于猫脑皮层中的局部敏感性和方向选择性神经元结构而提出的一种网 络模型,这种类似生物神经网络的独特结构可以有效的降低模型的复杂度,减少需要学习的 参数数量。传统的卷积神经网络通常先由卷积层、下采样层交替连接以提取输入图像特征, 最后由全连接层对特征进行分类后输出,是一种深度监督学习下的多层网络模型,其中卷积 层采用局部感知和权值共享的独特结构,可直接从输入图像中提取特征,避免了传统方法手 动提取特征的复杂过程;下采样层中的池化操作能够使特征获得一定的平移和旋转不变性, 增强网络的泛化能力。由于其强大的自适应和自学习能力,卷积神经网络被广泛应用于图像 识别领域。
深度学习中,算法的目标函数几乎全都是非凸函数,卷积神经网络也不例外。作为非凸 函数,卷积神经网络可能会存在许多的局部极小值,而目前卷积神经网络算法中寻找最优解 的方法大都是基于梯度下降来实现的,在梯度下降的过程中可能会陷入某一局部最优而不能 得到最优解;此外,图像中隐含的噪声会对特征提取产生一定的干扰,造成滤波器提取到的 特征不理想。以上因素皆会对网络训练造成一定困难,进而影响网络的识别性能。传统的网 络采用随机初始化权值以及普通的滤波器进行训练,不能很好的解决上述提到的问题。
发明内容
本发明提供了一种基于模拟退火—高斯函数的卷积神经网络集成方法,有效缓解了上述 提到的优化问题,提升了卷积神经网络的识别精度,加快了卷积神经网络的收敛。
为解决上述问题,本申请提供了一种基于模拟退火—高斯函数的卷积神经网络集成方法, 其特征在于,依次包括以下步骤:
步骤1:构建卷积神经网络,对相关网络参数值进行初始化,设定网络的层数、卷积核、 采样核大小、网络迭代次数和学习率;
步骤2:构建数据集,所述数据集包括训练集和测试集,并对所述数据集进行归一化预 处理,即将每张样本图片的像素值进行归一化处理;
步骤3:将所述训练样本图片输入到所述卷积神经网络进行卷积、下采样操作,并将得 到的隐层特征信息映射作为先验信息进行存储;
步骤4:将所述先验信息代入所述卷积神经网络的损失函数,构建目标函数;
步骤5:随机初始化一组解作为输入,利用模拟退火算法对所述目标函数进行寻优处 理,得到最优解;
步骤6:将所述最优解导入所述卷积神经网络的全连接层作为初始化权值,并存储所述 初始化权值对应的所述卷积神经网络;
步骤7:在所述卷积神经网络的网络卷积层引入高斯函数,并对所述高斯函数的中心点 及标准差值进行初始化;对所述高斯函数进行离散化处理,并以离散点上的高斯函数值为卷 积核系数构造高斯函数模板;
步骤8:所述高斯函数模板进行归一化处理;
步骤9:采用窗口扫描的方式,利用所述高斯函数模块与输入图像进行卷积操作;
步骤10:完成对所述卷积神经网络的集成,所述集成包括:所述卷积层滤波器的优化 和所述全连接层初始化权值的优化。
进一步的,在所述步骤3中,所述卷积、下采样操作的具体表达式如下:其中,表示第l层的第 j张所述训练样本图片,f(·)表示所述卷积神经网络的隐含层激活函数,∑表示 求和运算,l表示所述层数,表示第l层所述卷积核,*表示所述卷积运算, Pj表示所述训练样本图片的第j个集合,down(·)表示下采样函数,为所述下 采样第l层的权重系数,分别为所述卷积和所述下采样的第l层对应的第j个 偏置项,函数g(x)=x。
所述全连接层表达式如下:其中,sigm(·)表示全连接层的 激活函数,wl是所述全连接层l的权重系数,u表示上层的特征输入向量,bl是所述全连接 层l的偏置项,i、j表示参数在二维坐标的索引;对所述全连接层表达式变形得:其中,x=(w b),z=(u I)T,w表示所述全连接层的权重系数向量,b 表示为所述全连接层偏置项向量,I是一个元素全为1的单位矩阵,(·)T表示矩阵的转置, 将所述全连接层的变形后的表达式代入所述损失函数中构造所述目标函数:
进一步的,在所述步骤5中,对所述模拟退火算法的初始温度T、温度衰减参数、终止 温度阈值Tδ以及每个温度对应的迭代次数M进行初始化,并随机初始化一组解x0作为当前 解,开始每个温度下的内循环:
步骤51:按照一定步长从所述当前解产生新解,并将所述新解分别代入所述目标函数, 计算对应目标函数值;所述新解产生方式如下:x=x0+Δx,其中x0为当前解,Δx为所述步 长的值;
步骤52:若所述新解的目标函数值小于或等于当前解对应的目标函数值,则接受所述新 解作为所述当前解;否则以概率P(x)接受新解作为所述当前解;
步骤53:对所述迭代次数进行实时判断,若达到所述初始化的迭代次数M,则执行步 骤54,否则执行所述步骤51;
所述步骤54:将当前温度乘以所述温度衰减参数,逐渐降低温度;
步骤55:重复所述步骤51至所述步骤54直至达到终止温度阈值Tδ,输出得到的最优 解。
进一步的,在所述步骤52中,所述以概率P(x)接受新解作为所述当前解,具体表达式 如下:其中,L(x)是目标函数,ΔL(x)表示为函数L(x)的差值,k为玻尔兹曼常数,T为温度参数;所述温度衰减参数选取为0.98或0.99。
进一步的,在所述步骤7中,所述高斯函数的具体表达式如下:
离散化后的高斯函数如下:
其中,i、j表示参数在二维坐标的索引,k表示所述卷积核的维数。
此处高斯函数核的矩阵算法在matlab中可以用fspecial函数实现,为现有技术,不再赘 述。
本发明的有益效果:采用模拟退火和高斯函数的集成方法对全连接层初始化权值和传统 滤波器进行优化:首先提取样本的隐层特征映射作为先验信息,并利用模拟退火寻得最优解 作为全连接层初始化权值,进而加快权值更新和卷积神经网络收敛;其次在卷积层引入高斯 函数,通过高斯函数运算对图像进行平滑,降低噪声对特征提取的干扰,进而提升了卷积神 经网络的性能。从而解决了在现有技术中卷积神经网络训练过程中梯度下降易陷入局部最优 以及特征提取过程中噪声干扰过大等问题。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图说明以及具体实施方式对本发明作进一步说明。
如图1所示,本发明所述的一种基于模拟退火—高斯函数的卷积神经网络集成算法,包 括以下步骤:
步骤1:构建卷积神经网络,设定卷积神经网络的前边部分为卷积层和下采样层的交替 连接,最后通过一层全连接层后输出,并对相关网络参数值进行初始化。具体设定网络的层 数、卷积核、采样核、网络迭代次数以及学习率的参数值;
步骤2:构建数据集,数据集包括训练集和测试集,并对数据集进行归一化预处理,将 每张样本图片的像素值由0~255归一化到0~1;对图像数据的归一化公式如下:其中Xnorm为归一化后的数据,X为所述样本图片的原始数据,Xmax和 Xmin分别为所述原始数据集合中的最大值和最小值。
步骤3:所述训练样本图片输入到所述卷积神经网络进行卷积、下采样操作,并将得到 的隐层特征信息映射作为先验信息进行存储;卷积、下采样的具体表达式如下:其中,表示第l层的第j张所述训练样本图片,f(·)表示所述卷积神经网络的隐含层激活函数,∑表示求和运算,l表示所述层 数,表示第l层所述卷积核,*表示所述卷积运算,Pj表示所述训练样本图片的第j个集合,down(·)表示下采样函数,为所述下采样第l层的权重系数,分别为所述卷积和所述下采样的第l层对应的第j个偏置项,函数g(x)=x。
步骤4:将所述步骤3中的所述先验信息代入所述卷积神经网络的损失函数,并变形以 构建目标函数;卷积神经网络的损失函数表达式如下:其中:o表示 所述卷积神经网络的实际输出,y表示所述卷积神经网络的期望输出,R表示每组所述训练 样本图片的个数;
所述全连接层表达式如下:其中,sigm(·)表示全连接层的 激活函数,wl是所述全连接层l的权重系数,u表示上层的特征输入向量,bl是所述全连接 层l的偏置项,i、j表示参数在二维坐标的索引;对所述全连接层表达式变形得:其中,x=(w b),z=(u I)T,w表示所述全连接层的权重系数向量,b 表示为所述全连接层偏置项向量,I是一个元素全为1的单位矩阵,(·)T表示矩阵的转置, 将所述全连接层的变形后的表达式代入所述损失函数中构造所述目标函数:
步骤5:随机初始化一组解作为输入,利用模拟退火算法对所述目标函数进行寻优处理, 得到最优解。具体操作如下:对所述模拟退火算法的初始温度T、温度衰减参数、终止温度 阈值Tδ以及每个温度对应的迭代次数M进行初始化,并随机初始化一组解x0作为当前解, 开始每个温度下的内循环:
步骤51:按照一定步长从所述当前解产生新解,并将所述新解分别代入所述目标函数, 计算对应目标函数值;所述新解产生方式如下:x=x0+Δx,其中x0为当前解,Δx为所述步 长的值;
步骤52:若所述新解的目标函数值小于或等于当前解对应的目标函数值,则接受所述新 解作为所述当前解;否则以概率P(x)接受新解作为所述当前解;
步骤53:对所述迭代次数进行实时判断,若达到所述初始化的迭代次数M,则执行步 骤54,否则执行所述步骤51;
所述步骤54:将当前温度乘以所述温度衰减参数,逐渐降低温度;
步骤55:重复所述步骤51至所述步骤54直至达到终止温度阈值Tδ,输出得到的最优 解。
其中,所述以概率P(x)接受新解作为所述当前解,具体表达式如下:其中,L(x)是目标函数,ΔL(x)表示为函数L(x)的差值,k为玻尔兹曼常数,T为温度参数; 所述温度衰减参数选取为0.98或0.99。
步骤6:将所述步骤5所述最优解导入所述卷积神经网络的全连接层作为初始化权值, 并存储所述初始化权值对应的所述卷积神经网络;
步骤7:进一步的,在所述卷积神经网络的网络卷积层引入高斯函数,并对所述高斯函 数的中心点及标准差值进行初始化;对所述高斯函数进行离散化处理,并以离散点上的高斯 函数值为卷积核系数构造高斯函数模板。
其中,引入所述高斯函数的具体表达式如下:
其中,i、j表示参数在二维坐标的索引,k表示所述卷积核的维数。
步骤8:为保证加权滤波的权系数和为1,对所述步骤7中得到的所述高斯函数模板进 行归一化处理,具体归一化操作如下:
此处高斯函数核的矩阵算法在matlab中可以用fspecial函数实现,为现有技术,不再赘 述。
步骤9:输入所述样本图片,利用高斯函数模板替代现有技术中的普通滤波器,采用窗 口扫描的方式,与输入图像进行卷积操作,然后输出卷积后的图像数据。
步骤10:至此完成对卷积神经网络的集成,所述集成包括:卷积层滤波器的优化和全 连接层初始化权值的优化;可进一步对集成后的卷积神经网络进行训练,并输入所述测试集 图片测试所述卷积神经网络的识别性能。
本发明采用退火原理可有效提升卷积神经网络训练过程中的初始化权值更新速度和收敛 速度。同时,采用高斯函数算法可有效降低干扰噪声,从而提升卷积神经网络的识别精度等 性能。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明 的具体实施只局限于所作的说明。对于本发明所述技术领域的普通技术人员来说,在不脱离 本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (6)
1.一种基于模拟退火—高斯函数的卷积神经网络集成方法,其特征在于,依次包括以下步骤:
步骤1:构建卷积神经网络,对相关网络参数值进行初始化,设定网络的层数、卷积核、采样核大小、网络迭代次数和学习率;
步骤2:构建数据集,所述数据集包括训练集和测试集,并对所述数据集进行归一化预处理,即将每张样本图片的像素值进行归一化处理;
步骤3:将训练样本图片输入到所述卷积神经网络进行卷积、下采样操作,并将得到的隐层特征信息映射作为先验信息进行存储;
步骤4:将所述先验信息代入所述卷积神经网络的损失函数,构建目标函数;
步骤5:随机初始化一组解作为输入,利用模拟退火算法对所述目标函数进行寻优处理,得到最优解;
步骤6:将所述最优解导入所述卷积神经网络的全连接层作为初始化权值,并存储所述初始化权值对应的所述卷积神经网络;
步骤7:在所述卷积神经网络的网络卷积层引入高斯函数,并对所述高斯函数的中心点及标准差值进行初始化;对所述高斯函数进行离散化处理,并以离散点上的高斯函数值为卷积核系数构造高斯函数模板;
步骤8:对所述高斯函数模板进行归一化处理;
步骤9:采用窗口扫描的方式,利用所述高斯函数模块与输入图像进行卷积操作;
步骤10:完成对所述卷积神经网络的集成,所述集成包括:所述卷积层滤波器的优化和所述全连接层初始化权值的优化。
3.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法,其特征在于:所述步骤4中,所述卷积神经网络的损失函数表达式如下:其中,O表示所述卷积神经网络的实际输出,y表示所述卷积神经网络的期望输出,R表示每组所述训练样本图片的个数;
所述全连接层表达式如下:其中,sigm(·)表示全连接层的激活函数,wl是所述全连接层l的权重系数,u表示上层的特征输入向量,bl是所述全连接层l的偏置项,i、j表示参数在二维坐标的索引;对所述全连接层表达式变形得:其中,x=(wb),z=(uI)T,w表示所述全连接层的权重系数向量,b表示为所述全连接层偏置项向量,I是一个元素全为1的单位矩阵,(·)T表示矩阵的转置,将所述全连接层的变形后的表达式代入所述损失函数中构造所述目标函数:
4.根据权利要求1所述的基于模拟退火—高斯函数的卷积神经网络集成方法,其特征在于:所述步骤5中,对所述模拟退火算法的初始温度T、温度衰减参数、终止温度阈值Tδ以及每个温度对应的迭代次数M进行初始化,并随机初始化一组解x0作为当前解,开始每个温度下的内循环:
步骤51:按照一定步长从所述当前解产生新解,并将所述新解分别代入所述目标函数,计算对应目标函数值;所述新解产生方式如下:x=x0+Δx,其中,x0为当前解,Δx为所述步长的值;
步骤52:若所述新解的目标函数值小于或等于当前解对应的目标函数值,则接受所述新解作为所述当前解;否则以概率P(x)接受新解作为所述当前解;
步骤53:对所述迭代次数进行实时判断,若达到所述初始化的迭代次数M,则执行步骤54,否则执行所述步骤51;
所述步骤54:将当前温度乘以所述温度衰减参数,逐渐降低温度;
步骤55:重复所述步骤51至所述步骤54直至达到终止温度阈值Tδ,输出得到的最优解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711236180.3A CN108171318B (zh) | 2017-11-30 | 2017-11-30 | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711236180.3A CN108171318B (zh) | 2017-11-30 | 2017-11-30 | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108171318A CN108171318A (zh) | 2018-06-15 |
CN108171318B true CN108171318B (zh) | 2022-05-27 |
Family
ID=62524246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711236180.3A Active CN108171318B (zh) | 2017-11-30 | 2017-11-30 | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108171318B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108757426B (zh) * | 2018-07-04 | 2021-03-30 | 温州大学 | 石油矿场注水柱塞泵故障诊断方法 |
CN109000733B (zh) * | 2018-08-15 | 2021-11-26 | 西安科技大学 | 基于模拟退火优化神经网络的能见度传感器的检测方法 |
JP7174244B2 (ja) * | 2018-12-26 | 2022-11-17 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
CN109902741A (zh) * | 2019-02-28 | 2019-06-18 | 上海理工大学 | 一种制冷系统故障诊断方法 |
CN110717422A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 基于卷积神经网络的交互动作的识别方法和系统 |
CN111401226B (zh) * | 2020-03-13 | 2022-11-01 | 电子科技大学 | 一种辐射源快速识别方法 |
CN112085174A (zh) * | 2020-10-21 | 2020-12-15 | 广东工业大学 | 一种卷积神经网络优化方法、装置和设备 |
CN113420496A (zh) * | 2021-05-31 | 2021-09-21 | 中国电信股份有限公司 | 多频带天线的设计方法及装置、存储介质、电子设备 |
CN116562358B (zh) * | 2023-03-16 | 2024-01-09 | 中国人民解放军战略支援部队航天工程大学士官学校 | 一种图像处理Gabor核卷积神经网络构建方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567979B (zh) * | 2012-01-20 | 2014-02-05 | 南京航空航天大学 | 车载红外夜视系统及其多源图像融合方法 |
CN104731709B (zh) * | 2015-03-31 | 2017-09-29 | 北京理工大学 | 一种基于jcudasa_bp算法的软件缺陷预测方法 |
CN105512676A (zh) * | 2015-11-30 | 2016-04-20 | 华南理工大学 | 一种智能终端上的食物识别方法 |
US10572800B2 (en) * | 2016-02-05 | 2020-02-25 | Nec Corporation | Accelerating deep neural network training with inconsistent stochastic gradient descent |
CN105740916B (zh) * | 2016-03-15 | 2019-03-26 | 北京陌上花科技有限公司 | 图像特征编码方法及装置 |
WO2017165801A1 (en) * | 2016-03-24 | 2017-09-28 | The Regents Of The University Of California | Deep-learning-based cancer classification using a hierarchical classification framework |
CN106503802A (zh) * | 2016-10-20 | 2017-03-15 | 上海电机学院 | 一种利用遗传算法优化bp神经网络系统的方法 |
CN106709521A (zh) * | 2016-12-26 | 2017-05-24 | 深圳极视角科技有限公司 | 基于卷积神经网络和动态跟踪的火焰预警方法和系统 |
-
2017
- 2017-11-30 CN CN201711236180.3A patent/CN108171318B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108171318A (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171318B (zh) | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
Guo et al. | Simple convolutional neural network on image classification | |
CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
CN112307958A (zh) | 基于时空外观运动注意力网络的微表情识别方法 | |
CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
CN107944410B (zh) | 一种基于卷积神经网络的跨领域面部特征解析方法 | |
CN110459225B (zh) | 一种基于cnn融合特征的说话人辨认系统 | |
CN109002755B (zh) | 基于人脸图像的年龄估计模型构建方法及估计方法 | |
CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
CN110197205A (zh) | 一种多特征来源残差网络的图像识别方法 | |
CN108304823A (zh) | 一种基于双卷积cnn和长短时记忆网络的表情识别方法 | |
CN109492750B (zh) | 基于卷积神经网络和因素空间的零样本图像分类方法 | |
CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
CN111582396A (zh) | 一种基于改进卷积神经网络的故障诊断方法 | |
CN112597873A (zh) | 一种基于深度学习的双通道人脸表情识别方法 | |
CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
CN111382684B (zh) | 基于对抗学习的角度鲁棒的个性化人脸表情识别方法 | |
Olisah et al. | Understanding unconventional preprocessors in deep convolutional neural networks for face identification | |
CN107563287B (zh) | 人脸识别方法和装置 | |
Cirstea et al. | Improving a deep convolutional neural network architecture for character recognition | |
CN112560712B (zh) | 基于时间增强图卷积网络的行为识别方法、装置及介质 | |
US20230394304A1 (en) | Method and Apparatus for Neural Network Based on Energy-Based Latent Variable Models | |
CN107341485B (zh) | 人脸识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |