CN106874956B - 图像分类卷积神经网络结构的构建方法 - Google Patents
图像分类卷积神经网络结构的构建方法 Download PDFInfo
- Publication number
- CN106874956B CN106874956B CN201710106457.4A CN201710106457A CN106874956B CN 106874956 B CN106874956 B CN 106874956B CN 201710106457 A CN201710106457 A CN 201710106457A CN 106874956 B CN106874956 B CN 106874956B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- neural networks
- convolutional neural
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 101
- 238000010276 construction Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 238000012956 testing procedure Methods 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims abstract description 13
- 238000003064 k means clustering Methods 0.000 claims abstract description 13
- 230000000644 propagated effect Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000005755 formation reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000002203 pretreatment Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 5
- 238000003475 lamination Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
一种图像分类卷积神经网络结构的构建方法，由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成。构建卷积神经网络结构的步骤为：获得训练样本图像和测试样本图像并对其进行预处理、设定卷积神经网络初始结构、引入激活函数、确定池化方法、确定滤波器、确定卷积层个数，得到图像分类卷积神经网络结构；卷积神经网络的训练和测试步骤为：用K‑Means聚类方法获得含有20个特征图的卷积层的滤波器，经前向传播和反向传播更新网络权值矩阵至最大训练次数，得到训练好的卷积神经网络，对测试样本图像进行测试，得到验证后的图像分类卷积神经网络结构，具有构建方法简单、有效等优点，适用于门牌号码、手写数字、邮政编码等图像分类。
Description
技术领域
本发明属于图像处理及模式识别技术领域，具体涉及到适用于图像分类的卷积神经网络结构。
背景技术
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。它通过模仿人脑的机制来解释数据，例如图像、声音和文本，其核心是通过构建具有多个隐层的机器学习模型和大量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
现有的LeNet-5、AlexNet、GoogLeNet、ResNet等代表性网络都是基于卷积神经网络结构。其中，LeNet-5由7层组成，其1、3、5层为卷积层，2、4层为池化层；AlexNet由8层组成，其前5层是卷积层，后3层是全连接层；GoogLeNet由22层组成，其中有21个卷积层，1个全连接层；ResNet由152层组成，其中有151个卷积层，最后一层为全连接层。这些网络模型都是在卷积神经网络模型的基础上，通过加深网络深度完成对网络模型的改进。此外，还有人提出将卷积神经网络学习算法与其它思想或方法相结合，如隐马尔科夫模型(HiddenMarkov Model,HMM)与CNN相结合的混合模型，快速PCA和CNN相结合的模型等。
上述基于神经网络在图像分类方法中所存在的主要技术问题是网络结构设计过程中，关于滤波器个数和大小、池化方法、激活函数往往是依赖经验确定，不恰当的网络结构会极大地增加网络参数个数，导致网络计算复杂度增加。
发明内容
本发明所要解决的技术问题在于克服现有技术的缺点，提供一种结构简单、易实现、收敛速度快的图像分类卷积神经网络结构的构建方法。
解决上述技术问题所采用的技术方案是由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，所述的构建卷积神经网络结构步骤如下：
(1)获得训练样本图像和测试样本图像并对其进行预处理
(a)从图像数据集中选取50400～73257张训练样本图像和6000～26032张测试样本图像；
(b)对50400～73257张训练样本图像进行预处理
包括图像灰度化、图像减均值步骤：
图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：
I＝W1×R+W2×G+W3×B (1)
式中I为灰度化后的图像，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，W1为彩色图像的红色分量的权重，W2为彩色图像的绿色分量的权重，W3为彩色图像的蓝色分量的权重。
图像减均值：用(2)式对已被灰度化的训练样本图像进行减均值处理：
式中Z为减均值后的图像，vi为n个图像中的第i个图像的像素矩阵，n为50400～73257整数个图像。
(c)对6000～26032张测试样本图像进行预处理
测试样本图像的预处理与对训练样本进行预处理步骤(b)相同。
(2)设定卷积神经网络初始结构
设定卷积神经网络初始结构：输入层(1)是50400～73257张大小为28×28或32×32的训练样本图像，输入层(1)后连接含有20个特征图的卷积层(2)，含有20个特征图的卷积层(2)后连接含有20个特征图的池化层(3)，含有20个特征图的池化层(3)后连接含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后连接含有500个特征图的卷积层(2)，含有500个特征图的卷积层(2)后连接全连接层(4)，全连接层(4)后连接输出层(5)。
(3)引入激活函数
在每个卷积层(2)后引入ReLu激活函数为：
yi＝max{xi,0} (3)
式中xi为与前一层输出相连的第i个权值矩阵与当前层输入的内积，即卷积结果，yi为第i个特征图的输出，20≤i≤500。
(4)确定池化方法
卷积神经网络中的池化层(3)选用最大池化方法或均值池化方法或随机池化方法进行池化。
(5)确定滤波器
在3×3～9×9方阵之间、以图像宽度28或32为步长，在20～500内进行网格搜索，得到滤波器，为卷积层(2)的权值矩阵，滤波器的大小在3×3～9×9方阵之间，个数在20～500之间。
(6)确定卷积层(2)个数
在含有20个特征图的池化层(3)后增加一层卷积层(2)，其滤波器大小和个数与含有20个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，在含有64个特征图的池化层(3)后增加或不增加一层卷积层(2)，若增加一层卷积层，其滤波器大小和个数与含有64个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，卷积层(2)个数为3～5层，选择使得卷积神经网络对所选测试样本图像6000～26032张分类效果最好时的卷积层(2)个数，得到图像分类卷积神经网络结构：
o＝I*－m+1 (4)
式中I*为本层输入矩阵的长，m为滤波器的像素矩阵长，o为卷积层(2)特征图的像素矩阵长。
上述的卷积神经网络的训练和测试步骤为：
(1)用K-Means聚类方法获得含有20个特征图的卷积层(2)的权值矩阵
(a)从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取图像块有限的正整数，m为3～9含有20个特征图的卷积层(2)的滤波器的像素矩阵长。
(b)用式(5)对步骤(a)中所选取的N个图像块中的每一个图像块进行归一化处理：
式中x*为m×m矩阵大小的图像块，μ为N个图像块的平均值，σ为N个图像块的标准差，x表示经过归一化后的结果。
(c)以式(6)为目标函数，对上步得到的图像块进行10次K-Means聚类方法，取其中目标函数值最小的一次所得到的20个聚类中心，作为含有20个特征图的卷积层(2)的滤波器初始化值：
式中k为20是聚类个数，s表示图像块的类别数，xj为第i类别中的图像块，为第i类的样本均值，i为1～20的整数。
(2)将预处理后的50400～73257张训练样本图像输入图像分类卷积神经网络结构，经过前向传播和反向传播两个步骤反复循环更新网络的权值矩阵，直至达到30～70次数，训练过程结束，得到训练好的卷积神经网络。
(3)将预处理后的6000～26032张测试样本图像输入到训练好的卷积神经网络进行测试，得到验证后的图像分类卷积神经网络结构。
在本发明的构建卷积神经网络结构步骤的设定卷积神经网络初始结构步骤(2)中，本发明的输入层(1)的图像大小为28×28或32×32。
在本发明的构建卷积神经网络结构步骤的确定池化方法步骤(4)中，卷积神经网络中的池化层(3)选用最大池化方法进行池化。
在本发明的构建卷积神经网络结构步骤的确定滤波器步骤(5)中，滤波器的大小分别为9×9、5×5、4×4，以图像宽度32为步长，滤波器的个数分别为20、64、500，得到滤波器，为卷积层(2)的权值矩阵。
在本发明的卷积神经网络的训练和测试步骤的用K-Means聚类方法获得含有20个特征图的卷积层(2)的权值矩阵步骤(1)中的(a)步骤为：从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取的400000图像块，m为含有20个特征图的卷积层(2)的滤波器的像素矩阵长。
本发明采用了引入激活函数、确定池化方法、确定滤波器以及确定卷积层个数的方法构建卷积神经网络结构，并采用了K-Means聚类方法获得含有20个特征图的卷积层的滤波器，改进了卷积神经网络训练步骤，有效地提高了卷积神经网络的分类性能。本发明与现有技术相比，具有结构确定构建方法简单、有效，降低了卷积神经网络构建的复杂度，采用本发明方法所构建的图像分类卷积神经网络结构，适用于门牌号码、手写数字、邮政编码等图像分类。
附图说明
图1是本发明实施例1的流程图。
图2是卷积神经网络初始结构的示意图。
图3是实施例1图像分类卷积神经网络结构的示意图。
具体实施方式
下面结合附图和实例对本发明进行进一步详细说明，但本发明不限于下述的实施例。
实施例1
本实施例的图像来自由Google从真实世界中的街景门牌图像中提取出的门牌号图像组成的SVHN(The Street View House Numbers Dataset)数据集，本实施例用到该数据集中的73257张图像作为训练集，26032张图像作测试集，且训练集与测试集不重叠。
在图1中，本实施例的图像分类卷积神经网络结构的构建方法由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，构建卷积神经网络结构的步骤如下：
(1)获得训练样本图像和测试样本图像并对其进行预处理
(a)从图像数据集中选取73257张训练样本图像和26032张测试样本图像。
(b)对73257张训练样本图像进行预处理
包括图像灰度化、图像减均值步骤：
图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：
I＝W1×R+W2×G+W3×B (1)
式中I为灰度化后的图像，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，W1为0.3是彩色图像的红色分量的权重，W2为0.59是彩色图像的绿色分量的权重，W3为0.11是彩色图像的蓝色分量的权重。
图像减均值：用(2)式对已被灰度化的训练样本图像进行减均值处理。
式中Z为减均值后的图像，vi为73257个图像中的第i个图像的像素矩阵，n为73257个图像。
(c)对26032张测试样本图像进行预处理
测试样本图像的预处理与对训练样本进行预处理步骤(b)相同。
(2)设定卷积神经网络初始结构
设定卷积神经网络初始结构：在图2中，输入层1是73257张大小为32×32的街景门牌号训练样本图像，输入层1后连接含有20个特征图的卷积层2，含有20个特征图的卷积层2后连接含有20个特征图的池化层3，含有20个特征图的池化层3后连接含有64个特征图的卷积层2，含有64个特征图的卷积层2后连接含有64个特征图的池化层3，含有64个特征图的池化层3后连接含有500个特征图的卷积层2，含有500个特征图的卷积层2后连接全连接层4，全连接层4后连接输出层5。
(3)引入激活函数
在每个卷积层2后引入ReLu激活函数为：
yi＝max{xi,0} (3)
式中xi为与前一层输出相连的第i个权值矩阵与当前层输入的内积，即卷积结果，yi为第i个特征图的输出，20≤i≤500。
(4)确定池化方法
卷积神经网络中的池化层3选用最大池化方法进行池化。
(5)确定滤波器
在3×3～9×9方阵之间、以图像宽度32为步长，在20～500内进行网格搜索，得到滤波器，为卷积层2的权值矩阵。本实施例中含有20个特征图的卷积层2选择滤波器大小为9×9，含有64个特征图的卷积层2选择滤波器大小为5×5，含有500个特征图的卷积层2选择滤波器大小为4×4。本实施例中确定的含有20个特征图的卷积层2滤波器个数为20，含有64个特征图的卷积层2滤波器个数为64，含有500个特征图的卷积层2滤波器个数为500。
(6)确定卷积层2个数
在含有20个特征图的池化层3后增加一层卷积层2，其滤波器大小和个数与含有20个特征图的卷积层2的滤波器大小和个数相同，通过式(4)得到该卷积层2特征图的大小，在含有64个特征图的池化层3后增加一层卷积层2，其滤波器大小和个数与含有64个特征图的卷积层2的滤波器大小和个数相同，通过式(4)得到该卷积层2特征图的大小，卷积层2个数为5层，选择使得卷积神经网络对所选26032张测试样本图像分类效果最好时的卷积层2个数，得到图像分类卷积神经网络结构：
o＝I*－m+1 (4)
式中I*为本层输入矩阵的长，m为滤波器的像素矩阵长，o为卷积层2特征图的像素矩阵长。所构建的图像分类卷积神经网络结构如图3所示。
本实施例的卷积神经网络的训练和测试步骤为：
(1)用K-Means聚类方法获得含有20个特征图的卷积层2的权值矩阵
(a)从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取400000个图像块，m为9是含有20个特征图的卷积层2的滤波器的像素矩阵长。
(b)用式(5)对步骤(a)中所选取的400000个图像块中的每一个图像块进行归一化处理：
式中x*为9×9矩阵大小的图像块，μ为400000个图像块的平均值，σ为400000个图像块的标准差，x表示经过归一化后的结果。
(c)以式(6)为目标函数，对上步得到的图像块进行10次K-Means聚类方法，取其中目标函数值最小的一次所得到的20个聚类中心，作为含有20个特征图的卷积层2的滤波器初始化值：
式中k为20是聚类个数，s表示图像块的类别数，xj为第i类别中的图像块，为第i类的样本均值，i为1～20的整数。
(2)将预处理后的73257张训练样本图像输入图像分类卷积神经网络结构，经过前向传播和反向传播两个步骤反复循环更新网络的权值矩阵，直至达到70次，训练过程结束，得到训练好的卷积神经网络。
(3)将预处理后的26032张测试样本图像输入到训练好的卷积神经网络进行测试，得到验证后的图像分类卷积神经网络结构。
实施例2
本实施例的图像来自由手写数字组成的MNIST数据集。本实施例用到该数据集中的60000张数字图像作训练集，10000张数字图像作测试集，且训练集与测试集不重叠。
本实施例的图像分类卷积神经网络结构的构建方法由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，构建卷积神经网络结构的步骤如下：
(1)获得训练样本图像和测试样本图像
(a)从图像数据集中选取60000张训练样本图像和10000张测试样本图像。
(b)对60000张训练样本图像进行预处理
进行预处理的步骤与实施例1相同。
(c)对10000张测试样本图像进行预处理
测试样本图像的预处理与对训练样本进行预处理步骤(b)相同。
(2)设定卷积神经网络初始结构
设定卷积神经网络初始结构：输入层1是60000张大小为28×28手写数字训练样本图像，输入层1后连接含有20个特征图的卷积层2，含有20个特征图的卷积层2后连接含有20个特征图的池化层3，含有20个特征图的池化层3后连接含有64个特征图的卷积层2，含有64个特征图的卷积层2后连接含有64个特征图的池化层3，含有64个特征图的池化层3后连接含有500个特征图的卷积层2，含有500个特征图的卷积层2后连接全连接层4，全连接层4后连接输出层5。
(3)引入激活函数
引入激活函数步骤与实施例1相同。
(4)确定池化方法
确定池化方法与实施例1相同。
(5)确定滤波器
在3×3～9×9方阵之间、以图像宽度28为步长，在20～500内进行网格搜索，得到滤波器，为卷积层2的权值矩阵。本实施例中含有20个特征图的卷积层2选择滤波器大小为9×9，含有64个特征图的卷积层2选择滤波器大小为3×3，含有500个特征图的卷积层2选择滤波器大小为4×4。本实施例中确定的含有20个特征图的卷积层2滤波器个数为20，含有64个特征图的卷积层2滤波器个数为64，含有500个特征图的卷积层2滤波器个数为500。
(6)确定卷积层2的个数
在含有20个特征图的池化层3后增加一层卷积层2，其滤波器大小和个数与含有20个特征图的卷积层2的滤波器大小和个数相同，通过式(1)得到该卷积层2特征图的大小，在含有64个特征图的池化层3后不增加一层卷积层2，卷积层2个数为4层，选择使得卷积神经网络对所选10000张测试样本图像分类效果最好时的卷积层2个数，得到图像分类卷积神经网络结构：
o＝I*－m+1 (1)
式中I*为本层输入矩阵的长，m为滤波器的像素矩阵长，o为卷积层2特征图的像素矩阵长。
本实施例的卷积神经网络的训练和测试步骤为：
(1)用K-Means聚类方法获得含有20个特征图的卷积层2的权值矩阵
获得含有20个特征图的卷积层2的权值矩阵的步骤与实施例1相同。
(2)将预处理后的60000张训练样本图像输入图像分类卷积神经网络结构，经过前向传播和反向传播两个步骤反复循环更新网络的权值矩阵，直至达到50次，训练过程结束，得到训练好的卷积神经网络。
(3)将预处理后的10000张测试样本图像输入到训练好的卷积神经网络进行测试，得到验证后的图像分类卷积神经网络结构。
实施例3
本实施例的图像来自由手势图像组成的ASL(American Sign Language,ASL)数据集。本实施例用到该数据集中的50400张手势图像作训练集，6000张手势图像作测试集，且训练集与测试集不重叠。
本实施例的图像分类卷积神经网络结构的构建方法由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，构建卷积神经网络结构的步骤如下：
(1)获得训练样本图像和测试样本图像并对其进行预处理
(a)从图像数据集中选取50400张训练样本图像和6000张测试样本图像。
(b)对50400张训练样本图像进行预处理
对训练样本图像进行预处理与实施例1相同。
(c)对6000张测试样本图像进行预处理
测试样本图像的预处理与对训练样本进行预处理步骤(b)相同。
(2)设定卷积神经网络初始结构
设定卷积神经网络初始结构：输入层1是50400张大小为32×32的手势训练样本图像，输入层1后连接含有20个特征图的卷积层2，含有20个特征图的卷积层2后连接含有20个特征图的池化层3，含有20个特征图的池化层3后连接含有64个特征图的卷积层2，含有64个特征图的卷积层2后连接含有64个特征图的池化层3，含有64个特征图的池化层3后连接含有500个特征图的卷积层2，含有500个特征图的卷积层2后连接全连接层4，全连接层4后连接输出层5。
(3)引入激活函数
引入激活函数步骤与实施例1相同。
(4)确定池化方法
确定池化方法与实施例1相同。
(5)确定滤波器
在3×3～9×9方阵之间、以图像宽度32为步长，在20～500内进行网格搜索，得到滤波器，为卷积层2的权值矩阵。本实施例中含有20个特征图的卷积层2选择滤波器大小为5×5，含有64个特征图的卷积层2选择滤波器大小为7×7，含有500个特征图的卷积层2选择滤波器大小为4×4。本实施例中确定的含有20个特征图的卷积层2滤波器个数为20，含有64个特征图的卷积层2滤波器个数为64，含有500个特征图的卷积层2滤波器个数为500。
(6)确定卷积层2个数
在含有20个特征图的池化层3后增加一层卷积层2，其滤波器大小和个数与含有20个特征图的卷积层2的滤波器大小和个数相同，通过式(1)得到该卷积层2特征图的大小，在含有64个特征图的池化层3后不增加一层卷积层2，卷积层2个数为4层，选择使得卷积神经网络对所有6000张测试样本图像分类效果最好时的卷积层2个数，得到图像分类卷积神经网络结构：
o＝I*－m+1 (1)
式中I*为本层输入矩阵的长，m为滤波器的像素矩阵长，o为卷积层2特征图的像素矩阵长。
本实施例的卷积神经网络的训练和测试步骤为：
(1)用K-Means聚类方法获得含有20个特征图的卷积层2的权值矩阵
(a)从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取400000个图像块，m为5是含有20个特征图的卷积层2的滤波器的像素矩阵长。
(b)用式(2)对步骤(a)中所选取的400000个图像块中的每一个图像块进行归一化处理：
式中x*为5×5矩阵大小的图像块，μ为400000个图像块的平均值，σ为400000个图像块的标准差，x表示经过归一化后的结果。
(c)以式(3)为目标函数，对上步得到的图像块进行10次K-Means聚类方法，取其中目标函数值最小的一次所得到的20个聚类中心，作为含有20个特征图的卷积层2的滤波器初始化值：
式中k为20是聚类个数，s表示图像块的类别数，xj为第i类别中的图像块，为第i类的样本均值，i为1～20的整数。
(2)将预处理后的50400张训练样本图像输入图像分类卷积神经网络结构，经过前向传播和反向传播两个步骤反复循环更新网络的权值矩阵，直至达到30次，训练过程结束，得到训练好的卷积神经网络。
(3)将预处理后的6000张测试样本图像输入到训练好的卷积神经网络进行测试，得到验证后的图像分类卷积神经网络结构。
实施例4
在以上的实施例1～3构建卷积神经网络结构的确定池化方法步骤(4)为：卷积神经网络中的池化层3选用均值池化方法进行池化，构建卷积神经网络结构的其他步骤与相应的实施例相同。其他步骤与相应的实施例相同。
实施例5
在以上的实施例1～3构建卷积神经网络结构的确定池化方法步骤(4)为：卷积神经网络中的池化层3选用随机池化方法进行池化，构建卷积神经网络结构的其他步骤与相应的实施例相同。其他步骤与相应的实施例相同。
Claims (3)
1.一种图像分类卷积神经网络结构的构建方法，由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，其特征在于所述的构建卷积神经网络结构步骤如下：
(1)获得训练样本图像和测试样本图像并对其进行预处理
(a)从图像数据集中选取50400～73257张训练样本图像和6000～26032张测试样本图像；
(b)对50400～73257张训练样本图像进行预处理
包括图像灰度化、图像减均值步骤：
图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：
I＝W1×R+W2×G+W3×B (1)
式中I为灰度化后的图像，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，W1为彩色图像的红色分量的权重，W2为彩色图像的绿色分量的权重，W3为彩色图像的蓝色分量的权重；
图像减均值：用(2)式对已被灰度化的训练样本图像进行减均值处理：
式中Z为减均值后的图像，vi为n个图像中的第i个图像的像素矩阵，n为50400～73257整数个图像；
(c)对6000～26032张测试样本图像进行预处理
测试样本图像的预处理与对训练样本进行预处理步骤(b)相同；
(2)设定卷积神经网络初始结构
设定卷积神经网络初始结构：输入层(1)是50400～73257张大小为28×28或32×32的训练样本图像，输入层(1)后连接含有20个特征图的卷积层(2)，含有20个特征图的卷积层(2)后连接含有20个特征图的池化层(3)，含有20个特征图的池化层(3)后连接含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后连接含有500个特征图的卷积层(2)，含有500个特征图的卷积层(2)后连接全连接层(4)，全连接层(4)后连接输出层(5)；
(3)引入激活函数
在每个卷积层(2)后引入ReLu激活函数为：
yi＝max{xi,0} (3)
式中xi为与前一层输出相连的第i个权值矩阵与当前层输入的内积，即卷积结果，yi为第i个特征图的输出，20≤i≤500；
(4)确定池化方法
卷积神经网络中的池化层(3)选用最大池化方法或均值池化方法或随机池化方法进行池化；
(5)确定滤波器
在3×3～9×9方阵之间、以图像宽度28或32为步长，在20～500内进行网格搜索，得到滤波器，为卷积层(2)的权值矩阵，滤波器的大小在3×3～9×9方阵之间，个数在20～500之间；
(6)确定卷积层(2)个数
在含有20个特征图的池化层(3)后增加一层卷积层(2)，其滤波器大小和个数与含有20个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，在含有64个特征图的池化层(3)后增加或不增加一层卷积层(2)，若增加一层卷积层，其滤波器大小和个数与含有64个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，卷积层(2)个数为3～5层，选择使得卷积神经网络对所选测试样本图像6000～26032张分类效果最好时的卷积层(2)个数，得到图像分类卷积神经网络结构：
o＝I*－m+1 (4)
式中I*为本层输入矩阵的长，m为滤波器的像素矩阵长，o为卷积层(2)特征图的像素矩阵长；
所述的卷积神经网络的训练和测试步骤为：
(1)用K-Means聚类方法获得含有20个特征图的卷积层(2)的权值矩阵
(a)从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取图像块有限的正整数，m为含有20个特征图的卷积层(2)的滤波器的像素矩阵长，m为3～9；
(b)用式(5)对步骤(a)中所选取的N个图像块中的每一个图像块进行归一化处理：
式中x*为m×m矩阵大小的图像块，μ为N个图像块的平均值，σ为N个图像块的标准差，x表示经过归一化后的结果；
(c)以式(6)为目标函数，对上步得到的图像块进行10次K-Means聚类方法，取其中目标函数值最小的一次所得到的20个聚类中心，作为含有20个特征图的卷积层(2)的滤波器初始化值：
式中k为20是聚类个数，s表示图像块的类别数，xj为第i类别中的图像块，为第i类的样本均值，i为1～20的整数；
(2)将预处理后的50400～73257张训练样本图像输入图像分类卷积神经网络结构，经过前向传播和反向传播两个步骤反复循环更新网络的权值矩阵，直至达到30～70次数，训练过程结束，得到训练好的卷积神经网络；
(3)将预处理后的6000～26032张测试样本图像输入到训练好的卷积神经网络进行测试，得到验证后的图像分类卷积神经网络结构。
2.根据权利要求1所述的图像分类卷积神经网络结构的构建方法，其特征在于：所述的构建卷积神经网络结构步骤的确定滤波器步骤(5)中，滤波器的大小分别为9×9、5×5、4×4，以图像宽度32为步长，滤波器的个数分别为20、64、500，得到滤波器，为卷积层(2)的权值矩阵。
3.根据权利要求1所述的图像分类卷积神经网络结构的构建方法，其特征在于所述的卷积神经网络的训练和测试步骤的用K-Means聚类方法获得含有20个特征图的卷积层(2)的权值矩阵步骤(1)中的(a)步骤为：从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取的400000图像块，m为含有20个特征图的卷积层(2)的滤波器的像素矩阵长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710106457.4A CN106874956B (zh) | 2017-02-27 | 2017-02-27 | 图像分类卷积神经网络结构的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710106457.4A CN106874956B (zh) | 2017-02-27 | 2017-02-27 | 图像分类卷积神经网络结构的构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106874956A CN106874956A (zh) | 2017-06-20 |
| CN106874956B true CN106874956B (zh) | 2018-10-23 |
Family
ID=59167846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710106457.4A Expired - Fee Related CN106874956B (zh) | 2017-02-27 | 2017-02-27 | 图像分类卷积神经网络结构的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106874956B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960415B (zh) * | 2017-05-23 | 2021-04-20 | 上海寒武纪信息科技有限公司 | 处理装置和处理系统 |
| CN107491736A (zh) * | 2017-07-20 | 2017-12-19 | 重庆邮电大学 | 一种基于卷积神经网络的路面附着系数辨识方法 |
| CN107463899B (zh) * | 2017-08-03 | 2019-01-29 | 北京金风科创风电设备有限公司 | 识别风力发电机部件的边缘的方法及装置 |
| CN107463962B (zh) * | 2017-08-08 | 2020-06-02 | 张天君 | 一种显微人工智能鉴定皮包的方法和系统 |
| US10095977B1 (en) * | 2017-10-04 | 2018-10-09 | StradVision, Inc. | Learning method and learning device for improving image segmentation and testing method and testing device using the same |
| CN107679619B (zh) * | 2017-10-13 | 2020-04-24 | 中国人民解放军信息工程大学 | 一种类卷积人工神经网络的构造方法及装置 |
| CN108416774A (zh) * | 2018-03-08 | 2018-08-17 | 中山大学 | 一种基于细粒度神经网络的织物种类识别方法 |
| CN108564606B (zh) * | 2018-03-30 | 2022-06-24 | 西安电子科技大学 | 基于图像转换的异源图像块匹配方法 |
| CN109001557A (zh) * | 2018-06-11 | 2018-12-14 | 西北工业大学 | 一种基于随机卷积神经网络的飞机机电系统故障识别方法 |
| CN108985252B (zh) * | 2018-07-27 | 2022-05-27 | 陕西师范大学 | 改进的脉冲深度神经网络的图像分类方法 |
| CN109272107A (zh) * | 2018-08-10 | 2019-01-25 | 广东工业大学 | 一种改进深层卷积神经网络的参数个数的方法 |
| CN108898191A (zh) * | 2018-09-26 | 2018-11-27 | 苏州米特希赛尔人工智能有限公司 | 卷积神经网络特征提取图像传感器 |
| CN109614856A (zh) * | 2018-10-31 | 2019-04-12 | 西安理工大学 | 基于卷积神经网络的真菌图像分类方法 |
| CN109615073B (zh) * | 2018-12-03 | 2021-06-04 | 郑州云海信息技术有限公司 | 一种神经网络模型的构建方法、设备以及存储介质 |
| CN109840552B (zh) * | 2019-01-14 | 2020-04-10 | 湖北工业大学 | 一种动态图像分类方法 |
| CN110009048B (zh) * | 2019-04-10 | 2021-08-24 | 苏州浪潮智能科技有限公司 | 一种神经网络模型的构建方法以及设备 |
| CN110119815B (zh) * | 2019-05-21 | 2021-08-13 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、存储介质及设备 |
| CN111242268A (zh) * | 2019-09-05 | 2020-06-05 | 中国科学院计算技术研究所 | 一种搜索卷积神经网络的方法 |
| CN110929652B (zh) * | 2019-11-26 | 2023-08-01 | 天津大学 | 基于LeNet-5网络模型的手写体中文字符识别方法 |
| CN111680711A (zh) * | 2020-04-08 | 2020-09-18 | 上海吴塘科技有限公司 | 基于卷积神经网络的Logo图像分类方法 |
| CN112329681A (zh) * | 2020-11-13 | 2021-02-05 | 北京思比科微电子技术股份有限公司 | 一种应用于指纹识别的滤波方法 |
| CN113743654A (zh) * | 2021-08-11 | 2021-12-03 | 青岛港国际股份有限公司 | 自动化码头闸口车流量预警方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046272B (zh) * | 2015-06-29 | 2018-06-19 | 电子科技大学 | 一种基于简洁非监督式卷积网络的图像分类方法 |
| CN105975931B (zh) * | 2016-05-04 | 2019-06-14 | 浙江大学 | 一种基于多尺度池化的卷积神经网络人脸识别方法 |
-
2017
- 2017-02-27 CN CN201710106457.4A patent/CN106874956B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN106874956A (zh) | 2017-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106874956B (zh) | 图像分类卷积神经网络结构的构建方法 | |
| CN105046277B (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
| CN107909101B (zh) | 基于卷积神经网络的半监督迁移学习字符识别方法及系统 | |
| CN107633255B (zh) | 一种深度学习模式下的岩石岩性自动识别分类方法 | |
| CN105205448B (zh) | 基于深度学习的文字识别模型训练方法和识别方法 | |
| CN110472627A (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| CN107451616A (zh) | 基于深度半监督迁移学习的多光谱遥感图像地物分类方法 | |
| CN110097103A (zh) | 基于生成对抗网络的半监督图像分类方法 | |
| CN108537271A (zh) | 一种基于卷积去噪自编码机防御对抗样本攻击的方法 | |
| CN107169435A (zh) | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 | |
| CN107480726A (zh) | 一种基于全卷积和长短期记忆单元的场景语义分割方法 | |
| CN107341518A (zh) | 一种基于卷积神经网络的图像分类方法 | |
| CN109726751A (zh) | 基于深度卷积神经网络识别脑电成像图的方法 | |
| CN107016406A (zh) | 基于生成式对抗网络的病虫害图像生成方法 | |
| CN110210486A (zh) | 一种基于素描标注信息的生成对抗迁移学习方法 | |
| CN106023220A (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN107016405A (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN106372581A (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| CN109102014A (zh) | 基于深度卷积神经网络的类别不平衡的图像分类方法 | |
| CN108090447A (zh) | 双分支深层结构下的高光谱图像分类方法及装置 | |
| CN107679462A (zh) | 一种基于小波的深度多特征融合分类方法 | |
| CN109190643A (zh) | 基于卷积神经网络中药识别方法及电子设备 | |
| CN107609575A (zh) | 书法评价方法、书法评价装置和电子设备 | |
| CN109741341A (zh) | 一种基于超像素和长短时记忆网络的图像分割方法 | |
| CN107909008A (zh) | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181023 |