CN105528638B - 灰色关联分析法确定卷积神经网络隐层特征图个数的方法 - Google Patents
灰色关联分析法确定卷积神经网络隐层特征图个数的方法 Download PDFInfo
- Publication number
- CN105528638B CN105528638B CN201610045337.3A CN201610045337A CN105528638B CN 105528638 B CN105528638 B CN 105528638B CN 201610045337 A CN201610045337 A CN 201610045337A CN 105528638 B CN105528638 B CN 105528638B
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- mrow
- layer
- msub
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种灰色关联分析法确定卷积神经网络隐层特征图个数的方法，以交通标志的二值图像作为图像数据库，使用卷积神经网络的方法对其进行识别，在网络训练过程中引入灰色关联分析法以自动选择对识别结果影响更大的隐藏层特征图从而优化网络结构，并以交通标志为对象进行识别和对CNN网络结构优化。实验表明使用此方法能够自适应确定特征图个数，完成对CNN网络结构的优化，与实验法相比，提高确定网络的效率。
Description
技术领域：
本发明涉及卷积神经网络网络结构中隐层特征图个数确定的方法，特别是涉及一种确定卷积神经网络网络结构中隐层特征图个数的灰色关联分析法。
背景技术：
卷积神经网络是人工神经网络的一种，是基于多层监督学习网络的新型神经网络，已成为语音分析和图像识别领域上的热点。由于它的权值共享特点，降低了网络模型的复杂度，减少了权值的数量。并且卷积神经网络通过将特征提取功能融合进分类器中，省略识别前复杂的特征提取过程，因而被广泛应用于图像识别、物体检测与识别和目标跟踪等。
目前，已有研究人员将CNN用于交通标志识别，并且取得了良好的效果，。但是，关于CNN网络结构参数设定的论述较少，尤其是对网络结构中隐层特征图个数的设计研究较少。本发明面向交通标志识别使用CNN的方法，同时，为了提高识别率和识别效率，需要对CNN网络结构中的参数进行优化，这其中隐层特征图个数对结果影响最大，如何确定隐层特征图个数是目前亟待解决的问题。
本发明在网络训练过程中基于灰色关联分析法自动选择对识别结果影响更大的隐藏层特征图，并以交通标志为对象进行识别及算法优化研究。
发明内容：
发明目的：
本发明涉及一种确定卷积神经网络网络结构中隐层特征图个数的灰色关联分析法，其目的是通过确定网络中隐层特征图个数从而设计出最优的卷积神经网络网络结构。通过对交通标志数据库进行实验并验证算法的可行性，最终实现对卷积神经网络网络结构的优化，提高确定网络结构的效率。
技术方案：
本发明是通过以下技术方案来实现的：
一种灰色关联分析法确定卷积神经网络隐层特征图个数的方法，步骤如下：
(1)设定卷积神经网络的网络结构层数及其他相关参数：
1)卷积核大小和网络结构层数设定：卷积核算子是卷积时使用到的权值，可以用一个矩阵M×N表示，该矩阵与使用的图像区域大小相同，大部分在使用时是对称的，如M＝N，其行、列都是奇数，一般N＝3、5、7。
网络结构层数是除输入层和输出层之外的卷积层数和子采样层数的总和。神经网络的层数在一定范围内增加，能有效提高识别率，但层数过多，不仅网络结构复杂，同时会使识别率降低。结合输出特征图简单有代表性的特点，由训练样本的尺寸和卷积核的大小可决定网络结构层数。
2)权值初始化：权值初始化是卷积核神经元和最后两层之间的权值矩阵的初始化。权值初始化对训练速度、输出精度是有影响的，初始值范围太大会导致无法训练，所以权值初始值是在[-1,1]之间随机取值，在后面的反向传播过程中进行优化，直到达到最优解。
3)批量样本数的设定：为了减少训练次数，提高实验效率，可以采用分组的方式进行训练，批量样本数是每组中所含图像的个数。
在总实验样本一定的条件下，批量样本数的个数越少，则训练批次越多，实验识别率越高，相应时间越长；批量样本数的个数越多，则训练批次越少，实验识别率越低，相应时间越短。结合识别率和识别效率来选择批量样本数。
4)迭代次数的设定：迭代次数是对整体训练图像样本的训练次数。训练的结束取决于迭代次数的多少。
迭代次数越少，识别率越低，相应需要的时间越短；迭代次数越多，识别率越高，相应需要的时间越长，根据实验，当错误率曲线进入收敛区时，选择刚进入收敛区的迭代次数作为未来实验的实验标准。
5)隐层特征图个数：是隐层中卷积层和子采样层中包含的特征图个数。设置合适的隐层特征图个数比选择合适的网络层数更适合提高效率，其训练过程更容易调整和改进。
(2)训练卷积神经网络：
1)正向传播：输入样本从输入层传入，经卷积核滤波器、Sigmoid函数和可加偏置后产生C1层特征映射图，该特征映射图中每组四个像素取平均值得到S2层特征映射图，这些特征映射图再经过一次卷积和子采样得到C3层和S4层，最终将S4层的像素以全连接的方式传向输出层。若输出层的实际输出与期望的输出(标签)不符，则将得到的误差转入反向传播阶段。
2)反向传播：将输出误差通过反向隐藏层向输入层反向传播得到每层的误差，利用每层误差和实际输出得到权值和偏置变化量，即该误差信号作为修改各单元权值的依据。
3)权值更新：利用误差反向传播所得到的权值和偏置变化量求得新的权值和偏置，重新回到正向传播，再次得到输出，与期望输出相减再次得到误差，循环往复直到网络达到一定精度或规定的训练时间为止。
(3)灰色关联分析法优化卷积神经网络隐层特征图个数：
假设卷积神经网络除去输入层和输出层共有n层网络结构(C1，S2，C3，S4……Cn-1，Sn)，子采样层的特征图个数与上一卷积层的特征图个数相等，所以想要确定隐层特征图个数只需要确定卷积层特征图个数(或者子采样特征图个数)。
(4)利用最优的网络结构训练卷积神经网络，并对灰色关联分析法进行鲁棒性测试。
步骤(3)中特征图个数的确定步骤如下：
求Sn层与整个网络输出之间关联度排序：
1)求关联系数
首先利用灰色关联分析法计算出Sn层每个特征图的输出与整个网络输出之间的关联系数；
设共有N个输入图像样本，整个网络的输出y＝(y1,y2,…,yN)为参考序列，每个特征图的输出ti＝(ti(1),ti(2),…,ti(N))(i＝1,2,…,nn)为比较序列，参考序列与比较序列之间的关联系数公式如下：
其中ρ为分辨系数，一般在0～1之间，通常取0.5。
2)关联度计算
由于关联系数是比较序列和参考序列在不同样本下的关联程度值，所以共有N个，为了便于观察比较，将所有样本的关联系数集中为一个值，即关联度。可以通过求平均值的方式计算。关联度公式如下：
若输出为多个神经元时，要取得上一层特征图对输出每个神经元影响最大的特征图，所以要求出上一层特征图对输出每个神经元关联度的均值。
3)关联度排序
对上一步取得的关联度从大到小排序，即得到灰关联度排序，而关联度排在尾部的特征图对网络输出影响较小，可以认为该特征图是可以忽略的，此时给定一个ε，此处的阈值自定义，将不满足阈值的特征图删除再进行实验，直到后续实验的全部关联度满足阈值则停止实验，范围在0～1之间。以此方法达到优化网络隐层特征图数、提高网络性能的效果。
求Sn-1层与Cn层之间之间关联度排序：
1)求关联系数
计算Sn-1层与Cn层之间的关联系数，首先将Sn-1层与Cn层特征图矩阵和它们之间的权值矩阵提取出来，做成数据库。Cn层的特征图矩阵y＝(y1,y2,…,yN)为参考序列，Sn-1层特征图矩阵经过权值矩阵的输出ti＝(ti(1),ti(2),…,ti(N))(i＝1,2,…,nn)为比较序列，它们之间的关联系数利用公式(1)计算得出Sn-1层与Cn层之间的关联系数。
2)关联度计算
将上述关联系数通过求平均值的方式计算出关联度。关联度如公式(2)计算可得。
若Cn层为多个神经元时，要取得上一层特征图对输出每个神经元影响最大的特征图，所以要求出上一层特征图对输出每个神经元关联度的均值。
3)关联度排序
对上一步取得的关联度从大到小排序，即得到灰关联度排序，而关联度排在尾部的特征图对网络输出影响较小，可以认为该特征图是可以忽略的，此时给定一个ε，小于ε的特征图即可省略。以此方法达到优化网络隐层特征图数、提高网络性能的效果。
以此类推，求出前面几层的特征图个数，直到网络达到最优。
优点及效果：
本发明为解决卷积神经网络网络结构中隐层特征图个数设定的难题，提出了一种灰色关联分析法，本发明以交通标志的二值图像作为实验对象，使用卷积神经网络对交通标志进行识别，利用灰色关联分析法，计算出每层特征图之间的关联度，根据关联度排序，关联性较小的，在网络中影响偏小，可以考虑将其删除，另外关联性较大的，在网络中影响偏大，将其保留，从而确定网络结构中隐层特征图个数。在识别过程中引入灰色关联分析法以自动选择对识别结果影响更大的隐藏层特征图从而优化网络结构，所以使用本方法所确定的特征图中每个特征图对输出结果影响都很大，相比实验设定特征图个数提高了效率。
附表说明：
表1为S4层隐层特征图个数第一次调整时的相关关联度。
表2为S4层隐层特征图个数第二次调整时的相关关联度。
表3为S2层隐层特征图个数第一次调整时的相关关联度。
表4为S2层隐层特征图个数第二次调整时的相关关联度。
表5为六组初始结构优化表。
附图说明：
图1-图4为卷积层特征图(交通标志)的实验结果示意图。
图1为在第一层卷积层特征图个数1到3时第二层卷积层特征图个数对结果的影响示意图。其中，x1为在第一层卷积层特征图个数为1时第二层卷积层特征图个数1到20时错误率曲线。x2为在第一层卷积层特征图个数为2时第二层卷积层特征图个数1到20时错误率曲线。x3为在第一层卷积层特征图个数为3时第二层卷积层特征图个数1到20时错误率曲线。
图2为在第一层卷积层特征图个数4到6时第二层卷积层特征图个数对结果的影响。其中，x4为在第一层卷积层特征图个数为4时第二层卷积层特征图个数1到20时错误率曲线。x5为在第一层卷积层特征图个数为5时第二层卷积层特征图个数1到20时错误率曲线。x6为在第一层卷积层特征图个数为6时第二层卷积层特征图个数1到20时错误率曲线。
图3为在第一层卷积层特征图个数7到8时第二层卷积层特征图个数对结果的影响。其中，x7为在第一层卷积层特征图个数为7时第二层卷积层特征图个数1到20时错误率曲线。x8为在第一层卷积层特征图个数为8时第二层卷积层特征图个数1到20时错误率曲线。
图4为在第一层卷积层特征图个数9到10时第二层卷积层特征图个数对结果的影响。其中，x9为在第一层卷积层特征图个数为9时第二层卷积层特征图个数1到20时错误率曲线。x10为在第一层卷积层特征图个数为10时第二层卷积层特征图个数1到20时错误率曲线。
具体实施方式：
下面结合具体的实施方式对本发明做进一步的说明：
交通标志数据库采用的是由德国神经计算研究所收集的，挑选其中主要的10类标志图像，训练图像5000张，测试图像1000张。
本发明涉及一种利用灰色关联分析法确定卷积神经网络隐层特征图个数的方法，其目的是通过确定网络中隐层特征图个数从而设计出一个最优结构的卷积神经网络。通过对交通标志图像库进行实验，证明该方法的可行性。确定后的网络与其他网络相比识别率高，与其他方法相比有确定时间快的特点，最终实现使用卷积神经网络对交通标志的有效识别。
一种利用灰色关联分析法确定卷积神经网络隐层特征图个数的方法，其特征在于：CNN网络中，上一层特征图存在与下一层特征图关联性较小的样本数据，导致系统识别率差。灰色关联分析法具有挖掘数据之间内部关系的特点，能够很好的提取这些关联性较小的数据。在识别过程中引入灰色关联分析法选出对识别结果影响更大的隐藏层特征图从而优化网络结构，所以使用本方法所确定的特征图中每个特征图对输出结果影响都很大，相比实验设定特征图个数提高了效率。
本发明在网络训练过程中基于灰色关联分析法自动选择对识别结果影响更大的隐藏层特征图，并以交通标志为对象进行识别及算法优化研究，提高了设定网络结构的效率，仿真结果表示该方法有效。
具体实施方法如下：建立标准交通标志图像库；将彩色图像灰度化，并将图像做直方图均衡化处理和像素统一大小；将灰度图像二值化，建立交通标志二值图像库；设定卷积神经网络的网络结构层数及其他相关参数；训练卷积神经网络；灰色关联分析法优化卷积神经网络隐层特征图个数；利用最优的网络结构训练卷积神经网络，并对灰色关联分析法进行鲁棒性测试。
利用灰色关联分析法确定卷积神经网络隐层特征图个数的方法，实现步骤如下：
(1)建立交通标志图像数据库：本发明方法针对交通标志进行识别，采用的是由德国神经计算研究所收集的，选用其中图片较多的10种，主要分为以下几步：
1)下载标准德国交通标志的彩色图像，建立相应的彩色图像数据库；
2)利用公式gray＝0.299R+0.587G+0.114B对交通标志图像进行灰度计算，建立相应的灰度图像数据库，并对灰度图像数据库做像素统一大小处理和直方图均衡化处理；
3)对灰度图像进行二值化，建立交通标志数据库；
(2)设定卷积神经网络的网络结构层数及其他相关参数：
1)卷积核大小和网络结构层数设定：卷积核算子是卷积时使用到的权值，可以用一个矩阵M×N表示，该矩阵与使用的图像区域大小相同，大部分在使用时是对称的，如M＝N，其行、列都是奇数，一般N＝3、5、7。
网络结构层数是除输入层和输出层之外的卷积层数和子采样层数的总和。神经网络的层数在一定范围内增加，能有效提高识别率，但层数过多，不仅网络结构复杂，同时会使识别率降低。结合输出特征图简单有代表性的特点，由训练样本的尺寸和卷积核的大小可决定网络结构层数。
2)权值初始化：权值初始化是卷积核神经元和最后两层之间的权值矩阵的初始化。权值初始化对训练速度、输出精度是有影响的，初始值范围太大会导致无法训练，所以权值初始值是在[-1,1]之间随机取值，在后面的反向传播过程中进行优化，直到达到最优解。
3)批量样本数的设定：为了减少训练次数，提高实验效率，可以采用分组的方式进行训练，批量样本数是每组中所含图像的个数。
在总实验样本一定的条件下，批量样本数的个数越少，则训练批次越多，实验识别率越高，相应时间越长；批量样本数的个数越多，则训练批次越少，实验识别率越低，相应时间越短。结合识别率识别效率来选择批量样本数。
4)迭代次数的设定：迭代次数是对整体训练图像样本的训练次数。训练的结束取决于迭代次数的多少。
迭代次数越少，识别率越低，相应需要的时间越短；迭代次数越多，识别率越高，相应需要的时间越长，根据实验，当错误率曲线进入收敛区时，选择刚进入收敛区的迭代次数作为未来实验的实验标准。
5)隐层特征图个数：是隐层中卷积层和子采样层中包含的特征图个数。设置合适的隐层特征图个数比选择合适的网络层数更适合提高效率，其训练过程更容易调整和改进。
(3)训练卷积神经网络：
1)正向传播：输入样本从输入层传入，经卷积核滤波器、Sigmoid函数和可加偏置后产生C1层特征映射图，该特征映射图中每组四个像素取平均值得到S2层特征映射图，这些特征映射图再经过一次卷积和子采样得到C3层和S4层，最终将S4层的像素以全连接的方式传向输出层。若输出层的实际输出与期望的输出(标签)不符，则将得到的误差转入反向传播阶段。
2)反向传播：将输出误差通过反向隐藏层向输入层反向传播得到每层的误差，利用每层误差和实际输出得到权值和偏置变化量，即该误差信号作为修改各单元权值的依据。
3)权值更新：利用误差反向传播所得到的权值和偏置变化量求得新的权值和偏置，重新回到正向传播，再次得到输出，与期望输出相减再次得到误差，循环往复直到网络达到一定精度或规定的训练时间为止。
(4)灰色关联分析法优化卷积神经网络隐层特征图个数：
假设卷积神经网络除去输入层和输出层共有n层网络结构(C1，S2，C3，S4……Cn-1，Sn)，子采样层的特征图个数与上一卷积层的特征图个数相等，所以想要确定隐层特征图个数只需要确定卷积层特征图个数(或者子采样特征图个数)即可，以下以确定Sn层和Sn-1特征图个数为例。
(5)利用最优的网络结构训练卷积神经网络，并对灰色关联分析法进行鲁棒性测试。将交通标志数据库分为训练数据库和测试数据库。先用训练数据库对程序做仿真训练，经过周而复始地正向传播，误差反向传播和权值更新过程直到得到最优的权值，得到代表训练数据库的输出；再用测试数据库做测试，经过前向传播过程得到最终输出，输出最大值即可确定类别。在交通标志数据库中，使用灰色关联分析法确定后的网络结构进行训练，错误率为5.3％。
步骤(4)中特征图个数的确定步骤如下：
求Sn层与整个网络输出之间关联度排序：
1)求关联系数
首先利用灰色关联分析法计算出Sn层每个特征图的输出与整个网络输出之间的关联系数；
设共有N个输入图像样本，整个网络的输出y＝(y1,y2,…,yN)为参考序列，每个特征图的输出ti＝(ti(1),ti(2),…,ti(N))(i＝1,2,…,nn)为比较序列，参考序列与比较序列之间的关联系数公式如下：
其中ρ为分辨系数，一般在0～1之间，通常取0.5；
2)关联度计算
由于关联系数是比较序列和参考序列在不同样本下的关联程度值，所以共有N个，为了便于观察比较，将所有样本的关联系数集中为一个值，即关联度。可以通过求平均值的方式计算。关联度公式如下：
若输出为多个神经元时，要取得上一层特征图对输出每个神经元影响最大的特征图，所以要求出上一层特征图对输出每个神经元关联度的均值；
3)关联度排序
对上一步取得的关联度从大到小排序，即得到灰关联度排序，而关联度排在尾部的特征图对网络输出影响较小，可以认为该特征图是可以忽略的，此时给定一个ε，此处的阈值自定义，将不满足阈值的特征图删除再进行实验，直到后续实验的全部关联度满足阈值则停止实验，范围在0～1之间。以此方法达到优化网络隐层特征图数、提高网络性能的效果。
求Sn-1层与Cn层之间之间关联度排序：
1)求关联系数
计算Sn-1层与Cn层之间的关联系数，首先将Sn-1层与Cn层特征图矩阵和它们之间的权值矩阵提取出来，做成数据库。Cn层的特征图矩阵y＝(y1,y2,…,yN)为参考序列，Sn-1层特征图矩阵经过权值矩阵的输出ti＝(ti(1),ti(2),…,ti(N))(i＝1,2,…,nn)为比较序列，它们之间的关联系数利用公式(1)计算得出Sn-1层与Cn层之间的关联系数。
2)关联度计算
将上述关联系数通过求平均值的方式计算出关联度。关联度如公式(2)计算可得。
若Cn层为多个神经元时，要取得上一层特征图对输出每个神经元影响最大的特征图，所以要求出上一层特征图对输出每个神经元关联度的均值；
3)关联度排序
对上一步取得的关联度从大到小排序，即得到灰关联度排序，而关联度排在尾部的特征图对网络输出影响较小，可以认为该特征图是可以忽略的，此时给定一个ε，小于ε的特征图即可省略。以此方法达到优化网络隐层特征图数、提高网络性能的效果。
以此类推，求出前面几层的特征图个数，直到网络达到最优。
下面通过具体的实施例，对本发明的技术方案作进一步具体的说明。
实施例：参照文件1～文件3、表1～表5，一种利用灰色关联分析法确定卷积神经网络隐层特征图个数的方法，步骤如下：
(1)下载标准德国神经计算研究所收集的交通标志图像，选择图像较多的10类，如文件1所示。
(2)将文件1的彩色图像转化为灰度图像，将交通标志图像做直方图均衡化处理，归一化为28*28大小，建立交通标志的灰度图像数据库，如文件2所示。
(3)然后将所有图像二值化，建立交通标志的二值图像库，如文件3所示。
(4)设定卷积神经网络的网络结构层数及其他相关参数：卷积核大小为5*5；卷积神经网络层数共6层(一个输入层，两个卷积层，两个子采样层，一个输出层)；批量样本数设定为40；迭代次数设定为50。
(5)训练卷积神经网络，作为灰色关联分析法的输入数据库。
(6)灰色关联分析法优化卷积神经网络隐层特征图个数：
设卷积神经网络的初始结构：输入层含有一个图像，由于子采样层的特征图数与卷积层相同，所以C1、S2层含有n1个特征图(设n1＝10)，C3、S4层含有n2个特征图(设n2＝30)，输出层的结点数为10，因此网络的初始结构为1-10-30-10。
1)S4层与输出之间关联度计算
计算关联度时选取的分辨系数ρ＝0.5，初始结构为1-10-30-10。首先用设好初始结构的CNN训练测试数据库，训练结束后把最后一组批量样本训练得出的数据置成数据库。通过上述基本步骤得到第一次C3、S4层关联度排序，如表1所示。
表1 C3、S4层第一次关联度排序
设阈值ε＝0.514，此处的阈值可自定义，将不满足阈值的特征图删除再进行实验，直到后续实验的全部关联度满足阈值则停止实验。由表1可知关联度排序前18个特征图满足阈值，后12个特征图不满足阈值，则C3、S4层特征图个数减少12个。调整之后第二次C3、S4层关联度排序如表2所示。
表2 C3、S4层第二次关联度排序
表中所有关联度大于阈值，说明特征图个数为18时，每个特征图对结果影响较大。经过调整之后得到的结构1-10-18-10。
S4层特征图个数的调整使该层中每个特征图与输出之间的关联度较高，网络结构得到优化。
2)S2层与C3层之间关联度计算
关联度计算时，选取的分辨系数ρ＝0.5，初始结构为1-10-18-10。首先用设定初始结构的CNN训练测试数据库，结束后使用最后一组批量样本训练得出的数据，置成数据库。通过上述基本步骤得到第一次C1、S2层关联度排序如表3所示。
表3 C1、S2层第一次关联度排序
阈值ε＝0.63，由表3可知关联度排序前8个特征图满足阈值，后2个特征图不满足阈值，则C1、S2层特征图个数减少2个。调整后第二次C1、S2关联度排序如表4所示。
表4 C1、S2层第二次关联度排序
表中所有关联度大于阈值，说明特征图个数为8时，每个特征图对结果影响较大。经过调整之后得到的结构为1-8-18-10。
S2层特征图个数的调整使该层中每个特征图与C3层特征图之间的整体关联度较高。完成全部调整后网络结构得到优化，识别精度得到提高。下节将通过实验验证不同结构对识别错误率的影响。
(7)利用最优的网络结构训练卷积神经网络，并对灰色关联分析法进行鲁棒性测试。
由图1-4所示的曲线可以看出在取隐层特征图个数时没有全局最优值，只存在局部最优值，将曲线中局部最优总结下来共有若干个排列组合符合要求，分别为[(4,13)，(5,18)，(6,15)，(7,7)，(7,11)，(7,16)，(7,18)，(7,20)，(8,18)，(9,16)，(9,19)，(10,13)，(7,17)，(10,19)等]。
在本鲁棒性测试过程中随机选取了共六组初始结构进行实验，分别是1-10-30-10、1-15-30-10、1-20-30-10、1-10-40-10、1-15-40-10和1-20-40-10。优化后的结构如表5所示。
表5六组初始结构优化表
综合分析，这六组实验最后所得结构组合符合局部最优排列组合范围内，所以灰色关联分析法能有效用于卷积神经网络网络结构优化中。
Claims (2)
1.灰色关联分析法确定卷积神经网络隐层特征图个数的方法，其特征在于：该方法步骤如下：
(1)设定卷积神经网络的网络结构层数及卷积核大小、权值初始化、批量样本数、迭代次数：
1)卷积核大小和网络结构层数设定：卷积核算子是卷积时使用到的权值，用一个矩阵M×N表示，该矩阵与使用的图像区域大小相同，卷积核在使用时是对称的，即M＝N，其行、列都是奇数；
网络结构层数是除输入层和输出层之外的卷积层数和子采样层数的总和，由训练样本的尺寸和卷积核的大小决定；
2)权值初始化：权值初始化是卷积核神经元和最后两层之间的权值矩阵的初始化，权值初始值是在[-1,1]之间随机取值，在后面的反向传播过程中进行优化，直到达到最优解；
3)批量样本数的设定：采用分组的方式进行训练，批量样本数是每组中所含图像的个数；
4)迭代次数的设定：迭代次数是对整体训练图像样本的训练次数，训练的结束取决于迭代次数的多少；当错误率曲线进入收敛区时，选择刚进入收敛区的迭代次数作为未来实验的实验标准；
(2)训练卷积神经网络：
1)正向传播：输入样本从输入层传入，经卷积核滤波器、Sigmoid函数和可加偏置后产生C1层特征映射图，该特征映射图中每组四个像素取平均值得到S2层特征映射图，这些特征映射图再经过一次卷积和子采样得到C3层和S4层，最终将S4层的像素以全连接的方式传向输出层；若输出层的实际输出与期望的输出不符，则将得到的误差转入反向传播阶段；
2)反向传播：将输出误差以某种形式通过反向隐藏层向输入层反向传播得到每层的误差，利用每层误差和实际输出得到权值和偏置变化量，即该误差信号作为修改各单元权值的依据；
3)权值更新：利用误差反向传播所得到的权值和偏置变化量求得新的权值和偏置，重新回到正向传播，再次得到输出，与期望输出相减再次得到误差，循环往复直到网络达到一定精度或规定的训练时间为止；
(3)灰色关联分析法优化卷积神经网络隐层特征图个数：
卷积神经网络除去输入层和输出层共有n层网络结构(C1，S2，C3，S4……Cn-1，Sn)，子采样层的特征图个数与上一卷积层的特征图个数相等，所以想要确定隐层特征图个数只需要确定卷积层特征图个数或者子采样特征图个数；
(4)利用最优的网络结构训练卷积神经网络，并对灰色关联分析法进行鲁棒性测试；
步骤(3)中特征图个数的确定步骤如下：
1)求关联系数；
首先利用灰色关联分析法计算出Sn层每个特征图的输出与整个网络输出之间的关联系数；
设有N个样本，整个网络的输出y＝(y1,y2,…,yN)为参考序列，每个特征图的输出ti＝(ti(1),ti(2),…,ti(N))(i＝1,2,…,nn)为比较序列，之间的关联系数公式如下：
<mrow>
<msub>
<mi>&xi;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mi>min</mi>
<mi>i</mi>
</munder>
<munder>
<mi>min</mi>
<mi>k</mi>
</munder>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mi>&rho;</mi>
<munder>
<mi>max</mi>
<mi>i</mi>
</munder>
<munder>
<mi>max</mi>
<mi>k</mi>
</munder>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mi>&rho;</mi>
<munder>
<mi>max</mi>
<mi>i</mi>
</munder>
<munder>
<mi>max</mi>
<mi>k</mi>
</munder>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中ρ为分辨系数，在0～1之间；
2)关联度计算；
关联系数是比较序列和参考序列在不同样本下的关联程度值；样本的数量过多，将所有样本的关联系数集中为一个值，即关联度，通过求平均值的方式计算；关联度公式如下：
<mrow>
<msub>
<mi>&gamma;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&xi;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
若输出为多个神经元时，要取得上一层特征图对输出每个神经元影响最大的特征图，要求出上一层特征图对输出每个神经元关联度的均值；
3)关联度排序；
对上一步取得的关联度从大到小排序，即得到灰关联度排序，而关联度排在尾部的特征图对网络输出影响较小，该特征图将被忽略，此时给定一个ε，此处的阈值自定义，将不满足阈值的特征图删除再进行实验，直到后续实验的全部关联度满足阈值则停止实验，阈值ε的范围在0～1之间；
以此类推，求出前面几层的特征图个数，直到网络达到最优。
2.根据权利要求1所述的灰色关联分析法确定卷积神经网络隐层特征图个数的方法，其特征在于：步骤2)中的分辨系数ρ取0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610045337.3A CN105528638B (zh) | 2016-01-22 | 2016-01-22 | 灰色关联分析法确定卷积神经网络隐层特征图个数的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610045337.3A CN105528638B (zh) | 2016-01-22 | 2016-01-22 | 灰色关联分析法确定卷积神经网络隐层特征图个数的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105528638A CN105528638A (zh) | 2016-04-27 |
| CN105528638B true CN105528638B (zh) | 2018-04-24 |
Family
ID=55770852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610045337.3A Active CN105528638B (zh) | 2016-01-22 | 2016-01-22 | 灰色关联分析法确定卷积神经网络隐层特征图个数的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105528638B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598268A (zh) * | 2018-11-23 | 2019-04-09 | 安徽大学 | 一种基于单流深度网络的rgb-d显著目标检测方法 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106560848B (zh) * | 2016-10-09 | 2021-05-11 | 辽宁工程技术大学 | 模拟生物双向认知能力的新型神经网络模型及训练方法 |
| CN108230232B (zh) | 2016-12-21 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 一种图像处理的方法以及相关装置 |
| CN110121723B (zh) * | 2016-12-30 | 2024-01-12 | 诺基亚技术有限公司 | 人工神经网络 |
| US11164071B2 (en) * | 2017-04-18 | 2021-11-02 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing computational complexity of convolutional neural networks |
| CN107085733A (zh) * | 2017-05-15 | 2017-08-22 | 山东工商学院 | 基于cnn深度学习的近岸红外舰船识别方法 |
| CN107358176A (zh) * | 2017-06-26 | 2017-11-17 | 武汉大学 | 基于高分遥感影像区域信息和卷积神经网络的分类方法 |
| CN109144470B (zh) * | 2017-06-27 | 2022-01-25 | 上海寒武纪信息科技有限公司 | 一种计算装置及方法 |
| CN109376856B (zh) * | 2017-08-09 | 2022-07-08 | 上海寒武纪信息科技有限公司 | 数据处理方法及处理装置 |
| CN107563430A (zh) * | 2017-08-28 | 2018-01-09 | 昆明理工大学 | 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法 |
| CN109697511B (zh) * | 2017-10-24 | 2022-04-05 | 华为技术有限公司 | 数据推理方法、装置及计算机设备 |
| CN109905328B (zh) | 2017-12-08 | 2021-06-01 | 华为技术有限公司 | 数据流的识别方法和装置 |
| CN109101986A (zh) * | 2018-06-07 | 2018-12-28 | 国网山东省电力公司青岛供电公司 | 基于栈式降噪自编码器的输变电设备状态异常检测方法和系统 |
| CN109002882A (zh) * | 2018-07-03 | 2018-12-14 | 广东工业大学 | 卷积神经网络模型构建方法、系统、装置及可读存储介质 |
| CN109035488A (zh) * | 2018-08-07 | 2018-12-18 | 哈尔滨工业大学（威海） | 基于cnn特征提取的航空发动机时间序列异常检测方法 |
| CN109493296A (zh) * | 2018-10-31 | 2019-03-19 | 泰康保险集团股份有限公司 | 图像增强方法、装置、电子设备及计算机可读介质 |
| CN110232436A (zh) * | 2019-05-08 | 2019-09-13 | 华为技术有限公司 | 卷积神经网络的修剪方法、装置及存储介质 |
| CN110647990A (zh) * | 2019-09-18 | 2020-01-03 | 无锡信捷电气股份有限公司 | 基于灰色关联分析的深度卷积神经网络模型的裁剪方法 |
| CN114169504B (zh) * | 2021-12-10 | 2024-04-16 | 河北工业大学 | 基于自适应滤波的图卷积神经网络池化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013104938A2 (en) * | 2012-01-11 | 2013-07-18 | 77 Elektronika Muszeripari Kft. | Neural network and a method for teaching thereof |
| CN104077613A (zh) * | 2014-07-16 | 2014-10-01 | 电子科技大学 | 一种基于级联多级卷积神经网络的人群密度估计方法 |
| CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
-
2016
- 2016-01-22 CN CN201610045337.3A patent/CN105528638B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013104938A2 (en) * | 2012-01-11 | 2013-07-18 | 77 Elektronika Muszeripari Kft. | Neural network and a method for teaching thereof |
| CN104077613A (zh) * | 2014-07-16 | 2014-10-01 | 电子科技大学 | 一种基于级联多级卷积神经网络的人群密度估计方法 |
| CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于卷积神经网络LeNet_5的车牌字符识别研究;赵志宏;《系统仿真学报》;20100331;第22卷(第3期);638-641 * |
| 基于改进Fisher准则的深度卷积神经网络识别算法;孙艳丰;《北京工业大学学报》;20150630;第41卷(第6期);835-841 * |
| 应用深层卷积神经网络的交通标志识别;黄琳;《现代电子技术》;20150701;第38卷(第13期);101-106 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598268A (zh) * | 2018-11-23 | 2019-04-09 | 安徽大学 | 一种基于单流深度网络的rgb-d显著目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105528638A (zh) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105528638B (zh) | 灰色关联分析法确定卷积神经网络隐层特征图个数的方法 | |
| CN110097554B (zh) | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 | |
| CN108564006B (zh) | 基于自步学习卷积神经网络的极化sar地物分类方法 | |
| CN110516596B (zh) | 基于Octave卷积的空谱注意力高光谱图像分类方法 | |
| CN111739075A (zh) | 一种结合多尺度注意力的深层网络肺部纹理识别方法 | |
| CN111985543B (zh) | 一种高光谱图像分类模型的构建方法、分类方法及系统 | |
| CN103544506B (zh) | 一种基于卷积神经网络的图像分类方法和装置 | |
| CN104850890B (zh) | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 | |
| CN106250931A (zh) | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 | |
| CN111695466B (zh) | 一种基于特征mixup的半监督极化SAR地物分类方法 | |
| CN107316054A (zh) | 基于卷积神经网络和支持向量机的非标准字符识别方法 | |
| CN110472667A (zh) | 基于反卷积神经网络的小目标分类方法 | |
| CN106228185A (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| CN110363230A (zh) | 基于加权基分类器的stacking集成污水处理故障诊断方法 | |
| CN109377487B (zh) | 一种基于深度学习分割的水果表面缺陷检测方法 | |
| CN111553873A (zh) | 基于多尺度卷积神经网络的脑神经元自动检测方法 | |
| CN109598711A (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
| CN113887410A (zh) | 一种基于深度学习的多类别食材识别系统及方法 | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN113111975A (zh) | 基于多核尺度卷积神经网络的sar图像目标分类方法 | |
| CN117079132A (zh) | 基于高斯距离损失的遥感图像目标检测方法 | |
| CN111340133A (zh) | 一种基于深度卷积神经网络的图像分类处理方法 | |
| CN111222534A (zh) | 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法 | |
| CN112818777B (zh) | 一种基于密集连接与特征增强的遥感图像目标检测方法 | |
| CN113657290B (zh) | 一种螺类采集与细分类识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230321 Address after: Room 362, No. 43-10, Changqing South Street, Hunnan District, Shenyang City, Liaoning Province, 110623 Patentee after: Shenyang Shaguo Technology Co.,Ltd. Address before: 110870 No. 111 Shenyang West Road, Shenyang economic and Technological Development Zone, Liaoning Patentee before: SHENYANG University OF TECHNOLOGY |