CN108320017A - 卷积神经网络优化方法、系统、设备及介质 - Google Patents

卷积神经网络优化方法、系统、设备及介质 Download PDF

Info

Publication number
CN108320017A
CN108320017A CN201810231725.XA CN201810231725A CN108320017A CN 108320017 A CN108320017 A CN 108320017A CN 201810231725 A CN201810231725 A CN 201810231725A CN 108320017 A CN108320017 A CN 108320017A
Authority
CN
China
Prior art keywords
neuron
layer
neural networks
convolutional
activation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810231725.XA
Other languages
English (en)
Other versions
CN108320017B (zh
Inventor
刘宝树
黄忠涛
隋运峰
程志
赵士瑄
冯家琪
孟令同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Civil Aviation Air Traffic Control Science & Technology Co ltd
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN201810231725.XA priority Critical patent/CN108320017B/zh
Publication of CN108320017A publication Critical patent/CN108320017A/zh
Application granted granted Critical
Publication of CN108320017B publication Critical patent/CN108320017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种卷积神经网络优化方法、系统、设备及介质，方法包括：统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据响应输出值分布确定每个神经元对应的激活阈值；根据激活阈值，统计确定每个神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；根据第一激活次数和第二激活次数，确定每个神经元对应的相关系数和识别系数；根据所有神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；保留关键神经元，且保留对应于关键神经元且满足预设规则的前置神经元，并删除其余神经元；删除卷积层后的所有其它运算层，并按照设定规则构建新识别层。

Description

卷积神经网络优化方法、系统、设备及介质
技术领域
本发明涉及图像识别和深度学习技术领域，尤其涉及一种卷积神经网络优化方法、系统、设备及介质。
背景技术
目前，基于深度学习的卷积神经网络模型是当前用于图像识别的主流方法。为实现更好的性能，用于识别的卷积神经网络一般具有百万甚至千万量级的参数。此外，模型的训练往往是基于多类型目标进行的，对所有训练目标类型均具有较好的识别能力。然而，针对特定类型目标识别问题，尤其是针对一些特征相对简单的目标类型识别，现有的卷积神经网络模型往往过于复杂。
综上，现有的通用的卷积神经网络模型对特定类型目标的识别过于复杂，适用性不高。
发明内容
本发明要解决的技术问题是提供一种卷积神经网络优化方法、系统、设备及介质，针对特定类型目标的识别，对通用的卷积神经网络进行优化与重构，通过提取关键神经元来压缩卷积神经网络中的神经元数量，实现在尽量保持识别率前提下降低计算复杂度。
为解决上述技术问题，本发明提供的技术方案如下：
第一方面，本发明实施例提供了一种卷积神经网络优化方法，方法包括：
统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据响应输出值分布确定每个神经元对应的激活阈值；
根据激活阈值，统计确定每个神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；
根据第一激活次数和第二激活次数，确定每个神经元对应的相关系数和识别系数；
根据所有神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；
保留关键神经元，且保留对应于关键神经元且满足预设规则的前置神经元，并删除其余神经元；
删除卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络。
进一步地，统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据响应输出值分布确定每个神经元对应的激活阈值，包括：
将通用图像集和特定图像集中的所有图像依次输入卷积神经网络，并记录每个神经元对应每一个图像的响应输出值；
统计每个神经元的响应输出值分布；
将响应输出值分布里，互补累积分布函数值等于第一阈值的响应输出值确定为对应神经元的激活阈值。
进一步地，根据激活阈值，统计确定每个神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数，包括：
选取通用图像集中的任一图像输入卷积神经网络，并获取卷积层中每个神经元对应输出的特征图，且对于任一神经元，在神经元对应的特征图中有至少一个像素的值大于激活阈值时，神经元的第一激活次数加1；
重复上述步骤，直至通用图像集的所有图像被选取完；
选取特定图像集中的任一图像输入卷积神经网络，并获取卷积层中每个神经元对应输出的特征图，且对于任一神经元，在神经元对应的特征图中有至少一个像素的值大于激活阈值时，神经元的第二激活次数加1；
重复上述步骤，直至特定图像集的所有图像被选取完；
输出每个神经元对应的第一激活次数和第二激活次数。
进一步地，每个神经元对应的相关系数和识别系数的计算公式为：
其中，C为相关系数，D为识别系数，A为第一激活次数，B为第二激活次数，M为通用图像集中的图像个数；N为特定图像集中的图像个数。
进一步地，根据所有神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元，包括：
筛除识别系数小于第二阈值的神经元，并将剩下的神经元按相关系数值降序排序；
从特定图像集中任选设定数量的图像，且针对任一图像，计算排序第一的神经元对应所选定的图像的输出特征图，将特征图中小于激活阈值的像素置零，并使用八邻域最大值抑制算法将非最大值像素置零，在处理后的特征图中非零像素位置有半数以上在特定目标上时，将神经元判定为关键神经元；
按神经元排布顺序，逐个对神经元进行关键性判断，直至关键神经元的数量达到第三阈值。
进一步地，保留关键神经元，且保留对应于关键神经元且满足预设规则的前置神经元，并删除其余神经元，包括：
判断卷积层最后一层的每个神经元是否为关键神经元，并将关键神经元保留，非关键神经元删除；
获取最后一层保留的神经元对倒数第二层的所有神经元的卷积权重，将权重绝对值小于权重阈值且不属于关键神经元的神经元删除；
重复上一步骤，依次从后向前进行神经元删除，直至对卷积层的所有层完成压缩。
进一步地，删除卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络，包括：
删除卷积神经网络中卷积层之后的运算层，且删除所有平行于卷积层的结构；
计算每个关键神经元对应的特征图的最大值，并根据所有最大值的集合，构建新识别层的输入；
采用包含通用图像集和特定图像集的所有图像作为训练数据，采用支持向量机算法作为训练算法，确定新识别层对应的参数和判定阈值；
根据新识别层的输入、新识别层对应的层数和判定阈值，构建与新卷积层相连的新识别层，实现建立针对具体识别目标的新卷积神经网络。
第二方面，本发明实施例提供了一种卷积神经网络优化系统，系统包括：
第一确定单元，用于统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据响应输出值分布确定每个神经元对应的激活阈值；
第二确定单元，用于根据激活阈值，统计确定每个神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；
第三确定单元，用于根据第一激活次数和第二激活次数，确定每个神经元对应的相关系数和识别系数；
第一筛选单元，用于根据所有神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；
第二筛选单元，用于保留关键神经元，且保留对应于关键神经元且满足预设规则的前置神经元，并删除其余神经元；
第三筛选单元，用于删除卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络。
第三方面，本发明实施例提供了一种计算机设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
本发明实施例提供的卷积神经网络优化方法、系统、设备及介质，针对特定类型目标的识别，对通用的卷积神经网络进行优化与重构，通过提取关键神经元来压缩卷积神经网络中的神经元数量，实现在尽量保持识别率前提下降低计算复杂度。
附图说明
图1是本发明实施例提供的卷积神经网络优化方法的流程图；
图2是本发明实施例提供的卷积神经网络优化系统的框图；
图3示出了本发明实施例提供的计算机设备的硬件结构示意图。
具体实施方式
下面通过具体的实施例进一步说明本发明，但是，应当理解为，这些实施例仅仅是用于更详细具体地说明之用，而不应理解为用于以任何形式限制本发明。
实施例一
结合图1，本实施例提供的卷积神经网络优化方法，包括：
步骤S1，统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据响应输出值分布确定每个神经元对应的激活阈值；
步骤S2，根据激活阈值，统计确定每个神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；
步骤S3，根据第一激活次数和第二激活次数，确定每个神经元对应的相关系数和识别系数；
步骤S4，根据所有神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；
步骤S5，保留关键神经元，且保留对应于关键神经元且满足预设规则的前置神经元，并删除其余神经元；
步骤S6，删除卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络。
本实施例提供的卷积神经网络优化方法，针对特定类型目标的识别，对通用的卷积神经网络进行优化与重构，通过提取关键神经元来压缩卷积神经网络中的神经元数量，实现在尽量保持识别率前提下降低计算复杂度。
本实施例中，通用图像集为包含多种不同类型物体的图像集合，且特定图像集为包含需识别的特定类型目标的图像集合，且使用的待优化处理的卷积神经网络为训练好的用于识别多种类型物体的卷积神经网络模型。此外，需要说明的是，为实现可靠的优化重构效果，通用图像集应包含不少于10种类型物体，不少于1000张图像，特定图像集应包含不少于1000张图像。无需对数据进行任何形式的标注。
优选地，步骤S1具体包括：
将通用图像集和特定图像集中的所有图像依次输入卷积神经网络，并记录每个神经元对应每一个图像的响应输出值；
统计每个神经元的响应输出值分布；
将响应输出值分布里，互补累积分布函数值等于第一阈值的响应输出值确定为对应神经元的激活阈值。
本实施例中，具体地为：将包含通用图像集和特定图像集的所有图像依次输入卷积神经网络模型，对模型卷积层中每个神经元分别独立记录输出信号值，分别统计每个神经元输出信号值的分布；对卷积层中每个神经元，取频率大于T1％的最小输出信号值作为该神经元的激活阈值，且优选地，T1的取值在0.0001到5之间。
优选地，步骤S2具体包括：
选取通用图像集中的任一图像输入卷积神经网络，并获取卷积层中每个神经元对应输出的特征图，且对于任一神经元，在神经元对应的特征图中有至少一个像素的值大于激活阈值时，神经元的第一激活次数加1；
重复上述步骤，直至通用图像集的所有图像被选取完；
选取特定图像集中的任一图像输入卷积神经网络，并获取卷积层中每个神经元对应输出的特征图，且对于任一神经元，在神经元对应的特征图中有至少一个像素的值大于激活阈值时，神经元的第二激活次数加1；
重复上述步骤，直至特定图像集的所有图像被选取完；
输出每个神经元对应的第一激活次数和第二激活次数。
本实施例中，每个神经元被通用图像集激活的第一激活次数的获取步骤为：
1)将通用图像集中一张图像输入卷积神经网络模型，卷积层中每个神经元会输出一张二维的特征图，如果特征图中有至少一个像素的值大于激活阈值，则认为该神经元被激活，激活次数统计加1；
2)对通用图像集中剩余所有图像重复步骤2)操作，对卷积层中每个神经元统计被激活的次数A。
每个神经元被特定图像集激活的第二激活次数的获取步骤为：
1)将特定图像集中一张图像输入卷积神经网络模型，卷积层中每个神经元会输出一张二维的特征图，如果特征图中有至少一个像素的值大于激活阈值，则认为该神经元被激活，激活次数统计加1；
2)对特定图像集中剩余所有图像重复步骤2)操作，对卷积层中每个神经元统计被激活的次数B。
进一步优选地，每个神经元对应的相关系数和识别系数的计算公式为：
其中，C为相关系数，D为识别系数，A为第一激活次数，B为第二激活次数，M为通用图像集中的图像个数；N为特定图像集中的图像个数。
进一步优选地，步骤S4具体包括：
筛除识别系数小于第二阈值的神经元，并将剩下的神经元按相关系数值降序排序；
从特定图像集中任选设定数量的图像，且针对任一图像，计算排序第一的神经元对应所选定的图像的输出特征图，将特征图中小于激活阈值的像素置零，并使用八邻域最大值抑制算法将非最大值像素置零，在处理后的特征图中非零像素位置有半数以上在特定目标上时，将神经元判定为关键神经元；
按神经元排布顺序，逐个对神经元进行关键性判断，直至关键神经元的数量达到第三阈值。
本实施例中，具体为：
1)排除所有D值(识别系数)小于0.5的神经元，剩下神经元按C值(相关系数)降序排序；
选取排序第一的神经元，从特定图像集中选取一张图像，计算该神经元对这张图像的输出特征图，将特征图中小于T1的像素置零，并进一步使用8邻域最大值抑制算法将非最大值像素置零，观察特征图中非零像素位置是否在特定目标上；
2)随机从特定图像集中选取额外图像，重复步骤62并统计非零像素位置，若半数以上像素位置在特定目标上，保留该神经元，认为其为关键识别神经元，为保证结果可靠性至少额外选取9张图像；
3)按排序依次对剩余神经元重复步骤2)和3)，直到筛选出K个关键识别神经元，K的取值在5到20之间。
进一步优选地，步骤S5具体包括：
判断卷积层最后一层的每个神经元是否为关键神经元，并将关键神经元保留，非关键神经元删除；
获取最后一层保留的神经元对倒数第二层的所有神经元的卷积权重，将权重绝对值小于权重阈值且不属于关键神经元的神经元删除；
重复上一步骤，依次从后向前进行神经元删除，直至对卷积层的所有层完成压缩。
本实施例中，具体为：
1)在卷积神经网络卷积层最后一层，检查每个神经元是否为关键识别神经元，保留关键神经元，删除其它神经元；
2)在卷积神经网络卷积层倒数第二层，检查后一层保留下神经元对该层所有神经元的卷积权重，若权重绝对值小于T2且该神经元不是关键神经元，则删除该神经元，其中T2的取值一般在0.001到0.5之间；
3)依次从后向前，对卷积神经网络的每一层卷积层重复步骤2)，完成对神经网络所有卷积层的压缩。
进一步优选地，步骤S6具体包括：
删除卷积神经网络中卷积层之后的运算层，且删除所有平行于卷积层的结构；
计算每个关键神经元对应的特征图的最大值，并根据所有最大值的集合，构建新识别层的输入；
采用包含通用图像集和特定图像集的所有图像作为训练数据，采用支持向量机算法作为训练算法，确定新识别层对应的参数和判定阈值；
根据新识别层的输入、新识别层对应的层数和判定阈值，构建与新卷积层相连的新识别层，实现建立针对具体识别目标的新卷积神经网络。
本实施例中，具体为：
1)删除原卷积神经网络中卷积层之后的运算层，如果原神经网络模型有平行于卷积层的结构，也一并删除；
2)在第一个关键神经元输出后添加取最大值操作，即取神经元输出特征图的最大值，该最大值F1作为新识别层的输入；对第2到第K个关键神经元重复步骤2)操作；
3)组合所有神经元的识别层输入值得到识别层输入向量F＝{F1,F2,...,FK}，新识别层输出结果为其中G＝{G1,G2,...,GK}为新识别层的参数；
4)使用包含通用图像集和特定图像集的所有图像作为训练数据，使用支持向量机算法作为训练算法，计算识别层参数G和判定阈值T3。
此外，需要说明的是，构建新识别层的目的在于，由于卷积层的本身结构的压缩，若要继续实现对后续的识别结果进行判定，则需要同时对识别层进行改进，以兼容新的卷积层的结构，继而实现建立针对具体识别目标的新卷积神经网络。
实施例二
结合图2，本发明实施例提供的卷积神经网络优化系统，包括：
第一确定单元10，用于统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据响应输出值分布确定每个神经元对应的激活阈值；
第二确定单元20，用于根据激活阈值，统计确定每个神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；
第三确定单元30，用于根据第一激活次数和第二激活次数，确定每个神经元对应的相关系数和识别系数；
第一筛选单元40，用于根据所有神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；
第二筛选单元50，用于保留关键神经元，且保留对应于关键神经元且满足预设规则的前置神经元，并删除其余神经元；
第三筛选单元60，用于删除卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络。
本实施例提供的卷积神经网络优化系统，针对特定类型目标的识别，对通用的卷积神经网络进行优化与重构，通过提取关键神经元来压缩卷积神经网络中的神经元数量，实现在尽量保持识别率前提下降低计算复杂度。
本实施例中，通用图像集为包含多种不同类型物体的图像集合，且特定图像集为包含需识别的特定类型目标的图像集合，且使用的待优化处理的卷积神经网络为训练好的用于识别多种类型物体的卷积神经网络模型。此外，需要说明的是，为实现可靠的优化重构效果，通用图像集应包含不少于10种类型物体，不少于1000张图像，特定图像集应包含不少于1000张图像。无需对数据进行任何形式的标注。
优选地，第一确定单元10具体用于：
将通用图像集和特定图像集中的所有图像依次输入卷积神经网络，并记录每个神经元对应每一个图像的响应输出值；
统计每个神经元的响应输出值分布；
将响应输出值分布里，互补累积分布函数值等于第一阈值的响应输出值确定为对应神经元的激活阈值。
本实施例中，具体地为：将包含通用图像集和特定图像集的所有图像依次输入卷积神经网络模型，对模型卷积层中每个神经元分别独立记录输出信号值，分别统计每个神经元输出信号值的分布；对卷积层中每个神经元，取频率大于T1％的最小输出信号值作为该神经元的激活阈值，且优选地，T1的取值在0.0001到5之间。
优选地，第二确定单元20具体用于：
选取通用图像集中的任一图像输入卷积神经网络，并获取卷积层中每个神经元对应输出的特征图，且对于任一神经元，在神经元对应的特征图中有至少一个像素的值大于激活阈值时，神经元的第一激活次数加1；
重复上述步骤，直至通用图像集的所有图像被选取完；
选取特定图像集中的任一图像输入卷积神经网络，并获取卷积层中每个神经元对应输出的特征图，且对于任一神经元，在神经元对应的特征图中有至少一个像素的值大于激活阈值时，神经元的第二激活次数加1；
重复上述步骤，直至特定图像集的所有图像被选取完；
输出每个神经元对应的第一激活次数和第二激活次数。
本实施例中，每个神经元被通用图像集激活的第一激活次数的获取步骤为：
1)将通用图像集中一张图像输入卷积神经网络模型，卷积层中每个神经元会输出一张二维的特征图，如果特征图中有至少一个像素的值大于激活阈值，则认为该神经元被激活，激活次数统计加1；
2)对通用图像集中剩余所有图像重复步骤2)操作，对卷积层中每个神经元统计被激活的次数A。
每个神经元被特定图像集激活的第二激活次数的获取步骤为：
1)将特定图像集中一张图像输入卷积神经网络模型，卷积层中每个神经元会输出一张二维的特征图，如果特征图中有至少一个像素的值大于激活阈值，则认为该神经元被激活，激活次数统计加1；
2)对特定图像集中剩余所有图像重复步骤2)操作，对卷积层中每个神经元统计被激活的次数B。
进一步优选地，每个神经元对应的相关系数和识别系数的计算公式为：
其中，C为相关系数，D为识别系数，A为第一激活次数，B为第二激活次数，M为通用图像集中的图像个数；N为特定图像集中的图像个数。
进一步优选地，第一筛选单元40具体用于：
筛除识别系数小于第二阈值的神经元，并将剩下的神经元按相关系数值降序排序；
从特定图像集中任选设定数量的图像，且针对任一图像，计算排序第一的神经元对应所选定的图像的输出特征图，将特征图中小于激活阈值的像素置零，并使用八邻域最大值抑制算法将非最大值像素置零，在处理后的特征图中非零像素位置有半数以上在特定目标上时，将神经元判定为关键神经元；
按神经元排布顺序，逐个对神经元进行关键性判断，直至关键神经元的数量达到第三阈值。
本实施例中，具体为：
1)排除所有D值(识别系数)小于0.5的神经元，剩下神经元按C值(相关系数)降序排序；
选取排序第一的神经元，从特定图像集中选取一张图像，计算该神经元对这张图像的输出特征图，将特征图中小于T1的像素置零，并进一步使用8邻域最大值抑制算法将非最大值像素置零，观察特征图中非零像素位置是否在特定目标上；
2)随机从特定图像集中选取额外图像，重复步骤62并统计非零像素位置，若半数以上像素位置在特定目标上，保留该神经元，认为其为关键识别神经元，为保证结果可靠性至少额外选取9张图像；
3)按排序依次对剩余神经元重复步骤2)和3)，直到筛选出K个关键识别神经元，K的取值在5到20之间。
进一步优选地，第二筛选单元50具体用于：
判断卷积层最后一层的每个神经元是否为关键神经元，并将关键神经元保留，非关键神经元删除；
获取最后一层保留的神经元对倒数第二层的所有神经元的卷积权重，将权重绝对值小于权重阈值且不属于关键神经元的神经元删除；
重复上一步骤，依次从后向前进行神经元删除，直至对卷积层的所有层完成压缩。
本实施例中，具体为：
1)在卷积神经网络卷积层最后一层，检查每个神经元是否为关键识别神经元，保留关键神经元，删除其它神经元；
2)在卷积神经网络卷积层倒数第二层，检查后一层保留下神经元对该层所有神经元的卷积权重，若权重绝对值小于T2且该神经元不是关键神经元，则删除该神经元，其中T2的取值一般在0.001到0.5之间；
3)依次从后向前，对卷积神经网络的每一层卷积层重复步骤2)，完成对神经网络所有卷积层的压缩。
进一步优选地，第三筛选单元60具体用于：
删除卷积神经网络中卷积层之后的运算层，且删除所有平行于卷积层的结构；
计算每个关键神经元对应的特征图的最大值，并根据所有最大值的集合，构建新识别层的输入；
采用包含通用图像集和特定图像集的所有图像作为训练数据，采用支持向量机算法作为训练算法，确定新识别层对应的参数和判定阈值；
根据新识别层的输入、新识别层对应的层数和判定阈值，构建与新卷积层相连的新识别层，实现建立针对具体识别目标的新卷积神经网络。
本实施例中，具体为：
1)删除原卷积神经网络中卷积层之后的运算层，如果原神经网络模型有平行于卷积层的结构，也一并删除；
2)在第一个关键神经元输出后添加取最大值操作，即取神经元输出特征图的最大值，该最大值F1作为新识别层的输入；对第2到第K个关键神经元重复步骤2)操作；
3)组合所有神经元的识别层输入值得到识别层输入向量F＝{F1,F2,...,FK}，新识别层输出结果为其中G＝{G1,G2,...,GK}为新识别层的参数；
4)使用包含通用图像集和特定图像集的所有图像作为训练数据，使用支持向量机算法作为训练算法，计算识别层参数G和判定阈值T3。
此外，需要说明的是，构建新识别层的目的在于，由于卷积层的本身结构的压缩，若要继续实现对后续的识别结果进行判定，则需要同时对识别层进行改进，以兼容新的卷积层的结构，继而实现建立针对具体识别目标的新卷积神经网络。
实施例三
结合图3描述的本发明实施例的卷积神经网络优化方法可以由计算机设备来实现。图3示出了本发明实施例提供的计算机设备的硬件结构示意图。
实现卷积神经网络优化方法的计算机设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种卷积神经网络优化方法。
在一个示例中，计算机设备还可包括通信接口403和总线410。其中，如图3所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例四
另外，结合上述实施例中的卷积神经网络优化方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种卷积神经网络优化方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。

Claims (10)

1.一种卷积神经网络优化方法，其特征在于，所述方法包括：
统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据所述响应输出值分布确定每个所述神经元对应的激活阈值；
根据所述激活阈值，统计确定每个所述神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；
根据所述第一激活次数和所述第二激活次数，确定每个所述神经元对应的相关系数和识别系数；
根据所有所述神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；
保留所述关键神经元，且保留对应于所述关键神经元且满足预设规则的前置神经元，并删除其余神经元；
删除所述卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络。
2.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据所述响应输出值分布确定每个所述神经元对应的激活阈值，包括：
将通用图像集和特定图像集中的所有图像依次输入卷积神经网络，并记录每个所述神经元对应每一个图像的响应输出值；
统计每个所述神经元的响应输出值分布；
将响应输出值分布里，互补累积分布函数值等于第一阈值的响应输出值确定为对应神经元的激活阈值。
3.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述根据所述激活阈值，统计确定每个所述神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数，包括：
选取所述通用图像集中的任一图像输入卷积神经网络，并获取所述卷积层中每个所述神经元对应输出的特征图，且对于任一神经元，在所述神经元对应的特征图中有至少一个像素的值大于激活阈值时，所述神经元的第一激活次数加1；
重复上述步骤，直至所述通用图像集的所有图像被选取完；
选取所述特定图像集中的任一图像输入卷积神经网络，并获取所述卷积层中每个所述神经元对应输出的特征图，且对于任一神经元，在所述神经元对应的特征图中有至少一个像素的值大于激活阈值时，所述神经元的第二激活次数加1；
重复上述步骤，直至所述特定图像集的所有图像被选取完；
输出每个所述神经元对应的第一激活次数和第二激活次数。
4.根据权利要求1所述的卷积神经网络优化方法，其特征在于，每个所述神经元对应的相关系数和识别系数的计算公式为：
其中，C为相关系数，D为识别系数，A为第一激活次数，B为第二激活次数，M为通用图像集中的图像个数；N为特定图像集中的图像个数。
5.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述根据所有所述神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元，包括：
筛除识别系数小于第二阈值的神经元，并将剩下的神经元按相关系数值降序排序；
从所述特定图像集中任选设定数量的图像，且针对任一图像，计算排序第一的神经元对应所选定的图像的输出特征图，将特征图中小于激活阈值的像素置零，并使用八邻域最大值抑制算法将非最大值像素置零，在处理后的特征图中非零像素位置有半数以上在特定目标上时，将所述神经元判定为关键神经元；
按神经元排布顺序，逐个对神经元进行关键性判断，直至关键神经元的数量达到第三阈值。
6.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述保留所述关键神经元，且保留对应于所述关键神经元且满足预设规则的前置神经元，并删除其余神经元，包括：
判断卷积层最后一层的每个所述神经元是否为关键神经元，并将关键神经元保留，非关键神经元删除；
获取最后一层保留的神经元对倒数第二层的所有神经元的卷积权重，将权重绝对值小于权重阈值且不属于关键神经元的神经元删除；
重复上一步骤，依次从后向前进行神经元删除，直至对卷积层的所有层完成压缩。
7.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述删除所述卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络，包括：
删除卷积神经网络中卷积层之后的运算层，且删除所有平行于卷积层的结构；
计算每个关键神经元对应的特征图的最大值，并根据所有最大值的集合，构建新识别层的输入；
采用包含通用图像集和特定图像集的所有图像作为训练数据，采用支持向量机算法作为训练算法，确定新识别层对应的参数和判定阈值；
根据新识别层的输入、新识别层对应的层数和判定阈值，构建与新卷积层相连的新识别层，实现建立针对具体识别目标的新卷积神经网络。
8.一种卷积神经网络优化系统，其特征在于，所述系统包括：
第一确定单元，用于统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布，并根据所述响应输出值分布确定每个所述神经元对应的激活阈值；
第二确定单元，用于根据所述激活阈值，统计确定每个所述神经元被通用图像集激活的第一激活次数，以及被特定图像集激活的第二激活次数；
第三确定单元，用于根据所述第一激活次数和所述第二激活次数，确定每个所述神经元对应的相关系数和识别系数；
第一筛选单元，用于根据所有所述神经元对应的相关系数和识别系数，以及根据识别目标的特定类型，筛选关键神经元；
第二筛选单元，用于保留所述关键神经元，且保留对应于所述关键神经元且满足预设规则的前置神经元，并删除其余神经元；
第三筛选单元，用于删除所述卷积层后的所有其它运算层，并按照设定规则构建新识别层，实现建立针对具体识别目标的新卷积神经网络。
9.一种计算机设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN201810231725.XA 2018-03-20 2018-03-20 卷积神经网络优化方法、系统、设备及介质 Active CN108320017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810231725.XA CN108320017B (zh) 2018-03-20 2018-03-20 卷积神经网络优化方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810231725.XA CN108320017B (zh) 2018-03-20 2018-03-20 卷积神经网络优化方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN108320017A true CN108320017A (zh) 2018-07-24
CN108320017B CN108320017B (zh) 2020-08-11

Family

ID=62898884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810231725.XA Active CN108320017B (zh) 2018-03-20 2018-03-20 卷积神经网络优化方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN108320017B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002886A (zh) * 2018-09-21 2018-12-14 杭州谛瞳科技有限公司 图像处理方法和电子设备
CN110414673A (zh) * 2019-07-31 2019-11-05 北京达佳互联信息技术有限公司 多媒体识别方法、装置、设备及存储介质
CN110909861A (zh) * 2018-09-17 2020-03-24 北京市商汤科技开发有限公司 神经网络优化方法及装置、电子设备和存储介质
CN111353599A (zh) * 2018-12-20 2020-06-30 通用汽车环球科技运作有限责任公司 深度神经网络的正确性保持优化
CN112418408A (zh) * 2020-12-08 2021-02-26 中山大学 一种基于抑制不相关特征的神经网络可解释性方法
CN113326927A (zh) * 2021-08-03 2021-08-31 北京壁仞科技开发有限公司 优化神经网络的运算的方法、装置和计算机设备
US11170300B2 (en) 2020-01-23 2021-11-09 UMNAI Limited Explainable neural net architecture for multidimensional data
CN117764120A (zh) * 2024-02-22 2024-03-26 天津普智芯网络测控技术有限公司 一种可降低单粒子故障影响的图片识别架构

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102590211A (zh) * 2011-01-11 2012-07-18 郑州大学 利用光谱和图像特征进行烟叶分级的方法
CN107220707A (zh) * 2017-06-19 2017-09-29 山东师范大学 基于二维数据的动态神经网络模型训练方法和装置
CN107766292A (zh) * 2017-10-30 2018-03-06 中国科学院计算技术研究所 一种神经网络处理方法及处理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102590211A (zh) * 2011-01-11 2012-07-18 郑州大学 利用光谱和图像特征进行烟叶分级的方法
CN107220707A (zh) * 2017-06-19 2017-09-29 山东师范大学 基于二维数据的动态神经网络模型训练方法和装置
CN107766292A (zh) * 2017-10-30 2018-03-06 中国科学院计算技术研究所 一种神经网络处理方法及处理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HENGYUAN HU等: "Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures", 《ARXIV》 *
TOSHI SINHA等: "Optimization of Convolutional Neural Network Parameters for Image Classification", 《2017 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE》 *
王磊 等: "面向嵌入式应用的深度神经网络模型压缩技术综述", 《北京交通大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909861A (zh) * 2018-09-17 2020-03-24 北京市商汤科技开发有限公司 神经网络优化方法及装置、电子设备和存储介质
CN110909861B (zh) * 2018-09-17 2023-05-30 北京市商汤科技开发有限公司 神经网络优化方法及装置、电子设备和存储介质
CN109002886A (zh) * 2018-09-21 2018-12-14 杭州谛瞳科技有限公司 图像处理方法和电子设备
CN111353599A (zh) * 2018-12-20 2020-06-30 通用汽车环球科技运作有限责任公司 深度神经网络的正确性保持优化
CN111353599B (zh) * 2018-12-20 2024-04-23 通用汽车环球科技运作有限责任公司 深度神经网络的正确性保持优化
CN110414673A (zh) * 2019-07-31 2019-11-05 北京达佳互联信息技术有限公司 多媒体识别方法、装置、设备及存储介质
US11170300B2 (en) 2020-01-23 2021-11-09 UMNAI Limited Explainable neural net architecture for multidimensional data
CN112418408A (zh) * 2020-12-08 2021-02-26 中山大学 一种基于抑制不相关特征的神经网络可解释性方法
CN112418408B (zh) * 2020-12-08 2023-09-05 中山大学 一种基于抑制不相关特征的神经网络可解释性方法
CN113326927A (zh) * 2021-08-03 2021-08-31 北京壁仞科技开发有限公司 优化神经网络的运算的方法、装置和计算机设备
CN113326927B (zh) * 2021-08-03 2022-04-22 北京壁仞科技开发有限公司 优化神经网络的运算的方法、装置和计算机设备
CN117764120A (zh) * 2024-02-22 2024-03-26 天津普智芯网络测控技术有限公司 一种可降低单粒子故障影响的图片识别架构

Also Published As

Publication number Publication date
CN108320017B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN108320017A (zh) 卷积神经网络优化方法、系统、设备及介质
Bayar et al. Augmented convolutional feature maps for robust cnn-based camera model identification
Kim et al. Deep CNN-based blind image quality predictor
CN108229379A (zh) 图像识别方法、装置、计算机设备和存储介质
CN109670380B (zh) 动作识别、姿势估计的方法及装置
Gu et al. A new reduced-reference image quality assessment using structural degradation model
CN106484837A (zh) 相似视频文件的检测方法和装置
CN108460356A (zh) 一种基于监控系统的人脸图像自动处理系统
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN109102483A (zh) 图像增强模型训练方法、装置、电子设备及可读存储介质
CN111507909A (zh) 一种有雾图像清晰化的方法、装置及存储介质
CN107077734A (zh) 决定方法以及程序
CN107330845A (zh) 一种基于卷积神经网络的数字图像隐写分析方法
CN107871306B (zh) 一种图片去噪的方法和装置
CN108009481A (zh) 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN110197183B (zh) 一种图像盲去噪的方法、装置、计算机设备和存储介质
Gu et al. No-reference image quality assessment metric by combining free energy theory and structural degradation model
CN108921111A (zh) 对象检测后处理方法及对应装置
CN107333027A (zh) 一种视频图像增强的方法和装置
CN107205162A (zh) 视频识别方法及装置
CN114868124A (zh) 控制方法、信息处理装置以及控制程序
CN113628146A (zh) 基于深度卷积网络的图像去噪方法
CN109508645A (zh) 监控场景下身份识别方法及装置
CN107657251A (zh) 确定身份证件显示表面的设备及方法，图像识别方法
CN115147255A (zh) 基于图神经网络的电信诈骗检测方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220928

Address after: 610041 No. two, No. two, South Ring Road, Chengdu, Sichuan, 17

Patentee after: THE SECOND RESEARCH INSTITURE OF CAAC

Patentee after: CHENGDU CIVIL AVIATION AIR TRAFFIC CONTROL SCIENCE & TECHNOLOGY Co.,Ltd.

Address before: 610041 No. two, No. two, South Ring Road, Chengdu, Sichuan, 17

Patentee before: THE SECOND RESEARCH INSTITURE OF CAAC

TR01 Transfer of patent right