CN109740734B - 一种利用优化神经元空间排布的卷积神经网络的图像分类方法 - Google Patents

一种利用优化神经元空间排布的卷积神经网络的图像分类方法 Download PDF

Info

Publication number
CN109740734B
CN109740734B CN201811634321.1A CN201811634321A CN109740734B CN 109740734 B CN109740734 B CN 109740734B CN 201811634321 A CN201811634321 A CN 201811634321A CN 109740734 B CN109740734 B CN 109740734B
Authority
CN
China
Prior art keywords
layer
network
convolution
convolution kernel
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811634321.1A
Other languages
English (en)
Other versions
CN109740734A (zh
Inventor
刘波
刘奥文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xiaofeng Technology Co.,Ltd.
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201811634321.1A priority Critical patent/CN109740734B/zh
Publication of CN109740734A publication Critical patent/CN109740734A/zh
Application granted granted Critical
Publication of CN109740734B publication Critical patent/CN109740734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明属于人工智能领域，具体涉及一种优化卷积神经网络中神经元空间排布的方法，包括:1、搭建网络；2、利用自组织映射算法预训练网络得到网络的初始化参数；3、修改损失函数，即在交叉熵损失函数的基础上新加描述相邻卷积核权值分布相似性的正则化项；4、按照步骤1再次搭建好新的网络，然后利用步骤2得到的卷积核的权值，初始化步骤1中搭建的网络的卷积核的权值，利用图像分类的数据集进行网络训练，利用反向传播算法不断更新网络的参数，当修改后的损失函数达到最小时结束训练，得到神经元空间排布优化后的卷积神经网络模型。此模型的神经元之间具有更好的语义组织关系，与人体内神经元的组织排列方式更相似，具有广阔的应用前景。

Description

一种利用优化神经元空间排布的卷积神经网络的图像分类 方法
技术领域：
本发明属于人工智能领域，具体涉及深度学习方法。
背景技术：
人体内神经元的组织连接一直都是各国科研工作者的研究热点和重点。神经科学家已经发现，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近。心理学家已经探索了大脑中概念的组织方式。最流行的理论之一是语义网络模型，它使用网络结构来表示概念及其关系。网络中的每个节点表示概念或类别，并且每个边表示连接的节点之间的关系。语义相关的概念通过几条边直接或间接连接。一旦激活了某个概念，就通过连接传播到相邻的概念节点，从而也可能激活语义相关的概念。
人工神经网络模拟了人体内神经元的连接方式和工作原理，使其接近人体内神经元的组织排列方式。卷积神经网络作为人工神经网络的重要组成部分，已经取得了很多成果，主要集中在如何实现诸如分类等任务的良好性能。在传统的卷积神经网络中，卷积层之间的神经元具有连接，而层内的神经元之间没有联系，这与人脑中神经元的组织排列方式不一致，因此还可以进一步优化改进。
发明内容
为了使卷积神经网络中神经元之间具有语义组织关系，受到神经科学和认知心理学的启发，本发明提出一种利用优化神经元空间排布的卷积神经网络的图像分类方法。也就是说，优化后的神经网络对语义相近类别敏感的神经元在网络空间中的分布位置也相近，本发明利用图像分类的任务，将这种语义组织关系融合到卷积神经网络，得到具有图像类别语义关系的卷积神经网络，最终完成图像分类任务，解决了现有卷积神经网络神经元之间缺乏语义组织关系，分类速度低的问题。
本发明的流程图如图1所示，包括四个步骤：
步骤1：搭建网络
网络包括五个卷积层、三个最大池化层，以及三个全连接层，其连接顺序为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层、第二最大池化层、第一全连接层、第二全连接层、第三全连接层；
步骤2：利用自组织映射算法预训练网络得到网络的初始化参数，具体步骤如下：
按照步骤1搭建好网络后，需要修改卷积层和全连接层的前向传播过程，在每个卷积层和每个全连接层内加入自组织映射的学习方式，利用自组织映射算法更新卷积核的权值，即每当窗口滑动到当前位置时，分别计算每个卷积核与该窗口区域内像素的点积，并找到最大点积值对应的卷积核，称之为获胜的卷积核，并用公式(1)更新获胜的卷积核及其邻近卷积核的权重，然后窗口滑动到下一位置，重复相同的操作，其中权重更新公式如下：
Figure GDA0002667044810000031
Wl,k(q)表示第l层第k个卷积核在第q个位置时的权重，t为迭代次数，η(t)是学习速度，Λ(k,k*)是窗函数，k*表示获胜卷积核的位置，Φq表示卷积核在特征图上第q个位置上所覆盖的像素；第l层用于表示卷积层和全连接层；
在根据公式(1)更新完获胜卷积核及其邻近卷积核的权重后，对这些卷积核的权重进行归一化操作，防止获胜卷积核的权值在更新后过大，如下式(2)，
Figure GDA0002667044810000032
Figure GDA0002667044810000033
表示根据公式(1)更新完后的第l层第k个卷积核在第q个位置的权重，Wl,k(q+1)表示第l层第k个卷积核在第q+1个位置时的权重，μl,k和σl,k分别是根据公式(1)更新完后的第l层第k个卷积核权值的均值和方差，μ和σ分别为网络初始化时第l层第k个卷积核权值的均值和方差；
结合图像分类数据集，输入图像到网络，利用公式(1)和(2)不断更新网络中卷积核的权值，整个训练过程不需要反向传播算法更新卷积核的权值，达到预设的迭代次数后结束预训练过程，保存网络的所有卷积核的权值；
步骤3：修改损失函数
所述的损失函数，即在交叉熵损失函数的基础上新加描述相邻卷积核权值分布相似性的正则化项，具体公式如下，
L＝Lcls+Lsom (3)
L表示网络整体的损失函数，Lcls表示交叉熵损失函数，Lsom是用于描述网络中相邻核的权值分布相似程度的正则化项；
其中，Lcls＝-log pu，u表示人工标注图片的类别序号，pu表示网络预测该图片为类别序号u的概率；
Figure GDA0002667044810000041
λ为平衡因子，用来调节Lsom损失项对总体损失的影响，n1表示网络中卷积层的总数,n2表示网络中全连接层的总数，l表示卷积层的对应层数或者全连接层的对应层数，m1表示第l个卷积层中卷积核的个数，m2表示第l个全连接层中卷积核的个数，Wli表示第l个卷积层或全连接层第i个卷积核的权值；
步骤4：按照步骤1再次搭建好新的网络，需要注意的是，这里不需要如步骤(2)修改卷积层或全连接层的前向传播过程，保持卷积层和全连接层的原有前向传播过程不变即可。然后利用步骤2得到的卷积核的权值，初始化步骤1中搭建的网络的卷积核的权值，利用图像分类的数据集ImageNet进行网络训练，利用反向传播算法不断更新网络的参数，当步骤3修改后得到的损失函数达到最小时结束训练，得到神经元空间排布优化后的卷积神经网络模型。
有益效果
本发明得到的卷积神经网络模型的神经元之间具有更好的语义组织关系，与人体内神经元的组织排列方式更相似。利用优化后的卷积神经网络模型能够在不降低图像分类准确率的情况下，提高分类速度。
附图说明
图1、本发明方法流程图；
图2、本发明所述网络结构示意图；
图3、实验使用的部分数据；
具体实施方式：
以下将从实验具体实现细节方面对本发明作进一步详细说明。根据图1所示的流程图中步骤进行实验操作。
步骤1：搭建网络
本发明选择AlexNet网络作为基本网络，如图2所示，其特征于：
输入的图片大小为227x227；
所述的第一卷积层的卷积核大小为11x11,个数为96，步长为4；
所述的第一最大池化层窗口大小为3x3，步长为2；
所述的第二卷积层的卷积核大小为5x5,个数为256，步长为1；
所述的第二最大池化层窗口大小为3x3，步长为2；
所述的第三卷积层的卷积核大小为3x3,个数为384，步长为1；
所述的第四卷积层的卷积核大小为3x3,个数为384，步长为1；
所述的第五卷积层的卷积核大小为3x3,个数为256，步长为1；
所述的第三最大池化层窗口大小为3x3，步长为2；
所述的第一全连接层的维度为4096；
所述的第二全连接层的维度为4096；
所述的第三全连接层的维度为1000，与数据集中类别数保持相等即可；在整个网络中选择Relu函数作为激活函数。
步骤2：利用自组织映射算法预训练网络得到网络的初始化参数，具体步骤如下：
我们首先基于Python编写代码，搭建实现了AlexNet网络框架，该部分的实验均在CPU上运行。我们根据公式(1)和(2),在卷积层和全连接层中加入了自组织算法的更新规则，所有的反向传播过程是不需要的。我们根据Caffe框架提供的AlexNet网络设置初始化参数。为了利用自组织映射算法训练AlexNet网络，我们从ImageNet ILSVRC2012数据集中随机抽取了15个类别，每个类别随机抽取100张图片。每张图片的大小固定到227x227，并且每个像素的RGB通道需要分别减去对应的均值，进行归一化处理，RGB通道的均值根据抽取的所有样本计算可得。我们设置Batch_size等于5，实验共迭代训练了300次，η(t)的初始值设置为0.0001，在整个训练过程中，每迭代150次，学习率η(t)减半。整个训练过程大约持续了12个小时，训练结束后将所有卷积核的权值保存在文本文件中。
根据公式(1)所述，其窗函数具体如下：
Figure GDA0002667044810000061
其中，k表示第k个卷积核的位置,k*表示获胜卷积核的位置。
步骤3：修改损失函数
根据公式(3)和(4)，修改Caffe框架的交叉熵损失函数层，增加正则化项Lsom，它计算了网络中所有卷积层和全连接层中相邻卷积核之间权值的差值平方和，置λ为0.0004较为合适。ImageNet数据集总类别数为1000，对应第三全连接层的维度为1000，假设输入图片的真实类别为u，第三全连接层的第u维数据即为叉熵损失函数Lcls中的pu。
步骤4：网络训练
首先基于Caffe框架搭建好步骤1中的AlexNet网络，不需要如步骤(2)修改卷积层或全连接层的前向传播过程，保持卷积层和全连接层的原有前向传播过程不变即可。然后按照步骤3修改好网络的损失函数，还利用步骤2得到的卷积核权值初始化新搭建的AlexNet网络的卷积核。我们使用ImageNet ILSVRC2012数据集训练和验证网络，它共有1000个类别，每个类别有1300张训练图片，50张验证图片。当损失函数达到最小时网络训练完毕，得到神经元空间排布优化后的卷积神经网络模型。
步骤5：结果预测和评价
为了与其他实验结果做对比，我们在AlexNet的第三全连接层后面附加一个全连接层，保持1000维。在网络训练结束后，去除了附加的全连接层，我们只利用剩余的网络结构来评价网络性能。使用深度学习框架Caffe并采用随机梯度下降法SGD训练网络，网络最大迭代次数为450000，batch_size为256。设置初始学习率为0.01，网络每迭代训练100000次，学习率就乘以0.1。momentum为0.9，权重衰减项的平衡因子为0.0005。我们使用整个ImageNet数据集训练和验证网络，在训练网络前需要对训练集中的图片进行预处理，我们在每张图片的中心处附近随机进行裁剪，得到227x227固定大小的图片，并且每个像素的RGB通道需要分别减去对应的均值，进行归一化处理。这些操作利用Caffe提供的接口即可实现。网络的训练是在单个Titan X GPU上进行，整个训练过程持续了大约七天。待训练完成后，将最后的模型数据保存。
我们用三种不同的评价标准来评估本发明得到的网络模型。第一种是计算所有卷积层和全连接层中相邻核的权值分布的相似程度，第二种是计算网络输出空间神经元分布的有序程度，第三种是测量网络通过激活扩散方式的预测速度。
实验组别说明如下：
实验一是利用随机初始化网络参数，迭代训练直到网络收敛；
实验二是利用随机初始化网络参数，并修改损失函数，增加正则化项Lsom，迭代训练直到网络收敛；
实验三是利用随机初始化网络参数，并修改损失函数，增加正则化项Lsom，还随机打乱训练集中类别位置，迭代训练直到网络收敛；
第一种评价标准：计算所有卷积层和全连接层中相邻核的权值分布的相似程度，按照下面公式(6)进行计算，
Figure GDA0002667044810000081
N表示网络中所有卷积层和全连接层的核的个数，n1表示网络中卷积层的总数,n2表示网络中全连接层的总数，l表示卷积层的对应层数或者全连接层的对应层数，m1表示第l个卷积层中卷积核的个数，m2表示第l个全连接层中卷积核的个数，Wli表示第l个卷积层或全连接层第i个卷积核的权值；
Dis计算了网络中所有卷积层和全连接层中相邻核之间权值的差值平方和的均值。Dis越小，表示相邻核的权值分布越相似。
结果如表一，相比其他方法，本发明的Dis值更小，说明网络模型中卷积层或全连接层中相邻核的权值分布更相似。
Dis Top-1(val)
实验一 4.610 0.540
实验二 1.046 0.532
本发明 1.050 0.532
表一：第一种评价标准结果对比
其中，Top-1(val)表示利用验证集测试网络的分类精确度。
第二种评价标准：计算网络输出空间神经元分布的有序程度，这里使用ImageNet验证集作为测试数据，共5万张图像，1000类别，每个类别50张图片，我们利用模型预测每个类别的每张测试图片的输出响应位置，然后计算该类别的平均位置。按照下面公式(7)进行计算，
Figure GDA0002667044810000091
si是在WordNet中，第i类别与之距离最近的类别之间的距离，等于这两个类别节点到最近公共父节点的距离之和，di是第i类别的均值位置与之距离最近的类别的均值位置之间的距离。D值越小，说明输出空间神经元之间的语义组织关系更强，对语义相近类别敏感的神经元在网络空间中的分布位置也更相近。结果如下表二，相比其他几种不同方法，本发明的D值更小，表明其输出空间神经元的排列分布更有序，对语义相近类别敏感的神经元在网络空间中的分布位置也更相近。
si
D
实验一 39.9
实验二 33.1
实验三 110.5
本发明 31.3
表二：第二种评价标准结果对比
第三种评价标准：测量网络通过激活扩散方式的预测速度。我们用手机获取了一段关于杯子的视频，大约40秒，在图3展示了部分视频截图。我们每隔20帧抽取一张图片作为测试图片，一共抽取了50张测试图片。为了测量预测的速度，给定两个连续的测试图片，我们计算激活最强的神经元之间的距离，并将其作为响应时间的替代。更具体地，平均响应时间按照下面公式(8)进行计算，
Figure GDA0002667044810000101
Nf表示测试图片张数，ai表示第i张图片在第三全连接层神经元的响应位置。MRT值越小，说明网络通过激活扩散方式的预测速度更快。结果如表三，本发明的MRT值更小，说明本发明的网络模型通过激活扩散方式的预测速度更快。
MRT
实验一 219.08
实验二 131.48
本发明 127.14
表三：第三种评价标准结果对比
通过以上的评价标准和对比实验可知，本发明得到的卷积神经网络模型的神经元之间具有更好的语义组织关系，与人体内神经元的组织排列方式更相似。神经元的语义组织的用途也非常广泛，能够节省概念存储空间和加快概念检索速度。

Claims (7)

1.一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于包括以下步骤:
步骤1：搭建网络，输入为图片；
步骤2：利用自组织映射算法预训练网络得到网络的初始化参数；
步骤3：修改损失函数，即在交叉熵损失函数的基础上新加描述相邻卷积核权值分布相似性的正则化项；
步骤4：按照步骤1再次搭建好新的网络，然后利用步骤2得到的卷积核的权值，初始化新网络的卷积核的权值，利用图像分类的数据集ImageNet进行网络训练，利用反向传播算法不断更新网络的参数，当步骤3修改后得到的损失函数达到最小时结束训练，得到神经元空间排布优化后的卷积神经网络模型；将图像输入训练完成的卷积神经网络模型进行分类。
2.根据权利要求1所述的一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于：所述网络包括五个卷积层、三个最大池化层，以及三个全连接层，其连接顺序为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层、第三最大池化层、第一全连接层、第二全连接层、第三全连接层。
3.根据权利要求2所述的一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于：步骤1所述的网络具体如下：
所述的第一卷积层的卷积核大小为11x11,个数为96，步长为4；
所述的第一最大池化层窗口大小为3x3，步长为2；
所述的第二卷积层的卷积核大小为5x5,个数为256，步长为1；
所述的第二最大池化层窗口大小为3x3，步长为2；
所述的第三卷积层的卷积核大小为3x3,个数为384，步长为1；
所述的第四卷积层的卷积核大小为3x3,个数为384，步长为1；
所述的第五卷积层的卷积核大小为3x3,个数为256，步长为1；
所述的第三最大池化层窗口大小为3x3，步长为2；
所述的第一全连接层的维度为4096；
所述的第二全连接层的维度为4096；
所述的第三全连接层的维度与数据集中类别数保持相等即可；在整个网络中选择Relu函数作为激活函数。
4.根据权利要求1所述的一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于：步骤2所述的自组织映射算法预训练网络，具体步骤如下：
需要修改卷积层和全连接层的前向传播过程，在每个卷积层和每个全连接层内加入自组织映射的学习方式，即每当窗口滑动到当前位置时，分别计算每个卷积核与该窗口区域内像素的点积，并找到最大点积值对应的卷积核，称之为获胜的卷积核，并用公式(1)更新获胜的卷积核及其邻近卷积核的权重，然后窗口滑动到下一位置，重复相同的操作，其中权重更新公式如下：
Figure FDA0002741700700000021
Wl，k(q)表示第l层第k个卷积核在第q个位置时的权重，t为迭代次数，η(t)是学习速度，Λ(k,k*)是窗函数，k*表示获胜卷积核的位置，Φq表示卷积核在特征图上第q个位置上所覆盖的像素；第l层表示卷积层或者全连接层；
在根据公式(1)更新完获胜卷积核及其邻近卷积核的权重后，对这些卷积核的权重进行归一化操作，如下式(2)，
Figure FDA0002741700700000031
Figure FDA0002741700700000032
表示根据公式(1)更新完后的第l层第k个卷积核在第q个位置的权重，Wl，k(q+1)表示第l层第k个卷积核在第q+1个位置时的权重，μl，k和σl，k分别是根据公式(1)更新完后的第l层第k个卷积核权值的均值和方差，μ和σ分别为网络初始化时第l层第k个卷积核权值的均值和方差；
结合图像分类数据集，输入图像到网络，利用公式(1)和(2)不断更新网络中卷积核的权值，整个训练过程不需要反向传播算法更新卷积核的权值，达到预设的迭代次数后结束预训练过程，保存网络的所有卷积核的权值。
5.根据权利要求4所述的一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于：步骤2中所述的窗函数具体如下：
Figure FDA0002741700700000033
其中，k表示卷积核的位置,k*表示获胜卷积核的位置。
6.根据权利要求1所述的一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于：步骤3所述的损失函数具体公式如下，
L＝Lcls+Lsom (3)
L表示网络整体的损失函数，Lcls表示交叉熵损失函数，Lsom是用于描述网络中相邻核的权值分布相似程度的正则化项；
其中，Lcls＝-logpu，u表示人工标注图片的类别序号，pu表示网络预测该图片为类别序号u的概率；
Figure FDA0002741700700000041
λ为平衡因子，用来调节Lsom损失项对总体损失的影响，n1表示网络中卷积层的总数,n2表示网络中全连接层的总数，l表示卷积层的对应层数或者全连接层的对应层数，m1表示第l个卷积层中卷积核的个数，m2表示第l个全连接层中卷积核的个数，Wli表示第l个卷积层或全连接层第i个卷积核的权值。
7.根据权利要求5所述的一种利用优化神经元空间排布的卷积神经网络的图像分类方法，其特征在于：步骤4中所述的再次搭建好新的网络，不需要修改卷积层或全连接层的前向传播过程，保持卷积层和全连接层的原有前向传播过程不变即可。
CN201811634321.1A 2018-12-29 2018-12-29 一种利用优化神经元空间排布的卷积神经网络的图像分类方法 Active CN109740734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811634321.1A CN109740734B (zh) 2018-12-29 2018-12-29 一种利用优化神经元空间排布的卷积神经网络的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811634321.1A CN109740734B (zh) 2018-12-29 2018-12-29 一种利用优化神经元空间排布的卷积神经网络的图像分类方法

Publications (2)

Publication Number Publication Date
CN109740734A CN109740734A (zh) 2019-05-10
CN109740734B true CN109740734B (zh) 2020-12-04

Family

ID=66362219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811634321.1A Active CN109740734B (zh) 2018-12-29 2018-12-29 一种利用优化神经元空间排布的卷积神经网络的图像分类方法

Country Status (1)

Country Link
CN (1) CN109740734B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490239B (zh) * 2019-08-06 2024-02-27 腾讯医疗健康(深圳)有限公司 图像质控网络的训练方法、质量分类方法、装置及设备
CN111931913B (zh) * 2020-08-10 2023-08-01 西安电子科技大学 基于Caffe的卷积神经网络在FPGA上的部署方法
CN113269720B (zh) * 2021-04-16 2024-02-02 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113210936B (zh) * 2021-04-23 2022-05-31 张家港华程机车精密制管有限公司 一种直缝焊管的焊接方法、系统和可读介质
CN113255883B (zh) * 2021-05-07 2023-07-25 青岛大学 一种基于幂律分布的权重初始化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106033594A (zh) * 2015-03-11 2016-10-19 日本电气株式会社 基于卷积神经网络所获得特征的空间信息恢复方法及装置
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107516129A (zh) * 2017-08-01 2017-12-26 北京大学 基于维度自适应的Tucker分解的深度网络压缩方法
CN108122030A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种卷积神经网络的运算方法、装置和服务器
CN108416427A (zh) * 2018-02-22 2018-08-17 重庆信络威科技有限公司 卷积核堆积数据流、压缩编码以及深度学习算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033594A (zh) * 2015-03-11 2016-10-19 日本电气株式会社 基于卷积神经网络所获得特征的空间信息恢复方法及装置
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN108122030A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种卷积神经网络的运算方法、装置和服务器
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107516129A (zh) * 2017-08-01 2017-12-26 北京大学 基于维度自适应的Tucker分解的深度网络压缩方法
CN108416427A (zh) * 2018-02-22 2018-08-17 重庆信络威科技有限公司 卷积核堆积数据流、压缩编码以及深度学习算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自组织神经网络在信息处理中的应用研究;谭秀辉;《中国博士学位论文全文数据库 信息科技辑》;20160315(第03期);全文 *

Also Published As

Publication number Publication date
CN109740734A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN109740734B (zh) 一种利用优化神经元空间排布的卷积神经网络的图像分类方法
Kang et al. Operation-aware soft channel pruning using differentiable masks
US11816183B2 (en) Methods and systems for mining minority-class data samples for training a neural network
CN111882040B (zh) 基于通道数量搜索的卷积神经网络压缩方法
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN108073917A (zh) 一种基于卷积神经网络的人脸识别方法
CN107679617A (zh) 多次迭代的深度神经网络压缩方法
CN110473592B (zh) 一种多视角人类协同致死基因预测方法
CN112966114B (zh) 基于对称图卷积神经网络的文献分类方法和装置
CN114037844A (zh) 基于滤波器特征图的全局秩感知神经网络模型压缩方法
CN111881987A (zh) 基于深度学习的苹果病毒识别方法
CN111723915B (zh) 一种基于深度卷积神经网络的目标检测方法
US20210073633A1 (en) Neural network rank optimization device and optimization method
Vila et al. Bayesian nonlinear model selection and neural networks: A conjugate prior approach
CN110119805A (zh) 基于回声状态网络分类的卷积神经网络算法
CN109993208A (zh) 一种有噪声图像的聚类处理方法
CN111932091A (zh) 一种基于梯度生存提升树的生存分析风险函数预测方法
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
Wang et al. Towards efficient convolutional neural networks through low-error filter saliency estimation
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质
US11875263B2 (en) Method and apparatus for energy-aware deep neural network compression
CN117217282A (zh) 一种面向深度行人搜索模型的结构化剪枝方法
CN115907775A (zh) 基于深度学习的个人征信评级方法及其应用
Mihai et al. Optimizing a convolutional neural network using particle swarm optimization
Zhao et al. Iterative activation-based structured pruning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211122

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Shenzhen Xiaofeng Technology Co.,Ltd.

Address before: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing

Patentee before: Beijing University of Technology

TR01 Transfer of patent right