CN111814953A - 一种基于通道剪枝的深度卷积神经网络模型的定位方法 - Google Patents
一种基于通道剪枝的深度卷积神经网络模型的定位方法 Download PDFInfo
- Publication number
- CN111814953A CN111814953A CN202010548786.6A CN202010548786A CN111814953A CN 111814953 A CN111814953 A CN 111814953A CN 202010548786 A CN202010548786 A CN 202010548786A CN 111814953 A CN111814953 A CN 111814953A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- convolutional neural
- deep convolutional
- pruning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 90
- 238000013138 pruning Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种基于通道剪枝的深度卷积神经网络模型的定位方法,包括:构造基于深度卷积神经网络模型的位置定位基线识别模型;获取待定位区域中移动设备的无线电信号数据;将获取到的无线电信号数据进行预处理,得到无线电信号数据集;利用所述无线电信号数据集对位置定位基线识别模型进行训练和验证,得到预训练深度卷积神经网络模型;对所述预训练深度卷积神经网络模型进行通道剪枝,得到压缩的深度卷积神经网络模型;评估所述压缩的深度卷积神经网络模型的性能,并通过精确率、召回率和准确率来评估所述的压缩的深度卷积神经网络模型在预设类别下的定位性能。本发明通过剪枝技术来压缩模型,提高计算速度且定位性能高。
Description
技术领域
本发明涉及信息处理技术领域,特别是涉及一种基于通道剪枝的深度卷积神经网络模型的定位方法。
背景技术
随着现代通信技术和移动智能手机的发展,基于位置的服务应用在人们的生活中发挥着越来越重要的作用。利用4G、5G和广播电视等所有电磁波在内的一般的无线电信号进行定位时,分为两个阶段,离线阶段和在线阶段。离线阶段在指定的区域中进行频繁勘测,采集各个位置上的无线电信号,构建训练数据库。在线阶段,系统将对待定位的移动设备进行位置估计。采用深度神经网络可以避免手动分析特征和参数调整的耗时问题,然而庞大的神经网络模型难以实现硬件部署,阻碍了基于无线电信号定位识别技术在实际生活中的应用。
目前使用无线电信号进行定位的技术研究大多数在室内定位领域,采用滤波技术与WiFi信号结合的方法可实现室内机器人的粗略的定位,但其解决方案过于昂贵或不够可靠,无法进行定位的精确检查。有些研究表明,在大型建筑物中,可以使用无源摄像机或有源传感器获得精确的姿态定位,使用这些传感器可以同时定位并构建环境图,从而解决同步定位问题,但是无人摄像机价格昂贵并且环境图的处理需要大量计算,实现过程复杂,很难获得令人满意的结果。还有一些研究是基于机器学习利用无线电信号进行分层室内定位,使用最广泛的机器学习算法是KNN,从数据库中查询与所分析的信号最相似的k个记录信息从而实现定位,但是这个过程必须要进行耗时的数据分析才能筛选出具有代表性的数据以提高定位系统的精度。深度学习可以节省人工数据特征选取的时间并且定位准确度也较高,但是深度神经网络模型的规模十分庞大,这严重阻碍了模型在硬件上的部署,限制了这一技术在实际应用中的进一步发展。
发明内容
本发明所要解决的技术问题是提供一种基于通道剪枝的深度卷积神经网络模型的定位方法,减小了模型的复杂度,提高了运算速度且定位性能较好。
本发明解决其技术问题所采用的技术方案是:提供一种基于通道剪枝的深度卷积神经网络模型的定位方法,包括:
步骤(1):构造基于深度卷积神经网络模型的位置定位基线识别模型;
步骤(2):获取待定位区域中移动设备的无线电信号数据;
步骤(3):将获取到的无线电信号数据进行预处理,得到无线电信号数据集;利用所述无线电信号数据集对所述位置定位基线识别模型进行训练和验证,得到预训练深度卷积神经网络模型;
步骤(4):对所述预训练深度卷积神经网络模型进行通道剪枝,得到压缩的深度卷积神经网络模型;
步骤(5):评估所述压缩的深度卷积神经网络模型的性能,并通过精确率、召回率和准确率来评估所述的压缩的深度卷积神经网络模型在预设类别下的定位性能。
所述位置定位基线识别模型中预设有待定位区域的历史信息。
所述无线电信号数据集包括数据集、验证集和测试集。
所述步骤(4)还包括:
步骤(41):将所述预训练深度卷积神经网络模型中所有卷积层重新编号并排序,并统计所有卷积层的通道数;计算每个卷积层的所有通道性能参数α,公式为:
步骤(42):将所述预训练深度卷积神经网络模型的剪枝个数设为P,对所有卷积层的通道性能参数α从大到小进行排序,选取通道性能参数最小的P个通道,记录并返回所述P个通道的卷积层号和通道编号;
步骤(43):根据拟剪枝列表mask去除所述通道性能参数最小的P个通道及其对应的卷积核;
步骤(44):对剪枝后的预训练深度卷积神经网络模型进行全网参数更新;
步骤(45):判断剪枝是否结束,若剪枝结束,则使用所述无线电信号数据集来微调模型,微调结束后得到压缩的深度卷积神经网络模型并保存;若剪枝未结束,则重复所述步骤(41)至步骤(44)。
所述步骤(43)还包括:所有卷积层剪枝结束后,通过BatchNorm层的继承方式将被去除通道的前后通道相连,使被去除通道的卷积层的输出通道数与下一个卷积层的输入通道数相同。
所述步骤(43)还包括:最后一个卷积层的输出通道为分类数目,无需剪枝。
所述步骤(44)具体为:创建关于被去除卷积核的第i层卷积层和第i+1层卷积层的新权重参数,并将未被去除的卷积核的权重参数复制到所述剪枝后的预训练深度卷积神经网络模型中,完成参数更新。
所述步骤(5)具体为:所述压缩的深度卷积神经网络模型预测准确率的公式为:
其中,Ntrue表示预测正确的样本个数,Ntest表示测试集样本总数;
设测试数据为X={x,y},x表示所述测试数据的特征向量,y表示所述测试数据的真实标签,则所述压缩的深度卷积神经网络模型在预设类别下的定位性能通过精确率、召回率和准确率来表示,公式为:
其中,Precision为精确率,Recall为召回率,Acc为准确率;TP为真正类,表示为y=k,y'=k;TN为真负类,表示为y≠k,y'≠k;FP为假正类,表示为y≠k,y'=k;FN为假负类,表示为y=k,y'≠k,y'表示所述压缩的深度卷积神经网络输出的预测标签,k表示预设类别。
有益效果
由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:本发明将定位问题转化为基于深度卷积神经网络模型的多分类任务问题,本发明将计算复杂和网络庞大的深度卷积神经网络模型通过剪枝技术进行压缩,压缩的深度卷积神经网络模型计算速度快、耗时低且定位精度高,能够部署在实际应用的移动设备的应用程序中。方法可靠且实用性强,本发明还量化了关于压缩的深度卷积神经网络模型的定位准确率大小。对促进移动互联网背景下的定位技术的创新健康发展和普及应用具有十分重要的现实理论意义和应用价值。
附图说明
图1是本发明实施方式的工作环境示意图;
图2是本发明实施方式中关于移动互联网中用户设备端的组成结构示意图;
图3是本发明实施方式中关于压缩的深度卷积神经网络方法流程图;
图4是本发明实施方式中生成压缩的深度卷积神经网络的研究思路图;
图5是本发明实施方式的剪枝算法示意图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于通道剪枝的深度卷积神经网络模型的定位方法,如图1所示,为本发明实施方式的工作环境示意图,在预设的采集区域内使用信号采集器103采集设备101、102和104发射的无线电信号数据;将所采集到的无线电信号数据传到服务器105;所述服务器105对获得的数据进行预处理,预处理后得到无线电信号数据集;通过无线电信号数据集来对位置定位基线识别模型进行训练和验证,得到预训练深度卷积神经网络模型;利用通道剪枝技术对预训练深度卷积神经网络模型进行压缩,得到压缩的深度卷积神经网络模型;最后评估所述压缩的深度卷积神经网络模型的定位性能。
如图2所示,为本发明实施方式中关于移动互联网中用户设备端的组成结构示意图,包括处理器、数据库,以及嵌入在计算机应用程序中的基于压缩的深度卷积神经网络模型,嵌入所述压缩的深度卷积神经网络模型的作用是位置识别;该计算机应用程序由处理器执行;通信接口主要用于用户设备端和定位服务商之间的通信。图2中示出的结构,仅仅是与本实施方式相关的部分结构框图,并不构成本实施方式所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,为本发明实施方式中关于压缩的深度卷积神经网络方法流程图,该实施方式是以定位服务商端的处理过程为例进行说明。
如图3所示,本实施方式中的关于压缩的深度卷积神经网络模型的位置识别的实现方法包括:
S301:构造移动互联网中基于深度卷积神经网络模型的位置定位基线识别模型,所述位置定位基线识别模型中预设有待定位区域的历史信息;
S302:获取待定位区域中移动设备的无线电信号数据;
S303:将采集到的无线电信号数据进行预处理,所述预处理包括去均值、归一化和填充缺失值等,预处理后得到适合位置定位基线识别模型的无线电信号数据集,所述无线电信号数据集包括训练集、验证集和测试集,通过所述训练集来训练所述位置定位基线识别模型,可以得到多个感兴趣的深度卷积神经网络模型;所述验证集用于选出效果最佳的模型,即通过所述验证集可以从多个感兴趣的深度卷积神经网络模型中挑选出效果最佳的模型,该效果最佳的模型为预训练深度卷积神经网络模型,所述测试集用于评估所述效果最佳的模型的泛化能力;
S304:基于通道剪枝技术对所述预训练深度卷积神经网络模型进行压缩,得到压缩的深度卷积神经网络模型;
S305:用所述无线电信号数据集来测试和评估所述压缩的深度卷积神经网络模型的定位性能。
如图4所示,为本发明实施方式中生成压缩的深度卷积神经网络的研究思路图,定位服务商在获得服务器105的无线电信号数据集以后,并基于构建的位置定位基线识别模型得到已训练和验证好的深度卷积神经网络模型,该已训练和验证好的深度卷积神经网络模型即预训练深度卷积神经网络模型;在定位精度不降低的前提下,为进一步降低网络模型的复杂度,减少不必要的冗余,以及提高定位效率,需要对所述预训练深度卷积神经网络模型进行通道剪枝,用以生成适合部署于移动设备的压缩的深度卷积神经网络模型。
本实施方式中,采集的无线电信号数据集中的训练集共有M个样本,公式为:
D={X={x0,x1...,xM},Y={y0,y1...,yM}},
其中,xi表示第i个训练样本的特征向量,yi表示第i个训练样本的标签,1≤i≤M。将所述位置定位基线识别模型中的滤波器参数向量记作:
其中,L表示位置定位基线识别模型中的卷积层数,Cl表示位置定位基线识别模型中第l层卷积层通道的数量,表示第l层卷积层第n号的滤波器的权重,表示第l层卷积层第n号的滤波器的偏置,1≤l≤L,1≤n≤Nl,Nl表示位置定位基线识别模型中第l层卷积层滤波器的个数。网络的损失函数记作C(D|W),C(·)表示交叉熵损失函数。使用预处理后的训练集对所述位置定位基线识别模型进行训练,可得到位置定位基线识别模型中的滤波器参数向量W的确定值,从而得到预训练深度卷积神经网络模型。
进一步地,本实施方式定义了保留自适应网络精度的参数子集C(D|W')和C(D|W),修剪要使得剪枝前后模型的性能几乎保持不变,即C(D|W')≈C(D|W),C(·)表示交叉熵损失函数,D表示训练数据集,W表示剪枝前网络的通道数,W'表示剪枝后网络的通道数,通过通道剪枝技术对得到的预训练卷积深度神经网络模型进行压缩,压缩的主要思想是使得被剪枝后的模型权重损失最小,可以由如下公式来表示:
其中,该公式的约束条件为||W'||0≤B,即||W'||0中的L0范数限制了W'中非0参数向量个数最大为B,||·||0表示L0范数。
上述过程为剪枝的主要思想,具体的剪枝步骤如图5所示,图5是本发明实施方式的剪枝算法示意图,具体包括以下步骤:
步骤(1):首先对预训练深度卷积神经网络模型的神经元(即通道)的重要性进行评估。包括:将所述预训练深度卷积神经网络模型中所有卷积层重新编号并排序,并统计所有卷积层的通道数;计算每个卷积层的所有通道性能参数α,公式为:
步骤(2):寻找预训练深度卷积神经网络模型中不重要的通道。将所述预训练深度卷积神经网络模型的剪枝个数设为P,对所有卷积层的通道性能参数α从大到小进行排序,选取通道性能参数最小的P个通道,即该P个通道为不重要的通道,记录并返回所述P个通道的卷积层号和通道编号。
步骤(3):去除预训练深度卷积神经网络模型中不重要的通道。根据拟剪枝列表mask去除所述通道性能参数最小的P个通道及其对应的卷积核,该拟剪枝列表mask用于保存需要去除的卷积层号和通道编号,需要注意的是,最后一个卷积层的输出通道为分类数目,无需剪枝。所有卷积层剪枝结束后,依据邻近上一个卷积层的输出通道数,通过BatchNorm层的继承方式将被去除通道的前后通道相连,使被去除通道的卷积层的输出通道数与下一个卷积层的输入通道数相同。
步骤(4):对剪枝后的预训练深度卷积神经网络模型进行全网参数更新。创建关于被去除卷积核的第i层卷积层和第i+1层卷积层的新权重参数,并将未被去除的卷积核的权重参数复制到所述剪枝后的预训练深度卷积神经网络模型中,完成参数更新
步骤(5):判断剪枝是否结束,若剪枝结束,则使用所述无线电信号数据集来微调模型,微调结束后得到压缩的深度卷积神经网络模型并保存;若剪枝未结束,则重复所述步骤(1)至步骤(4)直到剪枝结束。
进一步地,本实施方式中通过无线电信号数据集对剪枝结束后得到的压缩的深度卷积神经网络模型进行定位性能检测,本实施方式将定位问题转化为基于深度卷积神经网络模型的T(T≥2)分类任务问题,T表示类别数目,对于一个测试数据X={x,y},x表示所述测试数据的特征向量,y表示所述测试数据的真实标签,经过压缩的深度卷积神经网络后输出的预测标签为y',对于所有测试数据,统计y=y'(即预测正确)的样本个数,所述压缩的深度卷积神经网络模型预测准确率的公式为:
其中,Ntrue表示预测正确的样本个数,Ntest表示测试集样本总数;该公式评估了压缩的深度卷积神经网络在整体测试集上的准确率。
为了使评价指标更公平和更具说服力,本实施方式还评估了所述压缩的深度卷积神经网络在每一类任务上的精确率、召回率和准确率,以使模型更可靠。对于一个测试数据X={x,y},x表示所述测试数据的特征向量,y表示所述测试数据的真实标签,则所述压缩的深度卷积神经网络模型在预设类别下的定位性能通过精确率、召回率和准确率来表示,公式为:
其中,Precision表示精确率,Recall表示召回率,Acc表示准确率;
TP为真正类,表示为y=k,y'=k;
TN为真负类,表示为y≠k,y'≠k;
FP为假正类,表示为y≠k,y'=k;
FN为假负类,表示为y=k,y'≠k;
y'表示所述压缩的深度卷积神经网络输出的预测标签,k表示预设类别。
由此可见,本发明从深度卷积神经网络角度探索了关于无线电信号定位的问题,把定位问题通过深度卷积神经网络转换为多分类任务问题,在精度不丧失的前提下通过剪枝技术来压缩模型,减少冗余数据,大幅度提高计算速度,以实现压缩的深度卷积神经网络模型能够部署在移动设备应用程序中,本发明还量化了压缩的深度卷积神经网络模型的定位准确率大小。
Claims (8)
1.一种基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,包括:
步骤(1):构造基于深度卷积神经网络模型的位置定位基线识别模型;
步骤(2):获取待定位区域中移动设备的无线电信号数据;
步骤(3):将获取到的无线电信号数据进行预处理,得到无线电信号数据集;利用所述无线电信号数据集对所述位置定位基线识别模型进行训练和验证,得到预训练深度卷积神经网络模型;
步骤(4):对所述预训练深度卷积神经网络模型进行通道剪枝,得到压缩的深度卷积神经网络模型;
步骤(5):评估所述压缩的深度卷积神经网络模型的性能,并通过精确率、召回率和准确率来评估所述的压缩的深度卷积神经网络模型在预设类别下的定位性能。
2.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述位置定位基线识别模型中预设有待定位区域的历史信息。
3.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述无线电信号数据集包括数据集、验证集和测试集。
4.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述步骤(4)还包括:
步骤(41):将所述预训练深度卷积神经网络模型中所有卷积层重新编号并排序,并统计所有卷积层的通道数;计算每个卷积层的所有通道性能参数α,公式为:
步骤(42):将所述预训练深度卷积神经网络模型的剪枝个数设为P,对所有卷积层的通道性能参数α从大到小进行排序,选取通道性能参数最小的P个通道,记录并返回所述P个通道的卷积层号和通道编号;
步骤(43):根据拟剪枝列表mask去除所述通道性能参数最小的P个通道及其对应的卷积核;
步骤(44):对剪枝后的预训练深度卷积神经网络模型进行全网参数更新;
步骤(45):判断剪枝是否结束,若剪枝结束,则使用所述无线电信号数据集来微调模型,微调结束后得到压缩的深度卷积神经网络模型并保存;若剪枝未结束,则重复所述步骤(41)至步骤(44)。
5.根据权利要求4所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述步骤(43)还包括:所有卷积层剪枝结束后,通过BatchNorm层的继承方式将被去除通道的前后通道相连,使被去除通道的卷积层的输出通道数与下一个卷积层的输入通道数相同。
6.根据权利要求4所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述步骤(43)还包括:最后一个卷积层的输出通道为分类数目,无需剪枝。
7.根据权利要求4所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述步骤(44)具体为:创建关于被去除卷积核的第i层卷积层和第i+1层卷积层的新权重参数,并将未被去除的卷积核的权重参数复制到所述剪枝后的预训练深度卷积神经网络模型中,完成参数更新。
8.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法,其特征在于,所述步骤(5)具体为:所述压缩的深度卷积神经网络模型预测准确率的公式为:
其中,Ntrue表示预测正确的样本个数,Ntest表示测试集样本总数;
设测试数据为X={x,y},x表示所述测试数据的特征向量,y表示所述测试数据的真实标签,则所述压缩的深度卷积神经网络模型在预设类别下的定位性能通过精确率、召回率和准确率来表示,公式为:
其中,Precision为精确率,Recall为召回率,Acc为准确率;TP为真正类,表示为y=k,y'=k;TN为真负类,表示为y≠k,y'≠k;FP为假正类,表示为y≠k,y'=k;FN为假负类,表示为y=k,y'≠k,y'表示所述压缩的深度卷积神经网络输出的预测标签,k表示预设类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010548786.6A CN111814953B (zh) | 2020-06-16 | 2020-06-16 | 一种基于通道剪枝的深度卷积神经网络模型的定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010548786.6A CN111814953B (zh) | 2020-06-16 | 2020-06-16 | 一种基于通道剪枝的深度卷积神经网络模型的定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814953A true CN111814953A (zh) | 2020-10-23 |
CN111814953B CN111814953B (zh) | 2024-02-13 |
Family
ID=72846558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010548786.6A Active CN111814953B (zh) | 2020-06-16 | 2020-06-16 | 一种基于通道剪枝的深度卷积神经网络模型的定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814953B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107064913A (zh) * | 2017-03-10 | 2017-08-18 | 上海斐讯数据通信技术有限公司 | 一种基于深度学习的无线定位方法及系统 |
CN107979554A (zh) * | 2017-11-17 | 2018-05-01 | 西安电子科技大学 | 基于多尺度卷积神经网络的无线电信号调制识别方法 |
CN108460801A (zh) * | 2017-06-12 | 2018-08-28 | 炬大科技有限公司 | 一种通过图像识别方式达成室内任务目标位置确定的系统和方法 |
CN109344772A (zh) * | 2018-09-30 | 2019-02-15 | 中国人民解放军战略支援部队信息工程大学 | 基于谱图和深度卷积网络的超短波特定信号侦察方法 |
US20190150006A1 (en) * | 2017-11-15 | 2019-05-16 | Futurewei Technologies, Inc. | Predicting received signal strength in a telecommunication network using deep neural networks |
KR20190053470A (ko) * | 2017-11-10 | 2019-05-20 | 주식회사 셀리지온 | 딥러닝 기반 측위 시스템 및 이의 구축 방법 |
KR20190072900A (ko) * | 2017-12-18 | 2019-06-26 | 한밭대학교 산학협력단 | 딥러닝을 이용한 무선 측위 장치 및 방법 |
US20190370658A1 (en) * | 2018-05-31 | 2019-12-05 | Kneron (Taiwan) Co., Ltd. | Self-Tuning Incremental Model Compression Solution in Deep Neural Network with Guaranteed Accuracy Performance |
CN110555518A (zh) * | 2019-09-10 | 2019-12-10 | 山东浪潮人工智能研究院有限公司 | 一种基于feature map重要性得分的通道剪枝方法及系统 |
CN110782019A (zh) * | 2019-10-28 | 2020-02-11 | 中国科学院自动化研究所 | 基于分解和剪枝的卷积神经网络压缩方法、系统、装置 |
CN110969240A (zh) * | 2019-11-14 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 一种深度卷积神经网络的剪枝方法、装置、设备及介质 |
CN111144551A (zh) * | 2019-12-27 | 2020-05-12 | 浙江大学 | 一种基于特征方差比的卷积神经网络通道剪枝方法 |
CN111222640A (zh) * | 2020-01-11 | 2020-06-02 | 电子科技大学 | 一种信号识别卷积神经网络卷积核分区剪枝方法 |
-
2020
- 2020-06-16 CN CN202010548786.6A patent/CN111814953B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107064913A (zh) * | 2017-03-10 | 2017-08-18 | 上海斐讯数据通信技术有限公司 | 一种基于深度学习的无线定位方法及系统 |
CN108460801A (zh) * | 2017-06-12 | 2018-08-28 | 炬大科技有限公司 | 一种通过图像识别方式达成室内任务目标位置确定的系统和方法 |
KR20190053470A (ko) * | 2017-11-10 | 2019-05-20 | 주식회사 셀리지온 | 딥러닝 기반 측위 시스템 및 이의 구축 방법 |
US20190150006A1 (en) * | 2017-11-15 | 2019-05-16 | Futurewei Technologies, Inc. | Predicting received signal strength in a telecommunication network using deep neural networks |
CN107979554A (zh) * | 2017-11-17 | 2018-05-01 | 西安电子科技大学 | 基于多尺度卷积神经网络的无线电信号调制识别方法 |
KR20190072900A (ko) * | 2017-12-18 | 2019-06-26 | 한밭대학교 산학협력단 | 딥러닝을 이용한 무선 측위 장치 및 방법 |
US20190370658A1 (en) * | 2018-05-31 | 2019-12-05 | Kneron (Taiwan) Co., Ltd. | Self-Tuning Incremental Model Compression Solution in Deep Neural Network with Guaranteed Accuracy Performance |
CN109344772A (zh) * | 2018-09-30 | 2019-02-15 | 中国人民解放军战略支援部队信息工程大学 | 基于谱图和深度卷积网络的超短波特定信号侦察方法 |
CN110555518A (zh) * | 2019-09-10 | 2019-12-10 | 山东浪潮人工智能研究院有限公司 | 一种基于feature map重要性得分的通道剪枝方法及系统 |
CN110782019A (zh) * | 2019-10-28 | 2020-02-11 | 中国科学院自动化研究所 | 基于分解和剪枝的卷积神经网络压缩方法、系统、装置 |
CN110969240A (zh) * | 2019-11-14 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 一种深度卷积神经网络的剪枝方法、装置、设备及介质 |
CN111144551A (zh) * | 2019-12-27 | 2020-05-12 | 浙江大学 | 一种基于特征方差比的卷积神经网络通道剪枝方法 |
CN111222640A (zh) * | 2020-01-11 | 2020-06-02 | 电子科技大学 | 一种信号识别卷积神经网络卷积核分区剪枝方法 |
Non-Patent Citations (4)
Title |
---|
ASHISH KHETAN等: "PruneNet: Channel Pruning via Global Importance", 《ARXIV:2005.11282V1》, pages 1 - 12 * |
彭康坚: "基于目标检测的神经网络压缩与优化算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2020, pages 138 - 1252 * |
徐国现: "基于参数修剪和共享的深度神经网络模型压缩方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2020, pages 140 - 92 * |
秦嘉: "基于深度学习的通信辐射源个体识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, pages 136 - 87 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814953B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598881A (zh) | 基于变分自编码器的图像异常检测方法 | |
CN109871780B (zh) | 一种人脸质量判决方法、系统及人脸识别方法、系统 | |
CN111048114A (zh) | 一种设备异常声音检测的设备及方法 | |
CN112597867A (zh) | 戴口罩人脸识别方法、系统、计算机设备及存储介质 | |
EP2907121B1 (en) | Real-time traffic detection | |
CN112735473B (zh) | 基于声音识别无人机的方法及系统 | |
CN112367273B (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
CN110675395A (zh) | 输电线路智能在线监测方法 | |
CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
CN104616002A (zh) | 用于年龄段判断的面部识别设备 | |
CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
CN112580512A (zh) | 一种基于通道裁剪的轻量级无人机目标检测方法 | |
CN108762503A (zh) | 一种基于多模态数据采集的人机交互系统 | |
CN114742211B (zh) | 一种面向微控制器的卷积神经网络部署和优化方法 | |
CN112560748A (zh) | 一种农作物形状分析子系统和方法 | |
CN116386120A (zh) | 一种无感监控管理系统 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN114140663A (zh) | 一种基于多尺度注意力学习网络的害虫识别方法及系统 | |
CN113222920A (zh) | 基于剪枝YOLOv3的吸管缺陷检测方法 | |
CN117611830A (zh) | 一种基于少样本标注的任意类别目标定位与计数方法 | |
CN112560749A (zh) | 一种农作物分析系统和分析方法 | |
CN111814953B (zh) | 一种基于通道剪枝的深度卷积神经网络模型的定位方法 | |
CN112084913A (zh) | 一种端到端的人体检测与属性识别方法 | |
CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
CN115830381A (zh) | 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |