CN111814953B - 一种基于通道剪枝的深度卷积神经网络模型的定位方法 - Google Patents

Abstract

本发明涉及一种基于通道剪枝的深度卷积神经网络模型的定位方法，包括：构造基于深度卷积神经网络模型的位置定位基线识别模型；获取待定位区域中移动设备的无线电信号数据；将获取到的无线电信号数据进行预处理，得到无线电信号数据集；利用所述无线电信号数据集对位置定位基线识别模型进行训练和验证，得到预训练深度卷积神经网络模型；对所述预训练深度卷积神经网络模型进行通道剪枝，得到压缩的深度卷积神经网络模型；评估所述压缩的深度卷积神经网络模型的性能，并通过精确率、召回率和准确率来评估所述的压缩的深度卷积神经网络模型在预设类别下的定位性能。本发明通过剪枝技术来压缩模型，提高计算速度且定位性能高。

Description

一种基于通道剪枝的深度卷积神经网络模型的定位方法

技术领域

本发明涉及信息处理技术领域，特别是涉及一种基于通道剪枝的深度卷积神经网络模型的定位方法。

背景技术

随着现代通信技术和移动智能手机的发展，基于位置的服务应用在人们的生活中发挥着越来越重要的作用。利用4G、5G和广播电视等所有电磁波在内的一般的无线电信号进行定位时，分为两个阶段，离线阶段和在线阶段。离线阶段在指定的区域中进行频繁勘测，采集各个位置上的无线电信号，构建训练数据库。在线阶段，系统将对待定位的移动设备进行位置估计。采用深度神经网络可以避免手动分析特征和参数调整的耗时问题，然而庞大的神经网络模型难以实现硬件部署，阻碍了基于无线电信号定位识别技术在实际生活中的应用。

目前使用无线电信号进行定位的技术研究大多数在室内定位领域，采用滤波技术与WiFi信号结合的方法可实现室内机器人的粗略的定位，但其解决方案过于昂贵或不够可靠，无法进行定位的精确检查。有些研究表明，在大型建筑物中，可以使用无源摄像机或有源传感器获得精确的姿态定位，使用这些传感器可以同时定位并构建环境图，从而解决同步定位问题，但是无人摄像机价格昂贵并且环境图的处理需要大量计算，实现过程复杂，很难获得令人满意的结果。还有一些研究是基于机器学习利用无线电信号进行分层室内定位，使用最广泛的机器学习算法是KNN，从数据库中查询与所分析的信号最相似的k个记录信息从而实现定位，但是这个过程必须要进行耗时的数据分析才能筛选出具有代表性的数据以提高定位系统的精度。深度学习可以节省人工数据特征选取的时间并且定位准确度也较高，但是深度神经网络模型的规模十分庞大，这严重阻碍了模型在硬件上的部署，限制了这一技术在实际应用中的进一步发展。

发明内容

本发明所要解决的技术问题是提供一种基于通道剪枝的深度卷积神经网络模型的定位方法，减小了模型的复杂度，提高了运算速度且定位性能较好。

本发明解决其技术问题所采用的技术方案是：提供一种基于通道剪枝的深度卷积神经网络模型的定位方法，包括：

步骤(1)：构造基于深度卷积神经网络模型的位置定位基线识别模型；

步骤(2)：获取待定位区域中移动设备的无线电信号数据；

步骤(3)：将获取到的无线电信号数据进行预处理，得到无线电信号数据集；利用所述无线电信号数据集对所述位置定位基线识别模型进行训练和验证，得到预训练深度卷积神经网络模型；

步骤(4)：对所述预训练深度卷积神经网络模型进行通道剪枝，得到压缩的深度卷积神经网络模型；

步骤(5)：评估所述压缩的深度卷积神经网络模型的性能，并通过精确率、召回率和准确率来评估所述的压缩的深度卷积神经网络模型在预设类别下的定位性能。

所述位置定位基线识别模型中预设有待定位区域的历史信息。

所述无线电信号数据集包括数据集、验证集和测试集。

所述步骤(4)还包括：

步骤(41)：将所述预训练深度卷积神经网络模型中所有卷积层重新编号并排序，并统计所有卷积层的通道数；计算每个卷积层的所有通道性能参数α，公式为：

其中，表示第l层卷积层中第n号的滤波器的权重，||·||₂表示向量的L2范数，N_l表示第l层卷积层中滤波器的个数；

步骤(42)：将所述预训练深度卷积神经网络模型的剪枝个数设为P，对所有卷积层的通道性能参数α从大到小进行排序，选取通道性能参数最小的P个通道，记录并返回所述P个通道的卷积层号和通道编号；

步骤(43)：根据拟剪枝列表mask去除所述通道性能参数最小的P个通道及其对应的卷积核；

步骤(44)：对剪枝后的预训练深度卷积神经网络模型进行全网参数更新；

步骤(45)：判断剪枝是否结束，若剪枝结束，则使用所述无线电信号数据集来微调模型，微调结束后得到压缩的深度卷积神经网络模型并保存；若剪枝未结束，则重复所述步骤(41)至步骤(44)。

所述步骤(43)还包括：所有卷积层剪枝结束后，通过BatchNorm层的继承方式将被去除通道的前后通道相连，使被去除通道的卷积层的输出通道数与下一个卷积层的输入通道数相同。

所述步骤(43)还包括：最后一个卷积层的输出通道为分类数目，无需剪枝。

所述步骤(44)具体为：创建关于被去除卷积核的第i层卷积层和第i+1层卷积层的新权重参数，并将未被去除的卷积核的权重参数复制到所述剪枝后的预训练深度卷积神经网络模型中，完成参数更新。

所述步骤(5)具体为：所述压缩的深度卷积神经网络模型预测准确率的公式为：

其中，N_true表示预测正确的样本个数，N_test表示测试集样本总数；

设测试数据为X＝{x,y}，x表示所述测试数据的特征向量，y表示所述测试数据的真实标签，则所述压缩的深度卷积神经网络模型在预设类别下的定位性能通过精确率、召回率和准确率来表示，公式为：

其中，Precision为精确率，Recall为召回率，Acc为准确率；TP为真正类，表示为y＝k,y'＝k；TN为真负类，表示为y≠k,y'≠k；FP为假正类，表示为y≠k,y'＝k；FN为假负类，表示为y＝k,y'≠k，y'表示所述压缩的深度卷积神经网络输出的预测标签，k表示预设类别。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明将定位问题转化为基于深度卷积神经网络模型的多分类任务问题，本发明将计算复杂和网络庞大的深度卷积神经网络模型通过剪枝技术进行压缩，压缩的深度卷积神经网络模型计算速度快、耗时低且定位精度高，能够部署在实际应用的移动设备的应用程序中。方法可靠且实用性强，本发明还量化了关于压缩的深度卷积神经网络模型的定位准确率大小。对促进移动互联网背景下的定位技术的创新健康发展和普及应用具有十分重要的现实理论意义和应用价值。

附图说明

图1是本发明实施方式的工作环境示意图；

图2是本发明实施方式中关于移动互联网中用户设备端的组成结构示意图；

图3是本发明实施方式中关于压缩的深度卷积神经网络方法流程图；

图4是本发明实施方式中生成压缩的深度卷积神经网络的研究思路图；

图5是本发明实施方式的剪枝算法示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于通道剪枝的深度卷积神经网络模型的定位方法，如图1所示，为本发明实施方式的工作环境示意图，在预设的采集区域内使用信号采集器103采集设备101、102和104发射的无线电信号数据；将所采集到的无线电信号数据传到服务器105；所述服务器105对获得的数据进行预处理，预处理后得到无线电信号数据集；通过无线电信号数据集来对位置定位基线识别模型进行训练和验证，得到预训练深度卷积神经网络模型；利用通道剪枝技术对预训练深度卷积神经网络模型进行压缩，得到压缩的深度卷积神经网络模型；最后评估所述压缩的深度卷积神经网络模型的定位性能。

如图2所示，为本发明实施方式中关于移动互联网中用户设备端的组成结构示意图，包括处理器、数据库，以及嵌入在计算机应用程序中的基于压缩的深度卷积神经网络模型，嵌入所述压缩的深度卷积神经网络模型的作用是位置识别；该计算机应用程序由处理器执行；通信接口主要用于用户设备端和定位服务商之间的通信。图2中示出的结构，仅仅是与本实施方式相关的部分结构框图，并不构成本实施方式所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图3所示，为本发明实施方式中关于压缩的深度卷积神经网络方法流程图，该实施方式是以定位服务商端的处理过程为例进行说明。

如图3所示，本实施方式中的关于压缩的深度卷积神经网络模型的位置识别的实现方法包括：

S301：构造移动互联网中基于深度卷积神经网络模型的位置定位基线识别模型，所述位置定位基线识别模型中预设有待定位区域的历史信息；

S302：获取待定位区域中移动设备的无线电信号数据；

S303：将采集到的无线电信号数据进行预处理，所述预处理包括去均值、归一化和填充缺失值等，预处理后得到适合位置定位基线识别模型的无线电信号数据集，所述无线电信号数据集包括训练集、验证集和测试集，通过所述训练集来训练所述位置定位基线识别模型，可以得到多个感兴趣的深度卷积神经网络模型；所述验证集用于选出效果最佳的模型，即通过所述验证集可以从多个感兴趣的深度卷积神经网络模型中挑选出效果最佳的模型，该效果最佳的模型为预训练深度卷积神经网络模型，所述测试集用于评估所述效果最佳的模型的泛化能力；

S304：基于通道剪枝技术对所述预训练深度卷积神经网络模型进行压缩，得到压缩的深度卷积神经网络模型；

S305：用所述无线电信号数据集来测试和评估所述压缩的深度卷积神经网络模型的定位性能。

如图4所示，为本发明实施方式中生成压缩的深度卷积神经网络的研究思路图，定位服务商在获得服务器105的无线电信号数据集以后，并基于构建的位置定位基线识别模型得到已训练和验证好的深度卷积神经网络模型，该已训练和验证好的深度卷积神经网络模型即预训练深度卷积神经网络模型；在定位精度不降低的前提下，为进一步降低网络模型的复杂度，减少不必要的冗余，以及提高定位效率，需要对所述预训练深度卷积神经网络模型进行通道剪枝，用以生成适合部署于移动设备的压缩的深度卷积神经网络模型。

本实施方式中，采集的无线电信号数据集中的训练集共有M个样本，公式为：

D＝{X＝{x₀,x₁...,x_M},Y＝{y₀,y₁...,y_M}}，

其中，x_i表示第i个训练样本的特征向量，y_i表示第i个训练样本的标签，1≤i≤M。将所述位置定位基线识别模型中的滤波器参数向量记作：

其中，L表示位置定位基线识别模型中的卷积层数，C_l表示位置定位基线识别模型中第l层卷积层通道的数量，表示第l层卷积层第n号的滤波器的权重，/>表示第l层卷积层第n号的滤波器的偏置，1≤l≤L,1≤n≤N_l，N_l表示位置定位基线识别模型中第l层卷积层滤波器的个数。网络的损失函数记作C(D|W)，C(·)表示交叉熵损失函数。使用预处理后的训练集对所述位置定位基线识别模型进行训练，可得到位置定位基线识别模型中的滤波器参数向量W的确定值，从而得到预训练深度卷积神经网络模型。

进一步地，本实施方式定义了保留自适应网络精度的参数子集C(D|W')和C(D|W)，修剪要使得剪枝前后模型的性能几乎保持不变，即C(D|W')≈C(D|W)，C(·)表示交叉熵损失函数，D表示训练数据集，W表示剪枝前网络的通道数，W'表示剪枝后网络的通道数，通过通道剪枝技术对得到的预训练卷积深度神经网络模型进行压缩，压缩的主要思想是使得被剪枝后的模型权重损失最小，可以由如下公式来表示：

其中，该公式的约束条件为||W'||₀≤B，即||W'||₀中的L0范数限制了W'中非0参数向量个数最大为B，||·||₀表示L0范数。

上述过程为剪枝的主要思想，具体的剪枝步骤如图5所示，图5是本发明实施方式的剪枝算法示意图，具体包括以下步骤：

步骤(1)：首先对预训练深度卷积神经网络模型的神经元(即通道)的重要性进行评估。包括：将所述预训练深度卷积神经网络模型中所有卷积层重新编号并排序，并统计所有卷积层的通道数；计算每个卷积层的所有通道性能参数α，公式为：

其中，表示第l层卷积层中第n号的滤波器的权重，||·||₂表示向量的L2范数，N_l表示第l层卷积层中滤波器的个数。

步骤(2)：寻找预训练深度卷积神经网络模型中不重要的通道。将所述预训练深度卷积神经网络模型的剪枝个数设为P，对所有卷积层的通道性能参数α从大到小进行排序，选取通道性能参数最小的P个通道，即该P个通道为不重要的通道，记录并返回所述P个通道的卷积层号和通道编号。

步骤(3)：去除预训练深度卷积神经网络模型中不重要的通道。根据拟剪枝列表mask去除所述通道性能参数最小的P个通道及其对应的卷积核，该拟剪枝列表mask用于保存需要去除的卷积层号和通道编号，需要注意的是，最后一个卷积层的输出通道为分类数目，无需剪枝。所有卷积层剪枝结束后，依据邻近上一个卷积层的输出通道数，通过BatchNorm层的继承方式将被去除通道的前后通道相连，使被去除通道的卷积层的输出通道数与下一个卷积层的输入通道数相同。

步骤(4)：对剪枝后的预训练深度卷积神经网络模型进行全网参数更新。创建关于被去除卷积核的第i层卷积层和第i+1层卷积层的新权重参数，并将未被去除的卷积核的权重参数复制到所述剪枝后的预训练深度卷积神经网络模型中，完成参数更新

步骤(5)：判断剪枝是否结束，若剪枝结束，则使用所述无线电信号数据集来微调模型，微调结束后得到压缩的深度卷积神经网络模型并保存；若剪枝未结束，则重复所述步骤(1)至步骤(4)直到剪枝结束。

进一步地，本实施方式中通过无线电信号数据集对剪枝结束后得到的压缩的深度卷积神经网络模型进行定位性能检测，本实施方式将定位问题转化为基于深度卷积神经网络模型的T(T≥2)分类任务问题，T表示类别数目，对于一个测试数据X＝{x,y}，x表示所述测试数据的特征向量，y表示所述测试数据的真实标签，经过压缩的深度卷积神经网络后输出的预测标签为y'，对于所有测试数据，统计y＝y'(即预测正确)的样本个数，所述压缩的深度卷积神经网络模型预测准确率的公式为：

其中，N_true表示预测正确的样本个数，N_test表示测试集样本总数；该公式评估了压缩的深度卷积神经网络在整体测试集上的准确率。

为了使评价指标更公平和更具说服力，本实施方式还评估了所述压缩的深度卷积神经网络在每一类任务上的精确率、召回率和准确率，以使模型更可靠。对于一个测试数据X＝{x,y}，x表示所述测试数据的特征向量，y表示所述测试数据的真实标签，则所述压缩的深度卷积神经网络模型在预设类别下的定位性能通过精确率、召回率和准确率来表示，公式为：

其中，Precision表示精确率，Recall表示召回率，Acc表示准确率；

TP为真正类，表示为y＝k,y'＝k；

TN为真负类，表示为y≠k,y'≠k；

FP为假正类，表示为y≠k,y'＝k；

FN为假负类，表示为y＝k,y'≠k；

y'表示所述压缩的深度卷积神经网络输出的预测标签，k表示预设类别。

由此可见，本发明从深度卷积神经网络角度探索了关于无线电信号定位的问题，把定位问题通过深度卷积神经网络转换为多分类任务问题，在精度不丧失的前提下通过剪枝技术来压缩模型，减少冗余数据，大幅度提高计算速度，以实现压缩的深度卷积神经网络模型能够部署在移动设备应用程序中，本发明还量化了压缩的深度卷积神经网络模型的定位准确率大小。

Claims (7)

1.一种基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，包括：

步骤(1)：构造基于深度卷积神经网络模型的位置定位基线识别模型；

步骤(2)：获取待定位区域中移动设备的无线电信号数据；

步骤(3)：将获取到的无线电信号数据进行预处理，得到无线电信号数据集；利用所述无线电信号数据集对所述位置定位基线识别模型进行训练和验证，得到预训练深度卷积神经网络模型；

步骤(4)：对所述预训练深度卷积神经网络模型进行通道剪枝，得到压缩的深度卷积神经网络模型；具体包括：

步骤(41)：将所述预训练深度卷积神经网络模型中所有卷积层重新编号并排序，并统计所有卷积层的通道数；计算每个卷积层的所有通道性能参数α，公式为：

其中，表示第l层卷积层中第n号的滤波器的权重，||·||₂表示向量的L2范数，N_l表示第l层卷积层中滤波器的个数；

步骤(42)：将所述预训练深度卷积神经网络模型的剪枝个数设为P，对所有卷积层的通道性能参数α从大到小进行排序，选取通道性能参数最小的P个通道，记录并返回所述P个通道的卷积层号和通道编号；

步骤(43)：根据拟剪枝列表mask去除所述通道性能参数最小的P个通道及其对应的卷积核；

步骤(44)：对剪枝后的预训练深度卷积神经网络模型进行全网参数更新；

步骤(45)：判断剪枝是否结束，若剪枝结束，则使用所述无线电信号数据集来微调模型，微调结束后得到压缩的深度卷积神经网络模型并保存；若剪枝未结束，则重复所述步骤(41)至步骤(44)；

步骤(5)：评估所述压缩的深度卷积神经网络模型的性能，并通过精确率、召回率和准确率来评估所述的压缩的深度卷积神经网络模型在预设类别下的定位性能。

2.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，所述位置定位基线识别模型中预设有待定位区域的历史信息。

3.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，所述无线电信号数据集包括数据集、验证集和测试集。

4.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，所述步骤(43)还包括：所有卷积层剪枝结束后，通过BatchNorm层的继承方式将被去除通道的前后通道相连，使被去除通道的卷积层的输出通道数与下一个卷积层的输入通道数相同。

5.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，所述步骤(43)还包括：最后一个卷积层的输出通道为分类数目，无需剪枝。

6.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，所述步骤(44)具体为：创建关于被去除卷积核的第i层卷积层和第i+1层卷积层的新权重参数，并将未被去除的卷积核的权重参数复制到所述剪枝后的预训练深度卷积神经网络模型中，完成参数更新。

7.根据权利要求1所述的基于通道剪枝的深度卷积神经网络模型的定位方法，其特征在于，所述步骤(5)具体为：所述压缩的深度卷积神经网络模型预测准确率的公式为：

其中，N_true表示预测正确的样本个数，N_test表示测试集样本总数；

设测试数据为X＝{x,y}，x表示所述测试数据的特征向量，y表示所述测试数据的真实标签，则所述压缩的深度卷积神经网络模型在预设类别下的定位性能通过精确率、召回率和准确率来表示，公式为：

其中，Precision为精确率，Recall为召回率，Acc为准确率；TP为真正类，表示为y＝k,y'＝k；TN为真负类，表示为y≠k,y'≠k；FP为假正类，表示为y≠k,y'＝k；FN为假负类，表示为y＝k,y'≠k，y'表示所述压缩的深度卷积神经网络输出的预测标签，k表示预设类别。