CN114580636A - 基于三目标联合优化的神经网络轻量化部署方法 - Google Patents

基于三目标联合优化的神经网络轻量化部署方法 Download PDF

Info

Publication number
CN114580636A
CN114580636A CN202210486138.1A CN202210486138A CN114580636A CN 114580636 A CN114580636 A CN 114580636A CN 202210486138 A CN202210486138 A CN 202210486138A CN 114580636 A CN114580636 A CN 114580636A
Authority
CN
China
Prior art keywords
reference line
network model
model
terminal equipment
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210486138.1A
Other languages
English (en)
Other versions
CN114580636B (zh
Inventor
张量
方立刚
吴尘
鲜学丰
周亚峰
董虎胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Modern Enterprise Informatization Application & Support Software Engineering Technology Research & Development Center
Original Assignee
Jiangsu Modern Enterprise Informatization Application & Support Software Engineering Technology Research & Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Modern Enterprise Informatization Application & Support Software Engineering Technology Research & Development Center filed Critical Jiangsu Modern Enterprise Informatization Application & Support Software Engineering Technology Research & Development Center
Priority to CN202210486138.1A priority Critical patent/CN114580636B/zh
Publication of CN114580636A publication Critical patent/CN114580636A/zh
Application granted granted Critical
Publication of CN114580636B publication Critical patent/CN114580636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于三目标联合优化的神经网络轻量化部署方法，包括在边缘侧设备上挂载终端设备，边缘侧设备具有计算单元以及能够实现数据传输的连接触点，将初始网络模型M和目标函数输入至计算单元中，对初始网络模型M进行剪枝得到优化后的最优网络模型M’；将最优网络模型M’通过连接触点传输至终端设备；利用终端设备上的摄像装置实时采集待识别目标的图像序列；将图像序列输入至最优网络模型M’中，输出识别结果。本发明将经过剪枝优化后的轻量化网络模型部署在低算力或者要求低能耗场景下的终端设备上，以实现终端设备的轻量化运算，克服了大规模神经网络模型无法部署在性能、电量受限的终端设备上的局限性。

Description

基于三目标联合优化的神经网络轻量化部署方法
技术领域
本发明涉及边缘智能场景下神经网络压缩技术领域，尤其是指一种基于三目标联合优化的神经网络轻量化部署方法。
背景技术
目前，卷积神经网络（Convolutional Neural Networks, CNN）在计算机视觉、自然语言处理等任务上取得了巨大的成功，并且已经应用于众多实际应用中。例如无人机设备等，无人机设备可以被用于执行火灾救援、蓝藻爆发、流域污染等监测任务。无人机设备在执行任务时需要通过摄像头拍摄目标图像，将目标图像输入至卷积神经网络中进行目标识别。为了提升目标识别的精度，这类卷积神经网络的层数较深，，结构也越发复杂。这样的模型需要大量的存储空间，同时十分耗费计算资源，使其很难部署在低算力或者要求低能耗的场景下，例如上述的边缘智能场景下的无人机设备。因此对模型进行压缩可以有效减少计算空间和时间的消耗，提高模型的运行效率。主流的压缩方法包括：低秩分解、剪枝、量化、知识蒸馏等，其中剪枝方法简单有效，是该领域的研究热点。
目前比较主流的剪枝算法主要包括非结构化剪枝和结构化剪枝两大类：（1）非结构化剪枝直接针对模型中的参数进行剪枝，通常会根据权值、梯度等不同的方式衡量参数的重要性，不重要的参数会被剪除，是一种细粒度的剪枝方式。这种非结构剪枝的方法虽然能够有效的压缩模型，但是得到的稀疏权重矩阵需要特殊的硬件设备支持。而且因为只压缩模型参数，所以模型的运算速度不能得到提升。（2）结构化剪枝是对模型中的滤波器、通道等结构进行剪枝，通过在损失函数中加入卷积核中权值L1、L2正则项的方法评价卷积核的重要性，结构化剪枝不需要特殊硬件支持，并且能够同时减少冗余参数和计算资源的消耗。因此目前大部分剪枝算法是对网络模型的结构化剪枝，但是结构化剪枝对于每一层需要设定超参数，并且进行剪枝的时候，网络需要迭代多次才能收敛。非专利文献1（Shangqian Gao, Feihu Huang, Jian Pei, and Heng Huang. Discrete modelcompression with resource constraint for deep neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages1899–1908, 2020.）采用离散粒子群优化和可微离散门在给定的FLOPs预算下搜索最佳精度子网络，其缺点在于是在给定FLOPs预算下搜索精度最高的解，是一个单一目标优化，由于FLOPs是固定给出的，无法在优化中调整FLOPs的最优值，这导致其泛化性较差。
因此，迫切需要提供一种基于多目标优化的大规模神经网络轻量化部署方法，从而实现终端设备的轻量化运算。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于三目标联合优化的神经网络轻量化部署方法，其将经过剪枝优化后的轻量化网络模型部署在低算力或者要求低能耗场景下的终端设备上，以实现终端设备的轻量化运算，克服了大规模神经网络模型无法部署在性能、电量受限的终端设备上的局限性。
为解决上述技术问题，本发明提供一种基于三目标联合优化的神经网络轻量化部署方法，包括以下步骤：
S1：在边缘侧设备上挂载终端设备，所述边缘侧设备具有计算单元以及能够实现 数据传输的连接触点，将初始网络模型M以及终端设备执行监测任务需要达到的目标函数
Figure 299114DEST_PATH_IMAGE001
，
Figure 153938DEST_PATH_IMAGE002
输入至计算单元，其中，
Figure 602849DEST_PATH_IMAGE003
分别表示模型浮点数FLOPs、模型参数量和 模型精度，n为模型通道数；
S2：利用计算单元对所述初始网络模型M进行剪枝得到优化后的最优网络模型M’；
S3：将剪枝优化后的最优网络模型M’通过边缘侧设备上的连接触点传输至终端设备；
S4：利用终端设备上的摄像装置实时采集待识别目标的图像序列；
S5：将所述待识别目标的图像序列输入至部署在终端设备上的最优网络模型M’中，输出待识别目标的识别结果；
S6：终端设备回到边缘侧设备并将识别结果通过连接触点回传至边缘侧设备。
在本发明的一个实施例中，在S1中，对所述初始网络模型M进行剪枝的方法包括:
S21：输入最大迭代次数G和种群数量q；
S22：初始化种群，在搜索空间范围内生成包含q个解
Figure 935742DEST_PATH_IMAGE004
的解集S 0,其中，n为模型通道数；
S23：当迭代次数g＜G时，使用交叉变异操作生成新的解集S’ ；
S24：将S22得到的解集S 0和S23得到的解集S’进行合并，得到待选种群
Figure 156639DEST_PATH_IMAGE005
，使用 动态参考线改进后的RVEA进化算法对待选种群进行寻优，得到新的种群
Figure 916784DEST_PATH_IMAGE006
；
S25：在得到新的种群
Figure 324763DEST_PATH_IMAGE006
后，所述种群
Figure 930188DEST_PATH_IMAGE006
中对应了一组最优解
Figure 527960DEST_PATH_IMAGE004
的集合，利用该组最优解的集合对所述初始网络模型M进行剪 枝，得到剪枝后的候选网络模型集合；
S26：将Eagle Eye算法嵌入剪枝框架中，利用所述Eagle Eye算法从候选网络模型 集合中选择一个最优的网络模型
Figure 459007DEST_PATH_IMAGE007
，其中最优的所述网络模型
Figure 151020DEST_PATH_IMAGE007
能够使得模型浮点数 FLOPs、模型参数量和模型精度达到综合最优的结果；
S27：对最优的所述网络模型
Figure 825715DEST_PATH_IMAGE007
进行训练，得到剪枝优化后的最优网络模型M’。
在本发明的一个实施例中，在S22中，所述搜索空间范围的定义如下：
Figure 286783DEST_PATH_IMAGE008
其中，
Figure 654311DEST_PATH_IMAGE009
代表第k层第i个通道。
在本发明的一个实施例中，在S24中，使用动态参考线改进RVEA进化算法的方法包括：
当迭代次数g=0时，获取原始参考线集合，对每个原始参考线进行等分，得到在每个原始参考线上均匀分布的参考点，计算所有参考点的数量，将参考点与原点连接构成参考线，得到参考线集合；
当迭代次数g≠0时，则使用自适应参考线调整策略调整上一次迭代的参考线集合，得到新的参考线集合。
在本发明的一个实施例中，使用自适应参考线调整策略调整上一次迭代的参考线集合，得到新的参考线集合包括：
对于上一次迭代得到的参考线集合中的每一条参考线，计算该次迭代得到的待选种群中的所有解到该参考线的距离，寻找距离该参考线最近的两个解；
更新每一条参考线距离其最近的两个解的中点位置，得到新的参考线集合。
在本发明的一个实施例中，更新参考线的矢量表达式如下：
Figure 302461DEST_PATH_IMAGE010
其中，
Figure 777917DEST_PATH_IMAGE011
和
Figure 562333DEST_PATH_IMAGE012
表示距离上一次迭代得到的参考线最近的两个解，
Figure 631920DEST_PATH_IMAGE013
表示 更新后的参考线。
在本发明的一个实施例中，所述连接触点还用于对所述终端设备进行充电。
此外，本发明还提供一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法的步骤。
并且，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述方法的步骤。
还有，本发明还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明将经过剪枝优化后的轻量化网络模型部署在低算力或者要求低能耗场景下的终端设备上，以实现终端设备（如无人机）的轻量化运算，克服了大规模神经网络模型无法部署在性能、电量受限的终端设备上的局限性；
2、本发明利用使用动态参考线改进后的RVEA进化算法寻找模型浮点数FLOPs、模型参数量和模型精度，能够在一次运行中自动对多个目标进行寻优，找到综合最优解，使其能够在复杂、不规则问题上快速收敛，并且将Eagle Eye算法嵌入剪枝框架中，能够对剪枝后的模型进行优化，其可以进一步提升模型精度解决了传统的模型轻量化或者压缩方法无法平衡与兼顾模型精度、模型体量和计算消耗的问题。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明一种基于多目标优化的大规模神经网络轻量化部署方法的流程示意图。
图2是本发明一种基于多目标优化的大规模神经网络轻量化部署方法的结构框图。
图3是本发明基于三目标优化的大规模神经网络剪枝方法的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
问题描述：输入目标函数如下：
Figure 298525DEST_PATH_IMAGE014
其中，m为目标函数的个数，n为模型通道数。
在本发明中，m=3，三个目标函数
Figure 315023DEST_PATH_IMAGE003
分别是模型浮点数 FLOPs、模型参数量和模型精度，其中模型精度根据监测任务需求确定，模型浮点数FLOPs和 模型参数量根据终端设备（终端设备）的运算能力以及可承受的单位时间耗电量来确定。因 此，上述公式（1）可以写成：
Figure 953946DEST_PATH_IMAGE015
其中，
Figure 663276DEST_PATH_IMAGE016
为模型某一层的卷积核大小， L为模型的层数，给定某一模型 之后均为可确定的已知项。
Figure 551597DEST_PATH_IMAGE016
为模型某一层的输入和输出通道数，在确定
Figure 374715DEST_PATH_IMAGE017
后即为非0项的数量。
Figure 664882DEST_PATH_IMAGE018
表示模型参数量，给定一个已知模型，每一层、每一通道包含多 少参数为已知项，在确定
Figure 545114DEST_PATH_IMAGE017
后即为非0项对应通道的参数量之和。
Figure 920731DEST_PATH_IMAGE019
表示模型精度，在确定
Figure 747873DEST_PATH_IMAGE017
后在确定训练集上 可以得到模型精度
Figure 158126DEST_PATH_IMAGE019
。
因此，所有目标均转化为关于
Figure 209258DEST_PATH_IMAGE017
的函数。
Figure 69243DEST_PATH_IMAGE017
表示模型每一个通道是否有效，1代表有效，0代表无效（即修 剪）。
综上，搜索空间定义如下：
Figure 27971DEST_PATH_IMAGE020
其中
Figure 27151DEST_PATH_IMAGE021
代表第k层第i个通道是否修剪。
基于上述问题描述的内容，请参阅图1和图2所示，本发明实施例提供一种基于三目标联合优化的神经网络轻量化部署方法，包括以下步骤：
S1：在边缘侧设备上挂载终端设备，所述边缘侧设备具有计算单元以及能够实现 数据传输的连接触点，将初始网络模型M以及终端设备执行监测任务需要达到的目标函数
Figure 921289DEST_PATH_IMAGE001
，
Figure 271499DEST_PATH_IMAGE002
输入至计算单元，其中，
Figure 237181DEST_PATH_IMAGE003
分别表示模型浮点数FLOPs、模型参数量和 模型精度，n为模型通道数；
S2：利用计算单元对所述初始网络模型M进行剪枝得到优化后的最优网络模型M’；
S3：将剪枝优化后的最优网络模型M’通过边缘侧设备上的连接触点传输至终端设备；
S4：利用终端设备上的摄像装置实时采集待识别目标的图像序列；
S5：将所述待识别目标的图像序列输入至部署在终端设备上的最优网络模型M’中，输出待识别目标的识别结果；
S6：终端设备回到边缘侧设备并将识别结果通过连接触点回传至边缘侧设备。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，本发明将经过剪枝优化后的轻量化网络模型部署在低算力或者要求低能耗场景下的终端设备上，以实现终端设备的轻量化运算，克服了大规模神经网络模型无法部署在性能、电量受限的终端设备上的局限性。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，请参阅图3所示，在S2中，对所述初始网络模型M进行剪枝的方法包括:
S21：输入最大迭代次数G和种群数量q；
S22：初始化种群，在搜索空间范围内生成包含q个解
Figure 153184DEST_PATH_IMAGE004
的解集S 0,其中，n为模型通道数；
S23：当迭代次数g＜G时，使用交叉变异操作生成新的解集S’ ；
S24：将S22得到的解集S 0和S23得到的解集S’进行合并，得到待选种群
Figure 280540DEST_PATH_IMAGE005
，使用 动态参考线改进后的RVEA进化算法对待选种群进行寻优，得到新的种群
Figure 132695DEST_PATH_IMAGE006
；
S25：在得到新的种群
Figure 839751DEST_PATH_IMAGE006
后，所述种群
Figure 79102DEST_PATH_IMAGE006
中对应了一组最优解
Figure 377360DEST_PATH_IMAGE004
的集合，利用该组最优解的集合对所述初始网络模型M进行剪 枝，得到剪枝后的候选网络模型集合；
S26：将Eagle Eye算法嵌入剪枝框架中，利用所述Eagle Eye算法从候选网络模型 集合中选择一个最优的网络模型
Figure 702162DEST_PATH_IMAGE007
，其中最优的所述网络模型
Figure 806384DEST_PATH_IMAGE007
能够使得模型浮点数 FLOPs、模型参数量和模型精度达到综合最优的结果；
S27：对最优的所述网络模型
Figure 634663DEST_PATH_IMAGE007
进行训练，得到剪枝优化后的最优网络模型M’。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，在S22 中，令初始解为
Figure 369400DEST_PATH_IMAGE022
，每个初始解由
Figure 912990DEST_PATH_IMAGE023
个二进制编码组 成，n代表层号，m代表通道号，使用随机函数，生成
Figure 24165DEST_PATH_IMAGE023
个0或者1，这一组0和1组成的序 列组成为一个解，如此重复q次，生成q个解。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，在S23中，使用交叉变异操作生成新的解集的方法包括：
交叉操作：首先，从解集S 0中随机选择两个解，随机生成一个0到
Figure 175792DEST_PATH_IMAGE023
之间的 随机数α，代表将第一个解的0到α位和第二个解的0到α位进行交换，由此得到两个新解。
变异操作：随机选取一个变异率（如以：1/n的概率，n为目标个数），对解集S 0中的 每一个解，以上述变异率进行“变异”，“变异”通过以下方法实现：通过随机函数生成一个0 到
Figure 81431DEST_PATH_IMAGE023
之间的随机数β，将解的第β位取反（即原来是1的变成0，原来是0的变成1）。
作为示例地，假设解集S 0中有100个解，然后每一次交叉变异之后会生成包含100 个解的解集S’，因此将解集S 0和解集S’合并后会得到一个包含200个解的待选种群
Figure 115246DEST_PATH_IMAGE005
，然 后使用动态参考线改进后的RVEA进化算法在待选种群
Figure 764533DEST_PATH_IMAGE005
中选出包含100个最优解的新的 种群
Figure 364142DEST_PATH_IMAGE006
进入下一步骤。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，在S24中，使用动态参考线改进RVEA进化算法的方法包括：
当迭代次数g=0时，获取原始参考线集合，对每个原始参考线进行等分，得到在每 个原始参考线上均匀分布的参考点，计算所有参考点的数量，将参考点与原点连接构成参 考线，得到参考线集合，具体为：总参考点数量的计算公式为
Figure 643945DEST_PATH_IMAGE024
，其中D表 示目标数量，由于本发明为三目标，因此本发明D=3，p表示每个原始参考线上的分段数，本 发明p=12，因此本发明D维超平面上均匀分布的参考点（共91个）表达式为
Figure 433565DEST_PATH_IMAGE025
，其中，
Figure 620964DEST_PATH_IMAGE026
，
Figure 278341DEST_PATH_IMAGE027
表示第j维第i个等分点（参考点）的值，本 发明中H=91；然后将参考点与原点连接构成参考线，并除以长度，得到参考线集合，如下式 所示：
Figure 525783DEST_PATH_IMAGE028
，其中，
Figure 534190DEST_PATH_IMAGE029
表示由原点和参考点
Figure 525280DEST_PATH_IMAGE030
连线组成的参考线至此，参考线集合 可以表示为
Figure 302743DEST_PATH_IMAGE031
，其中
Figure 986665DEST_PATH_IMAGE032
表示迭代次数，即该参考线集合目前迭代 到第几代。
当迭代次数g≠0时，则使用自适应参考线调整策略调整上一次迭代的参考线集合
Figure 213860DEST_PATH_IMAGE033
，得到新的参考线集合
Figure 8640DEST_PATH_IMAGE034
，具体包括：对于上一次迭代得到的参考线集合
Figure 640610DEST_PATH_IMAGE033
中的每一 条参考线，计算该次迭代得到的待选种群中的所有解到该参考线的距离
Figure 229854DEST_PATH_IMAGE035
，寻找距离该参考线最近的两个解
Figure 947275DEST_PATH_IMAGE036
；更新每一条 参考线距离其最近的两个解
Figure 280167DEST_PATH_IMAGE036
的中点位置，得到新的参考线集合
Figure 32222DEST_PATH_IMAGE037
，其中更新频率
Figure 57947DEST_PATH_IMAGE038
，G为最大迭代次数，其 中上述更新参考线的矢量表达式如下：
Figure 253874DEST_PATH_IMAGE039
其中，
Figure 124878DEST_PATH_IMAGE040
和
Figure 465861DEST_PATH_IMAGE041
表示距离上一次迭代得到的参考线最近的两个解，
Figure 459225DEST_PATH_IMAGE042
表示 更新后的参考线。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，所述连接触点还用于对所述终端设备进行充电，在终端设备存放于边缘侧设备上时，可以通过连接触点对终端设备进行充电。
在本发明公开的一种基于三目标联合优化的神经网络轻量化部署方法中，本发明利用使用动态参考线改进后的RVEA进化算法寻找模型浮点数FLOPs、模型参数量和模型精度，能够在一次运行中自动对多个目标进行寻优，找到综合最优解，使其能够在复杂、不规则问题上快速收敛，并且将Eagle Eye算法嵌入剪枝框架中，能够对剪枝后的模型进行优化，其可以进一步提升模型精度解决了传统的模型轻量化或者压缩方法无法平衡与兼顾模型精度、模型体量和计算消耗的问题。
下面通过具体的示例进一步阐释本发明提出的一种基于三目标联合优化的神经网络轻量化部署方法的应用场景。
无人机可以被用于执行蓝藻爆发、流域污染等监测工作，在无人机执行蓝藻爆发、流域污染等监测任务时，需要对环境和目标进行识别，目前较为流行的方法通常是基于深度神经网络的方法，而较高精度的深度神经网络通常具有很高的层数和复杂度，设备运行大规模神经网络需要很高的运算力以及很大的存储空间，这导致设备需要配备高算力的运算芯片、大存储芯片并且在运行过程中耗电量很大，这使得大规模神经网络很难部署到无人机这样的小型飞行器上（需要轻量化和尽可能少的电量消耗），因此本发明采用上述的一种基于三目标联合优化的神经网络轻量化部署方法包括如下步骤。
（1）无人机挂载在运载车内，车内的连接触点可以挂载无人机并对其进行充电，且连接触点兼具数据传输功能，可以上传无人机执行任务时所需要的神经网络模型，也可以下载无人机执行任务时捕捉到的数据（包括视频、检测到的目标等）。
（2）运载车运载无人机到达任务现场，根据监测任务需求和无人机的情况确定无人机本次任务需要达到的模型精度、模型浮点数以及模型参数量，其中模型精度根据任务需求确定，模型浮点数FLOPs以及模型参数量根据无人机的运算能力以及可承受的单位时间耗电量来确定。
（3）运载车搭载了算力较强的计算单元（电脑等），该计算单元可通过车载发动机供电。根据不同的监测任务，首先从神经网络库中选择最合适本次任务的神经网络模型作为初始网络模型。然后根据确定的模型精度、模型浮点数FLOPs和模型参数量对初始网络模型进行剪枝优化操作，得到轻量化后的最优网络模型。
（4）模型完成剪枝优化后，通过挂载无人机的连接触点上传给车内所有的无人机。
（5）释放出搭载轻量化后的最优网络模型的无人机执行任务，利用无人机上搭载的摄像装置（如：摄像头等）采集现场视频，并通过轻量化后的最优网络模型进行目标识别，得到目标识别结果，识别结果如：湖面蓝藻、森林火险（包括其所在位置GPS坐标）存储在无人机的存储芯片上。
（6）无人机完成任务后，回到运载车内进行充电，并将存储芯片上的数据下载到运载车的计算单元（电脑）上。
相应于上面的方法实施例，本发明实施例还提供了一种计算机装置，包括：
存储器，其用于存储计算机程序；
处理器，其用于执行计算机程序时实现上述基于三目标联合优化的神经网络轻量化部署方法的步骤。
在本发明实施例中，处理器可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器可以调用存储器中存储的程序，具体的，处理器可以执行基于三目标联合优化的神经网络轻量化部署方法的实施例中的操作。
存储器中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令。
此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于三目标联合优化的神经网络轻量化部署方法的步骤。
相应于上面的方法实施例，本发明实施例还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述基于三目标联合优化的神经网络轻量化部署方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于三目标联合优化的神经网络轻量化部署方法，其特征在于，包括以下步骤：
S1：在边缘侧设备上挂载终端设备，所述边缘侧设备具有计算单元以及能够实现数据 传输的连接触点，将初始网络模型M以及终端设备执行监测任务需要达到的目标函数
Figure 543159DEST_PATH_IMAGE001
，
Figure 27974DEST_PATH_IMAGE002
输入至计算单元，其中，
Figure 426725DEST_PATH_IMAGE003
分别表示模型浮点数FLOPs、模型参数量和 模型精度，n为模型通道数；
S2：利用计算单元对所述初始网络模型M进行剪枝得到优化后的最优网络模型M’；
S3：将剪枝优化后的最优网络模型M’通过边缘侧设备上的连接触点传输至终端设备；
S4：利用终端设备上的摄像装置实时采集待识别目标的图像序列；
S5：将所述待识别目标的图像序列输入至部署在终端设备上的最优网络模型M’中，输出待识别目标的识别结果；
S6：终端设备回到边缘侧设备并将识别结果通过连接触点回传至边缘侧设备。
2.根据权利要求1所述的基于三目标联合优化的神经网络轻量化部署方法，其特征在于，在S2中，对所述初始网络模型M进行剪枝的方法包括:
S21：输入最大迭代次数G和种群数量q；
S22：初始化种群，在搜索空间范围内生成包含q个解
Figure 263094DEST_PATH_IMAGE004
的解集S 0,其中，n为模型通道数；
S23：当迭代次数g＜G时，使用交叉变异操作生成新的解集S’ ；
S24：将S22得到的解集S 0和S23得到的解集S’进行合并，得到待选种群
Figure 645665DEST_PATH_IMAGE005
，使用动态参 考线改进后的RVEA进化算法对待选种群进行寻优，得到新的种群
Figure 849683DEST_PATH_IMAGE006
；
S25：在得到新的种群
Figure 634099DEST_PATH_IMAGE006
后，所述种群
Figure 375790DEST_PATH_IMAGE006
中对应了一组最优解
Figure 307974DEST_PATH_IMAGE004
的集合，利用该组最优解的集合对所述初始网络模型M进行剪 枝，得到剪枝后的候选网络模型集合；
S26：将Eagle Eye算法嵌入剪枝框架中，利用所述Eagle Eye算法从候选网络模型集合 中选择一个最优的网络模型
Figure 527734DEST_PATH_IMAGE007
，其中最优的所述网络模型
Figure 228974DEST_PATH_IMAGE007
能够使得模型浮点数 FLOPs、模型参数量和模型精度达到综合最优的结果；
S27：对最优的所述网络模型
Figure 607478DEST_PATH_IMAGE007
进行训练，得到剪枝优化后的最优网络模型M’。
3.根据权利要求2所述的基于三目标联合优化的神经网络轻量化部署方法，其特征在于，在S22中，所述搜索空间范围的定义如下：
Figure 964641DEST_PATH_IMAGE008
其中，
Figure 253671DEST_PATH_IMAGE009
代表第k层第i个通道。
4.根据权利要求2所述的基于三目标联合优化的神经网络轻量化部署方法，其特征在于，在S24中，使用动态参考线改进RVEA进化算法的方法包括：
当迭代次数g=0时，获取原始参考线集合，对每个原始参考线进行等分，得到在每个原始参考线上均匀分布的参考点，计算所有参考点的数量，将参考点与原点连接构成参考线，得到参考线集合；
当迭代次数g≠0时，则使用自适应参考线调整策略调整上一次迭代的参考线集合，得到新的参考线集合。
5.根据权利要求4所述的基于三目标联合优化的神经网络轻量化部署方法，其特征在于，使用自适应参考线调整策略调整上一次迭代的参考线集合，得到新的参考线集合包括：
对于上一次迭代得到的参考线集合中的每一条参考线，计算该次迭代得到的待选种群中的所有解到该参考线的距离，寻找距离该参考线最近的两个解；
更新每一条参考线距离其最近的两个解的中点位置，得到新的参考线集合。
6.根据权利要求5所述的基于三目标联合优化的神经网络轻量化部署方法，其特征在于，更新参考线的矢量表达式如下：
Figure 543838DEST_PATH_IMAGE010
其中，
Figure 158490DEST_PATH_IMAGE011
和
Figure 737370DEST_PATH_IMAGE012
表示距离上一次迭代得到的参考线最近的两个解，
Figure 364179DEST_PATH_IMAGE013
表示更新 后的参考线。
7.根据权利要求1所述的基于三目标联合优化的神经网络轻量化部署方法，其特征在于，所述连接触点还用于对所述终端设备进行充电。
8.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7任一项所述方法的步骤。
CN202210486138.1A 2022-05-06 2022-05-06 基于三目标联合优化的神经网络轻量化部署方法 Active CN114580636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210486138.1A CN114580636B (zh) 2022-05-06 2022-05-06 基于三目标联合优化的神经网络轻量化部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210486138.1A CN114580636B (zh) 2022-05-06 2022-05-06 基于三目标联合优化的神经网络轻量化部署方法

Publications (2)

Publication Number Publication Date
CN114580636A true CN114580636A (zh) 2022-06-03
CN114580636B CN114580636B (zh) 2022-09-16

Family

ID=81768970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210486138.1A Active CN114580636B (zh) 2022-05-06 2022-05-06 基于三目标联合优化的神经网络轻量化部署方法

Country Status (1)

Country Link
CN (1) CN114580636B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099393A (zh) * 2022-08-22 2022-09-23 荣耀终端有限公司 神经网络结构搜索方法及相关装置
CN115187982A (zh) * 2022-07-12 2022-10-14 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备
CN116128046A (zh) * 2023-04-14 2023-05-16 杭州国芯科技股份有限公司 嵌入式设备的多输入神经网络模型串行块的存储方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059846A (zh) * 2019-02-26 2019-07-26 东华大学 聚酯纤维聚合酯化过程的工艺参数高维多目标优化方法
CN113391894A (zh) * 2021-06-10 2021-09-14 华南理工大学 一种基于rbp神经网络的最优超任务网优化方法
CN113850385A (zh) * 2021-10-12 2021-12-28 北京航空航天大学 一种粗细粒度联合的神经网络剪枝方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059846A (zh) * 2019-02-26 2019-07-26 东华大学 聚酯纤维聚合酯化过程的工艺参数高维多目标优化方法
CN113391894A (zh) * 2021-06-10 2021-09-14 华南理工大学 一种基于rbp神经网络的最优超任务网优化方法
CN113850385A (zh) * 2021-10-12 2021-12-28 北京航空航天大学 一种粗细粒度联合的神经网络剪枝方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUI DING等: "A novel two-archive strategy for evolutionary many-objective optimization algorithm based on reference points", 《APPLIED SOFT COMPUTING JOURNAL》 *
YA-NAN FENG等: "A Cross-Reference Line Method Based Multiobjective Evolutionary Algorithm to Enhance Population Diversity", 《HINDAWI COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187982A (zh) * 2022-07-12 2022-10-14 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备
CN115099393A (zh) * 2022-08-22 2022-09-23 荣耀终端有限公司 神经网络结构搜索方法及相关装置
CN115099393B (zh) * 2022-08-22 2023-04-07 荣耀终端有限公司 神经网络结构搜索方法及相关装置
CN116128046A (zh) * 2023-04-14 2023-05-16 杭州国芯科技股份有限公司 嵌入式设备的多输入神经网络模型串行块的存储方法

Also Published As

Publication number Publication date
CN114580636B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN114580636B (zh) 基于三目标联合优化的神经网络轻量化部署方法
CN110378468B (zh) 一种基于结构化剪枝和低比特量化的神经网络加速器
Elsen et al. Fast sparse convnets
Hao et al. FPGA/DNN co-design: An efficient design methodology for IoT intelligence on the edge
Singh et al. Play and prune: Adaptive filter pruning for deep model compression
Banitalebi-Dehkordi et al. Auto-split: A general framework of collaborative edge-cloud AI
US20180260709A1 (en) Calculating device and method for a sparsely connected artificial neural network
US20180204110A1 (en) Compressed neural network system using sparse parameters and design method thereof
US20180018555A1 (en) System and method for building artificial neural network architectures
WO2022006919A1 (zh) 基于激活定点拟合的卷积神经网络训练后量化方法及系统
CN112364981B (zh) 一种混合精度神经网络的可微分搜索方法和装置
Verma et al. Performance evaluation of deep learning compilers for edge inference
CN112101525A (zh) 一种通过nas设计神经网络的方法、装置和系统
CN112836787A (zh) 通过高效混合并行化减少深度神经网络训练次数
Xu et al. Improving extreme low-bit quantization with soft threshold
Faniadis et al. Deep learning inference at the edge for mobile and aerial robotics
Samplawski et al. Towards objection detection under iot resource constraints: Combining partitioning, slicing and compression
Loni et al. Learning activation functions for sparse neural networks
CN106503386A (zh) 评估光功率预测算法性能优劣的方法及装置
Jani et al. Model Compression Methods for YOLOv5: A Review
Jin et al. Sparse ternary connect: Convolutional neural networks using ternarized weights with enhanced sparsity
Zhan et al. Field programmable gate array‐based all‐layer accelerator with quantization neural networks for sustainable cyber‐physical systems
Zhao et al. Achieving real-time lidar 3d object detection on a mobile device
WO2020099606A1 (en) Apparatus and method for creating and training artificial neural networks
CN114742036A (zh) 一种预训练语言模型的组合式模型压缩方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant