CN117744742A - 面向微小型无人机平台的深度学习模型压缩方法及系统 - Google Patents
面向微小型无人机平台的深度学习模型压缩方法及系统 Download PDFInfo
- Publication number
- CN117744742A CN117744742A CN202311785675.7A CN202311785675A CN117744742A CN 117744742 A CN117744742 A CN 117744742A CN 202311785675 A CN202311785675 A CN 202311785675A CN 117744742 A CN117744742 A CN 117744742A
- Authority
- CN
- China
- Prior art keywords
- model
- deep learning
- compression
- learning model
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006835 compression Effects 0.000 title claims abstract description 177
- 238000007906 compression Methods 0.000 title claims abstract description 177
- 238000013136 deep learning model Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000008447 perception Effects 0.000 description 9
- 238000013138 pruning Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012014 frustrated Lewis pair Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013137 model compression technique Methods 0.000 description 1
- 238000013143 model size reduction Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种面向微小型无人机平台的深度学习模型压缩方法、系统、设备及介质，获取无人机要完成的任务和所在平台的平台信息，基于任务和平台信息确定模型需求和资源预算，根据模型需求选择执行任务的深度学习模型，并将其作为待压缩深度学习模型；根据资源预算构建压缩任务需求模型；利用差分进化算法搜索最优压缩策略；基于压缩任务需求模型，根据最优压缩策略对待压缩深度学习模型进行自动压缩。本申请提供的方法，可以针对不同无人机任务探索出不同模型的最佳逐层压缩策略，并且模型参数量和计算量降低的同时，不仅保证了模型准确率，还降低了压缩后模型对无人机系统的影响，适应了无人机任务的实时性、鲁棒性和安全性的要求。
Description
技术领域
本申请涉及深度学习模型压缩技术领域，尤其涉及一种面向微小型无人机平台的深度学习模型压缩方法、系统、设备及介质。
背景技术
近年来，无人机(Unmanned Aerial Vehicle，UAV)凭借其灵活性和高效性等优势在民用领域和军用领域有着非常广泛的应用。无人机系统的安全性和自主性亦成为无人机执行复杂任务的必要条件，当前无人机系统也正朝着自主化、智能化的方向发展。深度学习具有从真实复杂环境中获取的数据中学习表示底层特征的卓越能力，在解决环境感知、规划控制等领域的各种无人机任务方面也表现出突出的效果。
然而，由于对高准确率模型的追求，使深度学习模型变得越来复杂和庞大，模型的参数量和计算量呈指数级上升。复杂模型难以在计算资源和存储资源受限的无人机平台上实现实时运行，无法满足无人机对任务的实时性等要求。为减少模型的参数量和计算量，提出了各种模型压缩加速方法。
模型剪枝是最常用的模型压缩技术之一，可分为结构化剪枝和非结构化剪枝。其中，非结构化剪枝算法简单，模型压缩比高，但剪枝后权重矩阵稀疏，没有专用硬件难以实现压缩和加速的效果；而结构化剪枝通常以滤波器或者整个网络层为基本单位进行剪枝，模型的准确率损失更严重，但运行计算不需要额外的硬件和加速算法支持，加速效果好。
传统的模型压缩依赖于人工设计的启发式和基于规则的策略，需要领域专家在模型大小、速度和精度之间权衡，这种方法得到的压缩模型通常是次优的，且压缩策略的探索时间非常耗时耗力。
当前的自动压缩方法只评估压缩模型运行时的准确度和时延等，并没有考虑感知结果对规划控制层以及整个无人机系统的影响。另外，深度模型不必始终以全部频率推理运行才能成功完成任务，因此在不同的无人机任务上面，压缩模型的准确率和时延能耗之间有待进一步权衡。而当前方法只在人工约定的时延能耗约束下得到精确度最高的模型，限制了在不同无人机任务上更低时延或更高精确度的压缩模型设计。
发明内容
本申请提供了一种面向微小型无人机平台的深度学习模型压缩方法、系统。计算机设备及介质，以解决现有无人机的深度学习模型压缩方法存在的无法获得最优、耗时耗力，以及在精度和时延方面存的局限性的技术问题，实现在保证模型准确率的同时，降低压缩后模型对无人机系统的影响。
为解决上述技术问题，第一方面，本申请提供了一种面向微小型无人机平台的深度学习模型压缩方法，所述方法包括：
获取无人机要完成的任务和无人机所在平台的平台信息，基于所述任务和所述平台信息确定模型需求和资源预算；所述资源预算包括：延迟预算和内存预算；
根据所述模型需求选择执行所述任务的深度学习模型，并将其作为待压缩深度学习模型；所述深度学习模型包括：目标检测网络模型和深度估计网络模型；
根据所述资源预算构建压缩任务需求模型；所述压缩任务需求模型包括模型压缩的优化目标和约束条件；
利用差分进化算法搜索最优压缩策略；
基于所述模型压缩的优化目标和约束条件，根据所述最优压缩策略对所述待压缩深度学习模型进行自动压缩。
优选的，所述优化目标和约束条件表示为：
s.t.T≤Tbudget，S≤Sbudget，
其中，A、P、T和S分别表示待压缩深度学习模型经压缩后在无人机平台上所测量得到的准确率、路径成本、延迟和模型大小，μ1和μ2表示权重因子，Amin和Pmax分别表示压缩模型可接受的最小准确度和最大路径成本，Tbudget和Sbudget分别表示延迟预算和内存预算，Rall是连续的实值空间，表示压缩超参数的可选值。
优选的，所述利用差分进化算法搜索最优压缩策略，包括：
随机生成一组个体作为初始种群，每个所述个体表示待压缩深度学习模型压缩后的结构；
随机选择两个个体并计算两个个体间的差异，将所述差异与另一个随机个体进行组合，生成变异个体；
将每一个所述变异个体与对应的原个体进行交叉操作，产生实验个体；
比较所述实验个体与对应的原个体的适应度值，选择适应度更好的个体作为最优个体；
判断是否达到预定的迭代次数，若否，则将所述最优个体作为下一代种群的父代继续进行迭代搜索；若是，则结束搜索，将所述最优个体作为最优压缩策略输出。
优选的，所述个体的信息包括每一个所述待压缩深度学习模型可压缩层通道压缩率；
所述通道压缩率的限值为[0.2，1]。
优选的，所述利用差分进化算法搜索最优压缩策略，还包括：
待完成一轮搜索得到最优压缩策略后，基于所述模型压缩的优化目标和约束条件，对按所述最优压缩策略进行压缩后的深度学习模型进行性能评估；
若性能评估结果满足要求，则输出所述最优压缩策略，若性能评估结果不满足要求，则进行新一轮的搜索，以对所述最优压缩策略进行更新。
优选的，性能评估指标包括：准确率、模型大小、时延和对无人机任务及系统的影响；
所述对无人机任务及系统的影响包括压缩后的深度学习模型部署在无人机平台后，实际任务产生的飞行轨迹的路径成本；
所述路径成本包括距离成本和威胁成本；
所述距离成本的计算公式为：
其中，n表示路径点的总数，Wij表示第i条飞行路径中第j个路径点的无人机三维位置坐标，Li表示第i条飞行路径。
所述威胁成本的计算公式为：
其中，K表示飞行环境下障碍物威胁区集合，Rk表示圆柱形障碍威胁区的半径，D表示碰撞威胁区，dk表示路径段与圆柱形障碍区中心的距离，γc表示障碍物威胁成本惩罚系数；
所述路径成本的计算公式为：
P(Li)＝αPl(Li)+βPt(Li)，
其中，α和β分别为距离成本和威胁成本的权重系数。
优选的，所述基于所述模型压缩的优化目标和约束条件，对按所述最优压缩策略进行压缩后的深度学习模型进行性能评估，包括：
根据所述模型大小和所述时延评估压缩模型是否满足无人机平台的资源预算；
将所述准确率和所述路径成本的归一化值作为模型适应度值，根据所述模型适应度值评估所述压缩后的深度学习模型在无人机系统的性能表现；
所述模型适应度值的计算公式为：
Fitness＝μ1N(A-Amin)+μ2N(Pmax-P)，
其中，μ1和μ2表示权重因子，N(x)表示标准化操作，Amin和Pmax分别表示待压缩深度学习模型可接受的最小准确度和最大路径成本。
第二方面，本申请还提供了一种面向微小型无人机平台的深度学习模型压缩系统，所述系统包括：模型需求和资源预算确定单元、待压缩深度学习模型确定单元、压缩任务需求模型构建单元、最优压缩策略搜索单元和模型压缩单元；
模型需求和资源预算确定单元，用于获取无人机要完成的任务和无人机所在平台的平台信息，基于所述任务和所述平台信息确定模型需求和资源预算；所述资源预算包括：延迟预算和内存预算；
待压缩深度学习模型确定单元，用于根据所述模型需求选择执行所述任务的深度学习模型，并将其作为待压缩深度学习模型；所述深度学习模型包括：目标检测网络模型和深度估计网络模型；
压缩任务需求模型构建单元，用于根据所述资源预算构建压缩任务需求模型；所述压缩任务需求模型包括模型压缩的优化目标和约束条件；
最优压缩策略搜索单元，用于利用差分进化算法搜索最优压缩策略；
模型压缩单元，用于基于所述模型压缩的优化目标和约束条件，根据所述最优压缩策略对所述待压缩深度学习模型进行自动压缩。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行上述所述的方法。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被运行时，实现上述所述的方法。
本申请提供面向微小型无人机平台的深度学习模型压缩方法、系统、设备及介质，所述方法包括：获取无人机要完成的任务和无人机所在平台的平台信息，基于任务和平台信息确定模型需求和资源预算，资源预算包括：延迟预算和内存预算；根据模型需求选择执行任务的深度学习模型，并将其作为待压缩深度学习模型；根据资源预算构建压缩任务需求模型；压缩任务需求模型包括模型压缩的优化目标和约束条件；利用差分进化算法搜索最优压缩策略；基于模型压缩的优化目标和约束条件，根据最优压缩策略对待压缩深度学习模型进行自动压缩。本申请提供的面向微小型无人机平台的深度学习模型压缩方法在自主无人机系统上实现时，可以针对不同无人机任务探索出不同模型的最佳逐层压缩策略，并且本发明在模型参数量和计算量降低的同时，不仅保证了模型准确率，还降低了压缩后模型对无人机系统的影响，适应了无人机任务的实时性、鲁棒性和安全性的要求。
附图说明
图1是本申请一个优选实施例所提供的一种面向微小型无人机平台的深度学习模型压缩方法步骤示意图；
图2是本申请一个优选实施例所提供的最优压缩策略搜索的方法步骤示意图；
图3是本申请一个优选实施例所提供的另一最优压缩策略搜索的方法步骤示意图；
图4是本申请一个优选实施例所提供的障碍物威胁区投影示意图；
图5是本申请一个优选实施例所提供的对自动压缩后的深度学习模型的性能进行评估方法步骤示意图；
图6是本申请一个优选实施例所提供的以路径成本作为奖励Rn的差分进化自动压缩流程示意图；
图7是本申请一个优选实施例所提供的一种面向微小型无人机平台的深度学习模型压缩系统示意图；
图8是本申请一个优选实施例所提供的一种计算机设备示意图。
具体实施方式
下面结合附图具体阐明本申请的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本申请的限定，包括附图仅供参考和说明使用，不构成对本申请专利保护范围的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为解决现有无人机的深度学习模型压缩方法存在的无法获得最优、耗时耗力，以及在精度和时延方面存在局限性的技术问题，本申请实施例提供了一种面向微小型无人机平台的深度学习模型压缩方法，实现在保证模型准确率的同时，降低压缩后模型对无人机系统的影响。
请参阅图1，在本申请的实施例中，提供了一种面向微小型无人机平台的深度学习模型压缩方法，所述方法包括：
S1、获取无人机要完成的任务和无人机所在平台的平台信息，基于所述任务和所述平台信息确定模型需求和资源预算；所述资源预算包括：延迟预算和内存预算。
S2、根据所述模型需求选择执行所述任务的深度学习模型，并将其作为待压缩深度学习模型；所述深度学习模型包括：目标检测网络模型和深度估计网络模型。
S3、根据所述资源预算构建压缩任务需求模型；所述压缩任务需求模型包括模型压缩的优化目标和约束条件。
S4、利用差分进化算法搜索最优压缩策略。
S5、基于所述模型压缩的优化目标和约束条件，根据所述最优压缩策略对所述待压缩深度学习模型进行自动压缩。
无人机系统包括软件层和硬件层，其中，软件层包括感知层、规划层、控制层，硬件层包括传感器和无人机模型。在无人机系统的研究中，深度学习模型多用于感知层进行环境感知，感知结果将作为输入传送到规划层和控制层进行决策控制，从而完成相关无人机任务。可见，感知系统中的深度学习模型不仅仅影响感知结果，同样对整个无人机系统也有一定的影响作用。
在本申请中，首先根据要完成的无人机任务和无人机所在的平台信息，确定模型需求和资源预算，资源预算包括延迟预算和内存预算。根据模型需求确定执行任务的深度学习模型，并将其作为待压缩深度学习模型，根据无人机所在平台的计算资源和内存资源，得到对模型的资源预算，本发明实例中即对模型的延迟预算(Tbudget)和内存预算(Sbudget)。延迟预算和内存预算均由开发人员指定，并依赖与无人机平台。
根据资源预算对压缩任务进行需求建模，对深度学习模型压缩后的性能和成本进行了量化，包括模型压缩的优化目标和约束条件，优化目标和约束条件表示为：
s.t.T≤Tbudget，S≤Sbudget，
其中，A、P、T和S分别表示给定的DNN模型经压缩后在无人机平台上所测量得到的准确率、路径成本、延迟和模型大小，μ1和μ2表示权重因子，Amin和Pmax分别表示压缩模型可接受的最小准确度和最大路径成本，Tbudget和Sbudget分别表示延迟预算和内存资源预算，Rall是连续的实值空间，表示压缩超参数的可选值。。
在本申请中，如图2所示，利用差分进化算法搜索最优压缩策略，包括以下步骤：
S401、随机生成一组个体作为初始种群，每个所述个体表示待压缩深度学习模型压缩后的结构。
S402、随机选择两个个体并计算两个个体间的差异，将所述差异与另一个随机个体进行组合，生成变异个体。
S403、将每一个所述变异个体与对应的原个体进行交叉操作，产生实验个体。
S404、比较所述实验个体与对应的原个体的适应度值，选择适应度更好的个体作为最优个体。
S405、判断是否达到预定的迭代次数，若否，则将所述最优个体作为下一代种群的父代继续进行迭代搜索；若是，则结束搜索，则将所述最优个体作为最优压缩策略输出。
在本申请中，基于差分进化算法搜索最优压缩策略，差分进化算法是一种基于群体差异的启发式随机搜索算法，具有原理简单、受控参数少、鲁棒性强等优点。
差分进化算法来源于早期提出的遗传算法(Genetic Algorithm，GA)。而差分进化算法引入了利用当前群体中个体差异来构造变异个体的差分变异模式，是其独特的进化方式。差分进化算法是一种多目标优化算法，用于求解多维空间中整体最优解。
初始化种群，随机生成一组个体作为初始种群，每个个体都表示模型压缩后的结构。个体的信息包括每个待压缩深度学习模型可压缩层的通道数的压缩率，压缩率的大小限制在[0.2，1]之间。
变异操作，对于每个个体，随机选择两个个体并计算两个个体间的差异，将差异与另一个随机个体进行组合，生成变异个体。
交叉操作，将每一个变异个体与对应的原个体进行交叉操作，产生实验个体。
选择操作，比较实验个体与对应的原个体的适应度值，选择适应度更好的个体作为最优个体。
终止条件判断，判断是否达到预定的迭代次数，若否，则将最优个体作为下一代种群的父代继续进行迭代搜索；若是，则结束搜索，将最优个体作为最优压缩策略输出。
在本申请中，利用差分进化算法搜索最优压缩策略，如图3所示，还包括以下步骤：
S406、待完成一轮搜索得到最优压缩策略后，基于所述模型压缩的优化目标和约束条件，对按所述最优压缩策略进行压缩后的深度学习模型进行性能评估。
S407、若性能评估结果满足要求，则输出所述最优压缩策略，若性能评估结果不满足要求，则进行新一轮的搜索，以对所述最优压缩策略进行更新。
在本申请中，性能评估的指标包括：准确率、模型大小、时延和对无人机任务及系统的影响。
准确率，为自动压缩后的深度学习模型在所有测试样本中，预测正确的样本占测试数据集总样本的比率。测试数据集将根据模型以及无人机任务进行选择，比如无人机目标检测任务相关数据集包括UAVDT、VisDrone和/或UAV123等。
模型大小，使用与自动压缩后的深度学习模型的权重和激活相关的总比特数来计算。
时延，与部署无人机的存储和处理能力，以及算法复杂度密切相关，将模型在无人机计算平台实际测量的推理时间作为延迟的标准。
对无人机任务及系统的影响，用路径成本P来衡量自动压缩后的深度学习模型对无人机任务及系统的影响，路径成本P由自动压缩后的深度学习模型在完成无人机任务时产生的飞行轨迹计算。
其中，在本申请的一个实施例中，路径成本包括距离成本和威胁成本。
记无人机飞行路径点为Wij，Wij＝(Xij，Yij，Zij)表示第i条飞行路径中第j个路径点的无人机三维空间位置，飞行路径Li可表示为n个路径点的三维数组。将2个路径点之间的欧式距离记作则距离成本的计算公式为：
其中，n表示路径点的总数，Wij表示第i条飞行路径中第j个路径点的无人机三维位置坐标，Li表示第i条飞行路径段；
设定障碍物威胁区为圆柱体形式，其投影如图4所示。
记圆柱体中心坐标为Ck，半径为Rk，外围为碰撞威胁区D，则无人机的避障威胁成本与其路径段和障碍物中心Ck的距离dk成反比。将飞行环境下障碍物威胁区集合记作K，障碍物威胁成本惩罚系数记作γc，则与无人机飞行路径Li的避障威胁相关的威胁成本Pt表示如下：
在本申请实施例中，关于飞行路径Li的路径成本P定义为关于距离成本Pl和威胁成本Pt的函数，如下式所示：
P(Li)＝αPl(Li)+βPt(Li)，
其中，α和β分别为距离成本和威胁成本的权重系数。在本发明的一个实施例中，α＝0.5，β＝0.5。
在本申请的一个实施例中，对自动压缩后的深度学习模型的性能进行评估，如图5所示，包括以下步骤：
S4061、根据所述模型大小和所述时延评估压缩模型是否满足无人机平台的资源预算；
S4062、将所述准确率和所述路径成本的归一化值作为模型适应度值，根据所述模型适应度值评估所述压缩后的深度学习模型在无人机系统的性能表现；
所述模型适应度值的计算公式为：
Fitness＝μ1N(A-Amin)+μ2N(Pmax-P)，
其中，μ1和μ2表示权重因子，N(x)表示标准化操作，Amin和Pmax分别表示压缩模型可接受的最小准确度和最大路径成本。
适应度值和优化目标的表述一致，当适应度值满足优化目标的要求时，所搜索的压缩策略为最优策略。
在得到压缩后的模型的性能指标后，时延T和模型大小S用以判定压缩模型是否满足无人机平台的资源预算，压缩模型的准确率A和路径成本P作为适应度值反馈给最优压缩策略搜索过程。如图6所示，给出了以路径成本作为奖励Rn的差分进化自动压缩流程示意图。
由于实际飞行测试成本太高且无法保证无人机系统的稳定性和安全性，因此在本发明的一个实施例中，使用Gazebo仿真工具搭建无人机任务模拟仿真平台，也可替换为其他仿真工具，比如Airsim、FlightGear等。在仿真平台中，根据无人机的任务，完成无人机系统硬件架构(包括传感器和无人机模型)和软件架构(包括感知层、规划层和控制层)的构建，并将压缩模型部署至仿真平台，由Gazebo提供环境场景模拟，完成相应的无人机任务。
在本发明的一个实例中，压缩模型的路径成本P在Gazebo仿真平台实际测量得到。为了确保测量结果更精确，减少误差，将进行多次(20次)试验测量，取平均值作为测量结果。
进一步地，在测量得到压缩模型的性能指标后，时延T和模型大小S用以判定压缩模型是否满足无人机平台的资源预算，压缩模型的准确率A和路径成本P作为适应度值反馈给最优压缩策略搜索的过程。
本发明在兼顾压缩模型准确率的同时，减小模型压缩对无人机系统的影响。期望得到模型准确率A和路径成本P表现最佳的压缩策略，最优压缩策略搜索过程中对模型的适应度值Fitness的设置如下式所示：
Fitness＝μ1N(A-Amin)+μ2N(Pmax-P)，
其中，μ1和μ2为权重因子，在本发明的一个实例中，μ1＝0.5和μ2＝0.5，N(x)为标准化操作，Amin和Pmax分别表示待压缩深度学习模型可接受的最小准确度和最大路径成本，根据待压缩深度学习模型、无人机任务及环境的不同有不同的设置。
在实际应用中，无人机的资源预算有限，需要在给定约束情况下具有最佳性能的压缩策略。然而，奖励Rn不提供对模型延迟和模型大小减少的激励，因此，在本发明的一个实施例中，通过限制动作空间的方法来达到约束满足，并实现目标压缩比。
以模型大小为约束的通道剪枝为例：允许在前几层以任意的稀疏率进行剪枝压缩(动作a)，当发现即使用最激进的压缩策略压缩所有后续层，资源预算仍然不足时，限制动作a。该方法不仅仅局限于约束模型大小，也可以被其他资源替换，如FLOPs或无人机平台上的实际推理时延。
相应地，如图7所示，根据面向微小型无人机平台的深度学习模型压缩方法，本发明实施例还提供一种面向微小型无人机平台的深度学习模型压缩系统，所述系统包括：模型需求和资源预算确定单元1、待压缩深度学习模型确定单元2、压缩任务需求模型构建单元3、最优压缩策略搜索单元4和模型压缩单元5；
模型需求和资源预算确定单元1，用于获取无人机要完成的任务和无人机所在平台的平台信息，基于所述任务和所述平台信息确定模型需求和资源预算；所述资源预算包括：延迟预算和内存预算。
待压缩深度学习模型确定单元2，用于根据所述模型需求选择执行所述任务的深度学习模型，并将其作为待压缩深度学习模型；所述深度学习模型包括：目标检测网络模型和深度估计网络模型。
压缩任务需求模型构建单元3，用于根据所述资源预算构建压缩任务需求模型；所述压缩任务需求模型包括模型压缩的优化目标和约束条件。
最优压缩策略搜索单元4，用于利用差分进化算法搜索最优压缩策略。
模型压缩单元5，用于模型压缩单元，用于基于所述模型压缩的优化目标和约束条件，根据所述最优压缩策略对所述待压缩深度学习模型进行自动压缩。
关于一种面向微小型无人机平台的深度学习模型压缩系统的具体限定可以参见上述对于一种面向微小型无人机平台的深度学习模型压缩方法的限定，此处不再赘述。本领域普通技术人员可以意识到，结合本申请所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
如图8所示，本发明实施例提供的一种计算机设备，包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行上述面向微小型无人机平台的深度学习模型压缩方法的步骤。
其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑或其任意组合。
另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。
本领域普通技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，所述存储介质用于存储一个或多个计算机程序，所述一个或多个计算机程序包括程序代码，当所述计算机程序在计算机上运行时，所述程序代码用于执行上述面向微小型无人机平台的深度学习模型压缩方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
本实施例中提供的一种面向微小型无人机平台的深度学习模型压缩方法、系统、计算机设备及存储介质，针对现有现有无人机的深度学习模型压缩方法存在的无法获得最优、耗时耗力，以及在精度和时延方面存在局限性的技术问题。本申请的方法包括：获取无人机要完成的任务和无人机所在平台的平台信息，基于任务和平台信息确定模型需求和资源预算，资源预算包括：延迟预算和内存预算；根据模型需求选择执行任务的深度学习模型，并将其作为待压缩深度学习模型；根据资源预算构建压缩任务需求模型；压缩任务需求模型包括模型压缩的优化目标和约束条件；利用差分进化算法搜索最优压缩策略；基于模型压缩的优化目标和约束条件，根据最优压缩策略对待压缩深度学习模型进行自动压缩。本申请提供的面向微小型无人机平台的深度学习模型压缩方法在自主无人机系统上实现时，可以针对不同无人机任务探索出不同模型的最佳逐层压缩策略，并且本发明在模型参数量和计算量降低的同时，不仅保证了模型准确率，还降低了压缩后模型对无人机系统的影响，适应了无人机任务的实时性、鲁棒性和安全性的要求。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种面向微小型无人机平台的深度学习模型压缩方法，其特征在于，所述方法包括：
获取无人机要完成的任务和无人机所在平台的平台信息，基于所述任务和所述平台信息确定模型需求和资源预算；所述资源预算包括：延迟预算和内存预算；
根据所述模型需求选择执行所述任务的深度学习模型，并将其作为待压缩深度学习模型；所述深度学习模型包括：目标检测网络模型和深度估计网络模型；
根据所述资源预算构建压缩任务需求模型；所述压缩任务需求模型包括模型压缩的优化目标和约束条件；
利用差分进化算法搜索最优压缩策略；
基于所述模型压缩的优化目标和约束条件，根据所述最优压缩策略对所述待压缩深度学习模型进行自动压缩。
2.如权利要求1所述的面向微小型无人机平台的深度学习模型压缩方法，其特征在于，所述优化目标和约束条件表示为：
s.t.T≤Tbudget,S≤Sbudget，
其中，A、P、T和S分别表示待压缩深度学习模型经压缩后在无人机平台上所测量得到的准确率、路径成本、延迟和模型大小，μ1和μ2表示权重因子，Amin和Pmax分别表示压缩模型可接受的最小准确度和最大路径成本，Tbudget和Sbudget分别表示延迟预算和内存预算，Rall是连续的实值空间，表示压缩超参数的可选值。
3.如权利要求1所述的面向微小型无人机平台的深度学习模型压缩方法，其特征在于，所述利用差分进化算法搜索最优压缩策略，包括：
随机生成一组个体作为初始种群，每个所述个体表示待压缩深度学习模型压缩后的结构；
随机选择两个个体并计算两个个体间的差异，将所述差异与另一个随机个体进行组合，生成变异个体；
将每一个所述变异个体与对应的原个体进行交叉操作，产生实验个体；
比较所述实验个体与对应的原个体的适应度值，选择适应度更好的个体作为最优个体；
判断是否达到预定的迭代次数，若否，则将所述最优个体作为下一代种群的父代继续进行迭代搜索；若是，则结束搜索，将所述最优个体作为最优压缩策略输出。
4.如权利要求3所述的面向微小型无人机平台的深度学习模型压缩方法，其特征在于，所述个体的信息包括每一个所述待压缩深度学习模型可压缩层通道压缩率；
所述通道压缩率的限值为[0.2，1]。
5.如权利要求1所述的面向微小型无人机平台的深度学习模型压缩方法，其特征在于，所述利用差分进化算法搜索最优压缩策略，还包括：
待完成一轮搜索得到最优压缩策略后，基于所述模型压缩的优化目标和约束条件，对按所述最优压缩策略进行压缩后的深度学习模型进行性能评估；
若性能评估结果满足要求，则输出所述最优压缩策略，若性能评估结果不满足要求，则进行新一轮的搜索，以对所述最优压缩策略进行更新。
6.如权利要求5所述的面向微小型无人机平台的深度学习模型压缩方法，其特征在于，性能评估指标包括：准确率、模型大小、时延和对无人机任务及系统的影响；
所述对无人机任务及系统的影响包括压缩后的深度学习模型部署在无人机平台后，实际任务产生的飞行轨迹的路径成本；
所述路径成本包括距离成本和威胁成本；
所述距离成本的计算公式为：
其中，n表示路径点的总数，Wij表示第i条飞行路径中第j个路径点的无人机三维位置坐标，Li表示第i条飞行路径。
所述威胁成本的计算公式为：
其中，K表示飞行环境下障碍物威胁区集合，Rk表示圆柱形障碍威胁区的半径，D表示碰撞威胁区，dk表示路径段与圆柱形障碍区中心的距离，γc表示障碍物威胁成本惩罚系数；
所述路径成本的计算公式为：
P(Li)＝αPl(Li)+βPt(Li)，
其中，α和β分别为距离成本和威胁成本的权重系数。
7.如权利要求6所述的面向微小型无人机平台的深度学习模型压缩方法，其特征在于，所述基于所述模型压缩的优化目标和约束条件，对按所述最优压缩策略进行压缩后的深度学习模型进行性能评估，包括：
根据所述模型大小和所述时延评估压缩模型是否满足无人机平台的资源预算；
将所述准确率和所述路径成本的归一化值作为模型适应度值，根据所述模型适应度值评估所述压缩后的深度学习模型在无人机系统的性能表现；
所述模型适应度值的计算公式为：
Fitness＝μ1N(A-Amin)+μ2N(Pmax-P)，
其中，μ1和μ2表示权重因子，N(x)表示标准化操作，Amin和Pmax分别表示待压缩深度学习模型可接受的最小准确度和最大路径成本。
8.一种面向微小型无人机平台的深度学习模型压缩系统，其特征在于，所述系统包括：模型需求和资源预算确定单元、待压缩深度学习模型确定单元、压缩任务需求模型构建单元、最优压缩策略搜索单元和模型压缩单元；
模型需求和资源预算确定单元，用于获取无人机要完成的任务和无人机所在平台的平台信息，基于所述任务和所述平台信息确定模型需求和资源预算；所述资源预算包括：延迟预算和内存预算；
待压缩深度学习模型确定单元，用于根据所述模型需求选择执行所述任务的深度学习模型，并将其作为待压缩深度学习模型；所述深度学习模型包括：目标检测网络模型和深度估计网络模型；
压缩任务需求模型构建单元，用于根据所述资源预算构建压缩任务需求模型；所述压缩任务需求模型包括模型压缩的优化目标和约束条件；
最优压缩策略搜索单元，用于利用差分进化算法搜索最优压缩策略；
模型压缩单元，用于基于所述模型压缩的优化目标和约束条件，根据所述最优压缩策略对所述待压缩深度学习模型进行自动压缩。
9.一种计算机设备，其特征在于：所述计算机设备包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被运行时，实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311785675.7A CN117744742A (zh) | 2023-12-22 | 2023-12-22 | 面向微小型无人机平台的深度学习模型压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311785675.7A CN117744742A (zh) | 2023-12-22 | 2023-12-22 | 面向微小型无人机平台的深度学习模型压缩方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117744742A true CN117744742A (zh) | 2024-03-22 |
Family
ID=90257349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311785675.7A Pending CN117744742A (zh) | 2023-12-22 | 2023-12-22 | 面向微小型无人机平台的深度学习模型压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117744742A (zh) |
-
2023
- 2023-12-22 CN CN202311785675.7A patent/CN117744742A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Haji et al. | Comparison of optimization techniques based on gradient descent algorithm: A review | |
| Hitz et al. | Adaptive continuous‐space informative path planning for online environmental monitoring | |
| CN110926477B (zh) | 一种无人机航路规划及避障方法 | |
| Saulnier et al. | Information theoretic active exploration in signed distance fields | |
| CN112327903B (zh) | 一种基于深度混合密度网络的航空器轨迹生成方法 | |
| Stroud et al. | Nonlinear state-space models with state-dependent variances | |
| CN108566178B (zh) | 一种非稳态随机机会网络特征值滤波方法 | |
| CN117707207B (zh) | 基于深度强化学习的无人机对地目标跟踪与避障规划方法 | |
| Feng et al. | Point cloud registration algorithm based on the grey wolf optimizer | |
| CN112381334A (zh) | 基于多因素模糊时间序列的高陡边坡形变趋势预测的方法 | |
| CN113204909B (zh) | 基于地基观测光度信号的卫星几何特征与姿态估计方法 | |
| Wang et al. | Bayesian-based decision-making for object search and classification | |
| CN110852440A (zh) | 一种基于动态模糊神经网络的海洋锋探测方法 | |
| Berneti | Design of fuzzy subtractive clustering model using particle swarm optimization for the permeability prediction of the reservoir | |
| CN117744742A (zh) | 面向微小型无人机平台的深度学习模型压缩方法及系统 | |
| Rolf et al. | A successive-elimination approach to adaptive robotic sensing | |
| CN114705177B (zh) | 一种基于误差分析的光纤陀螺测姿数据处理方法 | |
| Khodaparast et al. | Fuzzy model updating and its application to the DLR AIRMOD test structure | |
| CN114035536A (zh) | 一种基于蒙特卡洛法的飞行控制系统鲁棒性评估方法 | |
| Mosavi | An effective method for GPS GDOP clustering using ant colony optimization algorithm | |
| Romanowicz et al. | Modelling uncertainty and variability in environmental systems | |
| Yetki et al. | Optimal design of deformation monitoring networks using PSO algorithm | |
| Loch-Dehbi et al. | Stochastic reasoning for UAV supported reconstruction of 3D building models | |
| Ramakrishnan et al. | Assumed density filtering for learning Gaussian process models | |
| US20230351146A1 (en) | Device and computer-implemented method for a neural architecture search |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |