CN117667383A - 面向资源受限边端的分布式数据流优选与训练优化方法 - Google Patents

Abstract

本发明公开了一种面向资源受限边端的分布式数据流优选与训练优化方法，通过边端资源受限下的基于模态相关冗余性的数据流优选方法在模态间的特征级融合中降低模态的相关冗余性，提高训练精度，并利用相关冗余性方法进行最终模型的聚合，降低模型聚合带来的精度下降以及通信开销问题。首先求解模态贡献度与设备任务划分；然后进行设备资源优化；最后基于模态相关性进行权重聚合。本发明实现了资源受限的边端分布式条件下权衡模态数据间的协作和硬件资源上的适配，完成了资源受限边端环境下的感算协同轻量化。

Description

面向资源受限边端的分布式数据流优选与训练优化方法

技术领域

本发明属于物联网技术领域，具体涉及一种分布式数据流优选与训练优化方法。

背景技术

随着智能物联网的发展，越来越多的移动终端设备被赋予智能，终端设备也因此具有数据感知与处理能力。由于边端环境下的数据形式多样，感知到的数据模态也各不相同，且现在越来越多的任务需要多个模态来协同处理，以此获得较高精度的结果，因此多模态传感系统在现实世界中的应用越来越多，如健康监测、自动驾驶和人机交互等。在这些场景中，任务通常过于复杂和动态，仅基于单个传感器模态无法来完成，需要多设备和多传感器模态来协同完成。同时，移动终端设备(智能手机、智能手表、物联网设备等)受限于硬件架构、能耗限制、设备大小、内存占用等物理方面的约束，无法为深度模型提供足够的硬件资源。

因此在边端场景下利用分布式的思想合理利用受限的边端计算资源进行多模态模型训练，并有效利用模态之间的相关性来增加模型的精度，这对资源受限边端条件下的分布式多模态学习发展具有重要意义。

发明内容

为了克服现有技术的不足，本发明提供了一种面向资源受限边端的分布式数据流优选与训练优化方法，通过边端资源受限下的基于模态相关冗余性的数据流优选方法在模态间的特征级融合中降低模态的相关冗余性，提高训练精度，并利用相关冗余性方法进行最终模型的聚合，降低模型聚合带来的精度下降以及通信开销问题。首先求解模态贡献度与设备任务划分；然后进行设备资源优化；最后基于模态相关性进行权重聚合。本发明实现了资源受限的边端分布式条件下权衡模态数据间的协作和硬件资源上的适配，完成了资源受限边端环境下的感算协同轻量化。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：求解模态贡献度与设备任务划分；

步骤1-1：假设编码器的参数为θ^u，u代表模态；模型参数更新采用随机梯度下降SGD优化方法，具体计算如下：

其中，是对全梯度/>的无偏估计，Bt是一个随机的小批次，在第t步中选择，大小为m；

通过监测每个模态对学习目标的贡献的差异，自适应地调制每个模态的梯度；设贡献度为不同模态表示为a、v：

其中，分别表示a和v模态的单模态的性能，/>分别表示使用自下而上的权重和自上而下的权重的平均值得到的权重，/>分别表示a模态编码器和v模态编码器，θ^a、θ^v分别表示对应模态编码器的参数，/>分别表示对应模态的输入，b表示偏置项，M表示类别的数量，/>表示v模态在两个模态之间的贡献度；定义/>为/>的倒数；

使用作为模态u的近似预测，来估计多模态模型的单模态性能；通过/>动态监测音频和视觉模式之间的贡献差异，通过以下方式自适应地调节梯度：

其中，α是用来控制调制程度的一个超参数，表示SGD方法中的系数；

将系数整合到SGD优化方法中，迭代t中的/>更新如下：

其中，μ表示学习率；

假设有L个具有单模态学习能力的设备，部署了每种模态的编码器；根据模态贡献度分析求出的进行分布式设备中的单模态设备划分，具体公式如下：

其中，L表示总设备的数量，P^a、P^v分别表示a、v模态的贡献度，L_a、L_v分别表示分配给a、v模态的设备数量；

步骤1-2：设备任务划分；

根据多模态模型训练小批次数据得到的模态贡献度，得到当前具有多模态学习能力的设备的模态贡献度；在多模态学习中，模态贡献度越大，则分配更多的设备来训练其他模态；

步骤2：设备资源优化；

步骤2-1：确定设备的任务划分之后，单模态模型开始训练，等待r个批次之后，开始收集每个具有单模态学习能力的设备上模型的收敛时间；将不同模态的平均模型收敛时间定义为T_i，则T_i的具体求解公式如下：

其中，n表示拥有i模态的所有设备数量，表示第n个i模态设备的收敛时间；

步骤2-2：求得每个模态的平均收敛时间之后，根据该时间求出每个模态的权重，将权重发送到具有多模态学习能力的设备中，具有多模态学习能力的设备根据该权重进行模态间的资源划分；权重求解公式如下：

步骤3：基于模态相关性的权重聚合；

采用基于模态相关性的权重聚合方案，将编码器与全连接层分离，进行独立的聚合；

步骤3-1：编码器聚合；

服务器首先对编码器余弦距离大于等于D的节点之间的每个模态的编码器余弦值进行规范化，对于第k个节点的模态i：

其中，表示经过归一化后的i模态的第k个节点的余弦值距离，N_i表示含有i模态的节点个数；

经过归一化后将每个节点的余弦值作为相关性权重，求出每个节点的模态相关性权重后，根据该权重进行最终模型的聚合；将每个模态的编码器进行各自模态的聚合，具体的：

其中，fenci^k表示k节点的编码器权重，fenci^end表示最终聚合后的全局编码器权重；

步骤3-2：全连接层聚合；

对于其他节点中的每个模态，计算其与具有多模态学习能力的节点中对应模态的余弦值，如果它们之间的差距在E范围内，选择进行聚合；如果超过E范围，则抛弃该模态对应的全连接层权重；

具体的，对于满足E范围的节点，聚合公式如下：

g(·)＝∑α(k)g_k(·)

其中，α(k)表示k节点的余弦权重占所有可满足聚合全连接层的节点的权重值的比值；g(·)表示全局的全连接层，g_k(·)表示k节点的全连接层，d_k(i)表示i模态对应的k节点的余弦距离；

步骤3-3：经过聚合后，在模态特征融合的连接层，采用基于相关性的加权融合方法，融合求解公式如下：

经过聚合后的多模态模型分发到具有多模态学习能力的设备节点，进行该节点上的训练推理。

优选地，所述D＝0.7，E＝0.1。

本发明的有益效果如下：

本发明在边缘计算场景下，利用分布式方法合理利用有限的计算资源进行模型训练，并有效利用模态之间的相关性来提高模型的精度，对于分布式条件下的多模态任务的发展至关重要。实现了在分布式条件下平衡模态数据之间的协作和硬件资源适配，实现了资源受限边端环境下的感算协同轻量化。

附图说明

图1为本发明整体流程图。

图2为本发明多模态模型图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明提出一种面向资源受限边端的分布式数据流优选与训练优化方法，利用以下原理：通过边端资源受限下的基于模态相关冗余性的数据流优选方法在模态间的特征级融合中降低模态的相关冗余性，提高训练精度，并利用相关冗余性方法进行最终模型的聚合，降低模型聚合带来的精度下降以及通信开销问题。通过边端资源受限下的基于任务分配的模态选择和训练优化方法平衡模态之间的训练，对具有单模态学习能力的慢速设备进行模态划分，并加快具有多模态学习能力的快速设备的收敛速度，缩短了具有多模态学习能力的模型训练时间，并为每个模态的训练分配了合适的计算资源。

本方法的具体流程如下：

(1)求解模态贡献度与设备任务划分；

(2)设备资源优化；

(3)基于模态相关性的权重聚合。

为实现上述任务，本发明采用以下技术方案：

步骤1：求解模态贡献度与设备任务划分

首先介绍模态贡献度分析，小批次的数据经过具有多模态学习能力的设备初训练后，会得出当前场景下各模态的贡献程度。具体的，模态数据经过单模态编码器，得到对应的特征，不同模态特征进行加权融合，初始权重为1：1，经过相关性判断后赋予相关性权重，模态特征融合后经过全连接层，这里通过进行小批次的数据预测，求出预测值与真值的贡献度P，P代表了此时模型训练的倾向，即当前模型对某一模态训练的更好，为了遏制模型只关注一个模态，忽略另一模态，这里采用了动态梯度调制的方法，以此平衡模态之间的训练。

首先假设编码器的参数为θ^u，这里u代表的模态，模型的参数更新这里采用随机梯度下降(SGD)优化方法，具体计算如下：

其中，是对全梯度/>的无偏估计，B_t是一个随机的小批次，在第t步中选择，大小为m。

通过监测每个模态对学习目标的贡献的差异，可以自适应地调制每个模态的梯度。具体的，这里设计了贡献度模态表示为a，v：

被定义为/>的倒数。这里使用/>作为模态u的近似预测，来估计多模态模型的单模态性能。通过/>来动态监测音频和视觉模式之间的贡献差异，通过以下方式自适应地调节梯度：

其中，α是用来控制调制程度的一个超参数。将系数整合到SGD优化方法中，迭代t中的/>更新如下：

通过减轻了性能更好的模态/>的优化，而另一种模态不受影响，能够摆脱有限的优化努力，获得足够的训练。

具有多模态学习能力的设备上的训练过程如上述所示根据设备上的模型求出的来决定各模态的贡献度。这里假设有L个具有单模态学习能力的设备，这些设备上部署了每种模态的编码器，这些编码器可根据情况进行选择，如当前环境需要该设备处理音频数据，则该设备启动音频模态模型，进行音频模态的训练。根据模态贡献度分析求出的/>进行分布式设备中的单模态设备设备划分，具体公式如下：

接下来进行设备任务划分，它是针对具有单模态学习能力的慢速设备进行的，首先根据上述多模态模型训练小批次数据得到的模态贡献度，可以得出当前具有多模态学习能力的设备的模态贡献度，因此根据模态的贡献度来给具有单模态学习能力的慢速结点分配任务。具体的，在多模态学习中，当某个模态(例如模态A)的贡献度较大时，可以通过分配更多的设备设备来训练其他模态(例如模态B)，以平衡模态之间的差距，确保所有模态都得到充分的训练。这种方法可以通过模态贡献度来进行设备任务划分，从而只需要在设备之间传递模态贡献度，而无需传递模型梯度等参数，从而显著减少了设备间的通信延迟，提高了效率。

步骤2：设备资源优化

在设备资源优化方面，针对具有多模态学习能力的快速设备，可以根据模态的收敛时间进行资源划分。通过在具有单模态学习能力的设备上训练模态，可以得到模型的收敛时间差异。根据这些差异，合理地分配更多的计算资源给收敛速度较慢的模态，以加快其训练过程。同时，还可以设置一个门控机制，当不同模态的收敛速度仍存在较大差异时，可以部分冻结收敛速度较慢模态的模型层。这样可以在不牺牲太多精度的前提下加快收敛速度，降低延迟。

具体的，确定好具有单模态学习能力的设备的任务划分之后，单模态模型开始训练，等待r个批次之后，开始收集每个具有单模态学习能力的设备上模型的收敛时间。将不同模态的平均模型收敛时间定义为T_i，则T_i的具体求解公式如下：

该公式表示针对i模态的所有具有单模态学习能力的设备的模型训练收敛时间的均值。求得每个模态的平均收敛时间之后，根据该时间求出每个模态的权重，将权重发送到具有多模态学习能力的设备中，具有多模态学习能力的设备根据该权重进行模态间的资源划分，针对收敛速度慢的模态给予更多的训练资源，以此加快整体模型的收敛速度。权重求解公式如下：

基于权重的动态资源分配方案可以通过在具有多模态学习能力的设备上分配适当数量的CPU/GPU核心来实现。权重的计算考虑了每个模态的平均模型收敛时间，根据收敛时间的差异性来确定每个模态所需的资源权重。将这些权重发送到具有多模态学习能力的设备，设备根据权重进行模态间的资源划分，优先分配更多的训练资源给收敛速度较慢的模态，以加快整体模型的收敛速度。

该资源分配方案不仅限于CPU/GPU核心的数量，还可以涉及其他计算资源，如内存、存储等。通过合理分配这些资源，可以充分利用设备上的计算能力，提高多模态学习的效率和性能。此外，如果某个模态较早完成一轮局部模型训练，其训练任务将进入睡眠状态，将剩余资源释放给其他模态的单模态训练，从而最大限度地利用设备上的计算资源，进一步优化资源利用效率。如果在资源分配后仍然存在模型收敛速度差异较大的情况，可以选择冻结编码器的前层模型。

步骤3：基于模态相关性的权重聚合

直接聚合所有多模态和单模态模型将会使得最终全局模型的精度很差，不能充分利用模态之间的相关性。因此，为了解决这个问题，提出了基于模态相关性的权重聚合方案，在这里，将编码器与全连接层分离，进行独立的聚合，首先是编码器的聚合。具体的，服务器首先对编码器余弦距离大于等于0.7的节点之间的每个模态的编码器余弦值进行规范化。对于第k个节点的模态i：

Ni表示含有i模态的节点个数，经过归一化后可以将每个节点的余弦值作为相关性权重。求出每个节点的模态相关性权重后，根据该权重进行最终模型的聚合，这里将编码器与全连接层按不同的方式进行聚合。首先是编码器的聚合，将每个模态的编码器进行各自模态的聚合，具体的：

该式表示具有单/多模态学习能力的节点中的i模态编码器进行加权聚合。

在编码器聚合之后，接下来进行全连接层的聚合。由于采用的模态融合是特征加权融合，因此具有单模态学习能力的节点和具有多模态学习能力的节点上的全连接层结构是相同的，可以进行融合操作。在全连接层的聚合过程中，考虑了模态偏向度的相似性对于模型精度的影响，把模态偏向度相似的全连接层聚合会提高模型精度，而把模态偏向度相差较大的全连接层聚合则会损失部分精度。根据之前提到的归一化余弦值作为基准，将具有多模态学习能力的节点上每个模态的权重作为参考。

具体而言，对于其他节点中的每个模态，计算其与具有多模态学习能力的节点中对应模态的余弦值(权重)。如果它们之间的差距在0.1范围内，选择进行聚合；如果超过0.1范围，则抛弃该模态对应的全连接层权重。对于具有多模态学习能力的节点，每个模态都有自己的权重。在最终的融合过程中，将每个模态的权重进行求和取平均操作，得到平均权重作为最终的融合权重。

通过以上操作，可以实现对全连接层的聚合，根据模态权重的相似性进行选择和抛弃，以提高模型的精度。

具体的，对于满足该范围的节点，聚合公式如下：

g(·)＝∑α(k)g_k(·)

这里α(k)表示k节点的余弦权重占所有可满足聚合全连接层的节点的权重值的比值，这里的具有多模态学习能力的节点的权重是其每个模态权重的均值。

经过聚合后，在模态特征融合的连接层，采用基于相关性的加权融合方法，这里的权重求解也是通过采用求解编码器的余弦值来确定，分别求解经过聚合后的模态编码器与最初的单模态编码器的余弦距离，融合求解公式如下：

经过聚合后的多模态模型分发到具有多模态学习能力的设备节点，进行该节点上的训练推理。

Claims (2)

1.一种面向资源受限边端的分布式数据流优选与训练优化方法，其特征在于，包括如下步骤：

步骤1：求解模态贡献度与设备任务划分；

步骤1-1：假设编码器的参数为θ^u，u代表模态；模型参数更新采用随机梯度下降SGD优化方法，具体计算如下：

其中，是对全梯度/>的无偏估计，Bt是一个随机的小批次，在第t步中选择，大小为m；

通过监测每个模态对学习目标的贡献的差异，自适应地调制每个模态的梯度；设贡献度为不同模态表示为a、v：

其中，分别表示a和v模态的单模态的性能，/>分别表示使用自下而上的权重和自上而下的权重的平均值得到的权重，/>分别表示a模态编码器和v模态编码器，θ^a、θ^v分别表示对应模态编码器的参数，/>分别表示对应模态的输入，b表示偏置项，M表示类别的数量，/>表示v模态在两个模态之间的贡献度；定义/>为/>的倒数；

使用作为模态u的近似预测，来估计多模态模型的单模态性能；通过动态监测音频和视觉模式之间的贡献差异，通过以下方式自适应地调节梯度：

其中，α是用来控制调制程度的一个超参数，表示SGD方法中的系数；

将系数整合到SGD优化方法中，迭代t中的/>更新如下：

其中，μ表示学习率；

假设有L个具有单模态学习能力的设备，部署了每种模态的编码器；根据模态贡献度分析求出的进行分布式设备中的单模态设备划分，具体公式如下：

其中，L表示总设备的数量，P^a、P^v分别表示a、v模态的贡献度，L_a、L_v分别表示分配给a、v模态的设备数量；

步骤1-2：设备任务划分；

根据多模态模型训练小批次数据得到的模态贡献度，得到当前具有多模态学习能力的设备的模态贡献度；在多模态学习中，模态贡献度越大，则分配更多的设备来训练其他模态；

步骤2：设备资源优化；

步骤2-1：确定设备的任务划分之后，单模态模型开始训练，等待r个批次之后，开始收集每个具有单模态学习能力的设备上模型的收敛时间；将不同模态的平均模型收敛时间定义为T_i，则T_i的具体求解公式如下：

其中，n表示拥有i模态的所有设备数量，表示第n个i模态设备的收敛时间；

步骤2-2：求得每个模态的平均收敛时间之后，根据该时间求出每个模态的权重，将权重发送到具有多模态学习能力的设备中，具有多模态学习能力的设备根据该权重进行模态间的资源划分；权重求解公式如下：

步骤3：基于模态相关性的权重聚合；

采用基于模态相关性的权重聚合方案，将编码器与全连接层分离，进行独立的聚合；

步骤3-1：编码器聚合；

服务器首先对编码器余弦距离大于等于D的节点之间的每个模态的编码器余弦值进行规范化，对于第k个节点的模态i：

其中，表示经过归一化后的i模态的第k个节点的余弦值距离，N_i表示含有i模态的节点个数；

经过归一化后将每个节点的余弦值作为相关性权重，求出每个节点的模态相关性权重后，根据该权重进行最终模型的聚合；将每个模态的编码器进行各自模态的聚合，具体的：

其中，fenci^k表示k节点的编码器权重，fenci^end表示最终聚合后的全局编码器权重；

步骤3-2：全连接层聚合；

对于其他节点中的每个模态，计算其与具有多模态学习能力的节点中对应模态的余弦值，如果它们之间的差距在E范围内，选择进行聚合；如果超过E范围，则抛弃该模态对应的全连接层权重；

具体的，对于满足E范围的节点，聚合公式如下：

g(·)＝∑α(k)g_k(·)

其中，α(k)表示k节点的余弦权重占所有可满足聚合全连接层的节点的权重值的比值；g(·)表示全局的全连接层，g_k(·)表示k节点的全连接层，d_k(i)表示i模态对应的k节点的余弦距离；

步骤3-3：经过聚合后，在模态特征融合的连接层，采用基于相关性的加权融合方法，融合求解公式如下：

经过聚合后的多模态模型分发到具有多模态学习能力的设备节点，进行该节点上的训练推理。

2.根据权利要求1所述的一种面向资源受限边端的分布式数据流优选与训练优化方法，其特征在于，所述D＝0.7，E＝0.1。