CN117097797B - 云边端协同方法、装置、系统、电子设备及可读存储介质 - Google Patents

云边端协同方法、装置、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN117097797B
CN117097797B CN202311353873.6A CN202311353873A CN117097797B CN 117097797 B CN117097797 B CN 117097797B CN 202311353873 A CN202311353873 A CN 202311353873A CN 117097797 B CN117097797 B CN 117097797B
Authority
CN
China
Prior art keywords
data
cloud
edge
model
knowledge model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311353873.6A
Other languages
English (en)
Other versions
CN117097797A (zh
Inventor
范宝余
李仁刚
王棣
王立
张润泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202311353873.6A priority Critical patent/CN117097797B/zh
Publication of CN117097797A publication Critical patent/CN117097797A/zh
Application granted granted Critical
Publication of CN117097797B publication Critical patent/CN117097797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/10015—Access to distributed or replicated servers, e.g. using brokers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种云边端协同方法、装置、系统、电子设备及可读存储介质，应用于云技术领域。其中，方法包括云中心服务器预先部署通用知识模型；通用知识模型包括数据接口网络、特征提取网络和任务接口网络；云中心服务器检测到符合云边交互条件，将通用知识模型下发至各边缘服务器，各边缘服务器通过双向蒸馏方式对其本地模型和通用知识模型进行训练。其中，数据接口网络对不同模态的输入数据进行处理，以满足特征提取网络的输入数据的格式要求；任务接口网络基于所属任务类型对特征提取网络输出的特征信息进行转换。本发明可以解决相关技术不能实现云边端环境下的数据协同共享的问题，能够实现云边端环境下的数据协同共享。

Description

云边端协同方法、装置、系统、电子设备及可读存储介质
技术领域
本发明涉及云技术领域，特别是涉及一种云边端协同方法、装置、系统、电子设备及可读存储介质。
背景技术
随着物联网、人工智能技术的快速普及应用，传统云平台已经难以满足互联网用户对数据计算的需求。通过在网络边缘构建计算平台，将中心云的一部分计算任务从云端移到网络边缘处理，也即边缘计算，来优化云平台的数据传输、处理及存储的性能。
相关技术中，由于边缘侧场景复杂多样，边缘侧处理的任务及数据多种多样，这种多重异构性的环境会给云边端协同造成困难。而且，边缘侧的设备在自身场景下获取数据无法传递到云端的中央服务器以及传播到其他边缘设备上，这均导致无法实现云边端环境下的数据协同共享。
鉴于此，实现云边端环境下的数据协同共享，是所属领域技术人员需要解决的技术问题。
发明内容
本发明提供了一种云边端协同方法、装置、系统、电子设备及可读存储介质，实现云边端环境下的数据协同共享。
为解决上述技术问题，本发明提供以下技术方案：
本发明一方面提供了一种云边端协同方法，应用于云中心服务器，包括：
预先部署通用知识模型；所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；
当检测到符合云边交互条件，将所述通用知识模型下发至各边缘服务器，以在各边缘服务器通过双向蒸馏方式对其本地模型和所述通用知识模型进行训练；
其中，所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换。
在第一种示例性的实施方式下，所述对不同模态的输入数据进行处理，包括：
当接收到数据处理请求，获取待处理数据；
若所述待处理数据为多模态数据，则基于每一个模态类型对应的预设数据处理方式，对所述待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至所述特征提取网络；
若所述待处理数据为单模态数据，则按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络。
在第二种示例性的实施方式下，所述数据处理请求为文本处理请求，所述待处理数据为待处理文本信息；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
在所述待处理文本信息的句首、句尾分别添加词标识，并将所述待处理文本信息的每个词转换为词嵌入、片段嵌入和位置嵌入的联合向量，得到标准文本输入信息；
将所述标准文本输入信息输入至所述特征提取网络。
在第三种示例性的实施方式下，所述待处理数据为待处理图像；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
对所述待处理图像进行像素归一化处理，得到标准图像；
基于所述标准图像的像素参数、图像裁剪参数和嵌入参数，对所述标准图像进行相应处理，得到多个目标子图块；
将各目标子图块，按照预设顺序输入至所述特征提取网络。
在第四种示例性的实施方式下，所述基于所述标准图像的像素参数、图像裁剪参数和嵌入参数，对所述标准图像进行相应处理，得到多个目标子图块，包括：
基于所述标准图像的像素参数和图像裁剪参数，将所述标准图像裁剪为多个子图块；
根据所述嵌入参数，对每一个子图块进行图嵌入处理，以将其转换为目标子图块。
在第五种示例性的实施方式下，所述数据处理请求为音频信号处理请求，所述待处理数据为待处理声信号；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
按照声音裁剪参数，将所述待处理声信号裁剪为多个声音片段；
提取各声音片段的声学特征，并将所有声学特征输入至所述特征提取网络。
在第六种示例性的实施方式下，所述待处理数据为待处理视频；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
按照视频裁剪参数对所述待处理视频进行裁剪，得到图像序列；
将所述图像序列输入至所述特征提取网络。
在第七种示例性的实施方式下，所述当检测到符合云边交互条件，包括：
当接收到用户输入的云边交互配置参数请求，获取云边交互周期；所述云边交互周期用于确定云边交互条件；
若当前时间与上一次云边交互时间的时间间隔为所述云边交互周期，则判定符合云边交互条件。
在第八种示例性的实施方式下，所述将所述通用知识模型下发至各边缘服务器，包括：
获取当前时刻云边端环境下各边缘服务器的边缘置信值；
将所述通用知识模型和各边缘置信值下发至相应的边缘服务器。
在第九种示例性的实施方式下，所述获取当前时刻云边端环境下各边缘服务器的边缘置信值之前，还包括：
获取测试任务集；
每当检测到目标边缘服务器完成云边交互任务，则分别调用所述目标边缘服务器的目标本地模型和所述通用知识模型对所述测试任务集进行预测；
通过比较当前预测精度和上一次预测精度，对所述目标边缘服务器的边缘置信值进行调整。
在第十种示例性的实施方式下，所述通过比较当前预测精度和上一次预测精度，对所述目标边缘服务器的边缘置信值进行调整，包括：
若当前预测精度大于上一次预测精度，则按照预设调整幅度调高所述目标边缘服务器的边缘置信值。
在第十一种示例性的实施方式下，所述特征提取网络为多层交换网络Transformer，所述通用知识模型的训练过程包括：
利用目标任务对所述通用知识模型进行预训练，且在每次预训练过程中，所述通用知识模型的特征提取网络相同，所述任务接口网络与所述目标任务的类型对应；
其中，所述目标任务为多个单模态任务组或多模态任务。
在第十二种示例性的实施方式下，所述当检测到符合云边交互条件，将所述通用知识模型下发至各边缘服务器之后，还包括：
当接收到目标边缘服务器发送的更新后的新通用知识模型，根据所述目标边缘服务器的信任参数和所述新通用知识模型，对所述通用知识模型进行更新。
在第十三种示例性的实施方式下，所述根据所述目标边缘服务器的信任参数和所述新通用知识模型，对所述通用知识模型进行更新，包括：
调用模型更新关系式，对所述通用知识模型进行更新；所述模型更新关系式为：
Sn=（1-ε）·S+ε·S＇；
式中，Sn为再次更新后的通用知识模型的参数矩阵，S为所述通用知识模型的参数矩阵，S＇为所述新通用知识模型的参数矩阵，ε为所述目标边缘服务器的信任参数。
本发明一方面提供了一种云边端协同方法，应用于边缘服务器，包括：
接收云中心服务器在检测到符合云边交互条件时下发的通用知识模型；
通过双向蒸馏方式对本地模型和所述通用知识模型进行训练；
其中，所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换。
在第一种示例性的实施方式下，所述通过双向蒸馏方式对本地模型和所述通用知识模型进行训练，包括：
分别利用所述本地模型和所述通用知识模型对子任务训练数据进行处理，得到通用预测值和本地预测值；
基于所述通用预测值和所述本地预测值，所述子任务训练数据对应的真值，计算所述本地模型和所述通用知识模型的损失函数值；
通过比较本地损失函数值和通用损失函数值，确定待更新模型为所述本地模型还是所述通用知识模型。
在第二种示例性的实施方式下，所述分别利用所述本地模型和所述通用知识模型对子任务训练数据进行处理，得到通用预测值和本地预测值，包括：
利用所述本地模型对子任务训练数据进行处理，得到本地模态数据；
将所述本地模态数据输入至与所述子任务的任务类型相匹配的目标任务接口网络中，得到本地预测值；
利用所述通用知识模型的特征提取网络对子任务训练数据进行处理，得到通用模态数据；
将所述通用模态数据输入所述目标任务接口网络中，得到通用预测值。
在第三种示例性的实施方式下，所述通过比较所述本地损失函数值和所述通用损失函数值，确定待更新模型为所述本地模型还是所述通用知识模型，包括：
若所述本地损失函数值大于所述通用损失函数值，则基于云中心服务器的中心置信值，根据所述本地模型和所述通用知识模型的差别，计算所述本地模型在反向传播过程中的梯度值；
当反向传播更新完所述本地模型，基于所述本地损失函数值，再次计算所述本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
在第四种示例性的实施方式下，所述基于云中心服务器的中心置信值，根据所述本地模型和所述通用知识模型的差别，计算所述本地模型在反向传播过程中的梯度值，包括：
基于第一反向传播更新关系式，对所述本地模型进行反向传播更新；所述第一反向传播更新关系式为：
；
式中，Diffc(Rs,Rc)表示第一反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；α为云中心服务器的中心置信值，γ为衰减因数，τ为当前轮次的双向蒸馏过程总计训练的样本次数。
在第五种示例性的实施方式下，所述基于云中心服务器的中心置信值之前，还包括：
每当检测到完成云边交互任务，若通用损失函数值大于本地损失函数值，则按照预设调整幅度调高所述云中心服务器的中心置信值，直至达到最大中心置信值；若通用损失函数值小于本地损失函数值，则按照预设调整幅度调低所述云中心服务器的中心置信值，直至达到最小中心置信值。
在第六种示例性的实施方式下，所述通过比较所述本地损失函数值和所述通用损失函数值，确定待更新模型为所述本地模型还是所述通用知识模型，包括：
若所述本地损失函数值小于所述通用损失函数值，则基于边缘服务器的边缘置信值，根据所述本地模型和所述通用知识模型的差别，计算所述通用知识模型在反向传播过程中的梯度值；
当反向传播更新完所述通用知识模型，基于所述通用损失函数值，计算所述本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
在第七种示例性的实施方式下，所述基于边缘服务器的边缘置信值，根据所述本地模型和所述通用知识模型的差别，计算所述通用知识模型在反向传播过程中的梯度值，包括：
基于第二反向传播更新关系式，对所述通用知识模型进行反向传播更新；所述第二反向传播更新关系式为：
；
式中，Diffs(Rs,Rc)表示第二反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；β为边缘服务器的边缘置信值，γ为衰减因数，τ为当前轮次的双向蒸馏过程总计训练的样本次数。
本发明另一方面提供了一种云边端协同装置，应用于云中心服务器，包括：
模型部署模块，用于预先部署通用知识模型；所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；其中，所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换；
模型下发模块，用于当检测到符合云边交互条件，将所述通用知识模型下发至各边缘服务器，以在各边缘服务器通过双向蒸馏方式对其本地模型和所述通用知识模型进行训练。
本发明另一方面提供了一种云边端协同装置，应用于边缘服务器，包括：
数据接收模块，用于接收云中心服务器在检测到符合云边交互条件时下发的通用知识模型；
互学习训练模块，用于通过双向蒸馏方式对本地模型和所述通用知识模型进行训练；其中，所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换。
本发明还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述云边端协同方法的步骤。
本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述云边端协同方法的步骤。
本发明最后还提供了一种云边端协同系统，包括云中心服务器和多个边缘服务器，所述云中心服务器为各边缘服务器提供云计算服务；
所述云中心服务器用于执行存储器中存储的计算机程序时实现如前任一项所述云边端协同方法的步骤；
每一个边缘服务器用于执行存储器中存储的计算机程序时实现如前任一项所述云边端协同方法的步骤。
本发明提供的技术方案的优点在于，云中心服务器的通用知识模型使用独立的特征提取网络和任务接口网络，使得面对不同场景下的不同任务时可以使用相同的特征提取网络，将整个模型的主要运算进行共享，从而使得具有多重异构性的云边端场景下很容易实现云边端协同。云中心服务器将通用知识模型下发至各边缘服务器下，通过双向蒸馏实现了边缘服务器的本地模型和云端的通用知识模型之间的双向知识传递，也实现了多重异构条件下的边缘服务器之间的本地模型间的知识传递；这样边缘服务器在自身场景下获取数据可以传递给云端中央服务器和传播到其他边缘服务器上，从而实现云边端环境下的数据协同共享。
此外，本发明还针对云边端协同方法提供了相应的实现装置、系统、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、系统、电子设备及可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
为了更清楚的说明本发明或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种云边端协同方法的流程示意图；
图2为本发明提供的一种数据预处理方法的流程示意图；
图3为本发明提供的另一种云边端协同方法的流程示意图；
图4为本发明提供的一个示例性应用场景的双向蒸馏训练流程示意图；
图5为本发明提供的云边端协同装置的一种具体实施方式结构图；
图6为本发明提供的云边端协同装置的另一种具体实施方式结构图；
图7为本发明提供的电子设备的一种具体实施方式结构图；
图8为本发明提供的云边端协同系统的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及二者的任何变形，意图在于覆盖不排他的包含。术语“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
随着移动互联网、物联网及第五代网络技术的兴起，边缘计算相较于传统的云计算，具有以下优势：1.能够有效利用边缘的限制算力，节约运算成本；2.避免了数据由边缘端传输到云端造成的延迟，可以满足对低时延有极高要求的任务，同时还能够节省云边端的传输带宽；3.用户私密数据无需上传至云端处理，可以在边缘服务器处理，从而可以更好地保护安全性及隐私性。为了提升云平台的计算性能，会在网络边缘构建计算平台，将中心云的一部分计算任务从云端移到网络边缘处理。
然而，边缘侧和端侧场景复杂多样，每个边缘环境面临的任务和数据、运行的模型都会有所不同，也即在边缘设备、边缘服务器运行的模型、任务及数据具有异质性的特点，这就造成具有多重异构性的云边端环境下的数据协同造成困难。此外，云边端环境下中央服务器运行的通用知识模型和边缘服务器运行的本地模型间缺乏协同演化方式，这就导致边缘侧的设备在自身场景下获取的新知识没有渠道传递到中央服务器或者传播到其他的边缘设备上。
鉴于此，本发明通过使用独立的特征提取网络和任务接口网络，使得面对不同场景下的不同任务时可以使用相同的特征提取网络，将模型的主要运算共享；通过双向蒸馏的方式实现云端的通用知识模型和边缘服务器的本地模型的协同演化，进而实现云边端环境下的数据协同共享。下面详细的说明本发明的各种非限制性实施方式。为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于所属领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
首先，请参见图1，图1为本发明提供的一种云边端协同方法的流程示意图，本发明适用于由云端的中央服务器也即云中心服务器、多个边缘节点和多个端侧设备构成的云边端环境中。云中心服务器运行通用知识模型，在各个边缘节点中则运行了相应边缘任务的子节点模型也即本地模型。云中心服务器为高性能计算设备的集群，有较强的计算性能，能够运行大规模的预训练人工智能模型，其为各边缘节点提供云计算服务。边缘节点一般是边缘服务器，其特点是轻便小型方便部署，可以部署在贴近使用场景的地方，但其算力相较于云中心服务器要小，比如边缘微站或边缘一体机等。端侧设备为客户实际使用的设备，比如手机、笔记本电脑、监控摄像头等。端侧设备不具备运行人工智能模型的算力，仅作为任务相关数据的收集接口，收集到的数据会上传最近的边缘节点，根据客户任务需求不同所获取的数据类型和模态也不同。下述实施例是应用于云中心服务器，也即云中心服务器在整个云边端协同下所执行的操作，可包括以下内容：
S101：预先部署通用知识模型。
本实施例中的通用知识模型包括数据接口网络、特征提取网络和任务接口网络；数据接口网络为通用知识模型针对不同模态数据的数据接口，其用于对不同模态的输入数据进行处理，通用知识模型的输入端接收多模态数据，对不同模态的输入数据，通过数据接口网络对其进行不同的数据预处理方式，并将处理过的数据输出至特征提取网络，以满足特征提取网络的输入数据的格式要求。特征提取网络为通用知识模型的主体，在处理任何任务时都会执行运算，其用于将输入的多模态数据转换成为一个多模态表征向量，该多模态表征向量将跨模态的数据映射到同一个高维特征空间，以一个向量可统一多个模态数据的语义。任务接口网络是连接在特征提取网络之后的挂件式的网络，其用于基于所属任务类型对特征提取网络输出的特征信息也即多模态表征向量进行转换。通用知识模型的输出端根据任务类型的区别有不同的接口网络输出任务所需格式的预测内容，相应的，任务接口网络可包括多个接口网络，或者是可设置多个任务接口网络，针对每一个不同类型的任务都有一个独立的接口网络，从而可为每一种任务需求输出相应格式的数据。为了提升整个通用知识模型的性能，通用知识模型可为一个大规模多模态预训练模型，其特征提取网络可采用多层Transformer（变换网络），也即特征提取网络包括多层，每一层均为Transformer网络结构。任务接口网络例如可采用多层前馈神经网络，多层Transformer网络被之后，根据所执行的任务，将多模态表征向量输入进入该任务对应的多层前馈神经网络中，输出该任务所需格式的预测结果。
S102：当检测到符合云边交互条件，将通用知识模型下发至各边缘服务器，以在各边缘服务器通过双向蒸馏方式对其本地模型和通用知识模型进行训练。
在本步骤中，云边交互条件为云中心服务器判断是否要下发给各边缘服务器进行互学习的条件，云边交互条件可为预先设置并定时触发执行判断，也可为后台实时进行监测判断，所属领域技术人员可根据实际情况灵活配置云边交互条件。示例性的，作为一种简单易于实施的方式，云边交互条件可基于用户预先设置的云边交互周期或云边交互周期来确定，相应的，当接收到用户输入的云边交互配置参数请求，获取云边交互周期；用于执行云边交互条件的线程若当前时间与上一次云边交互时间的时间间隔正好为云边交互周期，则判定符合云边交互条件。举例来说，用户设置的云边交互周期为七天，当当前时刻与上次云边交互的时刻的间隔正好为7天时，将通用知识模型下发到边缘服务器。
其中，本地模型为部署在边缘服务器的针对边缘端特异性任务的专门小模型，输入数据模态和输出结构是确定的。可以理解的是，由于边缘场景的局限性，难以部署大规模的算力设备，尤其对于如手机或笔记本电脑等可携带设备来说，其本身所具备的算力难以支撑算力需求巨大的大规模人工智能模型在边缘侧的部署。针对边缘算力不足的情况，本实施例的本地模型的模型参数量远小于通用知识模型的参数量，也即本发明采用云端大模型-边缘小模型部署模式，在边缘侧推理时使用规模远小于云端大模型的个性化小模型，降低边缘算力要求。当然，由于通用知识模型需要在边缘服务器进行双向蒸馏训练，所以本实施例对边缘服务器的算力性能有一定的要求，也即边缘服务器需要具有对通用知识模型进行双向蒸馏训练的算力资源。各边缘服务器通过双向蒸馏方式对其本地模型和通用知识模型进行训练，通过双向蒸馏，实现大小模型间知识的高效传递，本地模型和通用知识模型可以互相学习，将更优的知识蒸馏到自己模型中，从而云端可以学习到任何一个边缘服务器的知识，边缘服务器不仅可以学习到云中心的知识，还能学习到其它边缘服务器的知识，使得在边缘可以在保证效能的前提下部署规模远小于中央大模型的个性化小模型，同时实现云边端大小模型的共同演化。不可避免的，云边端环境会随时接入新的边缘节点，当全新的边缘服务器接入云边端环境后，由于任务接口网络为随机初始化，所以在训练初期，通用知识模型保持不变一段时间，完成任务接口网络的训练后，如当前模型的预测精度超过预设阈值，再进行双向蒸馏训练。
在本发明提供的技术方案中，云中心服务器的通用知识模型使用独立的特征提取网络和任务接口网络，使得面对不同场景下的不同任务时可以使用相同的特征提取网络，将整个模型的主要运算进行共享，从而使得具有多重异构性的云边端场景下很容易实现云边端协同。云中心服务器将通用知识模型下发至各边缘服务器下，通过双向蒸馏实现了边缘服务器的本地模型和云端的通用知识模型之间的双向知识传递，也实现了多重异构条件下的边缘服务器之间的本地模型间的知识传递；这样边缘服务器在自身场景下获取数据可以传递给云端中央服务器和传播到其他边缘服务器上，从而实现云边端环境下的数据协同共享。
在上述实施例中，对于通用知识模型的数据接口网络如何对不同模态的输入数据进行处理并不做任何限定，基于上述实施例，本发明还给出一种示例性的数据预处理实现方式，请参阅图2，可包括下述内容：
S201：当接收到数据处理请求，获取待处理数据。
S202：判断待处理数据是否为多模态数据，若为多模态数据，则执行S203，若不为多模态数据，也即为单模态数据，则执行S204。
S203：基于每一个模态类型对应的预设数据处理方式，对待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至特征提取网络。
S204：按照相应模态类型的数据处理方式对待处理数据进行处理，并将处理结果输入至特征提取网络。
在本实施例中，通用数据模型接收到数据处理请求，从数据处理请求中提取需要进行处理的数据也即本实施例的待处理数据，将待处理数据进行特征提取前，需要根据数据类型进行数据预处理。本实施例可预先针对不同模态的数据给出相应的处理方式。当待处理数据为多模态数据，例如待处理数据中既包括文本数据又包括声音数据还包括图像数据，可以将多模态数据分解为多个单模态数据，对每个单模态数据利用预先设置对数据处理方式进行处理。例如，将待处理数据分解为文本数据、声音数据和图像数据这三种单模态数据，对文本数据、声音数据和图像数据分别使用相应的数据处理方式进行处理，然后将各单模态数据的最终预处理结果并列输入至特征提取网络。而对于单模态数据，可直接根据数据类型按照相应模态类型对应的预设数据处理方式。
示例性的，本实施例还给出文本数据的一种处理方式，可包括下述内容：数据处理请求为文本处理请求，待处理数据为待处理文本信息，则在待处理文本信息的句首、句尾分别添加词标识，并将待处理文本信息的每个词转换为词嵌入、片段嵌入和位置嵌入的联合向量，得到标准文本输入信息，最后将标准文本输入信息输入至特征提取网络。举例来说，文本输入可使用Bert(Bidirectional Encoder Representation from Transformers，基于交换网络的双向编码器表示)模型的进行预处理操作，即在句首句尾分别添加[CLS]（classification，分类标识符）、[SEP]（separator，分隔符）两个token（标识符），然后将每个词转换为Token embedding（词嵌入）、segment embedding（片段嵌入）以及positionembedding（位置嵌入）的联合向量表达。
示例性的，本实施例还给出图像数据的一种处理方式，可包括下述内容：数据处理请求为图像处理请求，待处理数据为待处理图像，则对待处理图像进行像素归一化处理，得到标准图像；基于标准图像的像素参数、图像裁剪参数和嵌入参数，对标准图像进行相应处理，得到多个目标子图块；将各目标子图块，按照预设顺序输入至特征提取网络。其中，标准图像为对待处理图像进行像素归一化后所得到的图像，像素归一化是指将待处理图像的长宽的像素均统一为同一个像素值，如将待处理图像转换为横竖皆为180像素的标准图像。像素参数是指待处理图像的像素值，图像裁剪参数包括裁剪出来的图像块的总数或者是每个图像块的尺寸，嵌入参数是指进行图嵌入时所使用的参数。预设顺序可根据实际应用场景进行灵活设置，例如从左到右，从上到下的顺序。例如，可基于标准图像的像素参数和图像裁剪参数，将标准图像裁剪为多个子图块；根据嵌入参数，对每一个子图块进行图嵌入处理，以将其转换为目标子图块。举例来说，标准图像的长宽皆为180像素，可将其裁剪为36块边长为30像素的小方块，随后每个方块转换成为一个900维度的图片嵌入，每个维度代表图片中的一个像素点。之后将36个小图的嵌入按照从左到右、从上到下的顺序输入至特征提取网络。
示例性的，本实施例还给出音频信号数据的一种处理方式，可包括下述内容：数据处理请求为音频信号处理请求，待处理数据为待处理声信号，则按照声音裁剪参数，将待处理声信号裁剪为多个声音片段；提取各声音片段的声学特征，并将所有声学特征输入至特征提取网络。其中，声音裁剪参数是指用于裁剪音频信号的参数，例如以一秒为窗口裁剪为多个声音片段，声学特征可采用任何一种相关技术进行提取，如可通过计算每个声音片段的MFCC（Mel-scale Frequency Cepstral Coefficients，梅尔频谱倒谱系数）得到声学特征，这均不影响本实施例的实现。
示例性的，本实施例还给出视频信号数据的一种处理方式，可包括下述内容：数据处理请求为视频信号处理请求，待处理数据为待处理视频，则当按照视频裁剪参数对待处理视频进行裁剪，得到图像序列；将图像序列输入至特征提取网络。其中，视频裁剪参数是指用于裁剪视频数据的参数，如可以一秒为窗口截取图片，得到一图片队列，然后将其输入至特征提取网络。
由上可知，本实施例支持不同模型的输入，适用于复杂多变的云边端环境下，有利于实现云边端的数据协同。
为了进一步提高云边交互效率和云边交互性能，基于上述实施例，本发明在云中心服务器将通用知识模型下发至各边缘服务器时，还同时将云中心服务器对各边缘服务器的边缘置信值一起下发，可包括下述内容：
获取当前时刻云边端环境下各边缘服务器的边缘置信值；将通用知识模型和各边缘置信值下发至相应的边缘服务器。本实施例将云中心服务器对各边缘服务器的置信值定义为边缘置信值，边缘置信值的取值区间可为[0,1]，对新接入的边缘服务器的边缘置信值的初始值可设置为0.1。在每一轮双向蒸馏操作中该值保持不变，但是在交互完成后，云中心服务器会对云边端环境下的各边缘服务器的边缘置信值进行评估和调整。所以在每次下发通用知识模型之前，需要获取当前最新的边缘置信值，并将其下发至对应边缘服务器上。
示例性的，云中心服务器对云边端环境下的各边缘服务器的边缘置信值的调整过程可为：获取测试任务集；每当检测到目标边缘服务器完成云边交互任务，则分别调用目标边缘服务器的目标本地模型和通用知识模型对测试任务集进行预测；通过比较当前预测精度和上一次预测精度，对目标边缘服务器的边缘置信值进行调整。若当前预测精度大于上一次预测精度，则按照预设调整幅度调高目标边缘服务器的边缘置信值。其中，目标边缘服务器为当前完成云边交互任务的边缘服务器，每次完成对一次双向蒸馏后，测试云中心服务器和目标边缘服务器在云中心服务器预先设定好的测试任务集上的表现，如果二者平均精度均提高，则提高目标边缘服务器的边缘置信值。预设调整幅度可根据实际情况进行灵活设置，例如可为0.1，也即每一次调整目标边缘服务器的边缘置信值为当前边缘置信值+0.1。
由上可知，本实施例通过云中心服务器对边缘服务器的边缘置信值进行评估和调整，可以避免新边缘服务器对云中心服务器的通用知识模型造成负面影响，只有在确认与其的交互确实有益时再进行更新，有利于提高云边交互效率和云边交互性能。
为了进一步提高通用知识模型的性能，本发明还给出通用知识模型的一种训练方式，可包括下述内容：利用目标任务对通用知识模型进行预训练，且在每次预训练过程中，通用知识模型的特征提取网络相同，任务接口网络与目标任务的类型对应；其中，目标任务为多个单模态任务组或多模态任务，特征提取网络可采用为多层交换网络Transformer。
在本实施例中，通用知识模型可使用一系列的单模态任务或多模态任务进行预训练，其中，单模态任务如视觉问答任务、文本生成任务、音频分类任务，多模态任务如图文匹配任务、视频文本互检索任务、文本转换非文本任务。为了使得作为主体的多层Transformer网络可以学习到不同任务的知识，训练不同的任务时使用同一个多层Transformer网络以及每个任务独立的任务接口网络。
可以理解的是，每个边缘服务器会对通用知识模型进行双向蒸馏训练，也即会存在对通用知识模型进行更新的情况，边缘服务器会将更新后的通用知识模型回传至云端，基于此，本发明还提供了一云中心服务器更新本地的通用知识模型的实施方式，可包括下述内容：
当接收到目标边缘服务器发送的更新后的新通用知识模型，根据目标边缘服务器的信任参数和新通用知识模型，对通用知识模型进行更新。
其中，新通用知识模型为边缘服务器更新后的通用知识模型，通用知识模型是指云端当前本地存储的通用知识模型。信任参数为由人为设定，参数值越大则受该边缘服务器的影响越大，也可理解为基于置信程度的学习率，其取值在[0.0001，0.001]的区间内。每当检测到符合云边交互条件后，云中心服务器是将通用知识模型下发至整个云边端环境下的各边缘服务器，也即每个边缘服务器均为对其本地模型与通用知识模型进行双向蒸馏，而不同边缘服务器的算力不同，返回更新后的通用知识模型会有时间差异，因此在更新云中心服务器的通用知识模型时可采用异步操作，也即云中心服务器每接收到一个边缘服务器发送的更新后的通用知识模型，便对云中心服务器上的通用知识模型进行一次模型更新。示例性的，可调用模型更新关系式对通用知识模型进行更新；模型更新关系式为：
Sn=（1-ε）·S+ε·S＇；
式中，Sn为再次更新后的通用知识模型的参数矩阵，S为通用知识模型的参数矩阵，S＇为新通用知识模型的参数矩阵，ε为目标边缘服务器的信任参数。
基于上述实施例可知，云边端的数据协同需要依赖边缘节点服务器进行双向蒸馏训练，所以下述实施例是应用于任意一边缘服务器，也即边缘服务器在整个云边端协同下所执行的操作，如图3所示，可包括下述内容：
S301：接收云中心服务器在检测到符合云边交互条件时下发的通用知识模型。
S302：通过双向蒸馏方式对本地模型和通用知识模型进行训练。
其中，通用知识模型包括数据接口网络、特征提取网络和任务接口网络；数据接口网络用于对不同模态的输入数据进行处理，以满足特征提取网络的输入数据的格式要求；任务接口网络用于基于所属任务类型对特征提取网络输出的特征信息进行转换。本实施例与上述实施例相同的步骤或实现方式可参阅上述实施例记载的内容，此处，便不再赘述。
由上可知，本实施例能够实现云边端环境下的数据协同共享。
需要说明的是，本发明中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1至图3只是一种示意方式，并不代表只能是这样的执行顺序。
可以理解的是，云中心服务器可以定期或不定时将通用知识模型多层下发到各个边缘服务器，并在边缘服务器进行双向蒸馏训练，从而把通用知识模型的知识更新到边缘服务器的本地模型的同时，还可以从各个边缘服务器学习边缘服务器自身的新知识。上述实施例对如何通过双向蒸馏方式对本地模型和通用知识模型进行训练并不做任何限定，本发明还给出一种示例性的实施方式，可包括下述内容：
分别利用本地模型和通用知识模型对子任务训练数据进行处理，得到通用预测值和本地预测值；基于通用预测值和本地预测值，子任务训练数据对应的真值，计算本地模型和通用知识模型的损失函数值；
通过比较本地损失函数值和通用损失函数值，确定待更新模型为本地模型还是通用知识模型。
其中，子任务训练数据是边缘服务器对本地模型和通用知识模型进行双向蒸馏训练所采用的训练数据，该训练数据可为多模态训练数据，如图4所示，通用预测值是指边缘服务器运行通用知识模型对该子任务训练数据进行处理后得到的预测值，为了便于描述，定义为通用预测值ys；本地预测值是指边缘服务器运行其自己的本地模型对该子任务训练数据进行处理后得到的预测值，为了便于描述，定义为本地预测值yc。示例性的，通用知识网络的特征提取网络和边缘服务器的本地模型作为多模态表征向量提取网络，得到两个多模态数据表征数据。随后使用同一个该子节点任务的专属接口网络进行输出，得到两个预测值，基于这两个预测值对通用模型和子节点模型进行更新。也即可先利用本地模型对子任务训练数据进行处理，得到本地模态数据；将本地模态数据输入至与子任务的任务类型相匹配的目标任务接口网络中，得到本地预测值；利用通用知识模型的特征提取网络对子任务训练数据进行处理，得到通用模态数据Rs；将通用模态数据输入目标任务接口网络中，得到通用预测值。本地模态数据为边缘服务器运行其自己的本地模型对该子任务训练数据进行处理后得到的多模态表征数据，定义为本地模态数据Rc。通用模态数据为边缘服务器运行通用知识模型的特征提取网络对该子任务训练数据进行处理后得到的多模态表征数据，定义为通用模态数据。本实施例在对通用知识模型和本地模型进行双向蒸馏训练时，是将二者相比更优的知识蒸馏到对方模型中，而模型的损失函数可以表示通用知识模型和本地模型的优劣，故本实施例可根据本地模型的损失函数值也即本地损失值loss(yc，y)和通用知识模型的损失函数值也即通用函数值loss(ys，y)来确定需要更新的模型，其中，y为真值。
示例性的，若本地损失函数值大于通用损失函数值，也即loss(yc，y)＞loss(ys，y)，则基于云中心服务器的中心置信值，根据本地模型和通用知识模型的差别，计算本地模型在反向传播过程中的梯度值；当反向传播更新完本地模型，基于本地损失函数值，再次计算本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。若本地损失函数值小于通用损失函数值，即loss(ys，y)＞loss(yc，y)，则基于边缘服务器的边缘置信值，根据本地模型和通用知识模型的差别，计算通用知识模型在反向传播过程中的梯度值；当反向传播更新完通用知识模型，基于通用损失函数值，计算本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
反向传播利用链式法则计算损失函数对每个参数的导数，从而更新参数，实现对神经网络的训练优化。其从输出层开始，计算每一层的梯度，然后根据链式法则将梯度向前传播，最终计算出每个参数的梯度。也即对于每个参数，反向传播算法会计算其对损失函数的梯度，然后使用梯度下降等优化算法来更新参数。本实施例基于本地模型和通用知识模型的差别、二者的损失函数对模型进行反向传播更新。当通用知识模型获取的数据表征在当前数据取得了比边缘服务器的本地模型获取的表征更小的损失函数值时，使用反向传播更新本地模型网络的参数，更新的值为两个网络之间的区别，从而使通用知识模型在当前数据样本的更优知识蒸馏到边缘服务器的本地模型中，随后再用通用知识模型当前的损失函数更新边缘节点的本地模型和任务接口网络。而当边缘节点的本地模型获取了更小的损失函数值时，则反向操作，将本地模型在当前数据样本的更优知识蒸馏到通用知识模型中去。每个边缘服务器重复上述操作，直到达到预设的迭代次数，或者是达到两个网络模型得到的损失函数值的差值小于预设阈值后，停止执行。
其中，作为一种简单方式，本地模型和通用知识模型的差别可利用通用模态数据Rs和本地模态数据Rc的之间距离进行衡量，也即若loss(yc，y)＞loss(ys，y)，则基于Diffc(Rs，Rc)反向传播更新本地模型，然后基于loss(yc，y)反向传播更新本地模型C和子任务接口网络；如果若loss(ys，y)＞loss(yc，y)，则基于Diffs(Rs，Rc)反向传播更新通用知识网络，然后在基于loss(ys，y)反向传播更新本地模型和当前使用的任务接口网络。
作为一种简单高效的方式，可基于第一反向传播更新关系式，对本地模型进行反向传播更新；第一反向传播更新关系式可表示为：
；
式中，Diffc(Rs,Rc)表示第一反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；α为云中心服务器的中心置信值，γ为衰减因数，其取值可为0.001；τ为当前轮次的双向蒸馏过程总计训练的样本次数。其中，多模态表征数据是指通用模态数据或本地模态数据。
作为一种简单高效的方式，可基于第二反向传播更新关系式，对通用知识模型进行反向传播更新；第二反向传播更新关系式为：
；
式中，Diffs(Rs,Rc)表示第二反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；β为边缘服务器的边缘置信值，γ为衰减因数，其取值可为0.001。其中，多模态表征数据是指通用模态数据或本地模态数据。τ为当前轮次的双向蒸馏过程总计训练的样本次数。随着当前轮次双向蒸馏训练数据的增多，通过设置（1+γτ），不断减少反向传播的数值，避免通用知识模型受到单一边缘服务器的影响太大以至过拟合。
由上可知，本实施例通过使用两个模型的损失函数大小的比较，通过更新两个模型之间的差别，实现对本地模型和通用知识模型的双向蒸馏，实现云边端环境下的数据高效传递和共享。
为了保证双向蒸馏的训练性能，基于上述实施例，还可对云中心服务器的中心置信值进行调节，可包括下述内容：
每当检测到完成云边交互任务，若通用损失函数值大于本地损失函数值，则按照预设调整幅度调高云中心服务器的中心置信值，直至达到最大中心置信值；若通用损失函数值小于本地损失函数值，则按照预设调整幅度调低云中心服务器的中心置信值，直至达到最小中心置信值。
在本实施例中，当使用边缘服务器对云中心服务器的置信值也即中心置信值时，由于中心置信值是变化的，需要进行实时获取。中心置信值的取值区间可为[0,1]，首次部署本地模型时，其值可初始化为0.01，每次出现loss(ys,y)＞loss(yc，y)时，则执行将其按照预设调整幅度进行调高，如递增0.01，最高为1，每次出现loss(yc，y)＞loss(ys，y)时，则将其按照预设调整幅度进行调低，如递减0.01，最低为0。从而可以确保通用知识模型确实比本地模型在子任务上的效果更好，在对本地模型进行更新，避免训练初期受到通用知识模型影响过大。
本发明还针对云边端协同方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明提供的云边端协同装置进行介绍，该装置用以实现本发明提供的云边端协同方法，在本实施例中，云边端协同装置可以包括或被分割成一个或多个程序模块，该一个或多个程序模块被存储在存储介质中，并由一个或多个处理器所执行，已完成实施例一公开的云边端协同方法。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述云边端协同装置在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能，下文描述的云边端协同装置与上文描述的云边端协同方法可相互对应参照。
基于功能模块的角度，对于云中心服务器而言，请参见图5，图5为本发明提供的应用云中心服务器的云边端协同装置在一种具体实施方式下的结构图，该装置可包括：
模型部署模块501，用于预先部署通用知识模型；通用知识模型包括数据接口网络、特征提取网络和任务接口网络；其中，数据接口网络用于对不同模态的输入数据进行处理，以满足特征提取网络的输入数据的格式要求；任务接口网络用于基于所属任务类型对特征提取网络输出的特征信息进行转换；
模型下发模块502，用于当检测到符合云边交互条件，将通用知识模型下发至各边缘服务器，以在各边缘服务器通过双向蒸馏方式对其本地模型和通用知识模型进行训练。
示例性的，在本实施例的一些实施方式中，上述模型部署模块501包括数据预处理单元，该单元用于：
当接收到数据处理请求，获取待处理数据；若待处理数据为多模态数据，则基于每一个模态类型对应的预设数据处理方式，对待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至特征提取网络；若待处理数据为单模态数据，则按照相应模态类型对应的预设数据处理方式对待处理数据进行处理，并将处理结果输入至特征提取网络。
作为上述实施例的一示例性的实施方式，上述数据预处理单元还可用于：
当接收到文本处理请求，获取待处理文本信息；在待处理文本信息的句首、句尾分别添加词标识，并将待处理文本信息的每个词转换为词嵌入、片段嵌入和位置嵌入的联合向量，得到标准文本输入信息；将标准文本输入信息输入至特征提取网络。
作为上述实施例的另一示例性的实施方式，上述数据预处理单元还可用于：
当接收到图像处理请求，获取待处理图像；对待处理图像进行像素归一化处理，得到标准图像；基于标准图像的像素参数、图像裁剪参数和嵌入参数，对标准图像进行相应处理，得到多个目标子图块；将各目标子图块，按照预设顺序输入至特征提取网络。
作为上述实施例的一示例性的实施方式，上述数据预处理单元还可进一步用于：
基于标准图像的像素参数和图像裁剪参数，将标准图像裁剪为多个子图块；根据嵌入参数，对每一个子图块进行图嵌入处理，以将其转换为目标子图块。
作为上述实施例的再一示例性的实施方式，上述数据预处理单元还可用于：
当接收到音频信号处理请求，获取待处理声信号；按照声音裁剪参数，将待处理声信号裁剪为多个声音片段；提取各声音片段的声学特征，并将所有声学特征输入至特征提取网络。
作为上述实施例的再一示例性的实施方式，上述数据预处理单元还可用于：
当接收到视频信号处理请求，获取待处理视频；按照视频裁剪参数对待处理视频进行裁剪，得到图像序列；将图像序列输入至特征提取网络。
示例性的，在本实施例的另一些实施方式中，上述模型下发模块502还可用于：
当接收到用户输入的云边交互配置参数请求，获取云边交互周期；云边交互周期用于确定云边交互条件；若当前时间与上一次云边交互时间的时间间隔为云边交互周期，则判定符合云边交互条件。
示例性的，在本实施例的其它一些实施方式中，上述模型下发模块502还可用于：
获取当前时刻云边端环境下各边缘服务器的边缘置信值；将通用知识模型和各边缘置信值下发至相应的边缘服务器。
作为上述实施例的一示例性的实施方式，上述模型下发模块502可包括一参数更新单元，该单元可用于：获取测试任务集；每当检测到目标边缘服务器完成云边交互任务，则分别调用目标边缘服务器的目标本地模型和通用知识模型对测试任务集进行预测；通过比较当前预测精度和上一次预测精度，对目标边缘服务器的边缘置信值进行调整。
作为上述实施例的一示例性的实施方式，上述参数更新单元还可用于：
若当前预测精度大于上一次预测精度，则按照预设调整幅度调高目标边缘服务器的边缘置信值。
示例性的，在本实施例的其它一些实施方式中，上述模型部署模块501还可包括一训练单元，该训练单元用于：
利用目标任务对通用知识模型进行预训练，且在每次预训练过程中，通用知识模型的特征提取网络相同，任务接口网络与目标任务的类型对应；其中，目标任务为多个单模态任务组或多模态任务，特征提取网络为多层交换网络Transformer。
示例性的，在本实施例的其它一些实施方式中，上述装置例如还可包括一模型更新模块，用于：
当接收到目标边缘服务器发送的更新后的新通用知识模型，根据目标边缘服务器的信任参数和新通用知识模型，对通用知识模型进行更新。
作为上述实施例的一示例性的实施方式，上述模型更新模块还可用于：
调用模型更新关系式，对通用知识模型进行更新；模型更新关系式为：
Sn=（1-ε）·S+ε·S＇；
式中，Sn为再次更新后的通用知识模型的参数矩阵，S为通用知识模型的参数矩阵，S＇为新通用知识模型的参数矩阵，ε为目标边缘服务器的信任参数。
基于功能模块的角度，对于边缘服务器而言，请参见图6，图6为本发明提供的应用边缘服务器的云边端协同装置在一种具体实施方式下的结构图，该装置可包括：
数据接收模块601，用于接收云中心服务器在检测到符合云边交互条件时下发的通用知识模型；
互学习训练模块602，用于通过双向蒸馏方式对本地模型和通用知识模型进行训练；其中，通用知识模型包括数据接口网络、特征提取网络和任务接口网络；数据接口网络用于对不同模态的输入数据进行处理，以满足特征提取网络的输入数据的格式要求；任务接口网络用于基于所属任务类型对特征提取网络输出的特征信息进行转换。
示例性的，在本实施例的一些实施方式中，上述互学习训练模块602还可用于：
分别利用本地模型和通用知识模型对子任务训练数据进行处理，得到通用预测值和本地预测值；基于通用预测值和本地预测值，子任务训练数据对应的真值，计算本地模型和通用知识模型的损失函数值；通过比较本地损失函数值和通用损失函数值，确定待更新模型为本地模型还是通用知识模型。
作为上述实施例的一示例性的实施方式，上述互学习训练模块602还可用于：
利用本地模型对子任务训练数据进行处理，得到本地模态数据；将本地模态数据输入至与子任务的任务类型相匹配的目标任务接口网络中，得到本地预测值；利用通用知识模型的特征提取网络对子任务训练数据进行处理，得到通用模态数据；将通用模态数据输入目标任务接口网络中，得到通用预测值。
作为上述实施例的另一示例性的实施方式，上述互学习训练模块602还可用于：
若本地损失函数值大于通用损失函数值，则基于云中心服务器的中心置信值，根据本地模型和通用知识模型的差别，计算本地模型在反向传播过程中的梯度值；当反向传播更新完本地模型，基于本地损失函数值，再次计算本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
作为上述实施例的一示例性的实施方式，上述互学习训练模块602还可用于：
基于第一反向传播更新关系式，对本地模型进行反向传播更新；第一反向传播更新关系式为：
；
式中，Diffc(Rs,Rc)表示第一反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；α为云中心服务器的中心置信值，γ为衰减因数，τ为当前轮次的双向蒸馏过程总计训练的样本次数。
作为上述实施例的另一示例性的实施方式，上述互学习训练模块602还可用于：
每当检测到完成云边交互任务，若通用损失函数值大于本地损失函数值，则按照预设调整幅度调高云中心服务器的中心置信值，直至达到最大中心置信值；若通用损失函数值小于本地损失函数值，则按照预设调整幅度调低云中心服务器的中心置信值，直至达到最小中心置信值。
作为上述实施例的再一示例性的实施方式，上述互学习训练模块602还可用于：
若本地损失函数值小于通用损失函数值，则基于边缘服务器的边缘置信值，根据本地模型和通用知识模型的差别，计算通用知识模型在反向传播过程中的梯度值；当反向传播更新完通用知识模型，基于通用损失函数值，计算本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
作为上述实施例的一示例性的实施方式，上述互学习训练模块602还可用于：
基于第二反向传播更新关系式，对通用知识模型进行反向传播更新；第二反向传播更新关系式为：
；
式中，Diffs(Rs,Rc)表示第二反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；β为边缘服务器的边缘置信值，γ为衰减因数，τ为当前轮次的双向蒸馏过程总计训练的样本次数。
本发明云边端协同装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本实施例能够实现云边端环境下的数据协同共享。
上文中提到的云边端协同装置是从功能模块的角度描述，进一步的，本发明还提供一种电子设备，是从硬件角度描述。图7为本发明实施例提供的电子设备在一种实施方式下的结构示意图。如图7所示，该电子设备包括存储器70，用于存储计算机程序；处理器71，用于执行计算机程序时实现如上述任一实施例提到的云边端协同方法的步骤。
其中，处理器71可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器71还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器71可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器71也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器71可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器71还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器70可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器70还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器70在一些实施例中可以是电子设备的内部存储单元，例如服务器的硬盘。存储器70在另一些实施例中也可以是电子设备的外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器70还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器70不仅可以用于存储安装于电子设备的应用软件及各类数据，例如：执行云边端协同方法过程中的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中，存储器70至少用于存储以下计算机程序701，其中，该计算机程序被处理器71加载并执行之后，能够实现前述任一实施例公开的云边端协同方法的相关步骤。另外，存储器70所存储的资源还可以包括操作系统702和数据703等，存储方式可以是短暂存储或者永久存储。其中，操作系统702可以包括Windows、Unix、Linux等。数据703可以包括但不限于云边端协同结果对应的数据等。
在一些实施例中，上述电子设备还可包括有显示屏72、输入输出接口73、通信接口74或者称为网络接口、电源75以及通信总线76。其中，显示屏72、输入输出接口73比如键盘（Keyboard）属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口74可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在电子设备与其他电子设备之间建立通信连接。通信总线76可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图7中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器77。
本发明所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本实施例能够实现云边端环境下的数据协同共享。
可以理解的是，如果上述实施例中的云边端协同方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器（例如SD或DX存储器等）、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时如上任意一实施例所述云边端协同方法的步骤。
本发明还提供了一种云边端协同系统，参见图8，可包括：
一种云边端协同系统可包括云中心服务器80和多个边缘服务器81，云中心服务器80为各边缘服务81器提供云计算服务；云中心服务器用于执行存储器中存储的计算机程序时实现如上任一个实施例记载的云中心服务器所执行的云边端协同方法的步骤；每一个边缘服务器用于执行存储器中存储的计算机程序时实现如上任一个实施例记载的边缘服务器所执行的云边端协同方法的步骤。
本发明实施例所述云边端协同系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本实施例能够实现云边端环境下的数据协同共享。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置、电子设备及系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种云边端协同方法、装置、系统、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (24)

1.一种云边端协同方法，其特征在于，应用于云中心服务器，包括：
预先部署通用知识模型；所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；
当检测到符合云边交互条件，将所述通用知识模型下发至各边缘服务器，以在各边缘服务器通过双向蒸馏方式对其本地模型和所述通用知识模型进行训练；
当接收到目标边缘服务器发送的更新后的新通用知识模型，根据所述目标边缘服务器的信任参数和所述新通用知识模型，调用模型更新关系式Sn=（1-ε）·S+ε·S＇对所述通用知识模型进行更新；式中，Sn为再次更新后的通用知识模型的参数矩阵，S为所述通用知识模型的参数矩阵，S＇为所述新通用知识模型的参数矩阵，ε为所述目标边缘服务器的信任参数；
其中，所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换；
其中，所述对不同模态的输入数据进行处理，包括：
当接收到数据处理请求，获取待处理数据；
若所述待处理数据为多模态数据，则基于每一个模态类型对应的预设数据处理方式，对所述待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至所述特征提取网络；
若所述待处理数据为单模态数据，则按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络。
2.根据权利要求1所述的云边端协同方法，其特征在于，所述数据处理请求为文本处理请求，所述待处理数据为待处理文本信息；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
在所述待处理文本信息的句首、句尾分别添加词标识，并将所述待处理文本信息的每个词转换为词嵌入、片段嵌入和位置嵌入的联合向量，得到标准文本输入信息；
将所述标准文本输入信息输入至所述特征提取网络。
3.根据权利要求1所述的云边端协同方法，其特征在于，所述数据处理请求为图像处理请求，所述待处理数据为待处理图像；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
对所述待处理图像进行像素归一化处理，得到标准图像；
基于所述标准图像的像素参数、图像裁剪参数和嵌入参数，对所述标准图像进行相应处理，得到多个目标子图块；
将各目标子图块，按照预设顺序输入至所述特征提取网络。
4.根据权利要求3所述的云边端协同方法，其特征在于，所述基于所述标准图像的像素参数、图像裁剪参数和嵌入参数，对所述标准图像进行相应处理，得到多个目标子图块，包括：
基于所述标准图像的像素参数和图像裁剪参数，将所述标准图像裁剪为多个子图块；
根据所述嵌入参数，对每一个子图块进行图嵌入处理，以将其转换为目标子图块。
5.根据权利要求1所述的云边端协同方法，其特征在于，所述数据处理请求为音频信号处理请求，所述待处理数据为待处理声信号；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
按照声音裁剪参数，将所述待处理声信号裁剪为多个声音片段；
提取各声音片段的声学特征，并将所有声学特征输入至所述特征提取网络。
6.根据权利要求1所述的云边端协同方法，其特征在于，所述数据处理请求为视频信号处理请求，所述待处理数据为待处理视频；所述按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络，包括：
按照视频裁剪参数对所述待处理视频进行裁剪，得到图像序列；
将所述图像序列输入至所述特征提取网络。
7.根据权利要求1所述的云边端协同方法，其特征在于，所述当检测到符合云边交互条件，包括：
当接收到用户输入的云边交互配置参数请求，获取云边交互周期；所述云边交互周期用于确定云边交互条件；
若当前时间与上一次云边交互时间的时间间隔为所述云边交互周期，则判定符合云边交互条件。
8.根据权利要求1所述的云边端协同方法，其特征在于，所述将所述通用知识模型下发至各边缘服务器，包括：
获取当前时刻云边端环境下各边缘服务器的边缘置信值；
将所述通用知识模型和各边缘置信值下发至相应的边缘服务器。
9.根据权利要求8所述的云边端协同方法，其特征在于，所述获取当前时刻云边端环境下各边缘服务器的边缘置信值之前，还包括：
获取测试任务集；
每当检测到目标边缘服务器完成云边交互任务，则分别调用所述目标边缘服务器的目标本地模型和所述通用知识模型对所述测试任务集进行预测；
通过比较当前预测精度和上一次预测精度，对所述目标边缘服务器的边缘置信值进行调整。
10.根据权利要求9所述的云边端协同方法，其特征在于，所述通过比较当前预测精度和上一次预测精度，对所述目标边缘服务器的边缘置信值进行调整，包括：
若当前预测精度大于上一次预测精度，则按照预设调整幅度调高所述目标边缘服务器的边缘置信值。
11.根据权利要求1所述的云边端协同方法，其特征在于，所述特征提取网络为多层交换网络Transformer，所述通用知识模型的训练过程包括：
利用目标任务对所述通用知识模型进行预训练，且在每次预训练过程中，所述通用知识模型的特征提取网络相同，所述任务接口网络与所述目标任务的类型对应；
其中，所述目标任务为多个单模态任务组或多模态任务。
12.一种云边端协同方法，其特征在于，应用于边缘服务器，包括：
接收云中心服务器在检测到符合云边交互条件时下发的通用知识模型；
通过双向蒸馏方式对本地模型和所述通用知识模型进行训练，所述云中心服务器接收目标边缘服务器发送的更新后的新通用知识模型，根据所述目标边缘服务器的信任参数和所述新通用知识模型，调用模型更新关系式Sn=（1-ε）·S+ε·S＇对所述通用知识模型进行更新；式中，Sn为再次更新后的通用知识模型的参数矩阵，S为所述通用知识模型的参数矩阵，S＇为所述新通用知识模型的参数矩阵，ε为所述目标边缘服务器的信任参数；
其中，所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换；
其中，所述对不同模态的输入数据进行处理，包括：
当接收到数据处理请求，获取待处理数据；
若所述待处理数据为多模态数据，则基于每一个模态类型对应的预设数据处理方式，对所述待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至所述特征提取网络；
若所述待处理数据为单模态数据，则按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络。
13.根据权利要求12所述的云边端协同方法，其特征在于，所述通过双向蒸馏方式对本地模型和所述通用知识模型进行训练，包括：
分别利用所述本地模型和所述通用知识模型对子任务训练数据进行处理，得到通用预测值和本地预测值；
基于所述通用预测值、所述本地预测值以及所述子任务训练数据对应的真值，分别计算所述本地模型和所述通用知识模型的损失函数值，以得到本地损失函数值和通用损失函数值；
通过比较所述本地损失函数值和所述通用损失函数值，确定待更新模型为所述本地模型还是所述通用知识模型。
14.根据权利要求13所述的云边端协同方法，其特征在于，所述分别利用所述本地模型和所述通用知识模型对子任务训练数据进行处理，得到通用预测值和本地预测值，包括：
利用所述本地模型对子任务训练数据进行处理，得到本地模态数据；
将所述本地模态数据输入至与子任务的任务类型相匹配的目标任务接口网络中，得到本地预测值；
利用所述通用知识模型的特征提取网络对所述子任务训练数据进行处理，得到通用模态数据；
将所述通用模态数据输入所述目标任务接口网络中，得到通用预测值。
15.根据权利要求13所述的云边端协同方法，其特征在于，所述通过比较所述本地损失函数值和所述通用损失函数值，确定待更新模型为所述本地模型还是所述通用知识模型，包括：
若所述本地损失函数值大于所述通用损失函数值，则基于云中心服务器的中心置信值，根据所述本地模型和所述通用知识模型的差别，计算所述本地模型在反向传播过程中的梯度值；
当反向传播更新完所述本地模型，基于所述本地损失函数值，再次计算所述本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
16.根据权利要求15所述的云边端协同方法，其特征在于，所述基于云中心服务器的中心置信值，根据所述本地模型和所述通用知识模型的差别，计算所述本地模型在反向传播过程中的梯度值，包括：
基于第一反向传播更新关系式，对所述本地模型进行反向传播更新；所述第一反向传播更新关系式为：
；
式中，Diffc(Rs,Rc)表示第一反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；α为云中心服务器的中心置信值，γ为衰减因数，τ为当前轮次的双向蒸馏过程总计训练的样本次数。
17.根据权利要求15所述的云边端协同方法，其特征在于，所述基于云中心服务器的中心置信值之前，还包括：
每当检测到完成云边交互任务，若通用损失函数值大于本地损失函数值，则按照预设调整幅度调高所述云中心服务器的中心置信值，直至达到最大中心置信值；若通用损失函数值小于本地损失函数值，则按照预设调整幅度调低所述云中心服务器的中心置信值，直至达到最小中心置信值。
18.根据权利要求13所述的云边端协同方法，其特征在于，所述通过比较所述本地损失函数值和所述通用损失函数值，确定待更新模型为所述本地模型还是所述通用知识模型，包括：
若所述本地损失函数值小于所述通用损失函数值，则基于边缘服务器的边缘置信值，根据所述本地模型和所述通用知识模型的差别，计算所述通用知识模型在反向传播过程中的梯度值；
当反向传播更新完所述通用知识模型，基于所述通用损失函数值，计算所述本地模型在反向传播过程中的梯度值，并计算目标任务接口网络在反向传播过程中的梯度值。
19.根据权利要求18所述的云边端协同方法，其特征在于，所述基于边缘服务器的边缘置信值，根据所述本地模型和所述通用知识模型的差别，计算所述通用知识模型在反向传播过程中的梯度值，包括：
基于第二反向传播更新关系式，对所述通用知识模型进行反向传播更新；所述第二反向传播更新关系式为：
；
式中，Diffs(Rs,Rc)表示第二反向传播更新关系式，i是多模态表征数据的第i个维度，n为多模态表征数据的维度，Rs为通用模态数据，Rc为本地模态数据；Rci为所述本地模态数据在第i个维度上的数据，Rsi为所述通用模态数据在第i个维度上的数据；β为边缘服务器的边缘置信值，γ为衰减因数，τ为当前轮次的双向蒸馏过程总计训练的样本次数。
20.一种云边端协同装置，其特征在于，应用于云中心服务器，包括：
模型部署模块，用于预先部署通用知识模型；所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；其中，所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换；
模型下发模块，用于当检测到符合云边交互条件，将所述通用知识模型下发至各边缘服务器，以在各边缘服务器通过双向蒸馏方式对其本地模型和所述通用知识模型进行训练；当接收到目标边缘服务器发送的更新后的新通用知识模型，根据所述目标边缘服务器的信任参数和所述新通用知识模型，调用模型更新关系式Sn=（1-ε）·S+ε·S＇对所述通用知识模型进行更新；式中，Sn为再次更新后的通用知识模型的参数矩阵，S为所述通用知识模型的参数矩阵，S＇为所述新通用知识模型的参数矩阵，ε为所述目标边缘服务器的信任参数；
其中，所述数据接口网络进一步用于：当接收到数据处理请求，获取待处理数据；若所述待处理数据为多模态数据，则基于每一个模态类型对应的预设数据处理方式，对所述待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至所述特征提取网络；若所述待处理数据为单模态数据，则按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络。
21.一种云边端协同装置，其特征在于，应用于边缘服务器，包括：
数据接收模块，用于接收云中心服务器在检测到符合云边交互条件时下发的通用知识模型；
互学习训练模块，用于通过双向蒸馏方式对本地模型和所述通用知识模型进行训练；其中，所述通用知识模型包括数据接口网络、特征提取网络和任务接口网络；所述数据接口网络用于对不同模态的输入数据进行处理，以满足所述特征提取网络的输入数据的格式要求；所述任务接口网络用于基于所属任务类型对所述特征提取网络输出的特征信息进行转换；所述云中心服务器接收目标边缘服务器发送的更新后的新通用知识模型，根据所述目标边缘服务器的信任参数和所述新通用知识模型，调用模型更新关系式Sn=（1-ε）·S+ε·S＇对所述通用知识模型进行更新；式中，Sn为再次更新后的通用知识模型的参数矩阵，S为所述通用知识模型的参数矩阵，S＇为所述新通用知识模型的参数矩阵，ε为所述目标边缘服务器的信任参数；
其中，所述数据接口网络进一步用于：当接收到数据处理请求，获取待处理数据；若所述待处理数据为多模态数据，则基于每一个模态类型对应的预设数据处理方式，对所述待处理数据所包含的各模态数据进行单独处理，得到多组单模态标准数据，并将各组单模态标准数据并列输入至所述特征提取网络；若所述待处理数据为单模态数据，则按照相应模态类型对应的预设数据处理方式对所述待处理数据进行处理，并将处理结果输入至所述特征提取网络。
22.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至19任一项所述云边端协同方法的步骤。
23.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至19任一项所述云边端协同方法的步骤。
24.一种云边端协同系统，其特征在于，包括云中心服务器和多个边缘服务器，所述云中心服务器为各边缘服务器提供云计算服务；
所述云中心服务器用于执行存储器中存储的计算机程序时实现如权利要求1至11任一项所述云边端协同方法的步骤；
每一个边缘服务器用于执行存储器中存储的计算机程序时实现如权利要求12至19任一项所述云边端协同方法的步骤。
CN202311353873.6A 2023-10-19 2023-10-19 云边端协同方法、装置、系统、电子设备及可读存储介质 Active CN117097797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311353873.6A CN117097797B (zh) 2023-10-19 2023-10-19 云边端协同方法、装置、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311353873.6A CN117097797B (zh) 2023-10-19 2023-10-19 云边端协同方法、装置、系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN117097797A CN117097797A (zh) 2023-11-21
CN117097797B true CN117097797B (zh) 2024-02-09

Family

ID=88777317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311353873.6A Active CN117097797B (zh) 2023-10-19 2023-10-19 云边端协同方法、装置、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117097797B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985562A (zh) * 2020-08-20 2020-11-24 复旦大学 一种保护端侧隐私的端云协同训练系统
CN112486686A (zh) * 2020-11-30 2021-03-12 之江实验室 基于云边协同的定制化深度神经网络模型压缩方法及系统
CN112884552A (zh) * 2021-02-22 2021-06-01 广西师范大学 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法
CN113406893A (zh) * 2021-07-14 2021-09-17 南通大学 一种基于边缘网关的智能家居系统及其应用
CN114362367A (zh) * 2021-12-30 2022-04-15 中国电力科学研究院有限公司 面向云边协同的输电线路监测系统和方法、识别系统和方法
CN114564312A (zh) * 2022-03-03 2022-05-31 北京航空航天大学云南创新研究院 一种基于自适应深度神经网络的云边端协同计算方法
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
CN115690708A (zh) * 2022-10-21 2023-02-03 苏州轻棹科技有限公司 基于跨模态知识蒸馏训练三维目标检测模型的方法和装置
WO2023029353A1 (zh) * 2021-08-30 2023-03-09 平安科技（深圳）有限公司 基于多模态混合模型的业务数据处理方法及装置
CN115907001A (zh) * 2022-11-11 2023-04-04 中南大学 基于知识蒸馏的联邦图学习方法及自动驾驶方法
CN116319272A (zh) * 2022-12-02 2023-06-23 浪潮云信息技术股份公司 一种云边协同系统在智慧农业的应用方法及装置
WO2023124296A1 (zh) * 2021-12-29 2023-07-06 新智我来网络科技有限公司 基于知识蒸馏的联合学习训练方法、装置、设备及介质
CN116468114A (zh) * 2023-03-31 2023-07-21 华为技术有限公司 一种联邦学习方法及相关装置
CN116543266A (zh) * 2023-06-15 2023-08-04 天津大学 注视行为知识引导的自动驾驶智能模型训练方法及装置
CN116861262A (zh) * 2023-09-04 2023-10-10 苏州浪潮智能科技有限公司 一种感知模型训练方法、装置及电子设备和存储介质
CN116860823A (zh) * 2023-05-29 2023-10-10 新奥新智科技有限公司 基于联合知识蒸馏的动设备故障诊断难样本双向挖掘方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240056B (zh) * 2021-07-12 2022-05-17 北京百度网讯科技有限公司 多模态数据联合学习模型训练方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985562A (zh) * 2020-08-20 2020-11-24 复旦大学 一种保护端侧隐私的端云协同训练系统
CN112486686A (zh) * 2020-11-30 2021-03-12 之江实验室 基于云边协同的定制化深度神经网络模型压缩方法及系统
CN112884552A (zh) * 2021-02-22 2021-06-01 广西师范大学 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法
CN113406893A (zh) * 2021-07-14 2021-09-17 南通大学 一种基于边缘网关的智能家居系统及其应用
WO2023029353A1 (zh) * 2021-08-30 2023-03-09 平安科技（深圳）有限公司 基于多模态混合模型的业务数据处理方法及装置
WO2023124296A1 (zh) * 2021-12-29 2023-07-06 新智我来网络科技有限公司 基于知识蒸馏的联合学习训练方法、装置、设备及介质
CN114362367A (zh) * 2021-12-30 2022-04-15 中国电力科学研究院有限公司 面向云边协同的输电线路监测系统和方法、识别系统和方法
CN114564312A (zh) * 2022-03-03 2022-05-31 北京航空航天大学云南创新研究院 一种基于自适应深度神经网络的云边端协同计算方法
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
CN115690708A (zh) * 2022-10-21 2023-02-03 苏州轻棹科技有限公司 基于跨模态知识蒸馏训练三维目标检测模型的方法和装置
CN115907001A (zh) * 2022-11-11 2023-04-04 中南大学 基于知识蒸馏的联邦图学习方法及自动驾驶方法
CN116319272A (zh) * 2022-12-02 2023-06-23 浪潮云信息技术股份公司 一种云边协同系统在智慧农业的应用方法及装置
CN116468114A (zh) * 2023-03-31 2023-07-21 华为技术有限公司 一种联邦学习方法及相关装置
CN116860823A (zh) * 2023-05-29 2023-10-10 新奥新智科技有限公司 基于联合知识蒸馏的动设备故障诊断难样本双向挖掘方法
CN116543266A (zh) * 2023-06-15 2023-08-04 天津大学 注视行为知识引导的自动驾驶智能模型训练方法及装置
CN116861262A (zh) * 2023-09-04 2023-10-10 苏州浪潮智能科技有限公司 一种感知模型训练方法、装置及电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云边智能:电力系统运行控制的边缘计算方法及其应用现状与展望;白昱阳;黄彦浩;陈思远;张俊;李柏青;王飞跃;;自动化学报(第03期);全文 *

Also Published As

Publication number Publication date
CN117097797A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
JP7238139B2 (ja) 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム
CN110599557B (zh) 图像描述生成方法、模型训练方法、设备和存储介质
CN109871800B (zh) 一种人体姿态估计方法、装置和存储介质
EP4152154A1 (en) Adaptive artificial neural network selection techniques
CN110253595B (zh) 一种智能设备控制方法和装置
JP2022553252A (ja) 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム
CN111414915B (zh) 一种文字识别方法以及相关设备
CN114792359A (zh) 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN113505883A (zh) 一种神经网络训练方法以及装置
KR20190140801A (ko) 영상, 음성, 텍스트 정보를 기반으로 사용자의 감정, 나이, 성별을 인식하는 방법
CN111950700A (zh) 一种神经网络的优化方法及相关设备
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN117854156B (zh) 一种特征提取模型的训练方法和相关装置
CN111950255B (zh) 诗词生成方法、装置、设备及存储介质
CN113269279B (zh) 一种多媒体内容分类方法和相关装置
CN113360683B (zh) 训练跨模态检索模型的方法以及跨模态检索方法和装置
CN117011650B (zh) 一种图像编码器的确定方法及相关装置
CN118052907A (zh) 一种文本配图生成方法和相关装置
CN117097797B (zh) 云边端协同方法、装置、系统、电子设备及可读存储介质
WO2023169334A1 (zh) 图像的语义分割方法、装置、电子设备及存储介质
CN113033337A (zh) 基于TensorRT的行人重识别方法及装置
CN112948763A (zh) 件量预测方法、装置、电子设备及存储介质
CN114462580B (zh) 文本识别模型的训练方法、文本识别方法、装置和设备
CN107283429B (zh) 基于人工智能的控制方法、装置、系统以及终端
CN116310615A (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant