CN116112366A - 数据处理方法及装置、设备、存储介质 - Google Patents
数据处理方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116112366A CN116112366A CN202111326190.2A CN202111326190A CN116112366A CN 116112366 A CN116112366 A CN 116112366A CN 202111326190 A CN202111326190 A CN 202111326190A CN 116112366 A CN116112366 A CN 116112366A
- Authority
- CN
- China
- Prior art keywords
- model
- model parameters
- inference
- reasoning
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 238000010801 machine learning Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 17
- 238000005265 energy consumption Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了数据处理方法及装置、设备、存储介质；其中，所述方法包括：确定邻居设备，接收所述邻居设备传输的第一推理模型的模型参数；确定所述模型参数的融合权重；根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致；重新确定邻居设备，以迭代执行上述步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务；如此，能够通过设备间的模型参数共享，即知识共享，降低机器学习场景中的数据传输造成的能量消耗。
Description
技术领域
本申请涉及人工智能技术，涉及但不限于数据处理方法及装置、设备、存储介质。
背景技术
随着通信技术的不断演进以及物联网技术的蓬勃发展，物联网设备的接入数量不断提高，基于海量物联网感知及运算设备将会形成多种类、多层次以及多样化的物联网服务。在5G移动通信网络中，物联网(Internet of Things，IoT)节点的接入数目将达到亿级，其部署密度将达到每平方千米百万个。海量节点的接入需求对传统中心化计算架构提出了挑战，传输能耗成为主要限制瓶颈之一。与此同时，以人工智能为代表的信息处理技术高速发展，智能芯片成本不断降低，智能服务从云端向端侧下沉，促进了以自动驾驶、智慧工业、智慧医疗为代表的AIoT应用场景爆发。而如何在这些应用场景和其他机器学习场景中降低数据传输能耗成为待解决的技术问题。
发明内容
有鉴于此，本申请提供的数据处理方法及装置、设备、存储介质，能够通过设备间的模型参数共享，即知识共享，降低机器学习场景中的数据传输造成的能量消耗。
根据本申请实施例的一个方面，提供一种数据处理方法，包括：确定邻居设备，接收所述邻居设备传输的第一推理模型的模型参数；确定所述模型参数的融合权重；根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致；重新确定邻居设备，以迭代执行上述步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务。
如此，由于获取的是邻居设备的第一推理模型的模型参数，而不是邻居设备的样本数据集，因此能够降低机器学习场景中的数据传输能耗，通过模型参数的融合，得到电子设备的目标推理模型。
本申请实施例提供的数据处理装置，包括：确定单元，用于确定邻居设备；
接收单元，用于接收所述邻居设备传输的第一推理模型的模型参数；所述确定单元，还用于确定所述模型参数的融合权重；融合单元，用于根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致；迭代单元，用于触发所述确定单元重新确定邻居设备，以及触发所述接收单元和所述融合单元迭代执行对应步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务。
本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。
本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1为本申请实施例提供的数据处理方法的实现流程示意图；
图2为本申请实施例提供的数据处理方法的实现流程示意图；
图3为本申请实施例提供的“端-边-云”层次架构的示意图；
图4为本申请实施例提供的“端-边-云”另一层次架构的示意图；
图5为本申请实施例提供的智能设备的结构示意图；
图6为本申请实施例提供的另一数据处理方法的实现流程示意图；
图7为本申请实施例提供的初始化邻接矩阵的示意图；
图8为本申请实施例提供的更新后的邻接矩阵的示意图；
图9为本申请实施例数据处理装置的结构示意图；
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
本申请实施例提供一种数据处理方法，该方法应用于电子设备，该电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备，例如所述电子设备可以包括手机、家庭网关、摄像头、音箱、笔记本电脑、个人计算机、服务器等物联网设备。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
图1为本申请实施例提供的数据处理方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤105：
步骤101，电子设备确定邻居设备。
所谓邻居设备，是指与电子设备的相关关系较大的设备。因此，确定的邻居设备可能是一个，也可能是多个。设备间的相关关系可以通过设备间的相似度来表征。在一些实施例中，电子设备可以获取与至少一个设备间的当前相似度，然后从所述至少一个设备中，选出所述当前相似度满足相似条件的设备作为邻居设备。
进一步地，在一些实施例中，所述相似条件为当前相似度大于特定阈值。
步骤102，电子设备接收所述邻居设备传输的第一推理模型的模型参数。
在一些实施例中，电子设备可以向邻居设备发送请求消息，所述请求消息用于请求所述邻居设备的第一推理模型的模型参数；所述邻居设备基于所述请求消息，将自身的模型参数返回给电子设备。
在一些实施例中，第一推理模型的模型参数是基于邻居设备的本地数据集(即下文提到的第一样本数据集)训练得到的。可以理解地，所谓本地数据集是由所在设备本身产生的数据，而不是其他设备产生的数据，即设备本身的个性化数据集。
步骤103，电子设备确定所述模型参数的融合权重。
在一些实施例中，可以将电子设备与所述邻居设备间的当前相似度作为第一推理模型的模型参数的融合权重；在另一些实施例中，也可以利用第一推理模型的模型参数和第二推理模型在电子设备的本地数据集(即下文提到的第二样本数据集)进行推理，基于推理结果，确定第一推理模型在第二样本数据集上的预测准确率；将该预测准确率作为第一推理模型的模型参数的融合权重。
在一些实施例中，可以将第一推理模型的模型参数替代第二推理模型中的相应模型参数，得到替代后的推理模型，然后利用该替代后的推理模型，在第二样本数据集上进行推理，从而得到第一推理模型在第二样本数据集上的预测准确率。
在另一些实施例中，也可以将第一推理模型的模型参数与第二推理模型中的相应模型参数进行融合，得到融合后的推理模型，然后利用该融合后的推理模型，在第二样本数据集上进行推理，从而得到第一推理模型在第二样本数据集上的预测准确率。
步骤104，电子设备根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致。
可以理解地，推理模型的至少部分结构一致，其目的是便于后续的模型融合。比如，具有图像分类能力的推理模型包括特征抽取模型和特征分类模型，那么在一些实施例中，第一推理模型与第二推理模型，二者的特征抽取模型的结构一致，例如，均为将输入的1024*1024大小的图片压缩为256维特征向量的5层人工智能(Artificial Intelligence，AI)模型。
在一些实施例中，第二推理模型的模型参数是基于所述电子设备的本地数据集(即第二样本数据集)训练得到的。在进行模型参数的融合时，第二推理模型的模型参数的融合权重大于或等于第一推理模型的模型参数的融合权重。例如，第二推理模型的模型参数的融合权重为1，第一推理模型的模型参数的融合权重小于1。当然，邻居设备的第一推理模型的模型参数的融合权重可以基于第一推理模型在所述电子设备的本地数据集的预测准确率而确定。
举例而言，假设确定的邻居设备有c个(其中包括所述电子设备)，那么，可以通过如下公式(1)得到融合后的第二推理模型的模型参数：
其中，wi,t+1为设备i(即所述电子设备)融合后的模型参数，wk,t+1为邻居设备k的模型参数，
为邻居设备的更新权重，其中nk＝amk,i，
步骤105，电子设备重新确定邻居设备，以迭代执行上述步骤102至步骤104，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务。
在本申请中，推理模型可以是神经网络模型，也可以是支持向量机等，总之，该模型用于完成机器学习任务。机器学习任务可以是各种各样的，例如包括图像识别、目标检测、语音识别或语义分割等。
在一些实施例中，可以基于邻居设备的第一推理模型在所述电子设备的本地数据集上的预测准确率，更新所述电子设备与相应的邻居设备间的当前相似度；然后，所述电子设备再基于与各个设备间的当前相似度，重新确定出邻居设备，再执行步骤102至步骤104，直至达到结束条件。
在本申请中，对于结束条件不做限制。在一些实施例中，结束条件可以是当前得到的融合后的第二推理模型的预测准确率大于或等于设定的准确率阈值。在另一些实施例中，结束条件也可以是迭代次数达到设定的次数阈值。
在本申请实施例中，电子设备确定其邻居设备，然后获取邻居设备的第一推理模型的模型参数；确定所述模型参数的融合权重；根据融合权重，将模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；然后，重新确定其邻居设备，以迭代执行上述步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型，用于对输入数据执行机器学习任务；如此，由于获取的是邻居设备的第一推理模型的模型参数，而不是邻居设备的样本数据集，因此能够减少机器学习场景中的数据传输量，从而降低该场景中的数据传输能耗，通过模型参数的融合，得到电子设备的目标推理模型。
本申请实施例再提供一种数据处理方法，图2为本申请实施例提供的数据处理方法的实现流程示意图，如图2所示，该方法可以包括以下步骤201至步骤209：
步骤201，电子设备利用自身的第二样本数据集，对第二初始推理模型的模型参数进行训练，得到自身的第二推理模型，即该电子设备的个性化模型。
在一些实施例中，电子设备的第二推理模型的结构与其他设备的推理模型的部分结构或全部结构(如包含的卷积核大小、模型层数、参数量等)一致，如此，便于后续的模型融合。
步骤202，电子设备获取与至少一个设备间的当前相似度。
在一些实施例中，所述电子设备可以维护一个邻接矩阵，其中的数值(即元素)表示相应两设备间的相似度。因此，电子设备可以获取邻接矩阵，从所述邻接矩阵中获取与所述至少一个设备间的当前相似度。
无论是所述电子设备，还是邻接矩阵中的其他设备，在更新邻接矩阵之后，都会广而告之，例如，通过广播法或者多播法发送更新后的邻接矩阵。这样，电子设备接收所述至少一个设备中的至少一个设备通过广播法或多播法发送的更新后的邻接矩阵，从而更快地获取到最新的邻接矩阵。
步骤203，电子设备从所述至少一个设备中，选出所述当前相似度满足相似条件的设备作为邻居设备。
在本申请中，对于相似条件不做限制。在一些实施例中，相似条件可以是当前相似度大于特定阈值；在另一些实施例中，相似条件可以是K个最大当前相似度，K大于0。K可以是任何特定值，在本申请中对此不做限制。
可以理解地，在本申请实施例中，仅选取设备间的相似度满足相似条件的设备作为邻居设备，基于此进行模型参数的融合；如此，能够在减小融合的复杂性的同时，提高最终得到的目标推理模型的推理准确度。
步骤204，电子设备接收所述邻居设备传输的第一推理模型的模型参数；其中，所述第一推理模型的模型参数是基于所述邻居设备的第一样本数据集训练第一初始推理模型的模型参数而得到的。
可以理解地，在进行模型参数的融合之前，第一推理模型和第二推理模型均是基于对应的本地样本数据集训练后得到的；如此，能够减少模型参数的融合迭代次数，节约计算开销。
步骤205，电子设备利用所述第一推理模型的模型参数和第二推理模型，在所述第二样本数据集上进行推理，得到所述第一推理模型在所述第二样本数据集上的预测准确率。
在一些实施例中，可以将第一推理模型的模型参数替代第二推理模型中的相应模型参数，得到替代后的推理模型，然后利用该替代后的推理模型，在第二样本数据集上进行推理，从而得到第一推理模型在第二样本数据集上的预测准确率。
在另一些实施例中，也可以将第一推理模型的模型参数与第二推理模型中的相应模型参数进行融合，得到融合后的推理模型，然后利用该融合后的推理模型，在第二样本数据集上进行推理，从而得到第一推理模型在第二样本数据集上的预测准确率。
步骤206，电子设备将所述预测准确率作为所述第一推理模型的模型参数的融合权重，根据所述融合权重，将所述第一推理模型的模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致。
可以理解地，在本申请实施例中，利用邻居设备的第一推理模型的模型参数和第二推理模型在所述电子设备的本地数据集上进行推理，并基于推理结果得到邻居设备的第一推理模型在所述电子设备上的本地数据集上的预测准确率，将该预测准确率作为第一推理模型的模型参数的融合权重。容易理解地，预测准确率越高，说明邻居设备的用以训练第一推理模型的数据集与所述电子设备的用以训练第二推理模型的数据集越相似；那么，基于该预测准确率进行模型参数的融合，得到的融合后的第二推理模型不失个性化。
步骤207，电子设备确定是否满足结束条件；如果是，执行步骤208；否则，执行步骤209。
如前文所述，对于结束条件不做限制。在一些实施例中，结束条件可以是迭代次数达到设定的次数阈值；在另一些实施例中，结束条件可以是当前得到的融合后的第二推理模型在本地第三样本数据集上的预测准确率大于或等于设定的准确率阈值。需要说明的是，第三样本数据集可以包括第二样本数据集，也可以不包括。包括时，例如第三样本数据集是第二样本数据集；又如，第三样本数据包括第二样本数据集和本地测试集。不包括时，例如第三样本数据集是本地测试集。
步骤208，电子设备将当前得到的融合后的第二推理模型作为目标推理模型，所述目标推理模型用于对输入数据执行机器学习任务；
步骤209，电子设备根据所述预测准确率，更新与对应的所述邻居设备间的当前相似度；然后，返回执行步骤203。
理论上，通过计算不同设备的个性化数据之间的相似程度，即可得到该不同设备间的相似度。但是，考虑到实际应用中设备数据可能包含用户隐私数据的情况，在本申请实施例中，可以随机初始化两两设备间的相似度，并在后续过程中根据邻居设备的第一推理模型在电子设备的第二样本数据集上的预测准确率，更新与对应邻居设备间的当前相似度；如此，在解决邻居设备的本地数据集难以获取的问题的同时，不失融合后的第二推理模型的预测准确率。
进一步地，在一些实施例中，电子设备可以根据所述预测准确率，更新所述邻接矩阵中与所述邻居设备间的当前相似度。
在本申请中，对于更新当前相似度的方式不做限定。在一些实施例中，电子设备可以将与邻居设备间的当前相似度的值替换为第一推理模型在第二样本数据集上的预测准确率；在另一些实施例中，电子设备也可以将与邻居设备间的当前相似度的值替换为该当前相似度与第一推理模型在第二样本数据集上的预测准确率的加权平均值等。
在一些实施例中，所述方法还包括：电子设备将更新后的与所述邻居设备间的当前相似度至少通知给所述至少一个设备，以便所述至少一个设备更新对应的当前相似度。
进一步地，在一些实施例中，所述电子设备可以通过广播法或多播法将更新后的与所述邻居设备间的当前相似度至少通知给所述至少一个设备中的至少一个设备。
更进一步地，在一些实施例中，所述电子设备通过广播法或多播法将更新后的邻接矩阵至少通知给所述至少一个设备。例如，所述电子设备通过广播法广播更新后的邻接矩阵，使得邻接矩阵上的其他设备在接收到该更新后的邻接矩阵之后，基于该矩阵，更新自身维护的邻接矩阵。又如，所述电子设备通过多播法将更新后的邻接矩阵发送给邻居设备，以便邻居设备在接收到该更新后的邻接矩阵之后，基于该矩阵，更新自身维护的邻接矩阵。
可以理解地，无论是所述电子设备，还是邻接矩阵上的其他设备，在更新自身维护的邻接矩阵之后，都会通过广播法或多播法将更新后的邻接矩阵通知给各个设备；如此能够使得所述电子设备更快获取更为准确的邻接矩阵，从而减少模型参数融合的迭代次数。
基于去中心化架构，将计算与传输进行有机整合，突破了传输瓶颈，有益于满足AIoT应用场景对时延、带宽、功耗、成本、隐私等方面的迫切需求，有助于为推进各场景的进一步发展提供技术保障；同时，形成环境的主动感知和设备间智能协作，为不同用户提供差异化、个性化服务，可有效提升用户体验。因此，设计一种物联网设备无中心分布式学习方法具有重要的应用价值和研究意义。
然而，在一些实施例中，分布式学习方法重点关注如何利用分布在多个设备上的数据训练全局通用模型，由此提出了基于中心化架构的模型融合方式，实现分布式数据的共同训练。然而，已有方法没有考虑到当所处外部环境不同时，不同物联网设备的侧重或最终目标并不相同，与同质化的服务相比，用户更需要获取个性化、差异化和定制化的服务。
例如，在基于手机定位预测形成的服务体验场景中，由于不同用户具有差异化的行动模式，比如社交活动丰富的用户一天内可能会出现在多个地点，而社交活动单一的用户一天内可能出现的位置较为固定，因此通用的模型无法为特定用户提供准确的服务，从而影响基于位置预测形成的服务体验。
又如，在家庭物联网场景中的智能音箱语音识别服务，不同用户可能使用不同的方言或具有不同的语言习惯，通用的普通话识别模型难以满足方言用户的识别需求。
再如，在智能相册场景中，端侧设备需要识别特定的人物、物品和场景，然而，不同用户的识别需求不尽相同，导致端侧识别模型需要各有侧重，因此通用的识别模型难以满足实际应用场景的个性化服务需求。
综上所述，在面对用户的个性化服务需求时，需要赋予端侧设备更高的自由度，不适用于中心化的学习架构。因此，目前没有公认的符合实际情况的无中心分布式学习方法。
基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本申请实施例中，提出的物联网设备无中心分布式学习方法，基于去中心化架构，将计算与传输进行有机整合，突破传输瓶颈，有益于满足AIoT应用场景对时延、带宽、功耗、成本、以及隐私等方面的迫切需求，有助于为推进各场景的进一步发展提供技术保障；同时，形成环境的主动感知和设备间智能协作，为不同用户提供差异化和个性化服务，可有效提升用户体验。
另，本申请实施例中是对图3和图4所示的“端-边-云”层次架构的有效补充，主要在端侧设备层形成基于AI模型(即推理模型)的智能设备间自适应协作机制，亦可应用于具有AI模型的其他各层，形成智慧内生的物联网服务架构。与云侧服务器相比，端侧、边侧设备更接近用户个性化数据，因此需要在端侧设备层与边缘设备层形成定制化的AI模型，以便向不同的目标用户或目标群体提供差异化和个性化的服务。
为了解决上述技术问题，在本申请实施例中，提供一种物联网设备无中心分布式学习方法，该方法的详细内容如下：
·前置条件：存在多个智能设备的无中心化架构，每个设备都拥有一部分本地数据，且不同设备间的本地数据为非独立同分布(Non-IID)。
·目标：让每个智能设备的本地分类模型达到更高的准确率，以为不同的用户提供差异化的服务。
其中，智能设备，如图5所示，是指具有以下能力(虚线标注为可选能力)的智能物联网设备。如图5所示，智能设备50包括通信模块501、数据存储模块502、资源分配模块503、感知模块504、分布式学习模块505、隐私保护/加密模块506和AI能力模块507；其中，分布式学习模块505包括AI路由控制单元、AI模型融合单元和AI模型压缩单元；AI能力模块507包括AI模型训练单元和AI推理单元；智能设备包括但不限于智能手机、智能家庭网关、智能摄像头、智能音箱等智能物联网设备。
如图6所示，本申请实施例提供的一种物联网设备无中心分布式学习方法的详细步骤包括以下步骤S1至步骤S4：
步骤S1，初始化各设备(即智能设备，以下统称设备)模型。假设存在N个设备{E1…EN}，其所具备的本地个性化数据集分别为{D1…DN}；其中，每个本地数据集包含训练集和测试集两部分Di＝{Di,train,Di,test},i∈[1,N]。由每个设备数据的训练集训练得到相应的个性化模型
其中，每个设备具备的个性化模型的结构(如包含的卷积核大小、模型层数、参数量等)应一致。
其中，步骤S1中模型结构一致的目的是便于后续的模型融合，如设备上的AI能力模型可由多个模型串联而成(如图像分类能力可由特征抽取模型和特征分类模型两部分组成)，则只限定需要进行设备间融合的AI能力模型结构一致(如限定各设备的特征抽取模型都为把输入的1024*1024大小的图片压缩为256维特征向量的5层AI模型)。
步骤S2，初始化邻接矩阵AM。邻接矩阵可以表示设备间的相关关系，是对等架构中设备进行路由控制的重要元素，AM的第i行第j列数值即ami,j表示设备Ei与设备Ej的相关关系。理论上，可通过计算不同个性化数据之间的相似程度进行计算，计算方法如下：
设DA与DB为两个不同设备的个性化数据集，则DA与DB之间的相似性的计算公式如式(2)所示：
sim(DA,DB)＝exp(-dis(DA,DB))∈[0,1] (2)；
其中，
CBA、CBA′、CAB、CAB′为线性变换矩阵，可通过梯度下降等方式求解。
其中，在步骤S2中，考虑到实际应用中设备数据可能包含用户隐私数据的情况，难以进行数据的传输、收集以及相似度求解，因此可以随机初始化邻接矩阵，并在后续的学习过程中对邻接矩阵进行更新。如图7所示，假设当前场景中包含4个智能设备，其中设备1拥有包含【0,1,2】三种类别数据的数据集，设备2拥有包含【0,1】两种类别数据的数据集，设备3拥有包含【2】一种类别数据的数据集，设备4拥有包含【1】一种类别数据的数据集，则随机初始化邻接矩阵方法如下：
如图7所示，在对等环境中，可以首先将邻接矩阵权重设为相同的数值(如图示)，或随机赋值。
步骤S3，模型融合。基于步骤S2生成的邻接矩阵，各设备通过获取与自身相似设备的模型并进行加权模型融合，对个性化模型进行更新，同时更新邻接矩阵。由于步骤S2中初始化的邻接矩阵不能反映设备间的真实相关关系，因此步骤S3分两个阶段进行，即步骤S3.1和步骤S3.2。
步骤S3.1，更新邻接矩阵。邻接矩阵中的权重代表设备间的相似度，假设当前设备Ei具有初始化的模型
当Ei将
发送给其邻居设备Ej后，Ej将在自身的训练集Dj,train上进行推理，并计算
在Dj,train上的预测准确率accji作为邻接矩阵第i列第j行数值。即ami,j＝accji。为更快获取更准确的邻接矩阵，可采用广播法、多播法等多种传播策略进行邻接矩阵更新。
步骤S3.2，本地模型融合。对每个设备Ei,i∈[1,N]，根据邻接矩阵AM选取与Ei最为相似的c个邻居设备，并进行模型参数传输。例如，包括如下步骤S3.2.1和步骤S3.2.2：
步骤S3.2.1，以邻居设备模型在本地训练数据上的准确率作为权重，与本地模型进行融合，融合方法如下公式(3)所示：
其中，wi,t+1为设备i融合后的模型参数，wk,t+1为邻居设备的模型参数，
为邻居设备的更新权重，其中nk＝amk,i，
步骤S3.2.2，用步骤S3.2.1得到的准确率作为权值，更新邻接矩阵。
步骤S4，重复步骤S3直到达到结束条件为止。结束条件可以为达到一定的更新次数或者达到设定的正确率阈值。最终的更新结果如图8所示。
在本申请实施例中，提供一种物联网设备无中心分布式学习方法，通过智能物联网设备(即智能设备)间的自适应模型共享，实现设备间智能协作，可为用户提供个性化、差异化和定制化的服务。首先，本申请实施例通过维护邻接矩阵获取设备间的相关关系，并根据邻接矩阵进行相似模型的本地融合，使相似的设备间可以进行知识共享。其次，通过相似设备间的知识共享，降低数据传输造成的能量消耗，与中心化架构相比，本申请实施例提供的无中心分布式方法可大幅减少数据传输，保护用户隐私，更适用于资源受限的物联网设备。最后，本申请实施例提供的方法适用于不同设备间的本地数据为非独立同分布的情况，可应用于实际物联网环境中的智能物联网设备，实现为不同的用户提供个性化、差异化和定制化的服务。
相关的分布式学习方法重点关注如何利用分布在多个设备上的数据训练全局通用模型，由此提出了基于中心化架构的模型融合方式，实现分布式数据的共同训练。然而，该方法没有考虑到当所处外部环境不同时，不同物联网设备的侧重或最终目标并不相同，与同质化的服务相比，用户更需要获取个性化、差异化和定制化的服务。本申请实施例提供的物联网设备无中心分布式学习方法，基于去中心化架构，将计算与传输进行有机整合，突破传输瓶颈，有益于满足AIoT应用场景对时延、带宽、功耗、成本、以及隐私等方面的迫切需求，有助于为推进各场景的进一步发展提供技术保障；同时，形成环境的主动感知和设备间智能协作，为不同用户提供差异化、个性化服务，可有效提升用户体验。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等；或者，将不同实施例中步骤组合为新的技术方案。
基于前述的实施例，本申请实施例提供一种模型装置，该装置包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图9为本申请实施例数据处理装置的结构示意图，如图9所示，所述装置900包括：
确定单元901，用于确定邻居设备；
接收单元902，用于接收所述邻居设备传输的第一推理模型的模型参数；
确定单元901，还用于确定所述模型参数的融合权重；
融合单元903，用于根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致；
迭代单元904，用于触发确定单元901重新确定邻居设备，以及触发接收单元902和融合单元903迭代执行对应步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务。
在一些实施例中，所述第一推理模型的模型参数是基于所述邻居设备的第一样本数据集训练第一初始推理模型的模型参数而得到的；装置900还包括训练单元，所述训练单元用于在所述将所述模型参数与自身的第二推理模型的相应模型参数进行融合之前，利用自身的第二样本数据集，对第二初始推理模型的模型参数进行训练，得到所述第二推理模型。
在一些实施例中，确定单元901，用于获取与至少一个设备间的当前相似度；从所述至少一个设备中，选出所述当前相似度满足相似条件的设备作为邻居设备。
在一些实施例中，确定单元901，用于在自身的第二样本数据集上利用接收的所述第一推理模型的模型参数和所述第二推理模型进行推理，得到所述第一推理模型在所述第二样本数据集上的预测准确率；将所述预测准确率作为所述第一推理模型的模型参数的融合权重。
在一些实施例中，装置900还包括更新单元和通知单元，所述更新单元用于根据所述预测准确率，更新与对应的所述邻居设备间的当前相似度；所述通知单元，用于将更新后的与所述邻居设备间的当前相似度通知给所述至少一个设备，以便所述至少一个设备更新对应的当前相似度。
在一些实施例中，接收单元902用于：获取邻接矩阵，所述邻接矩阵中的数值表示对应的两设备间的当前相似度；从所述邻接矩阵中获取与所述至少一个设备间的当前相似度；所述更新单元，用于根据所述预测准确率，更新所述邻接矩阵中与所述邻居设备间的当前相似度。
在一些实施例中，接收单元902用于接收所述至少一个设备中的至少一个设备通过广播法或多播法发送的更新后的邻接矩阵。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中图9所示的模型装置以及图5所示的智能设备对模块或单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种电子设备，图10为本申请实施例的电子设备的硬件实体示意图，如图10所示，所述电子设备100包括存储1001和处理1002，所述存储1001存储有可在处理1002上运行的计算机程序，所述处理1002执行所述程序时实现上述实施例中提供的方法中的步骤。
需要说明的是，存储1001配置为存储由处理1002可执行的指令和应用，还可以缓存在处理1002以及电子设备100中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory，RAM)实现。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。
本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例提供的方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
确定邻居设备，接收所述邻居设备传输的第一推理模型的模型参数；
确定所述模型参数的融合权重；
根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致；
重新确定邻居设备，以迭代执行上述步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务。
2.根据权利要求1所述的方法，其特征在于，所述确定邻居设备，包括：
获取与至少一个设备间的当前相似度；
从所述至少一个设备中，选出所述当前相似度满足相似条件的设备作为邻居设备。
3.根据权利要求2所述的方法，其特征在于，所述确定所述模型参数的融合权重，包括：
在自身的第二样本数据集上利用接收的所述第一推理模型的模型参数和所述第二推理模型进行推理，得到所述第一推理模型在所述第二样本数据集上的预测准确率；
将所述预测准确率作为所述第一推理模型的模型参数的融合权重。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述预测准确率，更新与对应的所述邻居设备间的当前相似度；
将更新后的与所述邻居设备间的当前相似度通知给所述至少一个设备，以便所述至少一个设备更新对应的当前相似度。
5.根据权利要求4所述的方法，其特征在于，所述获取与至少一个设备间的当前相似度，包括：
获取邻接矩阵，所述邻接矩阵中的数值表示对应的两设备间的当前相似度；
从所述邻接矩阵中获取与所述至少一个设备间的当前相似度；
所述根据所述预测准确率，更新与所述邻居设备间的当前相似度，包括：
根据所述预测准确率，更新所述邻接矩阵中与所述邻居设备间的当前相似度。
6.根据权利要求5所述的方法，其特征在于，所述获取邻接矩阵，包括：
接收所述至少一个设备中的至少一个设备通过广播法或多播法发送的更新后的邻接矩阵。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一推理模型的模型参数是基于所述邻居设备的第一样本数据集训练第一初始推理模型的模型参数而得到的；
在所述将所述模型参数与自身的第二推理模型的相应模型参数进行融合之前，所述方法还包括：
利用自身的第二样本数据集，对第二初始推理模型的模型参数进行训练，得到所述第二推理模型。
8.一种数据处理装置，其特征在于，包括：
确定单元，用于确定邻居设备；
接收单元，用于接收所述邻居设备传输的第一推理模型的模型参数；
所述确定单元，还用于确定所述模型参数的融合权重；
融合单元，用于根据所述融合权重，将所述模型参数与自身的第二推理模型的相应模型参数进行融合，得到融合后的第二推理模型；其中，所述第一推理模型与所述第二推理模型的至少部分结构一致；
迭代单元，用于触发所述确定单元重新确定邻居设备，以及触发所述接收单元和所述融合单元迭代执行对应步骤，直至达到结束条件，将当前得到的融合后的第二推理模型作为目标推理模型；所述目标推理模型用于对输入数据执行机器学习任务。
9.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111326190.2A CN116112366A (zh) | 2021-11-10 | 2021-11-10 | 数据处理方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111326190.2A CN116112366A (zh) | 2021-11-10 | 2021-11-10 | 数据处理方法及装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116112366A true CN116112366A (zh) | 2023-05-12 |
Family
ID=86262530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111326190.2A Pending CN116112366A (zh) | 2021-11-10 | 2021-11-10 | 数据处理方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116112366A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402141A (zh) * | 2023-06-09 | 2023-07-07 | 太初(无锡)电子科技有限公司 | 一种模型推理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376615A (zh) * | 2018-09-29 | 2019-02-22 | 苏州科达科技股份有限公司 | 用于提升深度学习网络预测性能的方法、装置及存储介质 |
| CN112101550A (zh) * | 2020-09-25 | 2020-12-18 | 平安科技（深圳）有限公司 | 分诊融合模型训练方法、分诊方法、装置、设备及介质 |
| US20200401884A1 (en) * | 2019-06-24 | 2020-12-24 | Baidu Usa Llc | Batch normalization layer fusion and quantization method for model inference in ai neural network engine |
| CN112217706A (zh) * | 2020-12-02 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备及存储介质 |
-
2021
- 2021-11-10 CN CN202111326190.2A patent/CN116112366A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376615A (zh) * | 2018-09-29 | 2019-02-22 | 苏州科达科技股份有限公司 | 用于提升深度学习网络预测性能的方法、装置及存储介质 |
| US20200401884A1 (en) * | 2019-06-24 | 2020-12-24 | Baidu Usa Llc | Batch normalization layer fusion and quantization method for model inference in ai neural network engine |
| CN112101550A (zh) * | 2020-09-25 | 2020-12-18 | 平安科技（深圳）有限公司 | 分诊融合模型训练方法、分诊方法、装置、设备及介质 |
| CN112217706A (zh) * | 2020-12-02 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402141A (zh) * | 2023-06-09 | 2023-07-07 | 太初(无锡)电子科技有限公司 | 一种模型推理方法、装置、电子设备及存储介质 |
| CN116402141B (zh) * | 2023-06-09 | 2023-09-05 | 太初(无锡)电子科技有限公司 | 一种模型推理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919316B (zh) | 获取网络表示学习向量的方法、装置和设备及存储介质 | |
| WO2021139191A1 (zh) | 数据标注的方法以及数据标注的装置 | |
| CN113761153B (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
| CN113742572B (zh) | 一种数据的推荐方法、装置、电子设备及存储介质 | |
| US20210201930A1 (en) | Ontology-aware sound classification | |
| CN115905687A (zh) | 基于元学习图神经网络面向冷启动的推荐系统及方法 | |
| WO2023087914A1 (zh) | 推荐内容的选择方法、装置、设备、存储介质及程序产品 | |
| CN116524261A (zh) | 一种基于多模态小样本持续学习的图像分类方法及产品 | |
| CN116112366A (zh) | 数据处理方法及装置、设备、存储介质 | |
| CN113591490B (zh) | 信息处理方法、装置和电子设备 | |
| CN116541712B (zh) | 基于非独立同分布数据的联邦建模方法及系统 | |
| CN113674152A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN117893862A (zh) | 一种多模态文章内容处理系统及其控制方法 | |
| CN117725220A (zh) | 文档表征和文档检索的方法、服务器及存储介质 | |
| CN116956204A (zh) | 多任务模型的网络结构确定方法、数据预测方法及装置 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN112149426B (zh) | 阅读任务处理方法及相关设备 | |
| CN114547308A (zh) | 文本处理的方法、装置、电子设备及存储介质 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN114970494A (zh) | 一种评论生成方法、装置、电子设备和存储介质 | |
| CN114416863A (zh) | 用于执行基于模型并行的分布式推理的方法、设备和介质 | |
| CN112417290A (zh) | 书籍排序推送模型的训练方法、电子设备及存储介质 | |
| CN111814051A (zh) | 一种资源类型确定方法及装置 | |
| CN114417875B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |