CN113378243B - 一种基于多头注意力机制的个性化联邦学习方法 - Google Patents
一种基于多头注意力机制的个性化联邦学习方法 Download PDFInfo
- Publication number
- CN113378243B CN113378243B CN202110792988.XA CN202110792988A CN113378243B CN 113378243 B CN113378243 B CN 113378243B CN 202110792988 A CN202110792988 A CN 202110792988A CN 113378243 B CN113378243 B CN 113378243B
- Authority
- CN
- China
- Prior art keywords
- model
- local
- attention mechanism
- parameters
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 description 7
- 238000001556 precipitation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多头注意力机制的个性化联邦学习方法，其特征在于包含以下步骤：步骤一：搭建联邦学习局部模型多头注意力机制模型：将多头注意力机制用于最经典的卷积神经网络中，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性；步骤二：搭建联邦学习全局模型多头注意力机制模型：考虑到各个局部模型的个性化问题对全局模型的影响，在将全局模型参数发送给局部模型时，根据模型的个性化特性做出相应变化。本发明可以考虑到提取特征的相关性，以及考虑到各个客户端合理的个性化带来的数据差异性的方法，能够在保证准确率提高的基础上，增加数据的个性化程度。
Description
技术领域
本发明属于隐私保护和数据安全技术领域，具体涉及一种基于多头注意力机制的个性化联邦学习方法。
背景技术
在人工智能领域，人们对隐私保护和数据安全的关注度也不断提高，联邦学习作为一种保护数据隐私的分布式的机器学习/深度学习框架，能够为数据孤岛，数据离散化严重，数据异构，数据分布不均衡等问题提供良好的解决方案。现阶段，机器学习和深度学习也在各领域获得了巨大成功，为联邦学习算法模型能够得到较好的性能奠定了基础。
但是常规的联邦学习算法为了方便，对于各局部模型参数仅仅做了平均化处理，既没有考虑到提取特征的相关性，也没有考虑到各个客户端合理的个性化带来的数据差异性。局部数据在局部模型训练一定迭代次数后的局部模型参数会对全局模型产生影响，相似的参与方可能拥有相似局部训练数据，而随机选取的参与方可能拥有不同的训练数据，相似数据在一定迭代次数训练的局部模型和不同的训练数据训练出的局部模型存在差异性，因此训练差异性较大的数据会产生非常不同的模型参数更新，因此，其存在既没有考虑到提取特征的相关性，也没有考虑到各个客户端合理的个性化带来的数据差异性的问题。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于多头注意力机制的个性化联邦学习方法，其可以考虑到提取特征的相关性，以及考虑到各个客户端合理的个性化带来的数据差异性的方法，能够在保证准确率提高的基础上，增加数据的个性化程度。
为实现上述技术目的，本发明采取的技术方案为：
一种基于多头注意力机制的个性化联邦学习方法，其特征在于包含以下步骤：
步骤一：搭建联邦学习局部模型多头注意力机制模型：将多头注意力机制用于最经典的卷积神经网络中，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性；
步骤二：搭建联邦学习全局模型多头注意力机制模型：考虑到各个局部模型的个性化问题对全局模型的影响，在将全局模型参数发送给局部模型时，根据模型的个性化特性做出相应变化。
上述的步骤一中搭建联邦学习局部模型多头注意力机制模型包含以下步骤：
第一步：从服务器获得最新的模型更新数据集为Dk，随机将数据集Dk划分为批量B的大小，将其放入网络模型训练；
第二步：搭建卷积层，采用最经典的卷积神经网络CNN，达到提取特征的目的，加入多头注意力机制，如式(1)、(2)和(3)所示，根据输入的特定部分的重要性根据其与输出的相关性计算一个权重，可以给到输入的元素分配一个相关分数，并忽略有噪声的部分，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性。
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (2)
其中，Q是查询矩阵，V和K是矩阵的键值，是缩放因子，用于调节，防止Q、K的内积太大，对queries，keys以及values进行n次不同的线性映射，学习到的线性映射分别映射到dk,dk以及dv维，分别对每一个映射之后的得到的queries，keys以及values进行attention函数的Concat并行操作，生成dv维的output值，/>是dk/h，dk/h以及dv/h维度的多头注意力机制的权重矩阵，Wo是d0维的输出权重矩阵；
第三步：局部更新模型参数，如式(4)所示，之后将当前局部模型参数，发送给全局模型。
ω←Concat(head1，head2，...，headn)ω (4)
其中，对多头进行attention函数的Concat并行操作，是批梯度，α为学习率，ω为局部模型参数。
上述的步骤二中搭建联邦学习全局模型多头注意力机制模型包含以下步骤：
第一步：在全局模型上，设计和采用了一个适用于多头注意力机制的联邦学习上传和分配的框架，为了初步减少局部模型个性化问题对全局模型的影响，先用联邦平均算法聚合局部模型参数到全局模型，并将聚合后的模型更新发回给客户端，重复进行这一过程，直至模型收敛、达到最大迭代次数或者达到最大训练时间，保存此时的全局模型参数，将这一步骤作为预训练；
第二步：计算出当前局部模型参数和预处理后全局模型参数的距离，得出模型间的差异性从而为局部模型制定个性化系数，具体如式(6)、(7)所示。
其中，λk为初始聚合到全局模型的局部模型系数因子，w0为预处理过后全局模型的权重参数，为第k个客户端当前在局部数据训练局部模型后的权重参数，计算预处理后权重参数和当前局部模型权重参数的差值，f函数保证数据在0到1之间，可以减少差异较大的数据的占比从而初步解决模型个性化问题对聚合的影响，减少数据噪声增加的风险，之后对数据做了归一化处理，保证多分类的概率之和为1；
第三步：按照局部模型参数和预处理后全局模型参数的差异性将局部模型的模型参数聚合到全局模型，将局部的更新模型参数赋予个性化系数λk后发送给服务器，服务器将接收到的模型参数进行聚合，最后对收到的模型参数使用加权平均，具体如式(8)所示。
其中，nk为第k个参与方的局部数据量，为此时局部模型的参数，之后服务器将聚合后的模型参数/>发送给所有参与方；
第四步：对于联邦平均算法对模型个性化的影响，计算全局模型参数在当前局部模型上的重要性得分，将其作为注意力头系数分配给局部模型，具体如式(9)、(10)所示。
其中，为局部数据训练局部模型的参数更新，θi为根据局部的个性化问题给全局模型的权重赋予变量系数，将变量系数和全局模型的参数相乘，将/>发送给各参与方。
本发明通过局部多头注意力机制可以帮助捕捉本地特征的相关性，提高本地模型的性能，从而增加模型参数的个性化程度；全局多头注意力机制可以在将全局模型参数发送给局部模型时，根据模型的个性化特性做出相应变化。
本发明的优点在于以下几点：可以考虑到提取特征的相关性，以及考虑到各个客户端合理的个性化带来的数据差异性的方法，能够在保证准确率提高的基础上，增加数据的个性化程度。
附图说明
图1为本发明局部模型多头注意力机制模型的工作流程图；
图2为本发明全局模型多头注意力机制模型的工作流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作出进一步说明：
一种基于多头注意力机制的个性化联邦学习方法，其特征在于：其特征在于包含以下步骤：
步骤一：搭建联邦学习局部模型多头注意力机制模型：将多头注意力机制用于最经典的卷积神经网络中，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性；
步骤二：搭建联邦学习全局模型多头注意力机制模型：考虑到各个局部模型的个性化问题对全局模型的影响，在将全局模型参数发送给局部模型时，根据模型的个性化特性做出相应变化。
实施例中，步骤一中搭建联邦学习局部模型多头注意力机制模型包含以下步骤：
第一步：从服务器获得最新的模型更新数据集为Dk，随机将数据集Dk划分为批量B的大小，将其放入网络模型训练；
第二步：搭建卷积层，采用最经典的卷积神经网络CNN，达到提取特征的目的，加入多头注意力机制，如式(1)、(2)和(3)所示，根据输入的特定部分的重要性根据其与输出的相关性计算一个权重，可以给到输入的元素分配一个相关分数，并忽略有噪声的部分，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性。
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (2)
其中，Q是查询矩阵，V和K是矩阵的键值，是缩放因子，用于调节，防止Q、K的内积太大，对queries，keys以及values进行n次不同的线性映射，学习到的线性映射分别映射到dk,dk以及dv维，分别对每一个映射之后的得到的queries，keys以及values进行attention函数的Concat并行操作，生成dv维的output值，/>是dk/h，dk/h以及dv/h维度的多头注意力机制的权重矩阵，Wo是d0维的输出权重矩阵；
第三步：局部更新模型参数，如式(4)所示，之后将当前局部模型参数，发送给全局模型。
ω←Concat(head1，head2，...，headn)ω (4)
其中，对多头进行attention函数的Concat并行操作，是批梯度，α为学习率，ω为局部模型参数。
实施例中，步骤二中搭建联邦学习全局模型多头注意力机制模型包含以下步骤：
第一步：在全局模型上，设计和采用了一个适用于多头注意力机制的联邦学习上传和分配的框架，为了初步减少局部模型个性化问题对全局模型的影响，先用联邦平均算法聚合局部模型参数到全局模型，并将聚合后的模型更新发回给客户端，重复进行这一过程，直至模型收敛、达到最大迭代次数或者达到最大训练时间，保存此时的全局模型参数，将这一步骤作为预训练；
第二步：计算出当前局部模型参数和预处理后全局模型参数的距离，得出模型间的差异性从而为局部模型制定个性化系数，具体如式(6)、(7)所示。
其中，λk为初始聚合到全局模型的局部模型系数因子，w0为预处理过后全局模型的权重参数，为第k个客户端当前在局部数据训练局部模型后的权重参数，计算预处理后权重参数和当前局部模型权重参数的差值，f函数保证数据在0到1之间，可以减少差异较大的数据的占比从而初步解决模型个性化问题对聚合的影响，减少数据噪声增加的风险，之后对数据做了归一化处理，保证多分类的概率之和为1；
第三步：按照局部模型参数和预处理后全局模型参数的差异性将局部模型的模型参数聚合到全局模型，将局部的更新模型参数赋予个性化系数λk后发送给服务器，服务器将接收到的模型参数进行聚合，最后对收到的模型参数使用加权平均，具体如式(8)所示。
其中，nk为第k个参与方的局部数据量，为此时局部模型的参数，之后服务器将聚合后的模型参数/>发送给所有参与方；
第四步：对于联邦平均算法对模型个性化的影响，计算全局模型参数在当前局部模型上的重要性得分，将其作为注意力头系数分配给局部模型，具体如式(9)、(10)所示。
其中，为局部数据训练局部模型的参数更新，θi为根据局部的个性化问题给全局模型的权重赋予变量系数，将变量系数和全局模型的参数相乘，将/>发送给各参与方。
本发明具体工作流程如下：首先按照WMO认可的27项极端气候指极端气候指数定义计算22个CMIP6模式的历史时期1961-2014和未来不同路径(ssp245,ssp585)下的强降水、连续干日、平均总降水、连续最大5日降水等气候指数；进一步按照IPCC组织推荐的定义，计算22个CMIP6模式输出的全球平均温升到达工业革命前水平的1.5度、2度、3度的时间点前后20年年的数据切片；进而获得训练期、检验期和预估期的模式资料；根据所采用的来自于中国气象局的0.5×0.5°逐日观测降水数据集(CN5.1)的空间格点信息，采用双线性插值插值算法，将模式结果插值到与观测资料空间分辨率一致的0.5×0.5°的格点上，得到格点化降水；为了消除不同参量间的数值范围的影响，将每个模式的5个时段的四个极端气候指数数据进行标准化，采用数据减去原始数据平均值除以标准方差进行标准化；最后将每个模式的5个时段的四个极端气候指数数据由空间格点的时间序列按照时间-空间交替的顺序映射成一列一维的数据，将22个不同CMIP6模式的映射数据的按照模式名的首字母顺序排列成一个二维数据矩阵，最后一列为观测结果，进而得到集成的数据集；将数据集中的1961-1993年训练数据集分别输入到BP神经网络、LSTM神经网络、卷积神经网络、K均值聚类算法、随机森林、多元线性回归等6种机器学习模型，利用不同机器学习模型的参数优化函数，优化调整6种学习模型的输入参数，得到参数最优调整的参数化的机器学习模型；将1994-2014年数据输入训练好的机器学习模型，采用对应观测数据，评估机器预估结果；评估指标采用不同机器模型输出结果与观测数据空间分布的相关系数及偏差大小计算的技巧分数评定，其中R为机器模型输出结果与观测相关系，σf为模型与观测的方差接近程度，R0为模型与观测的最高相关系数。模型模拟性能越好，其S分数越高；根据模式模拟性能的技巧评分S，给不同模式分配集成的权重，其中第i个机器学习模型对应的集成权重由/>决定，构成集成的最优机器学习模型；最后输入未来不同增温下的预估数据，利用集成的模型给出最优的概率集成预估，即降水变化相对目前1994-2014年参考阶段的值超过某一阈值(ΔTth)的概率P，则可用式表示：/>
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (1)
1.一种基于多头注意力机制的个性化联邦学习方法，其特征在于包含以下步骤：
步骤一：搭建联邦学习局部模型多头注意力机制模型：将多头注意力机制用于最经典的卷积神经网络中，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性；
步骤二：搭建联邦学习全局模型多头注意力机制模型：考虑到各个局部模型的个性化问题对全局模型的影响，在将全局模型参数发送给局部模型时，根据模型的个性化特性做出相应变化；
所述的步骤一中搭建联邦学习局部模型多头注意力机制模型包含以下步骤：
第一步：从服务器获得最新的模型更新数据集为Dk，随机将数据集Dk划分为批量B的大小，将其放入网络模型训练；
第二步：搭建卷积层，采用最经典的卷积神经网络CNN，达到提取特征的目的，加入多头注意力机制，如式(1)、(2)和(3)所示，根据输入的特定部分的重要性根据其与输出的相关性计算一个权重，可以给到输入的元素分配一个相关分数，并忽略有噪声的部分，通过多头注意力机制，保留关键信息，更好地进行特征提取和选择，提高识别的准确性：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (2)
这里，
其中，Q是查询矩阵，V和K是矩阵的键值，是缩放因子，用于调节，防止Q、K的内积太大，对queries，keys以及values进行n次不同的线性映射，学习到的线性映射分别映射到dk,dk以及dv维，分别对每一个映射之后的得到的queries，keys以及values进行attention函数的Concat并行操作，生成dv维的output值，Wi Q，Wi K，Wi V是dk/h，dk/h以及dv/h维度的多头注意力机制的权重矩阵，WO是do维的输出权重矩阵；
第三步：局部更新模型参数，如式(4)所示，之后将当前局部模型参数，发送给全局模型：
ω←Concat(head1,head2,…,headn)ω (4)
其中，对多头进行attention函数的Concat并行操作，是批梯度，α为学习率，ω为局部模型参数；
所述的步骤二中搭建联邦学习全局模型多头注意力机制模型包含以下步骤：
第一步：在全局模型上，设计和采用了一个适用于多头注意力机制的联邦学习上传和分配的框架，为了初步减少局部模型个性化问题对全局模型的影响，先用联邦平均算法聚合局部模型参数到全局模型，并将聚合后的模型更新发回给客户端，重复进行这一过程，直至模型收敛、达到最大迭代次数或者达到最大训练时间，保存此时的全局模型参数，将这一步骤作为预训练；
第二步：计算出当前局部模型参数和预处理后全局模型参数的距离，得出模型间的差异性从而为局部模型制定个性化系数，具体如式(6)、(7)所示：
其中，λk为初始聚合到全局模型的局部模型系数因子，w0为预处理过后全局模型的权重参数，为第k个客户端当前在局部数据训练局部模型后的权重参数，计算预处理后权重参数和当前局部模型权重参数的差值，f函数保证数据在0到1之间，可以减少差异较大的数据的占比从而初步解决模型个性化问题对聚合的影响，减少数据噪声增加的风险，之后对数据做了归一化处理，保证多分类的概率之和为1；
第三步：按照局部模型参数和预处理后全局模型参数的差异性将局部模型的模型参数聚合到全局模型，将局部的更新模型参数赋予个性化系数λk后发送给服务器，服务器将接收到的模型参数进行聚合，最后对收到的模型参数使用加权平均，具体如式(8)所示：
其中，nk为第k个参与方的局部数据量，为此时局部模型的参数，之后服务器将聚合后的模型参数/>发送给所有参与方；
第四步：对于联邦平均算法对模型个性化的影响，计算全局模型参数在当前局部模型上的重要性得分，将其作为注意力头系数分配给局部模型，具体如式(9)、(10)所示：
其中，为局部数据训练局部模型的参数更新，θk为根据局部的个性化问题给全局模型的权重赋予变量系数，将变量系数和全局模型的参数相乘，将/>发送给各参与方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792988.XA CN113378243B (zh) | 2021-07-14 | 2021-07-14 | 一种基于多头注意力机制的个性化联邦学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792988.XA CN113378243B (zh) | 2021-07-14 | 2021-07-14 | 一种基于多头注意力机制的个性化联邦学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113378243A CN113378243A (zh) | 2021-09-10 |
| CN113378243B true CN113378243B (zh) | 2023-09-29 |
Family
ID=77581944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110792988.XA Active CN113378243B (zh) | 2021-07-14 | 2021-07-14 | 一种基于多头注意力机制的个性化联邦学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378243B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113607325B (zh) * | 2021-10-09 | 2021-12-14 | 武汉地震工程研究院有限公司 | 一种钢结构螺栓群松动定位智能监测方法及系统 |
| CN114492849B (zh) * | 2022-01-24 | 2023-09-08 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
| CN114707519B (zh) * | 2022-03-23 | 2023-06-06 | 广东工业大学 | 一种面向多节点多领域及基于横向联邦学习的意图识别方法 |
| CN114676849A (zh) * | 2022-03-24 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习进行模型参数更新的方法及系统 |
| CN115600642B (zh) * | 2022-10-10 | 2024-02-06 | 南京栢拓视觉科技有限公司 | 一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法 |
| CN115761850B (zh) * | 2022-11-16 | 2024-03-22 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059323A (zh) * | 2019-04-22 | 2019-07-26 | 苏州大学 | 基于自注意力机制的多领域神经机器翻译方法 |
| CN112182154A (zh) * | 2020-09-25 | 2021-01-05 | 中国人民大学 | 一种利用个人词向量消除关键词歧义的个性化搜索模型 |
| CN112200321A (zh) * | 2020-12-04 | 2021-01-08 | 同盾控股有限公司 | 基于知识联邦和图网络的推理方法、系统、设备及介质 |
| CN112364943A (zh) * | 2020-12-10 | 2021-02-12 | 广西师范大学 | 一种基于联邦学习的联邦预测方法 |
| CN112380863A (zh) * | 2020-10-29 | 2021-02-19 | 国网天津市电力公司 | 一种基于多头自注意力机制的序列标注方法 |
| CN112507219A (zh) * | 2020-12-07 | 2021-03-16 | 中国人民大学 | 一种基于联邦学习增强隐私保护的个性化搜索系统 |
| CN112668726A (zh) * | 2020-12-25 | 2021-04-16 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
| CN112687276A (zh) * | 2021-03-11 | 2021-04-20 | 北京世纪好未来教育科技有限公司 | 一种音频信号处理方法、装置及存储介质 |
| CN112949837A (zh) * | 2021-04-13 | 2021-06-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11107463B2 (en) * | 2018-08-01 | 2021-08-31 | Google Llc | Minimum word error rate training for attention-based sequence-to-sequence models |
| US20210183484A1 (en) * | 2019-12-06 | 2021-06-17 | Surgical Safety Technologies Inc. | Hierarchical cnn-transformer based machine learning |
-
2021
- 2021-07-14 CN CN202110792988.XA patent/CN113378243B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059323A (zh) * | 2019-04-22 | 2019-07-26 | 苏州大学 | 基于自注意力机制的多领域神经机器翻译方法 |
| CN112182154A (zh) * | 2020-09-25 | 2021-01-05 | 中国人民大学 | 一种利用个人词向量消除关键词歧义的个性化搜索模型 |
| CN112380863A (zh) * | 2020-10-29 | 2021-02-19 | 国网天津市电力公司 | 一种基于多头自注意力机制的序列标注方法 |
| CN112200321A (zh) * | 2020-12-04 | 2021-01-08 | 同盾控股有限公司 | 基于知识联邦和图网络的推理方法、系统、设备及介质 |
| CN112507219A (zh) * | 2020-12-07 | 2021-03-16 | 中国人民大学 | 一种基于联邦学习增强隐私保护的个性化搜索系统 |
| CN112364943A (zh) * | 2020-12-10 | 2021-02-12 | 广西师范大学 | 一种基于联邦学习的联邦预测方法 |
| CN112668726A (zh) * | 2020-12-25 | 2021-04-16 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
| CN112687276A (zh) * | 2021-03-11 | 2021-04-20 | 北京世纪好未来教育科技有限公司 | 一种音频信号处理方法、装置及存储介质 |
| CN112949837A (zh) * | 2021-04-13 | 2021-06-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
Non-Patent Citations (9)
| Title |
|---|
| Federated Learning for Vision-and Language Grounding Problems;Fenglin Liu 等;Proceedings of the AAAI Conference on Artificial Intelligence;第34卷(第7期);11572-11 579 * |
| Fenglin Liu 等.Federated Learning for Vision-and Language Grounding Problems.《Proceedings of the AAAI Conference on Artificial Intelligence》.2020,第34卷(第7期),11572-11579. * |
| 基于深度学习的 短文本相似度研究;江杏婷;中国优秀硕士学位论文全 文数据库 信息科技辑(第4期);I138-1123 * |
| 杨威 等.混合CTC/attention架构端到端带口音普通话识别.《计算机应用研究》.2020,第38卷(第3期),755-759. * |
| 江杏婷.基于深度学习的短文本相似度研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2021,(第4期),I138-1123. * |
| 混合 CTC/attention 架构端到 端带口音普通话识别;杨威 等;计算机应用研究;第38卷(第3期);755-759 * |
| 熊漩 等.融合多头自注意力机制的中文分类方法.《电子测量技术》.2022,第43卷(第10期),125-130. * |
| 融合多头自注意 力机制的中文分类方法;熊漩 等;电子测量技术;第43卷(第10期);125-130 * |
| 面向上下文注意力联合学习网络的方面级情感分类模型;杨玉亭 等;模式识别与人工智能;第33卷(08);753-765 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113378243A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113378243B (zh) | 一种基于多头注意力机制的个性化联邦学习方法 | |
| CN106203625B (zh) | 一种基于多重预训练的深层神经网络训练方法 | |
| CN107885778B (zh) | 一种基于动态临近点谱聚类的个性化推荐方法 | |
| CN113361766B (zh) | 一种集成机器学习的多模式降水预估方法 | |
| CN110048827A (zh) | 一种基于深度学习卷积神经网络的类模板攻击方法 | |
| CN107358293A (zh) | 一种神经网络训练方法及装置 | |
| CN107239514A (zh) | 一种基于卷积神经网络的植物识别方法及系统 | |
| CN109447098B (zh) | 一种基于深度语义嵌入的图像聚类算法 | |
| CN109582782A (zh) | 一种基于用弱监督深度学习的文本聚类方法 | |
| CN105718960A (zh) | 基于卷积神经网络和空间金字塔匹配的图像排序模型 | |
| CN112115963A (zh) | 一种基于迁移学习生成无偏见深度学习模型的方法 | |
| CN109146162A (zh) | 一种基于集成循环神经网络的概率风速预测方法 | |
| CN109062962A (zh) | 一种融合天气信息的门控循环神经网络兴趣点推荐方法 | |
| CN112926397B (zh) | 基于两轮投票策略集成学习的sar图像海冰类型分类方法 | |
| CN110070116A (zh) | 基于深度树状训练策略的分段式选择集成图像分类方法 | |
| CN107958298A (zh) | 一种基于聚类算法的物流网点的选取方法 | |
| CN102722578B (zh) | 一种基于拉普拉斯正则化无监督的聚类特征选取方法 | |
| Kobayashi | Bayesian endogenous tobit quantile regression | |
| CN112733602A (zh) | 关系引导的行人属性识别方法 | |
| CN116960991B (zh) | 一种基于图卷积网络模型的面向概率电力负荷预测方法 | |
| CN110443574A (zh) | 多项目卷积神经网络评审专家推荐方法 | |
| CN112612948B (zh) | 一种基于深度强化学习的推荐系统构建方法 | |
| CN116525135B (zh) | 基于气象因素的时空模型对疫情发展态势进行预测的方法 | |
| CN117764227A (zh) | 一种用于加油站的客户流失预测装置 | |
| CN111126467B (zh) | 一种基于多目标正余弦算法的遥感影像空谱聚类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |