CN113610219A - 一种基于动态残差的多源域自适应方法 - Google Patents
一种基于动态残差的多源域自适应方法 Download PDFInfo
- Publication number
- CN113610219A CN113610219A CN202110934431.5A CN202110934431A CN113610219A CN 113610219 A CN113610219 A CN 113610219A CN 202110934431 A CN202110934431 A CN 202110934431A CN 113610219 A CN113610219 A CN 113610219A
- Authority
- CN
- China
- Prior art keywords
- network
- dynamic
- domain
- neural network
- residual block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 33
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 44
- 230000003068 static effect Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000002598 diffusion tensor imaging Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 238000002360 preparation method Methods 0.000 abstract description 4
- 230000004888 barrier function Effects 0.000 abstract description 2
- 238000013526 transfer learning Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 230000006978 adaptation Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种基于动态残差的多源域自适应方法，该方法包括：一种短路连接的模块神经网络连接方式，让动态残差网络能够适应并方便接入大多数的卷积神经网络；模块化神经网络的开关设置，能够根据模块神经网络对结果的影响程度，动态控制该模块是否参与神经网络的计算；设计了由全局平均池化、全连接层、卷积核组构成的动态残差神经网络，不需要域标签可以根据数据特征进行分布对齐，将以往的多源域自适应问题简化为单源域自适应问题。本发明的方法打破域壁垒，简化了多源域自适应的模型设计复杂程度，减少了数据准备工作量。本发明的方法能够应用于迁移学习的工业互联网场景中，接入方式简单节约了模型训练的时间和空间，且不需要域标签数据，在提高了准确率的同时大大减少了数据准备工作量。
Description
技术领域
本发明属于计算机科学领域，涉及一种基于动态残差的多源域自适应方法。
背景技术
近年来，机器学习得到深入发展，一些提升机器学习性能的技术也应运而生。然而，机器学习任务通常需要大量已标记数据，尤其是训练深度模型。众所周知，对数据打标签是一项既费时又费力的工作。目前，存在各种各样的数据集，但是当一项新任务出现的时候，由于分布差异，在这些数据集上训练的模型不能对新任务起到很好的效果。域自适应主要研究在源域和目标域概率分布不一致时如何进行学习。具体来说，是指在拥有已标记源域数据和未标记目标域数据的情况下学习目标模型(一般指无监督域自适应)。域自适应也叫域迁移，它和域泛化有着非常紧密的联系。两者之间最主要的差异是能否获得目标域数据。有时为了提升适应性能，即目标模型的准确率，不止使用一个源域，这就是多源域自适应。多源域自适应(Unsupervised Multi-source Domain Adaptation，UMDA)通过建立从多个已标记源域到未标记目标域的可迁移特征来改善模型的性能。不少UMDA方法会将来自目标域的数据同来自每个源域的数据进行组合以形成若干个源域-目标域对，接着通过缩小域间距离来建立可迁移特征。本发明就是面向多源域的域自适应问题。
如上所述，多源域自适应问题最常见的解决做法就是将各个域映射到一个空间，让域之间距离最小。但如果无论是源域还是目标域大多来自不同的域，具有不同的分布，通过已知域对齐的模型很适应未知领域。此外，常见的域对齐方法无论是域不变表示方法、还是特征解耦等方法，都需要数据集的域标签，即在域监督的条件下进行。这样做一是大大增加了数据准备的工作量，二是实际场景中很难知道数据的域标签。因此，本发明设计模型的目标首先是域无监督，其次模型参数能够根据输入动态调整，以便模型具有更好的泛化性能，适应未知的应用场景。通常，神经网络的模型需要先训练，然后将训练好的模型进行测试和验证。后面的过程中参数保持不变，这样的模型称为静态模型。因为不同的领域的图像分布差异较大，特别是其中某个领域不可知时，它本质上是平均领域冲突。所以由静态模型预测一个领域不可知的分布是非常困难的。
本发明提出用动态模型来解决上述问题。动态模型包含一个参数预测器，该预测器基于动态残差，利用变化的样本数据来生成变化的神经网络参数，即获得映射ΔW(x)。它具有不需要定义域或收集域标签的优点，统一了单源域自适应和多源域自适应的问题。通过打破源域壁垒，将多源域自适应问题转化为单源域问题。模型的输入和输出将变为：输入：{S1,S2,…,SN}，输出：T。
动态模型带来了范数级的流程优化。已有工作大多是静态网络，着重于设计损失函数，依此来寻找某种方式将所有域聚集到一个共享的潜在表示空间中。问题是网络输入端域分布差异较大，损失函数进行的控制会被输入端的分散平衡掉，让聚集空间变得再次分散。这通常会让网络在优化和退化间来回波动，严重影响网络性能。动态模型的引入让映射更具弹性，。在这种架构下，没有所有域拉到一起。因为模型的训练是基于所有源域数据，因此能够更好地泛化到目标域。基于动态残差的域自适应算法的设计重心从如何设计好的损失函数转移到如何设计好的网络上，这样的模型具有更好的适应能力。
与常见结构相比，这种弹性结构具有更好的泛化能力和适应性，但是也很难训练。这是因为受到算力限制，参数预测器不能设计过大。本发明的设计思路就是在基于诸如Resnet、Densenet等静态网络的基础上添加动态残差块，让静态网络具备动态模型调整性能。这样设计除了能达到上面所述的优点以外，残差块的计算量比静态块小得多，额外计算成本非常低(小于0.1％)，且过拟合趋势小。本发明提出的动态残差块可以根据样本数据模拟源域的域变化，在Digit-5数据集上，准确率比静态的方法(DRT算法)最多提升10％以上。与最好的多源域自适应方法相比，除了损失函数复杂度低，模型结构简单以外，增益提升3.9％。
本发明将使用动态残差进行神经网络参数调参的过程叫做基于动态残差的多源域自适应方法，主要的步骤如下：
S1，定义包含动态残差块的神经网络架构。架构主要分为特征提取神经网络和特征分类神经网络两部分，其中在特征提取神经网络中定义了动态残差块的短路接入方式。
S2，定义了动态残差块的内部组成。动态残差块是由四部分组成。第一部分是根据前一层网络特征层进行的全局平均池化，生成与特征相关联的关键系数。第二部分是把关键系数进行两个全连接层操作，依此达到寻找最优组合的目的。第三部分是利用多个卷积核模拟输入域的数目，将关键系数和模拟域组合起来可以拟合输入数据的域分布。第四部分是控制动态残差是否参与的开关函数。
S3，设计了基于动态残差的多源域自适应方法的损失函数。损失函数包括源域数据产生的交叉熵损失，目标域数据的自损失，以及源域和目标域的距离损失。
本发明的技术方案特征和改进为：
对于步骤S1，主要定义了包含动态残差块的神经网络架构。网络架构分为特征提取神经网络和特征分类神经网络。为节约算力和空间，特征提取神经网络架构采用静态网络+动态网络的方式组装。静态网络为特征提取主干网络，采用了经典且已有预训练参数的神经网络，例如卷积神经网络、动态残差网络(Deep residual network，后面简称Resnet)等神经网络模型。为了更好的进行展示和叙述，本发明采用Resnet-50作为主干网络进行举例，50代表神经网络有50个卷积层，网络架构与经典的Resnet-50定义相同。动态网络基于提出的动态残差网络，动态残差网络由一个全局池化层、两个全连接层、一个由n个卷积核组成的卷积核组构成。需要说明的是动态残差块是以短路的方式连接到包含卷积的神经网络中的所有卷积核上，神经网络包含但不仅局限于Resnet-50网络。在Resnet-50网络中，动态残差块则短路连接到每个3*3卷积核上。特征分类网络采用双路分类的结构，定义了两个完全相同的分类器。由2个全连接层组成。可以起到对齐源域和目标域分布，提高准确率的作用。上述描述的网络模型参数可被表示如下：
W(x)＝Wc+ΔW(x) (1)
其中，Wc表示静态网络，ΔW(x)表示依赖输入x的动态残差。通常，需要将残差块加到各个网络层。因为组件Wc是已被训练好不变部分，所以静态模型是动态网络中残差块为0的特殊情况，即ΔW(x)＝0。
对于步骤S2，本发明提出了动态残差块子网络，动态残差块子网络主要由四部分组成。
第一部分是根据前一层网络特征层进行的全局平均池化层，得到与特征层数数目相等的系数，这是生成与输入相关联的关键系数。
第二部分是把关键系数进行两个全连接层操作，来达到寻找最优组合的目的，全连接层大小分别是[输出层数个×中间节点数]，[中间节点数×输出层个数]。
因为上述两部分是基于前一层结果，采用遍历最优组合的方式来表达与输入相关联的系数，所以可以将上述两部分合并称作通道注意力操作，统一表达为用如下公式重新缩放前一层的输出通道系数Wc：
ΔW(x)＝Λ(x)W0 (2)
其中，Λ(x)是参数为输入x的对角阵Cout*Cout，因为与输出通道大小相同，这可以被看作基于注意力机制的动态特征提取。得到的通道经过全局平均池化转化成包含图像特征信息的参数。
第三部分被称作子空间路由，是利用多个卷积核模拟输入域的数目，达到利用关键系数和模拟域拟合输入数据的域分布数据的目的。动态残差块是通过n个大小为k*k的静态矩阵Φi的线性组合来模拟域所在的空间，可以被当作卷积神经网络的权重空间的基，表示如下：
其中，动态系数θi(x)是由第一二部分通道注意力操作得到的参数，系数之间不一定线性无关，还可以进行反向传递。θi(x)可以被看作残差矩阵在权重子空间内的投影，通过与输入相关的方式来选择这些投影，网络能够选择不同的特征子空间参与运算，隐性的对应输入数据的域空间分布。为了减少参数和计算量，θi(x)可以进一步简化为1×1卷积核，并应用于ResNet中瓶颈架构的最窄层。
第四部分是在动态残差块的主要连接通路上加了一个开关函数，残差块并不是都对最后的结果产生贡献，可以通过计算残差块的贡献度。对贡献度低的块可以断开，这样做可以大大节约运算时间和空间。开关函数为δj∈[0,1]0≤j≤K，其中K为整个网络模型中残差块的数目。
将上述各部合并，动态残差块运算矩阵公式如下：
对于步骤S3，与常见的域自适应问题类似，动态模型的损失函数是由多部分组成，下式所示：
η和γ是超参数用来平衡各部分损失。
第一部分损失是由源数据Ds产生的交叉熵损失：
第二部分是目标数据DT的自损失：
第三部分是距离损失，用来对齐源域和目标域的分布，减小域间距离。
其中DT是目标数据，H是衡量源域和目标域的特征分布差异。H可以采用各种计算距离的公式，例如MMD，生成对抗网络等。值得一提的是所有公式的运算过程中都不需要域标签，单源域和多源域都会采用同样的处理方式。对多源域问题，没有逐个的进行每两个域的对齐，这样大大简化了处理流程和减少了计算量。
附图说明
图1为本发明中静态模型(a)和动态模型(b)示意图
图2为本发明中网络模型架构图。
图3为基于动态残差块的多域自适应模型示意图
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
一种基于动态残差的多源域自适应方法，如图1所示，为本发明的基于动态残差的多源域自适应方法结构示意图，该方法包括：
S1，方法提出的动态残差块并不是一种新的网络结构，而是一种采用短路连接，可以与卷积核组合的网络结构。图1(a)为常见的神经网络结构，神经网络需要用有标签数据进行训练，之后模型具有静态参数，参数不再改变。在测试和验证阶段，可以在网络输入端输入未知标签的输入数据进行标签预测，获取目标域的标签。但是如果模型具有多个源域且目标域标签未知的情况下，源域不能很好的与目标域对齐，静态参数则不能很好地拟合未知域去获得标签。而本发明提出的动态残差参数，如图1(b)所示，采用短路连接进网络结构。即便是在测试和验证阶段，在充分保留静态参数特征的同时，还可以根据输入数据进行调整，这样神经网络在测试和验证阶段仍然具有能够根据目标域分布特征改变的参数，能够更好的拟合未知数据分布，来获得更高的准确率。
S2，在网络模型的整体结构上，本发明也做出了创新，如图2所示。模型采用了双分类器的输出。分类器是指经过卷积神经网络后，网络已有输入样本的特征数据，再根据预测类别数目建立的特征—类别全连接层。本发明采用了双分类器具有以下优点：第一，用最大化双输出，比一路更容易找到正确分类，提高准确率。第二，双路交叉对齐目标域和源域，更好地对齐域之间的分布，更好地预测未知域数据标签。
S3，动态残差具备四个主要部件，如图3所示。第一部分是主线路的开关控制器，因为神经网络具备上百个卷积核，并不是每个卷积核上都需要动态残差，因此根据残差块的贡献程度可以断开残差块。第二部分是全局平均池化层(global average pooling，GAP)，能够根据前一层特征输出采用取全局平均的方式获得相同数目的特征参数，后面接Sigmoid函数约束生成的参数和为1。第三部分是全连接层(full connect layer，FC)，通过反向传递寻找参数的最优组合，后面接softmax函数，将值约束在[0,1]之间，生成θi,i∈[1,n]，n为下一部分卷积核数目。第四部分是卷积核组，选取n个卷积核然后域前一层θi相乘，能够起到模拟源域分布，并能根据输入(包含源域和未知目标域)动态调整参数和拟合域。由上可见，在训练好的模型中，动态残差块在面对目标域时，仍然能够根据输入数据动态调整参数，能够获得更高的准确率。并且所有的操作均不牵扯域标签的使用，这样在数据准备阶段也能够大大节约劳动成本。
综上所述，本发明的一种基于动态残差的多源域自适应方法适用于需要进行特征迁移学习的工业互联网场景中，提出的动态残差块能够以短路的方式连接到卷积核上，能够适用于大多数的卷积神经网络中，可推广到多个人工智能领域，具有广泛的应用场景。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (4)
1.一种基于动态残差的多源域自适应方法，其特征及具体步骤如下：
S1，定义包含动态残差块的神经网络架构。架构主要分为特征提取神经网络和特征分类神经网络两部分，其中在特征提取神经网络中定义了动态残差块的短路接入方式。
S2，定义了动态残差块的内部组成。动态残差块是由四部分组成。第一部分是根据前一层网络特征层进行的全局平均池化，生成与特征相关联的关键系数。第二部分是把关键系数进行两个全连接层操作，依此达到寻找最优组合的目的。第三部分是利用多个卷积核模拟输入域的数目，将关键系数和模拟域组合起来可以拟合输入数据的域分布。第四部分是控制动态残差是否参与的开关函数。
S3，设计了基于动态残差的多源域自适应方法的损失函数。损失函数包括源域数据产生的交叉熵损失，目标域数据的自损失，以及源域和目标域的距离损失。
2.根据权利要求1所述的一种基于动态残差块的多源域自适应方法，其特征在于对于步骤S1，主要定义了包含动态残差块的神经网络架构。网络架构分为特征提取神经网络和特征分类神经网络。为节约算力和空间，特征提取神经网络架构采用静态网络+动态网络的方式组装。静态网络为特征提取主干网络，采用了经典且已有预训练参数的神经网络，例如卷积神经网络、动态残差网络(Deep residual network，后面简称Resnet)等神经网络模型。为了更好的进行展示和叙述，本发明采用Resnet-50作为主干网络进行举例，50代表神经网络有50个卷积层，网络架构与经典的Resnet-50定义相同。动态网络基于提出的动态残差网络，动态残差网络由一个全局池化层、两个全连接层、一个由n个卷积核组成的卷积核组构成。需要说明的是动态残差块采用短路的方式连接到包含卷积的神经网络中的所有卷积核上，神经网络可以应在但不仅局限于Resnet-50网络。在Resnet-50网络中，动态残差块则短路连接到每个3*3卷积核上。特征分类网络采用双路分类的结构，定义了两个完全相同的分类器。由2个全连接层组成。可以起到对齐源域和目标域分布，提高准确率的作用。基于动态残差块的多源域自适应网络模型参数可被表示如下：
W(x)＝Wc+ΔW(x) (1)
其中，Wc表示静态网络，ΔW(x)表示依赖输入x的动态残差。通常，需要将残差块加到各个网络层。因为组件Wc是已被训练好不变部分，所以静态模型是动态网络中残差块为0的特殊情况，即ΔW(x)＝0。
3.根据权利要求1所述的一种基于动态残差块的多源域自适应方法，其特征在于对于步骤S2，本发明提出了动态残差块子网络，动态残差块子网络主要由四部分组成。
第一部分是根据前一层网络特征层进行的全局平均池化层，得到与特征层数数目相等的系数，这是生成与输入相关联的关键系数。
第二部分是把关键系数进行两个全连接层操作，来达到寻找最优组合的目的，全连接层大小分别是[输出层数个×中间节点数]，[中间节点数×输出层个数]。
因为上述两部分是基于前一层结果，采用遍历最优组合的方式来表达与输入相关联的系数，所以可以将上述两部分合并称作通道注意力操作，统一表达为用如下公式重新缩放前一层的输出通道系数Wc：
ΔW(x)＝Λ(x)W0 (2)
其中，Λ(x)是参数为输入x的对角阵Cout*Cout，因为与输出通道大小相同，这可以被看作基于注意力机制的动态特征提取。得到的通道经过全局平均池化转化成包含图像特征信息的参数。
第三部分被称作子空间路由，是利用多个卷积核模拟输入域的数目，达到利用关键系数和模拟域拟合输入数据的域分布数据的目的。动态残差块是通过n个大小为k*k的静态矩阵Φi的线性组合来模拟域所在的空间，可以被当作卷积神经网络的权重空间的基，表示如下：
其中，动态系数θi(x)是由第一二部分通道注意力操作得到的参数，系数之间不一定线性无关，还可以进行反向传递。θi(x)可以被看作残差矩阵在权重子空间内的投影，通过与输入相关的方式来选择这些投影，网络能够选择不同的特征子空间参与运算，隐性的对应输入数据的域空间分布。为了减少参数和计算量，θi(x)可以进一步简化为1×1卷积核，并应用于ResNet中瓶颈架构的最窄层。
第四部分是在动态残差块的主要连接通路上加了一个开关函数，残差块并不是都对最后的结果产生贡献，可以通过计算残差块的贡献度。对贡献度低的块可以断开，这样做可以大大节约运算时间和空间。开关函数为δj∈[0,1]0≤j≤K，其中K为整个网络模型中残差块的数目。
将上述各部合并，动态残差块运算矩阵公式如下：
4.根据权利要求1所述的一种基于动态残差块的多源域自适应方法，其特征在于对于步骤S3，与常见的域自适应问题类似，动态模型的损失函数是由多部分组成，如下式所示：
η和γ是超参数用来平衡各部分损失。
第一部分损失是由源数据Ds产生的交叉熵损失：
第二部分是目标数据DT的自损失：
第三部分是距离损失，用来对齐源域和目标域的分布，减小域间距离。
其中DT是目标数据，H是衡量源域和目标域的特征分布差异。H可以采用各种计算距离的公式，例如MMD，生成对抗网络等。值得一提的是所有公式的运算过程中都不需要域标签，单源域和多源域都会采用同样的处理方式。对多源域问题，没有逐个的进行每两个域的对齐，这样大大简化了处理流程、减少了计算时间和空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934431.5A CN113610219B (zh) | 2021-08-16 | 一种基于动态残差的多源域自适应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934431.5A CN113610219B (zh) | 2021-08-16 | 一种基于动态残差的多源域自适应方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610219A true CN113610219A (zh) | 2021-11-05 |
| CN113610219B CN113610219B (zh) | 2024-05-14 |
Family
ID=
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114065852A (zh) * | 2021-11-11 | 2022-02-18 | 合肥工业大学 | 基于动态权重的多源联合自适应和内聚性特征提取方法 |
| CN114354185A (zh) * | 2021-12-29 | 2022-04-15 | 重庆邮电大学 | 一种基于解耦网络的齿轮箱故障诊断方法 |
| CN115392326A (zh) * | 2022-10-27 | 2022-11-25 | 中国人民解放军国防科技大学 | 基于联合多模态信息与域对抗神经网络的调制识别方法 |
| CN115578593A (zh) * | 2022-10-19 | 2023-01-06 | 北京建筑大学 | 一种使用残差注意力模块的域适应方法 |
| CN115859837A (zh) * | 2023-02-23 | 2023-03-28 | 山东大学 | 基于数字孪生建模的风机叶片动态冲击检测方法及系统 |
| CN116580255A (zh) * | 2023-07-13 | 2023-08-11 | 华南师范大学 | 多源域多目标域自适应方法、装置与电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898095A (zh) * | 2020-07-10 | 2020-11-06 | 佛山科学技术学院 | 深度迁移学习智能故障诊断方法、装置、存储介质和设备 |
| CN112085086A (zh) * | 2020-09-03 | 2020-12-15 | 哈尔滨工业大学 | 一种基于图卷积神经网络的多源迁移学习方法 |
| US20210012198A1 (en) * | 2018-05-31 | 2021-01-14 | Huawei Technologies Co., Ltd. | Method for training deep neural network and apparatus |
| CN112766334A (zh) * | 2021-01-08 | 2021-05-07 | 厦门大学 | 一种基于伪标签域适应的跨域图像分类方法 |
| CN112836795A (zh) * | 2021-01-27 | 2021-05-25 | 西安理工大学 | 一种多源非均衡域自适应方法 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210012198A1 (en) * | 2018-05-31 | 2021-01-14 | Huawei Technologies Co., Ltd. | Method for training deep neural network and apparatus |
| CN111898095A (zh) * | 2020-07-10 | 2020-11-06 | 佛山科学技术学院 | 深度迁移学习智能故障诊断方法、装置、存储介质和设备 |
| CN112085086A (zh) * | 2020-09-03 | 2020-12-15 | 哈尔滨工业大学 | 一种基于图卷积神经网络的多源迁移学习方法 |
| CN112766334A (zh) * | 2021-01-08 | 2021-05-07 | 厦门大学 | 一种基于伪标签域适应的跨域图像分类方法 |
| CN112836795A (zh) * | 2021-01-27 | 2021-05-25 | 西安理工大学 | 一种多源非均衡域自适应方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114065852A (zh) * | 2021-11-11 | 2022-02-18 | 合肥工业大学 | 基于动态权重的多源联合自适应和内聚性特征提取方法 |
| CN114065852B (zh) * | 2021-11-11 | 2024-04-16 | 合肥工业大学 | 基于动态权重的多源联合自适应和内聚性特征提取方法 |
| CN114354185A (zh) * | 2021-12-29 | 2022-04-15 | 重庆邮电大学 | 一种基于解耦网络的齿轮箱故障诊断方法 |
| CN115578593A (zh) * | 2022-10-19 | 2023-01-06 | 北京建筑大学 | 一种使用残差注意力模块的域适应方法 |
| CN115578593B (zh) * | 2022-10-19 | 2023-07-18 | 北京建筑大学 | 一种使用残差注意力模块的域适应方法 |
| CN115392326A (zh) * | 2022-10-27 | 2022-11-25 | 中国人民解放军国防科技大学 | 基于联合多模态信息与域对抗神经网络的调制识别方法 |
| CN115392326B (zh) * | 2022-10-27 | 2024-03-19 | 中国人民解放军国防科技大学 | 基于联合多模态信息与域对抗神经网络的调制识别方法 |
| CN115859837A (zh) * | 2023-02-23 | 2023-03-28 | 山东大学 | 基于数字孪生建模的风机叶片动态冲击检测方法及系统 |
| CN116580255A (zh) * | 2023-07-13 | 2023-08-11 | 华南师范大学 | 多源域多目标域自适应方法、装置与电子设备 |
| CN116580255B (zh) * | 2023-07-13 | 2023-09-26 | 华南师范大学 | 多源域多目标域自适应方法、装置与电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Iterative Entity Alignment via Joint Knowledge Embeddings. | |
| Cao et al. | Class-specific soft voting based multiple extreme learning machines ensemble | |
| Kouda et al. | Qubit neural network and its learning efficiency | |
| Wang et al. | EGAT: Edge-featured graph attention network | |
| Xue et al. | Partial connection based on channel attention for differentiable neural architecture search | |
| Wu et al. | Knowledge distillation improves graph structure augmentation for graph neural networks | |
| CN113112020B (zh) | 一种基于生成网络与知识蒸馏的模型网络提取和压缩方法 | |
| Yang et al. | Parallel chaos search based incremental extreme learning machine | |
| CN116306289B (zh) | 一种基于多源域自适应的机电设备跨域剩余寿命预测方法 | |
| Minku et al. | Negative correlation in incremental learning | |
| Ren et al. | Improving cross-domain recommendation through probabilistic cluster-level latent factor model | |
| CN114708479B (zh) | 一种基于图结构和特征的自适应防御方法 | |
| CN111860790A (zh) | 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其系统 | |
| Wong et al. | Noise/fault aware regularization for incremental learning in extreme learning machines | |
| Naik et al. | Bat algorithm-based weighted Laplacian probabilistic neural network | |
| Liao et al. | Ppgencdr: A stable and robust framework for privacy-preserving cross-domain recommendation | |
| CN113610219B (zh) | 一种基于动态残差的多源域自适应方法 | |
| CN113610219A (zh) | 一种基于动态残差的多源域自适应方法 | |
| Le et al. | High‐dimensional precision matrix estimation with a known graphical structure | |
| Zhang et al. | Adversarial VAE with normalizing flows for multi-dimensional classification | |
| Si et al. | A combined constraint handling framework: an empirical study | |
| Bandyopadhyay et al. | Integrating network embedding and community outlier detection via multiclass graph description | |
| Cai et al. | EST-NAS: An evolutionary strategy with gradient descent for neural architecture search | |
| Zeng et al. | Boosting demographic fairness of face attribute classifiers via latent adversarial representations | |
| Liu et al. | Exploiting Feature Heterogeneity for Improved Generalization in Federated Multi-task Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Bin Inventor after: Jing Haifeng Inventor after: Dou Hongbo Inventor after: Wang Zijian Inventor before: Wang Bin Inventor before: Zhu Yanying |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant |