CN113673347A - 一种基于Wasserstein距离的表征相似对抗网络 - Google Patents
一种基于Wasserstein距离的表征相似对抗网络 Download PDFInfo
- Publication number
- CN113673347A CN113673347A CN202110818889.4A CN202110818889A CN113673347A CN 113673347 A CN113673347 A CN 113673347A CN 202110818889 A CN202110818889 A CN 202110818889A CN 113673347 A CN113673347 A CN 113673347A
- Authority
- CN
- China
- Prior art keywords
- domain
- feature
- representing
- loss
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012512 characterization method Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims abstract 7
- 239000004576 sand Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 238000009795 derivation Methods 0.000 claims 1
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 238000005728 strengthening Methods 0.000 abstract 2
- 238000002474 experimental method Methods 0.000 description 10
- 238000013526 transfer learning Methods 0.000 description 6
- 230000008451 emotion Effects 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000003960 organic solvent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于Wasserstein距离的表征相似对抗网络模型，先通过减小Wasserstein距离的方法最大程度的减小源域受试者和目的域受试者的边缘概率分布，再通过关联强化的方法减小条件概率分布，即加强类别的内在联系，包括步骤：采样、过滤噪音、映射、设置域混淆器的Wasserstein距离、设置域混淆器的梯度惩罚、采用关联强化的分类器、求源域到目的域特征表征的相似度、求目的域到源域特征表征的相似度、得到特征在源域目的域的往返概率、计算源域标签概率、采用交叉熵损失计算Lzw和Psts的损失、设定访问概率、设置目的域标签概率、采用交叉熵损失计算Lop和Pv的损失、设置分类器损失、设置源域预测分类损失、设置迭代次数N,当训练次数达到设定的迭代次数后停止。
Description
技术领域
本发明涉及脑电情绪分类和深度迁移学习的技术领域，尤其涉及一种基于Wasserstein距离的表征相似对抗网络模型。
背景技术
与传统迁移学习相比，深度迁移学习因为可以直接对原始数据进行处理，能更好的提取特征，进而提高结果的准确率，目前已经成功的应用在脑机接口领域，因为不同被试者的个体差异很大，同一个体在不同时间段的差异也不同，所以需要通过拉近不同被试者数据的边缘概率分布和条件概率分布来拉近两个领域之间的差异。
传统的域适应方法通常先提取源域与目标域的特征，然后对两域特征进行域适应，最终采用传统分类器进行分类，上述传统算法运算效率较高，但是准确率比较有限，而且在整个过程中需要人为干预，以往的基于度量的深度域适应方法在准确率上通常优于传统算法，但是在性能上仍存在许多缺点，比如采用 MMD距离的域适应方法，准确率波动较大，采用二阶统计特征对齐的方法针对差异较大的两域作用有限等。
例如，一种在国外论文文献上公开的“[Jinpeng Li,Shuang Qiu,Changde Du,Yixin Wang,and Huiguang He.Domain Adaptation for EEG Emotion RecognitionBased on Latent Representation Similarity[J].IEEE Transactions on Cognitiveand Developmental Systems,2019.]”，提出了一种基于潜在表征相似性的脑电情感模型，这个模型采用减小交叉熵(衡量数据真实分布和模型预测分布相似性的一种方法)损失的方法来减小不同被试者的边缘概率分布的差异，采用关联强化的方法减小条件概率分布的差异。然而当数据点的分布与另一个分布没有重叠区域或者重叠区域可以忽略时，会出现梯度消失的情况，所以交叉熵反应不了两个分布的真实距离，采用Wasserstein 距离作为距离度量，可以在任何地方提供稳定的梯度，即反应两个分布的真实距离。
发明内容
为此，本发明实施例提供一种基于Wasserstein距离的表征相似对抗网络模型，能够反应两个分布的真实距离，为脑电情绪识别的深度迁移方法提供了一种准确率更高的方法。
为了实现上述目的，本发明的实施方式提供如下技术方案：
一种基于Wasserstein距离的表征相似对抗网络，其特征在于，包括如下步骤：
S1、脑电信号首先以200hz的采样率下采样，在0.5hz-70hz之间用带通滤波器对脑电信号进行处理来滤除噪声和伪影，随机选择一名被试者的脑电信号作为目的域，其他被试者脑电信号作为源域；
S2、通过特征提取器将数据映射到一个特征空间并设置域混淆器的 Wasserstein距离；
S3、设置域混淆器的梯度惩罚并更新w参数；
S4、采用关联强化的分类器并求源域到目的域特征表征的相似度以及目的域到源域特征表征的相似度；
S5、计算源域目的域的往返概率和计算源域标签概率并用交叉熵损失计算损失；
S6、设定访问概率与目的域标签概率并用交叉熵损失计算损失；
S7、设置分类器损失与源域预测分类损失并计算模型损失，设置迭代次数 N,当训练次数达到迭代次数后停止。
作为优选，所述S1中：滤除噪声和伪影包括使用1s长非重叠汉宁窗的短时傅里叶变换计算5个频带(δ：1-3hz，θ：4-7hz，α：8-13hz，β：14-30hz，γ：31-50hz)中的传统DE特征，引入线性动态系统来过滤无关信息。提高信息处理效果。
作为优选，所述S2中：特征提取器是由310-128的全连接层构成，特征通过特征提取器后，由310维降至128维，再经过RELU激活，映射关系如下：
X′s＝f(Xs) X′t＝f(Xt) (1)
其中，Xs为原始源域特征，Xt为原始目的域特征，f(x)为特征提取器，X′s和 X′t表示源域和目的域在相同特征空间中的128维特征表示；Wasserstein距离可以减小源域和目的域边缘概率分布，Wasserstein距离的表达式如下：
式子中，pa表示特征空间中的随机位置a的边缘概率分布，pb表示特征空间中的另一个位置b的边缘概率分布，inf表示结果的下确界，μ(pa,pb)是pa和pb组合的所有联合概率分布的集合，ε为可能组合的联合概率分布，‖x-y‖为随机样本x和y的距离，E为随机样本距离的期望值，W(pa,pb)是最优路径的最小消耗；在式子中，由于
不能直接求出结果，所以根据坎托罗维奇-鲁宾斯坦对偶定理，将式子(2)变成如下形式：
式子中，sup表示上确界，
表示在边缘概率分布pa下样本x对函数f(x)的期望值，
表示在边缘概率分布pb下样本x对函数f(x)的期望值，‖f‖L表示Lipschitz常数，它的定义为：
‖f‖L＝sup|f(x1)-f(x2)|/|x1-x2| (4)
由于经过特征提取器后，源域目的域特征映射为X′s和X′t，所以公式(3) 改为：
可以通过调整参数w来最大化域混淆器的损失，以近似的表示Wasserstein 距离，所以把公式(5)改为：
式子中，D表示域混淆器，等价于公式(5)中的fw()，
表示域混淆器的损失， X′s表示源域特征经过特征提取器后的特征表示，X′t表示目的域特征经过特征提取器后的特征表示，Σ表示求和，m表示源域特征数目，n表示目的域特征数目。有效降低混淆器损失。
作为优选，所述S3中：设置域混淆器的梯度惩罚包括由于公式(3)中有‖f‖L≤1的约束，所以在域混淆器中针对w增加梯度惩罚
式子如下：
式子中
为特征表示，X′表示特征经过特征提取器后的特征表示，
表示对X′求导，‖…‖2表示对其中的数先求平方和，再开根号；将w参数更新包括将 Wasserstein距离的损失与梯度惩罚项相减，再针对w参数进行梯度更新，式子如下：
式子中，γ为混淆参数，α1为学习率，w表示域混淆器的权重；当迭代次数小于设定的域混淆器的迭代次数时，返回S2；否则，进入S4。能够得到接近的数据。
作为优选，所述S4中：采用关联强化的分类器包括将经过特征提取器后的源域和目的域特征表示进行点积运算，如下公式：
Mst＝<X′s,X′t>
式子中，X′s表示经过特征提取器的源域特征表示，X′t表示经过特征提取器的目的域表示，Mst表示源域和目的域的特征表示的点积；求源域到目的域特征表征的相似度包括对Mst采用softmax的方法，将X′s和X′t相似的概率采用下面的公式表示：
式子中，Pst表示源域特征与目的域特征相似度的概率，Mst表示源域和目的域的特征表示的点积，Σt表示特征的总数；求目的域到源域特征表征的相似度包括对Mst进行转置得到Mts，Mts表示目标域和源域的特征表示的点积，再重复步骤八的步骤得到Pts，Pts表示源域特征与目的域特征相似度的概率。提高数据关联度。
作为优选，所述S5中：获得源域目的域的往返概率包括相乘得到的Pst、Pts，公式如下：
Psts＝PstPts；
式子中，Psts表示Pst和Pts的乘积；计算源域标签概率Lzw包括把源域一个特征记为Sa，特征经过目的域映射后又返回源域的特征记为Sb，如果Sa的类别和Sb的类别相等，记为
式子如下：
通过交叉熵损失计算损失包括式子如下：
Wloss＝H(Lzw,Psts)
式子中，H表示交叉熵损失，Lzw表示源域标签概率，Psts表示特征在源域目的域的往返概率，Wloss表示Lzw和Psts经过交叉熵损失后的值。获得更接近数据。
作为优选，所述S6中：设定访问概率Pv包括，确保每个目的域的样本都能被关联，式子如下：
式子中Ta表示目的域的特征；采用交叉熵损失计算Lop和Pv的损失包括式子如下：
Vloss＝H(Lop,Pv)
式子中，Vloss表示Lop和Pv经过交叉熵损失后的值。获得更接近数据。
作为优选，所述S7中：设置分类器损失
包括公式如下：
设置源域预测分类损失
包括公式如下：
式子中，y表示目的域特征真实标签，
表示目的域特征预测标签，模型的损失表达式
包括如下公式：
作为优选，所述S3中，更新w参数包括混淆参数γ可以设置为10,学习率α1可以设置为0.01。提高数据处理效果。
作为优选，反向传播说明为：
式子中，ω1表示特征提取器权重。ω2表示分类器权重。α2表示分类器的学习率，α1表示域混淆器的学习率，γ表示系数，
表示源域预测分类损失，
表示分类器损失
表示域混淆器的损失，
表示梯度惩罚，分类器的学习率α2可以设置为0.001，域混淆器权重ω3可以设置为0.01，系数γ可以设置为10。提高数据处理效果。
本发明的实施方式具有如下优点：
通过减小Wasserstein距离的方法最大程度的减小源域受试者和目的域受试者的边缘概率分布，再通过关联强化的方法减小条件概率分布，加强了类别的内在联系,为脑电情绪识别的深度迁移方法提供了一种准确率更高的方法。
附图说明
为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达到的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1是本发明的逻辑流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的认识可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于Wasserstein距离的表征相似对抗网络，其特征在于，包括如下步骤：
S1、脑电信号首先以200hz的采样率下采样，在0.5hz-70hz之间用带通滤波器对脑电信号进行处理来滤除噪声和伪影，随机选择一名被试者的脑电信号作为目的域，其他被试者脑电信号作为源域；
S2、通过特征提取器将数据映射到一个特征空间并设置域混淆器的 Wasserstein距离；
S3、设置域混淆器的梯度惩罚并更新w参数；
S4、采用关联强化的分类器并求源域到目的域特征表征的相似度以及目的域到源域特征表征的相似度；
S5、计算源域目的域的往返概率和计算源域标签概率并用交叉熵损失计算损失；
S6、设定访问概率与目的域标签概率并用交叉熵损失计算损失；
S7、设置分类器损失与源域预测分类损失并计算模型损失，设置迭代次数 N,当训练次数达到迭代次数后停止。
所述S1中：滤除噪声和伪影包括使用1s长非重叠汉宁窗的短时傅里叶变换计算5个频带(δ：1-3hz，θ：4-7hz，α：8-13hz，β：14-30hz，γ：31-50hz) 中的传统DE特征，引入线性动态系统来过滤无关信息。
所述S2中：特征提取器是由310-128的全连接层构成，特征通过特征提取器后，由310维降至128维，再经过RELU激活，映射关系如下：
X′s＝f(Xs) X′t＝f(Xt) (1)
其中，Xs为原始源域特征，Xt为原始目的域特征，f(x)为特征提取器，X′s和 X′t表示源域和目的域在相同特征空间中的128维特征表示；Wasserstein距离可以减小源域和目的域边缘概率分布，Wasserstein距离的表达式如下：
式子中，pa表示特征空间中的随机位置a的边缘概率分布，pb表示特征空间中的另一个位置b的边缘概率分布，inf表示结果的下确界，μ(pa,pb)是pa和pb组合的所有联合概率分布的集合，ε为可能组合的联合概率分布，‖x-y‖为随机样本x和y的距离，E为随机样本距离的期望值，W(pa,pb)是最优路径的最小消耗；在式子中，由于
不能直接求出结果，所以根据坎托罗维奇-鲁宾斯坦对偶定理，将式子(2)变成如下形式：
式子中，sup表示上确界，
表示在边缘概率分布pa下样本x对函数f(x)的期望值，
表示在边缘概率分布pb下样本x对函数f(x)的期望值，‖f‖L表示Lipschitz常数，它的定义为：
‖f‖L＝sup|f(x1)-f(x2)|/|x1-x2| (4)
由于经过特征提取器后，源域目的域特征映射为X′s和X′t，所以公式(3) 改为：
可以通过调整参数w来最大化域混淆器的损失，以近似的表示Wasserstein 距离，所以把公式(5)改为：
式子中，D表示域混淆器，等价于公式(5)中的fw()，
表示域混淆器的损失， X′s表示源域特征经过特征提取器后的特征表示，X′t表示目的域特征经过特征提取器后的特征表示，Σ表示求和，m表示源域特征数目，n表示目的域特征数目。
所述S3中：设置域混淆器的梯度惩罚包括由于公式(3)中有‖f‖L≤1的约束，所以在域混淆器中针对w增加梯度惩罚
式子如下：
式子中
为特征表示，X′表示特征经过特征提取器后的特征表示，
表示对X′求导，‖…‖2表示对其中的数先求平方和，再开根号；将w参数更新包括将 Wasserstein距离的损失与梯度惩罚项相减，再针对w参数进行梯度更新，式子如下：
式子中，γ为混淆参数，α1为学习率，w表示域混淆器的权重；当迭代次数小于设定的域混淆器的迭代次数时，返回S2；否则，进入S4。
所述S4中：采用关联强化的分类器包括将经过特征提取器后的源域和目的域特征表示进行点积运算，如下公式：
Mst＝<X′s,X′t>
式子中，X′s表示经过特征提取器的源域特征表示，X′t表示经过特征提取器的目的域表示，Mst表示源域和目的域的特征表示的点积；求源域到目的域特征表征的相似度包括对Mst采用softmax的方法，将X′s和X′t相似的概率采用下面的公式表示：
式子中，Pst表示源域特征与目的域特征相似度的概率，Mst表示源域和目的域的特征表示的点积，Σt表示特征的总数；求目的域到源域特征表征的相似度包括对Mst进行转置得到Mts，Mts表示目标域和源域的特征表示的点积，再重复步骤八的步骤得到Pts，Pts表示源域特征与目的域特征相似度的概率。
所述S5中：获得源域目的域的往返概率包括相乘得到的Pst、Pts，公式如下：
Psts＝PstPts；
式子中，Psts表示Pst和Pts的乘积；计算源域标签概率Lzw包括把源域一个特征记为Sa，特征经过目的域映射后又返回源域的特征记为Sb，如果Sa的类别和Sb的类别相等，记为
式子如下：
通过交叉熵损失计算损失包括式子如下：
Wloss＝H(Lzw,Psts)
式子中，H表示交叉熵损失，Lzw表示源域标签概率，Psts表示特征在源域目的域的往返概率，Wloss表示Lzw和Psts经过交叉熵损失后的值；
所述S6中：设定访问概率Pv包括，确保每个目的域的样本都能被关联，式子如下：
式子中Ta表示目的域的特征；采用交叉熵损失计算Lop和Pv的损失包括式子如下：
Vloss＝H(Lop,Pv)
式子中，Vloss表示Lop和Pv经过交叉熵损失后的值；
所述S7中：设置分类器损失
包括公式如下：
设置源域预测分类损失
包括公式如下：
式子中，y表示目的域特征真实标签，
表示目的域特征预测标签，模型的损失表达式
包括如下公式：
所述S3中，更新w参数包括混淆参数γ可以设置为10,学习率α1可以设置为0.01。
反向传播说明为：
式子中，ω1表示特征提取器权重。ω2表示分类器权重。α2表示分类器的学习率，α1表示域混淆器的学习率，γ表示系数，
表示源域预测分类损失，
表示分类器损失
表示域混淆器的损失，
表示梯度惩罚，分类器的学习率α2可以设置为0.001，域混淆器权重ω3可以设置为0.01，系数γ可以设置为10。
本发明在使用时，选取一组实验中的一个被试者作为目的域，取剩下两组实验中除作为目的域被试者以外的14个被试者作为源域。即把三组实验分别记为a，b，c。a组实验中的15个被试者记为a1、a2…a15；b组实验中的15个被试者记为b1、b2…b15；c组实验中的15个被试者记为c1、c2…c15。假设取a1作为目的域，那么就把b2、b3…b15,c2、c3…c15作为源域，最后把数据作为输入放进网络中运行即可得出每一个被试者的准确率。以此类推，对每一组的15个被试者进行实验，最后对每一组的15个被试者取平均值，得到每一组的平均准确率。
为证明上述方法的可行性，下面使用SEED数据集对该算法进行检验；
数据提取的方法如下：首先选择15个电影片段作为刺激源，其中5个电影片段正面情绪，5个电影片段中性情绪，5个电影片段负面情绪。共有15名中国受试者，每个受试者需要把15个电影片段都观看完，因此在一组实验中每个受试者需要做15次实验。相同的实验重复做三组，每一组间隔一周。
数据集先下采样到200Hz。应用了0-75Hz的带通频率滤波器，提取了与每部电影的时长相对应的脑电图片段，再提取EEG信号的DE特征，使用传统的移动平均和线性动态系统(LDS)方法进行平滑处理。
下面选取了脑电情绪识别中常用的几种深度迁移学习方法进行对比。
TCA:一种边缘分布自适应方法，是迁移学习中数据分布自适应的经典方法。也可被应用于脑电型号的迁移学习中。
SVM：机器学习中经典的分类器，具有较好的数学理论支撑。
DAN：又叫深度适配网络。在深度迁移学习中具有较好的分类效果。
JDAN：又叫联合概率分布网络。他结合了边缘概率分布和条件概率分布进行迁移学习。
从以上结果可以看出，本发明为脑电情绪识别的深度迁移方法提供了一种准确率更高的方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种基于Wasserstein距离的表征相似对抗网络，其特征在于，包括如下步骤：
S1、脑电信号首先以200hz的采样率下采样，在0.5hz-70hz之间用带通滤波器对脑电信号进行处理来滤除噪声和伪影，随机选择一名被试者的脑电信号作为目的域，其他被试者脑电信号作为源域；
S2、通过特征提取器将数据映射到一个特征空间并设置域混淆器的Wasserstein距离；
S3、设置域混淆器的梯度惩罚并更新w参数；
S4、采用关联强化的分类器并求源域到目的域特征表征的相似度以及目的域到源域特征表征的相似度；
S5、计算源域目的域的往返概率和计算源域标签概率并用交叉熵损失计算损失；
S6、设定访问概率与目的域标签概率并用交叉熵损失计算损失；
S7、设置分类器损失与源域预测分类损失并计算模型损失，设置迭代次数N，当训练次数达到迭代次数后停止。
2.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S1中：滤除噪声和伪影包括使用1s长非重叠汉宁窗的短时傅里叶变换计算5个频带(δ：1-3hz，θ：4-7hz，α：8-13hz，β：14-30hz，γ：31-50hz)中的传统DE特征，引入线性动态系统来过滤无关信息。
3.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S2中：特征提取器是由310-128的全连接层构成，特征通过特征提取器后，由310维降至128维，再经过RELU激活，映射关系如下：
X′s＝f(Xs) X′t＝f(Xt) (1)
其中，Xs为原始源域特征，Xt为原始目的域特征，f(x)为特征提取器，Xs和Xt表示源域和目的域在相同特征空间中的128维特征表示；Wasserstein距离可以减小源域和目的域边缘概率分布，Wasserstein距离的表达式如下：
式子中，pa表示特征空间中的随机位置a的边缘概率分布，pb表示特征空间中的另一个位置b的边缘概率分布，inf表示结果的下确界，μ(pa，pb)是pa和pb组合的所有联合概率分布的集合，ε为可能组合的联合概率分布，||x-y||为随机样本x和y的距离，E为随机样本距离的期望值，W(pa，pb)是最优路径的最小消耗，在式子中，由于
不能直接求出结果，所以根据坎托罗维奇-鲁宾斯坦对偶定理，将式子(2)变成如下形式：
式子中，sup表示上确界，
表示在边缘概率分布pa下样本x对函数f(x)的期望值，
表示在边缘概率分布pb下样本x对函数f(x)的期望值，||f||L表示Lipschitz常数，它的定义为：
||f||L＝sup|f(x1)-f(x2)|/|x1-x2| (4)
由于经过特征提取器后，源域目的域特征映射为X′s和X′t，所以公式(3)改为：
可以通过调整参数w来最大化域混淆器的损失，以近似的表示Wasserstein距离，所以把公式(5)改为：
式子中，D表示域混淆器，等价于公式(5)中的fw()，
表示域混淆器的损失，Xs表示源域特征经过特征提取器后的特征表示，X′t表示目的域特征经过特征提取器后的特征表示，∑表示求和，m表示源域特征数目，n表示目的域特征数目。
4.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S3中：设置域混淆器的梯度惩罚包括由于公式(3)中有||f||L≤1的约束，所以在域混淆器中针对w增加梯度惩罚
式子如下：
式子中
为特征表示，X′表示特征经过特征提取器后的特征表示，
表示对X′求导，||...||2表示对其中的数先求平方和，再开根号；将w参数更新包括将Wasserstein距离的损失与梯度惩罚项相减，再针对w参数进行梯度更新，式子如下：
式子中，γ为混淆参数，α1为学习率，w表示域混淆器的权重；当迭代次数小于设定的域混淆器的迭代次数时，返回S2；否则，进入S4。
5.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S4中：采用关联强化的分类器包括将经过特征提取器后的源域和目的域特征表示进行点积运算，如下公式：
Mst＝<X′s，X′t>
式子中，X′s表示经过特征提取器的源域特征表示，X′t表示经过特征提取器的目的域表示，Mst表示源域和目的域的特征表示的点积；求源域到目的域特征表征的相似度包括对Mst采用softmax的方法，将X′s和X′t相似的概率采用下面的公式表示：
式子中，Pst表示源域特征与目的域特征相似度的概率，Mst表示源域和目的域的特征表示的点积，∑t表示特征的总数；求目的域到源域特征表征的相似度包括对Mst进行转置得到Mts，Mts表示目标域和源域的特征表示的点积，再重复步骤八的步骤得到Pts，Pts表示源域特征与目的域特征相似度的概率。
6.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S5中：获得源域目的域的往返概率包括相乘得到的Pst、Pts，公式如下：
Psts＝PstPts；
式子中，Psts表示Pst和Pts的乘积；计算源域标签概率Lzw包括把源域一个特征记为Sa，特征经过目的域映射后又返回源域的特征记为Sb，如果Sa的类别和Sb的类别相等，记为
式子如下：
通过交叉熵损失计算损失包括式子如下：
Wloss＝H(Lzw，Psts)
式子中，H表示交叉熵损失，Lzw表示源域标签概率，Psts表示特征在源域目的域的往返概率，Wloss表示Lzw和Psts经过交叉熵损失后的值。
7.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S6中：设定访问概率Pv包括，确保每个目的域的样本都能被关联，式子如下：
式子中Ta表示目的域的特征；采用交叉熵损失计算Lop和Pv的损失包括式子如下：
Vloss＝H(Lop，Pv)
式子中，Vloss表示Lop和Pv经过交叉熵损失后的值。
8.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S7中：设置分类器损失
包括公式如下：
设置源域预测分类损失
包括公式如下：
式子中，y表示目的域特征真实标签，
表示目的域特征预测标签，
模型的损失表达式
包括如下公式：
9.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，所述S3中，更新w参数包括混淆参数γ可以设置为10，学习率α1可以设置为0.01。
10.根据权利要求1所述的一种基于Wasserstein距离的表征相似对抗网络，其特征在于，反向传播说明为：
式子中，ω1表示特征提取器权重，ω2表示分类器权重，α2表示分类器的学习率，α1表示域混淆器的学习率，γ表示系数，
表示源域预测分类损失，
表示分类器损失
表示域混淆器的损失，
表示梯度惩罚，分类器的学习率α2可以设置为0.001，域混淆器权重ω3可以设置为0.01，系数γ可以设置为10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110818889.4A CN113673347A (zh) | 2021-07-20 | 2021-07-20 | 一种基于Wasserstein距离的表征相似对抗网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110818889.4A CN113673347A (zh) | 2021-07-20 | 2021-07-20 | 一种基于Wasserstein距离的表征相似对抗网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673347A true CN113673347A (zh) | 2021-11-19 |
Family
ID=78539637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110818889.4A Pending CN113673347A (zh) | 2021-07-20 | 2021-07-20 | 一种基于Wasserstein距离的表征相似对抗网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673347A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117407698A (zh) * | 2023-12-14 | 2024-01-16 | 青岛明思为科技有限公司 | 一种混合距离引导的领域自适应故障诊断方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN111428648A (zh) * | 2020-03-26 | 2020-07-17 | 五邑大学 | 一种脑电信号生成网络、方法及存储介质 |
| US20200372297A1 (en) * | 2019-05-23 | 2020-11-26 | Robert Bosch Gmbh | Method for training a generative adversarial network (gan), generative adversarial network, computer program, machine-readable memory medium, and device |
-
2021
- 2021-07-20 CN CN202110818889.4A patent/CN113673347A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200372297A1 (en) * | 2019-05-23 | 2020-11-26 | Robert Bosch Gmbh | Method for training a generative adversarial network (gan), generative adversarial network, computer program, machine-readable memory medium, and device |
| CN110837850A (zh) * | 2019-10-23 | 2020-02-25 | 浙江大学 | 一种基于对抗学习损失函数的无监督域适应方法 |
| CN111428648A (zh) * | 2020-03-26 | 2020-07-17 | 五邑大学 | 一种脑电信号生成网络、方法及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117407698A (zh) * | 2023-12-14 | 2024-01-16 | 青岛明思为科技有限公司 | 一种混合距离引导的领域自适应故障诊断方法 |
| CN117407698B (zh) * | 2023-12-14 | 2024-03-08 | 青岛明思为科技有限公司 | 一种混合距离引导的领域自适应故障诊断方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563428B (zh) | 基于生成对抗网络的极化sar图像分类方法 | |
| CN109726751B (zh) | 基于深度卷积神经网络识别脑电成像图的方法 | |
| CN105224951B (zh) | 一种车型分类方法及分类装置 | |
| Subbiah Parvathy et al. | A novel approach in multimodality medical image fusion using optimal shearlet and deep learning | |
| CN111815562B (zh) | 一种U-Net与自适应PCNN相结合的视网膜血管分割方法 | |
| CN109359597B (zh) | 基于多频融合深度学习的雷达步态识别方法 | |
| CN112580518A (zh) | 基于原型聚类域适应算法的跨被试eeg认知状态识别方法 | |
| Wayalun et al. | Images Enhancement of G-band Chromosome Using histogram equalization, OTSU thresholding, morphological dilation and flood fill techniques | |
| CN112749635A (zh) | 基于原型聚类域适应算法的跨被试eeg认知状态识别方法 | |
| CN113673347A (zh) | 一种基于Wasserstein距离的表征相似对抗网络 | |
| Ganeshbabu | Glaucoma image classification using discrete orthogonal stockwell transform | |
| Asyhar et al. | Implementation LSTM Algorithm for Cervical Cancer using Colposcopy Data | |
| Yang et al. | An efficient automatic SAR image segmentation framework in AIS using kernel clustering index and histogram statistics | |
| Sarangi et al. | Mammogram mass segmentation and detection using Legendre neural network-based optimal threshold | |
| CN113191206B (zh) | 基于黎曼特征迁移的脑磁图信号分类方法、装置及介质 | |
| Abbasi et al. | Automatic detection of acute lymphoblastic leukaemia based on extending the multifractal features | |
| CN106295478A (zh) | 一种图像特征提取方法和装置 | |
| Liu et al. | Analyze EEG signals with convolutional neural network based on power spectrum feature selection | |
| Liu et al. | Fuzzy c-means clustering with bilateral filtering for medical image segmentation | |
| CN108846407B (zh) | 基于独立成分高序不确定脑网络的磁共振影像分类方法 | |
| Kundu et al. | Optimal Machine Learning Based Automated Malaria Parasite Detection and Classification Model Using Blood Smear Images. | |
| Dubey et al. | New approach on structural feature extraction for character recognition | |
| Hamoodi et al. | Identification of biometrics based on a classical mathematical methods in forensic medicine | |
| Lin et al. | Fuzzydcnn: Incorporating fuzzy integral layers to deep convolutional neural networks for image segmentation | |
| Nandhini et al. | Classification of ECG images using probabilistic neural network based on statistical feature analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |