CN110750665A - 基于熵最小化的开集域适应方法及系统 - Google Patents

基于熵最小化的开集域适应方法及系统 Download PDF

Info

Publication number
CN110750665A
CN110750665A CN201910967208.3A CN201910967208A CN110750665A CN 110750665 A CN110750665 A CN 110750665A CN 201910967208 A CN201910967208 A CN 201910967208A CN 110750665 A CN110750665 A CN 110750665A
Authority
CN
China
Prior art keywords
domain
target
loss function
network
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910967208.3A
Other languages
English (en)
Inventor
吴晓富
程磊
张索非
颜俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910967208.3A priority Critical patent/CN110750665A/zh
Publication of CN110750665A publication Critical patent/CN110750665A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于熵最小化的开集域适应方法，包括：构建开集域适应网络并初始化网络超参数；将源域与目标域图片输入开集域适应网络并通过网络特征提取层获得图片深度特征，然后将特征图通过softmax层得到各类别预测概率向量；使用已知类别预测概率向量及图片标签计算熵损失函数以正确识别共同类别，并在此基础上，使用未知类别预测概率值计算二元交叉熵及二元多样性损失函数以正确分类未知类，反向传播梯度来更新网络参数至损失函数值最小，停止训练网络；保存网络模型以及训练结果，将目标域数据集引入该网络模型，得到最后的目标域标签，本发明实现了最高的分类精度。

Description

基于熵最小化的开集域适应方法及系统
技术领域
本发明涉及一种神经网络学习方法，具体的说是一种基于熵最小化的开集域适应方法及系统。
背景技术
在过去的几年中，域适应已经引起越来越多的关注，因为大规模数据集的大规模标记通常代价高昂。通过域自适应，降低目标域与源域间差异的影响，其中完全标记的数据集(源域)可用。
大多数域自适应方法都假设源域和目标域共享其样本的类别，然而，在许多实际情况下，这些方法通常不可行，其中未知样本可能出现在目标域中。因此引入了开集域适应的概念，其明显不同于封闭域适应的传统场景的概念。开放集域适应的目标是将未知目标样本分类为未知，并将已知目标样本分类为正确的已知类别。
近年来有研究考虑使用一些未知的源样本来学习将未知目标样本与已知目标样本分离，并且制定了用于从源域转移到目标域的分配-变换-迭代(ATI)过程。但对于更具挑战性的开集域适应中，不需要任何未知的源样本，来实现正确分类目标领域的已知样本与未知样本。
发明内容
本发明的目的是提供一种基于熵最小化的开集域适应方法，解决无监督开集域适应难题。
本发明的目的是这样实现的：一种基于熵最小化的开集域适应方法，包括如下步骤：
步骤a)根据开集域适应需要正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的任务，构建开集域适应网络并初始化网络超参数；
步骤b)将源域与目标域图片输入开集域适应网络并通过网络特征提取层获得图片深度特征，然后将特征图通过softmax层得到各类别预测概率向量；使用已知类别预测概率向量及图片标签计算熵损失函数以正确识别共同类别，并在此基础上，使用未知类别预测概率值计算二元交叉熵及二元多样性损失函数以正确分类未知类；反向传播梯度来更新网络参数至损失函数值最小，停止训练网络；
步骤c)保存网络模型以及训练结果，将目标域数据集引入该网络模型，得到最后的目标域标签。
作为本发明的进一步限定，还包括：
基于特征提取器与分类器，构建所述目标神经网络；
基于预设的损失函数，对所述目标神经网络进行学习。
作为本发明的进一步限定，所述预设的损失函数包括源领域样本集分类错误率损失函数、目标领域样本集分类结果的条件熵损失函数、目标领域样本集二元交叉熵损失函数、目标领域样本集分类结果类别多样性损失函数以及目标领域样本集分类结果二元多样性损失函数，所述基于预设的损失函数，对所述目标神经网络进行学习，包括：
基于预设的损失函数，构建所述目标神经网络的目标函数，以对所述目标神经网络进行学习，其中，所述特征提取器和分类器的学习目标为使上述损失函数最小；
当所述目标神经网络收敛或达到预设的学习次数后，结束对所述目标神经网络的学习。
作为本发明的进一步限定，所述基于预设的损失函数，构建所述目标神经网络的目标函数，以对所述目标神经网络进行学习，包括：
基于所述预设的损失函数包括源领域样本集分类错误率损失函数、目标领域样本集分类结果的条件熵损失函数、目标领域样本集二元交叉熵损失函数、目标领域样本集分类结果类别多样性损失函数以及目标领域样本集分类结果二元多样性损失函数，联合构建所述目标神经网络的目标函数；
利用反向传播算法对所述目标函数进行学习，以更新所述特征提取器与所述分类器。
作为本发明的进一步限定，所述目标领域样本集分类结果类别多样性损失函数为：
Figure BDA0002230879240000031
其中T表示目标领域样本集任一batch样本，θ表示网络参数，Ld(θ,T)表示所述目标领域样本集batch分类结果类别多样性损失函数，
Figure BDA0002230879240000032
表示目标领域样本集batch分类结果的类别分布。
对比闭集域适应任务中源域与目标域类别相同，开集域适应面向更复杂的情况，即目标域中会出现源域没有的类别。为实现正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的目标，提出目标领域样本集二元交叉熵损失函数为：
当目标域中未知类别比重过大时，会出现将目标域所有类别归为未知类的情况，为避免这种问题，提出一种目标领域样本集分类结果二元多样性损失函数为：
Figure BDA0002230879240000034
其中，θ表示网络参数，T表示目标领域样本集任一batch样本，
Figure BDA0002230879240000035
表示目标领域样本集中样本被推断为未知类别的分布。
一种基于熵最小化的开集域适应系统，包括：
网络构造模块，用以根据开集域适应需要正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的任务，构建开集域适应网络并初始化网络超参数；
训练模块，用以将源域与目标域图片输入开集域适应网络并通过网络特征提取层获得图片深度特征，然后将特征图通过softmax层得到各类别预测概率向量；使用已知类别预测概率向量及图片标签计算熵损失函数以正确识别共同类别，并在此基础上，使用未知类别预测概率值计算二元交叉熵及二元多样性损失函数以正确分类未知类；反向传播梯度来更新网络参数至损失函数值最小，停止训练网络；
图像分类模块，用以保存网络模型以及训练结果，将目标域数据集引入该网络模型，得到最后的目标域标签。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明提出了一种端到端的网络框架，训练稳定，易于收敛。本发明提出使用目标领域样本集分类结果类别多样性损失函数提高了网络鲁棒性，并针对开集域适应中源域与目标域类别不匹配问题，提出目标领域未知类别分类二元多样性损失函数，通过迫使分类器输出未知类别的概率为0.5来积极在训练过程中使用目标领域未知样本，提高了分类准确率。
附图说明
图1是本发明迁移学习方法的具体实施例流程图。
图2是本发明迁移学习方法具体实施例网络结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1是本发明实施例提供的一种基于熵最小化的开集域适应方法流程图，如图1所示，所述方法包括：
步骤1，根据开集域适应需要正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的任务，构建开集域适应网络并初始化网络超参数；
基于特征提取器与分类器，构建所述目标神经网络；
可以理解的是，本发明实施例提供的目标神经网络是由特征提取器、分类器两部分构成，所述特征提取器用于提取输入样本集的特征，所述分类器用于对输入样本集的标签样本进行预测分类。
具体的，以在Office-31和Dense Cross-dataset Benchmark数据集上的开集域适应任务为例，使用图2所示的网络结构作为开集域适应网络。AlexNet模型构成的子网络即作为本发明实施例目标神经网络的特征提取器，特征提取器后接两个全连接层FC-1和FC-2，仅在全连接层FC-1后面有Batch-normalization以及ReLU激活层，在两个全连接层之间还使用了特征规范化层以及比例乘法，最后接一个softmax层作为分类器。
进一步的，初始化网络超参数。
具体的，对于所有预训练网络结构以及域适应任务，我们设置初始学习率η0为0.005，牛顿动量为0.9，batch大小为32。在训练过程中，学习率ηp动态变化如下：
Figure BDA0002230879240000051
其中参数p随着训练进行线性地从0增加到1，参数μ＝10，ν＝0.75。
步骤2，将源域与目标域图片输入开集域适应网络并通过网络特征提取层获得图片深度特征，然后将特征图通过softmax层得到各类别预测概率向量；使用已知类别预测概率向量及图片标签计算熵损失函数以正确识别共同类别，并在此基础上，使用未知类别预测概率值计算二元交叉熵及二元多样性损失函数以正确分类未知类；反向传播梯度来更新网络参数至损失函数值最小，停止训练网络；
基于预设的损失函数，对所述目标神经网络进行学习。
在上述实施例的基础上，所述预设的损失函数包括源领域样本集分类错误率损失函数、目标领域样本集分类结果的条件熵损失函数、目标领域样本集二元交叉熵损失函数、目标领域样本集分类结果类别多样性损失函数以及目标领域样本集分类结果二元多样性损失函数，所述基于预设的损失函数，对所述目标神经网络进行学习，包括：
基于预设的损失函数，构建所述目标神经网络的目标函数，以对所述目标神经网络进行学习，其中，所述特征提取器和分类器的学习目标为使上述损失函数最小；
当所述目标神经网络收敛或达到预设的学习次数后，结束对所述目标神经网络的学习。
根据上述损失函数，即可构建出本发明实施例提供的目标神经网络的目标函数以及优化目标：
Figure BDA0002230879240000061
其中θ表示网络参数，S表示源领域样本集任一batch样本，T表示目标领域样本集任一batch样本；Ls(·)表示源领域样本集分类错误率损失函数，Le(·)表示目标领域样本集分类结果的条件熵损失函数，Ld(·)表示目标领域样本集分类结果类别多样性损失函数，Lu(·)表示目标领域样本集二元交叉熵损失函数，Lb(·)表示目标领域样本集分类结果二元多样性损失函数。λe、λd、λu、λb是可调整的权衡参数。
可以理解的是，学习过程为一个不断更新参数的过程，当目标神经网络收敛或者达到预设的学习次数后，学习停止。
在上述实施例的基础上，所述基于预设的损失函数，构建所述目标神经网络的目标函数，利用反向传播算法对所述目标函数进行学习，以更新所述特征提取器与所述分类器。
具体的，所述源领域样本集的分类错误率损失函数为:
Figure BDA0002230879240000071
其中，θ表示网络参数，S表示源领域样本集任一batch样本，Ls(·)表示源领域样本集分类错误率损失函数，|S|表示源领域batch S的基数，l(.)表示交叉熵损失函数，y表示源领域batch样本标签，fθ(x)表示目标神经网络的函数模型。
所述目标领域分类结果的条件熵损失函数为：
其中，θ表示网络参数，T表示目标领域样本集任一bach样本，Le(·)表示目标领域样本集分类结果的条件熵损失函数，|T|表示目标领域batch T的基数，fθ(.)表示目标神经网络的函数模型，fθ(xt)表示分类器对样本xt的预测概率。
可以理解的是，在神经网络总的目标函数中添加对目标领域分类结果的条件熵损失函数，是为了进一步提高神经网络在缺乏标签的目标领域的分类准确率。
所述目标领域样本集分类结果类别多样性损失函数为：
Figure BDA0002230879240000073
其中，T表示目标领域样本集任一batch样本，θ表示网络参数，Ld(θ,T)表示所述目标领域样本集batch分类结果类别多样性损失函数，
Figure BDA0002230879240000074
表示目标领域样本集batch分类结果的类别分布。
进一步的，
Figure BDA0002230879240000075
表示如下：
Figure BDA0002230879240000076
进一步的，z表示如下：
其中，P(cls(xt)＝K)表示分类器对样本属于第K类的预测概率。
对比闭集域适应任务中源域与目标域类别相同，开集域适应面向更复杂的情况，即目标域中会出现源域没有的类别。为实现正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的目标，提出目标领域样本集二元交叉熵损失函数为：
Figure BDA0002230879240000082
当目标域中未知类别比重过大时，会出现将目标域所有类别归为未知类的情况，为避免这种问题，提出一种目标领域样本集分类结果二元多样性损失函数为：
Figure BDA0002230879240000083
其中，θ表示网络参数，T表示目标领域样本集任一batch样本，
Figure BDA0002230879240000084
表示目标领域样本集中样本被推断为未知类别的分布。
进一步的，
Figure BDA0002230879240000085
表示如下：
Figure BDA0002230879240000086
其中，P(cls(xt)＝K+1)表示分类器对样本属于未知类别的预测概率。
可以理解的是，本发明实施例实现了一种端到端训练方式，通过迫使分类器输出未知类别的概率为0.5来积极在训练过程中使用目标领域未知样本，达到正确将未知目标样本分为未知类、已知目标样本分为已知类别的目标。
进一步的，分别计算出源领域样本集的分类错误率损失函数Ls(·)、目标领域样本集分类结果的条件熵损失函数Le(·)、目标领域样本集分类结果类别多样性损失函数Ld(·)、目标领域样本集二元交叉熵损失函数Lu(·)以及目标领域样本集分类结果二元多样性损失函数Lb(·)。然后使用基于mini-batch的随机梯度下降法进行整个网络的训练，根据误差反传原则完成网络参数的更新，直至模型收敛或达到最大迭代次数时停止训练：
Figure BDA0002230879240000091
其中，μ表示学习率，λe、λd、λu、λb是可调整的权衡参数。
步骤3，保存网络模型以及训练结果，将目标域数据集引入该网络模型，得到最后的目标域标签。
经过上述学习过程后，能够得到泛化性能较好的深度神经网络，保存网络最终模型以及训练结果后，将未标注的目标领域样本集引入该网络模型，得到较为准确的目标领域样本集标签。训练完成的网络可以用于预测目标领域无标记的样本，代替人工以较高的准确率标记未知数据。
本发明实施例还提供一种基于开集域适应的图像分类系统，包括如下模块：
网络构造模块，根据开集域适应需要正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的任务，构建开集域适应网络并初始化网络超参数；
训练模块，提供了OSDA算法，实现了一种端到端的训练方式，提出使用目标领域样本集分类结果类别多样性损失函数提高网络鲁棒性的基础上，根据开集域适应的任务要求，进一步提出目标领域未知类别分类二元多样性损失函数，通过迫使分类器输出未知类别的概率为0.5来积极在训练过程中使用目标领域未知样本，达到正确将未知目标样本分为未知类、已知目标样本分为已知类别的目标；
图像分类模块，保存网络模型以及训练结果，将目标领域数据集引入该网络模型，得到最后的目标领域标签。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于熵最小化的开集域适应方法，其特征在于，包括如下步骤：
步骤a)根据开集域适应需要正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的任务，构建开集域适应网络并初始化网络超参数；
步骤b)将源域与目标域图片输入开集域适应网络并通过网络特征提取层获得图片深度特征，然后将特征图通过softmax层得到各类别预测概率向量；使用已知类别预测概率向量及图片标签计算熵损失函数以正确识别共同类别，并在此基础上，使用未知类别预测概率值计算二元交叉熵及二元多样性损失函数以正确分类未知类；反向传播梯度来更新网络参数至损失函数值最小，停止训练网络；
步骤c)保存网络模型以及训练结果，将目标域数据集引入该网络模型，得到最后的目标域标签。
2.根据权利要求1所述的基于熵最小化的开集域适应方法，其特征在于，还包括：
基于特征提取器与分类器，构建所述目标神经网络；
基于预设的损失函数，对所述目标神经网络进行学习。
3.根据权利要求2所述的基于熵最小化的开集域适应方法，其特征在于，所述预设的损失函数包括源领域样本集分类错误率损失函数、目标领域样本集分类结果的条件熵损失函数、目标领域样本集二元交叉熵损失函数、目标领域样本集分类结果类别多样性损失函数以及目标领域样本集分类结果二元多样性损失函数，所述基于预设的损失函数，对所述目标神经网络进行学习，包括：
基于预设的损失函数，构建所述目标神经网络的目标函数，以对所述目标神经网络进行学习，其中，所述特征提取器和分类器的学习目标为使上述损失函数最小；
当所述目标神经网络损失函数值收敛或达到预设的学习次数后，结束对所述目标神经网络的学习。
4.根据权利要求3所述的基于熵最小化的开集域适应方法，其特征在于，所述基于预设的损失函数，构建所述目标神经网络的目标函数，以对所述目标神经网络进行学习，包括：
基于所述预设的损失函数包括源领域样本集分类错误率损失函数、目标领域样本集分类结果的条件熵损失函数、目标领域样本集二元交叉熵损失函数、目标领域样本集分类结果类别多样性损失函数以及目标领域样本集分类结果二元多样性损失函数，联合构建所述目标神经网络的目标函数；
利用反向传播算法对所述目标函数进行学习，以更新所述特征提取器与所述分类器。
5.根据权利要求4所述的基于熵最小化的开集域适应方法，构造所述目标领域样本集分类结果类别多样性损失函数为：
Figure FDA0002230879230000021
其中T表示目标领域样本集任一batch样本，θ表示网络参数，Ld(θ,T)表示所述目标领域样本集batch分类结果类别多样性损失函数，
Figure FDA0002230879230000022
表示目标领域样本集batch分类结果的类别分布。
对比闭集域适应任务中源域与目标域类别相同，开集域适应面向更复杂的情况，即目标域中会出现源域没有的类别。为实现正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的目标，提出目标领域样本集二元交叉熵损失函数为：
当目标域中未知类别比重过大时，会出现将目标域所有类别归为未知类的情况，为避免这种问题，提出一种目标领域样本集分类结果二元多样性损失函数为：
Figure FDA0002230879230000024
其中，θ表示网络参数，T表示目标领域样本集任一batch样本，
Figure FDA0002230879230000025
表示目标领域样本集中样本被推断为未知类别的分布。
6.一种基于熵最小化的开集域适应迁移学习系统，其特征在于，包括：
网络构造模块，用以根据开集域适应需要正确识别源域与目标域共同类别以及将目标域多余类别归为未知类的任务，构建开集域适应网络并初始化网络超参数；
训练模块，用以将源域与目标域图片输入开集域适应网络并通过网络特征提取层获得图片深度特征，然后将特征图通过softmax层得到各类别预测概率向量；使用已知类别预测概率向量及图片标签计算熵损失函数以正确识别共同类别，并在此基础上，使用未知类别预测概率值计算二元交叉熵及二元多样性损失函数以正确分类未知类；反向传播梯度来更新网络参数至损失函数值最小，停止训练网络；
图像分类模块，用以保存网络模型以及训练结果，将目标域数据集引入该网络模型，得到最后的目标域标签。
CN201910967208.3A 2019-10-12 2019-10-12 基于熵最小化的开集域适应方法及系统 Withdrawn CN110750665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910967208.3A CN110750665A (zh) 2019-10-12 2019-10-12 基于熵最小化的开集域适应方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967208.3A CN110750665A (zh) 2019-10-12 2019-10-12 基于熵最小化的开集域适应方法及系统

Publications (1)

Publication Number Publication Date
CN110750665A true CN110750665A (zh) 2020-02-04

Family

ID=69278062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910967208.3A Withdrawn CN110750665A (zh) 2019-10-12 2019-10-12 基于熵最小化的开集域适应方法及系统

Country Status (1)

Country Link
CN (1) CN110750665A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111339886A (zh) * 2020-02-19 2020-06-26 中山大学 一种基于相似性损失的行为识别方法
CN111461025A (zh) * 2020-04-02 2020-07-28 同济大学 一种自主进化的零样本学习的信号识别方法
CN111507396A (zh) * 2020-04-15 2020-08-07 广州大学 缓解神经网络对未知类样本产生错误分类的方法及装置
CN111584029A (zh) * 2020-04-30 2020-08-25 天津大学 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN111834004A (zh) * 2020-05-25 2020-10-27 杭州深睿博联科技有限公司 一种基于中心化空间学习的未知疾病类别识别方法及装置
CN112200123A (zh) * 2020-10-24 2021-01-08 中国人民解放军国防科技大学 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN112633285A (zh) * 2020-12-23 2021-04-09 平安科技（深圳）有限公司 领域适应方法、装置、电子设备及存储介质
CN112784872A (zh) * 2020-12-25 2021-05-11 北京航空航天大学 一种基于开放集联合迁移学习的跨工况故障诊断方法
CN112784879A (zh) * 2020-12-31 2021-05-11 前线智能科技(南京)有限公司 一种基于小样本域自适应的医学影像分割或分类方法
CN112836753A (zh) * 2021-02-05 2021-05-25 北京嘀嘀无限科技发展有限公司 用于域自适应学习的方法、装置、设备、介质和产品
CN113011487A (zh) * 2021-03-16 2021-06-22 华南理工大学 一种基于联合学习与知识迁移的开放集图像分类方法
CN113076994A (zh) * 2021-03-31 2021-07-06 南京邮电大学 一种开集域自适应图像分类方法及系统
CN113221848A (zh) * 2021-06-09 2021-08-06 中国人民解放军国防科技大学 基于多分类器域对抗网络的高光谱开放集领域自适应方法
CN113392967A (zh) * 2020-03-11 2021-09-14 富士通株式会社 领域对抗神经网络的训练方法
CN113420775A (zh) * 2021-03-31 2021-09-21 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113469265A (zh) * 2021-07-14 2021-10-01 浙江大华技术股份有限公司 数据类别属性的确定方法及装置、存储介质、电子装置
CN113537315A (zh) * 2021-06-30 2021-10-22 电子科技大学 一种基于聚类信息熵的易区分图像选择方法
CN114332568A (zh) * 2022-03-16 2022-04-12 中国科学技术大学 域适应图像分类网络的训练方法、系统、设备及存储介质
CN115604025A (zh) * 2022-11-22 2023-01-13 武汉纺织大学（Cn） 一种基于pli4da的网络入侵检测方法
CN116910571A (zh) * 2023-09-13 2023-10-20 南京大数据集团有限公司 一种基于原型对比学习的开集域适应方法及系统

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339886A (zh) * 2020-02-19 2020-06-26 中山大学 一种基于相似性损失的行为识别方法
CN111339886B (zh) * 2020-02-19 2024-01-09 中山大学 一种基于相似性损失的行为识别方法
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111275175B (zh) * 2020-02-20 2024-02-02 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN113392967A (zh) * 2020-03-11 2021-09-14 富士通株式会社 领域对抗神经网络的训练方法
CN111461025A (zh) * 2020-04-02 2020-07-28 同济大学 一种自主进化的零样本学习的信号识别方法
CN111461025B (zh) * 2020-04-02 2022-07-05 同济大学 一种自主进化的零样本学习的信号识别方法
CN111507396A (zh) * 2020-04-15 2020-08-07 广州大学 缓解神经网络对未知类样本产生错误分类的方法及装置
CN111507396B (zh) * 2020-04-15 2023-08-08 广州大学 缓解神经网络对未知类样本产生错误分类的方法及装置
CN111584029B (zh) * 2020-04-30 2023-04-18 天津大学 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN111584029A (zh) * 2020-04-30 2020-08-25 天津大学 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN111834004A (zh) * 2020-05-25 2020-10-27 杭州深睿博联科技有限公司 一种基于中心化空间学习的未知疾病类别识别方法及装置
CN112200123A (zh) * 2020-10-24 2021-01-08 中国人民解放军国防科技大学 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN112200123B (zh) * 2020-10-24 2022-04-05 中国人民解放军国防科技大学 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN112633285A (zh) * 2020-12-23 2021-04-09 平安科技（深圳）有限公司 领域适应方法、装置、电子设备及存储介质
CN112784872A (zh) * 2020-12-25 2021-05-11 北京航空航天大学 一种基于开放集联合迁移学习的跨工况故障诊断方法
CN112784872B (zh) * 2020-12-25 2023-06-30 北京航空航天大学 一种基于开放集联合迁移学习的跨工况故障诊断方法
CN112784879A (zh) * 2020-12-31 2021-05-11 前线智能科技(南京)有限公司 一种基于小样本域自适应的医学影像分割或分类方法
CN112836753B (zh) * 2021-02-05 2024-06-18 北京嘀嘀无限科技发展有限公司 用于域自适应学习的方法、装置、设备、介质和产品
WO2022166578A1 (zh) * 2021-02-05 2022-08-11 北京嘀嘀无限科技发展有限公司 用于域自适应学习的方法、装置、设备、介质和产品
CN112836753A (zh) * 2021-02-05 2021-05-25 北京嘀嘀无限科技发展有限公司 用于域自适应学习的方法、装置、设备、介质和产品
CN113011487A (zh) * 2021-03-16 2021-06-22 华南理工大学 一种基于联合学习与知识迁移的开放集图像分类方法
CN113420775A (zh) * 2021-03-31 2021-09-21 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113420775B (zh) * 2021-03-31 2024-03-29 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113076994B (zh) * 2021-03-31 2022-08-05 南京邮电大学 一种开集域自适应图像分类方法及系统
CN113076994A (zh) * 2021-03-31 2021-07-06 南京邮电大学 一种开集域自适应图像分类方法及系统
CN113221848A (zh) * 2021-06-09 2021-08-06 中国人民解放军国防科技大学 基于多分类器域对抗网络的高光谱开放集领域自适应方法
CN113537315B (zh) * 2021-06-30 2023-06-06 电子科技大学 一种基于聚类信息熵的易区分图像选择方法
CN113537315A (zh) * 2021-06-30 2021-10-22 电子科技大学 一种基于聚类信息熵的易区分图像选择方法
CN113469265A (zh) * 2021-07-14 2021-10-01 浙江大华技术股份有限公司 数据类别属性的确定方法及装置、存储介质、电子装置
CN114332568A (zh) * 2022-03-16 2022-04-12 中国科学技术大学 域适应图像分类网络的训练方法、系统、设备及存储介质
CN115604025A (zh) * 2022-11-22 2023-01-13 武汉纺织大学（Cn） 一种基于pli4da的网络入侵检测方法
CN116910571A (zh) * 2023-09-13 2023-10-20 南京大数据集团有限公司 一种基于原型对比学习的开集域适应方法及系统
CN116910571B (zh) * 2023-09-13 2023-12-08 南京大数据集团有限公司 一种基于原型对比学习的开集域适应方法及系统

Similar Documents

Publication Publication Date Title
CN110750665A (zh) 基于熵最小化的开集域适应方法及系统
Balaji et al. Metareg: Towards domain generalization using meta-regularization
CN110580496A (zh) 一种基于熵最小化的深度迁移学习系统及方法
US20200097818A1 (en) Method and system for training binary quantized weight and activation function for deep neural networks
US11049011B2 (en) Neural network classifier
Pu et al. VAE learning via Stein variational gradient descent
CN110443372B (zh) 一种基于熵最小化的迁移学习方法及系统
CN110110323B (zh) 一种文本情感分类方法和装置、计算机可读存储介质
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN114090780B (zh) 一种基于提示学习的快速图片分类方法
Kye et al. Meta-learned confidence for few-shot learning
JP2020177647A (ja) 画像処理装置及びその訓練装置と訓練方法
CN111400494B (zh) 一种基于GCN-Attention的情感分析方法
WO2021208455A1 (zh) 一种面向家居口语环境的神经网络语音识别方法及系统
CN114170461B (zh) 基于特征空间重整化的师生架构含噪声标签图像分类方法
CN113095229B (zh) 一种无监督域自适应行人重识别系统及方法
CN111753995A (zh) 一种基于梯度提升树的局部可解释方法
CN114841151A (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
US20230076290A1 (en) Rounding mechanisms for post-training quantization
Cheng et al. Multi-scale and discriminative part detectors based features for multi-label image classification.
CN111259673A (zh) 一种基于反馈序列多任务学习的法律判决预测方法及系统
CN114357166A (zh) 一种基于深度学习的文本分类方法
Yang et al. NAM net: meta-network with normalization-based attention for few-shot learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wu Xiaofu

Inventor after: Yang Peijian

Inventor after: Cheng Lei

Inventor after: Zhang Suofei

Inventor after: Yan Jun

Inventor before: Wu Xiaofu

Inventor before: Cheng Lei

Inventor before: Zhang Suofei

Inventor before: Yan Jun

CB03 Change of inventor or designer information
WW01 Invention patent application withdrawn after publication

Application publication date: 20200204

WW01 Invention patent application withdrawn after publication