CN115456173A - 一种通用化的人工神经网络无监督本地学习方法、系统及应用 - Google Patents

一种通用化的人工神经网络无监督本地学习方法、系统及应用 Download PDF

Info

Publication number
CN115456173A
CN115456173A CN202211165236.1A CN202211165236A CN115456173A CN 115456173 A CN115456173 A CN 115456173A CN 202211165236 A CN202211165236 A CN 202211165236A CN 115456173 A CN115456173 A CN 115456173A
Authority
CN
China
Prior art keywords
layer
neural network
artificial neural
unsupervised
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211165236.1A
Other languages
English (en)
Inventor
周洪超
黄卫平
贲晛烨
杨刚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202211165236.1A priority Critical patent/CN115456173A/zh
Publication of CN115456173A publication Critical patent/CN115456173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种通用化的人工神经网络无监督本地学习方法、系统及应用，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练。本发明提出的神经网络学习方法是无监督的,无需人工标注标签，可以从无标签数据中高效提取特征。本发明学习方法提取的特征是通用的、可以作为各类学习任务的输入有效提升各类学习任务的准确率。本发明学习方法训练的神经网络可以作为各类任务的预训练模型提升各类任务准确性。本发明学习方法不同于广泛使用的反向传播方法，更容易实现基于硬件的人工神经网络的片上训练，支撑光AI芯片等技术的发展。

Description

一种通用化的人工神经网络无监督本地学习方法、系统及 应用
技术领域
本发明涉及一种通用化的人工神经网络无监督本地学习方法、系统及应用，属于人工智能技术领域。
背景技术
目前，人工神经网络主要依赖于反向传播技术进行网络的训练和学习，并且在视觉、自然语言处理等领域取得了巨大成功。反向传播技术会通过反向的方式计算神经网络中损失函数对各参数(神经元连接权重)的梯度，通过随机梯度下降等优化方法修改参数，实现损失函数的最小化。但是，反向传播技术完全不同于人脑的工作机制，它很难从少量样本数据中获得足够的特征，导致它在各类图像、语音、文本、时序的识别、检测、分割、预测等学习任务上需要大量的训练数据，在小样本的情况下准确率较低，这限制了人工智能技术在诸多例如工业场景中的应用。此外，基于反向传播训练的神经网络系统对于对抗攻击也存在一定的安全问题，例如在给定的人脸图像上加入一定的对抗噪音可以很容易的让机器识别成其他的人。探索不同于反向传播的实用化的神经网络学习技术和系统是人工智能领域的核心问题之一。
发明内容
本发明针对反向传播技术的一系列局限性，提出了一种大脑启发的能够实用化的人工神经网络学习方法和系统，它建立了一个简单的学习规则能够基于输入数据通过无监督的方式对神经网络的参数进行调整和学习，并能够广泛的运用于各类人工智能应用场景，包括但是不限于图像、语音、文本、时序的分类、识别、生成、检测、分割、预测等任务，提高了学习任务的准确率。
本发明技术方案，可以从大量无标签数据中提取无监督特征或构建通用的无监督预训练模型，提升当前反向传播技术下的各类人工智能学习任务的准确率。本发明技术方案，也可以同时将数据和标签作为神经网络的输入进行联合学习，通过无监督的方式提取数据和标签的关联特征，建立新的人工神经网络训练和推理模式。相比于当前主流的反向传播技术，本发明技术方案能够从少量的样本数据中学习数据中的各种特征和关联性，对对抗攻击和外部干扰具有更好的鲁棒性，为通用任务人工智能的发展打开一个新的窗口。
本发明提出了一种完全不同于反向传播的神经网络训练方法，它是前向训练的、完全本地的、无监督的，可以从很少的样本中获得大量本地化的特征信息，而且相比于反向传播方法表现出更好的安全性。基于这种无监督的学习方法，可以从大量无标签数据中提取特征或构建通用的无监督预训练模型，提升各类学习任务的准确率。
本发明还提供了上述基于人工神经网络无监督本地学习方法的应用以及一种基于人工神经网络无监督本地学习方法的分类识别系统。
本发明的技术方案为：
一种通用化的人工神经网络无监督本地学习方法，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练，每层的参数w使用一个矩阵来表示，该矩阵描述了两层神经元之间的连接权重；给定了某一层的输入数据x，该层的输出为f(wTx)，f为非线性激活函数，每一层神经元的训练方法如式(I)所示：
△wij＝ηyj(xi-∑k ykwik) (I)
式(I)中，wij是指人工神经网络中下一层的神经元i和本层神经元j之间的连接权重，△wij是该连接权重的变化量，η是学习率，xi是训练时来自于神经元i的输入，yj＝∑jxiwij是神经元j的总加权输入，∑k ykwik是指来自于反馈的衰减项，k遍历了本层的所有神经元；
在训练某一层神经元的时候，给定一个训练样本，通过前馈的方式计算出本层的输入x和y＝wTx，并根据式(I)计算出本层参数的修改量△wij，，最后将wij替换成wij+△wij。
式(I)的yj也可以表示成神经元j的输出，这时候yj＝f(∑j xiwij),其中f(.)是非线性激活函数，例如RELU函数。在这种情况下，式(I)描述的本地学习方法依然可以有效提取无监督特征。
根据本发明优选的，所述式(I)用矩阵和向量的形式表示，如式(II)所示：
△w＝ηy(x-wy)T (II)
式(II)中w是本层的参数即连接权重，x是本层的输入向量，y＝wTx是总加权输入，(x-wy)T是x-wy的转置。
根据本发明优选的，所述式(I)拓展成更普遍的形式，如式(III)所示：
△w＝ηf(y)(x–g(w,y))T (III)
式(III)中，w是本层的参数即连接权重，x是本层的输入向量，y＝wTx是总加权输入，f(y)是y的一个函数，g(w,y)是w和y的一个函数。
根据本发明优选的，所述人工神经网络中每一层可以是但是不限于全连接层、本地连接层或卷积层。在卷积层的训练中，计算不同位置的△wij的平均值，并根据该平均值来更新wij。
根据本发明优选的，无监督本地学习方法自底向上的训练任意多层的神经网络；每一层都从之前一层的数据中提取主要特征，并通过非激活函数对数据进行变换；训练后的人工神经网络实现非监督的特征提取，越高的特征层表示越复杂的特征。
根据本发明优选的，人工神经网络中的非激活函数采用但是不限于平方函数，每一层的输出特征可以进行层归一化处理。
根据本发明优选的，人工神经网络可以每一层逐层训练或所有层联合一起训练；如果每一层逐层训练，从最底层开始，依次向上逐层训练；如果所有层联合一起训练，在训练过程中同时学习调整所有层的参数。
一种基于人工神经网络无监督本地学习方法的应用，包括用于分类识别、工业检测、医学影像诊断、图像分割、时序预测、文本翻译、语音识别等。
一种基于人工神经网络无监督本地学习方法的分类识别系统，包括：
无监督预训练模块，被配置为：通过人工神经网络无监督本地学习方法基于无标签数据训练构建好的人工神经网络；
分类识别模块，被配置为：将无监督预训练模块的输出作为输入，通过反向传播方法训练的面向分类识别任务的人工神经神经网络，输出分类识别结果；
微调模块，被配置为：通过反向传播的方法对面向分类识别任务的人工神经神经网络的各层参数进行微调，提高分类识别性能。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现通用化的人工神经网络无监督本地学习方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现通用化的人工神经网络无监督本地学习方法的步骤。
本发明的有益效果为：
1.本发明提出的神经网络学习方法是无监督的,无需人工标注标签，可以从无标签数据中高效提取特征。
2.本发明学习方法提取的特征是通用的、可以作为各类学习任务的输入有效提升各类学习任务的准确率。
3.本发明学习方法训练的神经网络可以作为各类任务的预训练模型提升各类任务准确性。
4.本发明学习方法不同于广泛使用的反向传播方法，更容易实现基于硬件的人工神经网络的片上训练，支撑光AI芯片等技术的发展。
附图说明
图1为多层神经网络中每一层通过本地的学习规则进行训练调整连接权重的示意图；
图2为无监督本地学习方法训练人工神经网络的示意图；
图3为基于无监督预训练模型的分类识别系统示意图；
图4为本发明实施例中基于无监督特征输入的分类识别系统的网络结构示意图；
图5为本发明实施例中基于无监督预训练模型的分类识别系统的网络结构示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种通用化的人工神经网络无监督本地学习方法，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练，如图1所示。每层的参数w使用一个矩阵来表示，该矩阵描述了两层神经元之间的连接权重；给定了某一层的输入数据x，该层的输出为f(wTx)，f为非线性激活函数，每一层神经元的训练方法如式(I)所示：
△wij＝ηyj(xi-∑k ykwik) (I)
式(I)中，wij是指人工神经网络中下一层的神经元i和本层神经元j之间的连接权重，△wij是该连接权重的变化量，η是学习率，xi是训练时来自于神经元i的输入，yj＝∑jxiwij是神经元j的总加权输入，∑k ykwik是指来自于反馈的衰减项，k遍历了本层的所有神经元；如图2所示。
在训练某一层神经元的时候，给定一个训练样本，通过前馈的方式计算出本层的输入x和y＝wTx，并根据式(I)计算出本层参数的修改量△wij，，最后将wij替换成wij+△wij。这个训练过程可以以小批量的方式进行，在每一个训练步里，随机选取小批量的样本,并计算△wij的平均值来更新wij。整个训练过程在完成给定数量的步数后结束，这个训练方法具有较强的抗过拟合能力，可以不采用在深度学习里常用的提前停止的方法来减少过拟合。
式(I)的学习规则是对著名的赫布规则和Oja规则的进一步发展。原始的赫布规则导致连接权重的训练无法收敛，而Oja规则只用于单个神经元的训练。这里的核心是引入了一个来自于本地输出反馈的衰减项-∑k ykwik。这个衰减项可以实现同神经元内不同突触连接的竞争以及同一层神经元的激活的竞争，从而达到神经网络训练学习的目的。可以证明，通过这种方法可以将每一层的数据分解成为非正交的主成分特征，而且每一层的特征都可以重构出之前一层的数据。
式(I)的yj也可以表示成神经元j的输出，这时候yj＝f(∑j xiwij),其中f(.)是非线性激活函数，例如RELU函数。在这种情况下，式(I)描述的本地学习方法依然可以有效提取无监督特征。
式(I)用矩阵和向量的形式表示，如式(II)所示：
△w＝ηy(x-wy)T (II)
式(II)中w是本层的参数即连接权重，x是本层的输入向量，y＝wTx是总加权输入，(x-wy)T是x-wy的转置。
式(I)拓展成更普遍的形式，如式(III)所示：
△w＝ηf(y)(x–g(w,y))T (III)
式(III)中，w是本层的参数即连接权重，x是本层的输入向量，y＝wTx是总加权输入，f(y)是y的一个函数，g(w,y)是w和y的一个函数。
人工神经网络中每一层可以是但是不限于全连接层、本地连接层或卷积层。在本地连接层和卷积层里，只有距离相近的相邻层的神经元是连接的。本地连接层同卷积层的区别是，本地连接层里不同位置的神经元连接权重是不一样的，不存在参数共享，而卷积层是基于参数共享的。基于无监督本地学习方法，本地连接层的训练同全连接层是一样的，只是神经元的连接更少了。在卷积层的训练中，计算不同位置的△wij的平均值，并根据该平均值来更新wij。
无监督本地学习方法自底向上的训练任意多层的神经网络；如图1所示，人工神经网络中的每一层均通过本地的学习规则即式(I)进行训练调整连接权重。每一层都从之前一层的数据中提取主要特征，并通过非激活函数对数据进行变换；训练后的人工神经网络实现非监督的特征提取，越高的特征层表示越复杂的特征。与反向传播技术相比，这种方式训练的网络能够更好的提取训练样本中的更加丰富的特征，可以用于输入数据的预处理，也可以构建无监督的预训练模型。对于各类监督学习任务，可以通过数据的预处理或者对预训练模型进行微调，提高任务的准确率。
人工神经网络中的非激活函数采用但是不限于平方函数，每一层的输出特征可以进行层归一化处理。来提升人工神经网络训练的稳定性。
人工神经网络可以每一层逐层训练或所有层联合一起训练；如果每一层逐层训练，从最底层开始，依次向上逐层训练；如果所有层联合一起训练，在训练过程中同时学习调整所有层的参数。
实施例2
一种基于人工神经网络无监督本地学习方法的分类识别系统，如图3所示，包括：
无监督预训练模块，被配置为：通过人工神经网络无监督本地学习方法基于无标签数据训练构建好的人工神经网络；
分类识别模块，被配置为：将无监督预训练模块的输出作为输入，通过反向传播方法训练的面向分类识别任务的人工神经神经网络，输出分类识别结果；
微调模块，被配置为：在构建好的无监督预训练模块和分类识别模块的基础之上，通过反向传播的方法对面向分类识别任务的人工神经神经网络的各层参数进行微调，提高分类识别性能。
相比于单一的基于反向传播的分类识别系统，本发明提出的基于无监督预训练模型的分类识别系统可以显著提升各类分类识别任务的准确率。
无监督预训练模块是通用化模块，其训练过程跟具体的学习任务是没有关系的。这个无监督预训练模型可以结合并提升各类学习任务模块的性能，包括但是不限于上述分类识别模块，可以用于工业检测、医学影像诊断、图像分割、时序预测、文本翻译、语音识别等。
实施例3
实施例1所述的基于人工神经网络无监督本地学习方法的应用，用于图片分类识别，包括：
通过人工神经网络无监督本地学习方法基于无标签数据训练构建好的人工神经网络；如图4所示，构建好的人工神经网络为特征提取网络，包括一层28*28个神经元、激活函数、归一化层，使用平方函数作为激活函数，并在之后对特征进行归一化；无标签数据是指若干张无标签图片，具体是指MNIST数据集，MNIST数据集包括60000张数字手写体的图片；
通过反向传播方法训练面向图片分类识别任务的人工神经神经网络，面向图片分类识别任务的人工神经神经网络为分类网络，分类网络包括一层10个神经元、softmax函数，通过softmax函数输出预测的图片类别概率；通过反向传播的方法对面向分类识别任务的人工神经神经网络的各层参数进行微调，提高分类识别性能。
将待预测的图片依次输入训练好的特征提取网络、分类网络，输出预测的图片类别概率，得到图片分类识别结果。
以MNIST数据为例进行实验，这个数据集包含了60000张数字手写体的图片。如果直接使用一个一层的神经网络通过反向传播进行分类识别，可以得到7.23％的识别错误率；但是如果将输入图片替换成本方法提取的特征，可以将识别错误率降低到2.56％，表明了该提取特征的有效性。
继续以MNIST数据为例进行实验。如果使用60000张有标签图片对图5中的整个网络通过反向传播进行训练可以得到1.62％的错误识别率；但是如果先把第一层通过本发明的方法进行预训练，然后使用反向传播训练其他层，并最后对整个网络进行微调可以得到1.36％的错误识别率。说明即使使用相同的网络和相同的数据，使用本发明的方法进行预训练也可以有效提升学习任务的准确性，超过了单纯使用反向传播的效果。另外考虑只有600张标签图片的情况，这时候只使用反向传播达到24.7％的错误识别率；借助于第一层的预训练模型可以将错误识别率降低到20.7％。这表明基于大量无标签数据得到的预训练模型可以有效帮助监督学习任务。
实施例4
实施例1所述的基于人工神经网络无监督本地学习方法的应用，用于工业检测、医学影像诊断、图像分割、时序预测、文本翻译或语音识别等，具体实现步骤包括：
首先，针对具体的学习任务采集大量无标签数据，并基于本地学习方法训练一个神经网络作为无监督的预训练模型；
其次，针对具体的学习任务选择已有的网络模型，比如，对于工业检测、医学影像诊断可以采用U-Net的网络模型，对于图像分割可以采用Mask R-CNN的网络模型，并将预训练模型的输出作为该网络模型的输入；
再次，采集有标签的数据，并使用反向传播训练该网络模型。可以先冻结无监督的预训练模型的参数，训练特定任务的网络模型，再对整个网络所有的参数进行微调。
最后，通过训练好的特定任务的网络模型实现工业检测、医学影像诊断、图像分割、时序预测、文本翻译或语音识别等；
通过这种方式，可以借助于大量无标签的数据，自动提取无监督特征，提升各类监督学习任务的准确率。
实施例5
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现通用化的人工神经网络无监督本地学习方法的步骤。
实施例6
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现通用化的人工神经网络无监督本地学习方法的步骤。

Claims (10)

1.一种通用化的人工神经网络无监督本地学习方法，其特征在于，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练，每层的参数w使用一个矩阵来表示，该矩阵描述了两层神经元之间的连接权重；给定了某一层的输入数据x，该层的输出为f(wTx)，f为非线性激活函数，每一层神经元的训练方法如式(I)所示：
△wij＝ηyj(xi-∑kykwik) (I)
式(I)中，wij是指人工神经网络中下一层的神经元i和本层神经元j之间的连接权重，△wij是该连接权重的变化量，η是学习率，xi是训练时来自于神经元i的输入，yj＝∑jxiwij是神经元j的总加权输入或者yj＝f(∑jxiwij)是神经元j的输出，∑kykwik是指来自于反馈的衰减项，k遍历了本层的所有神经元；
在训练某一层神经元的时候，给定一个训练样本，通过前馈的方式计算出本层的输入x和y＝wTx，并根据式(I)计算出本层参数的修改量△wij，，最后将wij替换成wij+△wij。
2.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，所述式(I)用矩阵和向量的形式表示，如式(II)所示：
△w＝ηy(x-wy)T (II)
式(II)中w是本层的参数即连接权重，x是本层的输入向量，y＝wTx是总加权输入，(x-wy)T是x-wy的转置；
或者，所述式(I)拓展成更普遍的形式，如式(III)所示：
△w＝ηf(y)(x–g(w,y))T (III)
式(III)中，w是本层的参数即连接权重，x是本层的输入向量，y＝wTx是总加权输入，f(y)是y的一个函数，g(w,y)是w和y的一个函数。
3.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，所述人工神经网络中每一层是全连接层、本地连接层或卷积层；在卷积层的训练中，计算不同位置的△wij的平均值，并根据该平均值来更新wij。
4.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，无监督本地学习方法自底向上的训练任意多层的神经网络；每一层都从之前一层的数据中提取主要特征，并通过非激活函数对数据进行变换；训练后的人工神经网络实现非监督的特征提取，越高的特征层表示越复杂的特征。
5.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，人工神经网络中的非激活函数采用平方函数，每一层的输出特征进行层归一化处理。
6.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，人工神经网络每一层逐层训练或所有层联合一起训练；如果每一层逐层训练，从最底层开始，依次向上逐层训练；如果所有层联合一起训练，在训练过程中同时学习调整所有层的参数。
7.权利要求1-6任一所述的一种基于人工神经网络无监督本地学习方法的应用，其特征在于，包括用于分类识别、工业检测、医学影像诊断、图像分割、时序预测、文本翻译、语音识别。
8.一种基于权利要求1-6任一所述的一种基于人工神经网络无监督本地学习方法的分类识别系统，其特征在于，包括：
无监督预训练模块，被配置为：通过人工神经网络无监督本地学习方法基于无标签数据训练构建好的人工神经网络；
分类识别模块，被配置为：将无监督预训练模块的输出作为输入，通过反向传播方法训练的面向分类识别任务的人工神经神经网络，输出分类识别结果；
微调模块，被配置为：通过反向传播的方法对面向分类识别任务的人工神经神经网络的各层参数进行微调，提高分类识别性能。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一所述的通用化的人工神经网络无监督本地学习方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一所述的通用化的人工神经网络无监督本地学习方法的步骤。
CN202211165236.1A 2022-09-23 2022-09-23 一种通用化的人工神经网络无监督本地学习方法、系统及应用 Pending CN115456173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211165236.1A CN115456173A (zh) 2022-09-23 2022-09-23 一种通用化的人工神经网络无监督本地学习方法、系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211165236.1A CN115456173A (zh) 2022-09-23 2022-09-23 一种通用化的人工神经网络无监督本地学习方法、系统及应用

Publications (1)

Publication Number Publication Date
CN115456173A true CN115456173A (zh) 2022-12-09

Family

ID=84306800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211165236.1A Pending CN115456173A (zh) 2022-09-23 2022-09-23 一种通用化的人工神经网络无监督本地学习方法、系统及应用

Country Status (1)

Country Link
CN (1) CN115456173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574844A (zh) * 2023-11-23 2024-02-20 华南理工大学 一种自监督学习的dtco工艺参数性能规格反馈方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574844A (zh) * 2023-11-23 2024-02-20 华南理工大学 一种自监督学习的dtco工艺参数性能规格反馈方法

Similar Documents

Publication Publication Date Title
CN111652066B (zh) 基于多自注意力机制深度学习的医疗行为识别方法
CN109308318B (zh) 跨领域文本情感分类模型的训练方法、装置、设备及介质
Hitawala Comparative study on generative adversarial networks
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN113094357B (zh) 一种基于时空注意力机制的交通缺失数据补全方法
CN108062572A (zh) 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN107636691A (zh) 用于识别图像中的文本的方法和设备
CN109214001A (zh) 一种中文语义匹配系统及方法
CN106503661B (zh) 基于烟花深度信念网络的人脸性别识别方法
CN114463675B (zh) 一种水下鱼类群组活动强度识别方法及装置
CN111860193B (zh) 一种基于文本的行人检索自监督视觉表示学习系统及方法
CN106886798A (zh) 基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
KR20190098801A (ko) 머신 러닝을 활용한 상표 이미지 분류 방법
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN116152554A (zh) 基于知识引导的小样本图像识别系统
CN110633689B (zh) 基于半监督注意力网络的人脸识别模型
CN116052254A (zh) 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法
CN115456173A (zh) 一种通用化的人工神经网络无监督本地学习方法、系统及应用
CN116884067B (zh) 一种基于改进的隐式语义数据增强的微表情识别方法
CN116258504B (zh) 银行客户关系管理系统及其方法
Nivrito et al. Comparative analysis between Inception-v3 and other learning systems using facial expressions detection
CN113836910B (zh) 一种基于多层次语义的文本识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination