CN115115920A - 一种数据训练方法及装置 - Google Patents
一种数据训练方法及装置 Download PDFInfo
- Publication number
- CN115115920A CN115115920A CN202210530942.5A CN202210530942A CN115115920A CN 115115920 A CN115115920 A CN 115115920A CN 202210530942 A CN202210530942 A CN 202210530942A CN 115115920 A CN115115920 A CN 115115920A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- input sample
- training data
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000007418 data mining Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 2
- BATBOVZTQBLKIL-UHFFFAOYSA-N [1-(5,8-dihydroxy-1,4-dioxonaphthalen-2-yl)-4-methylpent-3-enyl] 3-methylbut-2-enoate Chemical compound C1=CC(O)=C2C(=O)C(C(OC(=O)C=C(C)C)CC=C(C)C)=CC(=O)C2=C1O BATBOVZTQBLKIL-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种数据训练方法及装置，涉及深度学习和图网络数据挖掘技术领域。该方法包括：处理输入样本数据，获得第一训练数据，将第一训练数据输入至自动编码器，获得第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。本公开实现在通过自监督算法进行数据学习，极大的提高了图网络数据分类的准确率。
Description
技术领域
本公开涉及深度学习和图网络数据挖掘技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着人工智能的发展，深度学习作为一种强有力的技术已经开始改变我们生活的方方面面。自监督学习是深度无监督学习的一个代表分支，其利用图网络本身的信息构造伪标签训练模型，无需数据标注。
但是，目前现有的自监督学习技术在节点分类和图分类任务上的结果准确率较低。
发明内容
本公开提供了一种数据训练方法、装置、电子设备和存储介质。
根据本公开的第一方面，提供了一种数据训练方法。该方法包括：处理输入样本数据，获得第一训练数据，将第一训练数据输入至自动编码器，获得第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。
在一些实施例中，处理输入样本数据，获得第一训练数据包括：获取输入样本数据，对输入样本数据中的节点进行采样，通过第一掩码标识遮盖输入样本数据中经采样的节点的原始特征，并将经第一掩码标识遮盖的输入样本数据确定为第一训练数据。
在一些实施例中，自动编码器包括编码器，编码器为第一图神经网络，将第一训练数据输入至自动编码器，获得第二训练数据包括：将第一训练数据输入编码器，获得输入样本数据中所有节点的隐式表示。
在一些实施例中，自动编码器还包括解码器，解码器为第二图神经网络，将第一训练数据输入至自动编码器，获得第二训练数据包括：将经采样的节点的隐式表示输入解码器，以输出第二训练数据。
在一些实施例中，将经采样的节点的隐式表示输入解码器，以输出第二训练数据包括：通过第二掩码标识遮盖输入样本数据中经采样的节点的隐式表示，并将经第二掩码标识遮盖的输入样本数据作为第二训练数据。
在一些实施例中，将第二训练数据与输入样本数据进行相似度对比包括：通过重建评估函数，计算第二训练数据与输入样本数据的相似度。
在一些实施例中，该方法还包括：基于放缩因子，构建重建评估函数，其中，重建评估函数是放缩余弦误差函数，放缩因子大于或等于1。
根据本公开的实施例，通过处理输入样本数据，获得第一训练数据，将第一训练数据输入至自动编码器，获得第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。实现在通过自监督算法进行数据学习，极大的提高了图网络数据分类的准确率。
根据本公开的第二方面，提供了一种数据训练装置，包括：处理单元，用于处理输入样本数据，获得第一训练数据；输入单元，用于将第一训练数据输入至自动编码器，获得第二训练数据；对比单元，用于对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。
根据本公开的实施例，该装置通过处理单元，输入单元以及对比单元，实现在通过自监督算法进行数据学习，极大的提高了图网络数据分类的准确率。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行前述第一方面的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如前述第一方面的方法。
根据本公开的实施例，通过处理输入样本数据，获得第一训练数据，将第一训练数据输入至自动编码器，获得第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。实现在通过自监督算法进行数据学习，极大的提高了图网络数据分类的准确率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种数据训练方法的流程示意图；
图2为本公开实施例提供的一种数据训练方法的流程示意图；
图3为本公开实施例提供的一种数据训练方法的流程示意图；
图4为本公开实施例提供的一种基于图自编码器的生成式自监督学习的示意图；
图5为本公开实施例提供的一种数据训练装置的结构示意图；
图6为本公开实施例提供的示例电子设备600的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的一种数据训练方法、装置、电子设备和存储介质。
随着人工智能的发展，深度学习作为一种强有力的技术已经开始改变我们生活的方方面面。自监督学习是深度无监督学习的一个代表分支，其利用图本身的信息构造伪标签训练模型，无需数据标注。自监督学习在近年来获得了巨大的关注并得到了广泛的探索。自监督学习算法可以在无人工标注数据的场景下学习到数据的内在特征，并应用于多种下游任务。近年来，生成性学习在自然语言处理等领域取得了成功。
近几年来，预训练或自监督学习的方法可以应用在自然语言处理、计算机视觉、语音识别等领域。预训练是指通过在较大的数据集上训练模型，得到一套特征表示或模型参数。特征表示可以直接应用于下游任务，得到的模型参数可以根据下游任务进行微调来获得增益。它能够从海量未标注的数据上学习数据本身的特征，从而使下游任务能够更好地根据任务本身的特性来使用自监督学习阶段得到的知识。在图学习领域，如何进行预训练还是一个开放的问题，目前现有技术已经进行了一定的探索。
目前对比学习一直是图预训练的主流范式，其旨在学习不同数据增强中的标签不变因素。它依赖于负样本选择、模型架构设计、数据增强等组件的精心设计。负样本能够让学到的样本表示在空间中分布均匀，从而避免模型陷入平凡解。现有技术中基于互信息最大化的DGI和GCC探索了不同负样本的选择办法。高质量的数据增强在对比学习的成功中起着关键作用。对比学习旨在学习同一个数据不同形式下的标签不变特征，因此有效数据增强既需要保留数据的下游任务的标签不变信息，也需要使得不同的增强结果之间存在差异。所以现有技术探究了图中各种数据增强策略的有效性，包括特征遮盖、破坏结构、随机子图采样、删除节点等。由于有效的负样本选择、数据增强在图学习领域的实现非常困难，严重限制了对比学习在图学习领域的发展。
除了对比学习外，生成式自监督学习也广泛应用于各个领域。生成式学习的目的是恢复输入数据的缺失部分。现有技术提出了基于自回归方法的GPT-GNN模型，该模型采用自监督学习方法对GNN进行预训练，同时捕捉图节点特征和图结构信息。由于大多数图没有呈现出明显的节点顺序特性，自回归方法在图的预训练上并没有呈现出显著的意义。自动编码器被设计为在给定的上下文中重建某些输入，并不像自回归方法那样强制按照某种顺序进行解码。最早的工作可以追溯到图自动编码器和变分图自动编码器。尽管图自动编码器在链接预测和图聚类中的已经有成功的应用，然而它们在节点分类和图分类任务上的结果通常不能够令人满意。在自然语言处理和计算机视觉领域，生成式自监督学习呈现出比对比学习更大的潜力。
因此，相关技术中，自监督学习技术在节点分类和图分类任务上的结果准确率较低。在图的自监督学习领域，已有的对比学习方法严重依赖结构性数据增强和复杂的训练策略，而图上生成性学习的进展，特别是图自动编码器迄今尚未取得较好的表现。因此需要一种基于掩码的图自动编码器，以缓解生成性自监督图学习的问题的方法。
为解决现有技术中的相关技术问题，本公开提出一种数据训练方法，通过处理输入样本数据，获得第一训练数据，将第一训练数据输入至自动编码器，获得第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练，实现在通过自监督算法进行数据学习，极大的提高了图网络数据分类的准确率。
下面结合附图详细描述实现本公开提出的一种数据训练方法、装置、电子设备、存储介质以及程序产品。
图1为本公开实施例所提供的一种数据训练方法的流程示意图。本公开提出的方法至少可以应用于自然语言处理、计算机视觉、语音识别等领域，具体可以应用于自然语言处理、计算机视觉、语音识别等领域的产品，例如智能终端等电子设备。如图1所示，该方法包括以下步骤：
步骤101，处理输入样本数据，获得第一训练数据。
在本公开的一种实现方式中，本公开实施例以采用掩码自动编码器作为预训练模型为主。
具体的，输入样本数据，即一个图G＝(V，A，X)。从图G随机采样一定比例的节点
将其节点特征用一个共同的掩码标识[MASK]代替。从而得到第一训练数据，即
其中
为对X进行掩码后的结果。
其中，令G＝(V，A，X)表示一个图，V表示所有节点的集合，N＝|V|表示节点的数目，A∈{0，1}N×N为邻接矩阵，X∈RN×d为输入的节点的特征矩阵，在本公开中，X也称为原始特征。G′表示重建的图，既可以是重建节点特征，也可以是重建结构，或者二者兼有。在本公开实施例具体以重建节点特征作为训练目标为例。
本领域技术人员可以理解的是，掩码相当于在输入样本数据中替换了部分原有数据，相当于加入了噪音。掩码标识[MASK]可以理解为一个可学习的向量。经过遮盖后的图上节点特征矩阵表示为
给定部分观察到的节点特征
和输入邻接矩阵A，图自动编码器的目标是重建节点集合V中被遮盖的节点的特征。
步骤102，将第一训练数据输入至自动编码器，获得第二训练数据。
在本公开的一种实施方式中，对第一训练数据通过自动编码器中编码，解码的过程进行数据处理。
其中，自动编码器(autoencoder，AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks，ANNs)，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)。
自编码器包括编码器(encoder)、编码表示和解码器(decoder)。编码器是将输入数据映射为编码表示，即得到的样本表示。解码器是在重构准则的监督下，将编码表示映射到输入数据上，以重构输入数据。进一步地，在本公开实施例中，fE表示图的编码器，fD表示解码器，
表示图G经过编码器之后的结果，即节点表示。因此，GAE的重建目标表示为H＝fE(A，X)，G′＝fD(A，H)。
步骤103，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。
在本公开的一种实施方式中，对于不同领域的掩码自动编码器，衡量重建质量的函数的是不同的。在本公开实施例中以直接重建每个被遮盖节点的原始特征，利用余弦误差作为重建原始节点特征的误差函数，从而减小维度和向量范数的影响。
因此，根据本公开的实施例，通过处理输入样本数据，获得第一训练数据，将第一训练数据输入至自动编码器，获得第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练，实现在通过自监督算法进行数据学习，极大的提高了网络图数据分类的准确率。
图2为本公开实施例提供的一种数据训练方法的流程示意图。图2基于图1所示的实施例，对步骤102进行进一步定义。在图2所示的实施例中，步骤102包括步骤201和步骤202。
如图2所示，该方法包括如下步骤。
步骤201，将第一训练数据输入编码器，获得输入样本数据中所有节点的隐式表示。
在本公开的一些实施方式中，将添加噪声后的图
作为输入，使用多层图神经网络作为编码器
其中，当通过编码器得到的节点表示的维度远大于输入的维度时，自动编码器有可能学习到“恒等映射函数”，即平凡解，这使得编码器的作用变得很小。降噪自动编码器通过在输入数据中添加噪声，可以避免平凡解。
步骤202，将经采样的节点的隐式表示输入解码器，以输出第二训练数据。
在本公开的一些实施方式中，该步骤具体包括：通过第二掩码标识遮盖输入样本数据中经采样的节点的隐式表示，并将经第二掩码标识遮盖的输入样本数据作为第二训练数据。
具体的，使用“重掩码”策略，用另一个掩码标识[DMASK]，即解码器掩码标识向量，再次替换输入样本数据中选中的节点的隐式表示。将重掩码后的隐式表示作为输入，使用另一个单层的图神经网络作为解码器，重建节点的输入特征。标识[DMASK]为所有被遮盖的节点共享，与编码阶段中使用的掩码标记不同。通过重掩码和使用图神经网络解码器，被遮盖的节点“被要求”从邻近的未被遮盖的节点表示中重建其输入特征。记重掩码之后的特征矩阵为
其中，图解码器的作用fD将编码器得到的节点表示H映射回输入的节点特征X，其设计将依赖于重建目标X的语义水平。在图中，解码器重建的是信息量相对较小的高维节点特征。图神经网络解码器可以根据一个节点周围的节点分布恢复其自身的输入特征，而不局限于是节点本身，可以帮助编码器学习高层次的信息。
综上所述，根据本公开的实施例，通过将第一训练数据输入编码器，获得输入样本数据中所有节点的隐式表示，将经采样的节点的隐式表示输入解码器，以输出第二训练数据，实现了当通过编码器得到的节点表示的维度远大于输入的维度时，在输入数据中添加噪声，避免“恒等映射函数”(即平凡解)以及缓解了严重依赖结构性数据增强和复杂的训练策略的问题。
图3为本公开实施例提供的一种数据训练方法的流程示意图。图3基于图1所示的实施例，对步骤101、102、103进行进一步定义，其中，步骤101可以具体包括步骤301和步骤302以及步骤303，步骤102包括步骤303和步骤304。
如图3所示，该方法包括如下步骤。
步骤301，获取输入样本数据。
在本公开的一种实施方式中，输入样本数据包括：所有节点的集合、节点的数目、邻接矩阵，以及输入的节点的特征矩阵。
步骤302，对输入样本数据中的节点进行采样。
在本公开的一种实施方式中，采用无替换的均匀随机抽样策略选取需要遮盖的节点。在图神经网络中，每个节点可以依靠其邻居节点来增强或恢复其特征。
步骤303，通过第一掩码标识遮盖输入样本数据中经采样的节点的原始特征，并将经第一掩码标识遮盖的输入样本数据确定为第一训练数据。
在本公开的一种实施方式中，主要对输入样本数据中的X，即输入的节点特征矩阵进行处理。使用[MASK]有可能造成训练和推理之间的不匹配，因为，[MASK]标识在推理过程中不会出现。为了减少这种差异，本公开实施例以较小的概率，即15％或更小，保持节点特征不变或用另一个随机标识来替换它。其中，具体数值在本公开实施例中不做限制。记添加掩码后的图为
步骤304，将第一训练数据输入编码器，获得输入样本数据中所有节点的隐式表示。
步骤305，将经采样的节点的隐式表示输入解码器，以输出第二训练数据。
步骤304和步骤305与上述步骤201和步骤202具有相同或相似的功能，其实施方式可参照上述实施例执行，在此不再赘述。
步骤306，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。
在本公开的一种实施方式中，该步骤包括：通过重建评估函数，计算第二训练数据与输入样本数据的相似度。基于放缩因子，构建重建评估函数，其中，重建评估函数是放缩余弦误差函数，放缩因子大于或等于1。
具体的，余弦误差中的L2归一化将向量映射到一个“单位超球”上，能够提升表示学习的训练稳定性。同时，引入可放缩的余弦误差(Scaled Cosine Error)来进一步改进余弦误差，可以通过将余弦误差以小于1的幂数进行调整来降低简单的样本在训练中的贡献。对于置信度高的预测，其相应的余弦误差通常小于1，并且当放缩因子大于1时，会更快地衰减为零。从形式上讲，给定原始特征X和重建输出
放缩的余弦误差的定义可定义为：
其中，X表示原始特征，即输入的节点特征矩阵，xi为矩阵X的第i行表示的向量，Z表示解码器的输出，zi为矩阵Z的第i行表示的向量，γ表示放缩因子，
为前述输入数据中进行掩码的节点集合，
为集合的大小。
最终的误差计算是对所有被遮盖的节点的误差取平均值。放缩因子是一个在不同数据集上可调整的超参数。
综上所述，根据本公开的实施例，通过获取输入样本数据，对输入样本数据中的节点进行采样，通过第一掩码标识遮盖输入样本数据中经采样的节点的原始特征，并将经第一掩码标识遮盖的输入样本数据确定为第一训练数据，将第一训练数据输入编码器，获得输入样本数据中所有节点的隐式表示，将经采样的节点的隐式表示输入解码器，以输出第二训练数据，对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练，实现了当通过编码器得到的节点表示的维度远大于输入的维度时，在输入数据中添加噪声，避免“恒等映射函数”(即平凡解)，缓解了严重依赖结构性数据增强和复杂的训练策略的问题，以及在通过自监督算法进行数据学习，极大的提高了图网络数据分类的准确率。
针对上述图3所示的实施例，本公开提供了具体的数据训练的示意图。如图4示出了一种基于图自编码器的生成式自监督学习的示意图。上述方法仅作为本公开的示例，不构成对本公开的限制。
针对上述的数据训练方法，本公开以在节点分类和图分类任务上验证上述方法的有效性。表1示出了一种节点分类任务实验结果，表2示出了一种图分类任务实验结果。
表1节点分类任务实验结果
| 数据集 | Cora | Ogbn-arxiv | PPI | |
| #节点数 | 2,708 | 169,343 | 56,944 | 232,965 |
| #边数 | 5,429 | 1,166,243 | 818,736 | 11,606,919 |
| GCN | 81.5％ | 70.3％ | 75.7％ | 95.3％ |
| DGI | 82.3％ | 70.3％ | 63.8％ | 94.0％ |
| BGRL | 82.7％ | 71.6％ | 73.6％ | 94.2％ |
| 本公开方法 | 84.2％ | 71.8％ | 74.5％ | 96.0％ |
表2图分类任务实验结果
其中，在不同种类、不同规模的网络上进行节点分类的实验。节点分类的目的是预测网络中节点的种类，例如学术网络中论文的主题，社交网络中用户的兴趣爱好等。实验使用学术网络Cora和Ogbn-arxiv，社交网络Reddit和蛋白质网络PPI，网络的规模和实验结果如上表所示。实验结果表明了数据分类的准确率，在不同种类、不同规模的网络上，所提出的基于掩码预测的生成自监督学习方法均优于之前的对比学习和和生成式学习方法。在部分数据集上，无监督方法的表现甚至超过了有监督学习下的GCN模型。
图分类的目的是获得整个图级别的向量表示，并分辨一个图的种类，例如分子图的手性、蛋白质的性质等，考验网络对整个图结构和特征的抽象和提取能力。该实验在社交网络IMDB，生物化学网络PREOTEINS和NCI1上评估了该方法的能力。如上表所示，该方法的数据分类的准确率表现超过了传统的核方法WL以及基于对比学习的方法GraphCL，这表明了该方法的有效性。
与上述的数据训练方法相对应，本公开还提出一种数据训练装置。图5为本公开实施例提供的一种数据训练装置500的结构示意图。如图5所示，包括：处理单元510，用于处理输入样本数据，获得第一训练数据；输入单元520，用于将第一训练数据输入至自动编码器，获得第二训练数据；对比单元530，用于对第二训练数据与输入样本数据进行相似度对比，并根据对比结果进行数据训练。
在一些实施例中，处理单元510具体用于获取输入样本数据，对输入样本数据中的节点进行采样，通过第一掩码标识遮盖输入样本数据中经采样的节点的原始特征，并将经第一掩码标识遮盖的输入样本数据确定为第一训练数据。
在一些实施例中，输入单元520还包括：编码单元，用于将第一训练数据输入编码器，获得输入样本数据中所有节点的隐式表示，其中，编码器为第一图神经网络。
在一些实施例中，输入单元520还包括：解码单元，用于将经采样的节点的隐式表示输入解码器，以输出第二训练数据，其中，解码器为第二图神经网络；重掩码单元，用于通过第二掩码标识遮盖输入样本数据中经采样的节点的隐式表示，并将经第二掩码标识遮盖的输入样本数据作为第二训练数据。
在一些实施例中，对比单元530还包括：计算单元，用于通过重建评估函数，计算第二训练数据与输入样本数据的相似度；构建单元，用于基于放缩因子，构建重建评估函数，其中，重建评估函数是放缩余弦误差函数，放缩因子大于或等于1。
综上，根据本公开的实施例，该装置通过处理单元，输入单元以及对比单元的相应功能，实现在通过自监督算法进行数据学习，极大的提高了图数据分类的准确率。
需要说明的是，由于本公开的装置实施例与上述的方法实施例相对应，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，对于装置实施例中未披露的细节可参照上述的方法实施例，本公开中不再进行赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)602中的计算机程序或者从存储单元608加载到RAM(Random AccessMemory，随机访问/存取存储器)603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 803通过总线604彼此相连。I/O(Input/Output，输入/输出)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如数据训练方法。例如，在一些实施例中，数据训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述数据训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (11)
1.一种数据训练方法，其特征在于，包括：
处理输入样本数据，获得第一训练数据；
将所述第一训练数据输入至自动编码器，获得第二训练数据；
对所述第二训练数据与所述输入样本数据进行相似度对比，并根据对比结果进行数据训练。
2.根据权利要求1所述的方法，其特征在于，所述处理所述输入样本数据，获得第一训练数据包括：
获取所述输入样本数据；
对所述输入样本数据中的节点进行采样；
通过第一掩码标识遮盖所述输入样本数据中经采样的节点的原始特征，并将经第一掩码标识遮盖的输入样本数据确定为所述第一训练数据。
3.根据权利要求2所述的方法，其特征在于，所述自动编码器包括编码器，所述编码器为第一图神经网络，
所述将所述第一训练数据输入至所述自动编码器，获得所述第二训练数据包括：
将所述第一训练数据输入所述编码器，获得所述输入样本数据中所有节点的隐式表示。
4.根据权利要求3所述的方法，其特征在于，所述自动编码器还包括解码器，所述解码器为第二图神经网络，
所述将所述第一训练数据输入至所述自动编码器，获得所述第二训练数据包括：
将所述经采样的节点的隐式表示输入所述解码器，以输出所述第二训练数据。
5.根据权利要求4所述的方法，其特征在于，所述将所述经采样的节点的隐式表示输入所述解码器，以输出所述第二训练数据包括：
通过第二掩码标识遮盖所述输入样本数据中经采样的节点的隐式表示，并将经第二掩码标识遮盖的输入样本数据作为所述第二训练数据。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将所述第二训练数据与所述输入样本数据进行相似度对比包括：
通过重建评估函数，计算所述第二训练数据与所述输入样本数据的相似度。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
基于放缩因子，构建所述重建评估函数，其中，所述重建评估函数是放缩余弦误差函数，所述放缩因子大于或等于1。
8.一种数据训练装置，其特征在于，包括：
处理单元，用于处理输入样本数据，获得第一训练数据；
输入单元，用于将所述第一训练数据输入至自动编码器，获得第二训练数据；
对比单元，用于对所述第二训练数据与所述输入样本数据进行相似度对比，并根据对比结果进行数据训练。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210530942.5A CN115115920A (zh) | 2022-05-16 | 2022-05-16 | 一种数据训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210530942.5A CN115115920A (zh) | 2022-05-16 | 2022-05-16 | 一种数据训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115115920A true CN115115920A (zh) | 2022-09-27 |
Family
ID=83326243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210530942.5A Pending CN115115920A (zh) | 2022-05-16 | 2022-05-16 | 一种数据训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115920A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092577A (zh) * | 2023-01-09 | 2023-05-09 | 中国海洋大学 | 一种基于多源异质信息聚合的蛋白质功能预测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325851A (zh) * | 2020-02-28 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN113553864A (zh) * | 2021-06-30 | 2021-10-26 | 北京百度网讯科技有限公司 | 翻译模型的训练方法、装置、电子设备及存储介质 |
| US20210390700A1 (en) * | 2020-06-12 | 2021-12-16 | Adobe Inc. | Referring image segmentation |
-
2022
- 2022-05-16 CN CN202210530942.5A patent/CN115115920A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325851A (zh) * | 2020-02-28 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| US20210390700A1 (en) * | 2020-06-12 | 2021-12-16 | Adobe Inc. | Referring image segmentation |
| CN113553864A (zh) * | 2021-06-30 | 2021-10-26 | 北京百度网讯科技有限公司 | 翻译模型的训练方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| QIAOYU TAN等: "MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs", ARVIX:2201.02534V1，HTTPS://ARXIV.ORG/ABS/2201.02534, 7 January 2022 (2022-01-07), pages 2 - 3 * |
| SIXIAO ZHANG等: "Graph Masked Autoencoders with Transformers", ARVIX:2202.08391V2，HTTPS://ARXIV.ORG/ABS/2202.08391, 12 May 2022 (2022-05-12), pages 2 - 4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092577A (zh) * | 2023-01-09 | 2023-05-09 | 中国海洋大学 | 一种基于多源异质信息聚合的蛋白质功能预测方法 |
| CN116092577B (zh) * | 2023-01-09 | 2024-01-05 | 中国海洋大学 | 一种基于多源异质信息聚合的蛋白质功能预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108737406B (zh) | 一种异常流量数据的检测方法及系统 | |
| CN114595333B (zh) | 一种用于舆情文本分析的半监督方法和装置 | |
| EP3467723A1 (en) | Machine learning based network model construction method and apparatus | |
| US11048870B2 (en) | Domain concept discovery and clustering using word embedding in dialogue design | |
| US11514329B2 (en) | Data-driven deep learning model generalization analysis and improvement | |
| CN110347840B (zh) | 投诉文本类别的预测方法、系统、设备和存储介质 | |
| US20210303970A1 (en) | Processing data using multiple neural networks | |
| CN111475622A (zh) | 一种文本分类方法、装置、终端及存储介质 | |
| CN113434683B (zh) | 文本分类方法、装置、介质及电子设备 | |
| Chu et al. | Neural batch sampling with reinforcement learning for semi-supervised anomaly detection | |
| US11544532B2 (en) | Generative adversarial network with dynamic capacity expansion for continual learning | |
| WO2022257453A1 (zh) | 释义分析模型训练方法、装置、终端设备及存储介质 | |
| CN113554175B (zh) | 一种知识图谱构建方法、装置、可读存储介质及终端设备 | |
| US11037073B1 (en) | Data analysis system using artificial intelligence | |
| CN112418320A (zh) | 一种企业关联关系识别方法、装置及存储介质 | |
| CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| JP2023025126A (ja) | 深層学習モデルのトレーニング方法及び装置、テキストデータ処理方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN113869234B (zh) | 人脸表情识别方法、装置、设备及存储介质 | |
| CN115115920A (zh) | 一种数据训练方法及装置 | |
| CN114428860A (zh) | 院前急救病例文本的识别方法、装置、终端及存储介质 | |
| Ma et al. | Denoised labels for financial time series data via self-supervised learning | |
| JP2022076949A (ja) | 推論プログラム及び推論方法 | |
| Marconi et al. | Hyperbolic manifold regression | |
| JP2017538226A (ja) | スケーラブルなウェブデータの抽出 | |
| US20220269936A1 (en) | Knowledge graphs in machine learning decision optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |