CN114399028B - 信息处理方法、图卷积神经网络训练方法及电子设备 - Google Patents
信息处理方法、图卷积神经网络训练方法及电子设备 Download PDFInfo
- Publication number
- CN114399028B CN114399028B CN202210042804.2A CN202210042804A CN114399028B CN 114399028 B CN114399028 B CN 114399028B CN 202210042804 A CN202210042804 A CN 202210042804A CN 114399028 B CN114399028 B CN 114399028B
- Authority
- CN
- China
- Prior art keywords
- nodes
- node
- target
- neighbor
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 60
- 230000010365 information processing Effects 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 250
- 238000005070 sampling Methods 0.000 claims abstract description 165
- 239000011159 matrix material Substances 0.000 claims abstract description 142
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 67
- 201000010099 disease Diseases 0.000 claims description 46
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 46
- 229920002477 rna polymer Polymers 0.000 claims description 38
- 108700011259 MicroRNAs Proteins 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 25
- 239000002679 microRNA Substances 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 230000017105 transposition Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 102000042567 non-coding RNA Human genes 0.000 description 1
- 108091027963 non-coding RNA Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种信息处理方法、网络训练方法及电子设备,该信息处理方法包括:获取目标异构图;获取N个节点中每个节点的初始特征向量以及目标异构图的邻接矩阵,输入目标图卷积神经网络进行特征提取得到N个节点中每个节点的目标特征向量;采样层利用N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到N个邻居节点集合;目标图卷积层基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取得到N个目标特征向量。即采样考虑了节点的不同类型的邻居节点,依此进行特征提取,可提高特征提取的准确性,进而利用目标特征向量进行关联确定,可提高关联确定的准确性。
Description
技术领域
本申请涉及机器学习技术领域,尤其涉及到一种信息处理方法、图卷积神经网络训练方法及电子设备。
背景技术
近些年由于图神经网络的兴起,图自编码器得到了广泛的关注。目前,常见的图自编码器主要运用在同构图上,而在现实应用中很多的图实际上是异构图,相关技术中常见的图自编码器对于异构图节点的特征提取的效果较差,即得到的特征的准确性较差。
发明内容
本申请实施例提供一种信息处理方法、图卷积神经网络训练方法及电子设备,以解决现有提取的异构图节点的特征准确性较差的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种信息处理方法,由具有数据处理功能的设备执行,所述方法包括:
获取目标异构图,所述目标异构图中包括N个节点,且所述N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
获取所述N个节点中每个节点的初始特征向量以及所述目标异构图的邻接矩阵;
将N个初始特征向量以及所述邻接矩阵输入目标图卷积神经网络进行特征提取,得到所述N个节点中每个节点的目标特征向量;
基于所述N个节点中无邻接且不同类型的两个节点的目标特征向量,确定所述两个节点之间的关联;
其中,所述目标图卷积神经网络中的采样层用于基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,所述N个节点中任一节点的邻居节点集合中的节点数量为所述预设总采样数量;所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量。
第二方面,本申请实施例还提供一种图卷积神经网络训练方法,由具有数据处理功能的设备执行,包括:
获取训练异构图,所述训练异构图中包括P个节点,所述P个节点的类型包括至少两种类型,P为大于1的整数;
获取所述P个节点中每个节点的初始特征向量以及所述训练异构图的邻接矩阵;
基于P个初始特征向量以及所述训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络。
第三方面,本申请实施例还提供一种信息处理装置,应用于具有数据处理功能的设备,包括:
第一获取模块,用于获取目标异构图,所述目标异构图中包括N个节点,且所述N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
第二获取模块,用于获取所述N个节点中每个节点的初始特征向量以及所述目标异构图的邻接矩阵;
特征提取模块,用于将N个初始特征向量以及所述邻接矩阵输入目标图卷积神经网络进行特征提取,得到所述N个节点中每个节点的目标特征向量;
关联确定模块,用于基于所述N个节点中无邻接且不同类型的两个节点的目标特征向量,确定所述两个节点之间的关联;
其中,所述目标图卷积神经网络中的采样层用于基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,所述N个节点中任一节点的邻居节点集合中的节点数量为所述预设总采样数量;所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量。
第四方面,本申请实施例还提供一种图卷积神经网络训练装置,应用于具有数据处理功能的设备,包括:
第三获取模块,用于获取训练异构图,所述训练异构图中包括P个节点,所述P个节点的类型包括至少两种类型,P为大于1的整数;
第四获取模块,用于获取所述P个节点中每个节点的初始特征向量以及所述训练异构图的邻接矩阵
训练模块,用于基于P个初始特征向量以及所述训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络。
第五方面,本申请实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面提供的方法中的步骤或实现上述第二方面提供的方法中的步骤。
第六方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的方法中的步骤或实现上述第二方面提供的方法中的步骤。
在本实施例的信息处理方法中,可将N个节点的初始特征向量以及目标异构图的邻接矩阵输入目标图卷积神经网络进行特征提取,得到N个节点的目标特征向量,在利用目标图卷积神经网络进行特征提取过程中,目标图卷积神经网络中的采样层是利用预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,即在对节点的邻居节点进行采样过程中考虑了该节点的邻居节点的类型,如此,可提高采样得到的邻居节点的准确性,目标图卷积神经网络中的目标图卷积层可基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量,从而可提高特征提取效果,使提取得到的目标特征向量的准确性提高,这样,基于述N个节点中无邻接且不同类型的两个节点的目标特征向量,来确定所述两个节点之间的关联,可提高两个节点之间的关联确定的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种信息处理方法的流程图;
图2是本申请实施例提供的一种二部异构图的示意图;
图3是本实施提供的一种包括用户以及商品的二部异构图的示意图;
图4是本实施提供的一种对包括用户以及商品的二部异构图进行关联预测的示意图;
图5是本申请实施例提供的一种图卷积神经网络训练方法的流程图;
图6是本申请实施例提供的一种图卷积神经网络训练方法的原理图;
图7是本申请实施例提供的一种信息处理方法的原理图之一;
图8是本申请实施例提供的一种信息处理方法的原理图之二;
图9是本申请实施例提供的一种信息处理方法的原理图之三;
图10是本申请实施例提供的一种信息处理装置的结构示意图;
图11是本申请实施例提供的一种图卷积神经网络训练装置的结构示意图;
图12是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,图1是本申请实施例提供的一种信息处理方法的流程图,如图1所示,该方法包括以下步骤:
步骤101、获取目标异构图。
目标异构图中包括N个节点,且N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,可以理解,不同类型的节点用于表示不同的主体,N为大于1的整数。
需要说明的是,同构图是指存在一种类型的节点和边的图,异构图是指存在一种类型以上的节点或边,二部异构图是指存在两种不同类型的节点的图,在本实施例中,目标异构图是包括至少两种类型的节点的异构图,是待提取特征的异构图。
例如,如图2所示,为一种二部异构图,该异构图中包括两种类型的节点,包括子图A和子图B,子图A中包括一种类型的节点集合,子图B中包括另一种类型的节点集合,如图所示,子图A和子图B各自的内部节点存在关联(以实线表示),同时,子图A中的节点Z1与子图B中的节点Y1存在关联(以实线表示),子图A中的节点Z2与子图B中的节点Y2存在关联(以实线表示)。通过本实施例的方法提取该异构图的节点的特征后,可预测子图A中的节点Z3、节点Z4与子图B中的节点Y3、节点Y4是否存在关联(以虚线表示)。
另外,需要说明的是,本申请实施例的信息处理方法可由具有数据处理功能的设备执行,该设备中配置有数据处理系统,可以理解,该数据处理系统是该设备中能够实现数据处理功能的系统,例如,该数据处理系统中可包括但不限于推荐系统和/或分析系统(例如,核糖核酸分析系统),作为一个示例,本申请实施例中的信息处理方法可通过该设备中的数据处理系统执行。
步骤102、获取N个节点中每个节点的初始特征向量以及目标异构图的邻接矩阵。
初始特征向量可以理解是预先对节点进行特征提取得到的特征向量,该特征向量可以是节点本身的属性特征向量,即可初步表示节点的一些属性特性,或者初始特征向量为初始化的单位向量,即由N个节点的初始特征向量构成的初始特征矩阵可以是初始化的单位矩阵。可获取N个节点中每个节点的初始特征向量,从而可获得N个初始特征向量,即N个节点的初始特征向量。
需要说明的是,图可以通过边和节点集合表示,边可以表示节点间的连接(邻接)关系,邻接矩阵可以表示目标异构图中节点之间的连接关系,即包括表示目标异构图中节点之间的关系的数据,即目标异构图的邻接矩阵是用于表示目标异构图中节点之间邻接关系的矩阵,一个图对应一个邻接矩阵,邻接矩阵的大小为N行N列,比如,目标异构图中节点1和节点2之间存在连边,则邻接矩阵中节点1和节点2对应的元素为1,若两个节点之间不存在连边,则在邻接矩阵中这两个节点对应的元素为0。
步骤103、将N个初始特征向量以及邻接矩阵输入目标图卷积神经网络进行特征提取,得到N个节点中每个节点的目标特征向量。
其中,目标图卷积神经网络中的采样层用于基于预设总采样数量以及N个节点的邻居节点的类型对N个节点的邻居节点进行采样,得到N个节点中每个节点的邻居节点集合,N个节点中任一节点的邻居节点集合中的节点数量为预设总采样数量;目标图卷积神经网络中的目标图卷积层用于基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量。
需要说明的是,由于节点的邻居节点的数量可能较多或较少,需要根据预设总采样数据进行邻居采样,使得到的该节点的邻居节点数量为预设总采样数量,即采样后每个节点的邻居节点数量均可为预设总采样数量,对于目标异构图中其邻居节点的数量小于预设总采样数量的节点,可采用有放回的采样方式采样使采样得到的该节点的邻居节点数量为预设总采样数量,即该节点的采样的邻居节点集合中可存在相同的邻居节点。在本实施例中,目标图卷积神经网络中包括采样层和目标图卷积层,首先可通过采样层对N个节点中的每个节点的邻居节点进行采样,可得到每个节点的邻居节点集合,即得到N个节点中每个节点的邻居节点集合,即得到N个邻居节点集合,N个节点的邻居节点集合中的节点也属于目标异构图中。作为一个示例,本申请实施例中任一节点的邻居节点为目标异构图中与该节点存在直接连边的节点,可以理解是一阶邻居节点。
在本实施中,由于目标异构图包括至少两种类型的节点,即每个节点有对应的类型,采样层利用目标异构图中节点的邻居节点的类型对该节点的邻居节点进行采样,即邻居节点采样过程中,考虑了邻居节点类型,如此,可提高采样得到的邻居节点的准确性。
采样得到N个节点的邻居节点集合后,目标图卷积神经网络中的目标图卷积层即可基于N个初始特征向量、目标异构图的邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量,即得到N个目标特征向量。
步骤104:基于N个节点中无邻接且不同类型的两个节点的目标特征向量,确定两个节点之间的关联。
在提取得到N个目标特征向量后,可基于N个节点中无邻接且不同类型的两个节点的目标特征向量,对这两个节点之间的关联进行预测,得到这两个节点之间的关联。这里的关联可以理解是表示两个节点之间存在连接的概率,即存在关联的概率或关联程度或边权重,也可以理解表示这两个节点之间的相近程度或相似程度。例如,若概率大于预设概率阈值,或相近程度大于预设相近度,表示两个节点之间的关联性较大,即可确定这两个节点之间存在关联,两者可连接,若概率小于或等于预设概率阈值,或相近程度小于或等于预设相近度,表示两个节点之间的关联性较小,即可确定这两个节点之间不存在关联,即两者不连接。需要说明的是,目标异构图中两个节点之间无邻接,是指目标异构图中这两个节点之间无连边。
在本实施例中,通过目标图卷积神经网络确定N个节点的目标特征向量后,可通过目标分类模型对N个节点中的不同类型的两个节点之间的关联进行预测,从而实现对目标异构图中不同类型节点之间的关联的预测,由于通过上述目标图卷积神经网络进行特征提取,可提高得到的目标特征向量的准确性,从而可提高对目标异构图中不同类型节点之间的关联的预测的准确性。
在本实施例的信息处理方法中,可将N个节点的初始特征向量以及目标异构图的邻接矩阵输入目标图卷积神经网络进行特征提取,得到N个节点的目标特征向量,在利用目标图卷积神经网络进行特征提取过程中,目标图卷积神经网络中的采样层是利用预设总采样数量以及N个节点的邻居节点的类型对N个节点的邻居节点进行采样,即在对节点的邻居节点进行采样过程中考虑了该节点的邻居节点的类型,如此,可提高采样得到的邻居节点的准确性,目标图卷积神经网络中的目标图卷积层可基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量,从而可提高特征提取效果,使提取得到的目标特征向量的准确性提高,这样,基于述N个节点中无邻接且不同类型的两个节点的目标特征向量,来确定两个节点之间的关联,可提高两个节点之间的关联确定的准确性。
在一个实施例中,目标邻居节点集合中节点的类型包括M种类型,其中,目标邻居节点集合为目标节点的邻居节点集合,目标节点为N个节点中包括M种类型的邻居节点的节点,M为大于1的整数。
在本实施例的邻居节点采样过程中,采样层可采用异构图采样算法(Heterogeneous Graph Sampling,HGSampling)进行采样,如果一个节点包括M种类型的邻居节点,即在目标异构图中该节点的邻居节点中节点的类型为M种,通过采样层进行采样得到的该节点的邻居节点集合中节点的类型包括M种类型,也即是对该节点的每种类型的邻居节点均进行了采样,以提高该节点的邻居节点集合中邻居节点的类型的均衡性,通过将包括M种类型的邻居节点的邻居节点集合作为后续特征提取的依据,由于上述采样得到的邻居节点集合中节点的类型较均衡,考虑了节点的M种类型的邻居节点,特征提取过程中采用了类型较均衡的邻居节点集合,可提高特征提取的效果,从而提高得到的目标特征向量的准确性,另外,通过采样,可以使网络在任意大小的异构图上进行特征提取等。需要说明的是,上述至少两种类型包括M种类型。
在一个实施例中,基于N个节点中无邻接且不同类型的两个节点的目标特征向量,确定两个节点之间的关联,包括:
将两个节点的目标特征向量输入目标分类模型,得到两个节点的目标特征向量之间的关联。
需要说明的是目标分类模型是预先训练好的分类模型,在本申请实施例中对其不作限定,例如,目标分类模型可以是随机森林等。在提取得到N个目标特征向量后,可将无邻接且不同类型的两个节点的目标特征向量输入目标分类模型进行这两个节点之间的关联的预测,得到这两个节点之间的关联。
在本实施例中,通过目标图卷积神经网络确定N个目标特征向量后,可通过目标分类模型对N个节点中无邻接且不同类型的两个节点之间的关联进行预测,从而实现对目标异构图中两个节点之间的关联的预测,由于通过上述目标图卷积神经网络进行特征提取,可提高得到的目标特征向量的准确性,从而可提高对目标异构图中不同类型节点之间的关联的预测的准确性。
在一个实施例中,基于预设总采样数量以及N个节点的邻居节点的类型对N个节点的邻居节点进行采样,得到N个节点中每个节点的邻居节点集合,包括:
根据参考节点的初始特征向量以及参考节点的邻居节点的初始特征向量,计算参考节点与参考节点的邻居节点之间的相似度,参考节点为N个节点中的任一节点;
基于目标采样规则、预设总采样数量、参考节点与参考节点的邻居节点之间的相似度以及参考节点的邻居节点的类型进行采样,得到参考节点的邻居节点集合。
可以理解,在邻居节点采样过程中,不但考虑了节点的邻居节点的类型,还考虑了节点与邻居节点间的相似度,且采样得到的参考节点的邻居节点集合满足目标采样规则,如此,可提高采样得到的邻居节点集合的准确性。
需要说明的是,在采样过程中,相似度高的优先采样,例如,对于参考节点的同一类型的邻居节点中,与参考节点之间的相似度高的邻居节点优先采样。在一个示例中,若参考节点具有M种类型的邻居节点,对每种类型的邻居节点均进行采样,对任一类型的邻居节点进行采样的过程中,该类型的邻居节点中相似度高的优先采样。
在一个实施例中,目标采样规则包括以下任一项:
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量为M的正整数倍的情况下,参考节点的M种类型的邻居节点的采样数量相同;
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量不为M的正整数倍的情况下,参考节点的M-1种类型的邻居节点的采样数量相同,参考节点的目标类型的邻居节点的采样数量为预设总采样数量与M-1种类型的邻居节点的采样数量总数之间的差,其中,目标类型为M种类型中除M-1种类型之外的一种类型。
可以理解,在参考节点的邻居节点的类型包括M种类型,且预设总采样数量为M的正整数倍的情况下,可对参考节点的不同类型的邻居节点进行等比例采样,即参考节点的M种类型的邻居节点的采样数量相同,参考节点的M种类型的邻居节点的采样数量之和为预设总采样数量,得到的参考节点的邻居节点集合中每种类型的节点的数量相同,如此,可提高邻居节点采样的均匀性,这样通过采样得到N个节点的邻居节点集合进行后续的特征提取,可提高特征提取效果,使得到的目标特征向量的准确性提高。
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量不为M的正整数倍的情况下,无法所有类型的邻居节点的等比例采样,但仍然可以实现部分类型的邻居节点的等比例采样,例如,参考节点的M-1种类型的邻居节点的采样数量相同,即可对参考节点的M-1种类型的邻居节点进行等比例采样,参考节点的目标类型的邻居节点的采样数量为预设总采样数量与M-1种类型的邻居节点的采样数量总数之间的差,即目标类型的邻居节点的采样数量与其他类型的邻居节点的采样数据不同,得到的参考节点的邻居节点集合中M-1种类型的节点的数量相同。在本示例中,可实现对参考节点的M-1种类型的邻居节点进行等比例采样,只有一个类型的邻居节点的采样数量与其他类型的邻居的采样数量不同,提高可提高邻居节点采样的均匀性,这样通过采样得到N个节点的邻居节点集合进行后续的特征提取,可提高特征提取效果,使得到的目标特征向量的准确性提高。作为一个示例,若预设总采样数量为K,可以选取满足公式(M-1)*a+b=K的最大的a作为M-1种类型中任一类型的邻居节点的采样数量,*表示乘号,需要说明的是M-1种类型中任一类型的邻居节点的采样数量为正整数,剩余的目标类型的邻居节点的采样数量为整数,a为正整数,b为正整数,b表示剩余的目标类型的邻居节点的可选取的采样数量,例如,可以表示小于预设总采样数量的可选的正整数,预设总采样数量为大于1的整数,a表示M-1种类型中任一类型的邻居节点可选取的采样数量,例如,可以表示小于预设总采样数量的可选的正整数。
另外,需要说明的是,在参考节点的邻居节点的类型只包括一种类型的情况下,则在参考节点的该类型的邻居节点中采样预设总采样数量个邻居节点,得到该参考节点的邻居节点集合。
在一个实施例中,目标图卷积神经网络还包括目标嵌入层(Embedding层),目标嵌入层用于对N个节点中每个节点的初始特征向量进行特征映射,得到N个节点中每个节点的映射特征向量;
目标图卷积神经网络中的目标图卷积层用于基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量,包括:
目标图卷积层用于基于N个映射特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量。
由于N个节点包括至少两种类型的节点,节点在通过初始特征向量进行表示的过程中,由于节点的类型不同,初始特征向量表示空间不同,目标异构图中不同种类的节点属于不同的维度空间,若要将目标异构图的节点投影到相同的载体空间中,则需要对初始特征向量进行特征映射,映射到相同空间下的表示,在本实施例中,目标图卷积神经网络中还包括嵌入层,也可称为特征映射层,可将N个节点中每个节点的初始特征向量进行特征映射,得到N个节点中每个节点的映射特征向量,即得到N个映射特征向量,不但可实现对特征向量的降维,而且可得到相同空间下的N个节点的特征表示,即N个节点的映射特征向量,然后目标图卷积层是利用特征映射后的得到的N个映射特征向量、目标异构图的邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点的目标特征向量,可提高目标特征向量的准确性。
例如,目标嵌入层通过以下公式对N个节点中第j种类型的节点的初始特征向量进行特征映射,得到第j种类型的节点的映射特征向量Ej:
Ej=XjWj
Xj表示N个节点中第j种类型的节点的初始特征向量构成的初始特征矩阵,维度为Nj行C列,Nj为第j种类型的节点的数量,C为初始特征向量的维度,Wj为目标嵌入层中的第j类参数,维度为C行F列,目标嵌入层中,节点的每种类型对应一类参数。
在一个实施例中,目标图卷积层包括L层子目标图卷积层,L为大于1的整数;
其中,L层子目标图卷积层中第1层子目标图卷积层对N个映射特征向量进行特征提取,得到N个节点中每个节点的第1层特征向量,L层子目标图卷积层中的第i层子目标图卷积层对第i-1层子目标图卷积层得到的N个第i-1层特征向量进行特征提取,得到N个节点中每个节点的第i层特征向量,i为整数,且2≤i≤L,N个目标特征向量为第L层子目标图卷积层得到的N个第L层特征向量。
可以理解,若i为1,第i层子目标图卷积层的输入包括N个映射特征向量,若i大于1,则第i层子目标图卷积层的输入包括第i-1层子目标图卷积层输出的N个第i-1层特征向量。
在本实施例中,目标图卷积神经网络中的目标图卷积层可采用L层子目标图卷积层,相邻两层子目标图卷积层中后一个子图卷积层在前一个子图卷积层的输出的特征向量基础上进行图卷积处理,通过最后一层即第L层子目标图卷积层在第L-1层子目标图卷积层输出的特征向量的基础上进行处理,得到N个节点中每个节点的目标特征向量,如此,通过级联的L层子目标图卷积层进行特征提取,可提取到更为准确表征节点的特征向量,提高得到的目标特征向量的准确性。
在一个实施例中,第l层子目标图卷积层输出的N个节点中节点v的第l层特征向量,可以通过以下方式得到:
Concat表示拼接,具体可表示列拼接,l表示L层中的第l层,1≤l≤L,σ1为第一激活函数,可以为LeakyReLU等激活函数,表示第l层子目标图卷积层输出的节点v的第l层特征向量,表示第l-1层子目标图卷积层输出的节点v的第l-1层特征向量,l为1时,l-1为0,表示节点v的初始特征向量,维度为1行C列,若在进行特征提取前,对初始特征向量进行了映射,则表示节点v的映射特征向量,维度则为1行F列。N(v)表示节点v的邻居节点集合,为在第l层子目标图卷积层节点v的邻居节点集合的第l-1层聚合特征向量的平均特征向量,即为节点v的第l层聚合特征向量,即即目标图卷积神经网络采用的聚合方式是均值的聚合方式,需要说明的是,还可通过其他方式进行聚合,例如,Pooling(池化)、LSTM(Long Short-Term Memory,长短期记忆网络)方式等。其维度可以是1行C列,若初始特征向量经过了映射,则其维度为1行F列,k为N(v)中的节点数量,为节点u的第l-1层聚合特征向量,l-1为0时,表示节点u的初始特征向量,若初始特征向量经过了映射,则表示节点u的映射特征向量。第L层子目标图卷积层输出的节点v的第L层特征向量,即为节点v的目标特征向量。N个节点的第L层特征向量组成第L层特征矩阵HL,即N个节点的特征矩阵,Hl表示N个节点的第l层特征向量组成的特征矩阵,的维度和的维度均可为N行C列,则拼接和后,维度可以是N行2C列,若初始特征向量经过了映射,则维度为N行F列,则拼接和后,维度可以是N行2F列。Wl表示第l层子目标图卷积层的参数,维度为2C行E列,若是初始特征向量经过了映射,则维度可以是2F行E列。
在一个实施例中,至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,疾病类型的任一节点用于表示一种疾病,微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸。
即本申请实施的信息处理方法可用于生物信息学,微小核糖核酸即miRNAs,长链非编码核糖核酸即lncRNAs。在至少两种类型包括疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型的情况下,微小核糖核酸和疾病的关系主要是为了丰富疾病节点的表示,可将无邻接的两个节点的目标特征向量输入目标分类模型进行关联预测,这里的两个节点中一个节点可属于疾病类型,另一个节点可属于长链非编码核糖核酸类型,两个节点中一个节点可属于疾病类型,另一个节点可属于微小核糖核酸类型。
在一个实施例中,所述至少两种类型包括:
用户类型和待推荐对象类型,所述用户类型的任一节点用于表示一个用户,所述待推荐对象类型的任一节点用于表示一个对象。
即本申请实施的信息处理方法可用于对象推荐领域,上述对象可以是但不限于商品、书籍、视频、图像、音乐、电影、主题、基金、理财、贷款产品等,基金、理财以及贷款产品可以理解是金融产品。作为一个示例,上述信息处理方法可应用于金融场景,例在金融场景下,上述对象可以是但不限于基金、理财、贷款产品等金融产品。
对于至少两种类型包括用户类型和待推荐对象类型的情况,如图3所示,目标异构图中包括多个用户以及多个待推荐商品,基于无邻接的一个用户和一个待推荐商品的目标特征向量进行关联预测,如图4所示,预测得到连接的概率与预设概率阈值(例如0.5)进行比较,在大于预设概率阈值的情况下,可向该用户推荐该待推荐商品,若概率小于或等于预设概率阈值,则不向该用户推荐该待推荐商品。
如图5所示,还提供一种实施例的一种网络训练方法,该方法可由具有数据处理功能的设备执行,该方法包括:
步骤501、获取训练异构图,训练异构图中包括P个节点,P个节点的类型包括至少两种类型,P为大于1的整数;
步骤502、获取P个节点中每个节点的初始特征向量以及训练异构图的邻接矩阵;
步骤503、基于P个初始特征向量以及训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络。
需要说明的是,本申请实施例的网络训练方法可由具有数据处理功能的设备执行,该设备中配置有数据处理系统,作为一个示例,本申请实施例中的网络训练方法可通过该设备中的数据处理系统执行。本申请实施例中具有数据处理功能的设备执行各实施例的网络训练方法,也可以执行各实施例的信息处理方法。
需要说明的是,迭代训练的停止条件可以是迭代次数达到预设迭代次数或目标损失函数收敛等,P个节点中不同类型的节点用于表示不同信息,例如,P个节点的至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,疾病类型的任一节点用于表示一种疾病,微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸;
用户类型和待推荐对象类型,用户类型的任一节点用于表示一个用户,待推荐对象类型的任一节点用于表示一个对象。
在本实施例的网络训练方法中,采用的是异构图的初始特征向量以及训练异构图的邻接矩阵对初始图卷积神经网络进行训练,得到目标图卷积神经网络,以提高目标图卷积神经网络对异构图的处理效果。
在一个实施例中,基于P个初始特征向量以及训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络,包括:
初始图卷积神经网络中的采样层基于P个节点的邻居节点的类型对P个节点的邻居节点进行采样,得到P个节点中每个节点的邻居节点集合;
初始卷积神经网络中的图卷积层基于P个初始特征向量、训练异构图的邻接矩阵以及P个邻居节点集合进行特征提取,得到P个节点中每个节点的训练特征向量;
初始卷积神经网络中的解码层基于P个训练特征向量进行解码得到重构的邻接矩阵;
根据训练异构图的邻接矩阵以及重构的邻接矩阵,确定目标损失函数;
采用目标损失函数对初始图卷积神经网络进行训练,得到目标图卷积神经网络。
在一个实施例中,第一邻居节点集合中节点的类型包括m种类型,m为大于1的整数,第一邻居节点集合为第一节点的邻居节点集合,第一节点为P个节点中包括m种类型的邻居节点的节点。
在一个实施例中,初始卷积神经网络中的解码层基于P个节点的训练特征向量进行解码得到重构的邻接矩阵,包括:
解码层对目标结果进行解码得到重构的邻接矩阵,其中,目标结果为第一结果与第二结果之和,第一结果为目标特征矩阵的转置、初始图卷积神经网络中的第一模型参数矩阵和目标特征矩阵的乘积,第二结果为目标特征矩阵的转置与目标特征矩阵的乘积,目标特征矩阵为P个节点的训练特征向量构成的矩阵。
即在本实施例中,采用一种优化的解码方法进行解码得到重构的邻接矩阵,解码层通过以下公式进行解码得到重构的邻接矩阵A′:
A′=σ2(ZTWsZ+ZTZ)。
σ2为第二激活函数,例如,可以为Sigmoid激活函数,即第一结果为ZTWsZ,第二结果为ZTZ。Ws表示解码层的参数(即对应第一模型参数矩阵),Z表示P个节点的训练特征向量构成的目标特征矩阵。通过训练参数Ws来提升预测节点之间潜在关联的稳定性。重构的邻接矩阵A′可以反映节点之间的连接概率,节点的特征向量之间相似度越高,该概率值越接近1,反之越接近0。
在一个实施例中,目标损失函数为目标交叉熵函数与惩罚函数之和,惩罚函数为预设调节参数与惩罚项的乘积,惩罚项为初始图卷积神经网络中模型参数的正则化结果,目标交叉商函数为基于邻接矩阵与重构的邻接矩阵确定的交叉商函数。
例如,损失函数Ls可以为:
Ls=LGAE+λLreg=J(A′,A)+λ||θ||2
LGAE为邻接矩阵的重构损失函数,即为J(A′,A),表示训练异构图的邻接矩阵与重构的邻接矩阵构成的交叉熵函数,λ为预设调节参数,Lreg表示惩罚项,即为||θ||2,||θ||2表示初始图卷积神经网络中多个模型参数的正则化结果,θ指初始图卷积神经网络中的多个模型参数,该惩罚项通过L2正则化对模型参数做一些限制,降低了模型参数θ中非零元素的数量,即降低模型复杂度,从而避免出现过拟合的情况,增强模泛化能力。
需要说明的是,初始图卷积神经网络中包括多个模型参数,例如,多个模型参数包括初始图卷积神经网络中嵌入层的参数、初始图卷积神经网络中图卷积层的参数以及初始图卷积神经网络中解码层中的参数等。训练过程即是对模型参数的不断调整过程,训练完成得到目标图卷积神经网络,目标图卷积神经网络中的目标嵌入层的参数即是对初始图卷积神经网络中嵌入层的参数训练后得到的参数,目标图卷积神经网络中的目标图卷积层的参数即是对初始图卷积神经网络中图卷积层的参数训练后得到的参数,目标图卷积神经网络中的目标解码层的参数即是对初始图卷积神经网络中解码层的参数训练后得到的参数。
需要说明的是,上述目标图卷积神经网络是通过上述实施例的网络训练方法进行训练得到的,即网络训练方法各实施例的技术特征与上述信息处理方法中的目标图卷积神经网络的技术特征一一对应,在此不再赘述。
下面以具体实施例对上述方法的过程加以说明。以目标图卷积神经网络为目标GraphSAGE(Graph sample and aggregate),采样算法采用HGSampling为例。
如图6所示,为本申请中对初始GraphSAGE训练得到目标GraphSAGE的过程。获取训练异构图,获取训练异构图的初始特征向量和邻接矩阵A,将其输入编码器,即在编码器(Encoder)阶段,初始GraphSAGE中采用HGSampling采样,使用两层GraphSAGE图卷积层,即使用GraphSAGE图卷积层+HGSampling的形式实现编码。在解码器阶段,采用优化的解码方式进行对编码器阶段的输出进行解码,得到训练异构图的重构的邻接矩阵A′。训练过程中的损失函数即采用Ls=LGAE+λLreg=J(A′,A)+λ||θ||2,通过该损失函数进行网络中参数的调整,在训练完成后得到目标图卷积神经网络。
如图7所示,将目标图卷积神经网络应用于待处理的二部异构图,即目标异构图为二部异构图,包括第一类型的节点和第二类型的节点。
首先构造二部异构图:根据节点特征相似度为单个类型图内部节点之间建立边(例如,若第一类型的节点为miRNAs节点,可根据功能相似性建立连边,若第二类型的节点为疾病类型的节点,可根据医学主题词语义相似性建立连边);根据已知第一类型的节点和第二类型的节点(即不同类型节点)之间的(例如,miRNAs节点与疾病节点)关系建立连边,如此,得到二部异构图。
然后,通过目标图卷积神经网络获得二部异构图中各节点的低维表示,即得到二部异构图中各节点的目标特征向量。
将二部异构图中各节点中无连边的且不同类型的任意两个节点的(例如,一个节点为miRNAs节点,另一个节点为二部异构图中与该节点无连边的疾病节点)的目标特征向量输入到目标分类模型(例如,随机森林)中,通过目标分类模型确定这两个节点之间的关联。
如图8所示,将目标图卷积神经网络应用于待处理的包括三种类型的节点的目标异构图,包括第一类型的节点、第二类型的节点和第三类型的节点。
首先构造目标异构图:根据节点特征相似度为单个类型图内部节点之间建立边(例如,若第一类型的节点为miRNAs节点,可根据功能相似性建立连边,若第二类型的节点为疾病类型的节点,可根据医学主题词语义相似性建立连边,若第三类型的节点为lncRNAs节点,可根据功能相似性建立连边);根据已知不同类型的节点之间的(例如,miRNAs节点与疾病节点,lncRNAs节点与疾病节点)关系建立连边,如此,得到目标异构图。
然后,通过目标图卷积神经网络获得目标异构图中各节点的低维表示,即得到目标异构图中各节点的目标特征向量。
将目标异构图中各节点中无连边的且不同类型的任意两个节点的(例如,一个节点为miRNAs节点,另一个节点为目标异构图中与该节点无连边的疾病节点,又例如,一个节点为lncRNAs节点,另一个节点为目标异构图中与该节点无连边的疾病节点)的目标特征向量输入到目标分类模型(例如,随机森林)中,通过目标分类模型确定这两个节点之间的关联。
通过经典公开数据集HMDD v2.0验证本申请目标图卷积神经网络的有效性,即主要是将miRNAs与疾病节点构成的二部异构图作为网络的输入。将与现有WBSMDA、RFMDA、PBMDA、LLCMDA、EDTMDA、GBDT-LR、MCLPMDA、GAEMDA八个模型的预测结果进行了比较。为了公平比较,以上模型均进行了5倍交叉验证,设置相同的随机种子,以平均的AUC值来综合衡量这些模型的预测性能。由于都是基于GAE(一种图自编码器,是无监督学习领域中一个非常重要的工具)进行不同类型节点的关联性预测,这里主要与GAEMDA进行比较。如表1所示,为各模型的AUC值比较结果。
表1
模型 | AUC(%) |
WBSMDA | 81.85 |
RFMDA | 88.18 |
PBMDA | 91.72 |
LLCMDA | 91.90 |
EDTMDA | 91.92 |
GBDT-LR | 92.74 |
MCLPMDA | 93.20 |
GAEMDA | 93.56 |
本申请 | 93.74 |
由上述表1可知,通过本申请的目标图卷积神经网络,可有效对异构图进行特征提取,利用分类模型对本申请提取的节点的目标特征向量进行关联预测,可提高预测稳定性。
如图9所示,将目标图卷积神经网络应用于商品推荐场景中,例如,通过目标图卷积神经网络对包括用户类型的节点以及商品类型的节点的二部异构图进行处理,通过目标图卷积神经网络获得该二部异构图中各节点的低维表示,即得到二部异构图中各节点的目标特征向量。
将该二部异构图中各节点中无连边的且不同类型的任意两个节点的(例如,一个节点为用户节点,另一个节点为二部异构图中与该节点无连边的商品节点)的目标特征向量输入到目标分类模型(例如,随机森林)中,通过目标分类模型确定这两个节点之间的关联,根据确定的关联结果,确定是否向该用户推荐该商品,例如,将关联预测得到该用户与该商品连接的概率与预设概率阈值(例如0.5)进行比较,在大于预设概率阈值的情况下,可向该用户推荐该商品,若概率小于或等于预设概率阈值,则不向该用户推荐该商品。
参见图10,图10是本申请实施例提供的信息处理装置的结构图,能实现上述实施例中信息处理方法的细节,并达到相同的效果。如图10所示,信息处理方法装置1000,可应用于具有数据处理功能的设备,装置1000包括:
第一获取模块1001,用于获取目标异构图,目标异构图中包括N个节点,且N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
第二获取模块1002,用于获取N个节点中每个节点的初始特征向量以及目标异构图的邻接矩阵;
特征提取模块1003,用于将N个初始特征向量以及邻接矩阵输入目标图卷积神经网络进行特征提取,得到N个节点中每个节点的目标特征向量;
关联确定模块1004,用于基于N个节点中无邻接且不同类型的两个节点的目标特征向量,确定两个节点之间的关联;
其中,目标图卷积神经网络中的采样层用于基于预设总采样数量以及N个节点的邻居节点的类型对N个节点的邻居节点进行采样,得到N个节点中每个节点的邻居节点集合,N个节点中任一节点的邻居节点集合中的节点数量为预设总采样数量;目标图卷积神经网络中的目标图卷积层用于基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量。
在一个实施例中,目标邻居节点集合中节点的类型包括M种类型,其中,目标邻居节点集合为目标节点的邻居节点集合,目标节点为N个节点中包括M种类型的邻居节点的节点,M为大于1的整数。
在一个实施例中,基于N个节点中无邻接且不同类型的两个节点的目标特征向量,确定两个节点之间的关联,包括:
将两个节点的目标特征向量输入目标分类模型,得到两个节点的目标特征向量之间的关联。
在一个实施例中,目标图卷积神经网络中的采样层基于预设总采样数量以及N个节点的邻居节点的类型对N个节点的邻居节点进行采样,得到N个节点中每个节点的邻居节点集合,包括:
根据参考节点的初始特征向量以及参考节点的邻居节点的初始特征向量,计算参考节点与参考节点的邻居节点之间的相似度,参考节点为N个节点中的任一节点;
基于目标采样规则、预设总采样数量、参考节点与参考节点的邻居节点之间的相似度以及参考节点的邻居节点的类型进行采样,得到参考节点的邻居节点集合。
在一个实施例中,目标采样规则包括以下任一项:
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量为M的正整数倍的情况下,参考节点的M种类型的邻居节点的采样数量相同;
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量不为M的正整数倍的情况下,参考节点的M-1种类型的邻居节点的采样数量相同,参考节点的目标类型的邻居节点的采样数量为预设总采样数量与M-1种类型的邻居节点的采样数量总数之间的差,其中,目标类型为M种类型中除M-1种类型之外的一种类型。
在一个实施例中,目标图卷积神经网络还包括目标嵌入层,目标嵌入层用于对N个节点中每个节点的初始特征向量进行特征映射,得到N个节点中每个节点的映射特征向量;
其中,目标图卷积神经网络中的目标图卷积层用于基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量,包括:
目标图卷积层用于基于N个映射特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量。
在一个实施例中,目标图卷积层包括L层子目标图卷积层,L为大于1的整数;
其中,L层子目标图卷积层中第1层子目标图卷积层对N个映射特征向量进行特征提取,得到N个节点中每个节点的第1层特征向量,L层子目标图卷积层中的第i层子目标图卷积层对第i-1层子目标图卷积层得到的N个第i-1层特征向量进行特征提取,得到N个节点中每个节点的第i层特征向量,i为整数,且2≤i≤L,N个目标特征向量为第L层子目标图卷积层得到的N个第L层特征向量。
在一个实施例中,至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,疾病类型的任一节点用于表示一种疾病,微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸;
用户类型和待推荐对象类型,用户类型的任一节点用于表示一个用户,待推荐对象类型的任一节点用于表示一个对象。
参见图11,图11是本申请实施例提供的网络训练装置的结构图,能实现上述实施例中网络训练方法的细节,并达到相同的效果。如图11所示,网络训练装置1100,可应用于具有数据处理功能的设备,装置1100包括:
第三获取模块1101,用于获取训练异构图,训练异构图中包括P个节点,P个节点的类型包括至少两种类型,P为大于1的整数;
第四获取模块1102,用于获取P个节点中每个节点的初始特征向量以及训练异构图的邻接矩阵
训练模块1103,用于基于P个初始特征向量以及训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络。
在一个实施例中,训练模块1103,包括:
集合确定模块,用于通过初始图卷积神经网络中的采样层基于P个节点的邻居节点的类型对P个节点的邻居节点进行采样,得到P个节点中每个节点的邻居节点集合;
向量确定模块,用于通过初始卷积神经网络中的图卷积层基于P个初始特征向量、训练异构图的邻接矩阵以及P个邻居节点集合进行特征提取,得到P个节点中每个节点的训练特征向量;
矩阵确定模块,用于通过初始卷积神经网络中的解码层基于P个训练特征向量进行解码得到重构的邻接矩阵;
函数确定模块,用于根据训练异构图的邻接矩阵以及重构的邻接矩阵,确定目标损失函数;
子训练模块,用于采用目标损失函数对初始图卷积神经网络进行训练,得到目标图卷积神经网络。
在一个实施例中,对于训练异构图中包括m种类型的邻居节点的第三节点,第三节点的邻居节点集合中节点的类型包括m种类型,m为大于1的整数。
在一个实施例中,初始卷积神经网络中的解码层基于P个节点的训练特征向量进行解码得到重构的邻接矩阵,包括:
解码层对目标结果进行解码得到重构的邻接矩阵,其中,目标结果为第一结果与第二结果之和,第一结果为目标特征矩阵的转置、初始图卷积神经网络中的第一模型参数矩阵和目标特征矩阵的乘积,第二结果为目标特征矩阵的转置与目标特征矩阵的乘积,目标特征矩阵为P个节点的训练特征向量构成的矩阵。
在一个实施例中,目标损失函数为目标交叉熵函数与惩罚函数之和,惩罚函数为预设调节参数与惩罚项的乘积,惩罚项为初始图卷积神经网络中模型参数的正则化结果,目标交叉商函数为基于邻接矩阵与重构的邻接矩阵确定的交叉商函数。
图12为实现本申请各个实施例的一种电子设备的硬件结构示意图。
该电子设备1200包括但不限于:射频单元1201、网络模块1202、音频输出单元1203、输入单元1204、传感器1205、显示单元1206、用户输入单元1207、接口单元1208、存储器1209、处理器1210、以及电源1211等部件。本领域技术人员可以理解,图12中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本申请实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、服务器、可穿戴设备、以及计步器等。
其中,处理器1210,用于:
获取目标异构图,目标异构图中包括N个节点,且N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
获取N个节点中每个节点的初始特征向量以及目标异构图的邻接矩阵;
将N个初始特征向量以及邻接矩阵输入目标图卷积神经网络进行特征提取,得到N个节点中每个节点的目标特征向量;
基于N个节点中无邻接且不同类型的两个节点的目标特征向量,确定两个节点之间的关联;
其中,目标图卷积神经网络中的采样层用于基于预设总采样数量以及N个节点的邻居节点的类型对N个节点的邻居节点进行采样,得到N个节点中每个节点的邻居节点集合,N个节点中任一节点的邻居节点集合中的节点数量为预设总采样数量;目标图卷积神经网络中的目标图卷积层用于基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量。
在一个实施例中,目标邻居节点集合中节点的类型包括M种类型,其中,目标邻居节点集合为目标节点的邻居节点集合,目标节点为N个节点中包括M种类型的邻居节点的节点,M为大于1的整数。
在一个实施例中,处理器1210,还用于:
将两个节点的目标特征向量输入目标分类模型,得到两个节点的目标特征向量之间的关联。
在一个实施例中,处理器1210,还用于:
根据参考节点的初始特征向量以及参考节点的邻居节点的初始特征向量,计算参考节点与参考节点的邻居节点之间的相似度,参考节点为N个节点中的任一节点;
基于目标采样规则、预设总采样数量、参考节点与参考节点的邻居节点之间的相似度以及参考节点的邻居节点的类型进行采样,得到参考节点的邻居节点集合。
在一个实施例中,目标采样规则包括以下任一项:
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量为M的正整数倍的情况下,参考节点的M种类型的邻居节点的采样数量相同;
在参考节点的邻居节点的类型包括M种类型,且预设总采样数量不为M的正整数倍的情况下,参考节点的M-1种类型的邻居节点的采样数量相同,参考节点的目标类型的邻居节点的采样数量为预设总采样数量与M-1种类型的邻居节点的采样数量总数之间的差,其中,目标类型为M种类型中除M-1种类型之外的一种类型。
在一个实施例中,目标图卷积神经网络还包括目标嵌入层,目标嵌入层用于对N个节点中每个节点的初始特征向量进行特征映射,得到N个节点中每个节点的映射特征向量;
其中,目标图卷积神经网络中的目标图卷积层用于基于N个初始特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量,包括:
目标图卷积层用于基于N个映射特征向量、邻接矩阵以及N个邻居节点集合进行特征提取,得到N个节点中每个节点的目标特征向量。
在一个实施例中,目标图卷积层包括L层子目标图卷积层,L为大于1的整数;
其中,L层子目标图卷积层中第1层子目标图卷积层对N个映射特征向量进行特征提取,得到N个节点中每个节点的第1层特征向量,L层子目标图卷积层中的第i层子目标图卷积层对第i-1层子目标图卷积层得到的N个第i-1层特征向量进行特征提取,得到N个节点中每个节点的第i层特征向量,i为整数,且2≤i≤L,N个目标特征向量为第L层子目标图卷积层得到的N个第L层特征向量。
在一个实施例中,至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,疾病类型的任一节点用于表示一种疾病,微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸;
用户类型和待推荐对象类型,用户类型的任一节点用于表示一个用户,待推荐对象类型的任一节点用于表示一个对象。
或者,处理器1210,用于:
获取训练异构图,训练异构图中包括P个节点,P个节点的类型包括至少两种类型,P为大于1的整数;
获取P个节点中每个节点的初始特征向量以及训练异构图的邻接矩阵
基于P个初始特征向量以及训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络。
在一个实施例中,处理器1210,还用于:
通过初始图卷积神经网络中的采样层基于P个节点的邻居节点的类型对P个节点的邻居节点进行采样,得到P个节点中每个节点的邻居节点集合;
通过初始卷积神经网络中的图卷积层基于P个初始特征向量、训练异构图的邻接矩阵以及P个邻居节点集合进行特征提取,得到P个节点中每个节点的训练特征向量;
通过初始卷积神经网络中的解码层基于P个训练特征向量进行解码得到重构的邻接矩阵;
根据训练异构图的邻接矩阵以及重构的邻接矩阵,确定目标损失函数;
采用目标损失函数对初始图卷积神经网络进行训练,得到目标图卷积神经网络。
在一个实施例中,对于训练异构图中包括m种类型的邻居节点的第三节点,第三节点的邻居节点集合中节点的类型包括m种类型,m为大于1的整数。
在一个实施例中,初始卷积神经网络中的解码层基于P个节点的训练特征向量进行解码得到重构的邻接矩阵,包括:
解码层对目标结果进行解码得到重构的邻接矩阵,其中,目标结果为第一结果与第二结果之和,第一结果为目标特征矩阵的转置、初始图卷积神经网络中的第一模型参数矩阵和目标特征矩阵的乘积,第二结果为目标特征矩阵的转置与目标特征矩阵的乘积,目标特征矩阵为P个节点的训练特征向量构成的矩阵。
在一个实施例中,目标损失函数为目标交叉熵函数与惩罚函数之和,惩罚函数为预设调节参数与惩罚项的乘积,惩罚项为初始图卷积神经网络中模型参数的正则化结果,目标交叉商函数为基于邻接矩阵与重构的邻接矩阵确定的交叉商函数。
本申请实施例同样具有与上述图1或图5所示实施例相同的有益技术效果,具体在此不再赘述。
应理解的是,本申请实施例中,射频单元1201可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器1210处理;另外,将上行的数据发送给基站。通常,射频单元1201包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元1201还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块1202为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元1203可以将射频单元1201或网络模块1202接收的或者在存储器1209中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1203还可以提供与电子设备1200执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1203包括扬声器、蜂鸣器以及受话器等。
输入单元1204用于接收音频或视频信号。输入单元1204可以包括图形处理器(Graphics Processing Unit,GPU)12041和麦克风12042,图形处理器12041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1206上。经图形处理器12041处理后的图像帧可以存储在存储器1209(或其它存储介质)中或者经由射频单元1201或网络模块1202进行发送。麦克风12042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1201发送到移动通信基站的格式输出。
电子设备1200还包括至少一种传感器1205,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板12061的亮度,接近传感器可在电子设备1200移动到耳边时,关闭显示面板12061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器1205还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元1206用于显示由用户输入的信息或提供给用户的信息。显示单元1206可包括显示面板12061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板12061。
用户输入单元1207可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1207包括触控面板12071以及其他输入设备12072。触控面板12071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板12071上或在触控面板12071附近的操作)。触控面板12071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1210,接收处理器1210发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板12071。除了触控面板12071,用户输入单元1207还可以包括其他输入设备12072。具体地,其他输入设备12072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板12071可覆盖在显示面板12061上,当触控面板12071检测到在其上或附近的触摸操作后,传送给处理器1210以确定触摸事件的类型,随后处理器1210根据触摸事件的类型在显示面板12061上提供相应的视觉输出。虽然在图12中,触控面板12071与显示面板12061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板12071与显示面板12061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元1208为外部装置与电子设备1200连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1208可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备1200内的一个或多个元件或者可以用于在电子设备1200和外部装置之间传输数据。
存储器1209可用于存储软件程序以及各种数据。存储器1209可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1209可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1210是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器1209内的软件程序和/或模块,以及调用存储在存储器1209内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器1210可包括一个或多个处理单元;优选的,处理器1210可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1210中。
电子设备1200还可以包括给各个部件供电的电源1211(比如电池),优选的,电源1211可以通过电源管理系统与处理器1210逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备1200包括一些未示出的功能模块,在此不再赘述。
优选的,本申请实施例还提供一种电子设备,包括处理器1210,存储器1209,存储在存储器1209上并可在处理器1210上运行的计算机程序,该计算机程序被处理器1210执行时实现上述信息处理方法实施例的各个过程或实现上述网络训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述信息处理方法实施例的各个过程或实现上述网络训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (15)
1.一种信息处理方法,其特征在于,由具有数据处理功能的设备执行,所述方法包括:
获取目标异构图,所述目标异构图中包括N个节点,且所述N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
获取所述N个节点中每个节点的初始特征向量以及所述目标异构图的邻接矩阵;
将N个初始特征向量以及所述邻接矩阵输入目标图卷积神经网络进行特征提取,得到所述N个节点中每个节点的目标特征向量;
基于所述N个节点中无邻接且不同类型的两个节点的目标特征向量,确定所述两个节点之间的关联;
其中,所述目标图卷积神经网络中的采样层用于基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,所述N个节点中任一节点的邻居节点集合中的节点数量为所述预设总采样数量;所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量;
所述基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,包括:
根据参考节点的初始特征向量以及所述参考节点的邻居节点的初始特征向量,计算所述参考节点与所述参考节点的邻居节点之间的相似度,所述参考节点为所述N个节点中的任一节点;
基于目标采样规则、所述预设总采样数量、所述参考节点与所述参考节点的邻居节点之间的相似度以及所述参考节点的邻居节点的类型进行采样,得到所述参考节点的邻居节点集合;
所述至少两种类型包括:
用户类型和待推荐对象类型,所述用户类型的任一节点用于表示一个用户,所述待推荐对象类型的任一节点用于表示一个对象;
或者,所述至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,所述疾病类型的任一节点用于表示一种疾病,所述微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
或者,疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,所述长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸。
2.根据权利要求1所述的方法,其特征在于,目标邻居节点集合中节点的类型包括M种类型,其中,所述目标邻居节点集合为目标节点的邻居节点集合,所述目标节点为所述N个节点中包括所述M种类型的邻居节点的节点,M为大于1的整数。
3.根据权利要求1所述的方法,其特征在于,所述基于所述N个节点中无邻接且不同类型的两个节点的目标特征向量,确定所述两个节点之间的关联,包括:
将所述两个节点的目标特征向量输入目标分类模型,得到所述两个节点的目标特征向量之间的关联。
4.根据权利要求1所述的方法,其特征在于,所述目标采样规则包括以下任一项:
在所述参考节点的邻居节点的类型包括M种类型,且预设总采样数量为M的正整数倍的情况下,所述参考节点的M种类型的邻居节点的采样数量相同;
在所述参考节点的邻居节点的类型包括M种类型,且所述预设总采样数量不为M的正整数倍的情况下,所述参考节点的M-1种类型的邻居节点的采样数量相同,所述参考节点的目标类型的邻居节点的采样数量为所述预设总采样数量与所述M-1种类型的邻居节点的采样数量总数之间的差,其中,所述目标类型为所述M种类型中除所述M-1种类型之外的一种类型。
5.根据权利要求1所述的方法,其特征在于,所述目标图卷积神经网络还包括目标嵌入层,所述目标嵌入层用于对所述N个节点中每个节点的初始特征向量进行特征映射,得到所述N个节点中每个节点的映射特征向量;
所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到所述N个节点中每个节点的目标特征向量,包括:
所述目标图卷积层用于基于N个映射特征向量、所述邻接矩阵以及所述N个邻居节点集合进行特征提取,得到所述N个节点中每个节点的目标特征向量。
6.根据权利要求5所述的方法,其特征在于,所述目标图卷积层包括L层子目标图卷积层,L为大于1的整数;
其中,所述L层子目标图卷积层中第1层子目标图卷积层对所述N个映射特征向量进行特征提取,得到所述N个节点中每个节点的第1层特征向量,所述L层子目标图卷积层中的第i层子目标图卷积层对第i-1层子目标图卷积层得到的N个第i-1层特征向量进行特征提取,得到所述N个节点中每个节点的第i层特征向量,i为整数,且2≤i≤L,所述N个目标特征向量为第L层子目标图卷积层得到的N个第L层特征向量。
7.一种图卷积神经网络训练方法,其特征在于,由具有数据处理功能的设备执行,所述方法包括:
获取训练异构图,所述训练异构图中包括P个节点,所述P个节点的类型包括至少两种类型,P为大于1的整数;
获取所述P个节点中每个节点的初始特征向量以及所述训练异构图的邻接矩阵;
基于P个初始特征向量以及所述训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络;
其中,所述目标图卷积神经网络用于基于N个初始特征向量以及目标异构图的邻接矩阵进行特征提取得到N个节点中每个节点的目标特征向量,所述N个初始特征向量包括所述N个节点中每个节点的初始特征向量,所述目标异构图包括所述N个节点,所述N个节点包括所述至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
其中,所述目标图卷积神经网络中的采样层用于基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,所述N个节点中任一节点的邻居节点集合中的节点数量为所述预设总采样数量;所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量;
所述基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,包括:
根据参考节点的初始特征向量以及所述参考节点的邻居节点的初始特征向量,计算所述参考节点与所述参考节点的邻居节点之间的相似度,所述参考节点为所述N个节点中的任一节点;
基于目标采样规则、所述预设总采样数量、所述参考节点与所述参考节点的邻居节点之间的相似度以及所述参考节点的邻居节点的类型进行采样,得到所述参考节点的邻居节点集合;
所述至少两种类型包括:
用户类型和待推荐对象类型,所述用户类型的任一节点用于表示一个用户,所述待推荐对象类型的任一节点用于表示一个对象;
或者,所述至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,所述疾病类型的任一节点用于表示一种疾病,所述微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
或者,疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,所述长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸。
8.根据权利要求7所述的方法,其特征在于,所述基于P个初始特征向量以及所述训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络,包括:
所述初始图卷积神经网络中的采样层基于所述P个节点的邻居节点的类型对所述P个节点的邻居节点进行采样,得到所述P个节点中每个节点的邻居节点集合;
所述初始图卷积神经网络中的图卷积层基于P个初始特征向量、所述训练异构图的邻接矩阵以及P个邻居节点集合进行特征提取,得到所述P个节点中每个节点的训练特征向量;
所述初始卷积神经网络中的解码层基于P个训练特征向量进行解码得到重构的邻接矩阵;
根据所述训练异构图的邻接矩阵以及所述重构的邻接矩阵,确定目标损失函数;
采用所述目标损失函数对所述初始图卷积神经网络进行训练,得到所述目标图卷积神经网络。
9.根据权利要求8所述的方法,其特征在于,第一邻居节点集合中节点的类型包括m种类型,m为大于1的整数,所述第一邻居节点集合为第一节点的邻居节点集合,所述第一节点为所述P个节点中包括所述m种类型的邻居节点的节点。
10.根据权利要求8所述的方法,其特征在于,所述初始卷积神经网络中的解码层基于所述P个节点的训练特征向量进行解码得到重构的邻接矩阵,包括:
所述解码层对目标结果进行解码得到所述重构的邻接矩阵,其中,所述目标结果为第一结果与第二结果之和,所述第一结果为目标特征矩阵的转置、所述初始图卷积神经网络中的第一模型参数矩阵和所述目标特征矩阵的乘积,所述第二结果为所述目标特征矩阵的转置与所述目标特征矩阵的乘积,所述目标特征矩阵为所述P个节点的训练特征向量构成的矩阵。
11.根据权利要求10所述的方法,其特征在于,所述目标损失函数为目标交叉熵函数与惩罚函数之和,所述惩罚函数为预设调节参数与惩罚项的乘积,所述惩罚项为所述初始图卷积神经网络中模型参数的正则化结果,所述目标交叉商函数为基于所述邻接矩阵与所述重构的邻接矩阵确定的交叉商函数。
12.一种信息处理装置,应用于具有数据处理功能的设备,包括:
第一获取模块,用于获取目标异构图,所述目标异构图中包括N个节点,且所述N个节点包括至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
第二获取模块,用于获取所述N个节点中每个节点的初始特征向量以及所述目标异构图的邻接矩阵;
特征提取模块,用于将N个初始特征向量以及所述邻接矩阵输入目标图卷积神经网络进行特征提取,得到所述N个节点中每个节点的目标特征向量;
关联确定模块,用于基于所述N个节点中无邻接且不同类型的两个节点的目标特征向量,确定所述两个节点之间的关联;
其中,所述目标图卷积神经网络中的采样层用于基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,所述N个节点中任一节点的邻居节点集合中的节点数量为所述预设总采样数量;所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量;
所述基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,包括:
根据参考节点的初始特征向量以及所述参考节点的邻居节点的初始特征向量,计算所述参考节点与所述参考节点的邻居节点之间的相似度,所述参考节点为所述N个节点中的任一节点;
基于目标采样规则、所述预设总采样数量、所述参考节点与所述参考节点的邻居节点之间的相似度以及所述参考节点的邻居节点的类型进行采样,得到所述参考节点的邻居节点集合;
所述至少两种类型包括:
用户类型和待推荐对象类型,所述用户类型的任一节点用于表示一个用户,所述待推荐对象类型的任一节点用于表示一个对象;
或者,所述至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,所述疾病类型的任一节点用于表示一种疾病,所述微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
或者,疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,所述长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸。
13.一种图卷积神经网络训练装置,应用于具有数据处理功能的设备,包括:
第三获取模块,用于获取训练异构图,所述训练异构图中包括P个节点,所述P个节点的类型包括至少两种类型,P为大于1的整数;
第四获取模块,用于获取所述P个节点中每个节点的初始特征向量以及所述训练异构图的邻接矩阵
训练模块,用于基于P个初始特征向量以及所述训练异构图的邻接矩阵,对初始图卷积神经网络进行迭代训练,得到目标图卷积神经网络;
其中,所述目标图卷积神经网络用于基于N个初始特征向量以及目标异构图的邻接矩阵进行特征提取得到N个节点中每个节点的目标特征向量,所述N个初始特征向量包括所述N个节点中每个节点的初始特征向量,所述目标异构图包括所述N个节点,所述N个节点包括所述至少两种类型的节点,其中,不同类型的节点用于表示不同信息,N为大于1的整数;
其中,所述目标图卷积神经网络中的采样层用于基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,所述N个节点中任一节点的邻居节点集合中的节点数量为所述预设总采样数量;所述目标图卷积神经网络中的目标图卷积层用于基于所述N个初始特征向量、所述邻接矩阵以及N个邻居节点集合进行特征提取,得到N个目标特征向量;
所述基于预设总采样数量以及所述N个节点的邻居节点的类型对所述N个节点的邻居节点进行采样,得到所述N个节点中每个节点的邻居节点集合,包括:
根据参考节点的初始特征向量以及所述参考节点的邻居节点的初始特征向量,计算所述参考节点与所述参考节点的邻居节点之间的相似度,所述参考节点为所述N个节点中的任一节点;
基于目标采样规则、所述预设总采样数量、所述参考节点与所述参考节点的邻居节点之间的相似度以及所述参考节点的邻居节点的类型进行采样,得到所述参考节点的邻居节点集合;
所述至少两种类型包括:
用户类型和待推荐对象类型,所述用户类型的任一节点用于表示一个用户,所述待推荐对象类型的任一节点用于表示一个对象;
或者,所述至少两种类型包括以下任一项:
疾病类型和微小核糖核酸类型,所述疾病类型的任一节点用于表示一种疾病,所述微小核糖核酸类型的任一节点用于表示一种微小核糖核酸;
或者,疾病类型、长链非编码核糖核酸类型和微小核糖核酸类型,所述长链非编码核糖核酸类型的任一节点用于表示一种长链非编码核糖核酸。
14.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的信息处理方法中的步骤,或者实现如权利要求7至11中任一项所述的图卷积神经网络训练方法中的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的信息处理方法中的步骤,或者实现如权利要求7至11中任一项所述的图卷积神经网络训练方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210042804.2A CN114399028B (zh) | 2022-01-14 | 2022-01-14 | 信息处理方法、图卷积神经网络训练方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210042804.2A CN114399028B (zh) | 2022-01-14 | 2022-01-14 | 信息处理方法、图卷积神经网络训练方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114399028A CN114399028A (zh) | 2022-04-26 |
CN114399028B true CN114399028B (zh) | 2023-04-18 |
Family
ID=81231506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210042804.2A Active CN114399028B (zh) | 2022-01-14 | 2022-01-14 | 信息处理方法、图卷积神经网络训练方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114399028B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114692007B (zh) * | 2022-06-01 | 2022-08-23 | 腾讯科技(深圳)有限公司 | 表示信息的确定方法、装置、设备及存储介质 |
CN115914084A (zh) * | 2022-12-15 | 2023-04-04 | 重庆星网网络系统研究院有限公司 | 一种路由网络表达方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822315A (zh) * | 2021-06-17 | 2021-12-21 | 深圳市腾讯计算机系统有限公司 | 属性图的处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400560A (zh) * | 2020-03-10 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和系统 |
CN111611472B (zh) * | 2020-03-31 | 2024-02-27 | 清华大学 | 一种基于图卷积神经网络的捆绑推荐方法及系统 |
CN112951328B (zh) * | 2021-03-03 | 2022-04-22 | 湖南大学 | 基于深度学习异构信息网络的miRNA-基因关系预测方法及系统 |
CN113420190A (zh) * | 2021-08-23 | 2021-09-21 | 连连(杭州)信息技术有限公司 | 一种商户风险识别方法、装置、设备及存储介质 |
-
2022
- 2022-01-14 CN CN202210042804.2A patent/CN114399028B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822315A (zh) * | 2021-06-17 | 2021-12-21 | 深圳市腾讯计算机系统有限公司 | 属性图的处理方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114399028A (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114399028B (zh) | 信息处理方法、图卷积神经网络训练方法及电子设备 | |
CN111914113B (zh) | 一种图像检索的方法以及相关装置 | |
CN111816159B (zh) | 一种语种识别方法以及相关装置 | |
CN108304388A (zh) | 机器翻译方法及装置 | |
CN111709398B (zh) | 一种图像识别的方法、图像识别模型的训练方法及装置 | |
CN112069414A (zh) | 推荐模型训练方法、装置、计算机设备及存储介质 | |
CN109918684A (zh) | 模型训练方法、翻译方法、相关装置、设备及存储介质 | |
CN112820299B (zh) | 声纹识别模型训练方法、装置及相关设备 | |
CN113190646B (zh) | 一种用户名样本的标注方法、装置、电子设备及存储介质 | |
WO2017088434A1 (zh) | 人脸模型矩阵训练方法、装置及存储介质 | |
CN110798718A (zh) | 一种视频推荐方法以及装置 | |
CN113192537B (zh) | 唤醒程度识别模型训练方法及语音唤醒程度获取方法 | |
CN110162956A (zh) | 确定关联账户的方法和装置 | |
CN114722937A (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
CN116383680A (zh) | 聚类方法、装置、电子设备及计算机可读存储介质 | |
CN112464831B (zh) | 视频分类方法、视频分类模型的训练方法及相关设备 | |
CN107807940B (zh) | 信息推荐方法和装置 | |
US20230232075A1 (en) | Electronic device for providing content recommendation service, and method therefor | |
CN109544241B (zh) | 一种点击率预估模型的构建方法、点击率预估方法和装置 | |
CN116959059A (zh) | 一种活体检测的方法、装置以及存储介质 | |
CN117009878A (zh) | 基于超图的分类方法、装置、计算机设备及存储介质 | |
CN114897158A (zh) | 数据处理模型的训练方法、数据处理方法、装置及设备 | |
CN114120044B (zh) | 图像分类方法、图像分类网络训练方法、装置及电子设备 | |
CN114332521B (zh) | 图像分类方法、装置、移动终端及计算机可读存储介质 | |
CN114254176B (zh) | 分层因子分解机模型训练方法、信息推荐方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |