CN114840717A - 面向图数据的挖掘方法、装置、电子设备及可读存储介质 - Google Patents
面向图数据的挖掘方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114840717A CN114840717A CN202210184010.XA CN202210184010A CN114840717A CN 114840717 A CN114840717 A CN 114840717A CN 202210184010 A CN202210184010 A CN 202210184010A CN 114840717 A CN114840717 A CN 114840717A
- Authority
- CN
- China
- Prior art keywords
- graph
- data
- index
- node
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000007418 data mining Methods 0.000 title claims description 35
- 238000000547 structure data Methods 0.000 claims abstract description 100
- 238000004364 calculation method Methods 0.000 claims abstract description 54
- 238000005070 sampling Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 53
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 abstract description 22
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000003012 network analysis Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009509 drug development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种面向图数据的挖掘方法、装置、电子设备及可读存储介质,属于数据处理技术领域,本申请实施例通过简化图卷积神经网络,以主动学习的方式对图结构数据中每个图节点的中心度指标、代表性指标和信息熵指标进行综合计算,以得到每个图节点的价值得分,将所述价值得分最高的n个图节点作为主动学习本次迭代所挖掘出的待标注数据子集。本申请实施例能够快速高效的在大规模海量图结构数据中挑选出价值量高、信息量多的待标注数据子集,与此同时对价值量较低、信息量较少且相互冗余的图节点数据进行剔除,避免了数据分析人员直接对海量大数据的全量分析操作,节省了计算和存储资源并降低了人力成本。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种面向图数据的挖掘方法、装置、电子设备及可读存储介质。
背景技术
随着人工智能技术的发展,深度学习方法在图像、文本等数据上的智能应用取得了巨大的成功。但现实中存在许多具备图结构的数据,例如社交网络分析、智能电网分析和分子药物合成等等。研究人员为此提出了各种针对图结构数据的图卷积神经网络模型(Graph Convolutional Network,简称GCN),在搜索、推荐、药物研发等领域都进行了广泛的应用。
然而,GCN虽然能够在面向图结构数据的任务中发挥巨大的作用,但是在超大规模的图结构数据的背景之下,GCN为了达到较好的模型性能需要较多的标注数据集进行学习和训练,然而人为地进行图结构数据集的全量标注以供GCN更好的进行模型训练,在人力、物力以及时间开销等方面都是极大的。
因此,目前亟需一种针对图结构数据的数据挖掘方法,能够在开发成本有限的前提下,在海量图结构数据中高效快速地挖掘出价值量高、信息量多的待标注数据子集,并交由人工进行标注后作为GCN的训练数据集,为GCN实现更好的训练效果提供有效的数据支撑。
发明内容
本申请提供一种面向图数据的挖掘方法、装置、电子设备及可读存储介质,以解决难以高效快速地从海量图结构数据中挖掘出价值量高、信息量多的待标注数据子集的问题。
为了解决上述问题,本申请采用了以下的技术方案:
第一方面,本申请实施例提供了一种面向图数据的挖掘方法,所述方法包括:
将图结构原始数据集输入简化图卷积神经网络,以输出待标注数据子集;
其中,所述简化图卷积神经网络用于执行以下步骤:
对所述图结构原始数据集进行预处理,得到特征融合后的图结构数据;
计算所述图结构数据中每个图节点的中心度指标;
对所述图结构数据中的所有图节点进行聚类,得到多个聚类簇,并计算每个图节点在所属聚类簇中的代表性指标;
计算所述图结构数据中每个图节点的信息熵指标;
根据所述中心度指标、所述代表性指标和所述信息熵指标,得到每个图节点的价值得分;
将所述价值得分最高的n个图节点作为所述待标注数据子集。
在本申请一实施例中,对所述图结构原始数据集进行预处理,得到特征融合后的图结构数据,包括:
对所述图结构原始数据集进行预处理,得到图结构数据的特征矩阵、度矩阵和邻接矩阵;
针对所述图结构数据中的任一图节点,根据该图节点的K跳近邻内的所有图节点的所述特征矩阵、所述度矩阵和所述邻接矩阵进行特征融合,得到特征融合后的图结构数据。
在本申请一实施例中,计算所述图结构数据中每个图节点的中心度指标,包括:
根据以下公式,计算所述图结构数据中每个图节点的中心度指标:
其中:Vi表示所述图结构数据中的第i个图节点;表示Vi节点的中心度指标;Vj表示所述图结构数据中的第j个图节点;表示所述第j个图节点的中心度指标;∑kAjk表示所述第j个图节点的度;Aij表示0或1,当Vi图节点和Vj图节点无连接关系时,Aij取0,当Vi图节点和Vj图节点有连接关系时,Aij取1;ρ为坍塌因子;N为所述图结构数据中所有图节点的个数。
在本申请一实施例中,计算每个图节点在所属聚类簇中的代表性指标,包括:
根据以下公式,计算每个图节点在所属聚类簇中的代表性指标:
在本申请一实施例中,根据所述中心度指标、所述代表性指标和所述信息熵指标,得到每个图节点的价值得分,包括:
基于贝塔分布,进行时间敏感性系数的采样,得到所述中心度指标的第一采样权重、所述代表性指标的第二采样权重和所述信息熵指标的第三采样权重;其中,所述中心度指标的第一采样权重随时间推移而减小,所述代表性指标的第二采样权重和所述信息熵指标的第三采样权重随随时间推移而增大;
将所述第一采样权重、所述第二采样权重和所述第三采样权重进行归一化,对应得到所述中心度指标的第一实际计算权重、所述代表性指标的第二实际计算权重和所述信息熵指标的第三实际计算权重;
根据所述中心度指标与所述第一实际计算权重的第一乘积、所述代表性指标与所述第二实际计算权重的第二乘积以及所述信息熵指标与所述第三实际计算权重的第三乘积之间的和,得到每个图节点的价值得分。
在本申请一实施例中,其中,所述图结构原始数据集包括已标注的初始训练数据集,所述方法还包括:
获取已标注数据子集;其中,所述已标注数据子集是对所述待标注数据子集进行人工标注后得到的;
将所述已标注数据子集加入所述初始训练数据集,并将加入所述已标注数据子集后的所述初始训练数据集输入所述简化图卷积神经网络进行训练,得到更新后的简化图卷积神经网络;
将所述图结构原始数据集中除所述待标注数据子集外的未标注的图结构数据,输入所述更新后的简化图卷积神经网络中,以将输出得到的n个图节点再加入所述待标注数据子集;
重复以上迭代过程,直到所述待标注数据子集中的图节点的数量达到预设数量。
在本申请一实施例中,直到所述待标注数据子集中的图节点的数量达到预设数量之后,所述方法还包括:
获取目标已标注数据集;其中,所述目标已标注数据集是由所述待标注数据子集经过人工标注后得到的;
将所述目标已标注数据集输入初始图卷积神经网络进行训练,得到目标图卷积神经网络;
通过预设测试数据集对所述目标图卷积神经网络对进行性能评估,以得到准确率指标、宏平均F1指标和微平均F1指标;
在所述准确率指标、所述宏平均F1指标和所述微平均F1指标均满足对应的指标要求的情况下,确定所述待标注数据子集有效。
第二方面,基于相同发明构思,本申请实施例提供了一种面向图数据的挖掘装置,所述装置包括:
数据挖掘模块,用于将图结构原始数据集输入简化图卷积神经网络,以输出待标注数据子集;
其中,所述数据挖掘模块包括:
预处理子模块,用于对所述图结构原始数据集进行预处理,得到特征融合后的图结构数据;
中心度计算子模块,用于计算所述图结构数据中每个图节点的中心度指标;
代表性计算子模块,用于对所述图结构数据中的所有图节点进行聚类,得到多个聚类簇,并计算每个图节点在所属聚类簇中的代表性指标;
信息熵计算子模块,用于计算所述图结构数据中每个图节点的信息熵指标;
价值得分计算子模块,用于根据所述中心度指标、所述代表性指标和所述信息熵指标,得到每个图节点的价值得分;
筛选子模块,用于将所述价值得分最高的n个图节点作为所述待标注数据子集。
在本申请一实施例中,所述预处理子模块包括:
矩阵获取子模块,用于对所述图结构原始数据集进行预处理,得到图结构数据的特征矩阵、度矩阵和邻接矩阵;
特征融合子模块,用于针对所述图结构数据中的任一图节点,根据该图节点的K跳近邻内的所有图节点的所述特征矩阵、所述度矩阵和所述邻接矩阵进行特征融合,得到特征融合后的图结构数据。
在本申请一实施例中,所述中心度计算子模块具体用于根据以下公式,计算所述图结构数据中每个图节点的中心度指标:
其中:Vi表示所述图结构数据中的第i个图节点;表示Vi节点的中心度指标;Vj表示所述图结构数据中的第j个图节点;表示所述第j个图节点的中心度指标;∑kAjk表示所述第j个图节点的度;Aij表示0或1,当Vi图节点和Vj图节点无连接关系时,Aij取0,当Vi图节点和Vj图节点有连接关系时,Aij取1;ρ为坍塌因子;N为所述图结构数据中所有图节点的个数。
在本申请一实施例中,所述代表性计算子模块具体用于根据以下公式,计算每个图节点在所属聚类簇中的代表性指标:
在本申请一实施例中,所述价值得分计算子模块包括:
时间采样子模块,用于基于贝塔分布,进行时间敏感性系数的采样,得到所述中心度指标的第一采样权重、所述代表性指标的第二采样权重和所述信息熵指标的第三采样权重;其中,所述中心度指标的第一采样权重随时间推移而减小,所述代表性指标的第二采样权重和所述信息熵指标的第三采样权重随随时间推移而增大;
归一化子模块,用于将所述第一采样权重、所述第二采样权重和所述第三采样权重进行归一化,对应得到所述中心度指标的第一实际计算权重、所述代表性指标的第二实际计算权重和所述信息熵指标的第三实际计算权重;
价值得分计算子模块,用于根据所述中心度指标与所述第一实际计算权重的第一乘积、所述代表性指标与所述第二实际计算权重的第二乘积以及所述信息熵指标与所述第三实际计算权重的第三乘积之间的和,得到每个图节点的价值得分。
在本申请一实施例中,所述装置还包括:
第一获取模块,用于获取已标注数据子集;其中,所述已标注数据子集是对所述待标注数据子集进行人工标注后得到的;
迭代更新模块,用于将所述已标注数据子集加入所述初始训练数据集,并将加入所述已标注数据子集后的所述初始训练数据集输入所述简化图卷积神经网络进行训练,得到更新后的简化图卷积神经网络;
迭代挖掘模块,用于将将所述图结构原始数据集中除所述待标注数据子集外的未标注的图结构数据,输入所述更新后的简化图卷积神经网络中,以将输出得到的n个图节点再加入所述待标注数据子集;
迭代输出模块,用于重复以上迭代过程,直到所述待标注数据子集中的图节点的数量达到预设数量。
在本申请一实施例中,所述装置还包括:
第二获取模块,用于获取目标已标注数据集;其中,所述目标已标注数据集是由所述待标注数据子集经过人工标注后得到的;
训练模块,用于将所述目标已标注数据集输入初始图卷积神经网络进行训练,得到目标图卷积神经网络;
性能指标获取模块,用于通过预设测试数据集对所述目标图卷积神经网络对进行性能评估,以得到准确率指标、宏平均F1指标和微平均F1指标;
确定模块,用于在所述准确率指标、所述宏平均F1指标和所述微平均F1指标均满足对应的指标要求的情况下,确定所述待标注数据子集有效。
第三方面,基于相同发明构思,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现本申请第一方面所述的面向图数据的挖掘方法。
第四方面,基于相同发明构思,本申请实施例提供了一种可读存储介质,所述可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现本申请第一方面所述的面向图数据的挖掘方法。
与现有技术相比,本申请包括以下优点:
本申请实施例提供的一种面向图数据的挖掘方法,通过简化图卷积神经网络,以主动学习的方式对图结构数据中每个图节点的中心度指标、代表性指标和信息熵指标进行综合计算,以得到每个图节点的价值得分,将所述价值得分最高的n个图节点作为主动学习本次迭代所挖掘出的待标注数据子集。本申请实施例基于简化图卷积神经网络,能够快速高效的在大规模海量图结构数据中挑选出价值量高、信息量多的待标注数据子集,与此同时对价值量较低、信息量较少且相互冗余的图节点数据进行剔除,使得挖掘出的待标注数据子集能够协助图结构数据领域内的分析人员进行下游的数据分析工作,避免了数据分析人员直接对海量大数据的全量分析操作,节省了计算和存储资源并降低了人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例中一种面向图数据的挖掘方法的步骤流程图。
图2是本申请一实施例中一种面向图数据的挖掘方法的具体步骤流程图。
图3是本申请一实施例中一种面向图数据的挖掘方法中的框架示意图。
图4是本申请一实施例中的一种面向图数据的挖掘装置的功能模块示意图。
图5是本申请一实施例中的一种面向图数据的挖掘装置的具体功能模块示意图。
附图标记:400-面向图数据的挖掘装置;401-数据挖掘模块;4011-预处理子模块;4012-中心度计算子模块;4013-代表性计算子模块;4014-信息熵计算子模块;4015-价值得分计算子模块;4016-筛选子模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,深度神经网络模型在图像,语音,自然语言处理,社交网络分析等领域大放异彩,但是,在这些有监督学习的领域之中,深度神经网络模型能够大放异彩的前提是,需要充足的有标注数据对模型进行训练。然而在工业实践之中,充足的有标注数据样本集的获取是一件十分耗费人力物力的任务:以语音识别为例,获取有标注的语音数据需要进行人工参与,但是语音数据的内容时长与人为手工标注的时间成本比例约为1:10。在医学图像领域、自动驾驶领域亦是如此,想要得到质量较高的有标注数据的样本集,必须通过人工对这些数据进行标注,然而对数据进行人为的标注是一件十分耗费财力、物力的任务。
主动学习在上述的背景之下就此诞生,主动学习算法通过迭代的方式由模型本身主动地进行未标注数据的挑选,在挑选得到未标注的数据子集后交由人工进行标注,然后将新加入的已标记数据子集汇入到已标注的样本数据池中进行下一次的迭代。主动学习的提出意在解决在有限的人工标注成本之下,如何使得最终挖掘出的数据样本的质量最高的问题。
然而,现存的主动学习被广泛应用在图像、语音、文本等领域,但是在图结构数据领域,主动学习的应用仍然还有很大的挑战:图结构数据中的节点并非是处于独立同分布的,即相邻的节点更倾向于共享相同的标签。由于图结构数据的节点之间存在相互关联的特性,所以传统的主动学习算法并不能直接迁移运用到图结构数据领域之中进行图节点数据的挖掘任务。
研究人员为此提出了各种针对图结构数据的图卷积神经网络模型(GraphConvolutional Network,简称GCN),在搜索、推荐、药物研发等领域都进行了广泛的应用。然而,在GCN本身结构比较复杂的情况下,为了达到较好的模型性能需要较多的标注数据集进行学习和训练,人为地进行图结构数据集的全量标注以供GCN更好的进行模型训练,在人力、物力以及时间开销等方面都是极大的。
本申请针对现有技术存在的难以高效快速地从海量图结构数据中挖掘出价值量高、信息量多的待标注数据子集的问题,旨在提供一种面向图数据的挖掘方法,能够在开发成本有限的前提下,在海量图结构数据中高效快速地挖掘出价值量高、信息量多的数据,在为GCN实现更好的训练效果提供有效的数据支撑的同时,协助图结构数据领域内的分析人员进行下游的数据分析工作,避免了数据分析人员直接对海量大数据的全量分析操作,节省了计算和存储资源并降低了人力成本。
参照图1,示出了本申请一种面向图数据的挖掘方法的步骤流程图,方法可以包括以下步骤:
S101:将图结构原始数据集输入简化图卷积神经网络,以输出待标注数据子集。
需要说明的是,图(Graph)结构是一种非线性的数据结构,图结构在实际生活中有很多例子,比如交通运输网,地铁网络,社交网络,计算机中的状态执行(自动机)等等都可以抽象成图结构。图结构是比树结构复杂的非线性结构。其中,所有的顶点构成一个顶点集合,所有的边构成边的集合,一个完整的图结构就是由顶点集合和边集合组成。
在本实施方式,为便于理解与描述,用图节点表示顶点,以作为图结构数据中的最小单位组成。图结构数据中的图节点并非是处于独立同分布的,而通常是存在相互关联,即相邻的图节点更倾向于共享相同的标签。
需要说明的是,简化图卷积神经网络是图卷积神经网络的简化模型,该模型通过K次近邻的图节点的数据特征的聚合操作,消除了原本图卷积神经网络中隐藏层神经元对图节点特征的非线性映射,进而在模型的特征学习过程中消除了网络中隐藏层中非线性部分的参数更新的过程,从而大大降低了整个模型的复杂度。
在本实施方式中,可以先通过少量的经过人工标注的初始训练集训练得到简化图卷积神经网络,并且每当简化图卷积神经网络迭代输出所要挖掘的价值量高、信息量多的待标注数据子集后,还可将待标注数据子集进行人工标注后,加入到初始训练集中对简化图卷积神经网络进行进一步训练,以不断提高简化图卷积神经网络的模型性能。
在本实施方式中,通过该简化图卷积神经网络替代复杂的图卷积神经网络模型对图结构原始数据集进行数据挖掘,能够在有效降低图节点挖掘过程的复杂度的同时,最大化的实现所挖掘到的待标注数据子集的信息量和代表性的无损。
在本实施方式中,参照图2和图3,通过简化图卷积神经网络挖掘待标注数据子集的过程,具体可以通过以下步骤实现:
S101-1:对图结构原始数据集进行预处理,得到特征融合后的图结构数据。
在本实施方式中,考虑到在图结构数据中,不同节点之间,尤其是相邻节点之间存在相互关联,即相邻的图节点更倾向于共享相同的标签。如在社交网络领域,可以将社交用户视为一个图节点,该社交用户的好友则是相邻图节点,则该社交用户及其好友则通常共享相同的标签,如年龄段、职业等标签。
因此,可以通过将每个图节点的K跳近邻图节点的特征进行融合,使得特征融合后的图结构数据,彼此之间消除了图结构的依赖,进而使得图结构数据的所有图节点不再处于独立同分布的状态,以便于下游任务中对图节点数据的进一步计算。
在本实施方式中,S101-1具体可以包括以下子步骤:
S101-1-1:对图结构原始数据集进行预处理,得到图结构数据的特征矩阵、度矩阵和邻接矩阵。
S101-1-2:针对所述图结构数据中的任一图节点,根据该图节点的K跳近邻内的所有图节点的所述特征矩阵、所述度矩阵和所述邻接矩阵进行特征融合,得到特征融合后的图结构数据。
需要说明的是,图数据的特征矩阵用于表征图数据中每个图节点本身所具有的特征;图数据的度矩阵用于表征图数据中每个图节点相关联的其他图节点的数量;图数据的邻接矩阵用于表征图数据中每个图节点与其他图节点之间的邻接关系。
在本实施方式中,根据图数据的特征矩阵、度矩阵和邻接矩阵,对图节点进行特征融合处理,使得图节点能够在彼此之间消除了图结构的依赖,进而使得所有图节点不再处于独立同分布的状态,以便于下游任务中对图节点数据的进一步计算,能够大大降低了整个模型的复杂度,提高后续数据挖掘的效率。
S101-2:计算图结构数据中每个图节点的中心度指标。
在本实施方式中,可以采用PageRank中心度指标衡量当前图节点在整张图结构数据之中的重要程度以及对图结构数据中其余图节点的影响度程度。即某个图节点的PageRank中心度指标值越大,代表当前图节点对于图数据中的其余图节点的影响力越大,亦该图节点在图节点数据中的重要程度越高。
具体地,可以根据以下公式,计算图结构数据中每个图节点的中心度指标:
其中:Vi表示图结构数据中的第i个图节点;表示Vi节点的中心度指标;Vj表示图结构数据中的第j个图节点;表示第j个图节点的中心度指标;∑kAjk表示第j个图节点的度;Aij表示0或1,当Vi图节点和Vj图节点无连接关系时,Aij取0,当Vi图节点和Vj图节点有连接关系时,Aij取1;ρ为坍塌因子;N为图结构数据中所有图节点的个数。
需要说明的是,当前图节点的PageRank中心度指标值(以下简称PR值)是由除当前图节点外的其他图节点的PR值计算得到。经过迭代重复计算每个图节点的PR值。初始化时给每个图节点分配一个初始PR值(非0),那么经过不断的重复计算,所有的图节点的PR值会趋向于稳定,进而达到收敛状态。
S101-3:对图结构数据中的所有图节点进行聚类,得到多个聚类簇,并计算每个图节点在所属聚类簇中的代表性指标。
在本实施方式中,作为其中的一个优选方案,可以采用K-MEANS聚类算法,对所有图节点进行聚类,其中,将聚类类别数K作为该算法的超参数,在本实施方式中,可以将选定图结构数据的总类别数量作为超参数K的值,示例性的,在社交网络领域下分析社交用户时,可以选定的社交用户的总职业类别数量作为参数K的值。
需要说明的是,K-MEANS聚类算法是一种基本的已知聚类类别数的划分算法。它是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。它是使用欧氏距离度量的。它可以处理大数据集,且高效。聚类结果是划分为K类的K个聚类簇。
具体地,根据以下公式,计算每个图节点在所属聚类簇中的代表性指标:
需要说明的是,代表性指标用于表征当前图节点数据是否在其所属的聚类簇中的代表性的大小。代表性指标越大,表明该图节点更能够代表其自身所属的特定类别;反之代表性指标越小,表明该图节点代表其所属特定类别的能力越差。
S101-4:计算图结构数据中每个图节点的信息熵指标。
在本实施方式中,图节点的信息量使用信息熵来衡量。具体而言,信息熵衡量的是当前的简化图卷积神经网络对于某一图节点做分类任务时的难易程度。信息熵指标得分越高,表明该图节点的信息量越多,对于简化图卷积神经网络而言分类的难度越大,正是需要挖掘的图节点数据。因此,将信息量多的图节点在下一次主动学习的迭代过程中加入到初始训练数据集中,用于对简化图卷积神经网络进行进一步地训练,以不断提升简化图卷积神经网络的模型性能。
S101-5:根据中心度指标、代表性指标和信息熵指标,得到每个图节点的价值得分。
在本实施方式中,考虑到在主动学习算法的迭代初期,用于训练简化图卷积神经网络的已标注的初始训练集数量比较少,所以依赖初始训练集训练得到的简化图卷积神经网络的性能相对较差,因此,简化图卷积神经网络在计算代表性指标和信息熵指标的时候,会出现一定的偏差;而相比之下,PageRank中心度指标不会因为模型的性能的不足而出现偏差。因此,为使得图节点的价值得分更加合理,还需要进行时间敏感性系数的采样,使得随着时间推移,图节点的PageRank中心度指标的计算权重会渐渐的降低,而图节点的代表性指标和信息熵指标的计算指标权重会逐渐增大,最终趋于平衡。
具体地,S101-5可以具体包括以下子步骤:
S101-5-1:基于贝塔分布,进行时间敏感性系数的采样,得到中心度指标的第一采样权重、代表性指标的第二采样权重和信息熵指标的第三采样权重;其中,中心度指标的第一采样权重随时间推移而减小,代表性指标的第二采样权重和信息熵指标的第三采样权重随随时间推移而增大。
需要说明的是,贝塔分布,也称B分布,是指一组定义在(0,1)区间的连续概率分布。在本实施方式中,中心度指标的第一采样权重为γt~beta(1,Nt'),代表性指标的第二采样权重为αt~beta(1,Nt);信息熵指标的第三采样权重为βt~beta(1,Nt),并满足:αt+βt+γt=1,Nt+Nt'=N。其中,N表示基于主动学习的数据挖掘过程中为简化图卷积神经网络设置的总迭代次数,需要说明的是,简化图卷积神经网络的每次迭代,都将输出n个图节点,并将这n个图节点加入最开始生成的待标注数据子集;Nt则表示当前迭代次数,该值随时间推移而增加;Nt'表示剩余迭代次数,该值随时间推移而减小。
S101-5-2:将第一采样权重、第二采样权重和第三采样权重进行归一化,对应得到中心度指标的第一实际计算权重、代表性指标的第二实际计算权重和信息熵指标的第三实际计算权重。
S101-5-3:根据中心度指标与第一实际计算权重的第一乘积、代表性指标与第二实际计算权重的第二乘积以及信息熵指标与第三实际计算权重的第三乘积之间的和,得到每个图节点的价值得分。
在本实施方式中,在综合考虑图节点的中心度指标、代表性指标和信息熵指标的基础上,对这三种指标进行时间敏感度的加权求和,进而得到图节点的最终得分,保证了所挖掘出的图节点数据兼备信息量和代表性。
S101-6:将价值得分最高的n个图节点作为待标注数据子集。
在本实施方式中,根据每个图节点的价值得分进行排序,从而挑选出得分最高的n个节点,作为本次迭代过程中所要挖掘的待标注数据子集。由于该待标注数据子集中的图节点价值量高、信息量多,因此,可以为GCN实现更好的训练效果提供有效的数据支撑,同时协助图结构数据领域内的分析人员进行下游的数据分析工作,避免了数据分析人员直接对海量大数据的全量分析操作,节省了计算和存储资源并降低了人力成本。
在一个可行的实施方式中,图结构原始数据集包括已标注的初始训练数据集,方法还可以包括以下步骤:
S102:获取已标注数据子集;其中,已标注数据子集是对待标注数据子集进行人工标注后得到的。
S103:将已标注数据子集加入初始训练数据集,并将加入已标注数据子集后的初始训练数据集输入简化图卷积神经网络进行训练,得到更新后的简化图卷积神经网络。
S104:将图结构原始数据集中除待标注数据子集外的未标注的图结构数据,输入更新后的简化图卷积神经网络中,以将输出得到的n个图节点再加入待标注数据子集。
S105:重复以上S101-S104的迭代过程,直到待标注数据子集中的图节点的数量达到预设数量。
需要说明的是,初始训练集用于训练得到简化图卷积神经网络,该初始训练集由少量的经过人工标注的图节点数据构成。
在本实施方式中,在训练得到简化图卷积神经网络之后,可以将初始训练集加入图结构原始数据集中,以便简化图卷积神经网络在第一次迭代过程中挖掘出未标注的高质量的图节点数据。而在挖掘出n个图节点之后,将这n个图节点进行人工标注后再加入到初始训练数据集中,对简化图卷积神经网络进行第二轮的训练,并利用更新后的简化图卷积神经网络进行第二次的迭代挖掘,从图结构原始数据集中除待标注数据子集外的未标注的图结构数据中继续挖掘出n个高质量的图节点,并将这n个高质量的图节点加入待标注数据子集中,直到经过预设的迭代次数,待标注数据子集中的图节点的数量达到预设数量后,停止迭代。
示例性的,在一个数据挖掘任务中需要在一个包含30000个图节点的图结构原始数据集(该图结构原始数据集中包含有由5个已标注的图节点数据组成的初始训练数据集)中挖掘出100个高质量的图节点子集,即最终得到由100个高质量的未标注图节点组成的待标注数据子集。首先利用由5个已标注的图节点数据组成的初始训练数据集训练得到简化图卷积神经网络。在简化图卷积神经网络第一次迭代过程中,输出价值得分最高的10个未标注图节点作为待标注数据子集(此时待标注数据子集中的图节点数据的数量为10个);将10个未标注图节点进行人工标注后,加入初始训练数据集,再利用由这15个已标注的图节点数据组成的训练集对简化图卷积神经网络进行进一步训练,得到更新后的简化图卷积神经网络;再利用更新后的简化图卷积神经网络,对剩余的29985个未标注图节点进行数据挖掘,再次得到10个价值得分最高的未标注的图节点,并将其加入待标注数据子集中(此时待标注数据子集中的图节点数据的数量为20个)。如此经过十次迭代,待标注数据子集中的图节点数据的数量将达到所需的100个。
需要说明的是,可以结合实际情况,如所要达到的精度要求、人工标注的成本要求以及所需的高质量的图节点的数量要求对n的取值进行设置,本实施方式不对n的取值做出任何限制。
在本实施方式中,即使在初始训练集的样本有限的情况下,随着迭代次数的增加,简化图卷积神经网络的模型性能可以不断得到提高,使得在人工标注成本有限的情况下,也能够快速高效的在大规模海量图结构数据中挑选出价值量高、信息量多的待标注数据子集。
在一个可行的实施方式中,在整个主动学习迭代结束的时候,需要对本次主动学习迭代过程所得到的所有图节点数据集,即待标注数据子集进行有效性的验证,因此,在S105之后,继续参照图3,方法还可以包括以下步骤:
S106:获取目标已标注数据集;其中,目标已标注数据集是由待标注数据子集经过人工标注后得到的。
S107:将目标已标注数据集输入初始图卷积神经网络进行训练,得到目标图卷积神经网络。
S108:通过预设测试数据集对目标图卷积神经网络对进行性能评估,以得到准确率指标、宏平均F1指标和微平均F1指标。
S109:在准确率指标、宏平均F1指标和微平均F1指标均满足对应的指标要求的情况下,确定待标注数据子集有效。
需要说明的是,相较于简化图卷积神经网络,目标图卷积神经网络是结构更为复杂的图卷积神经网络。通过将由待标注数据子集经过人工标注后得到的目标已标注数据集训练得到该目标图卷积神经网络,再通过该目标图卷积神经网络对预设测试数据集进行性能评估,进而可以根据性能评估得到的各项指标数据判断待标注数据子集是否有效。也就是说,若目标图卷积神经网络能成功识别预设测试数据集,则说明由简化图卷积神经网络所挖掘出得到的待标注数据子集中的图节点数据正是所需的价值量高、信息量多的图节点数据。
在本实施方式中,通过采用准确率指标(Accuracy)、宏平均F1指标(MacroF1)和微平均F1指标F1(MicroF1),作为衡量目标图卷积神经网络的性能的指标,能够对图节点分类任务下的模型性能进行全面有效的评估,进而准确判断所挖掘出的数据子集的有效性。
在一个可行的实施方式中,可以将本申请实施例中的面向图数据的挖掘方法运用到社交网络分析领域中。在社交网络分析领域中,社交数据分析人员需要在海量社交用户所构成的关系网中快速挖掘出最具备影响力的部分用户集,以供后续对这些部分用户进行年龄、职业等在社交影响力方面因素的分析。在这样的需求背景之下,社交数据分析人员将社交关系网中的特征数据矩阵、度矩阵、邻接矩阵以及所要挖掘的目标用户集的总数(即标注成本)作为输入,期望获得一个社交用户子集作为输出,该子集包含的用户在整张关系网中能够具备很好的代表性以及信息量,以供社交分析人员做进一步的社交分析任务。
在本实施方式中,社交用户子集的挖掘具体过程,可参照图3,首先输入社交网络数据;再通过简化图卷积神经网络对社交用户近邻特征进行特征融合;随后进行社交用户节点信息熵指标的计算、社交用户节点代表性指标的计算和社交用户节点中心度指标的计算;再基于贝塔分布,进行时间敏感性系数的采样,对三个指标进行加权求和,得到社交用户的价值得分;筛选出价值得分最高的n个社交用户,作为社交用户子集;进行迭代挖掘,并将每次挖掘得到的n个社交用户再次加入到该社交用户子集,直到社交用户子集中的用户数量达到预设数量;最后,再对整个主动学习迭代过程所得到的社交用户子集中所有社交用户节点数据进行有效性的验证,并将通过验证的社交用户子集作为最终所要挖掘的社交用户数据进行输出。
本实施方式需要说明的是,社交用户节点中心度指标衡量的是当前社交用户节点在整张关系网之中的重要程度以及对关系网中其余用户节点的影响度程度,即中心度指标值越大,代表当前用户节点对于关系网中的其余用户的影响力越大,亦该用户在整个社交关系网中的重要程度越高;社交用户节点代表性指标代表的是当前用户是否在其所属的聚类簇之中具备代表性,代表性得分越大,表明当前用户更能够代表其自身所属的特定用户类别,反之代表性得分越小,表明当前用户节点代表其所属特定类别的能力越差;社交用户节点信息熵指标衡量的是简化图卷积神经网络对于此用户节点做分类任务的难易程度,社交用户节点信息熵指标得分越高,表明当前的用户节点对于简化图卷积神经网络而言分类的难度越大,其包含的信息量就越丰富。
在本实施方式中,采用的简化图卷积神经网络代替复杂的目标图卷积神经网络进行数据挖掘,可以实现较大的速度提升,可以更加快速的完成对社交用户子集的挖掘工作,并且由于在挖掘过程中采用了三种计算指标进行挖掘(即社交用户节点信息熵指标、社交用户节点代表性指标和社交用户节点中心度指标),所以挖掘的过程能保证所挖掘出的社交用户子集具备很好的代表性以及信息量,供社交分析人员做进一步的社交分析任务。
第二方面,基于相同发明构思,参照图4,示出了本申请实施例提供的面向图数据的挖掘装置400,面向图数据的挖掘装置400可以包括:
数据挖掘模块401,用于将图结构原始数据集输入简化图卷积神经网络,以输出待标注数据子集;
其中,参照图5,数据挖掘模块401具体可以包括:
预处理子模块4011,用于对图结构原始数据集进行预处理,得到特征融合后的图结构数据;
中心度计算子模块4012,用于计算图结构数据中每个图节点的中心度指标;
代表性计算子模块4013,用于对图结构数据中的所有图节点进行聚类,得到多个聚类簇,并计算每个图节点在所属聚类簇中的代表性指标;
信息熵计算子模块4014,用于计算图结构数据中每个图节点的信息熵指标;
价值得分计算子模块4015,用于根据中心度指标、代表性指标和信息熵指标,得到每个图节点的价值得分;
筛选子模块4016,用于将价值得分最高的n个图节点作为待标注数据子集。
在一个可行的实施方式中,预处理子模块4011包括:
矩阵获取子模块,用于对图结构原始数据集进行预处理,得到图结构数据的特征矩阵、度矩阵和邻接矩阵;
特征融合子模块,用于针对图结构数据中的任一图节点,根据该图节点的K跳近邻内的所有图节点的特征矩阵、度矩阵和邻接矩阵进行特征融合,得到特征融合后的图结构数据。
在一个可行的实施方式中,中心度计算子模块4012具体用于根据以下公式,计算图结构数据中每个图节点的中心度指标:
其中:Vi表示图结构数据中的第i个图节点;表示Vi节点的中心度指标;Vj表示图结构数据中的第j个图节点;表示第j个图节点的中心度指标;∑kAjk表示第j个图节点的度;Aij表示0或1,当Vi图节点和Vj图节点无连接关系时,Aij取0,当Vi图节点和Vj图节点有连接关系时,Aij取1;ρ为坍塌因子;N为图结构数据中所有图节点的个数。
在一个可行的实施方式中,代表性计算子模块4013具体用于根据以下公式,计算每个图节点在所属聚类簇中的代表性指标:
在一个可行的实施方式中,价值得分计算子模块4015包括:
时间采样子模块,用于基于贝塔分布,进行时间敏感性系数的采样,得到中心度指标的第一采样权重、代表性指标的第二采样权重和信息熵指标的第三采样权重;其中,中心度指标的第一采样权重随时间推移而减小,代表性指标的第二采样权重和信息熵指标的第三采样权重随随时间推移而增大;
归一化子模块,用于将第一采样权重、第二采样权重和第三采样权重进行归一化,对应得到中心度指标的第一实际计算权重、代表性指标的第二实际计算权重和信息熵指标的第三实际计算权重;
价值得分计算子模块4015,用于根据中心度指标与第一实际计算权重的第一乘积、代表性指标与第二实际计算权重的第二乘积以及信息熵指标与第三实际计算权重的第三乘积之间的和,得到每个图节点的价值得分。
在一个可行的实施方式中,面向图数据的挖掘装置400还包括:
第一获取模块,用于获取已标注数据子集;其中,已标注数据子集是对待标注数据子集进行人工标注后得到的;
迭代更新模块,用于将已标注数据子集加入初始训练数据集,并将加入已标注数据子集后的初始训练数据集输入简化图卷积神经网络进行训练,得到更新后的简化图卷积神经网络;
迭代挖掘模块,用于将图结构原始数据集中除待标注数据子集外的未标注的图结构数据,输入更新后的简化图卷积神经网络中,以将输出得到的n个图节点再加入待标注数据子集;
迭代输出模块,用于重复以上迭代过程,直到待标注数据子集中的图节点的数量达到预设数量。
在一个可行的实施方式中,面向图数据的挖掘装置400还包括:
第二获取模块,用于获取目标已标注数据集;其中,目标已标注数据集是由待标注数据子集经过人工标注后得到的;
训练模块,用于将目标已标注数据集输入初始图卷积神经网络进行训练,得到目标图卷积神经网络;
性能指标获取模块,用于通过预设测试数据集对目标图卷积神经网络对进行性能评估,以得到准确率指标、宏平均F1指标和微平均F1指标;
确定模块,用于在准确率指标、宏平均F1指标和微平均F1指标均满足对应的指标要求的情况下,确定待标注数据子集有效。
需要说明的是,本申请实施例的面向图数据的挖掘装置400的具体实施方式参照前述本申请实施例第一方面提出的面向图数据的挖掘方法的具体实施方式,在此不再赘述。
第三方面,基于相同发明构思,本申请实施例提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器用于执行机器可执行指令,以实现本申请第一方面的面向图数据的挖掘方法。
需要说明的是,本申请实施例的电子设备的具体实施方式参照前述本申请实施例第一方面提出的面向图数据的挖掘方法的具体实施方式,在此不再赘述。
第四方面,基于相同发明构思,本申请实施例提供了一种可读存储介质,可读存储介质内存储有机器可执行指令,机器可执行指令被处理器执行时实现本申请第一方面提出的面向图数据的挖掘方法。
需要说明的是,本申请实施例的可读存储介质的具体实施方式参照前述本申请实施例第一方面提出的面向图数据的挖掘方法的具体实施方式,在此不再赘述。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种面向图数据的挖掘方法、装置、电子设备及可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种面向图数据的挖掘方法,其特征在于,所述方法包括:
将图结构原始数据集输入简化图卷积神经网络,以输出待标注数据子集;
其中,所述简化图卷积神经网络用于执行以下步骤:
对所述图结构原始数据集进行预处理,得到特征融合后的图结构数据;
计算所述图结构数据中每个图节点的中心度指标;
对所述图结构数据中的所有图节点进行聚类,得到多个聚类簇,并计算每个图节点在所属聚类簇中的代表性指标;
计算所述图结构数据中每个图节点的信息熵指标;
根据所述中心度指标、所述代表性指标和所述信息熵指标,得到每个图节点的价值得分;
将所述价值得分最高的n个图节点作为所述待标注数据子集。
2.根据权利要求1所述的方法,其特征在于,对所述图结构原始数据集进行预处理,得到特征融合后的图结构数据,包括:
对所述图结构原始数据集进行预处理,得到图结构数据的特征矩阵、度矩阵和邻接矩阵;
针对所述图结构数据中的任一图节点,根据该图节点的K跳近邻内的所有图节点的所述特征矩阵、所述度矩阵和所述邻接矩阵进行特征融合,得到特征融合后的图结构数据。
5.根据权利要求1所述的方法,其特征在于,根据所述中心度指标、所述代表性指标和所述信息熵指标,得到每个图节点的价值得分,包括:
基于贝塔分布,进行时间敏感性系数的采样,得到所述中心度指标的第一采样权重、所述代表性指标的第二采样权重和所述信息熵指标的第三采样权重;其中,所述中心度指标的第一采样权重随时间推移而减小,所述代表性指标的第二采样权重和所述信息熵指标的第三采样权重随随时间推移而增大;
将所述第一采样权重、所述第二采样权重和所述第三采样权重进行归一化,对应得到所述中心度指标的第一实际计算权重、所述代表性指标的第二实际计算权重和所述信息熵指标的第三实际计算权重;
根据所述中心度指标与所述第一实际计算权重的第一乘积、所述代表性指标与所述第二实际计算权重的第二乘积以及所述信息熵指标与所述第三实际计算权重的第三乘积之间的和,得到每个图节点的价值得分。
6.根据权利要求1所述的方法,其特征在于,其中,所述图结构原始数据集包括已标注的初始训练数据集,所述方法还包括:
获取已标注数据子集;其中,所述已标注数据子集是对所述待标注数据子集进行人工标注后得到的;
将所述已标注数据子集加入所述初始训练数据集,并将加入所述已标注数据子集后的所述初始训练数据集输入所述简化图卷积神经网络进行训练,得到更新后的简化图卷积神经网络;
将所述图结构原始数据集中除所述待标注数据子集外的未标注的图结构数据,输入所述更新后的简化图卷积神经网络中,以将输出得到的n个图节点再加入所述待标注数据子集;
重复以上迭代过程,直到所述待标注数据子集中的图节点的数量达到预设数量。
7.根据权利要求6所述的方法,其特征在于,直到所述待标注数据子集中的图节点的数量达到预设数量之后,所述方法还包括:
获取目标已标注数据集;其中,所述目标已标注数据集是由所述待标注数据子集经过人工标注后得到的;
将所述目标已标注数据集输入初始图卷积神经网络进行训练,得到目标图卷积神经网络;
通过预设测试数据集对所述目标图卷积神经网络对进行性能评估,以得到准确率指标、宏平均F1指标和微平均F1指标;
在所述准确率指标、所述宏平均F1指标和所述微平均F1指标均满足对应的指标要求的情况下,确定所述待标注数据子集有效。
8.一种面向图数据的挖掘装置,其特征在于,所述装置包括:
数据挖掘模块,用于将图结构原始数据集输入简化图卷积神经网络,以输出待标注数据子集;
其中,所述数据挖掘模块包括:
预处理子模块,用于对所述图结构原始数据集进行预处理,得到特征融合后的图结构数据;
中心度计算子模块,用于计算所述图结构数据中每个图节点的中心度指标;
代表性计算子模块,用于对所述图结构数据中的所有图节点进行聚类,得到多个聚类簇,并计算每个图节点在所属聚类簇中的代表性指标;
信息熵计算子模块,用于计算所述图结构数据中每个图节点的信息熵指标;
价值得分计算子模块,用于根据所述中心度指标、所述代表性指标和所述信息熵指标,得到每个图节点的价值得分;
筛选子模块,用于将所述价值得分最高的n个图节点作为所述待标注数据子集。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-7任一项所述的方法。
10.一种可读存储介质,其特征在于,所述可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210184010.XA CN114840717B (zh) | 2022-02-24 | 2022-02-24 | 面向图数据的挖掘方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210184010.XA CN114840717B (zh) | 2022-02-24 | 2022-02-24 | 面向图数据的挖掘方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114840717A true CN114840717A (zh) | 2022-08-02 |
CN114840717B CN114840717B (zh) | 2024-08-16 |
Family
ID=82561560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210184010.XA Active CN114840717B (zh) | 2022-02-24 | 2022-02-24 | 面向图数据的挖掘方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114840717B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117150060A (zh) * | 2023-10-31 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180025073A1 (en) * | 2016-07-21 | 2018-01-25 | Ayasdi, Inc. | Scalable topological data analysis using topological summaries of subsets |
CN112540973A (zh) * | 2020-12-18 | 2021-03-23 | 山东大学 | 一种基于关联规则的网络可视化方法 |
CN112579831A (zh) * | 2020-11-18 | 2021-03-30 | 南京信息职业技术学院 | 基于SimRank全局矩阵平滑收敛的网络社区发现方法、装置及存储介质 |
CN112597141A (zh) * | 2020-12-24 | 2021-04-02 | 国网山东省电力公司 | 一种基于舆情分析的网络流量检测方法 |
-
2022
- 2022-02-24 CN CN202210184010.XA patent/CN114840717B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180025073A1 (en) * | 2016-07-21 | 2018-01-25 | Ayasdi, Inc. | Scalable topological data analysis using topological summaries of subsets |
CN112579831A (zh) * | 2020-11-18 | 2021-03-30 | 南京信息职业技术学院 | 基于SimRank全局矩阵平滑收敛的网络社区发现方法、装置及存储介质 |
CN112540973A (zh) * | 2020-12-18 | 2021-03-23 | 山东大学 | 一种基于关联规则的网络可视化方法 |
CN112597141A (zh) * | 2020-12-24 | 2021-04-02 | 国网山东省电力公司 | 一种基于舆情分析的网络流量检测方法 |
Non-Patent Citations (2)
Title |
---|
汪滢;李昆仑;熊婷;: "移动信息节点变化下数据挖掘方法研究与仿真", 计算机仿真, no. 03, 15 March 2016 (2016-03-15) * |
郑吉;周莲英;: "基于层次性过滤的社交网络关键节点挖掘算法研究", 数据通信, no. 04, 28 August 2018 (2018-08-28) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117150060A (zh) * | 2023-10-31 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法及相关装置 |
CN117150060B (zh) * | 2023-10-31 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 一种数据处理方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114840717B (zh) | 2024-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110826303A (zh) | 一种基于弱监督学习的联合信息抽取方法 | |
CN111931505A (zh) | 一种基于子图嵌入的跨语言实体对齐方法 | |
CN112685504B (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
CN113779260B (zh) | 一种基于预训练模型的领域图谱实体和关系联合抽取方法及系统 | |
CN112417063B (zh) | 一种基于异构关系网络的相容功能项推荐方法 | |
CN115114409B (zh) | 一种基于软参数共享的民航不安全事件联合抽取方法 | |
CN109582974A (zh) | 一种基于深度学习的在校大学生信用评估方法及装置 | |
CN117690178B (zh) | 一种基于计算机视觉的人脸图像识别方法与系统 | |
CN115456093A (zh) | 一种基于注意力图神经网络的高性能图聚类方法 | |
CN114840717B (zh) | 面向图数据的挖掘方法、装置、电子设备及可读存储介质 | |
CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
CN112668633B (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
CN116227939A (zh) | 基于图卷积神经网络和em算法的企业信用评级方法和装置 | |
CN110705638A (zh) | 一种利用深度网络学习模糊信息特征技术的信用评级预测分类方法 | |
CN116978464A (zh) | 数据处理方法、装置、设备以及介质 | |
CN114519344B (zh) | 一种基于论元子图提示生成与引导的篇章级多事件抽取方法 | |
CN113821571B (zh) | 基于bert和改进pcnn的食品安全关系抽取方法 | |
CN115659239A (zh) | 基于特征提取强化的高鲁棒性异质图节点分类方法及系统 | |
CN115240271A (zh) | 基于时空建模的视频行为识别方法与系统 | |
CN114970684A (zh) | 一种结合vae的提取网络核心结构的社区检测方法 | |
CN114328924A (zh) | 一种基于预训练模型结合句法子树的关系分类方法 | |
CN113962568B (zh) | 基于支持向量机的模型标签标注方法、设备及介质 | |
CN118132738B (zh) | 针对桥梁检评文本的抽取式问答方法 | |
CN116823306A (zh) | 一种融合多算法模型的竞争对手挖掘方法 | |
CN115460097A (zh) | 一种基于融合模型的移动应用可持续信任评估方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |