CN110659723A - 基于人工智能的数据处理方法、装置、介质及电子设备 - Google Patents

基于人工智能的数据处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN110659723A
CN110659723A CN201910825937.5A CN201910825937A CN110659723A CN 110659723 A CN110659723 A CN 110659723A CN 201910825937 A CN201910825937 A CN 201910825937A CN 110659723 A CN110659723 A CN 110659723A
Authority
CN
China
Prior art keywords
graph
node
neural network
level
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910825937.5A
Other languages
English (en)
Other versions
CN110659723B (zh
Inventor
荣钰
黄文炳
徐挺洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910825937.5A priority Critical patent/CN110659723B/zh
Publication of CN110659723A publication Critical patent/CN110659723A/zh
Application granted granted Critical
Publication of CN110659723B publication Critical patent/CN110659723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种基于人工智能的数据处理方法、装置及系统,涉及人工智能领域。该方法包括:获取图结构,所述图结构包含多个节点;对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息;根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。本公开的技术方案减弱了过拟合和过平滑对图神经网络模型性能的影响,提升了图神经网络模型的性能,并进一步提升了图神经网络的预测性能。

Description

基于人工智能的数据处理方法、装置、介质及电子设备
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种基于人工智能的数据处理方法、基于人工智能的数据处理装置、计算机存储介质及电子设备。
背景技术
对于金融、社交、药物分析等众多场景,可以根据其对应的数据建模成图结构,图结构是一种非线性的数据结构,可以采用图神经网络对图结构进行表示学习,将图或者其中的节点表示成向量,并将向量用于后续的机器学习任务,例如分类、回归、聚类等等。
但是在采用图神经网络对图结构进行处理时,随着图神经网络层数的增加,会出现过拟合和过平滑的问题,因此限制了复杂图神经网络模型的构建和应用。
鉴于此,本领域亟需开发一种新的基于人工智能的数据处理方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的实施例提供了一种基于人工智能的数据处理方法、基于人工智能的数据处理装置、计算机存储介质及电子设备,进而至少在一定程度上可以减弱过拟合和过平滑对图神经网络模型性能的影响,进一步提高了图神经网络模型的性能。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面,提供了一种基于人工智能的数据处理方法,包括:获取图结构,所述图结构包含多个节点;对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息;根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。
根据本公开实施例的一个方面,提供了一种基于人工智能的数据处理装置,包括:图获取模块,用于获取图结构,所述图结构包含多个节点;特征提取模块,用于对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息;信息生成模块,用于根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。
在本公开的一些实施例中,基于前述方案,所述数据处理装置还包括:节点级数获取模块,用于根据各所述节点之间的连接关系确定各所述节点的节点级数,并根据所述节点级数对各所述节点进行划分。
在本公开的一些实施例中,基于前述方案,所述节点级数获取模块配置为:从各所述节点中确定一目标节点;根据所述目标节点与所述图结构中的非目标节点之间的连接关系及所述非目标节点之间的连接关系确定所述非目标节点的节点级数;根据所述非目标节点的节点级数将所述非目标节点划分为与所述目标节点相关的多级子节点。
在本公开的一些实施例中,基于前述方案,所述特征提取模块包括:第一特征提取单元,用于通过图神经网络模型对各所述节点对应的各级子节点进行特征提取,以获取与所述图结构对应的各级图节点信息。
在本公开的一些实施例中,基于前述方案,所述第一特征提取单元包括:确定单元,用于根据节点级数从所述各级子节点中确定目标子节点,并根据所述目标子节点对应的节点级数从所述图神经网络模型中确定目标图神经网络子模型;第二特征提取单元,用于通过所述目标图神经网络子模型对所述目标子节点进行特征提取,以获取与所述图结构对应的目标图节点信息。
在本公开的一些实施例中,所述图神经网络模型包括多个图神经网络子模型,各所述图神经网络子模型具有不同数量的图神经网络层;基于前述方案,所述确定单元配置为:将所述目标子节点对应的节点级数与各所述图神经网络子模型中图神经网络层的数量进行匹配;当存在图神经网络层的数量与所述目标子节点对应的节点级数相同的第一图神经网络子模型时,将所述第一图神经网络子模型作为目标图神经网络子模型。
在本公开的一些实施例中,所述图神经网络模型包括依次排列的图神经网络层;基于前述方案,所述确定单元配置为:根据所述目标子节点对应的节点级数从所述图神经网络模型中自低层往高层依次获取相同数量的目标图神经网络层,并根据所述目标图神经网络层形成所述目标图神经网络子模型。
在本公开的一些实施例中,基于前述方案,所述第二特征提取单元包括:第三特征提取单元,用于将与所述图结构对应的M级图节点信息作为输入特征,通过所述目标图神经网络子模型中的第M+1层图神经网络层对所述M级图节点信息中的M+1级子节点进行特征提取,以获取与所述图结构对应的M+1级图节点信息;其中,M为不超过所述目标子节点对应的节点级数的非负整数。
在本公开的一些实施例中,基于前述方案,所述数据处理装置还包括:第四特征提取单元,用于将所述原始特征作为输入特征,通过所述目标图神经网络子模型中的第一层图神经网络层对所述原始特征中的一级子节点进行特征提取,以获取与所述图结构对应的一级图节点信息。
在本公开的一些实施例中,基于前述方案,所述第四特征提取单元配置为:根据所述图结构中任意两个节点之间的连接关系确定邻接矩阵,并对所述邻接矩阵进行正则化处理,以获得正则化邻接矩阵;获取所述第M+1层图神经网络层对应的参数矩阵;根据所述正则化邻接矩阵、所述M级图节点信息、所述参数矩阵和激活函数确定所述M+1级图节点信息。
在本公开的一些实施例中,基于前述方案,当M等于零时,所述M级图节点信息为所述原始特征。
在本公开的一些实施例中,所述原始特征为根据各所述节点的特征形成的原始特征矩阵,所述各级图节点信息为经特征提取的与所述图结构对应的各级特征矩阵,所述表征信息为与所述图结构对应的目标特征矩阵;其中,所述原始特征矩阵和所述各级特征矩阵均包含节点数量和节点维度,并且所述原始特征矩阵中的节点数量和所述各级特征矩阵中的节点数量相同;基于前述方案,所述信息生成模块配置为:将所述原始特征矩阵与所述各级特征矩阵沿所述节点维度方向进行拼接,以获取所述目标特征矩阵。
根据本公开实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述实施例中的基于人工智能的数据处理方法。
根据本公开实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的基于人工智能的数据处理方法。
在本公开的一些实施例所提供的技术方案中,首先获取图结构,图结构中包含多个节点;接着通过对各节点对应的各级子节点分别进行特征提取,以获得与图结构对应的各级图节点信息;最后根据图结构对应的原始特征和各级图节点信息确定与图结构对应的表征信息。本公开的技术方案能够通过改变图神经网络模型的结构能够减弱过拟合和过平滑对图神经网络模型性能的影响,提高了图神经网络模型的性能,并进一步提升了图神经网络模型的预测性能。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图;
图2A-2B示意性示出了原始图神经网络模型进行数据处理时产生的训练损失和验证损失的曲线示意图;
图3示意性示出了根据本公开的一个实施例的基于人工智能的数据处理方法的流程示意图;
图4示意性示出了根据本公开的一个实施例的图结构的结构示意图;
图5示意性示出了根据本公开的一个实施例的原始GCN模型的结构示意图;
图6示意性示出了根据本公开的一个实施例的图神经网络模型的结构示意图;
图7示意性示出了根据本公开的一个实施例的图神经网络模型的结构示意图;
图8示意性示出了根据本公开的一个实施例的图卷积神经网络层对图结构进行特征提取的流程示意图;
图9示意性示出了根据本公开的一个实施例的图卷积神经网络模型的结构示意图;
图10示意性示出了根据本公开的一个实施例的图卷积神经网络模型的结构示意图;
图11A-11B示意性示出了根据本公开的一个实施例的图神经网络模型进行数据处理时产生的训练损失和验证损失的曲线示意图;
图12示意性示出了根据本公开的一个实施例的基于人工智能的数据处理系统的框图;
图13示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
在本公开的一个实施例中,终端设备101通过网络102向服务器103发送图结构,服务器103获取图结构后,可以对图结构中节点和节点之间的连接关系进行分析,其中节点之间的连接关系即为节点之间是否存在边,具体地,在确定目标节点后,可以根据非目标节点与目标节点之间是否存在边以及任意两个非目标节点之间是否存在边,将图结构中的非目标节点划分为与目标节点相关的多级子节点,例如与目标节点之间存在边的节点可以定义为一级子节点,与目标节点之间不存在边但是与一级子节点之间存在边的节点可以定义为二级子节点,等等;在确定了与目标节点相关的多级子节点后,可以对各节点对应的各级子节点进行特征提取,以获得与图结构对应的各级图节点信息,例如对图结构中所有节点的一级子节点提取特征,能够获得一级图节点信息;对所有节点的二级子节点提取特征,能够获得二级图节点信息,等等;最后可以根据图结构对应的原始特征和各级图节点信息确定与图结构对应的表征信息,该原始特征、各级图节点信息和表征信息都是具有节点数量和节点维度的特征矩阵。本公开实施例中采用图神经网络模型对各级子节点进行特征提取,图神经网络模型主要是用于对图结构数据进行表示学习,即将图或者其中的节点表示成向量的。本公开实施例的技术方案能够减弱过拟合和过平滑对图神经网络模型性能的影响,进一步提升了图神经网络模型的性能。
需要说明的是,本公开实施例所提供的基于人工智能的数据处理方法一般由服务器执行,相应地,基于人工智能的数据处理装置一般设置于服务器中。但是,在本公开的其它实施例中,也可以由终端设备执行本公开实施例所提供的基于人工智能的数据处理方案。
目前,在采用图神经网络模型对图结构进行表示学习时,随着图神经网络深度的增加,会出现过拟合和过平滑的问题。过拟合是模型在训练数据集上具有良好的性能,但是在测试数据集表现很差;过平滑是在超深图神经网络模型经过多次平均后,模型参数训练结果和训练数据集无关,导致在训练数据集上表现很差。图2A-2B示出了原始图神经网络模型进行数据处理时产生的训练损失和验证损失的曲线示意图,图2A-2B中均包含三条曲线,其中曲线A代表包含2层图神经网络的图神经网络模型的训练结果,曲线B代表包含6层图神经网络的图神经网络模型的训练结果,曲线C代表包含32层图神经网络的图神经网络模型的训练结果,从图2A中可以看出,随着训练数据集被使用次数的增加,曲线B对应的训练损失随着训练增加,出现了过拟合的现象,从图2B中可以看出,随着训练的进行,曲线C对应的验证损失并不会降低,出现了过平滑的现象。由此可知,过拟合和过平滑是限制深层图神经网络模型构建和应用的主要障碍。
鉴于相关技术中存在的问题,本公开实施例提供了一种基于人工智能的数据处理方法,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本公开实施例提供的方案涉及人工智能的图处理技术,具体通过如下实施例进行说明:
本公开实施例首先提出了一种基于人工智能的数据处理方法,该基于人工智能的数据处理方法可以应用于基于化学结构的药物分析、基于关系了的黑产挖掘、金融、社交等领域,以下对本公开实施例的技术方案的实现细节进行详细阐述:
图3示意性示出了根据本公开的一个实施例的基于人工智能的数据处理方法的流程图,该基于人工智能的数据处理方法可以由服务器来执行,该服务器可以是图1中所示的服务器103。参照图3所示,该基于人工智能的数据处理方法至少包括步骤S310至步骤S330,详细介绍如下:
在步骤S310中,获取图结构,所述图结构包含多个节点。
在本公开的一个实施例中,当用户在使用终端设备101中的应用程序进行某项操作时,终端设备101可以收集用户行为数据和用户信息,并根据收集到的用户行为数据和用户信息构建图结构,以对用户进行分析。例如用户通过终端设备101进行网络购物,后台能够采集到用户的注册信息、历史足迹、订单、支付信息、已购买商品信息,等等,进而根据获得的信息可以构建图结构,通过对图结构进行分析,就可以确定用户的购物喜好、关注的商品类型等等。另外,用户还可以输入形成图结构所需的数据,通过相应的程序根据所输入的数据生成图结构,例如用户可以输入药物中的化学元素、各元素的含量、各元素之间的化学键等信息,通过图结构生成程序根据获得的信息构建图结构,通过分析图结构就可以确定该药物属于哪类药物、适合哪种患者、是否有害等等。
在本公开的一个实施例中,图结构是节点和边的集合,其包含多个节点和连接节点的边,其中节点表示图结构中的个体,边表示个体之间的连接关系。在获取图结构后,可以根据节点之间的连接关系确定各节点的节点级数,并根据节点级数对节点进行划分,具体地,可以根据优先级对节点进行划分。图结构中的每一个节点都可以作为目标节点,对于任一目标节点而言,都有与之直接或间接相连的非目标节点,那么与目标节点直接相连的非目标节点必然是与目标节点关系最紧密的节点,具有最高的优先级,对应的节点级数最低,与目标节点间接相连的非目标节点则是关系较远的节点,优先级较低,对应的节点级数就比较高。根据优先级的高低或节点级数可以将图结构中的非目标节点划分为多级子节点,图4示出了图结构的结构示意图,如图4所示,节点A与节点B、C直接连接,节点C与节点D、E直接连接,若将节点A作为目标节点,那么根据节点之间的连接关系就可以将节点B-E分为两级,其中节点B、C为节点A的一级子节点,节点D、E为节点A的二级子节点。
在步骤S320中,对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息。
在本公开的一个实施例中,可以通过图神经网络模型对图结构中各节点对应的各级子节点进行特征提取,由于图神经网络模型对图结构进行表征学习,实质上就是将图结构中的节点表示成向量,因此在对图结构进行特征提取时,可以先对每一个节点所对应的各级子节点分别进行特征提取,以获取各节点对应的各级子节点的子节点信息,再根据各节点对应的具有相同节点级数的子节点信息确定图节点信息。举例而言,例如图结构中所有节点都对应有三级子节点,那么可以分别对各节点的一级子节点、二级子节点和三级子节点进行特征提取,然后再根据各节点的一级子节点对应的子节点信息获得图结构的一级图节点信息、根据各节点的二级子节点对应的子节点信息获得图结构的二级图节点信息、根据各节点的三级子节点对应的子节点信息获得图结构的三级图节点信息。
在本公开的一个实施例中,在对各级子节点进行特征提取时,可以通过图神经网络模型中不同的图神经网络子模型对各级子节点进行特征提取,具体地,可以根据节点级数从各级子节点中确定目标子节点,并根据目标子节点对应的节点级数从图神经网络模型中确定目标图神经网络子模型,通过目标图神经网络子模型对目标子节点进行特征提取,进而根据所有节点的目标子节点所对应的特征信息确定与图结构对应的目标图节点信息。
在本公开的一个实施例中,图神经网络具体可以是图卷积神经网络(GCN),也可以是Graph-RNN、Graph-MPNN等图神经网络,为了使本公开的技术方案更清晰,下文将以GCN为例对本公开的技术方案进行说明。
图5示出了原始GCN模型的结构示意图,如图5所示,在原始GCN模型中存在三层依次连接的图卷积神经网络层GCL,第一层GCL 501用于接收与图结构对应的原始特征,并对其中的一级子节点进行特征提取以输出一级图节点信息;接着第二层GCL 502接收第一层GCL 501输出的一级图节点信息,并对其中的二级子节点进行特征提取以输出二级图节点信息;最后第三层GCL 503接收第二层GCL 502输出的二级图节点信息,并对其中的三级子节点进行特征提取以输出三级图节点信息,该三级图节点信息即为GCN处理后的与图结构对应的表征信息。从图5中可知,在获取二级图节点信息时,会对一级图节点信息进行平均;在获取三级图节点信息时,会对一级图节点信息和二级图节点信息进行平均,也就是说,原始GCN模型是对图结构中每个节点的3-跳范围内的所有节点信息进行建模,这样会导致最终输出的结果中一级子节点的信息和二级子节点的信息都比较少,严重影响了模型的性能。图5中GCL的数量仅是示意性说明,根据实际需要其数量可以设置为多个,但是根据原始GCN模型的处理流程,随着模型深度的增加,原始GCN模型对图结构中每个节点的n-跳范围内的所有节点信息进行建模,就会出现过拟合和过平滑的问题,严重影响模型输出结果的精准度。
在本公开的一个实施例中,为了减弱过拟合及过平滑对图神经网络模型性能的影响,可以对原始GCN模型的结构进行改进。通常,离当前节点越近的节点应该在对当前节点的表示具有更高的优先级,因此应当保留高优先级的节点所对应的节点信息,以提高最终输出结果的精准度。鉴于此,本公开实施例提出了下述两种图卷积神经网络模型的连接结构。
在本公开的一个实施例中,图卷积神经网络模型可以具有Inception Block结构,其中包含多个图卷积神经网络子模型,并且各个图卷积神经网络子模型中所包含的图卷积神经网络层的数量不同,因此在根据目标子节点对应的节点级数确定目标图卷积神经网络子模型的时候,可以将目标子节点对应的节点级数与各个图卷积神经网络子模型中的图卷积神经网络层的数量进行匹配,如果存在图卷积神经网络层的数量与目标子节点对应的节点级数相同的第一图卷积神经网络子模型,则可以将该第一图卷积神经网络子模型作为目标图卷积神经网络子模型。图6示出了一种图卷积神经网络模型的结构示意图,如图6所示,在图卷积神经网络模型600中存在三个包含不同数量图卷积神经网络层的图卷积神经网络子模型,分别是:包含一个图卷积神经网络层的图卷积神经网络子模型601、包含两个图卷积神经网络层的图卷积神经网络子模型602和包含三个图卷积神经网络层的图卷积神经网络子模型603,当目标子节点为一级子节点时,可以将图卷积神经网络子模型601作为目标图卷积神经网络子模型;当目标子节点为二级子节点时,可以将图卷积神经网络子模型602作为目标图卷积神经网络子模型;相应地,当目标子节点为三级子节点时,可以将图卷积神经网络子模型603作为目标图卷积神经网络子模型。通过不同的图卷积神经网络子模型对节点级数和图卷积神经网络子模型中图卷积神经网络层数量相同的子节点进行特征提取。
另外,图卷积神经网络模型还可以具有Dense Block结构,其中包含多个图卷积神经网络层,在根据目标子节点对应的节点级数确定目标图卷积神经网络子模型的时候,可以根据目标子节点对应的节点级数从图卷积神经网络模型中自低层往高层依次获取相同数量的目标图卷积神经网络层,并根据目标图卷积神经网络层形成目标图卷积神经网络子模型。图7示出了一种图神经网络模型的结构示意图,如图7所示,图卷积神经网络模型700中包含三个依次连接的图卷积神经网络层701、702、703,如果目标子节点为一级子节点,那么可以将图卷积神经网络层701作为目标图卷积神经网络子模型;如果目标子节点为二级子节点,那么可以将依次连接的图卷积神经网络层701、702作为目标图卷积神经网络子模型;如果目标子节点为三级子节点,那么可以将依次连接的图卷积神经网络层701、702、703作为目标图卷积神经网络子模型,通过不同的目标图卷积神经网络子模型对具有不同节点级数的子节点进行特征提取。
通过具有上述两种连接结构的图卷积神经网络模型所获得的图结构的表征信息,保留了与图结构中各节点具有高优先级的子节点的节点信息,例如图6、图7所示的图卷积神经网络模型对图结构处理所获得的表征信息中除了包含各节点的三级子节点(3-hop)对应的节点信息,还包含了各节点的一级子节点(1-hop)对应的节点信息和二级子节点(2-hop)对应的节点信息,大大提升了输出结果的精准度。
在本公开的一个实施例中,在通过目标图卷积神经网络子模型对目标子节点进行特征提取时,数据处理流程与原始GCN模型的数据处理流程相同,若目标子节点对应的节点级数为N(N为正整数),那么可以将与图结构对应的M级图节点信息作为输入特征,通过目标图神经网络子模型中的第M+1层图神经网络层对M级图节点信息中的M+1级子节点进行特征提取,以获取与图结构对应的M+1级图节点信息,其中,M为不超过目标子节点对应的节点级数N的非负整数,也就是说,每一层GCL的输出都是下一层GCL的输入。当M等于零时,零级图节点信息即为图结构对应的原始特征,该原始特征可以作为输入特征,通过目标图神经网络子模型中的第一层图神经网络层对原始特征中的一级子节点进行特征提取,以获取与图结构对应的一级图节点信息。
在本公开的一个实施例中,通过图卷积神经网络层GCL对图结构进行特征提取时,可以根据图8所示的流程示意图进行,如图8所示,图卷积神经网络层对图结构进行特征提取的流程至少包括步骤S801-S803,具体如下:
在步骤S801中,根据图结构中任意两个节点之间的连接关系确定邻接矩阵,并对邻接矩阵进行正则化处理,以获得正则化邻接矩阵。
在本公开的一个实施例中,图结构可以定义为G(V,E),其中V是节点集合,E是边集合,根据任意两个节点Vi、Vj之间是否存在边可以确定邻接矩阵A,当Vi、Vj之间存在边时,Aij=1,当Vi、Vj之间不存在边时,Aij=0。返回至图4所示的图结构,根据节点之间的连接关系,可以确定邻接矩阵为
Figure BDA0002189075790000131
但是,直接使用邻接矩阵进行计算,会导致节点信息的尺度变大,因此为了避免该问题,可以对邻接矩阵进行正则化处理,以获得正则化邻接矩阵。具体地,可以根据度矩阵D对邻接矩阵进行正则化处理,其中度矩阵D是根据与节点相连的边的数量确定的,其为一对角矩阵,对角线上是对应节点的度数,同样地,根据图4所示的图结构可以确定度矩阵
Figure BDA0002189075790000132
获取度矩阵D后,可以根据计算公式
Figure BDA0002189075790000141
确定正则化邻接矩阵
Figure BDA0002189075790000142
在步骤S802中,获取第M+1层图神经网络层对应的参数矩阵。
在本公开的一个实施例中,对不同节点级数的子节点进行特征提取的图卷积神经网络层GCL所对应的参数矩阵不完全相同,因此在提取各级子节点的特征以获取与各级子节点对应的向量时,需要确定与各级子节点对应的GCL参数矩阵W(l),W(l)∈Rd(l)×d(l+1),其中R表示实数域,d(l)表示第l层节点表达的维度,d(l+1)表示第l+1层节点表达的维度。
在步骤S803中,根据正则化邻接矩阵、M级图节点信息、参数矩阵和激活函数确定M+1级图节点信息。
在本公开的一个实施例中,在确定正则化邻接矩阵和GCL的参数矩阵后,可以根据正则化邻接矩阵、M级图节点信息、参数矩阵和激活函数确定M+1级图节点信息,具体可以根据公式(1)进行运算:
Figure BDA0002189075790000143
其中,H(M+1)是M+1级图节点信息,H(M)是M级图节点信息,σ是激活函数,其可以是任意的激活函数,如Relu函数、Sigmoid函数。
进一步的,H(M)是根据图结构对应的原始特征X确定的M级图节点信息,当M=0时,H(0)=X,根据公式(1)即可获得一级图节点信息;当M>1时,说明图卷积神经网络模型是由多层图卷积神经网络层构成的,可以通过对公式(1)进行迭代以获取相应地向量。以一个具有两层GCL的GCN模型为例,对应的输出向量可以根据公式(2)进行运算:
Figure BDA0002189075790000144
其中,
Figure BDA0002189075790000145
为模型的输出,n为节点数目,d(2)为二级节点表达的维度,W(1)、W(2)分别为第一GCL和第二GCL的参数矩阵。
在步骤S330中,根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。
在本公开的一个实施例中,对每个节点对应的各级子节点进行特征提取,虽然保留了各级子节点对应的节点信息,但是会损失掉目标节点自身的信息,因此在图卷积神经网络模型中还可以设置一残差图卷积神经网络层residual,该残差图卷积神经网络层residual可以将原始特征直接输出至模型的最后一层,以使最终的表征信息中包含原始特征和各级图节点信息。
基于图6所示的图神经网络模型的结构示意图,能够获取如图9所示的图卷积神经网络模型的结构示意图,该图卷积神经网络模型900包含三个图卷积神经网络子模型901、902、903和一个残差图卷积神经网络层residual,其中三个图卷积神经网络子模型901、902、903分别用于基于原始特征对图结构中各节点对应的一级子节点(1-hop)、二级子节点(2-hop)和三级子节点(3-hop)进行特征提取,以获取一级图节点信息、二级图节点信息和三级图节点信息,并将其输出至连接层,残差图卷积神经网络层residual直接将原始特征输出至连接层;最后通过连接层将原始特征、一级图节点信息、二级图节点信息和三级图节点信息进行连接,以输出与图结构对应的表征信息。
其中,原始特征为根据各节点的特征形成的原始特征矩阵,各级图节点信息为经特征提取的与图结构对应的各级特征矩阵,表征信息为与图结构对应的目标特征矩阵;其中,原始特征矩阵和各级特征矩阵均包含节点数量和节点维度,并且原始特征矩阵中的节点数量和各级特征矩阵中的节点数量相同。在将原始特征、一级图节点信息、二级图节点信息和三级图节点信息进行连接时,可以将原始特征矩阵与各级特征矩阵沿节点维度方向进行拼接,以获取目标特征矩阵。具体而言,原始特征、一级图节点信息、二级图节点信息和三级图节点信息分别为
Figure BDA0002189075790000152
将四个信息连接后可以确定表征信息为相应地,表征信息,也就是目标特征矩阵的维度为
Figure BDA0002189075790000154
进一步地,如果图卷积神经网络模型中包含n层图卷积神经网络层,那么最后输出的目标特征矩阵的维度为:
Figure BDA0002189075790000155
基于图7所示的图神经网络模型的结构示意图,能够获取如图10所示的图卷积神经网络模型的结构示意图,该图卷积神经网络模型1000包含一个残差图卷积神经网络层residual和依次连接的三层图卷积神经网络层,三层图卷积神经网络层沿着输入-输出方向依次为第一GCL 1001、第二GCL 1002和第三GCL 1003,其中第一GCL 1001用于提取一级子节点(1-hop)的特征,以获取一级图节点信息;第一GCL 1001和第二GCL 1002用于提取二级子节点(2-hop)的特征,以获取二级图节点信息;第一GCL 1001、第二GCL 1002和第三GCL1003用于提取三级子节点(3-hop)的特征,以获取三级图节点信息;残差图卷积神经网络层residual将原始特征输出至连接层;最后通过连接层可以将接收到的原始特征、一级图节点信息、二级图节点信息和三级图节点信息进行连接,以输出与图结构对应的表征信息。
由于图10所示的图卷积神经网络模型中,每个输出信息都是和前面层共享参数的,因此原始特征、一级图节点信息、二级图节点信息和三级图节点信息分别为
Figure BDA0002189075790000161
Figure BDA0002189075790000162
连接层将原始特征、一级图节点信息、二级图节点信息和三级图节点信息沿维度方向连接后可以确定表征信息为
Figure BDA0002189075790000163
相应地,表征信息,也就是目标特征矩阵的维度为
Figure BDA0002189075790000164
进一步地,如果图卷积神经网络模型中包含n层图卷积神经网络层,那么最后输出的目标特征矩阵的维度为:
Figure BDA0002189075790000165
由于在具有Dense Block连接结构的图卷积神经网络模型中,每个输出信息都是和前面层共享参数的,因此图10所示的图卷积神经网络模型中的参数量相对于图9所示的图卷积神经网络模型的参数量少,使得模型更容易训练。
本公开的数据处理方法能够通过具有Inception Block或Dense Block连接结构的图神经网络模型对图结构进行特征提取,使得模型的输出特征中包含原始特征和各级子节点的节点信息,减弱了过拟合和过平滑对图神经网络模型性能的影响,提升了图神经网络模型的性能,并进一步提升了图神经网络的预测性能。图11A-11B示出了图神经网络模型进行数据处理时产生的训练损失和验证损失的曲线示意图,图11A-11B中包含三条曲线,其中曲线A代表包含2层图神经网络层的普通图卷积神经网络模型的训练结果,曲线B代表包含6层图神经网络层的普通图卷积神经网络模型的训练结果,曲线C代表包含6层图神经网络层且具有Inception Block连接结构的图卷积神经网络模型的训练结果,曲线D代表包含6层图卷积神经网络层且具有Dense Block连接结构的图卷积神经网络模型的训练结果,曲线E代表包含6层图卷积神经网络层的残差图卷积神经网络模型的训练结果,从图11A中可以看出,随着训练数据集被使用次数的增加,曲线C、D对应的训练损失随着训练减小,从图11B中可以看出,随着训练的进行,曲线C、D对应的验证损失降低。也就是说,具有InceptionBlock或Dense Block连接结构的图神经网络模型的性能更好,数据处理结果更精准。
以下介绍本公开的装置实施例,可以用于执行本公开上述实施例中的基于人工智能的数据处理方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的基于人工智能的数据处理方法的实施例。
图12示意性示出了根据本公开的一个实施例的基于人工智能的数据处理装置的框图。
参照图12所示,根据本公开的一个实施例的基于人工智能的数据处理装置1200,包括:图获取模块1201、特征提取模块1202和信息生成模块1203。
具体地,图获取模块1201,用于获取图结构,所述图结构包含多个节点;特征提取模块1202,用于对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息;信息生成模块1203,用于根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。
在本公开的一个实施例中,所述数据处理装置1200还包括:节点级数获取模块,用于根据各所述节点之间的连接关系确定各所述节点的节点级数,并根据所述节点级数对各所述节点进行划分。
在本公开的一个实施例中,所述节点级数获取模块配置为:从各所述节点中确定一目标节点;根据所述目标节点与所述图结构中的非目标节点之间的连接关系及所述非目标节点之间的连接关系确定所述非目标节点的节点级数;根据所述非目标节点的节点级数将所述非目标节点划分为与所述目标节点相关的多级子节点。
在本公开的一个实施例中,所述特征提取模块1202包括:第一特征提取单元,用于通过图神经网络模型对各所述节点对应的各级子节点进行特征提取,以获取与所述图结构对应的各级图节点信息。
在本公开的一个实施例中,所述第一特征提取单元包括:确定单元,用于根据节点级数从所述各级子节点中确定目标子节点,并根据所述目标子节点对应的节点级数从所述图神经网络模型中确定目标图神经网络子模型;第二特征提取单元,用于通过所述目标图神经网络子模型对所述目标子节点进行特征提取,以获取与所述图结构对应的目标图节点信息。
在本公开的一个实施例中,所述图神经网络模型包括多个图神经网络子模型,各所述图神经网络子模型具有不同数量的图神经网络层;所述确定单元配置为:将所述目标子节点对应的节点级数与各所述图神经网络子模型中图神经网络层的数量进行匹配;当存在图神经网络层的数量与所述目标子节点对应的节点级数相同的第一图神经网络子模型时,将所述第一图神经网络子模型作为目标图神经网络子模型。
在本公开的一个实施例中,所述图神经网络模型包括依次排列的图神经网络层;所述确定单元配置为:根据所述目标子节点对应的节点级数从所述图神经网络模型中自低层往高层依次获取相同数量的目标图神经网络层,并根据所述目标图神经网络层形成所述目标图神经网络子模型。
在本公开的一个实施例中,所述第二特征提取单元包括:第三特征提取单元,用于将与所述图结构对应的M级图节点信息作为输入特征,通过所述目标图神经网络子模型中的第M+1层图神经网络层对所述M级图节点信息中的M+1级子节点进行特征提取,以获取与所述图结构对应的M+1级图节点信息;其中,M为不超过所述目标子节点对应的节点级数的非负整数。
在本公开的一个实施例中,所述数据处理装置1200还包括:第四特征提取单元,用于将所述原始特征作为输入特征,通过所述目标图神经网络子模型中的第一层图神经网络层对所述原始特征中的一级子节点进行特征提取,以获取与所述图结构对应的一级图节点信息。
在本公开的一个实施例中,所述第四特征提取单元配置为:根据所述图结构中任意两个节点之间的连接关系确定邻接矩阵,并对所述邻接矩阵进行正则化处理,以获得正则化邻接矩阵;获取所述第M+1层图神经网络层对应的参数矩阵;根据所述正则化邻接矩阵、所述M级图节点信息、所述参数矩阵和激活函数确定所述M+1级图节点信息。
在本公开的一个实施例中,当M等于零时,所述M级图节点信息为所述原始特征。
在本公开的一个实施例中,所述原始特征为根据各所述节点的特征形成的原始特征矩阵,所述各级图节点信息为经特征提取的与所述图结构对应的各级特征矩阵,所述表征信息为与所述图结构对应的目标特征矩阵;其中,所述原始特征矩阵和所述各级特征矩阵均包含节点数量和节点维度,并且所述原始特征矩阵中的节点数量和所述各级特征矩阵中的节点数量相同;所述信息生成模块1203配置为:将所述原始特征矩阵与所述各级特征矩阵沿所述节点维度方向进行拼接,以获取所述目标特征矩阵。
图13示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图13示出的电子设备的计算机系统1300仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示,计算机系统1300包括中央处理单元(Central Processing Unit,CPU)1301,其可以根据存储在只读存储器(Read-Only Memory,ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(Random Access Memory,RAM)1303中的程序而执行各种适当的动作和处理,实现上述实施例中所述的基于人工智能的数据处理方法。在RAM1303中,还存储有系统操作所需的各种程序和数据。CPU 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(Input/Output,I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时,执行本公开的系统中限定的各种功能。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的图像处理装置中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种基于人工智能的数据处理方法,其特征在于,包括:
获取图结构,所述图结构包含多个节点;
对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息;
根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。
2.根据权利要求1所述的基于人工智能的数据处理方法,其特征在于,在对各所述节点的各级子节点分别进行特征提取之前,所述方法还包括:
根据各所述节点之间的连接关系确定各所述节点的节点级数,并根据所述节点级数对各所述节点进行划分。
3.根据权利要求2所述的基于人工智能的数据处理方法,其特征在于,根据各所述节点之间的连接关系确定各所述节点的节点级数,并根据所述节点级数对各所述节点进行划分,包括:
从各所述节点中确定一目标节点;
根据所述目标节点与所述图结构中的非目标节点之间的连接关系及所述非目标节点之间的连接关系确定所述非目标节点的节点级数;
根据所述非目标节点的节点级数将所述非目标节点划分为与所述目标节点相关的多级子节点。
4.根据权利要求1所述的基于人工智能的数据处理方法,其特征在于,对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息,包括:
通过图神经网络模型对各所述节点对应的各级子节点进行特征提取,以获取与所述图结构对应的各级图节点信息。
5.根据权利要求4所述的基于人工智能的数据处理方法,其特征在于,通过图神经网络模型对各所述节点对应的各级子节点进行特征提取,以获取与所述图结构对应的各级图节点信息,包括:
根据节点级数从所述各级子节点中确定目标子节点,并根据所述目标子节点对应的节点级数从所述图神经网络模型中确定目标图神经网络子模型;
通过所述目标图神经网络子模型对所述目标子节点进行特征提取,以获取与所述图结构对应的目标图节点信息。
6.根据权利要求5所述的基于人工智能的数据处理方法,其特征在于,所述图神经网络模型包括多个图神经网络子模型,各所述图神经网络子模型具有不同数量的图神经网络层;
所述根据所述目标子节点对应的节点级数从所述图神经网络模型中确定目标图神经网络子模型,包括:
将所述目标子节点对应的节点级数与各所述图神经网络子模型中图神经网络层的数量进行匹配;
当存在图神经网络层的数量与所述目标子节点对应的节点级数相同的第一图神经网络子模型时,将所述第一图神经网络子模型作为目标图神经网络子模型。
7.根据权利要求5所述的基于人工智能的数据处理方法,其特征在于,所述图神经网络模型包括依次排列的图神经网络层;
所述根据所述目标子节点对应的节点级数从所述图神经网络模型中确定目标图神经网络子模型,包括:
根据所述目标子节点对应的节点级数从所述图神经网络模型中自低层往高层依次获取相同数量的目标图神经网络层,并根据所述目标图神经网络层形成所述目标图神经网络子模型。
8.根据权利要求5-7任一项所述的基于人工智能的数据处理方法,其特征在于,通过所述目标图神经网络子模型对所述目标子节点进行特征提取,以获取与所述图结构对应的目标图节点信息,包括:
将与所述图结构对应的M级图节点信息作为输入特征,通过所述目标图神经网络子模型中的第M+1层图神经网络层对所述M级图节点信息中的M+1级子节点进行特征提取,以获取与所述图结构对应的M+1级图节点信息;
其中,M为不超过所述目标子节点对应的节点级数的非负整数。
9.根据权利要求8所述的基于人工智能的数据处理方法,其特征在于,所述方法还包括:
将所述原始特征作为输入特征,通过所述目标图神经网络子模型中的第一层图神经网络层对所述原始特征中的一级子节点进行特征提取,以获取与所述图结构对应的一级图节点信息。
10.根据权利要求9所述的基于人工智能的数据处理方法,其特征在于,所述通过所述图神经网络子模型中的第M+1层图神经网络层对M+1级子节点进行特征提取,以获取与所述图结构对应的M+1级图节点信息,包括:
根据所述图结构中任意两个节点之间的连接关系确定邻接矩阵,并对所述邻接矩阵进行正则化处理,以获得正则化邻接矩阵;
获取所述第M+1层图神经网络层对应的参数矩阵;
根据所述正则化邻接矩阵、所述M级图节点信息、所述参数矩阵和激活函数确定所述M+1级图节点信息。
11.根据权利要求10所述的基于人工智能的数据处理方法,其特征在于,当M等于零时,所述M级图节点信息为所述原始特征。
12.根据权利要求11所述的基于人工智能的数据处理方法,其特征在于,所述原始特征为根据各所述节点的特征形成的原始特征矩阵,所述各级图节点信息为经特征提取的与所述图结构对应的各级特征矩阵,所述表征信息为与所述图结构对应的目标特征矩阵;其中,所述原始特征矩阵和所述各级特征矩阵均包含节点数量和节点维度,并且所述原始特征矩阵中的节点数量和所述各级特征矩阵中的节点数量相同;
所述根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息,包括:
将所述原始特征矩阵与所述各级特征矩阵沿所述节点维度方向进行拼接,以获取所述目标特征矩阵。
13.一种数据处理装置,其特征在于,包括:
图获取模块,用于获取图结构,所述图结构包含多个节点;
特征提取模块,用于对各所述节点对应的各级子节点分别进行特征提取,以获得与所述图结构对应的各级图节点信息;
信息生成模块,用于根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-12任意一项所述的基于人工智能的数据处理方法。
15.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至12中任一项所述的基于人工智能的数据处理方法。
CN201910825937.5A 2019-09-03 2019-09-03 基于人工智能的数据处理方法、装置、介质及电子设备 Active CN110659723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910825937.5A CN110659723B (zh) 2019-09-03 2019-09-03 基于人工智能的数据处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910825937.5A CN110659723B (zh) 2019-09-03 2019-09-03 基于人工智能的数据处理方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN110659723A true CN110659723A (zh) 2020-01-07
CN110659723B CN110659723B (zh) 2023-09-19

Family

ID=69037977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910825937.5A Active CN110659723B (zh) 2019-09-03 2019-09-03 基于人工智能的数据处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN110659723B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461815A (zh) * 2020-03-17 2020-07-28 上海携程国际旅行社有限公司 订单识别模型生成方法、识别方法、系统、设备和介质
CN111598093A (zh) * 2020-05-25 2020-08-28 深圳前海微众银行股份有限公司 图片中文字的结构化信息生成方法、装置、设备及介质
CN111783748A (zh) * 2020-08-12 2020-10-16 汉王科技股份有限公司 人脸识别方法、装置、电子设备及存储介质
CN111985845A (zh) * 2020-09-02 2020-11-24 浙江工业大学 一种异构Spark集群的节点优先级调优方法
CN112486641A (zh) * 2020-11-18 2021-03-12 鹏城实验室 一种基于图神经网络的任务调度方法
CN112948997A (zh) * 2021-02-24 2021-06-11 北京理工大学 一种多目标自适应聚类优化方法及系统
CN113052712A (zh) * 2021-03-05 2021-06-29 浙江师范大学 社交数据的分析方法、系统及存储介质
CN113140260A (zh) * 2020-01-20 2021-07-20 腾讯科技(深圳)有限公司 合成物的反应物分子组成数据预测方法和装置
CN113255933A (zh) * 2021-06-01 2021-08-13 上海商汤科技开发有限公司 特征工程和图网络生成方法和装置、分布式系统
CN114666263A (zh) * 2022-05-20 2022-06-24 中国科学技术大学 高动态的智能路由确定方法、装置、电子设备及存储介质
CN111598093B (zh) * 2020-05-25 2024-05-14 深圳前海微众银行股份有限公司 图片中文字的结构化信息生成方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446540A (zh) * 2018-03-19 2018-08-24 中山大学 基于源代码多标签图神经网络的程序代码抄袭类型检测方法与系统
CN108875053A (zh) * 2018-06-28 2018-11-23 国信优易数据有限公司 一种知识图谱数据处理方法及装置
GB201821192D0 (en) * 2018-12-24 2019-02-06 Nanolayers Res Computing Limited A computer-implemented method of training a graph neural network
CN109460793A (zh) * 2018-11-15 2019-03-12 腾讯科技(深圳)有限公司 一种节点分类的方法、模型训练的方法及装置
CN109493925A (zh) * 2018-11-20 2019-03-19 北京晶派科技有限公司 一种确定药物和药物靶点关联关系的方法
CN109614975A (zh) * 2018-10-26 2019-04-12 桂林电子科技大学 一种图嵌入方法、装置及存储介质
CN110009093A (zh) * 2018-12-07 2019-07-12 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络系统和方法
CN110097472A (zh) * 2019-05-08 2019-08-06 腾讯科技(深圳)有限公司 一种社团属性识别方法及相关设备
CN110148212A (zh) * 2019-05-17 2019-08-20 北京市商汤科技开发有限公司 一种动作序列生成方法及装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446540A (zh) * 2018-03-19 2018-08-24 中山大学 基于源代码多标签图神经网络的程序代码抄袭类型检测方法与系统
CN108875053A (zh) * 2018-06-28 2018-11-23 国信优易数据有限公司 一种知识图谱数据处理方法及装置
CN109614975A (zh) * 2018-10-26 2019-04-12 桂林电子科技大学 一种图嵌入方法、装置及存储介质
CN109460793A (zh) * 2018-11-15 2019-03-12 腾讯科技(深圳)有限公司 一种节点分类的方法、模型训练的方法及装置
CN109493925A (zh) * 2018-11-20 2019-03-19 北京晶派科技有限公司 一种确定药物和药物靶点关联关系的方法
CN110009093A (zh) * 2018-12-07 2019-07-12 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络系统和方法
GB201821192D0 (en) * 2018-12-24 2019-02-06 Nanolayers Res Computing Limited A computer-implemented method of training a graph neural network
CN110097472A (zh) * 2019-05-08 2019-08-06 腾讯科技(深圳)有限公司 一种社团属性识别方法及相关设备
CN110148212A (zh) * 2019-05-17 2019-08-20 北京市商汤科技开发有限公司 一种动作序列生成方法及装置、电子设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHAOYANG HE 等: "Adversarial Representation Learning on Large-Scale Bipartite Graphs", 《ARXIV》, pages 1 - 15 *
JIE ZHOU 等: "Graph Neural Networks: A Review of Methods and Applications", 《ARXIV》, pages 1 - 22 *
YU RONG 等: "The Truly Deep Graph Convolutional Networks for Node Classification", 《ARXIV》, pages 1 - 13 *
文成当智 等: "基于 Visual FoxPro 和复杂网络分析的《四部医典》 方剂数据库构建及其用药规律分析", 《中国实验方剂学杂志》, vol. 25, no. 22, pages 175 - 185 *
王佳: "图神经网络浅析", 《现代计算机》, pages 58 - 62 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140260B (zh) * 2020-01-20 2023-09-08 腾讯科技(深圳)有限公司 合成物的反应物分子组成数据预测方法和装置
CN113140260A (zh) * 2020-01-20 2021-07-20 腾讯科技(深圳)有限公司 合成物的反应物分子组成数据预测方法和装置
CN111461815A (zh) * 2020-03-17 2020-07-28 上海携程国际旅行社有限公司 订单识别模型生成方法、识别方法、系统、设备和介质
CN111461815B (zh) * 2020-03-17 2023-04-28 上海携程国际旅行社有限公司 订单识别模型生成方法、识别方法、系统、设备和介质
CN111598093A (zh) * 2020-05-25 2020-08-28 深圳前海微众银行股份有限公司 图片中文字的结构化信息生成方法、装置、设备及介质
CN111598093B (zh) * 2020-05-25 2024-05-14 深圳前海微众银行股份有限公司 图片中文字的结构化信息生成方法、装置、设备及介质
CN111783748A (zh) * 2020-08-12 2020-10-16 汉王科技股份有限公司 人脸识别方法、装置、电子设备及存储介质
CN111985845A (zh) * 2020-09-02 2020-11-24 浙江工业大学 一种异构Spark集群的节点优先级调优方法
CN111985845B (zh) * 2020-09-02 2024-03-19 浙江工业大学 一种异构Spark集群的节点优先级调优方法
CN112486641A (zh) * 2020-11-18 2021-03-12 鹏城实验室 一种基于图神经网络的任务调度方法
CN112948997A (zh) * 2021-02-24 2021-06-11 北京理工大学 一种多目标自适应聚类优化方法及系统
CN112948997B (zh) * 2021-02-24 2022-11-08 北京理工大学 一种多目标自适应聚类优化方法及系统
CN113052712A (zh) * 2021-03-05 2021-06-29 浙江师范大学 社交数据的分析方法、系统及存储介质
CN113255933A (zh) * 2021-06-01 2021-08-13 上海商汤科技开发有限公司 特征工程和图网络生成方法和装置、分布式系统
CN114666263A (zh) * 2022-05-20 2022-06-24 中国科学技术大学 高动态的智能路由确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110659723B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN111782838B (zh) 图像问答方法、装置、计算机设备和介质
CN113139628B (zh) 样本图像的识别方法、装置、设备及可读存储介质
KR20180117704A (ko) 콘볼루셔널 신경 네트워크들에서의 구조 학습
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
CN110991532B (zh) 基于关系视觉注意机制的场景图产生方法
EP3859560A2 (en) Method and apparatus for visual question answering, computer device and medium
CN112396106B (zh) 内容识别方法、内容识别模型训练方法及存储介质
CN113761153B (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
CN111241989A (zh) 图像识别方法及装置、电子设备
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN113761250A (zh) 模型训练方法、商户分类方法及装置
CN106997373A (zh) 一种基于深度置信网络的链路预测方法
CN113822315A (zh) 属性图的处理方法、装置、电子设备及可读存储介质
CN114611672A (zh) 模型训练方法、人脸识别方法及装置
CN113011895A (zh) 关联账户样本筛选方法、装置和设备及计算机存储介质
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN113380360B (zh) 一种基于多模态病历图的相似病历检索方法及系统
CN114783601A (zh) 一种生理数据的分析方法、装置、电子设备和存储介质
CN112069412B (zh) 信息推荐方法、装置、计算机设备及存储介质
CN111309923B (zh) 对象向量确定、模型训练方法、装置、设备和存储介质
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN115631008B (zh) 商品推荐方法、装置、设备及介质
Sunitha et al. Political optimizer-based automated machine learning for skin lesion data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018338

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant