CN113158554A - 模型优化方法、装置、计算机设备及存储介质 - Google Patents

模型优化方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113158554A
CN113158554A CN202110323769.7A CN202110323769A CN113158554A CN 113158554 A CN113158554 A CN 113158554A CN 202110323769 A CN202110323769 A CN 202110323769A CN 113158554 A CN113158554 A CN 113158554A
Authority
CN
China
Prior art keywords
node
model
target
label
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110323769.7A
Other languages
English (en)
Other versions
CN113158554B (zh
Inventor
陈思宏
肖万鹏
鞠奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110323769.7A priority Critical patent/CN113158554B/zh
Publication of CN113158554A publication Critical patent/CN113158554A/zh
Application granted granted Critical
Publication of CN113158554B publication Critical patent/CN113158554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种模型优化方法、装置、计算机设备及存储介质，其中方法包括：获取目标图数据；采用目标图数据中的各个节点特征和目标标签信息，对第一模型进行半监督学习，得到第二模型；调用第二模型对每个无标签节点进行标签预测，得到每个无标签节点的预测标签，以及每个预测标签的置信度；基于每个预测标签的置信度，从N个无标签节点中选取一个或多个难样本，难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；采用一个或多个难样本对第二模型进行模型优化，得到目标模型，可提升图处理模型的性能。

Description

模型优化方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型优化方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的发展，图处理模型应运而生，所谓的图处理模型是一种可对图数据中的各个节点进行标签预测的模型。目前，在采用样本图对图处理模型进行模型训练优化时，通常需要先获取到样本图中的各个节点的节点标签，从而可基于各个节点的节点标签对图处理模型进行有监督学习，从而实现图处理模型的优化。经研究表明，现有的模型优化方法预先由标注人员为各个节点进行标签标注，造成人力成本的浪费；且整个训练优化逻辑较为简单，使得图处理模型的性能较差。基于此，如何更好地对图处理模型进行训练优化，成为了研究热点。
发明内容
本发明实施例提供了一种模型优化方法、装置、计算机设备及存储介质，可更好地进行模型优化，提升模型性能，得到较为鲁棒的目标模型。
一方面，本发明实施例提供了一种模型优化方法，包括：
获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；
采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；
调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；
基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；
采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
一方面，本发明实施例提供了一种模型优化装置，包括：
获取单元，用于获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；
处理单元，用于采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；
所述处理单元，还用于调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；
所述处理单元，还用于基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；
优化单元，用于采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
一方面，本发明实施例提供了一种计算机设备，包括：
处理器，适于实现一条或多条计算机程序；
计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行：
获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
一方面，本发明实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条多条指令，所述一条或多条指令适于由所述处理器加载并执行：
获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得计算机设备执行：
获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
本发明实施例提供的模型优化方法通过采用包括了节点标签的有标签节点和无节点标签的无标签节点的目标图数据对第一模型进行半监督学习，得到第二模型，可使得第二模型具备一定的特征学习和标签预测能力，进一步地，通过第二模型对目标图数据进行标签预测，并基于标签预测结果较为准确地挖掘出难样本。然后，可采用难样本对第二模型做进一步的模型优化，使得第二模型可学习到更多的信息，从而优化得到目标模型；通过多轮的模型优化，可使得模型学习到较多的有效信息，从而提升目标模型的鲁棒性，使得目标模型具备更稳定的性能和更强的分类学习能力。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种模型优化方案的流程示意图；
图2是本发明实施例提供的一种模型优化方法的示意图；
图3是本发明实施例提供的另一种模型优化方法的示意图；
图4a是本发明实施例提供的一种初始图数据结构示意图；
图4b是本发明实施例提供的一种标签预测过程的示意图；
图4c是本发明实施例提供的一种标签信息变化过程的示意图；
图4d是本发明实施例提供的一种对图中节点进行遍历的流程示意图；
图5a是本发明实施例提供的一种有监督损失函数的改进效果示意图；
图5b是本发明实施例提供的一种无监督损失函数的改进效果示意图；
图6是本发明实施例提供的一种模型优化装置结构示意图；
图7是本发明实施例提供的一种计算机设备结构示意图。
具体实施方式
随着互联网技术的不断发展，人工智能(Artificial Intelligence，AI)技术也随之得到更好的发展。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术；其主要通过了解智能的实质，生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功能。相应的，AI技术是一门综合学科，其主要包括计算机视觉技术(Computer Vision，CV)、语音处理技术、自然语言处理技术以及机器学习(MachineLearning，ML)/深度学习等几大方向。
其中，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心，是使计算机设备具有智能的根据途径；所谓的机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科；其专门研究计算机设备怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。而深度学习则是一种利用深层神经网络系统，进行机器学习的技术；机器学习/深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning，RL)、有监督学习、无监督学习等多种技术；所谓的有监督学习是指采用类别已知(具有标注类别)的训练样本进行模型优化训练的处理方式，无监督学习是指采用类别未知(没有被标记)的训练样本进行模型优化训练的处理方式。
基于AI技术中的机器学习/深度学习技术，本发明实施例提供了一种基于半监督学习的模型优化方案；所谓的半监督学习是相对于监督学习和无监督学习的一个概念，具体是指采用部分有标签的训练样本和部分无标签训练样本进行模型优化训练的处理方式。在具体实现中，该模型优化方案可由一个计算机设备执行，该计算机设备可以是终端或者服务器。其中，终端可包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能电视等；终端内可运行各式各样的客户端(application，APP)，如多媒体播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端，等等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。
其中，该模型优化方案的大致原理可参见图1所示：首先，可构建一个初始模型，该初始模型本质上是一个图处理模型；计算机设备可采用初始图数据对初始模型进行模型训练优化，直至初始模型收敛(即：图1中Stage-1训练)，得到第一模型；其中，初始图数据中包括初始图中的各个节点的初始特征、以及初始标签信息，初始图包括一个或多个有标签节点以及一个或多个无标签节点。示例性地，初始模型可以例如是半监督GraphSAGE(GraphSample and Aggregate，图采样与聚合)模型。可以理解，经过Stage-1训练，初始图中各个节点的初始特征将被调整为新的节点特征，且初始图中部分无标签节点(如：与有标签节点相关联的各个无标签节点)可得到一些相对确定的节点标签(即：预测标签)，可以理解，初始图中与有标签节点关联性较弱的无标签节点无法得到确定的节点标签；进一步地，计算机设备可将有预测标签的各个无标签节点标记为新的有标签节点，以更新初始图。然后计算机设备可基于各个节点的节点特征(即：调整后的初始特征)，对第一模型进行模型训练优化(即：图1中Stage-2训练)直至第一模型收敛，得到第二模型；其中，在Stage-2训练过程中，计算机设备还将调用第二模型的分类分支对更新后的初始图中的各个无标签节点进行标签预测，得到各个节点的预测标签和预测标签的置信度；进一步地，计算机设备可将置信度较低的预测标签对应的节点作为难样本，以得到一个或多个难样本；在计算机设备得到一个或多个难样本之后，可采用难样本对第二模型进行训练，以得到目标模型。在得到目标模型之后，计算机设备还可调用目标模型对难样本进行标签预测，得到各个难样本的预测标签，以将各个难样本的预测标签作为各个难样本的节点标签，从而实现将初始图转换成每个节点均具有节点标签的图。
需要说明的是，图1只是示例性地表征了本申请实施例所提出的模型优化方案的大致原理，并不对此进行限定。例如，图1表示了计算机设备是在进行两轮模型训练(即图1中的Stage-1训练和Stage-2训练)后，执行的难样本挖掘操作，从而采用难样本进行模型训练；但在其他实施例中，计算机设备也可在执行了第一轮模型训练(即图1中的Stage-1训练)后，直接进行难样本挖掘；具体的，计算机设备可调用第一模型的分类分支对初始图中的各个无标签节点进行标签预测，得到初始图中的各个节点的预测标签的置信度，从而根据初始图中的各个节点的预测标签的置信度进行难样本挖掘，并基于挖掘得到的难样本对第一模型进行训练，以得到目标模型。或者，计算机设备也可以在执行了两轮模型训练(即图1中的Stage-1训练和Stage-2训练)后，继续根据第二模型所调整的各个节点的节点特征，对第二模型进行模型训练优化，直至第二模型收敛，得到第三模型；然后再基于第三模型进行难样本挖掘，从而基于挖掘得到的难样本对第三模型进行训练，以得到目标模型。
在一个实施例中，本发明实施例提供的模型优化方法可充分利用半监督图数据中的各个节点的信息，提高了图处理模型的性能；此外，本发明实施例中的目标模型可基于多轮模型优化得到，且第一轮模型优化之后的每一轮模型优化所用的训练数据，都是基于上一轮所优化的模型进行数据调整后的数据，其中，每轮模型优化都将优化模型的标签预测能力和特征学习能力，因此经过多轮模型优化后得到的目标模型具有更强的分类学习能力，进而使得本发明提供的方法可广泛应用于一切与图计算相关的场景中，例如：商品推荐场景、广告推荐场景等。
举例来说，在商品推荐场景中，本发明提供的方法可应用于购物类应用程序。在实际应用中，购物类应用程序中各个商品信息通常会被计算机设备以图数据的形式存储，以使得计算机设备可在检测到用户存在某一类商品信息的浏览记录时，对应地为该用户推荐同一类别的商品，或者，对应地为该用户推荐与该商品类别关联度较高的其他商品。示例性地，假设计算机设备检测到用户A存在对商品a的浏览记录，那么计算机设备可调用目标模型对商品a对应的目标节点进行特征学习或标签预测等处理，以在目标模型对目标节点进行处理的过程中获取到该目标节点关联度较高的节点b，进而使得计算机设备可将该节点b对应的商品推荐给用户A。可选地，计算机设备还可在得到该目标节点的节点特征或预测标签之后，在图数据中查找与该目标节点的节点特征相似度较高的节点对应的商品，或者，在图数据中查找与预测标签相似度较高的节点对应的商品，并将该商品推荐给用户A。
基于上述模型优化方案的相关描述，本发明实施例提出了一种模型优化方法，该模型优化方法可由上述所提及的计算机设备执行；参见图2所示，该模型优化方法可包括以下步骤S201-S205：
S201，获取目标图数据。
其中，目标图数据可包括：目标图中的各个节点的节点特征以及目标标签信息；目标图可包括M个有标签节点和N个无标签节点，目标标签信息可包括每个有标签节点的节点标签，M和N均为正整数。示例性地，有标签节点的节点标签可以指示该有标签节点的类别，各个节点的节点特征可用于对各个节点进行分类。
在一个实施例中，目标图数据可以包括初始图数据，初始图数据包括：初始图中的各个节点的初始特征、以及初始标签信息，且初始图包括一个或多个有标签节点以及一个或多个无标签节点；可选地，目标图数据也可以包括计算机设备调用初始模型对初始图数据中各个节点的初始特征进行调整后的图数据；进一步地，目标图数据还可以包括：计算机设备调用初始模型对初始图数据中的各个节点的初始特征进行调整，且基于调整后的各个节点特征对各个节点进行标签预测后，得到的各个节点、各个节点的预测标签和预测标签的置信度，以及各个节点的新的节点特征，本发明实施例对此不做限制。
其中，初始图数据可以理解为相关技术人员针对本方案预先构建的预设图数据，进一步地，目标图数据可以理解为计算机设备对预设图数据经过多次标签预测以及多次节点特征的调整后得到的图数据。
S202，采用目标图数据中的各个节点特征和目标标签信息，对第一模型进行半监督学习，得到第二模型。
具体地，计算机设备可先获取目标图数据中的目标节点，该目标节点可以是目标图中的任意一个节点。然后，计算机设备通过获取与目标节点相关的训练数据，并基于该训练数据对第一模型中的参数进行调整，以得到参数第一次调整后的第一模型。
其中，与目标节点相关的训练数据可以包括该目标节点的节点特征，以及该目标节点的正样本节点的节点特征和该目标节点的负样本节点的节点特征；可选地，若目标节点为有标签节点，则该训练数据还可包括：目标节点的节点标签。示例性地，计算机设备可采用deepwalk(深度游走)算法获取目标节点的正样本节点和负样本节点，具体地，根据目标节点随机游走预设数量次，并将游走得到的处于预设范围(如：目标节点的2阶范围)内的节点作为正样本节点，将游走得到的预设范围外的节点作为负样本节点。可以理解，正样本节点的节点特征与目标节点的节点特征之间的相似度高于负样本的节点特征与目标节点的节点特征之间的相似度。
进一步地，计算机设备可在第一模型的第一次参数调整完成后，重新在目标图数据中获取一个未被用于第一模型的参数调整的节点作为新的目标节点，并执行“获取与目标节点相关的数据，并采用该训练数据对第一模型中的参数进行调整”，以得到参数第二次调整后的第一模型。可以理解，计算机设备可以在每一次第一模型的参数调整完成后，重复执行上述“在目标图数据中获取一个未被用于第一模型的参数调整的节点作为新的目标节点，并执行‘获取与该目标节点相关的数据，并采用该训练数据对第一模型中的参数进行调整’”步骤，直至计算机设备得到参数调整完成的第一模型(或称：训练收敛的第一模型)。
S203，调用第二模型对每个无标签节点进行标签预测，得到每个无标签节点的预测标签，以及每个预测标签的置信度。
在一个实施例中，由于节点标签可以用于指示节点的类别信息，那么，计算机设备调用第二模型对每个无标签节点进行标签预测，也可理解为：计算机设备调用第二模型对每个无标签节点进行分类处理，以得到每个无标签节点的预测类别；具体地，计算机设备可调用第二模型中的分类分支对每个无标签节点进行分类处理，其中，分类分支可以包括用于对无标签节点进行分类处理的分类器。
S204，基于每个预测标签的置信度，从N个无标签节点中选取一个或多个难样本。
其中，难样本是指：置信度满足预设条件的预测标签所对应的无标签节点。示例性地，预设条件可以例如是置信度小于置信度阈值的预测标签。进一步地，计算机设备可以将置信度高于置信度阈值的预测标签作为节点的伪标签，与伪标签这一概念相对应的有真实标签，示例性地，真实标签可以包括有标签节点的节点标签。
S205，采用一个或多个难样本对第二模型进行模型优化，得到目标模型。
在具体实现中，计算机设备可遍历一个或多个难样本，并从目标图中获取当前遍历的当前难样本的目标正样本节点和目标负样本节点；然后计算机设备从目标图数据中获取与当前难样本相关的训练特征集，可选地，训练特征集包括：当前难样本的节点特征、目标正样本节点的节点特征以及目标负样本节点的节点特征；在计算机设备得到训练特征集后，可调用第二模型对训练特征集中各个节点特征进行调整，得到当前难样本的目标训练特征集；然后计算机设备采用目标损失函数根据目标训练特征集，计算第二模型的模型损失值；并按照减小所述第二模型的模型损失值的方向，优化第二模型的模型参数，以得到目标模型。
其中，计算机设备从目标图中获取当前遍历的当前难样本的目标正样本节点时，可以先获取当前难样本对应的一个或多个备选正样本节点，并获取当前难样本对应的一个或多个备选负样本节点；然后优先选取具有真实标签的备选正样本节点为目标正样本节点；若一个或多个备选正样本节点中不存在具有真实标签的备选正样本节点，则可在多个具有预测标签的备选正样本节点中，优先确定预测标签的置信度较高的备选正样本节点为目标正样本节点。对应地，计算机设备可通过与确定目标正样本节点相同的方式，从一个或多个备选负样本节点中确定出目标负样本节点。
进一步地，当计算机设备得到目标模型之后，可调用目标模型对目标图数据中的所有节点进行标签预测处理，得到目标图中每个节点的预测标签。可选地地，计算机设备还可调用目标模型对其他图数据进行标签预测处理，以得到具有每个节点的节点标签的图数据，如：对与目标图数据同类型的图数据进行标签预测处理。
本发明实施例通过采用半监督损失函数对第一模型进行模型优化，使得模型优化时可用到目标图数据中的全部信息，进而得到性能更加稳定的第二模型，进一步地使得基于第二模型进行参数调整的目标模型的性能更加稳定。又由于本发明实施例采用的第一模型可以是基于初始图数据进行模型优化处理后的模型，且初始图数据中包括一个或多个有标签节点，以及每个有标签节点的节点标签，此外，初始图数据还包括一个或多个无节点标签的无标签节点，因此，可理解，第一模型对无标签节点的分类学习有较强的能力，进一步提升了目标模型的鲁棒性和标签预测能力。
基于上述模型优化方法的相关描述，本发明实施例提出了另一种模型优化方法，该模型优化方法可由上述计算机设备执行；请参见图3所示，该模型优化方法包括以下步骤S301-S308：
S301，获取目标图数据。
在一个实施例中，计算机设备在获取目标图数据时，可具体通过执行如下步骤实现：计算机设备首先获取初始图数据，然后采用初始图数据中的各个初始特征和初始标签信息，对初始模型进行半监督学习，得到第一模型，示例性地，初始图数据可如图4a所示；然后计算机设备可在一个或多个无标签节点中，确定初始图中的每个有标签节点的关联节点，并调用第一模型对各个关联节点进行标签预测，得到各个关联节点的预测标签。可选地，计算机设备可将初始图中处于有标签节点一阶范围内的节点作为关联节点，如：图4a中的节点B和节点C即为有标签节点A的关联节点；当然，第一模型也可对初始图中除关联节点以外的其他节点进行标签预测，但可以理解的是，第一模型对其他节点进行标签预测后得到的预测标签的置信度，低于第一模型对关联节点进行标签预测后得到的预测标签对应的置信度。
进一步地，在计算机设备得到各个关联节点的预测标签之后，计算机设备可将各个关联节点的预测标签作为各个关联节点的节点标签，并采用各个关联节点的节点标签和初始标签信息，构建目标标签信息，最后，计算机设备可通过在初始图中将各个关联节点标注为新的有标签节点，得到目标图，并通过获取初始模型在半监督学习过程中所学习到的各个节点的节点特征，构建得到目标图数据。
示例性地，计算机设备基于初始图数据得到目标图数据的过程可如图4b所示和图4c所示。具体地，假设位于有标签节点一阶范围内的节点是与有标签节点联系较为紧密的节点，且假设图4b所示的初始图401中的节点A为有标签节点。那么可知，在计算机设备调用第一模型对无标签节点进行标签预测时，计算机设备会先确定出与有标签节点A联系较为紧密的无标签节点B、无标签节点C，然后基于有标签节点A的初始标签信息01对无标签节点B和无标签节点C进行标签预测，得到如402所示的目标图，进一步地，计算机设备将基于初始模型在半监督学习过程中所学习到的各个节点的节点特征和目标图，构建得到如411所示的目标图数据。
S302，遍历目标图中的各个节点，并从目标图中获取当前遍历的当前节点的正样本节点和负样本节点。
在一个实施例中，遍历目标图中的各个节点可以理解为：计算机设备一次只获取目标图中的一个节点作为当前节点，并基于当前节点的正样本节点和负样本节点对第一模型的参数进行调整，直至目标图中所有节点均被作为当前节点，用于对第一模型进行过模型优化处理。示例性地，假设目标图如图4d中421所示，那么计算机设备遍历目标图421的流程可如图4d中422所示。可选地，计算机设备从目标图中获取当前遍历的当前节点的正样本节点和负样本节点可以采用负采样方法进行。
S303，从目标图数据中获取与当前节点相关的参考特征集。
在一个实施例中，参考特征集中包括：当前节点的节点特征、正样本节点的节点特征以及负样本节点的节点特征。
S304，调用第一模型对参考特征集中各个节点特征进行调整，得到当前节点的目标特征集。
在一个实施例中，本发明实施例采用的半监督损失函数可如式1所示:
Figure BDA0002993234170000121
具体实施例中，该半监督损失函数可理解为包括了第一子函数和第二子函数。且第一子函数如式2所示：
Figure BDA0002993234170000122
其中，L1表示第一损失值，Zu表示当前节点的目标特征，Zv表示正样本节点的目标特征，Zvn表示负样本节点的目标特征，Q表示负采样的次数，
Figure BDA0002993234170000123
是负采样分布，
Figure BDA0002993234170000124
表示正样本节点的目标特征的模，
Figure BDA0002993234170000125
表示负样本节点的目标特征的模。可以理解，
Figure BDA0002993234170000126
相当于对当前节点的目标特征与正样本节点的目标特征之间的第一相似度进行单位圆归一化处理，
Figure BDA0002993234170000127
相当于对当前节点的目标特征与负样本节点的目标特征之间的第二相似度进行单位圆归一化处理，在计算机设备对第一相似度和第二相似度均进行了单位圆归一化处理之后，当前节点与正样本节点(或当前节点与负样本节点)之间的区分度仅可以体现在角度上。如图5a所示，增加单位圆约束之后，两个节点的区分从模和角度转移到角度这一单一变量上。进一步地可以理解，计算机设备采用第一子函数对节点之间的相似度进行计算，可使得正样本节点和当前节点之间的相似度更高(即：联系紧密的节点特征更相似)，并使得负样本节点和当前节点之间的相似度更低(即：联系疏远的节点特征区别更大)。
对应地，第二子函数如式3所示：
Figure BDA0002993234170000128
其中，L2表示第二损失值，Y表示当前节点的标注标签的标签特征，W表示当前节点的预设标签的预设特征，Zu表示当前节点的目标特征，fs表示softmax归一化操作，α为第二损失值的加权值(或称：权重)，
Figure BDA0002993234170000131
表示对当前节点的目标特征和当前节点的标注标签的标签特征之间的第三相似度进行单位圆归一化。具体地，第二损失值的加权值α可随着当前节点所属数据组的序号变化而变化，示例性地，权重α的计算方式可如式4所示：
Figure BDA0002993234170000132
其中，batch_num为当前节点所属数据组的序号。可以理解，第二损失值的加权值可通过计算机设备确定当前节点所属的目标数据组的目标序号，并按照序号和加权值成负相关的原则，基于目标序号计算得到。可选地，目标序号可通过计算机设备将目标图数据划分成多个依次排列的数据组得到，可以理解，一个数据组具有一个序号，每个数据组按序依次被用于对第一模型进行半监督学习。
举例来说，假设目标图数据总共有100个节点，计算机设备可将目标图数据划分为4个数据组，每个数据组中有25个节点，并将第1-25个节点组成的数据组作为序号为1的数据组，将第26-50个节点组成的数据组作为序号为2的数据组，…，依次类推，可得到4个按序排列的数据组。在模型优化过程中，计算机设备将依序号将每个数据组用于对模型进行优化。
可以理解，计算机设备采用第二子函数对第一模型进行模型优化时，由于对第三相似度加了单位圆约束，因此两类不同的节点将不再出现在类别分界面上，进而可使得经过第一模型进行标签预测后的同一类别的节点分布范围缩小，且同类别中各个节点的距离更小，可参见如图5b所示。相当于把类别信息(当前节点的预设标签的预设特征)当成一个模板，让同一类别的节点特征与对应的类别权重尽可能相似，不同类别尽可能不相似。
S305，采用半监督损失函数根据目标特征集，计算第一模型的模型损失值，并按照减小第一模型的模型损失值的方向，优化第一模型的模型参数，以得到第二模型。
在一个实施例中，如果当前节点为有标签节点，计算机设备将采用第一子函数根据目标特征集中的各个目标特征，计算第一损失值；然后计算机设备再获取当前节点的标注标签的标签特征，并采用第二子函数根据标签特征和当前节点的目标特征，计算第二损失值；在计算机设备得到第一损失值和第二损失值之后，计算机设备可根据第一损失值和第二损失值，计算得到第一模型的模型损失值。
进一步地，计算机设备采用第一子函数根据目标特征集中的各个目标特征，计算第一损失值，可具体包括如下步骤：计算机设备根据当前节点的目标特征和正样本节点的目标特征进行相似度计算，得到第一相似度(即：
Figure BDA0002993234170000141
)；计算机设备根据当前节点的目标特征和负样本节点的目标特征进行相似度计算，得到第二相似度
Figure BDA0002993234170000142
计算机设备对第一相似度进行单位圆归一化处理，即：
Figure BDA0002993234170000143
得到归一化后的第一相似度，并对第二相似度进行单位圆归一化处理，即：
Figure BDA0002993234170000144
得到归一化后的第二相似度；然后计算机设备可基于归一化后的第一相似度和归一化后的第二相似度，计算得到第一损失值。
对应地，计算机设备采用第二子函数根据标签特征和当前节点的目标特征，计算第二损失值，可具体包括如下步骤：计算机设备获取第一模型中的预设标签的预设特征，并计算预设特征和当前节点的目标特征之间的第三相似度(即：WTzu)；计算机设备对第三相似度进行单位圆归一化处理，得到归一化后的第三相似度；计算机设备根据标签特征和归一化后的第三相似度，计算得到第二损失值。
进一步地，计算机设备可根据第一损失值和第二损失值，计算得到第一模型的模型损失值，具体地，计算机设备可先获取第二损失值的加权值，并采用加权值对第二损失值进行加权处理，得到加权后的第二损失值；然后计算机设备对第一损失值和加权后的第二损失值进行求和，得到第一模型的模型损失值。
S306，调用第二模型对每个无标签节点进行标签预测，得到每个无标签节点的预测标签，以及每个预测标签的置信度。
S307，基于每个预测标签的置信度，从N个无标签节点中选取一个或多个难样本。
S308，采用一个或多个难样本对第二模型进行模型优化，得到目标模型。
在一个实施例中，步骤S306至步骤S308中的具体实施方式可参见步骤S203至步骤S205中的相关描述，本发明实施例在此不再赘述。
本发明实施例通过采用半监督损失函数对第一模型进行模型优化，使得模型优化时，可充分利用目标图数据中的全部节点的节点特征和标签信息等数据；同时，本发明实施例通过对第一相似度、第二相似度和第三相似度进行单位圆约束，保证了节点特征之间差异的有效学习，缩小了类内差异(即：减小了具有同一标签信息的节点之间的相似度)；又由于本发明实施例在对第二模型进行模型优化时加入了难样本的挖掘，并基于挖掘到的难样本对第二模型进行模型优化，得到目标模型，加强了目标模型对无标签样本的分类学习能力，进而提高了目标模型对无标签节点进行标签预测后得到的预测标签的置信度。
基于上述模型优化方法实施例的描述，本发明实施例还公开了一种模型优化装置，该模型优化装置可以是运行于上述所提及的计算机设备中的一个计算机程序(包括程序代码)。该模型优化装置可以执行图2或图3所示的方法。请参见图6，所述模型优化装置至少可以包括：获取单元601、处理单元602和优化单元603。
获取单元601，用于获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；
处理单元602，用于采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；
所述处理单元602，还用于调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；
所述处理单元602，还用于基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；
优化单元603，用于采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
在一种实施方式中，获取单元601在执行获取目标图数据时，具体用于执行：
获取初始图数据，所述初始图数据包括：初始图中的各个节点的初始特征、以及初始标签信息；所述初始图包括一个或多个有标签节点以及一个或多个无标签节点；
采用所述初始图数据中的各个初始特征和所述初始标签信息，对初始模型进行半监督学习，得到第一模型；
在所述一个或多个无标签节点中，确定所述初始图中的每个有标签节点的关联节点，并调用所述第一模型对各个关联节点进行标签预测，得到所述各个关联节点的预测标签；
将各个关联节点的预测标签作为所述各个关联节点的节点标签，并采用所述各个关联节点的节点标签和所述初始标签信息，构建目标标签信息；
在所述初始图中将所述各个关联节点标注为新的有标签节点，得到目标图；并获取所述初始模型在半监督学习过程中所学习到的各个节点的节点特征，以得到目标图数据。
在又一种实施方式中，所述处理单元602采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型，具体执行：
遍历所述目标图中的各个节点，并从所述目标图中获取当前遍历的当前节点的正样本节点和负样本节点；
从所述目标图数据中获取与所述当前节点相关的参考特征集，所述参考特征集中包括：所述当前节点的节点特征、所述正样本节点的节点特征以及所述负样本节点的节点特征；
调用所述第一模型对所述参考特征集中各个节点特征进行调整，得到所述当前节点的目标特征集；
采用半监督损失函数根据所述目标特征集，计算所述第一模型的模型损失值；并按照减小所述第一模型的模型损失值的方向，优化所述第一模型的模型参数，以得到第二模型。
在又一种实施方式中，所述半监督损失函数包括第一子函数和第二子函数；所述目标特征集包括：所述当前节点的目标特征、所述正样本节点的目标特征以及所述负样本节点的目标特征；所述处理单元602采用半监督损失函数根据所述目标特征集，计算所述第一模型的模型损失值，具体执行：
若所述当前节点为有标签节点，则采用第一子函数根据所述目标特征集中的各个目标特征，计算第一损失值；
获取所述当前节点的标注标签的标签特征，并采用所述第二子函数根据所述标签特征和所述当前节点的目标特征，计算第二损失值；
根据所述第一损失值和所述第二损失值，计算所述第一模型的模型损失值。
在又一种实施方式中，所述处理单元采用第一子函数根据所述目标特征集中的各个目标特征，计算第一损失值，具体执行：
根据所述当前节点的目标特征和所述正样本节点的目标特征进行相似度计算，得到第一相似度；以及根据所述当前节点的目标特征和所述负样本节点的目标特征进行相似度计算，得到第二相似度；
对所述第一相似度进行单位圆归一化处理，得到归一化后的第一相似度；并对所述第二相似度进行单位圆归一化处理，得到归一化后的第二相似度；所述单位圆归一化处理使得：任意两个特征之间的相似度通过所述任意两个特征的特征向量角度进行体现；
基于所述归一化后的第一相似度和所述归一化后的第二相似度，计算得到第一损失值。
在又一种实施方式中，所述处理单元602采用所述第二子函数根据所述标签特征和所述当前节点的目标特征，计算第二损失值，具体执行：
获取所述第一模型中的预设标签的预设特征，并计算所述预设特征和所述当前节点的目标特征之间的第三相似度；
对所述第三相似度进行单位圆归一化处理，得到归一化后的第三相似度；
根据所述标签特征和所述归一化后的第三相似度，计算得到第二损失值。
在又一种实施方式中，所述处理单元602根据所述第一损失值和所述第二损失值，计算所述第一模型的模型损失值，具体执行：
获取所述第二损失值的加权值，并采用所述加权值对所述第二损失值进行加权处理，得到加权后的第二损失值；
对所述第一损失值和所述加权后的第二损失值进行求和，得到所述第一模型的模型损失值。
在又一种实施方式中，所述目标图数据被划分成多个依次排列的数据组，一个数据组具有一个序号；每个数据组按序依次被用于对所述第一模型进行半监督学习；所述获取单元601获取所述第二损失值的加权值，具体用于执行：
确定所述当前节点所属的目标数据组的目标序号；
按照序号和加权值成负相关的原则，根据所述目标序号计算所述第二损失值的加权值。
在又一种实施方式中，所述优化单元603采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型，具体执行：
遍历所述一个或多个难样本，并从所述目标图中获取当前遍历的当前难样本的目标正样本节点和目标负样本节点；
从所述目标图数据中获取与所述当前难样本相关的训练特征集，所述训练特征集中包括：所述当前难样本的节点特征、所述目标正样本节点的节点特征以及所述目标负样本节点的节点特征；
调用所述第二模型对所述训练特征集中各个节点特征进行调整，得到所述当前难样本的目标训练特征集；
采用目标损失函数根据所述目标训练特征集，计算所述第二模型的模型损失值；并按照减小所述第二模型的模型损失值的方向，优化所述第二模型的模型参数，以得到目标模型。
根据本申请的一个实施例，图2和图3所示的方法所涉及各个步骤可以是由图6所示的模型优化装置中的各个单元来执行的。例如，图2所示的步骤S201可由图6所示的模型优化装置中的获取单元601来执行；步骤S202至步骤S204均可由图6所示的模型优化装置中的处理单元602来执行；步骤S205可由图6所示的模型优化装置中的优化单元603来执行。再如，图3所示的步骤S301至步骤S303均可由图6所示的模型优化装置中的获取单元601来执行；步骤S304至步骤S307均可由图6所示的模型优化装置中的处理单元602来执行；步骤S308可由图6所示的模型优化装置中的优化单元603来执行。
根据本申请的另一个实施例，图6所示的模型优化装置中的各个单元是基于逻辑功能划分的，上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。在本申请的其它实施例中，上述模型优化装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图3所示的方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的模型优化装置，以及来实现本申请实施例的模型优化方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。
在本发明实施例中，通过模型优化装置采用半监督损失函数对第一模型进行模型优化，使得模型优化时可用到目标图数据中的全部信息，进而得到性能更加稳定的第二模型，进一步地使得基于第二模型进行参数调整的目标模型的性能更加稳定。又由于本发明实施例采用的第一模型可以是基于初始图数据进行模型优化处理后的模型，且初始图数据中包括一个或多个有标签节点，以及每个有标签节点的节点标签，此外，初始图数据还包括一个或多个无节点标签的无标签节点，因此，可理解，第一模型对无标签节点的分类学习有较强的能力，进一步提升了目标模型的鲁棒性和标签预测能力。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算机设备。请参见图7，该计算机设备至少包括处理器701、输入接口702、以及计算机存储介质703，且计算机设备内的处理器701、输入接口702以及计算机存储介质703可通过总线或其他方式连接。
所述计算机存储介质703是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质703既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质703提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。所述处理器701(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中，可由处理器701加载并执行计算机存储介质703中存放的一条或多条指令，以实现上述有关图2和图3所示的方法实施例中的相应方法步骤；具体实现中，计算机存储介质703中的一条或多条指令由处理器701加载并执行如下步骤：
获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
在一种实施方式中，所述获取目标图数据，具体由处理器701加载并执行：
获取初始图数据，所述初始图数据包括：初始图中的各个节点的初始特征、以及初始标签信息；所述初始图包括一个或多个有标签节点以及一个或多个无标签节点；
采用所述初始图数据中的各个初始特征和所述初始标签信息，对初始模型进行半监督学习，得到第一模型；
在所述一个或多个无标签节点中，确定所述初始图中的每个有标签节点的关联节点，并调用所述第一模型对各个关联节点进行标签预测，得到所述各个关联节点的预测标签；
将各个关联节点的预测标签作为所述各个关联节点的节点标签，并采用所述各个关联节点的节点标签和所述初始标签信息，构建目标标签信息；
在所述初始图中将所述各个关联节点标注为新的有标签节点，得到目标图；并获取所述初始模型在半监督学习过程中所学习到的各个节点的节点特征，以得到目标图数据。
在又一种实施方式中，所述采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型，具体由处理器701加载并执行：
遍历所述目标图中的各个节点，并从所述目标图中获取当前遍历的当前节点的正样本节点和负样本节点；
从所述目标图数据中获取与所述当前节点相关的参考特征集，所述参考特征集中包括：所述当前节点的节点特征、所述正样本节点的节点特征以及所述负样本节点的节点特征；
调用所述第一模型对所述参考特征集中各个节点特征进行调整，得到所述当前节点的目标特征集；
采用半监督损失函数根据所述目标特征集，计算所述第一模型的模型损失值；并按照减小所述第一模型的模型损失值的方向，优化所述第一模型的模型参数，以得到第二模型。
在又一种实施方式中，所述半监督损失函数包括第一子函数和第二子函数；所述目标特征集包括：所述当前节点的目标特征、所述正样本节点的目标特征以及所述负样本节点的目标特征；所述采用半监督损失函数根据所述目标特征集，计算所述第一模型的模型损失值，具体由处理器701加载并执行：
若所述当前节点为有标签节点，则采用第一子函数根据所述目标特征集中的各个目标特征，计算第一损失值；
获取所述当前节点的标注标签的标签特征，并采用所述第二子函数根据所述标签特征和所述当前节点的目标特征，计算第二损失值；
根据所述第一损失值和所述第二损失值，计算所述第一模型的模型损失值。
在又一种实施方式中，所述采用第一子函数根据所述目标特征集中的各个目标特征，计算第一损失值，具体由处理器701加载并执行：
根据所述当前节点的目标特征和所述正样本节点的目标特征进行相似度计算，得到第一相似度；以及根据所述当前节点的目标特征和所述负样本节点的目标特征进行相似度计算，得到第二相似度；
对所述第一相似度进行单位圆归一化处理，得到归一化后的第一相似度；并对所述第二相似度进行单位圆归一化处理，得到归一化后的第二相似度；所述单位圆归一化处理使得：任意两个特征之间的相似度通过所述任意两个特征的特征向量角度进行体现；
基于所述归一化后的第一相似度和所述归一化后的第二相似度，计算得到第一损失值。
在又一种实施方式中，所述采用所述第二子函数根据所述标签特征和所述当前节点的目标特征，计算第二损失值，具体由处理器701加载并执行：
获取所述第一模型中的预设标签的预设特征，并计算所述预设特征和所述当前节点的目标特征之间的第三相似度；
对所述第三相似度进行单位圆归一化处理，得到归一化后的第三相似度；
根据所述标签特征和所述归一化后的第三相似度，计算得到第二损失值。
在又一种实施方式中，所述根据所述第一损失值和所述第二损失值，计算所述第一模型的模型损失值，具体由处理器701加载并执行：
获取所述第二损失值的加权值，并采用所述加权值对所述第二损失值进行加权处理，得到加权后的第二损失值；
对所述第一损失值和所述加权后的第二损失值进行求和，得到所述第一模型的模型损失值。
在又一种实施方式中，所述目标图数据被划分成多个依次排列的数据组，一个数据组具有一个序号；每个数据组按序依次被用于对所述第一模型进行半监督学习；所述获取所述第二损失值的加权值，具体由处理器701加载并执行：
确定所述当前节点所属的目标数据组的目标序号；
按照序号和加权值成负相关的原则，根据所述目标序号计算所述第二损失值的加权值。
在又一种实施方式中，所述采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型，具体由处理器701加载并执行：
遍历所述一个或多个难样本，并从所述目标图中获取当前遍历的当前难样本的目标正样本节点和目标负样本节点；
从所述目标图数据中获取与所述当前难样本相关的训练特征集，所述训练特征集中包括：所述当前难样本的节点特征、所述目标正样本节点的节点特征以及所述目标负样本节点的节点特征；
调用所述第二模型对所述训练特征集中各个节点特征进行调整，得到所述当前难样本的目标训练特征集；
采用目标损失函数根据所述目标训练特征集，计算所述第二模型的模型损失值；并按照减小所述第二模型的模型损失值的方向，优化所述第二模型的模型参数，以得到目标模型。
本发明实施例提供的计算机设备可充分利用半监督图数据中的各个节点的信息，提高了图处理模型的性能；此外，本发明实施例中的目标模型可基于多轮模型优化得到，且第一轮模型优化之后的每一轮模型优化所用的训练数据，都是基于上一轮所优化的模型进行数据调整后的数据，其中，每轮模型优化都将优化模型的标签预测能力和特征学习能力，因此经过多轮模型优化后得到的目标模型具有更强的分类学习能力。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储了上述模型优化方法的计算机程序，该计算机程序包括程序指令，当一个或多个处理器加载并执行该程序指令，可以实现实施例中对模型优化方法的描述，在此不再赘述。对采用相同方法的有益效果的描述，在此不再赘述。可以理解的是，程序指令可以被部署在一个或多个能够相互通信的设备上执行。
需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备中的处理器从计算机可读存储介质读取该计算机指令，然后执行该计算机指令，进而使得该计算机设备能够执行上述图2和图3所示的模型优化方法实施例方面的各种可选方式中提供的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述模型优化方法的实施例的流程。其中，所述的计算机可读取存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种模型优化方法，其特征在于，包括：
获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；
采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；
调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；
基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；
采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图数据，包括：
获取初始图数据，所述初始图数据包括：初始图中的各个节点的初始特征、以及初始标签信息；所述初始图包括一个或多个有标签节点以及一个或多个无标签节点；
采用所述初始图数据中的各个初始特征和所述初始标签信息，对初始模型进行半监督学习，得到第一模型；
在所述一个或多个无标签节点中，确定所述初始图中的每个有标签节点的关联节点，并调用所述第一模型对各个关联节点进行标签预测，得到所述各个关联节点的预测标签；
将各个关联节点的预测标签作为所述各个关联节点的节点标签，并采用所述各个关联节点的节点标签和所述初始标签信息，构建目标标签信息；
在所述初始图中将所述各个关联节点标注为新的有标签节点，得到目标图；并获取所述初始模型在半监督学习过程中所学习到的各个节点的节点特征，以得到目标图数据。
3.根据权利要求1或2所述的方法，其特征在于，所述采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型，包括：
遍历所述目标图中的各个节点，并从所述目标图中获取当前遍历的当前节点的正样本节点和负样本节点；
从所述目标图数据中获取与所述当前节点相关的参考特征集，所述参考特征集中包括：所述当前节点的节点特征、所述正样本节点的节点特征以及所述负样本节点的节点特征；
调用所述第一模型对所述参考特征集中各个节点特征进行调整，得到所述当前节点的目标特征集；
采用半监督损失函数根据所述目标特征集，计算所述第一模型的模型损失值；并按照减小所述第一模型的模型损失值的方向，优化所述第一模型的模型参数，以得到第二模型。
4.根据权利要求3所述的方法，其特征在于，所述半监督损失函数包括第一子函数和第二子函数；所述目标特征集包括：所述当前节点的目标特征、所述正样本节点的目标特征以及所述负样本节点的目标特征；
所述采用半监督损失函数根据所述目标特征集，计算所述第一模型的模型损失值，包括：
若所述当前节点为有标签节点，则采用第一子函数根据所述目标特征集中的各个目标特征，计算第一损失值；
获取所述当前节点的标注标签的标签特征，并采用所述第二子函数根据所述标签特征和所述当前节点的目标特征，计算第二损失值；
根据所述第一损失值和所述第二损失值，计算所述第一模型的模型损失值。
5.根据权利要求4所述的方法，其特征在于，所述采用第一子函数根据所述目标特征集中的各个目标特征，计算第一损失值，包括：
根据所述当前节点的目标特征和所述正样本节点的目标特征进行相似度计算，得到第一相似度；以及根据所述当前节点的目标特征和所述负样本节点的目标特征进行相似度计算，得到第二相似度；
对所述第一相似度进行单位圆归一化处理，得到归一化后的第一相似度；并对所述第二相似度进行单位圆归一化处理，得到归一化后的第二相似度；所述单位圆归一化处理使得：任意两个特征之间的相似度通过所述任意两个特征的特征向量角度进行体现；
基于所述归一化后的第一相似度和所述归一化后的第二相似度，计算得到第一损失值。
6.根据权利要求4所述的方法，其特征在于，所述采用所述第二子函数根据所述标签特征和所述当前节点的目标特征，计算第二损失值，包括：
获取所述第一模型中的预设标签的预设特征，并计算所述预设特征和所述当前节点的目标特征之间的第三相似度；
对所述第三相似度进行单位圆归一化处理，得到归一化后的第三相似度；
根据所述标签特征和所述归一化后的第三相似度，计算得到第二损失值。
7.根据权利要求4所述的方法，其特征在于，所述根据所述第一损失值和所述第二损失值，计算所述第一模型的模型损失值，包括：
获取所述第二损失值的加权值，并采用所述加权值对所述第二损失值进行加权处理，得到加权后的第二损失值；
对所述第一损失值和所述加权后的第二损失值进行求和，得到所述第一模型的模型损失值。
8.根据权利要求7所述的方法，其特征在于，所述目标图数据被划分成多个依次排列的数据组，一个数据组具有一个序号；每个数据组按序依次被用于对所述第一模型进行半监督学习；所述获取所述第二损失值的加权值，包括：
确定所述当前节点所属的目标数据组的目标序号；
按照序号和加权值成负相关的原则，根据所述目标序号计算所述第二损失值的加权值。
9.根据权利要求1所述的方法，其特征在于，所述采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型，包括：
遍历所述一个或多个难样本，并从所述目标图中获取当前遍历的当前难样本的目标正样本节点和目标负样本节点；
从所述目标图数据中获取与所述当前难样本相关的训练特征集，所述训练特征集中包括：所述当前难样本的节点特征、所述目标正样本节点的节点特征以及所述目标负样本节点的节点特征；
调用所述第二模型对所述训练特征集中各个节点特征进行调整，得到所述当前难样本的目标训练特征集；
采用目标损失函数根据所述目标训练特征集，计算所述第二模型的模型损失值；并按照减小所述第二模型的模型损失值的方向，优化所述第二模型的模型参数，以得到目标模型。
10.一种模型优化装置，其特征在于，包括：
获取单元，用于获取目标图数据，所述目标图数据包括：目标图中的各个节点的节点特征以及目标标签信息；所述目标图包括M个有标签节点和N个无标签节点，所述目标标签信息包括每个有标签节点的节点标签，M和N均为正整数；
处理单元，用于采用所述目标图数据中的各个节点特征和所述目标标签信息，对第一模型进行半监督学习，得到第二模型；
所述处理单元，还用于调用所述第二模型对每个无标签节点进行标签预测，得到所述每个无标签节点的预测标签，以及每个预测标签的置信度；
所述处理单元，还用于基于所述每个预测标签的置信度，从所述N个无标签节点中选取一个或多个难样本，所述难样本是指：置信度满足预设条件的预测标签所对应的无标签节点；
优化单元，用于采用所述一个或多个难样本对所述第二模型进行模型优化，得到目标模型。
CN202110323769.7A 2021-03-25 2021-03-25 模型优化方法、装置、计算机设备及存储介质 Active CN113158554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110323769.7A CN113158554B (zh) 2021-03-25 2021-03-25 模型优化方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323769.7A CN113158554B (zh) 2021-03-25 2021-03-25 模型优化方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113158554A true CN113158554A (zh) 2021-07-23
CN113158554B CN113158554B (zh) 2023-02-14

Family

ID=76884916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323769.7A Active CN113158554B (zh) 2021-03-25 2021-03-25 模型优化方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113158554B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705716A (zh) * 2021-09-03 2021-11-26 北京百度网讯科技有限公司 图像识别模型训练方法、设备、云控平台及自动驾驶车辆
CN114118305A (zh) * 2022-01-25 2022-03-01 广州市玄武无线科技股份有限公司 一种样本筛选方法、装置、设备及计算机介质
CN115062709A (zh) * 2022-06-21 2022-09-16 腾讯科技（深圳）有限公司 模型优化方法、装置、设备、存储介质及程序产品
CN115545938A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 一种执行风险识别业务的方法、装置、存储介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190019061A1 (en) * 2017-06-06 2019-01-17 Sightline Innovation Inc. System and method for increasing data quality in a machine learning process
CN109543731A (zh) * 2018-11-09 2019-03-29 江南大学 一种自训练框架下的三优选半监督回归算法
CN111027421A (zh) * 2019-11-26 2020-04-17 西安宏规电子科技有限公司 一种基于图的直推式半监督行人再识别方法
CN111062495A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 机器学习方法及相关装置
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111339443A (zh) * 2020-03-09 2020-06-26 腾讯科技（深圳）有限公司 用户标签确定方法、装置、计算机设备及存储介质
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190019061A1 (en) * 2017-06-06 2019-01-17 Sightline Innovation Inc. System and method for increasing data quality in a machine learning process
CN109543731A (zh) * 2018-11-09 2019-03-29 江南大学 一种自训练框架下的三优选半监督回归算法
CN111027421A (zh) * 2019-11-26 2020-04-17 西安宏规电子科技有限公司 一种基于图的直推式半监督行人再识别方法
CN111062495A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 机器学习方法及相关装置
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111339443A (zh) * 2020-03-09 2020-06-26 腾讯科技（深圳）有限公司 用户标签确定方法、装置、计算机设备及存储介质
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZIWEI ZHANG ET AL.: "Deep Learning on Graphs: A Survey", 《IEEE》 *
鞠奇 等: "从网页目录到轻量级本体——自然语言处理及形式化", 《计算机应用研究》 *
韩嵩 等: "半监督学习研究的述评", 《计算机工程与应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705716A (zh) * 2021-09-03 2021-11-26 北京百度网讯科技有限公司 图像识别模型训练方法、设备、云控平台及自动驾驶车辆
CN113705716B (zh) * 2021-09-03 2023-10-10 北京百度网讯科技有限公司 图像识别模型训练方法、设备、云控平台及自动驾驶车辆
CN114118305A (zh) * 2022-01-25 2022-03-01 广州市玄武无线科技股份有限公司 一种样本筛选方法、装置、设备及计算机介质
CN115062709A (zh) * 2022-06-21 2022-09-16 腾讯科技（深圳）有限公司 模型优化方法、装置、设备、存储介质及程序产品
CN115545938A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 一种执行风险识别业务的方法、装置、存储介质及设备
CN115545938B (zh) * 2022-11-29 2023-03-28 支付宝(杭州)信息技术有限公司 一种执行风险识别业务的方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN113158554B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN113158554B (zh) 模型优化方法、装置、计算机设备及存储介质
CN111966914B (zh) 基于人工智能的内容推荐方法、装置和计算机设备
CN113705811B (zh) 模型训练方法、装置、计算机程序产品及设备
CN111382555A (zh) 数据处理方法、介质、装置和计算设备
US20170286979A1 (en) Architecture for predicting network access probability of data files accessible over a computer network
CN112131430A (zh) 视频聚类方法、装置、存储介质和电子设备
CN110782043A (zh) 模型优化方法、装置、存储介质及服务器
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN111831826A (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
CN113128588A (zh) 模型训练方法、装置、计算机设备及计算机存储介质
CN115062709A (zh) 模型优化方法、装置、设备、存储介质及程序产品
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN112989182B (zh) 信息处理方法、装置、信息处理设备及存储介质
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
CN113836390B (zh) 资源推荐方法、装置、计算机设备及存储介质
CN115131052A (zh) 一种数据处理方法、计算机设备和存储介质
CN113010772B (zh) 一种数据处理方法、相关设备及计算机可读存储介质
CN115130003A (zh) 模型处理方法、装置、设备及存储介质
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN115423016A (zh) 多任务预测模型的训练方法、多任务预测方法及装置
CN115131058A (zh) 账号识别方法、装置、设备及存储介质
CN113779396B (zh) 题目推荐方法和装置、电子设备、存储介质
CN117711001B (zh) 图像处理方法、装置、设备和介质
CN113254635B (zh) 数据处理方法、装置及存储介质
CN117056523A (zh) 表征学习方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40048289

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant