CN116363418A - 一种训练分类模型的方法、装置、存储介质及电子设备 - Google Patents

一种训练分类模型的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116363418A
CN116363418A CN202310240413.6A CN202310240413A CN116363418A CN 116363418 A CN116363418 A CN 116363418A CN 202310240413 A CN202310240413 A CN 202310240413A CN 116363418 A CN116363418 A CN 116363418A
Authority
CN
China
Prior art keywords
sub
network layer
dimension
input
computing node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310240413.6A
Other languages
English (en)
Inventor
冯尊磊
胡佳聪
王一张
程乐超
贾志杰
宋明黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202310240413.6A priority Critical patent/CN116363418A/zh
Publication of CN116363418A publication Critical patent/CN116363418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本说明书公开了一种训练分类模型的方法、装置、存储介质及电子设备。本方法通过确定各子网络层对应的输入维度中的无效维度，确定了对分类模型的输出结果无效的各子网络层对应的无效维度上各计算节点输出的结果，根据这些输出的结果确定第一损失，根据基于训练样本标注确定的第二损失以及该第一损失，确定总损失，以总损失最小训练分类模型，减少了各子网络层对应的无效维度上各计算节点输出的结果对分类模型的输出结果的影响，提高了分类模型的分类准确性。

Description

一种训练分类模型的方法、装置、存储介质及电子设备
技术领域
本说明书涉及计算机技术领域，尤其涉及一种训练分类模型的方法、装置、存储介质及电子设备。
背景技术
随着机器学习相关的技术的不断发展，分类模型的应用也越来越广泛。
对应不同的数据，可通过训练不同类型的模型确定分类结果，例如，对于图片数据，可以通过训练卷积神经网络(Convolutional Neural Network，CNN)模型对图片进行分类。而在对图数据进行分类的场景中，可采用图神经网络(Graph Neural Networks，GNN)模型对图数据进行分类，一般将GNN模型中参与计算的节点称为计算节点。
目前在采用有监督方式训练GNN模型时，训练完成的模型的准确度很大程度依赖于训练样本的好坏，缺乏进一步提高训练得到GNN模型的准确度的方法。基于此，本说明书提供一种训练分类模型的方法。
发明内容
本说明书提供一种训练分类模型的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供的训练分类模型的方法，所述分类模型包括多个子网络层，所述方法包括：
确定训练样本及其标注，所述训练样本是根据图数据中的节点确定的；
将所述训练样本输入所述分类模型，获得所述分类模型输出的所述训练样本对应的图数据中节点的分类结果；
针对所述分类模型中每个子网络层，确定该子网络层中每个输入维度的输入数据，并根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度；
根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度；
根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失；
根据所述第一损失与所述第二损失，确定总损失，以总损失最小为优化目标，训练所述分类模型。
可选地，根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度，具体包括：
针对该子网络层中每个计算节点，从该子网络层的模型参数中确定该计算节点对应每个输入维度的模型参数；
针对该子网络层中的每个输入维度，根据该计算节点对应该输入维度的参数与该输入维度的输入数据，确定该计算节点对应该输入维度的输出结果；
根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度。
可选地，根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度，具体包括：
针对该子网络层中每个计算节点，对该计算节点对应各输入维度的输出结果进行归一化处理，得到该计算节点对应各输入维度对应的第一结果；
针对该子网络层中的每个输入维度，当该计算节点对应该输入维度对应的第一结果不大于所述第一预设阈值时，确定该计算节点对应的该输入维度为无效维度。
可选地，根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度，具体包括：
针对该子网络层中每个输入维度，确定各计算节点对应的无效维度为该输入维度的计算节点，作为该输入维度的目标计算节点；
对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果；
针对该子网络层中的每个输入维度，当该输入维度对应的第二结果不大于第二预设阈值时，该输入维度为该子网络层对应的无效维度。
可选地，根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，具体包括：
针对每个子网络层，根据该子网络层对应的无效维度上各计算节点输出的结果之和，确定第一子损失；
根据所有第一子损失之和，确定第一损失。
可选地，根据所述第一损失与所述第二损失，确定总损失，具体包括：
确定所述第一损失的权重；
根据所述第一损失与所述权重确定加权后的第一损失；
根据所述加权后的第一损失及所述第二损失，确定总损失。
可选地，所述分类模型的子网络层按照从输入子网络层至输出子网络层的顺序排列；
所述方法还包括：
针对当前子网络层的每个输入维度，若该输入维度为无效维度时，则该输入维度对应的当前子网络层的上一个子网络层的输出维度是无效维度；
针对当前子网络层的上一个子网络层中的每个计算节点，若该计算节点对应的输出维度为该输出维度，则将该计算节点作为无效节点；
在当前子网络层的上一个子网络层中，该无效节点对应的输入维度为该子网络层的无效维度。
本说明书提供了一种训练分类模型的装置，所述分类模型包括多个子网络层，所述装置包括：
确定模块，用于确定训练样本及其标注，所述训练样本是根据图数据中的节点确定的；
分类模块，用于将所述训练样本输入所述分类模型，获得所述分类模型输出的所述训练样本对应的图数据中节点的分类结果；
第一计算模块，用于针对所述分类模型中每个子网络层，确定该子网络层中每个输入维度的输入数据，并根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度；
第二计算模块，用于根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度；
损失模块，用于根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失；
训练模块，用于根据所述第一损失与所述第二损失，确定总损失，以总损失最小为优化目标，训练所述分类模型。
可选地，所述第一计算模块，具体用于针对该子网络层中每个计算节点，从该子网络层的模型参数中确定该计算节点对应每个输入维度的模型参数；针对该子网络层中的每个输入维度，根据该计算节点对应该输入维度的参数与该输入维度的输入数据，确定该计算节点对应该输入维度的输出结果；根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度。
可选地，所述第一计算模块，具体用于针对该子网络层中每个计算节点，对该计算节点对应各输入维度的输出结果进行归一化处理，得到该计算节点对应各输入维度对应的第一结果；针对该子网络层中的每个输入维度，当该计算节点对应该输入维度对应的第一结果不大于所述第一预设阈值时，确定该计算节点对应的该输入维度为无效维度。
可选地，所述第二计算模块，具体用于针对该子网络层中每个输入维度，确定各计算节点对应的无效维度为该输入维度的计算节点，作为该输入维度的目标计算节点；对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果；针对该子网络层中的每个输入维度，当该输入维度对应的第二结果不大于第二预设阈值时，该输入维度为该子网络层对应的无效维度。
可选地，所述损失模块，具体用于针对每个子网络层，根据该子网络层对应的无效维度上各计算节点输出的结果之和，确定第一子损失；根据所有第一子损失之和，确定第一损失。
可选地，所述损失模块，具体用于确定所述第一损失的权重；根据所述第一损失与所述权重确定加权后的第一损失；根据所述加权后的第一损失及所述第二损失，确定总损失。
可选地，所述分类模型的子网络层按照从输入子网络层至输出子网络层的顺序排列；
所述第一计算模块还用于，针对当前子网络层的每个输入维度，若该输入维度为无效维度时，则该输入维度对应的当前子网络层的上一个子网络层的输出维度是无效维度；针对当前子网络层的上一个子网络层中的每个计算节点，若该计算节点对应的输出维度为该输出维度，则将该计算节点作为无效节点；在当前子网络层的上一个子网络层中，该无效节点对应的输入维度为该子网络层的无效维度。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述训练分类模型的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任务执行的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本方法通过确定各子网络层对应的输入维度中的无效维度，确定了对分类模型的输出结果无效的各子网络层对应的无效维度上各计算节点输出的结果，根据这些输出的结果确定第一损失，根据基于训练样本标注确定的第二损失以及该第一损失，确定总损失，以总损失最小训练分类模型，减少了各子网络层对应的无效维度上各计算节点输出的结果对分类模型的输出结果的影响，提高了分类模型的分类准确性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种训练分类模型的方法的流程示意图；
图2为本说明书中提供的一种分类模型的L子网络层的结构示意图；
图3为本说明书提供的一种训练分类模型的装置结构的示意图；
图4为本说明书提供的一种对应于图1的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种训练分类模型的方法的流程示意图，包括以下步骤：
S100：确定训练样本及其标注，所述训练样本是根据图数据中的节点确定的。
本说明书提供了一种训练分类模型的方法，本方法的执行主体可以是任意一台具有计算能力的电子设备，例如计算机、服务器等。当然，由于模型训练所需数据量较大，且对计算能力要求较高，因此一般利用服务器进行模型训练。为方便描述，本说明书中也以服务器执行该分类模型的训练过程为例进行后续说明。
具体的，本说明书所述的分类模型，为用于对图数据中的节点进行分类的模型，即GNN模型。该分类模型由多个子网络层组成，其中，该分类模型输入数据的输入层以及输出分类结果输出层均为上述的子网络层，当然，在输出层以及输出层之间的各层也是上述子网络层。
在本说明书一个或多个实施例中，图数据是由节点以及各节点之间的边组成的，节点的属性用于描述节点，节点与节点之间的边的属性用于描述节点与节点之间的关系。该服务器训练该分类模型之前，首先需要根据图数据确定训练样本以及训练样本的标注。
具体的，该分类模型输入数据的大小可根据需要预先设置，并根据输入数据的大小确定分类模型输入层的节点数量。于是，该服务器可根据该分类模型输入层的大小，针对图数据中的每个节点，确定该节点对应的子图数据，作为训练样本。该子图数据可包括该节点的属性以及该节点连接的边的属性。当然，该子图数据还可包括以该节点为中心指定跳数的节点构成的子图数据，本说明书不限制训练样本的构成，具体可根据分类模型结构或者训练模型的需要设置。
另外，由于分类模型是要输出训练样本的分类结果，因此该服务器还可确定训练样本对应的标注。
例如，假设上述分类模型用于对用户进行风险分类，图数据可以是根据用户执行业务的业务数据建立的。其中，图数据的节点为用户对应的节点，图数据中的间的边表示用户之间执行的业务。用户对应的节点的属性可包括用户信息，边的属性可以包括交易信息、投诉信息等。
该服务器可针对每个节点，根据该节点对应的子图数据，生成训练样本。根据该节点对应的用户是否被执行过风控业务，确定基于该节点生成的训练样本的标注。假设，用户A被执行过限制交易的业务，则基于图数据中该用户A的节点生成的训练样本的标注为风险用户。或者，该服务器也可根据该训练样本中包含边的属性是否异常，确定训练样本的标注。假设，用户A与用户B的边的数据包含的交易信息存在异常，则确定基于图数据中该用户A的节点生成的训练样本的标注为风险用户。
S102：将所述训练样本输入所述分类模型，获得所述分类模型输出的所述训练样本对应的图数据中节点的分类结果。
在本说明书一个或多个实施例中，在确定训练样本及其标注之后，该服务器将训练样本输入该分类模型，确定该分类模型输出的该训练样本对应节点的分类结果。
例如，当训练该分类模型对用户进行风险分类时，将上述训练样本输入该分类模型，获得该分类模型输出的该训练样本对应的用户关系图中各节点的分类结果为：用户为风险用户、用户非风险用户。
另外，在本说明书一个或多个实施例中，由于本说明书要解决的是在GNN模型中，无法适用基于CNN可解释性来进一步训练模型的问题，因此该服务器可在确定出训练样本及其标注后，先对该分类模型进行预训练，得到预训练完成的分类模型，再确定预训练完成的模型输出的训练样本的分类结果。
S104：针对所述分类模型中每个子网络层，确定该子网络层中每个输入维度的输入数据，并根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度。
在本说明书一个或多个实施例中，如上所述，该分类模型中每个子网络层包含多个计算节点，每个子网络层对应多个输入维度。针对每个输入维度，每个计算节点都有一个对应该输入维度的模型参数，每个计算节点对应一个输出维度，所以该子网络层中计算节点的数量即该子网络层的输出维度的数量。则该服务器可针对每个子网络层，根据该子网络层的各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定对于该子网络层的每个计算节点，该计算节点的各输入维度对该计算节点的输出结果的占比，确定各输入维度对该计算节点的输出结果贡献度大小，并根据确定出的贡献度大小确定该计算节点对应的无效维度。
为方便描述，以l子网络层为例进行说明。如图2所示，l子网络层(图中L子网络层)包含有Q个计算节点，该计算节点具有Q个输出维度，l子网络层有P个输入维度，则针对每个输入维度，每个计算节点都有一个对应该输入维度的模型参数，针对第q个计算节点，该计算节点在第p个输入维度的模型参数为wqp，wqp也即l子网络层第q个输出维度(也即第q个计算节点)、第p个输入维度的模型参数。
将训练样本输入分类模型后，l子网络层中每个计算节点都具有P个输入数据，每个输入数据对应一个输入维度，将第l层第p输入维度的输入数据基座
Figure BDA0004126099920000091
则第q个计算节点对应第p个输入维度的输出结果为/>
Figure BDA0004126099920000092
第q个计算节点的输出结果为该计算节点对应每个输入维度的输出结果之和，即/>
Figure BDA0004126099920000093
Figure BDA0004126099920000094
l子网络层的每个计算节点的输出结果即l+1网络层的其中一个输入维度的输入数据，l+1子网络层的每个计算节点的输出结果即l+2网络层的其中一个输入维度的输入数据，层层传递，可见，当前子网络层中每个计算节点的输出结果都会对分类模型的输出结果造成影响，而每个计算节点的输出结果是该计算节点对应每个输入维度的输出结果之和，针对每个输入维度，影响该计算节点对应该输入维度的输出结果的因素，即该计算节点对应该输入维度的模型参数，所以影响该分类模型的输出结果的因素即各子网络层中每个计算节点对应每个输入维度的模型参数。
显然，对于l子网络层中的每个输入维度，针对每个计算节点，若该计算节点对应该维度的输出结果占该计算节点的输出结果的比例越大，说明该计算节点对应该输入维度的参数对分类模型的输出结果影响越大，若该计算节点对应该输入维度的输出结果占该计算节点的输出结果的比例越小，说明该计算节点的对应该输入维度的参数对分类模型的输出结果影响越小。因此，当该计算节点对应该输入维度的输出分结果占该计算节点的输出结果的比例小于一定预设阈值时，则说明该输入维度对于该计算节点输出结果的贡献度较小，将该输入维度确定为该子网络层中该计算节点对应的无效维度。
针对每个子网络层的每个计算节点，针对每个维度，根据该计算节点对应该输入维度的输出分结果占该计算节点的输出结果的比例，确定该子网络层中该计算节点对应的无效维度，基于该子网络层中该计算节点对应的无效维度确定该子网络层的无效维度。
例如，当该分类模型应用于对用户进行风险分类时，针对每个子网络层的每个计算节点，确定出的该子网络层中该计算节点对应的无效维度，表示在该子网络层中，该计算节点对应该输入维度对应的输出结果，对分类模型的输出结果(即对用户/商户进行风险分类)的影响较小。当确定输入维度为该子网络层中某个计算节点对应的无效维度，则说明该模型在确定用户是否有风险的分类结果时，该输入维度在该计算节点的输出结果对分类结果不会产生影响，也就是说对于该计算节点来说，该输入维度是否存在对于确定这个训练样本对应的用户是否有风险不会产生影响，因此该输入维度对于该计算节点而言属于无效维度。
针对分类模型的每个子网络层，本方法旨在先确定该子网络中每个计算节点的无效维度，进而确定各子网络层的无效维度，最后通过弱化各子网络层的无效维度的上各计算节点的输出结果，使分类模型输出的结果更准确。
具体地，本方法需要针对该分类模型中每个子网络层，确定该子网络层中各计算节点的模型参数，然后确定该子网络层中每个输入维度的输入数据。
需要说明的是，本说明并不限制确定该子网络层中各计算节点的模型参数的方法。
将训练样本输入分类模型，通过特征提取层确定第一子网络层每个输入维度的输入数据(特征)，然后确定第一子网络层中各计算节点的模型参数，根据
Figure BDA0004126099920000111
当l＝1时，确定第一子网络层各计算节点的输出结果，第一子网络层各计算节点的输出结果的集合即第一子网络层的输出结果，也是第一子网络层的下一层——第二子网络层的输入数据，以此类推，即可确定该分类模型中各子网络层对应各自输入维度的输入数据。
接着，本方法可以根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度。
先如上所述根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，计算该子网络层中各计算节点对应每个输入维度的输出结果。然后根据该子网络层中各计算节点对应每个输入维度的输出结果，确定该子网络层中各计算节点对应的无效维度。
具体地，除了如上所述，针对每个子网络层的每个计算节点，针对每个维度，根据该计算节点对应该输入维度的输出结果占该计算节点的输出结果的比例，确定该子网络层中该计算节点对应的无效维度，还可以将该计算节点对应该输入维度的输出结果进行归一化处理，再与第一预设阈值相比，确定该子网络层中该计算节点对应的无效维度。
因为对于该计算节点而言，该计算节点对应该输入维度的输出结果越大，该计算节点对应该输入维度的输出结果占该计算节点的输出结果的比例就越大，所以对于该计算节点，可以直接比较该计算节点对应各输入维度的输出结果的大小来确定该计算节点对应该输入维度的输出结果占该计算节点的输出结果的比例，但是对于不同的计算节点，可能不同计算节点对应各输入维度的输出结果的取值范围不一致，比如a节点对于各输入维度的输出结果的取值范围为0～1，而a节点对于各输入维度的输出结果的取值范围为10～100，较难衡量不同计算节点对应各输入维度的输出结果的大小。所以将该计算节点对应该输入维度的输出结果进行归一化处理，再与第一预设阈值相比，确定该子网络层中该计算节点对应的无效维度。
针对该子网络层中每个计算节点，对该计算节点对应各输入维度的输出结果进行归一化处理，使得不同计算节点对应各输入维度的输出结果取值范围都在0～1之间，得到该计算节点对应各输入维度对应的第一结果。
针对该子网络层中的每个计算节点，针对每个输入维度，该计算节点对应该输入维度均对应一个第一结果，该第一结果是用于评价该计算节点对应的该输入维度是有效还是无效的指标。
针对该子网络层中的每个输入维度，当该计算节点对应该输入维度对应的第一结果不大于所述第一预设阈值时，确定该计算节点对应的该输入维度为无效维度。
具体地，归一化公式如下：
Figure BDA0004126099920000121
Figure BDA0004126099920000122
即l子网络层第q个计算节点对应第p输入维度的输出结果，/>
Figure BDA0004126099920000123
Figure BDA0004126099920000124
即l子网络层中第q个计算节点中对应各输入维度的输出结果中的最小结果，/>
Figure BDA0004126099920000125
即l子网络层中第q个计算节点中对应各输入维度的输出结果中的最大结果，∈是极小值(避免/>
Figure BDA0004126099920000126
)，/>
Figure BDA0004126099920000127
即第一结果。
进一步地，
Figure BDA0004126099920000128
λ为第一预设阈值，则当
Figure BDA0004126099920000129
时，/>
Figure BDA00041260999200001210
确定l子网络层第q个计算节点对应的第p输入维度为无效维度，当/>
Figure BDA00041260999200001211
时，/>
Figure BDA00041260999200001212
确定l子网络层第q个计算节点对应的第p输入维度为有效维度，/>
Figure BDA00041260999200001213
为指示l子网络层第q个计算节点对应的第p输入维度是否为有效维度的指标。
S106：根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度。
针对每个子网络层的每个计算节点，基于该子网络层中该计算节点对应的无效维度确定该子网络层的无效维度是因为，若直接将该计算节点对应的无效维度确定为无效维度，可能会影响其他计算节点对应该输入维度的输出结果，可能对于该输入维度，只有一个计算节点对应的无效维度是该输入维度，则直接将该输入维度作为无效维度，然后将该子网络层的各计算节点对应该无效维度的输出结果构造损失，根据该损失训练分类模型会降低该分类模型分类的准确性。所以需要针对每个输入维度，对各计算节点对应的无效维度为该输入维度的数量进行统计，进而判断该输入维度是不是无效维度。
确定该子网络层中各计算节点对应的无效维度后，针对该子网络层的每个输入维度，确定各计算节点对应的无效维度为该输入维度的计算节点，作为该输入维度的目标计算节点，对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果，针对该子网络层中的每个输入维度，当该输入维度对应的第二结果不大于第二预设阈值时，该输入维度为该子网络层对应的无效维度。
因为步骤S104中，用
Figure BDA0004126099920000131
表示l子网络层第q个计算节点对应的第p输入维度为无效维度(目标计算节点)，所以不能对/>
Figure BDA0004126099920000132
求和确定目标计算节点的数量，但可以确定非目标计算节点的数量，具体地：
Figure BDA0004126099920000133
Figure BDA0004126099920000134
为该子网络层中各输入维度的非目标计算节点的数量，Q表示该子网络层中共有Q个计算节点，对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果/>
Figure BDA0004126099920000135
公式如下：
Figure BDA0004126099920000136
其中，当该子网络层中第p输入维度的非目标计算节点的数量最多时，
Figure BDA0004126099920000137
表示该子网络层中第p输入维度的非目标计算节点的数量，∈与上述公式含义相同。
进一步地，δ为第二预设阈值，当该输入维度对应的第二结果
Figure BDA0004126099920000138
不大于第二预设阈值δ时，该输入维度为该子网络层对应的无效维度，当该输入维度对应的第二结果/>
Figure BDA0004126099920000141
大于第二预设阈值δ时，该输入维度为该子网络层对应的有效维度，用公式表示如下：
Figure BDA0004126099920000142
当训练该分类模型对用户进行风险分类时，基于各子网络层中各计算节点对应的无效维度，确定各子网络层的无效维度，即确定各子网络层中哪个输入维度对应的各计算节点的参数，对该分类模型输出的用户的风险分类结果的影响较小。
S108：根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失。
当训练该分类模型对用户进行风险分类时，确定了各子网络层中哪个输入维度对应的各计算节点的参数，对该分类模型输出的用户的风险分类结果的影响较小(即确定各子网络层中的无效维度)，而各子网络层中各无效维度对应的各计算节点的参数影响各子网络层中各计算节点对应的无效维度的输出结果，所以可以通过减小各子网络层中各计算节点对应的无效维度的输出结果，对该分类模型的对用户/商户的风险分类结果的影响，来训练该分类模型，以提高该分类模型的准确性。
具体地，可以针对每个子网络层，根据该子网络层对应的无效维度上各计算节点输出的结果之和，确定第一子损失，根据所有第一子损失之和，确定第一损失。
具体地，可以使用如下公式确定第一损失Lossweaken：
Figure BDA0004126099920000143
其中，
Figure BDA0004126099920000144
表示第l子网络层对应的无效维度上各计算节点输出的结果之和，即第一子损失，/>
Figure BDA0004126099920000145
表示当/>
Figure BDA0004126099920000146
小于0时，取0，
Figure BDA0004126099920000151
表示对所有子网络层的第一子损失求和，得到第一损失Lossweaken。
需要说明的是，本说明书并不限制根据该标注和该分类模型输出的结果确定第二损失的方法，可以根据该标注和该分类模型输出的结果的交叉熵确定第二损失，也可以使用其他方法。
S110：根据所述第一损失与所述第二损失，确定总损失，以总损失最小为优化目标，训练所述分类模型。
具体地，先确定第一损失的权重
Figure BDA0004126099920000154
根据第一损失与该权重确定加权后的第一损失
Figure BDA0004126099920000152
根据加权后的第一损失及所述第二损失Lossorig.，确定总损失Lossall。
Figure BDA0004126099920000153
进一步地，也可以确定第二损失的权重，再确定加权后的第二损失，再根据加权后的第一损失与加权后的第二损失，确定总损失。
以总损失最小为优化目标，训练所述分类模型，当该分类模型应用于对用户进行分类时，以总损失最小为优化目标训练该分类模型，可以减小各无效维度对应的计算节点的参数对用户风险分类结果的影响，提高了该分类模型分类的准确性。
根据上述方法训练得到的用于对用户进行分类的分类模型。
该服务器可针对每个节点，根据该节点对应的子图数据，生成输入数据。具体地，可以根据该节点对应的子图数据确定该节点的属性、该节点连接的边的属性以及以该节点为中心一跳的节点的属性，将这些确定出的属性分别编码并按照预设顺序排列确定一个多维向量，该多维向量即基于该节点对应的子图数据生成的输入数据。将该节点的输入数据输入到该分类模型中，获得该分类模型输出的风险分类结果，即该用户石是否为风险用户。根据该风险分类结果确定是否需要对该用户进行风险控制。
从上述方法可以看出，针对所述分类模型中每个子网络层，本方法先根据该子网络层中每个输入维度的输入数据与该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度，进一步确定该子网络层对应的无效维度，根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失，然后根据第一损失与第二损失训练分类模型。
本方法通过确定各子网络层对应的无效维度，确定了对分类模型的输出结果无效的各子网络层对应的无效维度上各计算节点输出的结果，根据这些结果确定第一损失，根据基于训练样本标注确定的第二损失以及该第一损失，确定总损失，以总损失最小训练分类模型，减少了各子网络层对应的无效维度上各计算节点输出的结果对分类模型的输出结果的影响，本方法基于采用有监督的方式训练GNN模型的基础，并结合对GNN模型中模型结构进行解释的思想，提高了GNN模型的分类准确性。
进一步地，该分类模型的子网络层按照从输入子网络层至输出子网络层的顺序排列。
上述训练分类模型的方法中，确定l子网络层第q个计算节点对应的第p输入维度是否为有效维度时，还可以对其进行优化：
Figure BDA0004126099920000161
即当第l+1子网络层的q输入维度为无效维度时，l子网络层第q个计算节点对应的第p输入维度即为无效维度，因为第l+1子网络层的q输入维度对应的输入数据，是第l子网络层第q个计算节点对应的第p输入维度对应的输出结果之和。
针对当前子网络层的每个输入维度，若该输入维度为无效维度时，则该输入维度对应的当前子网络层的上一个子网络层的输出维度是无效维度；
针对当前子网络层的上一个子网络层中的每个计算节点，若该计算节点对应的输出维度为该输出维度，则将该计算节点作为无效节点；
在当前子网络层的上一个子网络层中，该无效节点对应的输入维度为该子网络层的无效维度。
以上为本说明书的一个或多个实施的方法，基于同样的思路，本说明书还提供了相应的训练分类模型的装置，如图3所示。
图3为本说明书提供的一种的训练分类模型的装置的示意图，所述分类模型包括多个子网络层，所述装置包括：
确定模块301，用于确定训练样本及其标注，所述训练样本是根据图数据中的节点确定的；
分类模块302，用于将所述训练样本输入所述分类模型，获得所述分类模型输出的所述训练样本对应的图数据中节点的分类结果；
第一计算模块303，用于针对所述分类模型中每个子网络层，确定该子网络层中每个输入维度的输入数据，并根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度；
第二计算模块304，用于根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度；
损失模块305，用于根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失；
训练模块306，用于根据所述第一损失与所述第二损失，确定总损失，以总损失最小为优化目标，训练所述分类模型。
可选地，所述第一计算模块303，具体用于针对该子网络层中每个计算节点，从该子网络层的模型参数中确定该计算节点对应每个输入维度的模型参数；针对该子网络层中的每个输入维度，根据该计算节点对应该输入维度的参数与该输入维度的输入数据，确定该计算节点对应该输入维度的输出结果；根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度。
可选地，所述第一计算模块303，具体用于针对该子网络层中每个计算节点，对该计算节点对应各输入维度的输出结果进行归一化处理，得到该计算节点对应各输入维度对应的第一结果；针对该子网络层中的每个输入维度，当该计算节点对应该输入维度对应的第一结果不大于所述第一预设阈值时，确定该计算节点对应的该输入维度为无效维度。
可选地，所述第二计算模块304，具体用于针对该子网络层中每个输入维度，确定各计算节点对应的无效维度为该输入维度的计算节点，作为该输入维度的目标计算节点；对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果；针对该子网络层中的每个输入维度，当该输入维度对应的第二结果不大于第二预设阈值时，该输入维度为该子网络层对应的无效维度。
可选地，所述损失模块305，具体用于针对每个子网络层，根据该子网络层对应的无效维度上各计算节点输出的结果之和，确定第一子损失；根据所有第一子损失之和，确定第一损失。
可选地，所述损失模块305，具体用于确定所述第一损失的权重；根据所述第一损失与所述权重确定加权后的第一损失；根据所述加权后的第一损失及所述第二损失，确定总损失。
可选地，所述分类模型的子网络层按照从输入子网络层至输出子网络层的顺序排列；
所述第一计算模块303还用于，针对当前子网络层的每个输入维度，若该输入维度为无效维度时，则该输入维度对应的当前子网络层的上一个子网络层的输出维度是无效维度；针对当前子网络层的上一个子网络层中的每个计算节点，若该计算节点对应的输出维度为该输出维度，则将该计算节点作为无效节点；在当前子网络层的上一个子网络层中，该无效节点对应的输入维度为该子网络层的无效维度。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种训练分类模型的方法。
本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所示，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的训练分类模型的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种训练分类模型的方法，其特征在于，所述分类模型包括多个子网络层，所述方法包括：
确定训练样本及其标注，所述训练样本是根据图数据中的节点确定的；
将所述训练样本输入所述分类模型，获得所述分类模型输出的所述训练样本对应的图数据中节点的分类结果；
针对所述分类模型中每个子网络层，确定该子网络层中每个输入维度的输入数据，并根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度；
根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度；
根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失；
根据所述第一损失与所述第二损失，确定总损失，以总损失最小为优化目标，训练所述分类模型。
2.如权利要求1所述的方法，其特征在于，根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度，具体包括：
针对该子网络层中每个计算节点，从该子网络层的模型参数中确定该计算节点对应每个输入维度的模型参数；
针对该子网络层中的每个输入维度，根据该计算节点对应该输入维度的参数与该输入维度的输入数据，确定该计算节点对应该输入维度的输出结果；
根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度。
3.如权利要求2所述的方法，其特征在于，根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度，具体包括：
针对该子网络层中每个计算节点，对该计算节点对应各输入维度的输出结果进行归一化处理，得到该计算节点对应各输入维度对应的第一结果；
针对该子网络层中的每个输入维度，当该计算节点对应该输入维度对应的第一结果不大于所述第一预设阈值时，确定该计算节点对应的该输入维度为无效维度。
4.如权利要求1所述的方法，其特征在于，根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度，具体包括：
针对该子网络层中每个输入维度，确定各计算节点对应的无效维度为该输入维度的计算节点，作为该输入维度的目标计算节点；
对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果；
针对该子网络层中的每个输入维度，当该输入维度对应的第二结果不大于第二预设阈值时，该输入维度为该子网络层对应的无效维度。
5.如权利要求1所述的方法，其特征在于，根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，具体包括：
针对每个子网络层，根据该子网络层对应的无效维度上各计算节点输出的结果之和，确定第一子损失；
根据所有第一子损失之和，确定第一损失。
6.如权利要求1所述的方法，其特征在于，根据所述第一损失与所述第二损失，确定总损失，具体包括：
确定所述第一损失的权重；
根据所述第一损失与所述权重确定加权后的第一损失；
根据所述加权后的第一损失及所述第二损失，确定总损失。
7.如权利要求1所述的方法，其特征在于，所述分类模型的子网络层按照从输入子网络层至输出子网络层的顺序排列；
所述方法还包括：
针对当前子网络层的每个输入维度，若该输入维度为无效维度时，则该输入维度对应的当前子网络层的上一个子网络层的输出维度是无效维度；
针对当前子网络层的上一个子网络层中的每个计算节点，若该计算节点对应的输出维度为该输出维度，则将该计算节点作为无效节点；
在当前子网络层的上一个子网络层中，该无效节点对应的输入维度为该子网络层的无效维度。
8.一种训练分类模型的装置，其特征在于，所述分类模型包括多个子网络层，所述装置包括：
确定模块，用于确定训练样本及其标注，所述训练样本是根据图数据中的节点确定的；
分类模块，用于将所述训练样本输入所述分类模型，获得所述分类模型输出的所述训练样本对应的图数据中节点的分类结果；
第一计算模块，用于针对所述分类模型中每个子网络层，确定该子网络层中每个输入维度的输入数据，并根据各输入维度的输入数据以及该子网络层中各计算节点的模型参数，确定该子网络层中各计算节点对应的无效维度；
第二计算模块，用于根据该子网络层中各计算节点对应的无效维度，从该子网络层的各输入维度中，确定该子网络层对应的无效维度；
损失模块，用于根据各子网络层对应的无效维度上各计算节点输出的结果，确定第一损失，并根据所述标注和所述分类模型输出的结果确定第二损失；
训练模块，用于根据所述第一损失与所述第二损失，确定总损失，以总损失最小为优化目标，训练所述分类模型。
9.如权利要求8所述的装置，其特征在于，所述第一计算模块，具体用于针对该子网络层中每个计算节点，从该子网络层的模型参数中确定该计算节点对应每个输入维度的模型参数；针对该子网络层中的每个输入维度，根据该计算节点对应该输入维度的参数与该输入维度的输入数据，确定该计算节点对应该输入维度的输出结果；根据该子网络层中各计算节点对应各输入维度的输出结果，确定该子网络层各计算节点对应的无效维度。
10.如权利要求9所述的装置，其特征在于，所述第一计算模块，具体用于针对该子网络层中每个计算节点，对该计算节点对应各输入维度的输出结果进行归一化处理，得到该计算节点对应各输入维度对应的第一结果；针对该子网络层中的每个输入维度，当该计算节点对应该输入维度对应的第一结果不大于所述第一预设阈值时，确定该计算节点对应的该输入维度为无效维度。
11.如权利要求8所述的装置，其特征在于，所述第二计算模块，具体用于针对该子网络层中每个输入维度，确定各计算节点对应的无效维度为该输入维度的计算节点，作为该输入维度的目标计算节点；对该子网络层中各输入维度的非目标计算节点的数量进行归一化处理，得到该子网络层中各输入维度对应的第二结果；针对该子网络层中的每个输入维度，当该输入维度对应的第二结果不大于第二预设阈值时，该输入维度为该子网络层对应的无效维度。
12.如权利要求8所述的装置，其特征在于，所述损失模块，具体用于针对每个子网络层，根据该子网络层对应的无效维度上各计算节点输出的结果之和，确定第一子损失；根据所有第一子损失之和，确定第一损失。
13.如权利要求8所述的装置，其特征在于，所述损失模块，具体用于确定所述第一损失的权重；根据所述第一损失与所述权重确定加权后的第一损失；根据所述加权后的第一损失及所述第二损失，确定总损失。
14.如权利要求8所述的装置，其特征在于，所述分类模型的子网络层按照从输入子网络层至输出子网络层的顺序排列；
所述第一计算模块还用于，针对当前子网络层的每个输入维度，若该输入维度为无效维度时，则该输入维度对应的当前子网络层的上一个子网络层的输出维度是无效维度；针对当前子网络层的上一个子网络层中的每个计算节点，若该计算节点对应的输出维度为该输出维度，则将该计算节点作为无效节点；在当前子网络层的上一个子网络层中，该无效节点对应的输入维度为该子网络层的无效维度。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。
16.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。
CN202310240413.6A 2023-03-06 2023-03-06 一种训练分类模型的方法、装置、存储介质及电子设备 Pending CN116363418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310240413.6A CN116363418A (zh) 2023-03-06 2023-03-06 一种训练分类模型的方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310240413.6A CN116363418A (zh) 2023-03-06 2023-03-06 一种训练分类模型的方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN116363418A true CN116363418A (zh) 2023-06-30

Family

ID=86934023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310240413.6A Pending CN116363418A (zh) 2023-03-06 2023-03-06 一种训练分类模型的方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN116363418A (zh)

Similar Documents

Publication Publication Date Title
CN111639687B (zh) 一种模型训练以及异常账号识别方法及装置
CN115828162B (zh) 一种分类模型训练的方法、装置、存储介质及电子设备
CN115146731A (zh) 一种模型训练的方法、业务风控的方法及装置
CN116304720B (zh) 一种代价模型训练的方法、装置、存储介质及电子设备
CN116757278B (zh) 一种预测模型的训练方法、装置、存储介质及电子设备
CN115618748B (zh) 一种模型优化的方法、装置、设备及存储介质
CN116152933A (zh) 一种异常检测模型的训练方法、装置、设备及存储介质
CN116363418A (zh) 一种训练分类模型的方法、装置、存储介质及电子设备
CN111242195B (zh) 模型、保险风控模型训练方法、装置及电子设备
CN109325127B (zh) 一种风险识别方法和装置
CN116109008B (zh) 一种业务执行的方法、装置、存储介质及电子设备
CN116340852B (zh) 一种模型训练、业务风控的方法及装置
CN111461352B (zh) 模型训练、业务节点识别方法、装置及电子设备
CN117036869B (zh) 一种基于多样性和随机策略的模型训练方法及装置
CN116882767B (zh) 一种基于不完善异构关系网络图的风险预测方法及装置
CN117034926A (zh) 一种针对多领域文本分类模型的模型训练的方法及装置
CN117787488A (zh) 用于预测用户响应的模型系统的训练方法及装置
CN117592998A (zh) 一种风控的方法、装置、存储介质及电子设备
CN117953258A (zh) 对象分类模型的训练方法、对象分类方法及装置
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117593003A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117973867A (zh) 一种风险控制的方法、装置、存储介质、设备
CN117933707A (zh) 一种风控模型解释方法、装置、存储介质及电子设备
CN116384573A (zh) 一种进入黑名单时间的预测方法、装置和可读存储介质
CN117952182A (zh) 一种基于数据质量的混合精度模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination