CN112634043B - 一种数据监测方法及装置 - Google Patents
一种数据监测方法及装置 Download PDFInfo
- Publication number
- CN112634043B CN112634043B CN202011606082.6A CN202011606082A CN112634043B CN 112634043 B CN112634043 B CN 112634043B CN 202011606082 A CN202011606082 A CN 202011606082A CN 112634043 B CN112634043 B CN 112634043B
- Authority
- CN
- China
- Prior art keywords
- target
- node
- history
- features
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请公开了一种数据监测方法和装置,该方法包括:获取目标数据和目标数据对应的目标客户。根据目标数据和目标客户构建图结构,图结构包括节点和边,节点表示目标客户,边表示目标数据。将图结构中有关联关系的节点进行合并处理,获得目标图结构,关联关系包括直系血缘关系。对目标图结构中的节点和边进行特征初始化,分别获得节点目标特征和边目标特征。将目标特征输入目标图神经网络模型中,获得节点监测概率,目标特征包括节点目标特征和边目标特征。根据节点监测概率生成数据监测结果。通过将有关联关系的节点进行合并处理,解决图结构稀疏的问题,提高获得的节点特征的准确性,进而提高数据监测的准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据监测方法及装置。
背景技术
随着经济的发展,金融交易数据量增多,需要对金融交易产生的数据进行监测。
目前,监测交易数据的方法存在准确度不高的问题。
发明内容
为了解决上述技术问题,本申请提供了一种数据监测方法及装置,用于监测数据,提高数据监测的准确性。
为了实现上述目的,本申请实施例提供的技术方案如下:
本申请实施例提供一种数据监测方法,该方法包括:
获取目标数据和所述目标数据对应的目标客户;
根据所述目标数据和所述目标客户构建图结构;所述图结构包括节点和边;所述节点表示所述目标客户,所述边表示所述目标数据;
将所述图结构中有关联关系的节点进行合并处理,获得目标图结构;所述关联关系包括直系血缘关系;
对所述目标图结构中的节点进行特征初始化,获得节点目标特征;
对所述目标图结构中的边进行自身特征初始化,获得边目标特征;
将所述目标特征输入目标图神经网络模型中,获得节点监测概率;所述目标图神经网络模型用于获取节点监测概率;所述目标特征包括所述节点目标特征和所述边目标特征;
根据所述节点监测概率生成数据监测结果。
可选的,所述将所述目标特征输入目标图神经网络模型中,获得节点监测概率,包括:
将所述目标特征输入目标图神经网络模型,对所述节点进行特征再表示,获得再表示节点特征;所述再表示节点特征为利用所述边特征、邻居节点特征、邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数;
利用所述再表示节点特征、边特征以及所述目标图神经网络模型,获得节点监测概率。
可选的,所述对所述目标图结构中的节点进行特征初始化,获得节点目标特征,包括:
获取所述目标图结构中的节点的节点特征和所述节点周围的邻居节点的邻居节点特征;
根据所述节点特征和所述邻居节点特征对所述目标图结构中的节点进行特征初始化,获得节点目标特征。
可选的,所述目标图神经网络模型的训练过程,包括:
获取历史数据和历史客户;所述历史客户和所述历史数据相对应;
根据所述历史数据和所述历史客户构建历史图结构;所述历史图结构包括历史节点和历史边;所述历史节点表示所述历史客户,所述历史边表示所述历史数据;
利用所述历史图结构获取所述历史特征,所述历史特征包括历史节点特征和历史边特征;
根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。
可选的,所述根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型,包括:
将所述历史特征输入目标图神经网络模型,对所述历史节点进行特征再表示,获得再表示历史节点特征;所述再表示历史节点特征为利用所述历史边特征、历史邻居节点特征、历史邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括历史邻居节点的注意力系数和历史邻居的邻居节点的注意力系数;
将所述再表示历史节点特征、历史边特征,以及所述历史特征与参考特征是否相关的标签确定为数据;
利用所述数据训练所述目标图神经网络模型直到达到预设条件,获得所述目标图神经网络模型。
本申请实施例还提供了一种数据监测装置,该装置包括:
第一获取单元,用于获取目标数据和所述目标数据对应的目标客户;
构建单元,用于根据所述目标数据和所述目标客户构建图结构;所述图结构包括节点和边;所述节点表示所述目标客户,所述边表示所述目标数据;
第二获取单元,用于将所述图结构中有关联关系的节点进行合并处理,获得目标图结构;所述关联关系包括直系血缘关系;
第一初始化单元,用于对所述目标图结构中的节点进行特征初始化,获得节点目标特征;
第二初始化单元,用于对所述目标图结构中的边进行自身特征初始化,获得边目标特征;
第三获取单元,用于将所述目标特征输入目标图神经网络模型中,获得节点监测概率;所述目标图神经网络模型用于获取节点监测概率;所述目标特征包括所述节点目标特征和所述边目标特征;
生成单元,用于根据所述节点监测概率生成数据监测结果。
可选的,所述第三获取单元,包括:
第一输入子单元,用于将所述目标特征输入目标图神经网络模型,对所述节点进行特征再表示,获得再表示节点特征;所述再表示节点特征为利用所述边特征、邻居节点特征、邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数;
第一获取子单元,用于利用所述再表示节点特征、边特征以及所述目标图神经网络模型,获得节点监测概率。
可选的,所述第一初始化单元,包括:
第二获取子单元,用于获取所述目标图结构中的节点的节点特征和所述节点周围的邻居节点的邻居节点特征;
第三获取子单元,用于根据所述节点特征和所述邻居节点特征对所述目标图结构中的节点进行特征初始化,获得节点目标特征。
可选的,所述装置还包括:
训练单元,用于训练所述目标图神经网络模型;
所述训练单元,包括:
第四获取子单元,用于获取历史数据和历史客户;所述历史客户和所述历史数据相对应;
构建子单元,用于根据所述历史数据和所述历史客户构建历史图结构;所述历史图结构包括历史节点和历史边;所述历史节点表示所述历史客户,所述历史边表示所述历史数据;
第五获取子单元,用于利用所述历史图结构获取所述历史特征,所述历史特征包括历史节点特征和历史边特征;
训练子单元,用于根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。
可选的,所述训练子单元,包括:
第二输入子单元,用于将所述历史特征输入目标图神经网络模型,对所述历史节点进行特征再表示,获得再表示历史节点特征;所述再表示历史节点特征为利用所述历史边特征、历史邻居节点特征、历史邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括历史邻居节点的注意力系数和历史邻居的邻居节点的注意力系数;
确定子单元,用于将所述再表示历史节点特征、历史边特征,以及所述历史特征与参考特征是否相关的标签确定为目标数据;
第六获取子单元,用于利用所述目标数据训练所述目标图神经网络模型直到达到预设条件,获得所述目标图神经网络模型。
通过上述技术方案可知,本申请具有以下有益效果:
本申请实施例提供了一种数据监测方法,该方法包括:获取目标数据和目标数据对应的目标客户。根据目标数据和目标客户构建图结构,图结构包括节点和边,节点表示目标客户,边表示目标数据。将图结构中有关联关系的节点进行合并处理,获得目标图结构,关联关系包括直系血缘关系。对目标图结构中的节点进行特征初始化,获得节点目标特征。对目标图结构中的边进行自身特征初始化,获得边目标特征。将目标特征输入目标图神经网络模型中,获得节点监测概率,目标图神经网络模型用于获取节点监测概率,目标特征包括节点目标特征和边目标特征。根据节点监测概率生成数据监测结果。通过将有关联关系的节点进行合并处理,解决图结构稀疏的问题,提高获得的节点特征的准确性,进而提高数据监测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据监测方法的流程图;
图2为本申请实施例提供的目标图神经网络模型训练过程的流程图;
图3为本申请实施例提供的一种数据监测装置的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
参见图1,图1为本申请实施例提供的一种数据监测方法的流程图,该方法可以应用于服务器,如图1所示,该方法包括S101-S107:
S101:获取目标数据和目标数据对应的目标客户。
服务器获取目标数据和目标数据对应的目标客户。
具体实施时,获取目标数据和目标数据对应的目标客户,包括:
获取原始数据;
对原始数据进行预处理,获得目标数据和目标数据对应的目标客户。
作为一种示例,原始数据为交易数据,目标数据为预处理之后的交易数据。目标客户为和交易数据对应的客户。例如,获得标准交易流水表中的当月的交易数据,并进行预处理。同时获得交易数据涉及到的客户(包括个人用户、对公用户),并进行预处理。其中,预处理为筛选处理、归一化、标准化和补齐截断处理等预处理。
S102:根据目标数据和目标客户构建图结构;图结构包括节点和边;节点表示目标客户,边表示目标数据。
服务器根据获得的目标数据和目标客户构建图结构。其中,图结构包括节点和边;节点表示目标客户,边表示目标数据。
作为一种示例,根据获得的交易数据以及客户数据构建图结构,其中将客户当做图结构中的节点,将交易数据当做节点之间的边。若客户甲转账给客户乙一部分钱,则产生一条交易,那么客户甲节点和客户乙节点之间产生一条边。可以理解的是,只要客户之间产生交易,则表征客户的节点之间便产生一条边。
S103:将图结构中有关联关系的节点进行合并处理,获得目标图结构;关联关系包括直系血缘关系。
根据获得的目标数据和目标客户初步构建图结构之后,将图结构中有关联关系的节点进行合并处理,获得目标图结构。其中,关联关系包括直系血缘关系。在初步构建好的图结构之后,将图结构中具有直系血缘关系的节点整合成一个节点(直系血缘关系的节点:如客户节点间有夫妻关系、父子关系等)。
可以理解的是,合并有关联关系的节点,为在初步构建好的图结构上进行的简化图结构的操作。
由于正常使用图神经网络进行训练时,会因为交易数据很大,客户数据很少,会导致图结构比较稀疏,训练得到的图神经网络不够完善。将图结构中有关联关系的节点进行合并处理,合并有关联的节点之后,会适当减少图结构的稀疏程度,使训练出来的图神经网络更加接近真实情况,提高数据监测的准确性。另外,当目标数据为交易数据时,可能存在客户洗钱的行为,合并节点之后则可以检测到洗钱用户借助关联人分散洗钱的操作,可以更全面地检测到客户洗钱的行为。
S104:对目标图结构中的节点进行特征初始化,获得节点目标特征。
构建图结构之后,对目标图结构中的节点进行特征初始化,获得节点目标特征。
具体实施时,对目标图结构中的节点进行特征初始化,获得节点目标特征,包括:
获取目标图结构中的节点的节点特征和节点周围的邻居节点的邻居节点特征;
根据节点特征和邻居节点特征对目标图结构中的节点进行特征初始化,获得节点目标特征。
需要说明的是,图结构中的每个节点都有基本特征,首先根据节点的自身的信息进行初始化,考虑节点自身的特征,如:客户的年龄、性别、职业、收入等信息。其次,加上邻居节点特征对目标图结构中的节点进行特征初始化,邻居节点特征如:收入5000以下的节点数,收入5000~1万的节点数,收入1万~2万之间的节点数等收入特征,近10天内有转入交易的节点个数,近10天内有转出交易的节点个数等。另外,每个节点均有权重信息,比如有客户前期有洗钱史,则需要增加该节点的权重。
S105:对目标图结构中的边进行自身特征初始化,获得边目标特征。
构建图结构之后,对目标图结构中的边进行自身特征初始化,获得边目标特征。可以理解的是,每个边都包含边的类型和属性,边的类型对应交易类型,边的属性对应交易时间、交易地点等属性。每条边也均包含权重信息,边的权重对应交易金额。
S106:将目标特征输入目标图神经网络模型中,获得节点监测概率;目标图神经网络模型用于获取节点监测概率;目标特征包括节点目标特征和边目标特征。
将获得的节点目标特征和边目标特征作为目标特征输入目标图神经网络模型中,获得节点监测概率。可以理解的是,该目标图神经网络模型需要先经过训练得到,详细的目标图神经网络模型的训练过程参见后续实施例。需要说明的是,该目标图神经网络模型的输出为节点监测概率,例如根据训练好的目标图神经网络模型可以计算得到每个节点对应的洗钱客户的概率,则可以判断出一个用户是否是洗钱客户。
具体实施时,将目标特征输入目标图神经网络模型中,获得节点监测概率,包括:
将目标特征输入目标图神经网络模型,对节点进行特征再表示,获得再表示节点特征;再表示节点特征为利用边特征、邻居节点特征、邻居的邻居节点特征,结合注意力系数进行聚合得到的;注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数;
利用再表示节点特征、边特征以及目标图神经网络模型,获得节点监测概率。
需要说明的是,本申请实施例提供的目标图神经网络模型可以利用邻居节点和邻居的邻居节点的特征进行聚合,并结合注意力系数,获得节点的再表示特征,最后输出节点监测概率。注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数。可以理解的是,对于图结构新加入的节点,其节点特征可以利用目标图神经网络模型基于其邻居节点和邻居的邻居节点进行聚合得到。作为一种示例,目标图神经网络模型为在GraphSage基础上考虑邻居的邻居节点特征得到的图神经网络模型。可以理解的是,对于新加入的客户节点,GraphSage算法本身可以根据邻居节点和聚合函数计算得到新加入的节点的特征。即只根据其邻居节点聚合得到其特征,不用重新训练图神经网络。其中,聚合函数可以选用Mean aggregator、GCN aggregator、LSTM aggregator、Pooling aggregator等方式。由于新加入的节点获得的信息相对有点薄弱,本申请实施例中的目标图神经网络模型在考虑其邻居节点特征的基础上,同时考虑其邻居的邻居节点特征。
还需要说明的是,在图神经网络中,某个节点的邻居和该节点的关联性不一样,在目标图神经网络模型中引入邻居节点的注意力机制,注意力机制用于获得目标节点和邻居节点的注意力系数,获得注意力系数再进行聚合时则可以对邻居特征进行加权。此外,针对邻居的邻居也引入了注意力机制,进而使目标图神经网络模型的节点监测概率更准确。需要说明的是,设置的邻居节点特征和邻居的邻居节点特征的注意力系数不同,如直接邻居节点的注意力系数高,邻居的邻居节点的注意力系数低。其中,注意力系数即权重。因此,针对新加入的节点,利用本申请实施例提供的目标图神经网络模型,可以根据邻居节点和邻居的邻居节点的特征进行聚合,并结合注意力系数,获得新加入的节点的节点特征,进而可以快速地利用输出的节点监测概率判断该节点是否可疑。
需要说明的是,可以根据实际情况选择计算注意力系数的模型,这里不对计算注意力系数的模型进行限定。本申请实施例通过引入节点的聚合函数和节点的邻居聚合函数,引入节点的注意力机制和节点的邻居注意力机制,更加全面地提高节点监测概率的准确性。
S107:根据节点监测概率生成数据监测结果。
根据目标图神经网络模型输出的节点监测概率生成数据监测结果。作为一种示例,当节点检测概率为客户洗钱概率时,生成有关洗钱客户的监测结果。其中,数据监测结果至少包括客户节点、客户邻居节点和节点监测概率。
本申请实施例提供了一种数据监测方法,根据节点监测概率生成数据监测结果。通过将有关联关系的节点进行合并处理,解决图结构稀疏的问题,提高获得的节点特征的准确性,进而提高数据监测的准确性。另外,在节点初始化时,考虑了邻居节点的附加特征。将初始化的节点特征和边特征输入到目标图神经网络模型中,利用邻居节点特征和邻居的邻居节点特征,并结合邻居节点的注意力系数和邻居的邻居节点的注意力系数,对节点进行特征再表示,更加全面地提高了获得的节点监测概率的准确性。
参见图2,图2为本申请实施例提供的目标图神经网络模型训练过程的流程图。如图2所示,目标图神经网络模型的训练过程,包括:
S201:获取历史数据和历史客户;历史客户和历史数据相对应。
服务器获取历史数据和历史客户;历史客户和历史数据相对应。
作为一种示例,从数据表中获得已经被确认的可疑用户。将从数据表中获得的已经被确认的可疑用户作为历史客户。将和历史客户相关的数据作为历史数据。
S202:根据历史数据和历史客户构建历史图结构;历史图结构包括历史节点和历史边;历史节点表示历史客户,历史边表示历史数据。
根据获得的历史数据和历史客户构建历史图结构;历史图结构包括历史节点和历史边;历史节点表示历史客户,历史边表示历史数据。
S203:利用历史图结构获取历史特征,历史特征包括历史节点特征和历史边特征。
对历史图结构中的有关联关系的节点进行合并处理,再对节点和边均进行特征初始化,最后获得历史特征。历史特征包括历史节点特征和历史边特征。详细的节点合并处理过程、节点和边的特征初始化过程可参考上述实施例,这里不再赘述。
S204:根据历史特征以及历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。
根据历史特征以及历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。其中,参考特征为期望特征,例如,当目标数据为交易数据时,期望特征为和洗钱相关的特征。需要说明的是,历史特征与参考特征是否相关的标签可以从历史数据中获得。
具体实施时,根据历史特征以及历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型,包括:
将历史特征输入目标图神经网络模型,对历史节点进行特征再表示,获得再表示历史节点特征;再表示历史节点特征为利用历史边特征、历史邻居节点特征、历史邻居的邻居节点特征,结合注意力系数进行聚合得到的;注意力系数包括历史邻居节点的注意力系数和历史邻居的邻居节点的注意力系数;
将再表示历史节点特征、历史边特征,以及历史特征与参考特征是否相关的标签确定为目标数据;
利用目标数据训练目标图神经网络模型直到达到预设条件,获得目标图神经网络模型。
需要说明的是,预设条件为达到训练最大次数或训练误差满足预设阈值。
具体的,利用目标数据训练目标图神经网络模型直到达到预设条件,获得目标图神经网络模型,包括:
将目标数据划分为训练数据以及验证数据;
根据训练数据以及上一次迭代后的验证结果,调整目标图神经网络模型的模型参数和注意力系数,生成本次迭代后的目标图神经网络模型,当首次调整目标图神经网络模型的模型参数和注意力系数时,上一次迭代后的验证结果为零;
将验证数据中的历史节点的历史目标特征输入本次迭代后的目标图神经网络模型,获得本次迭代后的目标图神经网络模型输出的各个历史节点的目标概率;
根据验证数据中的历史节点的历史目标特征与目标参考特征是否相关的标签以及各个历史节点的目标概率,计算得到本次迭代后的验证结果;
重新执行根据训练数据以及上一次迭代后的验证结果,调整目标图神经网络模型的模型参数和注意力系数,生成本次迭代后的目标图神经网络模型以及后续步骤,直到达到预设停止条件,训练得到目标图神经网络模型。
通过在训练目标图神经网络模型的过程中,利用邻居节点特征和邻居的邻居节点特征,并结合邻居节点的注意力系数和邻居的邻居节点的注意力系数,对节点进行特征再表示。可以使得训练得到的目标图神经网络模型更加精确,提高了利用目标图神经网络模型获得的节点监测概率的准确性。
参见图3,图3为本申请实施例提供的一种数据监测装置的示意图,该装置包括:
第一获取单元301,用于获取目标数据和所述目标数据对应的目标客户;
构建单元302,用于根据所述目标数据和所述目标客户构建图结构;所述图结构包括节点和边;所述节点表示所述目标客户,所述边表示所述目标数据;
第二获取单元303,用于将所述图结构中有关联关系的节点进行合并处理,获得目标图结构;所述关联关系包括直系血缘关系;
第一初始化单元304,用于对所述目标图结构中的节点进行特征初始化,获得节点目标特征;
第二初始化单元305,用于对所述目标图结构中的边进行自身特征初始化,获得边目标特征;
第三获取单元306,用于将所述目标特征输入目标图神经网络模型中,获得节点监测概率;所述目标图神经网络模型用于获取节点监测概率;所述目标特征包括所述节点目标特征和所述边目标特征;
生成单元307,用于根据所述节点监测概率生成数据监测结果。
可选的,在本申请实施例的一些实施方式中,所述第三获取单元,包括:
第一输入子单元,用于将所述目标特征输入目标图神经网络模型,对所述节点进行特征再表示,获得再表示节点特征;所述再表示节点特征为利用所述边特征、邻居节点特征、邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数;
第一获取子单元,用于利用所述再表示节点特征、边特征以及所述目标图神经网络模型,获得节点监测概率。
可选的,在本申请实施例的一些实施方式中,所述第一初始化单元,包括:
第二获取子单元,用于获取所述目标图结构中的节点的节点特征和所述节点周围的邻居节点的邻居节点特征;
第三获取子单元,用于根据所述节点特征和所述邻居节点特征对所述目标图结构中的节点进行特征初始化,获得节点目标特征。
可选的,在本申请实施例的一些实施方式中,所述装置还包括:
训练单元,用于训练所述目标图神经网络模型;
所述训练单元,包括:
第四获取子单元,用于获取历史数据和历史客户;所述历史客户和所述历史数据相对应;
构建子单元,用于根据所述历史数据和所述历史客户构建历史图结构;所述历史图结构包括历史节点和历史边;所述历史节点表示所述历史客户,所述历史边表示所述历史数据;
第五获取子单元,用于利用所述历史图结构获取所述历史特征,所述历史特征包括历史节点特征和历史边特征;
训练子单元,用于根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。
可选的,在本申请实施例的一些实施方式中,所述训练子单元,包括:
第二输入子单元,用于将所述历史特征输入目标图神经网络模型,对所述历史节点进行特征再表示,获得再表示历史节点特征;所述再表示历史节点特征为利用所述历史边特征、历史邻居节点特征、历史邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括历史邻居节点的注意力系数和历史邻居的邻居节点的注意力系数;
确定子单元,用于将所述再表示历史节点特征、历史边特征,以及所述历史特征与参考特征是否相关的标签确定为目标数据;
第六获取子单元,用于利用所述目标数据训练所述目标图神经网络模型直到达到预设条件,获得所述目标图神经网络模型。
本申请实施例提供了一种数据监测装置,获取目标数据和目标数据对应的目标客户。根据目标数据和目标客户构建图结构,图结构包括节点和边,节点表示目标客户,边表示目标数据。将图结构中有关联关系的节点进行合并处理,获得目标图结构,关联关系包括直系血缘关系。对目标图结构中的节点进行特征初始化,获得节点目标特征。对目标图结构中的边进行自身特征初始化,获得边目标特征。将目标特征输入目标图神经网络模型中,获得节点监测概率,目标图神经网络模型用于获取节点监测概率,目标特征包括节点目标特征和边目标特征。根据节点监测概率生成数据监测结果。通过将有关联关系的节点进行合并处理,解决图结构稀疏的问题,提高获得的节点特征的准确性,进而提高数据监测的准确性。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如媒体网关等网络通信设备,等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言,由于其与实施例公开的系统相对应,所以描述的比较简单,相关之处参见系统部分说明即可。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种数据监测方法,其特征在于,所述方法包括:
获取目标数据和所述目标数据对应的目标客户;
根据所述目标数据和所述目标客户构建图结构;所述图结构包括节点和边;所述节点表示所述目标客户,所述边表示所述目标数据;
将所述图结构中有关联关系的节点进行合并处理,获得目标图结构;所述关联关系包括直系血缘关系;
对所述目标图结构中的节点进行特征初始化,获得节点目标特征;
对所述目标图结构中的边进行自身特征初始化,获得边目标特征;
将所述目标特征输入目标图神经网络模型中,获得节点监测概率;所述目标图神经网络模型用于获取节点监测概率;所述目标特征包括所述节点目标特征和所述边目标特征;
根据所述节点监测概率生成数据监测结果;
所述将所述目标特征输入目标图神经网络模型中,获得节点监测概率,包括:
将所述目标特征输入目标图神经网络模型,对所述节点进行特征再表示,获得再表示节点特征;所述再表示节点特征为利用所述边特征、邻居节点特征、邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数;
利用所述再表示节点特征、边特征以及所述目标图神经网络模型,获得节点监测概率。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标图结构中的节点进行特征初始化,获得节点目标特征,包括:
获取所述目标图结构中的节点的节点特征和所述节点周围的邻居节点的邻居节点特征;
根据所述节点特征和所述邻居节点特征对所述目标图结构中的节点进行特征初始化,获得节点目标特征。
3.根据权利要求1所述的方法,其特征在于,所述目标图神经网络模型的训练过程,包括:
获取历史数据和历史客户;所述历史客户和所述历史数据相对应;
根据所述历史数据和所述历史客户构建历史图结构;所述历史图结构包括历史节点和历史边;所述历史节点表示所述历史客户,所述历史边表示所述历史数据;
利用所述历史图结构获取历史特征,所述历史特征包括历史节点特征和历史边特征;
根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型,包括:
将所述历史特征输入目标图神经网络模型,对所述历史节点进行特征再表示,获得再表示历史节点特征;所述再表示历史节点特征为利用所述历史边特征、历史邻居节点特征、历史邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括历史邻居节点的注意力系数和历史邻居的邻居节点的注意力系数;
将所述再表示历史节点特征、历史边特征,以及所述历史特征与参考特征是否相关的标签确定为数据;
利用所述数据训练所述目标图神经网络模型直到达到预设条件,获得所述目标图神经网络模型。
5.一种数据监测装置,其特征在于,所述装置包括:
第一获取单元,用于获取目标数据和所述目标数据对应的目标客户;
构建单元,用于根据所述目标数据和所述目标客户构建图结构;所述图结构包括节点和边;所述节点表示所述目标客户,所述边表示所述目标数据;
第二获取单元,用于将所述图结构中有关联关系的节点进行合并处理,获得目标图结构;所述关联关系包括直系血缘关系;
第一初始化单元,用于对所述目标图结构中的节点进行特征初始化,获得节点目标特征;
第二初始化单元,用于对所述目标图结构中的边进行自身特征初始化,获得边目标特征;
第三获取单元,用于将所述目标特征输入目标图神经网络模型中,获得节点监测概率;所述目标图神经网络模型用于获取节点监测概率;所述目标特征包括所述节点目标特征和所述边目标特征;
生成单元,用于根据所述节点监测概率生成数据监测结果;
所述第三获取单元,包括:
第一输入子单元,用于将所述目标特征输入目标图神经网络模型,对所述节点进行特征再表示,获得再表示节点特征;所述再表示节点特征为利用所述边特征、邻居节点特征、邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括邻居节点的注意力系数和邻居的邻居节点的注意力系数;
第一获取子单元,用于利用所述再表示节点特征、边特征以及所述目标图神经网络模型,获得节点监测概率。
6.根据权利要求5所述的装置,其特征在于,所述第一初始化单元,包括:
第二获取子单元,用于获取所述目标图结构中的节点的节点特征和所述节点周围的邻居节点的邻居节点特征;
第三获取子单元,用于根据所述节点特征和所述邻居节点特征对所述目标图结构中的节点进行特征初始化,获得节点目标特征。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
训练单元,用于训练所述目标图神经网络模型;
所述训练单元,包括:
第四获取子单元,用于获取历史数据和历史客户;所述历史客户和所述历史数据相对应;
构建子单元,用于根据所述历史数据和所述历史客户构建历史图结构;所述历史图结构包括历史节点和历史边;所述历史节点表示所述历史客户,所述历史边表示所述历史数据;
第五获取子单元,用于利用所述历史图结构获取历史特征,所述历史特征包括历史节点特征和历史边特征;
训练子单元,用于根据所述历史特征以及所述历史特征与参考特征是否相关的标签,训练生成目标图神经网络模型。
8.根据权利要求7所述的装置,其特征在于,所述训练子单元,包括:
第二输入子单元,用于将所述历史特征输入目标图神经网络模型,对所述历史节点进行特征再表示,获得再表示历史节点特征;所述再表示历史节点特征为利用所述历史边特征、历史邻居节点特征、历史邻居的邻居节点特征,结合注意力系数进行聚合得到的;所述注意力系数包括历史邻居节点的注意力系数和历史邻居的邻居节点的注意力系数;
确定子单元,用于将所述再表示历史节点特征、历史边特征,以及所述历史特征与参考特征是否相关的标签确定为目标数据;
第六获取子单元,用于利用所述目标数据训练所述目标图神经网络模型直到达到预设条件,获得所述目标图神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011606082.6A CN112634043B (zh) | 2020-12-28 | 2020-12-28 | 一种数据监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011606082.6A CN112634043B (zh) | 2020-12-28 | 2020-12-28 | 一种数据监测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112634043A CN112634043A (zh) | 2021-04-09 |
CN112634043B true CN112634043B (zh) | 2023-10-13 |
Family
ID=75286403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011606082.6A Active CN112634043B (zh) | 2020-12-28 | 2020-12-28 | 一种数据监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634043B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263227A (zh) * | 2019-05-15 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 基于图神经网络的团伙发现方法和系统 |
KR102068277B1 (ko) * | 2019-10-04 | 2020-02-11 | 주식회사 루닛 | 이미지 분석 방법 및 시스템 |
CN110909868A (zh) * | 2019-12-04 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 基于图神经网络模型的节点表示方法和装置 |
CN111723292A (zh) * | 2020-06-24 | 2020-09-29 | 携程计算机技术(上海)有限公司 | 基于图神经网络的推荐方法、系统、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090299766A1 (en) * | 2008-05-30 | 2009-12-03 | International Business Machines Corporation | System and method for optimizing medical treatment planning and support in difficult situations subject to multiple constraints and uncertainties |
-
2020
- 2020-12-28 CN CN202011606082.6A patent/CN112634043B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263227A (zh) * | 2019-05-15 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 基于图神经网络的团伙发现方法和系统 |
KR102068277B1 (ko) * | 2019-10-04 | 2020-02-11 | 주식회사 루닛 | 이미지 분석 방법 및 시스템 |
CN110909868A (zh) * | 2019-12-04 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 基于图神经网络模型的节点表示方法和装置 |
CN111723292A (zh) * | 2020-06-24 | 2020-09-29 | 携程计算机技术(上海)有限公司 | 基于图神经网络的推荐方法、系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112634043A (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10402163B2 (en) | Intelligent data extraction | |
CN108491511B (zh) | 基于图数据的数据挖掘方法和装置、模型训练方法和装置 | |
JP7337949B2 (ja) | 機械学習アプリケーションにおけるカテゴリフィールド値の取り扱い | |
CN108399564B (zh) | 信用评分方法及装置 | |
US11288709B2 (en) | Training and utilizing multi-phase learning models to provide digital content to client devices in a real-time digital bidding environment | |
CN111651704B (zh) | 一种内容推荐方法、计算设备以及存储介质 | |
CN111008335B (zh) | 一种信息处理方法、装置、设备及存储介质 | |
CN105847127A (zh) | 一种用户属性信息确定方法以及服务器 | |
CN111814910B (zh) | 异常检测方法、装置、电子设备及存储介质 | |
US20210200612A1 (en) | Anomaly detection in data object text using natural language processing (nlp) | |
US20230342797A1 (en) | Object processing method based on time and value factors | |
US20190340514A1 (en) | System and method for generating ultimate reason codes for computer models | |
CN110738508A (zh) | 一种数据分析方法和装置 | |
CN112634043B (zh) | 一种数据监测方法及装置 | |
CN112950291A (zh) | 模型的偏差优化方法、装置、设备及计算机可读介质 | |
CN110717037B (zh) | 对用户分类的方法和装置 | |
US20120022939A1 (en) | Assessing a Response Model Using Performance Metrics | |
CN115422000A (zh) | 异常日志处理方法及装置 | |
US11210684B1 (en) | Accurately estimating causal effects for related events | |
US20230377004A1 (en) | Systems and methods for request validation | |
US11556945B1 (en) | Scalable product influence prediction using feature smoothing | |
CN111199454B (zh) | 实时用户转化评估方法、装置及电子设备 | |
US20230419098A1 (en) | Utilizing selective transformation and replacement with high-dimensionality projection layers to implement neural networks in tabular data environments | |
CN117574266A (zh) | 用户身份验证方法、装置、设备、介质及产品 | |
CN117114768A (zh) | 保险产品信息推送方法及装置、存储介质、终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |