CN112907308B - 数据检测方法和装置、计算机可读存储介质 - Google Patents
数据检测方法和装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112907308B CN112907308B CN201911133280.2A CN201911133280A CN112907308B CN 112907308 B CN112907308 B CN 112907308B CN 201911133280 A CN201911133280 A CN 201911133280A CN 112907308 B CN112907308 B CN 112907308B
- Authority
- CN
- China
- Prior art keywords
- data
- bipartite graph
- determining
- graph
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 claims abstract description 60
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 5
- 238000005065 mining Methods 0.000 abstract description 8
- 230000002547 anomalous effect Effects 0.000 abstract description 4
- 108010059419 NIMA-Interacting Peptidylprolyl Isomerase Proteins 0.000 description 16
- 102100026114 Peptidyl-prolyl cis-trans isomerase NIMA-interacting 1 Human genes 0.000 description 16
- 230000008520 organization Effects 0.000 description 15
- 102000007315 Telomeric Repeat Binding Protein 1 Human genes 0.000 description 12
- 108010033711 Telomeric Repeat Binding Protein 1 Proteins 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101150087393 PIN3 gene Proteins 0.000 description 1
- 108010037490 Peptidyl-Prolyl Cis-Trans Isomerase NIMA-Interacting 4 Proteins 0.000 description 1
- 102100031653 Peptidyl-prolyl cis-trans isomerase NIMA-interacting 4 Human genes 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0609—Buyer or seller confidence or verification
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种数据检测方法和装置、计算机可读存储介质。该数据检测方法包括：从多个服务器获取对象关联数据；对对象关联数据进行数据处理并确定对象关联数据的特征值；将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据。本公开不仅考虑机构之间直接的法律关系，也通过挖掘与机构相关的个人实体的信息来寻找异常数据和对应的欺诈机构。
Description
技术领域
本公开涉及数据检测领域，特别涉及一种数据检测方法和装置、计算机可读存储介质。
背景技术
反欺诈是通过对已有的商业或金融信息或数据进行分析，判断用户的行为，从中找出疑似欺诈的账户，从而实现反欺诈的目的。
相关技术的反欺诈方法有：建立电商贷款管理系统。经用户授权，获取用户的多个账号的经营数据，对多个账号进行账户关联分析。此外，将同一个实体及与其有相关法律关系实体的电商平台的多个账户进行整合，将主从账号的交易数据整合在一起。采集多方数据进行加工，通过大数据分析，结合风控模型进行用户评估，生成评分结果和贷前风控报告。
发明内容
发明人通过研究发现：相关技术的电商贷款管理系统存在如下缺陷：相关技术寻找用户间的关系都是直接通过有法律关系的实体找出，而一个欺诈团伙中的关系可能更加隐蔽，不仅仅通过法律关系直接关联。
鉴于以上技术问题中的至少一项，本公开提供了一种数据检测方法和装置、计算机可读存储介质，不仅考虑机构之间直接的法律关系，也通过挖掘与机构相关的个人实体的信息来寻找异常数据和对应的异常机构。
根据本公开的一个方面，提供一种数据检测方法，包括：
从多个服务器获取对象关联数据；
对对象关联数据进行数据处理并确定对象关联数据的特征值；
将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据。
在本公开的一些实施例中，所述将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据包括：
根据处理后的对象关联数据和相应特征值，构建二部图；
搜索构建的二部图，确定二部图的最紧密子图；
将所述最紧密子图对应的数据确定为异常数据，将异常数据对应的对象集合确定为异常机构。
在本公开的一些实施例中，所述根据处理后的对象关联数据和相应特征值，构建二部图包括：
将所有对象作为二部图的点，分别设置于二部图的两个子集中；
将对象关联数据对应的特征值设置为两个对象之间边的可疑度。
在本公开的一些实施例中，所述搜索构建的二部图，确定二部图的最紧密子图包括：
确定整个二部图的可疑度，其中，整个二部图的可疑度值为二部图中每个点和每条边的可疑度之和；
构建优先树，其中，移除一个点之后，对整个二部图可疑度减少量越小的点，拥有更高的优先级；
按照优先树，依次移除优先级最高的点，确定每次移除优先级最高的点后子图结构的紧密度；
将紧密度最高的子图结构作为二部图的最紧密子图。
在本公开的一些实施例中，所述确定每次移除优先级最高的点后子图结构的紧密度包括：
将每次移除优先级最高的点后整个子图结构的可疑度与整个子图结构中点的个数的比值，作为每次移除优先级最高的点后子图结构的紧密度。
在本公开的一些实施例中，所述数据检测方法还包括：
根据异常数据结果，对异常数据监测模型的模型参数进行相应调整。
根据本公开的另一方面，提供一种数据检测装置，包括：
关联数据采集模块，用于从多个服务器获取对象关联数据；
数据处理模块，用于对对象关联数据进行数据处理并确定对象关联数据的特征值；
异常数据确定模块，用于将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据。
在本公开的一些实施例中，所述数据检测装置用于执行实现如上述任一实施例所述的数据检测方法的操作。
根据本公开的另一方面，提供一种数据检测装置，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述数据检测装置执行实现如上述任一实施例所述的数据检测方法的操作。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的数据检测方法。
本公开不仅考虑机构之间直接的法律关系，也通过挖掘与机构相关的个人实体的信息来寻找异常数据和对应的异常机构。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开数据检测方法一些实施例的示意图。
图2为本公开一些实施例中二部图的示意图。
图3为本公开数据检测方法另一些实施例的示意图。
图4为本公开数据检测装置一些实施例的示意图。
图5为本公开数据检测装置另一些实施例的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人通过研究发现：相关技术的机构管理系统还存在如下缺陷：相关技术寻找的对象主要是一个用户的多个账号，而一个欺诈团伙中可能会有多个实体，每个实体可能都会有多个账号；相关技术直接让用户提供相关账号的数据，欺诈机构可能不会授权将多个账号的数据供贷款方查询。
相关技术的反欺诈方法还包括评分卡模型。相关技术中金融机构可以根据以往的客户数据，包括已发放信贷业务的客户数据、拒绝发放信贷业务，但有数据记录的客户数据，建立初级的评分卡模型。再对客户数据中丢失的数据，推算并合理地融入到模型，建立完整的评分卡模型。并通过对以往数据的重新梳理，找出存在潜在危险的信贷对象。
相关技术的评分卡模型目前存在的缺陷包括：相关技术模型对于标签的要求较高，而现实中很大一部分与反欺诈相关的数据很难找到标签；相关技术模型只注重于单个借贷对象的金融风险，而没有将团伙借贷欺诈的风险纳入到模型的考虑之中；欺诈机构可能会伪装成正常用户，然后在一次欺诈行为中即可获利，相关技术模型无法预测这方面的风险。
鉴于以上技术问题中的至少一项，本公开提供了一种数据检测方法和装置、计算机可读存储介质，下面通过实施例对本公开进行说明。
图1为本公开数据检测方法一些实施例的示意图。优选的，本实施例可由数据检测装置执行。该方法包括以下步骤：
步骤1，从多个服务器获取对象关联数据。
在本公开的一些实施例中，步骤11可以包括确定可建立的关系，然后从多个服务器寻找建立对象关系所需要的数据表，每个对象用PIN(Personal IdentificationNumber，个人识别码)来代表。
在本公开的一些实施例中，建立对象关系所需要的数据表可以包括：
绑卡表，用于表示绑卡关系，例如：对象PIN1和对象PIN2绑定同一张卡(绑卡关系)。
通话表，用于表示不同对象(例如对象PIN1与对象PIN2)之间的通话关系。
实名表，用于表示注册关系，例如：对象PIN1与对象PIN2用同个身份证注册(注册关系)。
浏览表，用于表示浏览关系，例如：对象PIN1与对象PIN2在同一个设备上登陆(浏览关系)。
订单表，用于表示不同对象(例如对象PIN1与对象PIN2)之间的赠送关系。
钱包交易表，用于表示不同对象(例如对象PIN1与对象PIN2)之间的转账关系。
本公开上述实施例场景通过挖掘与商户、公司、组织、团体等机构关联的对象(如法人、股东)之间的关系，发现机构中的诸如欺诈团伙的异常机构。用机构信息表和对象注册信息表寻找每个机构对应的所有个人账户。再通过交易、转账、绑卡等数据表，从中挖掘出对象之间的关系。建立机构之间的关系网络，在关系网络图中寻找异常机构(例如欺诈机构)。
本公开上述实施例方法通过挖掘对象信息中的关联，建立关系网络。由于欺诈行为需要考虑到资源的有限性以及欺诈金额最大化的目标，欺诈行为通常呈现团伙性。比如使用同一张身份证、同一个电话号码注册。同时欺诈行为的一个团伙中的成员可能在平时生活中也有密切关联。因此用这些关系能建立关系网络，并在网络中形成紧密的子网络。
本公开上述实施例由于建立关系网络需要发现对象之间不同的关系，因此需要从不同的表中挖掘关系，并确定对象关系的特征值，这一步骤涉及大量的特征加工。
步骤2，对对象关联数据进行数据处理并确定对象关联数据的特征值。
在本公开的一些实施例中，步骤2可以包括：
步骤21，在Hive(数据仓库工具)上通过HiveQL(Hive支持的类似于SQL的查询语言)查询各表，获取对象关联数据，并对对象关联数据进行数据清理、数据集成、数据归约、数据变换等数据预处理，其中，数据清理：通过填写缺失的值，光滑噪声数据、识别或删除离群点，并解决不一致性来“清理”数据。数据集成：集成多个数据库、数据立方体或文件。数据归约：得到数据的简化表示，它小但能够产生同样的分析结果。数据变换指的是数据规范化、数据离散化和概念分层。
步骤22，删去与过多对象有关联的PIN，因为可能是公共账号，反应不了对象个人关系。
步骤23，确定对象关系的特征值，如果PIN1与PIN2有多次关联(如PIN1多次给PIN2转账)提高特征值权重，如果PIN1与多个PIN2关联，降低特征值权重。
在本公开的一些实施例中，步骤23可以包括根据公式(1)确定PIN1与PIN2对象关系的特征值。
在本公开的另一些实施例中，步骤23可以包括根据公式(2)确定PIN1与PIN2对象关系的特征值f。
f＝ax+by+cz…… (2)
其中，a、b、c是参数，x、y、z为不同对象关系的特征值。
本公开上述实施例此次场景的目标是判断两个机构有没有关系，因为过于关系紧密的机构容易成为欺诈机构。
步骤3，将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据。
在本公开的一些实施例中，异常数据监测模型可以为Fraudar(Bounding GraphFraud in the Face of Camouflage，伪装存在的情况下确定图欺诈的边界)算法模型。
在本公开的一些实施例中，步骤3可以包括：
步骤31，根据处理后的对象关联数据和相应特征值，构建二部图。
在本公开的一些实施例中，步骤31可以包括：通过预定转换，将对象关联数据的同构图转换为二部图。
在本公开的一些实施例中，步骤31可以包括：去除重复的PIN1与PIN2关系，建立关系二部图。
在本公开的一些实施例中，步骤31可以包括：
步骤311，将所有对象作为二部图的点，分别设置于二部图的两个子集中。
图2为本公开一些实施例中二部图的示意图。如图2所示的二部图包括两个子集U和V，图2实施例包含PIN1、PIN2、PIN3和PIN4共四个对象，即四个点，将四个点分别设置在二部图的两个子集U和V中。
步骤312，将对象关联数据对应的特征值设置为两个对象之间边的可疑度。
例如：图2实施例中两个点之间的直线(边)表示两个对象之间的可疑度。
步骤32，搜索构建的二部图，确定二部图的最紧密子图。
在本公开的一些实施例中，步骤32可以包括：在基于图致密度监测的无监督异常监测方法中，采用Fraudar(Bounding Graph Fraud in the Face of Camouflage，伪装存在的情况下确定图欺诈的边界)算法进行紧密子图的搜索，寻找出二部图中紧密的子图，其中，FRAUDAR算法自动化地挖掘出二部图里的高密子图，同时对欺诈者的伪装行为(Camouflage)具有非常好的对抗性。
在相关技术Fraudar算法二部图中左右两边是不同的实体(如左边为客户，右边为购买的产品)。而本公开上述实施例中将二部图左右两侧均设置为同样的实体，二部图左右两侧子集都代表了对象(以PIN来表示)。
在本公开的一些实施例中，步骤32可以包括：
步骤321，从整个二部图开始，确定每个点和每条边的可疑度，之后确定整个二部图的可疑度，其中，整个二部图的可疑度值为二部图中每个点和每条边的可疑度之和。
步骤322，构建优先树，其中，优先级的定义为：移除一个点之后，对整个二部图可疑度减少量越小的点，拥有更高的优先级。
在本公开的一些实施例中，优先树为用于快速移除图中边的二叉树结构。图中所有的点都对应一个优先树的叶子节点，从叶子节点向上，每个父节点选取两个子节点优先级高的那一个。
步骤323，按照优先树，依次移除优先级最高的点，确定每次移除优先级最高的点后子图结构的紧密度(可疑度度量g)。
在本公开的一些实施例中，步骤323中，所述按照优先树，依次移除优先级最高的点的步骤可以包括：对于二部图中的任意节点，利用贪婪算法移除使优先级最高的节点(由优先树得到)，使移除后网络的可疑度最高，直至网络结构为空。本步骤形成一个嵌套的网络的序列，每个网络是前面网络的子网。
在本公开的一些实施例中，步骤323中，所述确定每次移除优先级最高的点后子图结构的紧密度的步骤可以包括：将每次移除优先级最高的点后整个子图结构的可疑度与整个子图结构中点的个数的比值，作为每次移除优先级最高的点后子图结构的紧密度。
在本公开的一些实施例中，步骤323中，所述确定每次移除优先级最高的点后子图结构的紧密度g的步骤可以包括：根据公式(3)确定每次移除优先级最高的点后子图结构的紧密度g。
紧密度g＝整个图的可疑度/整个图中点的个数 (3)
步骤324，将紧密度最高的子图结构作为二部图的最紧密子图。
步骤33，将所述最紧密子图对应的数据确定为异常数据，将异常数据对应的对象集合确定为异常机构(例如：最可疑团伙)。
基于本公开上述实施例提供的数据检测方法，包括一种基于机构关键人的个人信息的机构关系构建方法，该方法引入机构关键人(法人、大股东等)的个人电商行为数据(通话、赠送、转账等)，建立更加完备的机构关系网络，相比于相关技术的基于机构注册信息的关系构建方法可以挖掘出更为隐蔽的机构关系，从而大幅提升机构营销欺诈和小微信贷欺诈的检测能力。本公开上述实施例的网络的链路预测针对不同场景可以采取基于经验融合的方法，也可以基于标注信息，采用预测的方法。
本公开上述实施例提出一种基于图致密度监测的无监督异常监测方法，改进了Fraudar算法，并将其应用于同构图，首先将同构关系网络转化成二部图，从而利用贪婪算法寻找最致密的子图空间。本公开上述实施例方法可以自动抽取网络中异常聚集的区域，从而为反欺诈团伙的监测提供依据。
图3为本公开数据检测方法另一些实施例的示意图。优选的，本实施例可由数据检测装置执行。该方法包括以下步骤：
步骤41，从多个服务器获取对象关联数据。
在本公开的一些实施例中，步骤41可以包括：确定对象关系，从多个服务器寻找对象关联数据表。
步骤42，对对象关联数据进行数据处理和特征加工。
在本公开的一些实施例中，步骤42可以包括：对对象关联数据进行数据处理并确定对象关联数据的特征值。
步骤43，根据处理后的对象关联数据和相应特征值，构建对象关系二部图。
步骤44，采用Fraudar算法搜索构建的二部图，确定二部图的最紧密子图。
步骤45，将所述最紧密子图对应的数据确定为异常数据，将异常数据对应的对象集合确定为异常机构(例如最可疑团伙)。
步骤46，根据异常数据结果，评估异常数据监测模型效果，对异常数据监测模型的模型参数进行相应调整。
本公开上述实施例通过图方法，建立关系网络，不仅通过机构个体，也通过发现多个关联机构的数据来进行欺诈检测，考虑团伙借贷欺诈风险。
本公开上述实施例不仅考虑机构之间直接的法律关系，也通过挖掘与机构相关的个人实体的信息来寻找异常机构(例如欺诈机构)。
本公开上述实施例解决了伪装行为对欺诈检测精度造成影响的问题。
本公开上述实施例在数据没有标签的情况下也能通过机构间异常的关系发现可疑机构。
本公开上述实施例运用一些如订单数据、绑卡数据等无需经过对象授权的数据进行数据挖掘，避免了异常机构(例如欺诈机构)的刻意隐瞒。
图4为本公开数据检测装置一些实施例的示意图。本公开数据检测装置可以包括关联数据采集模块51、数据处理模块52和异常数据确定模块53，其中：
关联数据采集模块51，用于从多个服务器获取对象关联数据。
在本公开的一些实施例中，关联数据采集模块51可以用于确定可建立的关系，然后从多个服务器寻找建立对象关系所需要的数据表(例如图2实施例的数据表)，每个对象用PIN来代表。
数据处理模块52，用于对对象关联数据进行数据处理并确定对象关联数据的特征值。
在本公开的一些实施例中，数据处理模块52可以用于在Hive(数据仓库工具)上通过HiveQL(Hive支持的类似于SQL的查询语言)查询各表，进行数据处理、特征加工；删去与过多对象有关联的PIN，因为可能是公共账号，反应不了对象个人关系；确定对象关系的特征值，如果PIN1与PIN2有多次关联(如PIN1多次给PIN2转账)提高特征值权重，如果PIN1与多个PIN2关联，降低特征值权重。
异常数据确定模块53，用于将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据。
在本公开的一些实施例中，异常数据确定模块53可以用于根据处理后的对象关联数据和相应特征值，构建二部图；搜索构建的二部图，确定二部图的最紧密子图；将所述最紧密子图对应的数据确定为异常数据，将异常数据对应的对象集合确定为异常机构。
在本公开的一些实施例中，异常数据确定模块53在根据处理后的对象关联数据和相应特征值，构建二部图的情况下，可以用于将所有对象作为二部图的点，分别设置于二部图的两个子集中；将对象关联数据对应的特征值设置为两个对象之间边的可疑度。
在本公开的一些实施例中，异常数据确定模块53在搜索构建的二部图，确定二部图的最紧密子图的情况下，可以用于确定整个二部图的可疑度，其中，整个二部图的可疑度值为二部图中每个点和每条边的可疑度之和；构建优先树，其中，移除一个点之后，对整个二部图可疑度减少量越小的点，拥有更高的优先级；按照优先树，依次移除优先级最高的点，确定每次移除优先级最高的点后子图结构的紧密度；将紧密度最高的子图结构作为二部图的最紧密子图。
在本公开的一些实施例中，异常数据确定模块53在确定每次移除优先级最高的点后子图结构的紧密度的情况下，可以用于将每次移除优先级最高的点后整个子图结构的可疑度与整个子图结构中点的个数的比值，作为每次移除优先级最高的点后子图结构的紧密度。
在本公开的一些实施例中，所述数据检测装置还可以用于根据异常数据结果，对异常数据监测模型的模型参数进行相应调整。
在本公开的一些实施例中，所述数据检测装置可以用于执行实现如上述任一实施例(例如图1-图3任一实施例)所述的数据检测方法的操作。
基于本公开上述实施例提供的数据检测装置，引入机构关键人(法人、大股东等)的个人电商行为数据(通话、赠送、转账等)，建立更加完备的机构关系网络，相比于相关技术的基于机构注册信息的关系构建方法可以挖掘出更为隐蔽的机构关系，从而大幅提升机构营销欺诈和小微信贷欺诈的检测能力。本公开上述实施例的网络的链路预测针对不同场景可以采取基于经验融合的方案，也可以基于标注信息，采用预测的方案。
本公开上述实施例提出一种基于图致密度监测的无监督异常监测方案，改进了Fraudar算法，并将其应用于同构图，首先将同构关系网络转化成二部图，从而利用贪婪算法寻找最致密的子图空间。本公开上述实施例可以自动抽取网络中异常聚集的区域，从而为反欺诈团伙的监测提供依据。
图5为本公开数据检测装置另一些实施例的示意图。本公开数据检测装置可以包括存储器61和处理器62，其中：
存储器61，用于存储指令。
处理器62，用于执行所述指令，使得所述数据检测装置执行实现如上述任一实施例(例如图1-图3任一实施例)所述的数据检测方法的操作。
本公开上述实施例通过图的方式，建立关系网络，不仅通过机构个体，也通过发现多个关联机构的数据来进行欺诈检测，考虑团伙借贷欺诈风险。
本公开上述实施例不仅考虑机构之间直接的法律关系，也通过挖掘与机构相关的个人实体的信息来寻找欺诈机构。
本公开上述实施例解决了伪装行为对欺诈检测精度造成影响的问题。
本公开上述实施例在数据没有标签的情况下也能通过机构间异常的关系发现可疑机构。
本公开上述实施例运用一些如订单数据、绑卡数据等无需经过对象授权的数据进行数据挖掘，避免了欺诈机构的刻意隐瞒。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1-图3任一实施例)所述的数据检测方法。
基于本公开上述实施例提供的计算机可读存储介质，引入机构关键人(法人、大股东等)的个人电商行为数据(通话、赠送、转账等)，建立更加完备的机构关系网络，相比于相关技术的基于机构注册信息的关系构建方法可以挖掘出更为隐蔽的机构关系，从而大幅提升机构营销欺诈和小微信贷欺诈的检测能力。本公开上述实施例的网络的链路预测针对不同场景可以采取基于经验融合的方案，也可以基于标注信息，采用预测的方案。
本公开上述实施例提出一种基于图致密度监测的无监督异常监测方案，改进了Fraudar算法，并将其应用于同构图，首先将同构关系网络转化成二部图，从而利用贪婪算法寻找最致密的子图空间。本公开上述实施例可以自动抽取网络中异常聚集的区域，从而为反欺诈团伙的监测提供依据。
在上面所描述的数据检测装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (8)
1.一种数据检测方法，其特征在于，包括：
从多个服务器获取对象关联数据；
对对象关联数据进行数据处理并确定对象关联数据的特征值；
将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据；
其中，所述将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据包括：
根据处理后的对象关联数据和相应特征值，构建二部图；
搜索构建的二部图，确定二部图的最紧密子图；
将所述最紧密子图对应的数据确定为异常数据，将异常数据对应的对象集合确定为异常机构；
其中，所述根据处理后的对象关联数据和相应特征值，构建二部图包括：
将所有对象作为二部图的点，分别设置于二部图的两个子集中，其中，二部图的两个子集中的每个子集均包括所有对象；
将对象关联数据对应的特征值设置为两个对象之间边的可疑度。
2.根据权利要求1所述的数据检测方法，其特征在于，所述搜索构建的二部图，确定二部图的最紧密子图包括：
确定整个二部图的可疑度，其中，整个二部图的可疑度值为二部图中每个点和每条边的可疑度之和；
构建优先树，其中，移除一个点之后，对整个二部图可疑度减少量越小的点，拥有更高的优先级；
按照优先树，依次移除优先级最高的点，确定每次移除优先级最高的点后子图结构的紧密度；
将紧密度最高的子图结构作为二部图的最紧密子图。
3.根据权利要求2所述的数据检测方法，其特征在于，所述确定每次移除优先级最高的点后子图结构的紧密度包括：
将每次移除优先级最高的点后整个子图结构的可疑度与整个子图结构中点的个数的比值，作为每次移除优先级最高的点后子图结构的紧密度。
4.根据权利要求1-3中任一项所述的数据检测方法，其特征在于，还包括：
根据异常数据结果，对异常数据监测模型的模型参数进行相应调整。
5.一种数据检测装置，其特征在于，包括：
关联数据采集模块，用于从多个服务器获取对象关联数据；
数据处理模块，用于对对象关联数据进行数据处理并确定对象关联数据的特征值；
异常数据确定模块，用于将处理后的对象关联数据和相应特征值，输入异常数据监测模型，确定异常数据；
其中，异常数据确定模块，用于根据处理后的对象关联数据和相应特征值，构建二部图；搜索构建的二部图，确定二部图的最紧密子图；将所述最紧密子图对应的数据确定为异常数据，将异常数据对应的对象集合确定为异常机构；
其中，异常数据确定模块，在根据处理后的对象关联数据和相应特征值，构建二部图的情况下，用于将所有对象作为二部图的点，分别设置于二部图的两个子集中，其中，二部图的两个子集中的每个子集均包括所有对象；将对象关联数据对应的特征值设置为两个对象之间边的可疑度。
6.根据权利要求5所述的数据检测装置，其特征在于，所述数据检测装置用于实现如权利要求2-4中任一项所述的数据检测方法。
7.一种数据检测装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述数据检测装置执行实现如权利要求1-4中任一项所述的数据检测方法的操作。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-4中任一项所述的数据检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911133280.2A CN112907308B (zh) | 2019-11-19 | 2019-11-19 | 数据检测方法和装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911133280.2A CN112907308B (zh) | 2019-11-19 | 2019-11-19 | 数据检测方法和装置、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907308A CN112907308A (zh) | 2021-06-04 |
| CN112907308B true CN112907308B (zh) | 2024-05-24 |
Family
ID=76103280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911133280.2A Active CN112907308B (zh) | 2019-11-19 | 2019-11-19 | 数据检测方法和装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907308B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592517A (zh) * | 2021-08-09 | 2021-11-02 | 深圳前海微众银行股份有限公司 | 欺诈客群识别方法、装置、终端设备及计算机存储介质 |
| CN114201535A (zh) * | 2021-12-14 | 2022-03-18 | 平安科技（深圳）有限公司 | 异常数据的检测方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256465A (zh) * | 2017-06-28 | 2017-10-17 | 阿里巴巴集团控股有限公司 | 风险账户的识别方法及装置 |
| CN108038746A (zh) * | 2017-11-24 | 2018-05-15 | 河海大学 | 基于关键用户和时间上下文的二部图推荐方法 |
| CN109598563A (zh) * | 2019-01-24 | 2019-04-09 | 北京三快在线科技有限公司 | 刷单检测方法、装置、存储介质和电子设备 |
| CN110070364A (zh) * | 2019-03-27 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图模型检测团伙欺诈的方法和装置、存储介质 |
| CN110349004A (zh) * | 2019-07-02 | 2019-10-18 | 北京淇瑀信息科技有限公司 | 基于用户节点关系网络的欺诈风险侦测方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130006880A1 (en) * | 2011-06-29 | 2013-01-03 | International Business Machines Corporation | Method for finding actionable communities within social networks |
| US20140303993A1 (en) * | 2013-04-08 | 2014-10-09 | Unisys Corporation | Systems and methods for identifying fraud in transactions committed by a cohort of fraudsters |
| US9699205B2 (en) * | 2015-08-31 | 2017-07-04 | Splunk Inc. | Network security system |
| US11494773B2 (en) * | 2017-09-22 | 2022-11-08 | Jpmorgan Chase Bank, N.A. | System and method for integrating cyber fraud intelligence and payment risk decisions |
| US20190340615A1 (en) * | 2018-05-04 | 2019-11-07 | International Business Machines Corporation | Cognitive methodology for sequence of events patterns in fraud detection using event sequence vector clustering |
-
2019
- 2019-11-19 CN CN201911133280.2A patent/CN112907308B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256465A (zh) * | 2017-06-28 | 2017-10-17 | 阿里巴巴集团控股有限公司 | 风险账户的识别方法及装置 |
| CN108038746A (zh) * | 2017-11-24 | 2018-05-15 | 河海大学 | 基于关键用户和时间上下文的二部图推荐方法 |
| CN109598563A (zh) * | 2019-01-24 | 2019-04-09 | 北京三快在线科技有限公司 | 刷单检测方法、装置、存储介质和电子设备 |
| CN110070364A (zh) * | 2019-03-27 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图模型检测团伙欺诈的方法和装置、存储介质 |
| CN110349004A (zh) * | 2019-07-02 | 2019-10-18 | 北京淇瑀信息科技有限公司 | 基于用户节点关系网络的欺诈风险侦测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| FRAUDAR: Bounding Graph Fraud in the Face of Camouflage;Bryan Hooi etal.;《KDD’16：Proceedings of the 22nd ACM SIGKDD International Conference on knowledge Discovery and Data Mining》;第895-904页 * |
| 基于多信息融合表示学习的关联用户挖掘算法;韩忠明;郑晨烨;段大高;董健;;计算机科学(04);第83-88也 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907308A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3065807C (en) | System and method for issuing a loan to a consumer determined to be creditworthy | |
| US9294497B1 (en) | Method and system for behavioral and risk prediction in networks using automatic feature generation and selection using network topolgies | |
| US7686214B1 (en) | System and method for identity-based fraud detection using a plurality of historical identity records | |
| US7458508B1 (en) | System and method for identity-based fraud detection | |
| US7562814B1 (en) | System and method for identity-based fraud detection through graph anomaly detection | |
| CN107563757B (zh) | 数据风险识别的方法及装置 | |
| US8160982B2 (en) | Method for detecting people of interest from information sources | |
| US20060149674A1 (en) | System and method for identity-based fraud detection for transactions using a plurality of historical identity records | |
| US20190354993A1 (en) | System and method for generation of case-based data for training machine learning classifiers | |
| CN113722611A (zh) | 政务服务的推荐方法、装置、设备及计算机可读存储介质 | |
| CN112989059A (zh) | 潜在客户识别方法及装置、设备及可读计算机存储介质 | |
| CN112506925A (zh) | 一种基于区块链的数据检索系统及方法 | |
| CN112907308B (zh) | 数据检测方法和装置、计算机可读存储介质 | |
| CN108776857A (zh) | Nps短信调研方法、系统、计算机设备和存储介质 | |
| CN116401379A (zh) | 金融产品数据推送方法、装置、设备及存储介质 | |
| CN115375480A (zh) | 基于图神经网络的异常虚拟币钱包地址检测方法 | |
| CN111652718B (zh) | 基于关系网络图的价值流向监控方法、装置、设备和介质 | |
| Diwandari et al. | Analysis of customer purchase behavior using association rules in e-shop | |
| Garin et al. | Machine learning in classifying bitcoin addresses | |
| Yang et al. | Automatic Feature Engineering‐Based Optimization Method for Car Loan Fraud Detection | |
| Kabwe et al. | Identity attributes metric modelling based on mathematical distance metrics models | |
| CN116881687B (zh) | 一种基于特征提取的电网敏感数据识别方法及装置 | |
| US20230196453A1 (en) | Deduplication of accounts using account data collision detected by machine learning models | |
| CN113723522B (zh) | 异常用户的识别方法、装置、电子设备以及存储介质 | |
| CN117313008A (zh) | 异常节点的确定方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co.,Ltd. Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Digital Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |