CN114820219A - 一种基于复杂网络的欺诈社团识别方法及系统 - Google Patents
一种基于复杂网络的欺诈社团识别方法及系统 Download PDFInfo
- Publication number
- CN114820219A CN114820219A CN202210561589.7A CN202210561589A CN114820219A CN 114820219 A CN114820219 A CN 114820219A CN 202210561589 A CN202210561589 A CN 202210561589A CN 114820219 A CN114820219 A CN 114820219A
- Authority
- CN
- China
- Prior art keywords
- community
- node
- transaction
- network
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000008521 reorganization Effects 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于复杂网络的欺诈社团识别方法及系统,属于欺诈社团发现技术领域,用于解决现有的欺诈社团检测方法适用范围小,并且固定的复杂网络无法适应最新的线上交易环境,导致欺诈社团的识别准确率低的技术问题。方法包括:根据交易用户信息,构建待测企业的交易网络;将交易网络中的节点划分为若干个已知社团;并将已知社团划分为已知正常社团与已知欺诈社团;根据已知欺诈社团,对所述交易网络进行结构重组,得到第一重构交易网络;在第一重构交易网络中确定若干个未知属性社团;通过社团属性识别模型,识别未知属性社团中的欺诈社团;根据识别结果,对第一重构交易网络进行网络重构,得到第二重构交易网络。
Description
技术领域
本申请涉及欺诈社团发现技术领域,尤其涉及一种基于复杂网络的欺诈社团识别方法及系统。
背景技术
随着电子商务、第三方支付等线上业务的爆发式增长,交易欺诈案件日益猖獗,并且呈现出手法多变、领域多样化的趋势,如何有效、及时地识别频繁发生的交易欺诈行为已经成为了一个迫切需要解决的问题。传统的欺诈检测方法,通常针对每笔线上交易或者交易者进行实体建模,根据个体的相关特征进行欺诈检测,这种方法对个体欺诈特征明显的欺诈行为的检测效果优秀,但是却忽略了欺诈交易背后的用户关联性,对于伪造正常用户信息的团伙欺诈行为的识别能力较差。
目前存在一种从复杂网络结构中,通过识别其中具有特定规律的社团或子网络,进而对复杂网络进行划分,找出其中节点潜在的联系规律,从而识别团伙欺诈的方法,但是这种方法需要利用已知的欺诈用户节点与其他用户节点的关系,推算出与该欺诈用户节点相关的欺诈社团。但是在实际场景中,很难得知欺诈用户与其他用户的关系,适用范围小,局限性大。并且这种方法中,在需要进行检测的复杂网络构建完成后,就不会再对复杂网络的结构再进行改动,因此这种复杂网络无法适应不断变化的线上交易环境,在一定时间后,会影响欺诈社团的识别准确率。
发明内容
本申请实施例提供了一种基于复杂网络的欺诈社团识别方法及系统,用于解决如下技术问题:现有的欺诈社团检测方法适用范围小,并且固定的复杂网络无法适应最新的线上交易环境,导致欺诈社团的识别准确率低。
本申请实施例采用下述技术方案:
一方面,本申请实施例提供了一种基于复杂网络的欺诈社团识别方法,方法包括:提取待测企业的交易用户信息,并根据提取的所有交易用户信息,构建所述待测企业的交易网络;将所述交易网络中的所有节点初步划分为若干个已知社团以及孤立节点;并根据每个已知社团中是否包含已记录的欺诈用户节点信息,将所述已知社团划分为已知正常社团与已知欺诈社团;将所述已知正常社团与所述已知欺诈社团作为训练样本,训练所述待测企业的社团属性识别模型;其中,所述社团属性识别模型包括正常社团识别模型以及欺诈社团识别模型;根据所述已知欺诈社团,对所述交易网络进行结构重组,得到第一重构交易网络;将所述第一重构交易网络中的孤立节点划分到已有社团中,或者划分为新的社团,得到若干个未知属性社团;通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团;根据识别结果,对所述第一重构交易网络进行网络重构,得到第二重构交易网络,并将所述第二重构交易网络作为最新的交易网络。
在一种可行的实施方式中,提取待测企业的交易用户信息,并根据提取的所有交易用户信息,构建所述待测企业的交易网络,具体包括:调取所述待测企业的交易数据,并在所述交易数据中提取出涉及的交易用户信息;其中,所述交易用户信息至少包括以下任一项:用户ID、用户账户、用户IP地址、用户等级,用户设备指纹、交易记录;将每个用户的交易用户信息抽象为复杂网络中的节点;根据每个节点中的交易记录,确定产生过交易关系的用户,并将用户之间的交易关系抽象为复杂网络的边;其中,所述复杂网络为无向网络;将用户之间的交易次数设为节点之间边的权值,得到所述待测企业的交易网络。
在一种可行的实施方式中,将所述交易网络中的所有节点初步划分为若干个已知社团以及孤立节点;并根据每个已知社团中是否包含已记录的欺诈用户节点信息,将所述已知社团划分为已知正常社团与已知欺诈社团,具体包括:在所述交易网络中,确定当前节点相关的所有边的权值;对于所述当前节点,将权值最大的一条边连接的节点设为所述当前节点的邻居节点;在所述邻居节点的所有边中,查找除了所述当前节点之外,权值最大的一条边连接的节点,设为所述邻居节点的下一个邻居节点,以此类推,直至找不到新的邻居节点为止;将查找到的所有节点划分为一个已知社团,并在剩余节点中划分其他的已知社团,得到所述若干个已知社团;若存在一个节点与其他节点之间没有任何边相连,则所述节点为孤立节点;在所述待测企业的交易数据中,获取存在过欺诈行为的欺诈用户信息,并确定所述欺诈用户信息在所述交易网络中对应的欺诈节点;将所述欺诈节点所在的已知社团确定为已知欺诈社团,并将其余已知社团确定为已知正常社团;若所述欺诈节点为孤立节点,则将所述孤立节点确定为一个已知欺诈社团。
在一种可行的实施方式中,将所述已知正常社团与所述已知欺诈社团作为训练样本,训练所述待测企业的社团属性识别模型,具体包括:构建BP神经网络模型,并设置所述BP神经网络的初始网络权重以及初始网络阈值;通过LM算法,求出所述BP神经网络模型的协方差矩阵以及误差函数的最小值;根据所述误差函数的最小值,确定所述BP神经网络模型的梯度向量;根据所述协方差矩阵以及所述梯度向量,校正所述BP神经网络的初始网络权重以及所述初始网络阈值,得到最终网络权重以及最终网络阈值;将所述已知正常社团中的各节点对应的交易用户信息以及各节点之间边的权值作为训练样本,对校正后的所述BP神经网络模型进行训练,得到正常社团识别模型;将所述已知欺诈社团节点中的各节点对应的交易用户信息以及各节点之间边的权值作为训练样本,对校正后的所述BP神经网络模型进行训练,得到欺诈社团识别模型。
在一种可行的实施方式中,根据所述已知欺诈社团,对所述交易网络进行结构重组,得到第一重构交易网络,具体包括:根据所述已知社团中每个节点对应的交易用户的用户等级,确定所述每个节点的节点等级;根据,得到一个已知社团中第i个节点的节点层级;其中,a为第i个节点的等级;为所述等级的权重;表示第i个节点在节点等级相同的节点中的重要级别,每个节点的重要级别由所述待测企业提供;为所述重要级别的权重,且;确定所述已知欺诈社团中第j个欺诈节点的节点等级;在节点等级为的非欺诈节点中,选择节点层级最大的一个节点作为所述第j个欺诈节点的替代节点;将所述第j个欺诈节点的第一层下级节点与所述替代节点建立连接边,并继承所述第j个欺诈节点与所述替代节点之间边的权值;其中,所述第一层下级节点为:与所述第j个欺诈节点相连的节点等级为的非欺诈节点;将所述第j个欺诈节点原本的每层下级节点的节点等级加一,并重新计算所述每层下级节点的节点层级;将所述第j个欺诈节点剔除,完成对所述交易网络的结构重组,得到第一重构交易网络。
在一种可行的实施方式中,将所述第一重构交易网络中的孤立节点划分到已有社团中,或者划分为新的社团,得到若干个未知属性社团,具体包括:计算所述第一重构交易网络中,每个孤立节点与其他节点之间的交易用户信息相似度,并将交易用户相似度大于预设阈值的若干个节点确定为所述孤立节点的相似节点;其中,所述交易用户信息相似度与所述交易用户信息中相同信息的数量有关;遍历所述孤立节点的每个相似节点,并计算将其分配到每个相似节点所属的社团后,该社团的模块度;若所述孤立节点的其中一个或多个相似节点也是孤立节点,则计算将其与所述相似节点构建为一个社团后,该社团的模块度;将所述孤立节点分配到计算出的模块度最大的社团中,得到对应的未知属性社团。
在一种可行的实施方式中,通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团,具体包括:将得到的所述若干个未知属性社团中的各节点对应的交易用户信息以及各节点之间边的权值,分别输入到所述正常社团识别模型以及所述欺诈社团识别模型中;若所述正常社团识别模型的识别结果为正常社团,且所述欺诈社团识别模型的识别结果为非欺诈社团,则确定所述未知属性社团为正常社团;若所述欺诈社团识别模型的结果为欺诈社团,则无论所述正常社团识别模型的识别结果为正常社团还是非正常社团,均确定所述未知属性社团为欺诈社团;若所述正常社团识别模型的识别结果为非正常社团,且所述欺诈社团识别模型的识别结果为非欺诈社团,则调整参数后重新训练所述正常社团识别模型以及所述非正常社团识别模型。
在一种可行的实施方式中,根据识别结果,对所述第一重构交易网络进行网络重构,得到第二重构交易网络,并将所述第二重构交易网络作为最新的交易网络,具体包括:将所述第一重构交易网络中的各个节点表示为:;其中,为每个正常社团中的第i个节点;为所述第i个节点的拓扑结构,即所述第i个节点连接的所有节点的集合;为外部扰动,在没有新增节点的情况下,所述第一重构交易网络趋于稳态,所述第一重构交易网络的外部扰动为0;对所述第i个节点施加一个持续的扰动信号,得到方程组;其中,为施加k次所述扰动信号后达到稳态后的第i个节点;k为施加扰动信号的次数;根据所述方程组求解得到第i个节点经过扰动后的重构拓扑结构;其中,、、……、分别代表所述第i个节点应该连接的第1个到第N个节点;根据计算出的每个节点的重构拓扑结构,将所述第一重构交易网络中的节点对应连接,得到所述第二重构交易网络。
在一种可行的实施方式中,在通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团之后,所述方法还包括:为识别出的所述欺诈社团中的全部节点设置欺诈标识;在交易过程中若识别到所述欺诈标识,则提取所述欺诈标识对应的交易用户的历史交易数据,并对所述历史交易数据进行安全检测,分析所述历史交易数据中出现异常数据的次数,得到所述交易用户的危险系数;其中,所述出现异常数据的次数越多,所述交易用户的危险系数越高;将所述危险系数、所述交易用户所在的欺诈社团中其他交易用户的ID以及危险交易警示信息显示在交易页面的弹窗中,以供工作人员判断是否需要终止交易。
另一方面,本申请实施例还提供了一种基于复杂网络的欺诈社团识别系统,系统包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行上述任一实施方式所述的一种基于复杂网络的欺诈社团识别方法。
本申请实施例通过复杂网络架构,构建企业的交易网络,并根据交易网络内已知的社团属性训练社团属性识别模型,通过该模型识别交易网络中的欺诈社团,只需要将一个社团中的所有节点信息输入到模型中,即可得到识别结果,不需要事先知道每个节点与欺诈节点的关系,适用范围更大。另外,本申请根据已知社团属性对交易网络进行一次重构,再根据识别结果以及市场变化扰动对交易网络进行第二次重构,从而使交易网络在欺诈社团识别过程中,结构不断随识别过程而变化的同时也随市场扰动因素而变化,能够适应不断变化的线上交易环境。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本申请实施例提供的一种基于复杂网络的欺诈社团识别方法流程图;
图2为本申请实施例提供的一种欺诈社团节点剔除示意图;
图3为本申请实施例提供的一种基于复杂网络的欺诈社团识别系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请实施例提供了一种基于复杂网络的欺诈社团识别方法,如图1所示,方法具体包括步骤S101-S106:
S101、提取待测企业的交易用户信息,并根据提取的所有交易用户信息,构建待测企业的交易网络。
具体地,调取待测企业的交易数据,并在交易数据中提取出涉及的交易用户信息。其中,交易用户信息包括用户ID、用户账户、用户IP地址、用户等级,用户设备指纹、交易记录等。
进一步地,将每个用户的交易用户信息抽象为复杂网络中的节点,根据每个节点中的交易记录,确定产生过交易关系的用户,并将用户之间的交易关系抽象为复杂网络的边。其中,复杂网络为无向网络。将用户之间的交易次数设为节点之间边的权值,得到待测企业的交易网络。
在一个实施例中,本申请中的待测企业可以是金融行业的企业,比如银行、保险、信托、证券、租赁等行业的企业,这些企业易受到交易欺诈,因此会对客户进行尽职调查,从而能够掌握大量的客户信息以及客户之间的交易关系。在获取企业的交易数据后,将交易数据中获取的用户抽象为复杂网络架构中的节点,若两个用户之间产生过交易,则将两个用户对应的节点通过一条边连接,且该边的权值设为两个用户之间交易的次数,得到该企业的交易网络。
S102、将交易网络中的所有节点初步划分为若干个已知社团以及孤立节点,并根据每个已知社团中是否包含已记录的欺诈用户节点信息,将已知社团划分为已知正常社团与已知欺诈社团。
具体地,在交易网络中,随机选定一个节点作为当前节点,然后确定当前节点相关的所有边的权值,将权值最大的一条边连接的节点设为当前节点的邻居节点。在邻居节点的所有边中,查找除了当前节点之外,权值最大的一条边连接的节点,设为邻居节点的下一个邻居节点,以此类推,直至找不到新的邻居节点为止。将查找到的所有节点划分为一个已知社团。
进一步地,在剩余节点中按照上述方法划分其他的已知社团,得到若干个已知社团。若存在一个节点与其他节点之间没有任何边相连,则该节点为孤立节点。
进一步地,在待测企业的交易数据中,获取存在过欺诈行为的欺诈用户信息,并确定欺诈用户信息在交易网络中对应的欺诈节点。将欺诈节点所在的已知社团确定为已知欺诈社团,并将其余已知社团确定为已知正常社团。若欺诈节点为孤立节点,则将孤立节点确定为一个已知欺诈社团。
在一个实施例中,在构建交易网络时,即使发现某个用户之前进行过欺诈行为,也构建进交易网络中,以分析与该用户关系密切的其他用户,形成已知欺诈社团,用于训练社团属性模型。
S103、将已知正常社团与已知欺诈社团作为训练样本,训练待测企业的社团属性识别模型。
具体地,社团属性识别模型包括正常社团识别模型以及欺诈社团识别模型。
首先,构建BP神经网络模型,并为BP神经网络的设置一个合适的初始网络权重以及初始网络阈值。然后通过列文伯格-马夸尔特算法(LM算法),求出BP神经网络模型的协方差矩阵以及误差函数的最小值。将误差函数的最小值与雅可比矩阵的转置相乘,得到BP神经网络模型的梯度向量;
进一步地,将已知正常社团中的各节点对应的交易用户信息以及各节点之间边的权值作为训练样本,对校正后的BP神经网络模型进行训练,得到正常社团识别模型;将已知欺诈社团节点中的各节点对应的交易用户信息以及各节点之间边的权值作为训练样本,对校正后的所述BP神经网络模型进行训练,得到欺诈社团识别模型。
需要说明的是,由于在S102中划分已知欺诈社团与已知正常社团时,是根据社团中是否包含已知的欺诈节点进行划分的,因此,划分出的已知欺诈社团一定是欺诈社团,但已知正常社团并不一定是正常社团,也许其中包含我们并没有记录的欺诈节点,因此,本申请并没有将已知正常社团和已知欺诈社团作为正负样本训练一个模型,因为这样训练出的模型不一定是准确的。而是分别通过两种社团的数据,训练了两个模型,这样至少能够保证欺诈社团识别模型是准确的,而正常社团识别模型可以作为辅助。
S104、根据已知欺诈社团,对交易网络进行结构重组,得到第一重构交易网络。
具体地,根据已知社团中每个节点对应的交易用户的用户等级,确定每个节点的节点等级。根据,得到一个已知社团中第i个节点的节点层级;其中,a为第i个节点的等级;为等级a的权重;表示第i个节点在节点等级相同的节点中的重要级别,每个节点的重要级别由待测企业提供;为重要级别的权重,且;和由人为指定。
进一步地,将第j个欺诈节点原本的每层下级节点的节点等级加一,并重新计算每层下级节点的节点层级。将第j个欺诈节点剔除,完成对交易网络的结构重组,得到第一重构交易网络,其中,j可以是1到欺诈社团中欺诈节点总数之间的任意整数。
在一个实施例中,图2为本申请实施例提供的一种欺诈社团节点剔除示意图,如图2中的(1)所示,若节点P为需要剔除的欺诈节点,假设节点p的节点等级为3级,那么在节点P连接的节点等级为4级的非欺诈节点A和B中,选择节点层级较大的一个节点,假设节点A的节点层级为5,节点B的节点层级为3,那么选择节点A作为节点P的替代节点。并在节点P所连接的2级节点C与节点A之间建立连接边,并继承权值3,在节点P所连接的2级节点D与节点A之间建立连接边,并继承权值4。最后将节点P及节点P所连接的所有边删除,得到如图2中的(2)所示的剔除后的节点连接示意图。按照同样的方法将所有欺诈节点全部剔除后,得到第一重构交易网络,此时,第一重构交易网络中已不包含已知的欺诈节点,但仍有可能包含未知的欺诈节点。
在另一个实施例中,若节点P与4级节点B之间的权值大于3,则在剔除节点P后,在节点A与节点B之间建立一条连接边,并将这条边的权值设为1。也就是说,如果节点P与节点B之间的关系较为密切,那么在剔除节点P之后,节点A与节点B之间可能也会存在一定的关系,因此在两个节点之间暂时创建一个权值为1的连接边。
S105、将第一重构交易网络中的孤立节点划分到已有社团中,或者划分为新的社团,得到若干个未知属性社团。
具体地,计算第一重构交易网络中,每个孤立节点与其他节点之间的交易用户信息相似度,并将交易用户相似度大于预设阈值的若干个节点确定为孤立节点的相似节点。其中,交易用户信息相似度与交易用户信息中相同信息的数量有关。
进一步地,遍历孤立节点的每个相似节点,并计算将其分配到每个相似节点所属的社团后,该社团的模块度。若孤立节点的其中一个或多个相似节点也是孤立节点,则计算将其与相似节点构建为一个社团后,该社团的模块度。将孤立节点分配到计算出的模块度最大的社团中,得到对应的未知属性社团。其中,模块度根据模块度函数计算得出,模块度的计算采用现有的公式即可实现,本申请中不作赘述。
在一个实施例中,对比两个用户的账户卡号、IP地址、设备指纹、交易记录等属性,相同或相似的属性占全部属性的比例,为两个用户之间的交易用户相似度。比较账户卡号时可根据卡号判断该账户的所属银行、开户城市,若两个卡号的所属银行以及开户城市相同,那么认为这两个账户卡号是相似卡号。比较IP地址和设备指纹时则可比较两个用户的IP地址或设备指纹是否相同。比较交易记录时可根据两个用户之间是否有间接交易用户来判断,比如若用户A与用户C具有交易记录,而用户C与用户B有交易记录,那么认为用户A与用户B之间有间接交易关系。
S106、通过社团属性识别模型,识别未知属性社团中的欺诈社团。
具体地,将得到的若干个未知属性社团中的各节点对应的交易用户信息以及各节点之间边的权值,分别输入到正常社团识别模型以及所述欺诈社团识别模型中。若正常社团识别模型的识别结果为正常社团,且欺诈社团识别模型的识别结果为非欺诈社团,则确定未知属性社团为正常社团。若欺诈社团识别模型的结果为欺诈社团,则无论正常社团识别模型的识别结果为正常社团还是非正常社团,均确定未知属性社团为欺诈社团。
若正常社团识别模型的识别结果为非正常社团,且欺诈社团识别模型的识别结果为非欺诈社团,则调整参数后重新训练正常社团识别模型以及非正常社团识别模型。
作为一种可行的实施方式,由于正常社团识别模型的训练样本在实际上并不一定全是正常社团,因此正常社团识别模型的识别结果只能作为辅助。在欺诈社团识别模型识别出未知属性社团为欺诈社团时,正常社团识别模型无论是什么结果,都能确定该社团是欺诈社团。但是在欺诈社团识别模型识别出未知属性社团不是欺诈社团时,也不一定能确定该社团就是正常社团,此时还需要根据正常社团识别模型的识别结果来判断,若正常社团识别模型也识别出该社团是正常社团,那么根据双向的识别结果,基本能够确定该社团是正常社团。若正常社团识别模型的识别结果是该社团不是正常社团,那么此时双向的识别结果是该社团既不是正常社团也不是欺诈社团,那么此时就能佐证两个模型至少有一个识别结果是不准确的,此时需要重新训练两个模型。本申请中通过训练两个模型,提高了识别结果的准确性,规避了前期对社团进行分类时产生的已知正常社团属性的不确定性对识别结果的影响。
进一步地,为识别出的欺诈社团中的全部节点设置欺诈标识。在交易过程中若识别到欺诈标识,则提取欺诈标识对应的交易用户的历史交易数据,并对历史交易数据进行安全检测,分析历史交易数据中出现异常数据的次数,得到交易用户的危险系数。出现异常数据的次数越多,交易用户的危险系数越高。
进一步地,将危险系数、交易用户所在的欺诈社团中其他交易用户的ID以及危险交易警示信息显示在交易页面的弹窗中,以供工作人员判断是否需要终止交易。
S107、根据识别结果,对第一重构交易网络进行网络重构,得到第二重构交易网络,并将第二重构交易网络作为最新的交易网络。
具体地,将第一重构交易网络中的各个节点表示为:;其中,为每个正常社团中的第i个节点;为第i个节点的拓扑结构,即第i个节点连接的所有节点标识的集合;为外部扰动,在没有新增节点的情况下,第一重构交易网络趋于稳态,第一重构交易网络的外部扰动为0。
进一步地,根据计算出的每个节点的重构拓扑结构,将第一重构交易网络中的节点对应连接,得到第二重构交易网络。
另外,本申请实施例还提供了一种基于复杂网络的欺诈社团识别系统,如图3所示,基于复杂网络的欺诈社团识别系统300具体包括:
至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有能够被至少一个处理器301执行的指令,以使至少一个处理器301能够执行:
提取待测企业的交易用户信息,并根据提取的所有交易用户信息,构建所述待测企业的交易网络;
将所述交易网络中的所有节点初步划分为若干个已知社团以及孤立节点;并根据每个已知社团中是否包含已记录的欺诈用户节点信息,将所述已知社团划分为已知正常社团与已知欺诈社团;
将所述已知正常社团与所述已知欺诈社团作为训练样本,训练所述待测企业的社团属性识别模型;其中,所述社团属性识别模型包括正常社团识别模型以及欺诈社团识别模型;
根据所述已知欺诈社团,对所述交易网络进行结构重组,得到第一重构交易网络;
将所述第一重构交易网络中的孤立节点划分到已有社团中,或者划分为新的社团,得到若干个未知属性社团;
通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团;
根据识别结果,对所述第一重构交易网络进行网络重构,得到第二重构交易网络,并将所述第二重构交易网络作为最新的交易网络。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于复杂网络的欺诈社团识别方法,其特征在于,所述方法包括:
提取待测企业的交易用户信息,并根据提取的所有交易用户信息,构建所述待测企业的交易网络;
将所述交易网络中的所有节点初步划分为若干个已知社团以及孤立节点;并根据每个已知社团中是否包含已记录的欺诈用户节点信息,将所述已知社团划分为已知正常社团与已知欺诈社团;
将所述已知正常社团与所述已知欺诈社团作为训练样本,训练所述待测企业的社团属性识别模型;其中,所述社团属性识别模型包括正常社团识别模型以及欺诈社团识别模型;
根据所述已知欺诈社团,对所述交易网络进行结构重组,得到第一重构交易网络;
将所述第一重构交易网络中的孤立节点划分到已有社团中,或者划分为新的社团,得到若干个未知属性社团;
通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团;
根据识别结果,对所述第一重构交易网络进行网络重构,得到第二重构交易网络,并将所述第二重构交易网络作为最新的交易网络。
2.根据权利要求1所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,提取待测企业的交易用户信息,并根据提取的所有交易用户信息,构建所述待测企业的交易网络,具体包括:
调取所述待测企业的交易数据,并在所述交易数据中提取出涉及的交易用户信息;其中,所述交易用户信息至少包括以下任一项:用户ID、用户账户、用户IP地址、用户等级,用户设备指纹、交易记录;
将每个用户的交易用户信息抽象为复杂网络中的节点;
根据每个节点中的交易记录,确定产生过交易关系的用户,并将用户之间的交易关系抽象为复杂网络的边;其中,所述复杂网络为无向网络;
将用户之间的交易次数设为节点之间边的权值,得到所述待测企业的交易网络。
3.根据权利要求2所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,将所述交易网络中的所有节点初步划分为若干个已知社团以及孤立节点;并根据每个已知社团中是否包含已记录的欺诈用户节点信息,将所述已知社团划分为已知正常社团与已知欺诈社团,具体包括:
在所述交易网络中,确定当前节点相关的所有边的权值;
对于所述当前节点,将权值最大的一条边连接的节点设为所述当前节点的邻居节点;
在所述邻居节点的所有边中,查找除了所述当前节点之外,权值最大的一条边连接的节点,设为所述邻居节点的下一个邻居节点,以此类推,直至找不到新的邻居节点为止;
将查找到的所有节点划分为一个已知社团,并在剩余节点中划分其他的已知社团,得到所述若干个已知社团;
若存在一个节点与其他节点之间没有任何边相连,则所述节点为孤立节点;
在所述待测企业的交易数据中,获取存在过欺诈行为的欺诈用户信息,并确定所述欺诈用户信息在所述交易网络中对应的欺诈节点;
将所述欺诈节点所在的已知社团确定为已知欺诈社团,并将其余已知社团确定为已知正常社团;
若所述欺诈节点为孤立节点,则将所述孤立节点确定为一个已知欺诈社团。
4.根据权利要求2所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,将所述已知正常社团与所述已知欺诈社团作为训练样本,训练所述待测企业的社团属性识别模型,具体包括:
构建BP神经网络模型,并设置所述BP神经网络的初始网络权重以及初始网络阈值;
通过LM算法,求出所述BP神经网络模型的协方差矩阵以及误差函数的最小值;
根据所述误差函数的最小值,确定所述BP神经网络模型的梯度向量;
根据所述协方差矩阵以及所述梯度向量,校正所述BP神经网络的初始网络权重以及所述初始网络阈值,得到最终网络权重以及最终网络阈值;
将所述已知正常社团中的各节点对应的交易用户信息以及各节点之间边的权值作为训练样本,对校正后的所述BP神经网络模型进行训练,得到正常社团识别模型;
将所述已知欺诈社团节点中的各节点对应的交易用户信息以及各节点之间边的权值作为训练样本,对校正后的所述BP神经网络模型进行训练,得到欺诈社团识别模型。
5.根据权利要求1所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,根据所述已知欺诈社团,对所述交易网络进行结构重组,得到第一重构交易网络,具体包括:
根据所述已知社团中每个节点对应的交易用户的用户等级,确定所述每个节点的节点等级;
根据,得到一个已知社团中第i个节点的节点层级;其中,a为第i个节点的等级;为所述等级的权重;表示第i个节点在节点等级相同的节点中的重要级别,每个节点的重要级别由所述待测企业提供;为所述重要级别的权重,且;
将所述第j个欺诈节点原本的每层下级节点的节点等级加一,并重新计算所述每层下级节点的节点层级;
将所述第j个欺诈节点剔除,完成对所述交易网络的结构重组,得到第一重构交易网络。
6.根据权利要求1所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,将所述第一重构交易网络中的孤立节点划分到已有社团中,或者划分为新的社团,得到若干个未知属性社团,具体包括:
计算所述第一重构交易网络中,每个孤立节点与其他节点之间的交易用户信息相似度,并将交易用户相似度大于预设阈值的若干个节点确定为所述孤立节点的相似节点;其中,所述交易用户信息相似度与所述交易用户信息中相同信息的数量有关;
遍历所述孤立节点的每个相似节点,并计算将其分配到每个相似节点所属的社团后,该社团的模块度;
若所述孤立节点的其中一个或多个相似节点也是孤立节点,则计算将其与所述相似节点构建为一个社团后,该社团的模块度;
将所述孤立节点分配到计算出的模块度最大的社团中,得到对应的未知属性社团。
7.根据权利要求1所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团,具体包括:
将得到的所述若干个未知属性社团中的各节点对应的交易用户信息以及各节点之间边的权值,分别输入到所述正常社团识别模型以及所述欺诈社团识别模型中;
若所述正常社团识别模型的识别结果为正常社团,且所述欺诈社团识别模型的识别结果为非欺诈社团,则确定所述未知属性社团为正常社团;
若所述欺诈社团识别模型的结果为欺诈社团,则无论所述正常社团识别模型的识别结果为正常社团还是非正常社团,均确定所述未知属性社团为欺诈社团;
若所述正常社团识别模型的识别结果为非正常社团,且所述欺诈社团识别模型的识别结果为非欺诈社团,则调整参数后重新训练所述正常社团识别模型以及所述非正常社团识别模型。
8.根据权利要求1所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,根据识别结果,对所述第一重构交易网络进行网络重构,得到第二重构交易网络,并将所述第二重构交易网络作为最新的交易网络,具体包括:
将所述第一重构交易网络中的各个节点表示为:;其中,为每个正常社团中的第i个节点;为所述第i个节点的拓扑结构,即所述第i个节点连接的所有节点的集合;为外部扰动,在没有新增节点的情况下,所述第一重构交易网络趋于稳态,所述第一重构交易网络的外部扰动为0;
根据计算出的每个节点的重构拓扑结构,将所述第一重构交易网络中的节点对应连接,得到所述第二重构交易网络。
9.根据权利要求1所述的一种基于复杂网络的欺诈社团识别方法,其特征在于,在通过所述社团属性识别模型,识别所述未知属性社团中的欺诈社团之后,所述方法还包括:
为识别出的所述欺诈社团中的全部节点设置欺诈标识;
在交易过程中若识别到所述欺诈标识,则提取所述欺诈标识对应的交易用户的历史交易数据,并对所述历史交易数据进行安全检测,分析所述历史交易数据中出现异常数据的次数,得到所述交易用户的危险系数;其中,所述出现异常数据的次数越多,所述交易用户的危险系数越高;
将所述危险系数、所述交易用户所在的欺诈社团中其他交易用户的ID以及危险交易警示信息显示在交易页面的弹窗中,以供工作人员判断是否需要终止交易。
10.一种基于复杂网络的欺诈社团识别系统,其特征在于,所述系统包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行根据权利要求1-9任一项所述的一种基于复杂网络的欺诈社团识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210561589.7A CN114820219B (zh) | 2022-05-23 | 2022-05-23 | 一种基于复杂网络的欺诈社团识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210561589.7A CN114820219B (zh) | 2022-05-23 | 2022-05-23 | 一种基于复杂网络的欺诈社团识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820219A true CN114820219A (zh) | 2022-07-29 |
CN114820219B CN114820219B (zh) | 2022-09-20 |
Family
ID=82517730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210561589.7A Active CN114820219B (zh) | 2022-05-23 | 2022-05-23 | 一种基于复杂网络的欺诈社团识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820219B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116244284A (zh) * | 2022-12-30 | 2023-06-09 | 成都中轨轨道设备有限公司 | 一种基于立体内容的大数据处理方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160379309A1 (en) * | 2015-06-24 | 2016-12-29 | IGATE Global Solutions Ltd. | Insurance Fraud Detection and Prevention System |
TWM561279U (zh) * | 2018-02-12 | 2018-06-01 | 林俊良 | 用於處理金融資產之策略模型腳本之區塊鏈系統與節點伺服器 |
CN108681936A (zh) * | 2018-04-26 | 2018-10-19 | 浙江邦盛科技有限公司 | 一种基于模块度和平衡标签传播的欺诈团伙识别方法 |
CN109710754A (zh) * | 2018-11-12 | 2019-05-03 | 中国科学院信息工程研究所 | 一种基于深度结构学习的群体异常行为检测方法 |
CN109784636A (zh) * | 2018-12-13 | 2019-05-21 | 中国平安财产保险股份有限公司 | 欺诈用户识别方法、装置、计算机设备及存储介质 |
CN110070364A (zh) * | 2019-03-27 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图模型检测团伙欺诈的方法和装置、存储介质 |
CN110297912A (zh) * | 2019-05-20 | 2019-10-01 | 平安科技(深圳)有限公司 | 欺诈识别方法、装置、设备及计算机可读存储介质 |
CN110348978A (zh) * | 2019-07-19 | 2019-10-18 | 中国工商银行股份有限公司 | 基于图计算的风险团伙识别方法、装置、设备和存储介质 |
CN110363636A (zh) * | 2019-06-27 | 2019-10-22 | 上海淇馥信息技术有限公司 | 基于关系网络的欺诈风险识别方法及装置 |
CN111090729A (zh) * | 2019-12-16 | 2020-05-01 | 深圳市卡牛科技有限公司 | 欺诈团伙的识别方法、装置、服务器和存储介质 |
CN112435137A (zh) * | 2020-12-31 | 2021-03-02 | 杭银消费金融股份有限公司 | 一种基于社团挖掘的欺诈信息检测方法及系统 |
CN113129010A (zh) * | 2020-01-10 | 2021-07-16 | 联洋国融(北京)科技有限公司 | 一种基于复杂网络模型的欺诈团伙挖掘系统及其挖掘方法 |
CN113706180A (zh) * | 2021-10-29 | 2021-11-26 | 杭银消费金融股份有限公司 | 欺诈社团识别方法及系统 |
CN114418780A (zh) * | 2022-03-11 | 2022-04-29 | 太平金融科技服务(上海)有限公司深圳分公司 | 欺诈团伙识别方法、装置、计算机设备和存储介质 |
-
2022
- 2022-05-23 CN CN202210561589.7A patent/CN114820219B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160379309A1 (en) * | 2015-06-24 | 2016-12-29 | IGATE Global Solutions Ltd. | Insurance Fraud Detection and Prevention System |
TWM561279U (zh) * | 2018-02-12 | 2018-06-01 | 林俊良 | 用於處理金融資產之策略模型腳本之區塊鏈系統與節點伺服器 |
CN108681936A (zh) * | 2018-04-26 | 2018-10-19 | 浙江邦盛科技有限公司 | 一种基于模块度和平衡标签传播的欺诈团伙识别方法 |
CN109710754A (zh) * | 2018-11-12 | 2019-05-03 | 中国科学院信息工程研究所 | 一种基于深度结构学习的群体异常行为检测方法 |
CN109784636A (zh) * | 2018-12-13 | 2019-05-21 | 中国平安财产保险股份有限公司 | 欺诈用户识别方法、装置、计算机设备及存储介质 |
CN110070364A (zh) * | 2019-03-27 | 2019-07-30 | 北京三快在线科技有限公司 | 基于图模型检测团伙欺诈的方法和装置、存储介质 |
CN110297912A (zh) * | 2019-05-20 | 2019-10-01 | 平安科技(深圳)有限公司 | 欺诈识别方法、装置、设备及计算机可读存储介质 |
CN110363636A (zh) * | 2019-06-27 | 2019-10-22 | 上海淇馥信息技术有限公司 | 基于关系网络的欺诈风险识别方法及装置 |
CN110348978A (zh) * | 2019-07-19 | 2019-10-18 | 中国工商银行股份有限公司 | 基于图计算的风险团伙识别方法、装置、设备和存储介质 |
CN111090729A (zh) * | 2019-12-16 | 2020-05-01 | 深圳市卡牛科技有限公司 | 欺诈团伙的识别方法、装置、服务器和存储介质 |
CN113129010A (zh) * | 2020-01-10 | 2021-07-16 | 联洋国融(北京)科技有限公司 | 一种基于复杂网络模型的欺诈团伙挖掘系统及其挖掘方法 |
CN112435137A (zh) * | 2020-12-31 | 2021-03-02 | 杭银消费金融股份有限公司 | 一种基于社团挖掘的欺诈信息检测方法及系统 |
CN113706180A (zh) * | 2021-10-29 | 2021-11-26 | 杭银消费金融股份有限公司 | 欺诈社团识别方法及系统 |
CN114418780A (zh) * | 2022-03-11 | 2022-04-29 | 太平金融科技服务(上海)有限公司深圳分公司 | 欺诈团伙识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
DONGXU HUANG ET AL.: "CoDetect: Financial Fraud Detection With Anomaly Feature Detection", 《IEEE ACCESS》 * |
周晓楠等: "图数据库在识别重大疾病保险团伙式欺诈中的应用研究", 《保险研究》 * |
沈文明等: "基于"邻域"结构洞的社团发现算法", 《移动通信》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116244284A (zh) * | 2022-12-30 | 2023-06-09 | 成都中轨轨道设备有限公司 | 一种基于立体内容的大数据处理方法 |
CN116244284B (zh) * | 2022-12-30 | 2023-11-14 | 成都中轨轨道设备有限公司 | 一种基于立体内容的大数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114820219B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648074B (zh) | 基于支持向量机的贷款评估方法、装置及设备 | |
CN108228706A (zh) | 用于识别异常交易社团的方法和装置 | |
CN112668859A (zh) | 基于大数据的客户风险评级方法、装置、设备及存储介质 | |
da Rocha et al. | Identifying bank frauds using CRISP-DM and decision trees | |
CN109829721B (zh) | 基于异质网络表征学习的线上交易多主体行为建模方法 | |
CN112700324A (zh) | 基于CatBoost与受限玻尔兹曼机结合的用户借贷违约预测方法 | |
CN111738817A (zh) | 识别风险社区的方法及系统 | |
CN108446291A (zh) | 用户信用的实时评分方法及评分系统 | |
WO2019200739A1 (zh) | 数据欺诈识别方法、装置、计算机设备和存储介质 | |
CN114187112A (zh) | 账户风险模型的训练方法和风险用户群体的确定方法 | |
CN113657896A (zh) | 一种基于图神经网络的区块链交易拓扑图分析方法和装置 | |
CN114820219B (zh) | 一种基于复杂网络的欺诈社团识别方法及系统 | |
CN110929525A (zh) | 一种网贷风险行为分析检测方法、装置、设备和存储介质 | |
CN113689218A (zh) | 风险账户的识别方法、装置、计算机设备和存储介质 | |
CN110992194A (zh) | 一种基于含属性的多进程采样图表示学习模型的用户参考指数算法 | |
CN112990989A (zh) | 价值预测模型输入数据生成方法、装置、设备和介质 | |
CN112686654A (zh) | 区块链数字货币交易的识别方法、装置、电子设备及存储介质 | |
CN112241820A (zh) | 资金流动中关键节点的风险识别方法、装置及计算设备 | |
CN110335145A (zh) | 一种影响因素动态展示方法、装置、电子设备及存储介质 | |
CN113870021B (zh) | 一种数据的分析方法、装置、存储介质和电子设备 | |
CN115114851A (zh) | 基于五折交叉验证的评分卡建模方法及装置 | |
CN113706279A (zh) | 欺诈分析方法、装置、电子设备及存储介质 | |
Prakash et al. | ATM Card Fraud Detection System Using Machine Learning Techniques | |
CN110570301A (zh) | 风险识别方法、装置、设备及介质 | |
CN112435133A (zh) | 基于图分析的医保联合欺诈检测方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |