CN108133061A - 一种诈骗群体识别系统 - Google Patents

Abstract

本发明公开了一种诈骗群体识别系统，包括数据源，用于提供原始日志数据；数据加载模块，和数据源相连，用于获取和预处理原始日志数据；数据存储模块，用于存储原始日志数据和预处理后的中间结果数据；综合分析模块，在综合分析模块内设有诈骗群体识别模块，诈骗群体识别模块和数据存储模块相连，诈骗群体识别模块用于识别诈骗团伙并将诈骗团伙信息存储在数据存储模块内；应用模块，和数据存储模块相连，用于对诈骗团伙信息进行展示。本发明通过对线上数据进行大量分析发现诈骗团伙，可以更全面的识别诈骗团伙，并能对今后可能出现的诈骗团伙进行识别。

Description

一种诈骗群体识别系统

技术领域

本发明属于防诈骗系统技术领域，具体而言，尤其涉及一种诈骗群体识别系统。

背景技术

反诈工作是与诈骗分子不断对抗的一个过程，基于诈骗手段层出不穷及诈骗通讯载体多样的现状，仅通过电信网通话记录去发现和防范诈骗，不能完全覆盖诈骗场景，也不能更全面的识别诈骗群体。通讯信息诈骗综合防范需要解决的关键问题是对各种维度的数据进行综合分析，从更大的范围发现诈骗群体，为通讯信息诈骗综合防范提供技术和数据支撑。

发明内容

本发明的目的在于提供一种诈骗群体识别系统，以至少解决现有技术存在的不能更全面的识别诈骗群体的技术问题。

为了解决上述问题，本发明提供一种诈骗群体识别系统，其技术方案如下：

一种诈骗群体识别系统，包括数据源，用于提供原始日志数据；数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；综合分析模块，在所述综合分析模块内设有诈骗群体识别模块，所述诈骗群体识别模块和所述数据存储模块相连，所述诈骗群体识别模块用于基于团伙内部成员互联的团伙发现分析、基于时间窗口相同被叫的团伙发现分析、基于间隔时间相同被叫的团伙发现分析、基于特定号码集相同被叫的团伙发现分析、基于单个号码的团伙发现分析、基于号码特征及相同被叫的团伙发现分析、基于相同话术的团伙发现分析，得到诈骗团伙信息，并将所述诈骗团伙信息存储在所述数据存储模块内；应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息进行展示。

如上述的诈骗群体识别系统，进一步优选为：在所述数据加载模块内还设有数据订阅模块，所述数据订阅模块用于订阅所述数据源中的原始日志数据。

如上述的诈骗群体识别系统，进一步优选为：在所述数据加载模块内还设有数据分析模块，所述数据分析模块用于解析和过滤所述数据源中的原始日志数据。

如上述的诈骗群体识别系统，进一步优选为：所述预处理模块包括数据关联模块，所述数据关联模块用于对所述原始日志数据进行号段属地、IP属地、敏感号码的关联分析。

如上述的诈骗群体识别系统，进一步优选为：所述预处理模块还包括数据预统计模块，所述数据预统计模块用于对所述原始日志数据进行关键维度粗粒度的统计。

如上述的诈骗群体识别系统，进一步优选为：在所述综合分析模块内还设有数据检索模块，所述数据检索模块和所述数据存储模块、所述诈骗群体识别模块相连。

如上述的诈骗群体识别系统，进一步优选为：在所述综合分析模块内还设有分析模型模块，所述分析模型模块和所述诈骗群体识别模块相连，所述分析模型模块用于为所述诈骗群体识别模块提供分析模型。

如上述的诈骗群体识别系统，进一步优选为：在所述数据存储模块内设有关系数据库，所述关系数据库和所述数据加载模块、所述诈骗群体识别模块、所述分析模型模块相连。

如上述的诈骗群体识别系统，进一步优选为：在所述数据存储模块内还设有分布式文件系统，所述分布式文件系统和所述数据加载模块、所述数据检索模块、所述诈骗群体识别模块相连。

如上述的诈骗群体识别系统，进一步优选为：在所述诈骗群体识别模块内设有支持可扩展的团伙发现模块。

本发明根据确定的和疑似的诈骗主叫号码进行分析，确定的诈骗主叫号码是反诈系统中有诈骗行为、打过诈骗电话并命中了拦截模板的主叫号码；疑似诈骗主叫号码是通过话单中的特定规律分析出来的疑似诈骗主叫号码。根据这两部分号码从相关日志(即原始日志数据)中进行大数据的分析挖掘，从而识别诈骗团伙，得到诈骗团伙信息。本发明的数据源具有多样性，为了利于扩展和支持不同方式的数据源，在数据加载模块可根据不同接口进行获取、解析、预处理与持久化操作，数据加载并预处理之后将原始日志数据和中间结果数据存储至分布式文件系统及关系数据库中并建立索引，便于后续综合分析模块对海量数据进行多维关联检索和查询分析，利用SPARK/MR分布式计算框架对各功能的算法提供算力，可横向扩展提高计算能力。本发明进行多维数据综合分析时，在技术选型上采用分布式计算、分布式文件存储、全文索引、RestFulAPI等关键技术进行分析。

附图说明

图1为本发明的诈骗群体识别系统的系统架构示意图；

图2为本发明的诈骗群体识别系统的系统定位示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种诈骗群体识别系统，主要包括数据源，用于提供原始日志数据；数据加载模块，数据加载模块和数据源相连，用于获取原始日志数据，在数据加载模块内设有预处理模块，预处理模块用于对原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，数据存储模块和数据加载模块相连，用于存储原始日志数据和中间结果数据；综合分析模块，在综合分析模块内设有诈骗群体识别模块，诈骗群体识别模块和数据存储模块相连，诈骗群体识别模块用于基于团伙内部成员互联的团伙发现分析、基于时间窗口相同被叫的团伙发现分析、基于间隔时间相同被叫的团伙发现分析、基于特定号码集相同被叫的团伙发现分析、基于单个号码的团伙发现分析、基于号码特征及相同被叫的团伙发现分析、基于相同话术的团伙发现分析，得到诈骗团伙信息，并将诈骗团伙信息存储在数据存储模块内；应用模块，应用模块和数据存储模块相连，用于对诈骗团伙信息进行展示。

优选地，本发明还包括话单分析模块，话单分析模块用于对反诈系统和公共数据库中的号码进行分析并得到疑似主叫号码，话单分析模块和诈骗群体识别模块相连并为诈骗群体识别模块提供疑似主叫号码。

如图2所示，本发明中，数据源主要包括反诈系统、移动互联网系统、短彩信系统及基于行为特征及场景的诈骗分析系统。

优选地，本发明中，由反诈系统为诈骗群体识别模块提供确定的诈骗主叫号码。

如图1所示，优选地，原始日志数据主要包括电信网通话详细日志、反诈系统基础数据、电路域日志、短信、彩信和互联网日志。

总而言之，本发明创新性的提供一种诈骗群体识别系统，通过对线上数据进行大量分析发现诈骗团伙，更全面的识别诈骗团伙，并能对今后可能出现的团伙进行识别。

如图1所示，本发明在数据加载模块中还设有数据订阅模块，优选地，数据订阅模块用于订阅数据源中的原始日志数据，便于实时加载数据。

如图1所示，本发明在数据加载模块中还设有数据分析模块，优选地，数据分析模块用于解析和过滤数据源中的原始日志数据。

如图1所示，本发明中，预处理模块包括数据关联模块，优选地，数据关联模块用于对原始日志数据进行号段属地、IP属地、敏感号码的关联分析，数据加载模块从外部获取的原始数据可能不满足本发明的分析需求，比如号码的属地、IP的属地信息等都需要通过预处理模块对属地信息进行关联分析，为后续的预统计、查询提供完整的结果。

如图1所示，本发明中，预处理模块还包括数据预统计模块，优选地，数据预统计模块用于对原始日志数据进行关键维度粗粒度的统计(如每10分钟统计每个来源地号码在每个被叫地的通话次数)，从而缩小后续诈骗群体识别模块进行分析的数据量级，也能较为实时的为业务用户提供相关统计结果。

优选地，本发明在所述综合分析模块内还设有数据检索模块，数据检索模块和数据存储模块、诈骗群体识别模块相连，数据检索模块用于在数据存储模块内进行诈骗群体数据的多维关联检索和查询，为诈骗群体识别模块分析识别诈骗群体提供数据信息，以辅助诈骗群体识别模块进行深度分析，进一步识别诈骗群体。

为了便于更好、更快、更全面的识别诈骗群体，优选地，本发明中，在综合分析模块内还设有分析模型模块，分析模型模块和诈骗群体识别模块相连，分析模型模块用于为诈骗群体识别模块提供分析模型。

优选地，本发明在数据存储模块内设有关系数据库，关系数据库和数据加载模块、诈骗群体识别模块、分析模型模块相连，优选地，关系数据库用于存储原始日志数据、中间结果数据、诈骗团伙信息和分析模型模块的模型参数。

优选地，本发明在数据存储模块内还设有分布式文件系统，分布式文件系统和数据加载模块、数据检索模块、诈骗群体识别模块相连，数据加载模块加载原始日志数据并对原始日志数据进行预处理得到中间结果数据，并将原始日志数据和中间结果数据存储至分布式文件系统及关系数据库中并建立索引，便于后续数据检索模块对海量数据进行多维关联检索和查询。

优选地，本发明在诈骗群体识别模块内设有支持可扩展的团伙发现模块，通过可扩展的团伙发现模块，可以按照需求添加分析数据源，如全量话单数据、移动互联网数据；可以按照分析要求，灵活配置过滤原则，如400电话专题分析、仿冒10010专题分析、境外电话专题分析等；可以根据分析要求，灵活配置算法，可根据业务数据动态调整分析模型内的算法阈值。

下面对诈骗群体识别模块的分析内容进行详细说明：

基于团伙内部成员互联的团伙发现分析，针对反诈系统中疑似及确定的诈骗号码进行团伙分析，从全量CDR日志(即原始日志数据)记录中进行连通分支的图计算，获取诈骗号码之间的关联关系，互相之间存在通话次数大于n的认为是同一个团伙，团伙区分疑似诈骗团伙及确定的诈骗团伙；

基于时间窗口相同被叫的团伙发现分析，输入包括两个部分：一是反诈系统中疑似及确定的诈骗号码，二是以上号码联系过的并且通话时长大于t1的被叫号码，在时间窗口t2内如果多个诈骗号码与被叫号码存在通话，则将多个诈骗号码归为同一团伙；

基于间隔时间相同被叫的团伙发现分析，输入包括两个部分：一是反诈系统中疑似及确定的诈骗号码，二是以上号码联系过的并且通话时长大于t1的被叫号码，如果多个诈骗号码对同一被叫号码实施诈骗时的通话时间间隔均在t2内，则将多个诈骗号码归为同一团伙；

基于特定号码集相同被叫的团伙发现分析，将仿冒公检法、仿冒服务商或国际高频主叫的号码作为分析对象，获取所有上述分析对象的详细通话记录，在时间窗口t2内拨打相同被叫或在特定时间间隔t2内拨打相同被叫的主叫集合即为同一团伙；

基于单个号码的团伙发现分析，针对人工输入的号码进行团伙分析，输入的号码可以是确认的诈骗号码、疑似诈骗号码、确认的上当人或者疑似上当人等，本发明根据该号码进行分析，通过与其他诈骗号码的互联特征、存在相同被叫的时间窗口t2及时间间隔t2特征发现其所属的团伙；

基于号码特征及相同被叫的团伙发现分析，对拨打频率较一般普通电话高的号码进行筛选，针对主叫前/后n位数字相同的号码集合进行归类，分析相似度高的号码拨打相同被叫的时间、通话时长、通话时间间隔，满足此三类条件的号码集合即为同一团伙；

基于相同话术的团伙发现分析，将现存的录音进行离线语音转文本处理，针对录音文本进行涉诈关键词聚类，所属同一涉诈关键词类别且主叫号码属于一个区域，则认定为同一团伙。

本发明在使用时的性能指标为：外部系统获取、解析的时间不超过1分钟；每天对多源数据进行诈骗群体分析，在1小时内发现诈骗群体；每天对诈骗群体的深度分析，在1小时内完成分析内容；针对分析模型实时对团伙进行计算，从获取外部数据到产生团伙时间小于30分钟。

如图1和图2所示，本发明通过获取反诈系统、移动互联网系统、短彩信系统及基于行为特征及场景的诈骗分析系统的原始日志数据及分析结果进行分析。其中，业务用户作为本发明的使用者，可以查询本发明分析的所有结果，可对分析进行配置、阈值调整等操作；反诈系统包含电信话单日志、VOIP话单日志、确定的诈骗主叫号码及各类名单数据，是本发明分析的主要日志数据；移动互联网系统包含移动电话用户的上网行为日志和电路域的行为日志，移动互联网日志包含手机号、IMSI、IMEI、URL、APP类型、基站位置、归属地等信息，电路域日志包含手机号、动作类型(开关机、收发短信、接打电话、位置移动等)、对方号码、基站位置、归属地等信息，移动互联网系统的相关日志是本发明多维度关联分析的重要日志；短彩信系统提供移动电话及服务号码的短彩信日志，包含手机号、对方号码、运营商、归属地、基站位置、短息内容等，短彩信的日志是本发明多维度关联分析的重要日志；基于行为特征及场景的诈骗分析系统提供疑似的诈骗主叫号码，为本发明的诈骗群体分析提供重要数据；反诈系统，本发明的分析结果可用于各省级反诈系统设置名单的依据，如添加至反诈系统的灰名单，对通话内容进行录音，进一步确定疑似诈骗主叫的准确性以及及时的转为黑名单拦截；协同联动系统，本发明将分析结果(如诈骗主叫、高危易感号码等结果数据)推送至协同联动系统，在各省系统、国际口系统之间进行数据的共享，达到协同防范的目的；公安系统，本发明为公安系统提供诈骗主叫、上当用户数据的推送，为立案侦查提供线索；公众用户，本发明的分析成果对外公布，为公众用户提供各类诈骗场景、案例的分析及统计数据。

与现有技术相比，本发明的优点和有益效果在于：

本发明运用大数据分析的手段从海量的电信网通话详细日志、反诈系统基础数据、电路域日志、短信、彩信和互联网日志等多维度的行为数据中挖掘分析，更全面的识别诈骗群体，为通讯信息诈骗综合防范提供技术和数据支撑。

如图1所示，本发明中，在综合分析模块内还设有诈骗群体分析模块、受害人分析模块、诈骗事件还原模块、诈骗案件分析模块和黑产溯源分析模块，其分析内容如下：

受害人分析模块：在一段时间内，一个号码与多个有害主叫进行通话(应答时间大于一定时间，比如1分钟)、收发短信(并且短信中包含特定关键词)等行为时，基本可以认定该号码为上当号码，基于上当人可对历史行为、疑似上当人特征、溯源、信息倒卖、提醒、主叫分析进一步进行分析；

诈骗事件还原分析模块：针对已知诈骗号码及上当人号码，结合诈骗场景获取相关话单、录音、短信、彩信记录，再结合移动互联网带有基站位置的日志数据对诈骗事件实现时间、空间及内容的完整还原；

诈骗案件分析模块：通过对多个案件之间的聚合分析实现多个案件在事发时间、事发空间、成员号码、连通分支等方面的关联关系，并通过可视化技术展示案件之间的关联关系；

黑产溯源分析模块：通过定制化黑产通讯特征及深度号码行为分析完成黑产信息溯源功能，其中，定制化黑产通讯特征为由人工定制黑产通讯的关键特征及流程，包括主叫号码归属地、主叫号码特征(包含特定数字、顺序等)、通话时长、被叫号码属地、被叫的行为特征(回拨、拨打特定号码等)、短信、彩信、移动互联网日志以及各类时长、周期阈值等关键参数，通过模型的定制，本发明系统根据模型参数进行挖掘分析完成黑产溯源；深度号码行为分析以受害人被实施诈骗的场景为出发点，基于受害人进行溯源分析，分析受害人的通话、短信、移动互联网等行为日志，同时分析出与受害人有联系的诈骗群体，从群体成员的通讯记录中分析是否存在有第三方服务商的角色存在。

如图1所示，本发明在综合分析模块内还设有关联分析模块，优选地，关联分析模块用于进行多维度数据关联分析。

如图1所示，本发明中，应用模块包括诈骗群体管理模块、诈骗事件管理模块、受害人管理模块、案件管理模块、黑产管理模块和号码关联分析模块，其中，号码关联分析模块用于生成关联关系图。

由技术常识可知，本发明可以通过其他的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种诈骗群体识别系统，其特征在于，包括：

数据源，用于提供原始日志数据；

数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；

数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；

综合分析模块，在所述综合分析模块内设有诈骗群体识别模块，所述诈骗群体识别模块和所述数据存储模块相连，所述诈骗群体识别模块用于基于团伙内部成员互联的团伙发现分析、基于时间窗口相同被叫的团伙发现分析、基于间隔时间相同被叫的团伙发现分析、基于特定号码集相同被叫的团伙发现分析、基于单个号码的团伙发现分析、基于号码特征及相同被叫的团伙发现分析、基于相同话术的团伙发现分析，得到诈骗团伙信息，并将所述诈骗团伙信息存储在所述数据存储模块内；

应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息进行展示。

2.根据权利要求1所述的诈骗群体识别系统，其特征在于：

在所述数据加载模块中还设有数据订阅模块，所述数据订阅模块用于订阅所述数据源中的原始日志数据。

3.根据权利要求1或2所述的诈骗群体识别系统，其特征在于：

在所述数据加载模块中还设有数据分析模块，所述数据分析模块用于解析和过滤所述数据源中的原始日志数据。

4.根据权利要求1或2所述的诈骗群体识别系统，其特征在于：

所述预处理模块包括数据关联模块，所述数据关联模块用于对所述原始日志数据进行号段属地、IP属地、敏感号码的关联分析。

5.根据权利要求1或2所述的诈骗群体识别系统，其特征在于：

所述预处理模块还包括数据预统计模块，所述数据预统计模块用于对所述原始日志数据进行关键维度粗粒度的统计。

6.根据权利要求1或2所述的诈骗群体识别系统，其特征在于：

在所述综合分析模块内还设有数据检索模块，所述数据检索模块和所述数据存储模块、所述诈骗群体识别模块相连。

7.根据权利要求1或2所述的诈骗群体识别系统，其特征在于：

在所述综合分析模块内还设有分析模型模块，所述分析模型模块和所述诈骗群体识别模块相连，所述分析模型模块用于为所述诈骗群体识别模块提供分析模型。

8.根据权利要求7所述的诈骗群体识别系统，其特征在于：

在所述数据存储模块内设有关系数据库，所述关系数据库和所述数据加载模块、所述诈骗群体识别模块、所述分析模型模块相连。

9.根据权利要求8所述的诈骗群体识别系统，其特征在于：

在所述数据存储模块内还设有分布式文件系统，所述分布式文件系统和所述数据加载模块、所述数据检索模块、所述诈骗群体识别模块相连。

10.根据权利要求1或2所述的诈骗群体识别系统，其特征在于：

在所述诈骗群体识别模块内设有支持可扩展的团伙发现模块。