CN116822628A - 一种基于优化知识图谱的犯罪团伙挖掘分析方法 - Google Patents

Abstract

本发明属于数据挖掘技术领域，具体提供了一种基于优化知识图谱的犯罪团伙挖掘分析方法，包括以下步骤：导入数据，构建专题知识图谱并获取分布式计算图谱；进行连通计算得到高密度连接的社区子图；将社区子图实体关联重点人员集合进行过滤优化，构建基础信息计算图谱；通过社区划分算法对基础信息计算图谱节点进行划分，得到团伙结果集，生成对应标签信息；定时迭代上述步骤，回写团伙标签信息到专题知识图谱，可实现团伙划分结果动态展示和修正模糊团体归属。本发明通过图分布式计算并关联重点人员数据库优化知识图谱，并基于优化知识图谱进行社区划分，回写知识图谱确定模糊团体归属，提高了数据复用性和分析效率，使犯罪团伙划分更为准确。

Description

一种基于优化知识图谱的犯罪团伙挖掘分析方法

技术领域

本发明属于数据挖掘领域，具体涉及一种基于优化知识图谱的犯罪团伙挖掘分析方法。

背景技术

当前社会一些犯罪行为呈现团伙性、组织性、预谋性发展趋势。特点是：(1)团伙组织成员具有近习性、纠合性和流动性等特点；(2)组织形式严谨，有固定的团伙头目和骨干成员；(3)有周密的犯罪预谋和犯罪目标，其活动具有组织性、突发性、地域性、数罪并犯等特点。

犯罪团伙挖掘分析作为一种用于发现网络或图形中团体、群体或社区结构的算法和方法，通常在使用过程中会存在一些限制，比如数据质量较低，可能导致挖掘结果不准确或不完整；

大规模数据挖掘性能瓶颈，网络规模的增加需要处理大量的数据和计算，这可能导致算法效率低下和计算时间长；分析结果解释有限，通常只能提供关于团伙成员的统计信息，但并不能提供关于成员之间具体联系的深入信息；团伙划分模糊，团伙挖掘分析的结果可能存在模糊性，即某些节点可能同时属于多个团伙，存在不确定性等问题。因此准确预处理数据，合理分类分析数据，确定模糊节点归属团伙，高效挖掘分析数据并展示内在关联是团伙挖掘分析应用中需要克服的难点。

知识图谱是可用于表示和存储知识的图形化数据结构，可以将实体、属性和关系组织成一个统一的框架，为知识的表达和推理提供基础。我们可以利用犯罪团伙成员的社交网络、物流网络、交通网络等，在知识图谱的数据结构、图论方法基础上对网络中的节点和边进行分析，从而揭示犯罪团伙网络中的关联关系和结构。同时我们还可以对知识图谱中实体和关系使用聚类、分类、关联挖掘等数据挖掘技术将相互关联、具有一定意义的节点分为一组，形成一个个团伙，并以可视化的方式展示其中的团伙结构和关系，从而更好地理解并更新知识图谱中的犯罪关系，对犯罪团伙的挖掘分析可以广泛应用于涉毒、跨境赌博等知识图谱专题，以帮助公安客户快速定位目标群体进行研判。

目前的基于知识图谱的社区划分方法通常直接导入相关节点数据和边数据，对于犯罪专题知识图谱来说，可用实体和从属关系复杂，具有数据量大、维度高的特点，导致算法效率低下，计算开销大。此外，现有社区划分技术通常对于基于上述知识图谱的划分结果解释有限、团伙划分模糊，某些节点可能同时属于多个团伙，存在不确定性等问题。

发明内容

本发明的目的是缩小现有技术中犯罪专题知识图谱规模，提高分析效率，并基于优化知识图谱进行社区划分，回写知识图谱确定模糊团体归属。

为此，本发明提供一种基于优化知识图谱的犯罪团伙挖掘分析方法，包括以下步骤：

S1、导入数据并构建专题知识图谱；

S2、根据专题知识图谱获取分布式计算图谱；

S3、对分布式计算图谱进行连通计算，得到高密度连接的社区子图；

S4、将社区子图进行过滤优化，缩小子图规模，构建基础信息计算图谱；

S5、通过社区划分算法对基础信息计算图谱节点进行社区划分，得到社区划分结果集，生成对应标签信息。

具体的，定时迭代S2-S5，统计记录的标签信息，确定基础信息计算图谱中各节点对应的最终标签信息，且将最终的标签信息回写至所述专题知识图谱。

具体的，还包括步骤S6：将步骤S5中的标签信息回写到专题知识图谱；步骤S7：定时迭代S2-S6，且将每次迭代的专题知识图谱中各节点归属动态展示。

具体的，定时迭代一定次数后，确定专题知识图谱中各节点对应的最终标签信息。

具体的，根据所述图分布式内存计算框架接口传参的节点和边类型，读取所述专题知识图谱数据库中所有的初始节点数据和初始边数据，并将各所述初始节点数据集成为初始节点数据集，各所述初始边数据集成为初始边数据集，根据所述初始节点数据集和初始边数据集构建分布式计算图谱。

具体的，步骤S3中，对所述分布式计算图谱进行连通计算，获得连通图及连通图分量，每个连通图分量为一个连通子图，将每个连通子图视为一个社区子图，社区子图中关联的实体视为社区节点，分配当前社区节点最小id作为连通图分量编号。

具体的，所述步骤S4中优化子图的具体方法如下：

S41、读取重点人员数据，构建重点人员数据集；

S42、将所述社区节点数据集与重点人员数据集关联，得到重点人员所在的社区子图的连通图分量编号集合；

S43、将连通图分量编号集合关联所述社区子图，得到潜在社区，构建潜在社区节点数据集；

S44、将潜在社区节点数据集与所述社区边数据集关联，过滤得到和重点人员关联的潜在边数据集；

S45、对所述潜在边数据集设置边权重属性，结合所述潜在社区节点构建基础信息计算图谱。

具体的，步骤S5中采用louvain算法模型，基于所述基础信息计算图谱进行社区划分，通过遍历基础信息计算图谱的节点，合并节点与其邻居社区至模块度增益最大，再将社区合并为一个节点重复上述过程，不断迭代至模块度最大且不再发生变化，得到社区划分结果集。

具体的，采用分层louvain算法优化所述louvain算法模型的迭代过程，可视化每次迭代的模块度，当模块度不再发生变化时，取当次对应的迭代结果得到优化后的社区划分结果集，并生成对应的标签信息。

本发明还提供一种基于优化知识图谱的犯罪团伙挖掘分析系统，包括：

数据采集模块，用于采集数据并构建专题知识图谱；

数据预处理模块，用于根据所述数据采集模块构建的专题知识图谱获取分布式计算图谱，且对分布式计算图谱进行连通计算，得到高密度连接的社区子图，将社区子图进行过滤优化，缩小子图规模，构建基础信息计算图谱；

数据分析模块，用于通过社区划分算法对基础信息计算图谱节点进行社区划分，得到社区划分结果集，生成对应标签信息。

与现有技术相比，本发明具有以下优点和有益效果：

本发明提供的这种基于优化知识图谱中一些关键实体和关系数据进行挖掘分析，通过以下方法能较大提升挖掘分析结果的准确性及效率：

1.基于知识图谱数据进行挖掘分析，导入到知识图谱的数据先进行了清洗处理，数据结构清晰，数据质量可靠，数据复用性高。

2.基于图分布式内存计算框架，能对接且快速导入多种图数据库中存储的知识图谱数据并进行挖掘分析，更加稳定、高效。

3.挖掘分析结果通过知识图谱展示，可进一步探索团伙及成员相关的实体关系，更直观深入。

4.综合标签信息记录历史，团伙社区划分更精确。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1是本发明挖掘分析总流程图；

图2是本发明实施例中图分布式内存计算数据加载流程图；

图3是本发明实施例中通过图分布式内存计算计算得到的连通子图示意图；

图4是本发明实施例提供的一种基于知识图谱的犯罪团伙挖掘分析方法子图优化流程图；

图5是本发明实施例提供的一种基于知识图谱的犯罪团伙挖掘分析方法louvain算法模型计算流程图。

具体实施方式

下面将结合实施例对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。尽管已经详细描述了本发明的代表性实施例，但是本发明所属技术领域的普通技术人员将理解，在不脱离本发明范围的情况下可以对本发明进行各种修改和改变。因此，本发明的范围不应局限于实施方案，而应由所附权利要求及其等同物来限定。

参见图1，本发明提供了一种基于优化知识图谱的犯罪团伙挖掘分析方法的具体实施例，包括以下步骤：

S1、导入数据并构建专题知识图谱；

S2、将专题知识图谱导入分布式计算框架中获取分布式计算图谱；

S3、对分布式计算图谱进行连通计算，得到高密度连接的社区子图；

S4、将社区子图进行过滤优化，缩小子图规模，构建基础信息计算图谱；

S5、通过社区划分算法对基础信息计算图谱节点进行社区划分，得到社区划分结果集，生成对应标签信息。

上述步骤包括数据预处理过程和数据分析过程，其中S2-S4为数据预处理过程，相比于常规图谱分析中直接导入相关节点数据和边数据的处理方法，上述预处理步骤通过初步定位潜在社区子图并对其中的边数据进行加权，可以显著提高加载效率，降低计算开销。S5为数据分析过程，采用社区划分算法对上述优化后的图谱进行社区划分，将具有一定意义的节点分为一组，形成一个个团伙，并以可视化的方式展示其中的团伙结构和关系，实现精准定位。

优化上述实施例，考虑到专题知识图谱数据会定时更新，因此可将团伙挖掘任务设置为定时执行。导入新的专题知识图谱后，定时迭代上述过程，记录团伙结果集历史，生成对应标签信息。由于社区划分算法自身特性，每次迭代时，某个社区边缘节点的划分结果可能不尽相同，这类节点称为模糊实体。模糊实体可通过统计标签信息历史记录修正归属，将该实体所属最多的标签信息所对应的社区作为最终社区，并将团伙标签信息回写到专题知识图谱。通过标签信息或团伙成员信息在专题知识图谱中可以做团伙及其关联信息的结构展示，并做进一步分析。

优化上述实施例，每次执行团伙挖掘任务生成标签信息时，可将该次的标签信息回写到专题知识图谱，结合本次louvain算法生成的团伙结果集，能够实现知识图谱中各节点归属的动态展示。

细化上述实施例，本发明中专题知识图谱的节点和边数据经过清洗转换导入存储在nebula graph图数据库中，节点数据为可用实体，包括：人，关键属性为公民身份号码、姓名；公司，关键属性为注册编号、公司名；银行卡，关键属性为银行卡号；交通工具，关键属性为交通工具类型、航班号或火车车次；国家地区，关键属性为国家地区编码、国家地区名称等。

边数据为可用关系，包括：人员交往关系，关键属性为社交关系类型，社交关系名称；从业，关键属性为聘用日期、离职日期；持有，关键属性为开始时间、结束时间；搭乘，关键属性为开始时间、结束时间、出发地、目的地；经过，关键属性为开始时间、结束时间；籍贯，无关键属性；转账，关键属性为转账金额、开始时间、结束时间等。

优化上述实施例，参见图2，将上述存储在nebula graph图数据库中的专题知识图谱导入图分布式内存计算框架SparkGraphX中组装成初始化计算图谱进行计算能够大幅提升分析效率。根据接口传参的节点类型和边类型，读取知识图谱数据库中的可用实体数据合并成一个Vertex数据集，读取关系数据合并成一个Edge数据集，通过nebula-spark-connector驱动将知识图谱Vertex、Edge数据加载到Spark graphX图分布式内存计算框架中。SparkGraphX使用的是分布式加载策略，通过配置读取知识图谱数据的分片数量、批量加载size、过滤掉不需要参与计算的属性信息，能够显著提高数据加载效率。

参见图3-4，对所述分布式计算图谱进行连通计算，获得连通图及连通图分量，每个连通图分量为一个连通子图，将每个连通子图视为一个社区子图子图，社区子图子图中关联的实体视为社区节点，分配当前社区子图节点最小id作为连通图分量编号，这些子图表示初步的社区分组。

为进一步缩小子图规模并初步确定潜在社区，对上述社区子图中的节点数据和边数据进行过滤，并结合实际场景设置边权重属性，构建出新的基础信息计算图谱，进而提升分析效率，具体实施方式如上述步骤S4：

S41：读取重点人员数据，构建重点人员数据集；

S42：将社区节点数据集与重点人员数据集关联，得到重点人员所在的社区子图的连通图分量编号集合；

S43：将连通图分量编号集合关联所述社区子图，得到潜在社区，构建潜在社区节点数据集；

此时，再通过对象封装潜在社区子图的初始化社区节点属性包括社区内部节点信息集合、社区内部节点间关联度值、社区内部节点同外部节点关联度值、模块度值、状态改变标识等，作为基础信息计算图谱的初始化节点。

S44：将潜在社区节点数据集与所述社区边数据集关联，过滤得到和重点人员关联的潜在边数据集；

S45：对所述潜在边数据集设置边权重属性，结合所述潜在社区节点构建基础信息计算图谱。

优化上述实施例，根据交通工具班次、起止时间条件、经过地区、人员关系等定义上述边权重，由初始化节点、初始化权重边构建基础信息计算图谱，定义权重边使节点间关系更为明确，同时使后续基于上述基础信息计算图谱的社区划分结果更准确。

参见图5，基于上述基础信息计算图谱，通过louvain算法模型进行社区划分，确定犯罪团伙结果集。louvain算法是基于模块度的社区发现算法，该算法在效率和效果上都表现良好，并且能够发现层次性的社区结构，其优化目标是最大化整个社区网络的模块度。模块度用于区分社区内和社区间链路密度或连接权重和的差异，来衡量每个点划分社区的好坏。理想的划分结果是在社区内部的节点关联程度较高，而在社区外部节点的关联程度较低，一般认为模块度在0.3～0.7之间属于较为合适的社区划分结果。

louvain算法中模块度Q定义公式为：其中：

∑in：社区C内部的所有边的权重之和；

∑tot：社区C中所有节点相关的边的权重之和；

m：网络中所有边的权重之和；

模块度增益是针对单个节点(社区)定义的，当某个节点(或者社区A)合并到某个社区B中时，计算形成的全图的模块度，然后和合并之前的全图的模块度做对比即可得到该次节点合并时的模块度的增益。模块度增益ΔQ＝合并A、B后社区模块度Q_AB-(社区A模块度Q_A+社区B模块度Q_B)，定义公式为：

k_i,in表示实际节点i(或社区A)与要移入社区B之间的连接边的权重之和；

∑tot ki/m为随机情况下节点i(或社区A)在总的加权度为∑tot ki的情况下与当前基础信息图谱上任意的节点或社区连接的边的权重的期望；若ΔQ为正值说明节点i(或社区A)与该社区B的连接程度是较高的，那么便加入到该社区，反之则不加入。

将步骤(5)中得到的上述基础信息计算图、模块度增益阈值和最大迭代次数输入到louvain算法中，遍历基础信息计算图的节点，将节点视为一个单独的社区，再依次将其加入其邻节点所在的团队，根据模块度及模块度增益公式计算出模块度和模块度增量，若模块度增量ΔQ＞0，把节点i加入该邻居节点所在的社区，否则不做任何调整；当ΔQ最大时，记录该邻居节点，迭代计算当前社区节点集合内部节点间关联度值、内部节点同外部节点关联度值、模块度值直至算法稳定，即网络中所有节点的所属社区都不再变化后，将每个社区都视为新节点，社区内节点的权重转化为新节点的权重，社区间的权重转化为新节点边的权重；重复上述步骤，直至达到模块度增益阈值或最大迭代次数，此时模块度达到最大，最后输出社区划分结果并生成对应标签信息。

优化上述实施例，可通过部分条件设置加强或弱化边权重，修改模块度增益阈值，使划分结果更加精确。权重定义可以参考历史数据分析或基于实际情景经验，模块度阈值可通过观察社区划分结果回向调整。

优化上述实施例，louvain可能存在分离群合并的倾向，为避免孤立社区因边权重过小被划分至相邻社区，采用分层louvain算法优化所述louvain算法模型的迭代过程，可视化每次迭代的模块度，当模块度收敛不再发生变化时，取当次对应的迭代结果得到优化后的社区结果集，并生成对应的标签信息。

本发明实施例还提供一种基于优化知识图谱的犯罪团伙挖掘分析系统，包括：数据采集模块，用于采集数据并构建专题知识图谱；数据预处理模块，用于根据所述数据采集模块构建的专题知识图谱获取分布式计算图谱，且对分布式计算图谱进行连通计算，得到高密度连接的社区子图，将社区子图进行过滤优化，缩小子图规模，构建基础信息计算图谱；数据分析模块，用于通过社区划分算法对基础信息计算图谱节点进行社区划分，得到社区划分结果集，生成对应标签信息。本发明实施例提供的分析系统对应上述的分析方法，具体是将专题知识图谱的节点和边数据存储在nebula graph图数据库，导入图分布式内存计算框架SparkGraphx中组装成初始化计算图谱，对分布式计算图谱进行连通计算，获得连通图及连通子图，分配当前连通子图中节点最小id作为连通子图编号，对社区子图中的节点数据和边数据结合重点人员数据集进行过滤，同时设置连通子图边权重属性，构建出新的基础信息计算图谱后，通过louvain算法膜进行进行社区划分，确定犯罪团伙结果集。该系统能够导入多种图数据库中存储的知识图谱数据并进行挖掘分析，数据处理稳定、高效，能大提升挖掘分析结果的准确性及效率，且团伙划分更精确。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (10)

1.一种基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，包括以下步骤：

S1、导入数据并构建专题知识图谱；

S2、根据专题知识图谱获取分布式计算图谱；

S3、对分布式计算图谱进行连通计算，得到高密度连接的社区子图；

S4、将社区子图进行过滤优化，缩小子图规模，构建基础信息计算图谱；

S5、通过社区划分算法对基础信息计算图谱节点进行社区划分，得到社区划分结果集，生成对应标签信息。

2.如权利要求1所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，定时迭代S1-S5，统计记录的标签信息，确定基础信息计算图谱中各节点对应的最终标签信息，且将最终的标签信息回写至所述专题知识图谱。

3.如权利要求1所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，还包括步骤S6：将步骤S5中的标签信息回写到专题知识图谱；步骤S7：定时迭代S1-S6，且将每次迭代的专题知识图谱中各节点的归属动态展示。

4.如权利要求3所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，定时迭代一定次数后，确定专题知识图谱中各节点对应的最终标签信息。

5.如权利要求1所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，根据所述图分布式内存计算框架接口传参的节点和边类型，读取所述专题知识图谱数据库中所有的初始节点数据和初始边数据，并将各所述初始节点数据集成为初始节点数据集，各所述初始边数据集成为初始边数据集，根据所述初始节点数据集和初始边数据集构建分布式计算图谱。

6.如权利要求5所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，所述步骤S3中，对所述分布式计算图谱进行连通计算，获得连通图及连通图分量，每个连通图分量为一个连通子图，将每个连通子图视为一个社区子图，社区子图中关联的实体视为社区节点，分配当前社区节点最小id作为连通图分量编号。

7.如权利要求6所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，所述步骤S4中优化子图的具体方法如下：

S41、读取重点人员数据，构建重点人员数据集；

S42、构建社区节点数据集和社区边数据集，将所述社区节点数据集与重点人员数据集关联，得到重点人员所在的社区子图的连通图分量编号集合；

S43、将连通图分量编号集合关联所述社区子图，得到潜在社区，构建潜在社区节点数据集；

S44、将潜在社区节点数据集与所述社区边数据集关联，过滤得到和重点人员关联的潜在边数据集；

S45、对所述潜在边数据集设置边权重属性，结合所述潜在社区节点构建基础信息计算图谱。

8.如权利要求1所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，步骤S5中采用louvain算法模型，基于所述基础信息计算图谱进行社区划分，通过遍历基础信息计算图谱的节点，合并节点与其邻居社区至模块度增益最大，再将社区合并为一个节点重复上述过程，不断迭代至模块度最大且不再发生变化，得到社区划分结果集。

9.如权利要求8所述的基于优化知识图谱的犯罪团伙挖掘分析方法，其特征在于，采用分层louvain算法优化所述louvain算法模型的迭代过程，可视化每次迭代的模块度，当模块度不再发生变化时，取当次对应的迭代结果得到优化后的社区划分结果集，并生成对应的标签信息。

10.一种基于优化知识图谱的犯罪团伙挖掘分析系统，其特征在于，包括：

数据采集模块，用于采集数据并构建专题知识图谱；

数据预处理模块，用于根据所述数据采集模块构建的专题知识图谱获取分布式计算图谱，且对分布式计算图谱进行连通计算，得到高密度连接的社区子图，将社区子图进行过滤优化，缩小子图规模，构建基础信息计算图谱；

数据分析模块，用于通过社区划分算法对基础信息计算图谱节点进行社区划分，得到社区划分结果集，生成对应标签信息。