CN111382189A

CN111382189A - 一种异源异构数据碰撞分析方法、终端设备及存储介质

Info

Publication number: CN111382189A
Application number: CN201911329287.1A
Authority: CN
Inventors: 付先春; 邹煌明; 邱俊源; 薛艳英
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2020-07-07

Abstract

本发明涉及一种异源异构数据碰撞分析方法、终端设备及存储介质，该方法中包括：S1：采集同一案情的多个数据集，设定多个数据集中的共同参数作为碰撞参数，并设定不同数据集之间的碰撞关系类型；S2：从多个数据集中选择一个数据集作为基准集合；S3：选择一个数据集，根据数据集与基准集合的碰撞关系类型，将数据集与基准集合的碰撞数据集进行碰撞运算，将碰撞运算后的集合作为新的基准集合；S4：当多个数据集中还有未进行碰撞运算的数据集时，重复步骤S3，直到多个数据集中的所有数据集均完成碰撞运算；S5：将最终结果作为碰撞分析结果。本发明可以根据设定的同一案件的不同数据集的碰撞关系类型和碰撞参数，快速进行碰撞运算生成碰撞分析结果。

Description

一种异源异构数据碰撞分析方法、终端设备及存储介质

技术领域

本发明涉及数据碰撞领域，尤其涉及一种异源异构数据碰撞分析方法、终端设备及存储介质。

背景技术

异源异构数据是指具有不同数据结构的数据集合，数据碰撞分析方法是指运用计算机对数据进行分析，将两组以上数据集进行梳理，通过关联查询，筛选数据集的交集的一种方法。在公安领域，数据碰撞分析是指为支持侦查破案等警务工作，利用已知条件，寻找两组以上的诸如犯罪行为等数据集，利用计算机技术实现数据集间的交叉碰撞比对，并对由此产生的交集数据进行甄别分析的方法。但是，随着大数据技术的发展，犯罪分子反侦查意识越来越强，新时代的数据获取形式相较于传统数据获取的方式更加多元异构、更加高效，公安信息化程度越来越高，各类信息系统为侦查员提供了全面辅助，当前的信息碰撞法已略显过时，需要得到进一步的更新和拓展。

目前常用的数据碰撞分析方法主要有：一是利用EXCEL强大的表格处理功能进行碰撞。二是利用数据库SQL语言进行碰撞。三是利用BCompare等万能碰撞软件进行碰撞。三种操作方法比较繁琐，侦查员需要通过反复摸索和探讨交流才能掌握碰撞技巧，往往还需要进一步人工分析筛选。

发明内容

为了解决上述问题，本发明提出了一种异源异构数据碰撞分析方法、终端设备及存储介质。

具体方案如下：

一种异源异构数据碰撞分析方法，包括以下步骤：

S1：采集同一案情相关的多个数据集，设定多个数据集中的共同参数作为碰撞参数，并设定不同数据集之间的碰撞关系类型；

S2：从多个数据集中选择一个数据集作为基准集合，确定基准集合中碰撞参数对应的碰撞数据集；

S3：从多个数据集中选择一个与基准集合具有碰撞关系的数据集，确定数据集中碰撞参数对应的碰撞数据集，根据数据集与基准集合的碰撞关系类型，将数据集与基准集合的碰撞数据集进行碰撞运算，将碰撞运算后的集合作为新的基准集合；

S4：当多个数据集中还有未进行碰撞运算的数据集时，重复步骤S3，直到多个数据集中的所有数据集均完成碰撞运算；

S5：将最终结果作为碰撞分析结果。

进一步的，所述碰撞关系类型包括同案类型、并案类型和排除类型三种，对应的碰撞运算分别为并集运算、交集运算和排除运算。

进一步的，所述数据集包括通联应用的通联用户名或通联账号名。

一种异源异构数据碰撞分析终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，具有以下有益效果：

(1)可以根据设定的同一案件的不同数据集的碰撞关系类型和碰撞参数，快速进行碰撞运算生成碰撞分析结果。

(2)适用于复杂或灵活多变的场景，仅仅通过修改碰撞关系类型，即可得到不同的碰撞分析结果。

(3)不局限于相同数据格式的数据集合，可以适用于异源异构的数据碰撞。

(4)应用于警务侦查工作中，可以对大量公安信息化数据作科学的碰撞分析，提炼出侦查线索，不但可以提高破案、办案的效率，而且可以培养信息深度应用的意识和思维。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为该实施例中同案类型的碰撞运算示意图。

图3所示为该实施例中并案类型的碰撞运算示意图。

图4所示为该实施例中排除类型的碰撞运算示意图。

图5所示为该实施例中微信账单数据集示意图。

图6所示为该实施例中银行账单数据集示意图。

图7所示为该实施例中手机话单数据集示意图。

图8所示为该实施例中最终结果示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种异源异构数据碰撞分析方法，如图1所示，包括以下步骤：

S1：采集同一案情相关的多个数据集，设定多个数据集中的共同参数作为碰撞参数，并设定不同数据集之间的碰撞关系类型。

所述多个数据集为同一个案件可能涉及的多个数据集，且数据集之间彼此具有一定的碰撞关系，即每个数据集应至少与一个数据集有碰撞关系。

该实施例中所述碰撞关系包括同案类型、并案类型和排除类型三种，对应的碰撞运算分别为并集运算、交集运算和排除运算。

下面举例说明一下三种碰撞关系：

(1)同案类型：如图2所示，在T1时间，场所C1发生一起案件，集合A和集合B中均有可能出现嫌疑人线索，因此为了避免遗漏数据，取集合A与集合B的并集，此时集合B与集合A的碰撞关系类型为同案类型。

(2)并案类型：如图2所示，在T1时间，场所C1发生一起案件，对应的数据集为集合A，在T2时间，场所C2又发生一起案件，对应的数据集为集合B，经案件侦察判断这两起案件可以并案处理，那么嫌疑人线索就可能在集合A与B的交集中，此时集合B与集合A的碰撞关系类型为并案类型。

(3)排除类型：如图4所示，当案件类型为流窜作案类型时，即嫌疑人只有T1时间段内在场所C1出现，对应的数据集为集合A，而其它时间段内不在场所C1出现。此时，由于集合A的数据较多，难以排查，考虑到流窜作案的情况，将场所C1在T1之前一定时间段内的数据集合作为集合B，同时将场所C1在T1之后一定时间段内的数据集合作为集合C。那么，嫌疑人的线索就可能在A-B-C中，因此，集合B和集合C与集合A的碰撞关系类型均为排除类型。

该实施例中数据集的来源为各银行、通讯运营商或者是手机APP的数据，文件格式可以为文本TXT\CSV，表格EXCEL，结构化数据DMF\MF\BCP数据等，将上述数据统称为通联应用的通联数据。通过将上述通联应用的通联数据进行一定的格式化处理后生成的数据集。

如图5、6、7所示，分别为该实施例中采集的微信账单数据集A、银行账单数据集B、手机话单数据集C三个数据集，由于三者中的共同参数为通联对象，因此将通联对象作为碰撞参数。在其他实施例中碰撞参数也可以为银行账号、身份证号等等，在此不做限制。

S2：从多个数据集中选择一个数据集作为基准集合，确定基准集合中碰撞参数对应的碰撞数据集。

该实施例中选择微信账单数据集A作为基准集合，其对应的碰撞参数为通联微信昵称，因此将图5中的所有通联微信昵称作为碰撞数据集。

S3：从多个数据集中选择一个与基准集合具有碰撞关系的数据集，并根据基准集合的碰撞参数选择该数据集的碰撞参数，根据该数据集与基准集合的碰撞关系类型将该数据集与基准集合的碰撞参数进行碰撞运算，将碰撞运算后的集合作为新的基准集合。

由于A与B具有碰撞关系，B与C具有碰撞关系，A与C不具有碰撞关系，因此，先选择与基准集合(集合A)具有并案类型的碰撞关系的数据集(银行账单数据集B)，其对应的碰撞参数为对方户主信息，因此将图6中的所有对方户主信息作为碰撞数据集。将基准集合(集合A)与集合B的碰撞数据集进行交集运算得到新的基准集合。

S4：当多个数据集中还有未进行碰撞运算的数据集时，重复步骤S3，直到多个数据集中的所有数据集均完成碰撞运算。

由于多个数据集中还有集合C，由于集合B与集合C之间的碰撞关系为排除类型，因此，首先将图7中的集合C对应的所有碰撞参数“对方机主信息”作为碰撞数据集。将基准集合(A∩B)与集合C进行排除运算(A∩B-C)。

S5：将最终结果作为碰撞分析结果。

该实施例中的最终结果如图8所示。

本发明实施例具有以下有益效果：

实施例二：

本发明还提供一种异源异构数据碰撞分析终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述异源异构数据碰撞分析终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述异源异构数据碰撞分析终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述异源异构数据碰撞分析终端设备的组成结构仅仅是异源异构数据碰撞分析终端设备的示例，并不构成对异源异构数据碰撞分析终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述异源异构数据碰撞分析终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述异源异构数据碰撞分析终端设备的控制中心，利用各种接口和线路连接整个异源异构数据碰撞分析终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述异源异构数据碰撞分析终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述异源异构数据碰撞分析终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims

1.一种异源异构数据碰撞分析方法，其特征在于，包括以下步骤：

S5：将最终结果作为碰撞分析结果。

2.根据权利要求1所述的异源异构数据碰撞分析方法，其特征在于：所述碰撞关系类型包括同案类型、并案类型和排除类型三种，对应的碰撞运算分别为并集运算、交集运算和排除运算。

3.根据权利要求1所述的异源异构数据碰撞分析方法，其特征在于：所述数据集包括通联应用的通联用户名或通联账号名。

4.一种异源异构数据碰撞分析终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～3中任一所述方法的步骤。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～3中任一所述方法的步骤。