CN110750647B

CN110750647B - 一种多源异构情报数据的elp模型的构建方法

Info

Publication number: CN110750647B
Application number: CN201910988227.4A
Authority: CN
Inventors: 宋永利
Original assignee: Beijing Thunisoft Information Technology Co ltd
Current assignee: Beijing Thunisoft Information Technology Co ltd
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2020-07-31
Anticipated expiration: 2039-10-17
Also published as: CN110750647A

Abstract

本发明提供一种多源异构情报数据的ELP模型的构建方法，主要包括：根据情报分析的需要收集情报信息，对情报信息自动分类，读取情报信息，提取情报信息中的实体、链接和属性转换为ELP模型，保存ELP模型，用于之后的分析。本发明的多源异构情报数据的ELP模型的构建方法，解决了情报信息分析中信息孤岛的问题，各种情报信息都能基于ELP模型链接在一起，提供情报数据统一分析，并且能把不同来源的情报信息汇总融合，消除冗余，实现核心问题分析。

Description

一种多源异构情报数据的ELP模型的构建方法

技术领域

本发明涉及情报分析领域，特别涉及一种多源异构情报数据的ELP模型的构建方法。

背景技术

多源异构数据是指来自不同来源或者渠道、以不同形式、不同模态、不同视角和不同格式等多种样式出现的信息。

情报在情报信息论中定义为是一种特定的信息，主要指可行动的信息。情报的分类可以分为科技情报、面向企业的竞争情报、公安纪检监察等情报。情报信息(本文中也称情报数据，表示相同的意思)来自于各个方面，比如来自电信的通讯信息，比如来自航空、铁路、公交的出行信息，比如来自景区、酒店的旅游、住宿信息，比如来自微信、微博、网络的社交信息，比如来自银行、股票、基金的资金信息，比如来自电商、超市的生活消费信息等等。

常用的数据存储方法包括：顺序存储、链接存储、索引存储、散列存储。

目前的情报数据处理技术主要存在以下的问题：

1、信息孤岛问题。目前的情报信息来自各个方面，基于情报信息的分析主要还是针对单一的信息来分析的，虽然也有一些数据融合后的分析，但只是存在于业务层面，基于业务规则把数据整合在一起。

2、冗余更多、短板未补、注重表象、忽视内涵的问题。目前获取的情报信息能够从更多的相似渠道和更多的类似手段获取，造成大量信息冗余，情报分析并不能从中获得更多有用的信息，还会占用大量人力物力，并且会造成情报假象，即不同情报信息对同一对象同属性进行反复搜集，得岀某种分析结论证据确凿的虚假表征。

发明内容

有鉴于此，本发明提供一种多源异构情报数据的ELP模型的构建方法，主要应用于公安纪检监察类的情报数据处理和存储。

本发明的技术方案如下：

本发明提供一种多源异构情报数据的ELP模型的构建方法，包括以下步骤：

步骤S1、收集大量的情报数据；

步骤S2、对收集到的情报数据进行分类；

步骤S3、读取情报数据；

步骤S4、将读取的情报数据转换成ELP模型；

步骤S5、保存ELP模型。

进一步的，上述的步骤S2具体包括：

步骤S201、对情报数据按来源分类，如果成功，则输出分类结果；如果失败，则到步骤S202；

步骤S202、对情报数据按分类模型分类，如果成功，则输出分类结果，如果失败，则退出。

进一步的，所述分类模型采用的是决策树算法中的Cart算法。

进一步的，所述的步骤3具体包括：

步骤S301、根据分类结果加载情报数据，并加载保存的情报数据特征；

步骤S302、通过情报数据特征来识别加载的情报数据；如果正确识别，则读取所述情报数据；如果未能正确识别，则到步骤S303；

步骤S303、维护未能正确识别的情报数据；

步骤S304、保存维护后的情报数据及其对应的数据特征，返回步骤S301。

进一步的，所述的情报数据特征的结构是键值对的形式。

进一步的，所述步骤S302具体包括：用加载的情报数据的数据特征与保存的情报数据特征进行比对，如果能完全匹配，则说明加载的情报数据被正确识别；如果匹配不成功，则说明加载的情报数据未被正确的识别。

进一步的，所述的步骤4具体包括：

步骤S401、分别提取情报数据中的实体、情报数据中的链接以及情报数据中的实体和链接的属性；

步骤S402、使用实体对齐技术对提取到的实体做融合合并；

步骤S403、使用链接对齐技术对融合合并的实体所对应的链接做融合合并；

步骤S404、使用属性对齐技术对融合合并的实体和融合合并的链接所对应的属性做融合合并；

步骤S405、由融合合并的实体、融合合并的链接、融合合并的属性构建ELP模型。

进一步的，所述的实体的提取，是使用正则表达式技术和命名实体识别技术实现的。

进一步的，所述的链接的提取，是使用正则表达式技术和实体关系抽取技术实现的。

进一步的，所述的属性的提取，是使用正则表达式技术实现的。

本发明具有以下优点：

智能分类情报信息，智能读取及转换情报信息，统一了多源异构的情报信息，构建了ELP模型，基于ELP模型的情报信息，便于后续分析。

本发明的多源异构情报数据的ELP模型的构建方法，解决了信息孤岛的问题，各种情报信息都能基于ELP模型来链接在一起，提供情报数据统一分析。采用基于ELP模型的情报信息处理及存储，把相同的实体归一，同一实体的相同属性归一，不同实体间的链接归一。把不同来源的情报信息汇总融合，消除冗余，不同信息短板互补，能够实现核心问题分析。

附图说明

图1为本发明的ELP模型的构建方法的流程示意图；

图2为本发明的情报数据智能分类的流程示意图；

图3为本发明的情报数据智能读取的流程示意图；

图4为本发明的情报数据转换为ELP模型的流程示意图；

图5为本发明的由实体、链接、属性构建ELP模型的示例。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本发明的通过对大量的多元异构情报数据(也称情报信息)处理和存储，最终构建了ELP模型。情报数据处理或称为数据融合，是对多个提供了对于某个目标或环境的描述的不完整信息，经过一定的综合处理与分析手段，输出一个较为完善、准确、可靠的描述，为更准确的判断和决策做支持。ELP模型是指Entity(实体)Link(链接)Property(属性)，把多源异构的情报信息转换成ELP模型信息，为之后的情报分析赋能，提供高速、高效、更多功能的支持。

实施例一

一种多源异构情报数据的ELP模型的构建方法，包括如下的步骤：

步骤S1、基于情报业务收集大量的相关的情报信息，比如来自电信的通讯信息，比如来自航空、铁路、公交的出行信息，比如来自景区、酒店的旅游、住宿信息，比如来自微信、微博、网络的社交信息，比如来自银行、股票、基金的资金信息，比如来自电商、超市的生活消费信息等等。

步骤S2、对收集到的大量的情报信息进行分类。

目标是判断不同来源的数据是哪一类数据。情报信息分类包括：通话清单、银行账单、航班乘坐记录、火车乘坐记录、公交乘坐记录、酒店住宿记录、景区游览记录、微信聊天记录、微博消息及浏览记录、还有其他等。

首先根据情报信息的来源进行分类，来源于电信运营商的情报信息分类为通话清单；来源于航空公司的情报信息分类为航班乘坐记录；来源于铁路部门的情报信息分类为火车乘坐记录；来源于银行的情报信息分类为银行账单；来源于公交部门的情报信息分类为公交乘坐记录；来源于酒店宾馆的情报信息分类为酒店住宿记录；来源于旅游景区的情报信息分类为景区游览记录、来自于手机电脑等电子取证情报信息分类为电子取证数据，并进一步分类为微信聊天记录、微博消息及浏览记录等，来自于其他渠道的情报信息分类为其他。成功分类则进入下一步。如果不成功，则调用分类模型。

分类模型应用决策树算法。决策树是以实例为基础的归纳学习算法。它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，叶结点是要学习划分的类。从根到叶结点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规则。1986年Quinlan提出了著名的ID3算法。在ID3算法的基础上，1993年Quinlan又提出了C4.5算法。为了适应处理大规模数据集的需要，后来又提出了若干改进的算法，其中SLIQ(super-vised learning in quest)和SPRINT(scalableparallelizableinduction of decisiontrees)是比较有代表性的两个算法。此外还有Cart(Classfication And Regression Tree)算法，不同于采用信息增益来选择最优的切分特征的ID3算法，Cart采用了基尼系数来选择最优的切分特征，而且每次都是二分，基尼系数值越小，数据的“纯净度”越高，划分效果越好。该算法可以处理高度倾斜或多态的数值型数据，也可以处理顺序或无序的类属性数据。本发明采用的是Cart算法。

采用分类模型成功分类则进入下一步，如果不成功则退出。

步骤S3、读取情报信息数据。

在情报信息分类后，依据情报信息的类型，可以自动读取情报的数据。

首先是加载情报数据。同时加载已经保存的情报数据特征，情报数据特征的结构是Key-Value(键值对)。通话清单的特征包括：主叫、被叫、本方号码、对方号码、联系日期、联系时间、联系方式、联系时长、本方地址、对方地址、MNC(SID)、LAC(NID)、CID(BID)。航班乘坐记录的特征包括：姓名、证件号码、航班号、出发地、出发时间、到达地、到达时间。火车乘坐记录的特征包括：姓名、证件号码、车次、发站、出发时间、到站、到达时间。公交乘坐记录的特征包括：姓名、证件号码、车次、发站、出发时间、到站、到达时间。银行账单的特征包括：账号、交易日期、现转标志、存取标志、对方账号、对方名称、交易额、开户行。酒店住宿记录的特征包括：姓名、证件号码、所在地、酒店名称、房间号、住店时间、离开时间。景区游览记录的特征包括：姓名、证件号码、景点名称、所在地，等等。

进一步的，通过比对情报数据特征来识别加载的情报数据。具体为用加载的情报数据特征与保存的情报数据特征来比对，如果能完全匹配，则说明加载的情报数据被正确识别，那么读取该数据；如果匹配不成功，则说明加载的情报数据未被正确的识别，那么需要对未被识别的特征进行维护，维护的方式是选择未被识别情报数据特征，然后输入相应的情报数据，并对维护后的情报数据特征进行保存。

进一步的继续加载保存后的情报数据特征，然后继续特征识别。

步骤S4、将读取的情报数据转换成ELP模型。

首先是提取情报信息中的实体。情报信息中的实体包括通信信息中的手机、固话、机主信息；包括出行信息中的航班、车次、出行人员信息；包括旅游信息中的景点、人员信息；包括住宿信息中的酒店、房间、人员信息；包括微信信息中账号、群号、手机号；包括资金信息中的账号、账户名等等。采用正则表达式技术、命名实体识别技术实现实体的提取。

进一步的，提取情报信息中的链接。情报信息中的链接包括通信信息中的通话、短信；包括出行信息中的乘坐、出行；包括旅游信息中的游玩；包括住宿信息中的住宿；包括微信信息中好友；包括资金信息中的拥有、转出、转入等。依据情报信息的分类及特征，使用正则表达式技术和实体关系抽取技术实现链接的提取。

进一步的，提取情报信息中实体及链接的属性。实体人提取属性：姓名、性别、年龄、手机号码、证件号码。实体手机、固话提取属性：姓名、证件号码、手机号码、运营商、开通状态。实体航班提取属性：航班号、出发地、到达地。实体火车提取属性：车次、出发地、到达地。链接通话、短信提取属性：联系时间、联系时长、联系方向、多重性等。链接乘坐、出行提取属性：出发时间、到达时间、方向、多重性等。属性的提取不仅包含实体链接固定的属性，也可以实现自定义属性的提取。属性提取使用正则表达式技术。

进一步的，使用实体对齐技术对提取到的实体做融合合并。实体对齐(EntityAlignment)也被称作实体匹配(Entity Matching)，是指对于异构数据源中的各个实体，找出属于现实世界中的同一实体。利用实体的属性信息对不同源实体进行判定，并对于同一个实体进行融合合并。

进一步的，使用链接对齐技术对实体的链接做融合合并。链接对齐是在实体对齐后，对于融合合并后的实体，其相应的链接也需要做融合合并。

进一步的，使用属性对齐技术对实体及链接的属性做融合合并。属性对齐是在实体及链接对齐后，对于融合合并后的实体及链接，其相应的属性也需要做融合合并。

进一步的，由实体、链接、属性构建ELP模型，图5是ELP模型的一个举例说明。

步骤S5、保存情报ELP模型信息用于下一步分分析。在ELP模型中，需要对实体做进一步的分类。包括如下：自然人实体可以分为人员、男人、女人、团队和家族等。组织实体可以分为公司、银行、酒店、医院等。通信实体可以分为手机、固话、电脑、邮件等。金融实体可以分为账户、储蓄卡、信用卡、现金、股票等。社交实体可以分为QQ、QQ群、微信、微信群、微博等等。在ELP模型中，链接被分为有方向链接和无方向链接。比如好友链接是无方向的，实体A是实体B的好友，那么实体B也是实体A的好友。通话的链接是有方向的，实体A打电话给实体B，那么链接的方向就是实体A到实体B。链接的表示方式被分为单一和多重。例如实体A给实体B打电话5次。如果链接为一条线，那么该链接为单一链接；如果链接为5条线，那么该链接为多重链接。在ELP模型中，属性可以是直接从情报信息数据中提取，也可以是基于提取的特征继续分析后的统计属性。比如张三的年龄可以直接从情报数据中提取，也可以根据提取的出生年月特征计算而来。

以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多源异构情报数据的ELP模型的构建方法，其特征在于：包括以下步骤：

步骤S1、收集大量的情报数据；

步骤S2、对收集到的情报数据进行分类；

步骤S3、读取情报数据；

步骤S4、将读取的情报数据转换成ELP模型；

步骤S5、保存ELP模型；

所述的步骤S3具体包括：

步骤S303、维护未能正确识别的情报数据；

2.根据权利要求1所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述的步骤S2具体包括：

3.根据权利要求2所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述分类模型采用的是决策树算法中的Cart算法。

4.根据权利要求1所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述的情报数据特征的结构是键值对的形式。

5.根据权利要求1所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述步骤S302具体包括：用加载的情报数据的数据特征与保存的情报数据特征进行比对，如果能完全匹配，则说明加载的情报数据被正确识别；如果匹配不成功，则说明加载的情报数据未被正确的识别。

6.根据权利要求1所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述的步骤S4具体包括：

步骤S402、使用实体对齐技术对提取到的实体做融合合并；

7.根据权利要求6所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述的实体的提取，是使用正则表达式技术和命名实体识别技术实现的。

8.根据权利要求6所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述的链接的提取，是使用正则表达式技术和实体关系抽取技术实现的。

9.根据权利要求6所述的一种多源异构情报数据的ELP模型的构建方法，其特征在于：所述的属性的提取，是使用正则表达式技术实现的。