CN109582743B - 一种针对恐怖袭击事件的数据挖掘系统 - Google Patents
一种针对恐怖袭击事件的数据挖掘系统 Download PDFInfo
- Publication number
- CN109582743B CN109582743B CN201811419743.7A CN201811419743A CN109582743B CN 109582743 B CN109582743 B CN 109582743B CN 201811419743 A CN201811419743 A CN 201811419743A CN 109582743 B CN109582743 B CN 109582743B
- Authority
- CN
- China
- Prior art keywords
- data
- historical
- event
- cluster
- unit configured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007418 data mining Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 230000008450 motivation Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000034994 death Effects 0.000 claims description 16
- 231100000517 death Toxicity 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 11
- 238000003064 k means clustering Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 208000027418 Wounds and injury Diseases 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 6
- 230000006378 damage Effects 0.000 claims description 6
- 208000014674 injury Diseases 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000059 patterning Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 abstract description 4
- 230000008520 organization Effects 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 206010040047 Sepsis Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了一种针对恐怖袭击事件的数据挖掘方法，对每个历史事件的历史数据进行处理得到若干个历史数据点；对待预测事件的待测数据进行处理得到待测数据点；对得到的所有历史数据点进行降维处理；对降维处理后的结果进行子空间聚类，通过子空间聚类获得不同维度的历史数据类簇；计算待测数据点与历史数据类簇中每个数据对象之间的距离，把待测数据点到对应类簇中最近的数据对象的距离作为待测数据点到类簇的距离，如果待测数据点到类簇的距离在设定范围内，则匹配成功，否则匹配失败；最后，针对匹配成功的待测数据点，按照待测数据点到类簇的距离从小到大进行排序，排序靠前的M个历史事件的犯罪团伙的名称作为输出值输出。
Description
技术领域
本公开涉及数据分析挖掘技术领域，特别是涉及一种针对恐怖袭击事件的数据挖掘方法。
背景技术
本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。
自二十世纪九十年代以来，各种规模不等的恐怖袭击在世界多地发生，有在全球范围内迅速蔓延的趋势，提醒人们不能忽视恐怖主义对人类的威胁。所以相关安全部门十分重视恐怖组织与恐怖袭击事件数据的搜集和相关数据库的建设，同时基于相关数据库在数据挖掘方面进行了一系列的研究。
数据挖掘是一种在大型数据存储库中自动发现有用信息的过程，一般包括数据预处理、数据挖掘和后处理几部分。目前相关领域关于数据挖掘的应用非常多，但是，根据以往恐怖袭击事件的特征，挖掘恐怖袭击事件与犯罪团伙的相关关系方法尚未有成熟的结果和说明。当今社会，经济迅速发展的同时犯罪率也在逐步上升，且有多起恐怖袭击事件作案者尚未确定。如果将可能是同一个恐怖组织或个人在不同时间、不同地点多次作案的若干特征串联起来，不仅有助于统一组织侦查提高破案效率，而且可以尽早发现新生或者隐藏的恐怖分子。因此利用数据挖掘技术解决此类问题就显得尤为重要，为后期犯罪团伙的筛选提供客观依据。
综上所述，利于数据挖掘技术，发现恐怖袭击事件与犯罪团伙的相关关系，提升相关模型性能，尚缺乏有效的解决方案。
发明内容
为了解决现有技术的不足，本公开提供了一种针对恐怖袭击事件的数据挖掘方法，本发明根据所给数据，对其进行数据分析、数据清洗和特征提取，从原始数据中获得更多信息和更好的训练数据，根据所得级别结合现有特征进行子空间聚类，确定犯罪集团类别，进一步分析恐怖袭击案件与犯罪团伙的相关度。
第一方面，本公开提供了一种针对恐怖袭击事件的数据挖掘方法；
一种针对恐怖袭击事件的数据挖掘方法，包括：
步骤(1)：对每个历史事件的历史数据进行处理得到若干个历史数据点；每个历史事件都具有唯一的编号；所述对历史数据进行处理包括：对历史数据进行特征提取和对历史数据作案动机进行量化处理；每个历史数据点是包括每个历史事件对应历史数据的提取特征的特征值和作案动机量化值形成的N*1维向量；
步骤(2)：对待预测事件的待测数据进行处理得到待测数据点；对待测数据进行处理，包括：对待测数据进行特征提取和对待测数据作案动机进行量化处理；待测数据点是包括待预测事件对应位置数据的提取特征的特征值和作案动机量化值形成的N*1维向量；
步骤(3)：对步骤(1)得到的所有历史数据点进行降维处理；对降维处理后的结果进行子空间聚类，通过子空间聚类获得不同维度的历史数据类簇；
步骤(4)：计算待测数据点与历史数据类簇中每个数据对象之间的距离，把待测数据点到对应类簇中最近的数据对象的距离作为待测数据点到类簇的距离，如果待测数据点到类簇的距离在设定范围内，则匹配成功，否则匹配失败；最后，针对匹配成功的待测数据点，按照待测数据点到类簇的距离从小到大进行排序，排序靠前的M个历史事件对应犯罪团伙的名称作为输出值输出。
作为一些可能的是实现方式，所述步骤(1)的对历史数据进行特征提取的具体步骤为：
数据获取步骤：获取历史恐怖袭击事件的记录数据；每个事件都设有唯一的编号；所述记录数据，包括：地区、攻击类型、财产损失金额、受伤总数、死亡总数、凶手数量、抓获的凶手数量、凶手死亡人数、事件摘要、人质绑架结果或事件的解决日期；
数据预处理步骤：对历史恐怖袭击事件的记录数据均进行预处理；
数据分类步骤：采用聚类算法对数据预处理后得到的数据进行分类，划分为若干类数据；
特征一次提取步骤：采用主成分分析算法，从每一类数据中提取出若干个特征；
特征整合步骤：对所有类数据提取的所有特征进行特征整合，得到特征集合；将特征集合以及每个特征对应的特征值作为结果输出。
作为一些可能的是实现方式，所述数据预处理步骤，包括：数据筛选子步骤、数据填充子步骤、数据转换子步骤和数据归一化子步骤；
所述数据筛选子步骤，对事件摘要、人质绑架结果和事件的解决日期进行剔除；
所述数据填充子步骤，对恐怖袭击事件发生的凶手数量、死亡总数、抓获的凶手数量、受伤总数、死亡总数、凶手死亡人数和财产损失金额记录缺失值进行填充，对于待测数据进行零填充；
所述数据转换子步骤，对恐怖袭击事件发生的地区、攻击类型，由文本数据转换成数字数据；
所述数据归一化子步骤，对经过数据筛选、数据填充和数据转换得到的数据，采用最大最小归一化算法进行归一化处理，根据归一化处理后的数据，针对每个事件均建立N*1的矩阵，N表示数据的个数，矩阵中每个元素的值是每个记录数据对应的数值归一化后的结果。
作为一些可能的是实现方式，将地区文本数据转换成数字数据的步骤为：将每个地区对应事件的死亡总数和凶手数量进行求和，对求和结果按照从大到小进行排序，排序后，按照从大到小的顺序依次对地区进行数字打分，数字打分依次递减。
将攻击类型文本数据转换成数字数据的步骤为：将每种攻击类型对应事件的死亡总数和凶手数量进行求和，对求和结果按照从大到小进行排序，排序后，按照从大到小的顺序依次对攻击类型进行数字打分，数字打分依次递减。
作为一些可能的是实现方式，所述步骤(1)的对历史数据作案动机进行量化处理的具体步骤为：
步骤(101)：采集以英文文本形式记录的历史数据作案动机，对历史数据的作案动机进行分词，利用python语言中的正则表达式删除历史数据中非文本内容得到初步处理的集合F1；
步骤(102)：拼写检查更正，利用python中的pyenchant包检查集合F1中单词拼写是否正确，将拼写错误的单词修改为拼写正确的单词，最后得到拼写正确的数据集合F2；
步骤(103)：词型还原，利用python中的nltk包中的WordNetLemmatizer类库，将数据集合F2中可组合成一个单词的相邻字符还原成对应单词，并利用python中的TextBlob库进行api处理，将所有单词统一为小写，输出还原为单个单词的集合F3；
步骤(104)：对集合F3的数据进行向量化处理，采用K均值聚类算法对向量化处理的结果进行关键词提取：
以每个历史事件的历史数据为一个数据对象，依次统计每条数据对象中不同单词出现的频率，作为对应的特征值，输出形式为(Pi，bij，c)，其中Pi代表集合中第i个历史事件，bij代表第i个历史事件中的第j个单词，c代表第i个历史事件中的第j个单词在第i个历史事件中对应的词频，每个历史事件的所有单词的词频以一维向量Vm表示；
对生成的所有历史事件的一维向量进行K均值聚类，通过不断调整K值确定最优分类，最后产生K个类簇，根据类簇半径从大到小对K个类簇进行排序，然后，对排序的结果依次赋值，所述赋值为依次递减的自然数，每个赋值表示对应历史事件的历史数据作案动机的分值。
作为一些可能的是实现方式，所述步骤(2)的对待测数据进行特征提取的具体步骤为：
数据获取步骤：获取待测事件的记录数据；每个事件都设有唯一的编号；所述记录数据，包括：地区、攻击类型、财产损失金额、受伤总数、死亡总数、凶手数量、抓获的凶手数量、凶手死亡人数、事件摘要、人质绑架结果或事件的解决日期；
数据预处理步骤：对待测事件的记录数据均进行预处理；
数据分类步骤：采用聚类算法对数据预处理后得到的数据进行分类，划分为若干类数据；
特征一次提取步骤：采用主成分分析算法，从每一类数据中提取出若干个特征；
特征整合步骤：对所有类数据提取的所有特征进行特征整合，得到特征集合。
作为一些可能的是实现方式，所述步骤(2)的对待测数据作案动机进行量化处理的具体步骤为：
步骤(201)：对历史数据和待测数据的作案动机分别进行分词，利用python语言中的正则表达式删除历史数据中非文本内容得到初步处理的集合F1；
步骤(202)：拼写检查更正，利用python中的pyenchant包检查集合F1中单词拼写是否正确，最后得到拼写完全正确的数据集合F2；
步骤(203)：词型还原，利用python中的nltk包中的WordNetLemmatizer类库，将数据集合F2中可组合成一个单词的相邻字符还原成对应单词，并利用python中的TextBlob库进行api处理，即将所有单词统一为小写，输出还原为单个单词的集合F3；
步骤(204)：对集合F3的数据进行向量化处理，采用K均值聚类算法对向量化处理的结果进行关键词提取：
将每个事件的作案动机数据为一个数据对象，依次统计每条数据对象中不同单词出现的频率，作为对应的特征值，输出形式为(Pi，bij，c)，其中Pi代表集合中第i个事件，bij代表第i个事件中的第j个单词，c代表第i个事件中的第j个单词在第i个历史事件中对应的词频，每个事件的所有单词的词频以一维向量Vm表示；
对生成的所有事件的一维向量进行K均值聚类，通过不断调整K值确定最优分类，最后产生K个类簇，根据类簇半径从大到小对K个类簇进行排序，然后，对排序的结果依次赋值，所述赋值为依次递减的自然数，每个赋值表示对应事件的历史数据作案动机的分值；最后输出待测事件的作案动机分值。
作为一些可能的是实现方式，所述步骤(3)对步骤(1)得到的数据进行降维处理是采用主成分分析法进行降维处理。
作为一些可能的是实现方式，所述步骤(3)对降维处理后的结果进行子空间聚类，通过子空间聚类获得历史数据类簇的具体步骤为：
步骤(301)：使用DBSCAN聚类算法在每一维上对所有数据对象进行聚类，将所得一维空间的聚类集合记为X1，设x1，x2为所形成的聚类，则x1，x2∈X1；
步骤(302)：计算所有聚类的类间相似度，相似度定义为聚类所包含的相同数据对象元素的数目，依次计算集合中两个聚类的类间相似度sim；
步骤(303)：根据类间相似度，对每个类簇选取K个最相似类簇作为合并候选类簇；
步骤(304)：根据子空间的期望密度计算对应子空间的密度阈值；
设dth(Sm)为Sm子空间的密度阈值，
是Sm子空间期望密度，C＝ {C1，C2，…，Cd}代表历史数据维集合，C＝C1×C2×…×Cd代表一个d维数据空间，其中，d为正整数；
其中，r为自定义值，设为r∈[0，1]，
步骤(305)：采用深度优先搜索的方式搜索子空间产生子空间聚类；
如果当前类簇与合并候选类簇中的类簇之间的距离小于子空间的密度阈值，则将当前类簇与候选类簇进行合并；
如果当前类簇与合并候选类簇中的类簇之间的距离大于等于子空间的密度阈值，则不将当前类簇与候选类簇进行合并；
步骤(306)：删除剩余数据噪声点，通过子空间聚类获得若干个历史数据类簇。
作为一些可能的是实现方式，所述步骤(4)的具体步骤为：
计算待测数据点与历史数据类簇每个数据对象之间的距离d：
其中，bi表示待测数据点的向量坐标，ui表示历史数据类簇中数据对象的向量坐标，ri为对应子空间的半径，由于不同子空间的维度可能不同，所以采用一个基本缩放因子
来调节固定半径r大小，Si代表对应子空间中数据对象的特征维度。
把待测数据点到对应类簇中最近的数据对象的距离作为待测数据到类簇的距离，如果待测数据在该类簇的设定半径范围内，则匹配成功，否则匹配失败；
最后，针对匹配成功的待测数据点，按照待测数据点到类簇的距离小到大进行排序，排序靠前的M个犯罪团伙的名称作为输出值输出。
与现有技术相比，本公开的有益效果是：
本发明通过数据清洗、数据变换等预处理方式挖掘有用信息标准化数据集，以便不断优化相关度模型。本发明使用的数据挖掘和子空间聚类实现方法极好的利用和提取了有关恐怖袭击事件的相关特征，具有较高准确率和执行效率，有助于尽快根据待测的恐怖袭击事件提供的待测数据与历史恐怖袭击事件的历史数据之间的数据关系，从历史犯罪团伙中挖掘出最接近的犯罪团伙，为恐怖袭击事件尽快破案提供辅助数据支持。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明整体过程流程图；
图2为历史数据特征初步提取流程图；
图3为历史数据作案动机量化流程图；
图4为待测数据特征初步提取流程图；
图5待测数据作案动机量化流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明的典型实施例是针对恐怖袭击案件中相关数据确定模型进行犯罪团伙相关度预测。
当前世界上尤其是国外恐怖袭击事件常有发生，随着社会快速发展，一些反社会分子也愈发猖狂，且作案手段和作案工具也愈发先进，其带来的危害性更是不容小觑，且大多数案件的作案人员极有可能是同一个恐怖组织或个人在不同时间、不同地点多次作案。若将其串联起来统一组织侦査，有助于提高破案效率，尽早发现新生或者隐藏的恐怖分子。运用所得结果结合处理后的历史数据进行子空间聚类，旨于将近两年间可能是同一个恐怖组织或个人在不同时间、不同地点多次作案的若干案件归为一类，再利用待测数据测试模型准确度，确定其与特定组织或个人的嫌疑关系。
本实施例采用的数据总共有114184例恐怖袭击事件的相关记录数据，每项事件需记录的指标有135项，表1所列的有20项主要指标。
表1 Sepsis特征表
具体实例步骤，如图1所示，包括：
步骤一：历史数据特征初步处理，如图2所示，
(1-1)对获取的历史样本数据进行数据处理：
第一步：缺失值清洗。我们观察数据，计算其缺失值比例，确定缺失值的范围。按照缺失比例和字段重要性，采取不同的处理策略。对于重要性高、缺失率低的特征，通过经验或业务知识估计进行填充；对于重要性高、缺失率高的特征，使用其他比较复杂的模型计算补全。
第二步：进行数据格式转换：由于某些特征对应文本类型，比如地区等特征，对解决问题有一定的重要性的，所以将文本进行数字转换。对导入数据存在的部分列没有对齐的问题，以及多出列的情况，进行优化处理。
第三步：进行非需求数据清洗。数据中的GTD标志号、事件摘要、声称负责和持续事件解决的日期等与本发明无关，属于非需求数据，因此将其直接删除掉。
第四步：对清洗后的数据进行归一化处理，用于采用恐怖袭击事件的记录数据的最大值和最小值对筛选后的恐怖袭击事件的记录数据进行归一化处理，使得预处理的数据被限定在一定的范围内([0，1])，从而消除奇异样本数据导致的不良影响。
(1-2)数据分类：
利用系统聚类方法，将预处理后数据特征分为不同类进行特征提取。具体的，本发明采用最远邻元素聚类法，度量标准以pearson相关性划分区间。所有特征共分为四类，其中第一组特征包括：死亡总数、凶手死亡人数、经度。第二组特征包括：国家、目标/受害者的国籍等特征。第三组特征包括：受害者类型、纬度等特征。第四组特征包括：财产损失、地区、武器类型等特征。
(1-3)特征一次提取：
采用主成分分析法分别对每组数据进行特征一次提取，每组得到Ni个不同的特征。
(1-4)特征整合：
将每组数据一次提取后的特征Ni进行整合，得到N个主成分特征，包括： Main1，Main2，Main3......MainN。
由上述四步得到初步处理的历史数据。
步骤二：历史数据作案动机量化，如图3所示，
由于该特征以英文文本形式呈现，所以我们需要进行英文文本挖掘预处理，主要包括以下步骤：
(3-1)按空格\符号分词：
提取作案动机特征，将只含一个特征的历史数据对象集合定义为F，利用python语言中的正则表达式，输入F集合，删除历史数据中少量的非文本内容和长度小于2的单词，得到初步处理的集合F1。
(3-2)拼写检查更正：
输入数据集合F1，利用python中的pyenchant包，检查集合中单词拼写是否正确，输出得到拼写错误的单词并将其改正，最后得到拼写完全正确的数据集合F2。
(3-3)词型还原：
输入集合F2，利用nltk包中的WordNetLemmatizer类库，将集合中可能组合成一个单词的相邻字符还原成对应单词，并利用TextBlob库进行api处理，即将同一条数据对象中同一单词统一为小写，输出还原为单个单词的集合F3。
(3-4)关键词提取：
对集合F3的数据进行向量化处理，采用K均值聚类算法对向量化处理的结果进行关键词提取：
以每个历史事件的历史数据为一个数据对象，依次统计每条数据对象中不同单词出现的频率，作为对应的特征值，输出形式为(Pi，bij，c)，其中Pi代表集合中第i个历史事件，bij代表第i个历史事件中的第j个单词，c代表第i个历史事件中的第j个单词在第i个历史事件中对应的词频，每个历史事件的所有单词的词频以一维向量Vm表示；
对生成的所有历史事件的一维向量进行K均值聚类，通过不断调整K值确定最优分类，最后产生K个类簇，根据类簇半径从大到小对K个类簇进行排序，然后，对排序的结果依次赋值，所述赋值为依次递减的自然数，每个赋值表示对应历史事件的历史数据作案动机的分值。
步骤三：待测数据特征初步处理，如图4所示，
此步骤采取与步骤一同样的处理操作，最后得到初步处理的特征集合。
步骤四：待测数据作案动机量化，如图5所示，
同样地，将原始待测数据实施步骤二的操作，得到量化后的作案动机特征。
步骤五：降维
对步骤一和步骤二所得特征进行整合，整合完成之后，由于特征矩阵过大，导致计算量大，训练时间长的问题，因此需要降低特征矩阵维度。本发明使用的降维方法是主成分分析 (PCA)，主要过程包括：特征中心化，即每一维的数据都减去该维的均值；计算协方差矩阵；计算协方差矩阵的特征值和特征向量；选取大的特征值对应的特征向量，得到新的数据集合Fm。
步骤六：子空间聚类
(6-1)数据预处理，在每一维上形成基本聚类。
设C＝{C1，C2，…，Cd}代表历史数据维集合，C＝C1×C2×…×Cd代表一个d维数据空间，其中，d为正整数。设A代表由n个位于d维特征空间的数据对象组成的集合，记为A＝{Ai|i∈ [1，n]，aij＝Ai.Cj}，其中，点Ai＝(ai1，ai2，…，aij，…，aid)，Ai的第j个属性值aij为其在Cj维上的取值。设K维子空间
其中，k≤n。在Sk子空间中的元组集合表示为
Tsk(ai1，ai2，...，aik)＝{Ai|Ai∈Sk，aij＝Ai.Cj|j∈[1，k]}。
输入数据集合Fm，集合中每个数据对象均含有n维属性值。使用DBSCAN方法在每一维上对所有数据对象进行聚类，将所得一维空间的聚类集合记为X1。
(6-2)计算所有基本聚类间的相似度
给定x1，x2∈X1，其中，x1在Ci维，x2在Cj维，且i≠j，其相似度定义为基本聚类x1，x2所包含的相同数据对象元素的数目，记为sim(x1，x2)＝|x1∩x2|。输入一维聚类集合X1，依次计算集合中两个元素的类间相似度sim。
(6-3)计算每个基本聚类的k个最相似聚类
给定聚类x∈X1，若
其中MSC(x)∈X1，则称 MSC(x)是x的最相似聚类。
将每个基本聚类x的最相似聚类限定在K个作为该基本聚类的合并候选，选取不同的k 值会对聚类精度产生不同影响，实验结果显示，随着k值增大，聚类精度不断改善，对于本发明的历史数据集，当K取值为8-13之间时，可以达到最好的聚类精度。
(6-4)选取局部密度阈值
由于子空间聚类的特性，子空间密度随着数据维数的增高而降低，在全局应用相同密度阈值是不合理的，因此根据子空间的期望密度为不同的子空间应用不同的密度阈值。
设dth(Sm)为Sm子空间的密度阈值，
是Sm子空间期望密度，则可得公式
其中，r为自定义值，在此设为r∈[0，1]。
(6-5)搜索子空间产生子空间聚类
采用深度优先搜索的方式产生子空间聚类。首先，对于第一步得到的基本聚类x∈X1，形成S1子空间；其次，由第三步所得各个基本聚类的K个最相似聚类，对基本聚类相似度大于等于dth(S2)的基本聚类进行合并，形成S2子空间；最后，运用递归方式依次搜索产生子空间聚类。
(6-6)删除剩余数据噪声点
(6-7)计算恐怖袭击案件与犯罪团伙之间的相关度
对于一个待分类的待测数据，若数据有多条，则以集合的形式输入，首先将它投影到Si维空间中提取对应特征集，然后依次计算它与Ai中数据对象之间的距离，具体表示为
其中，bi、ui分别表示待测数据和对应数据对象的向量坐标，ri为Si子空间的半径，由于不同子空间的维度可能不同，所以采用一个基本缩放因子
来调节固定半径r大小，Si代表对应子空间中数据对象的特征维度。
本公开把待测数据点到对应类簇中最近的数据对象的距离作为待测数据到类簇的距离 (即距离的最小值)，如果待测数据在该类簇的预定半径范围内，则匹配成功，否则匹配失败，最后再根据距离大小确定与不同聚类的嫌疑相关度，距离越小则嫌疑相关度越大。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种针对恐怖袭击事件的数据挖掘系统，其特征是，包括：
历史数据处理模块，其被配置为：对每个历史事件的历史数据进行处理得到若干个历史数据点；每个历史事件都具有唯一的编号；所述历史数据处理模块包括：对历史数据进行特征提取子模块和对历史数据作案动机进行量化处理子模块；每个历史数据点是包括每个历史事件对应历史数据的提取特征的特征值和作案动机量化值形成的N*1维向量；所述历史数据处理模块的对历史数据作案动机进行量化处理子模块，包括：
第一分词单元，其被配置为：采集以英文文本形式记录的历史数据作案动机，对历史数据的作案动机进行分词，利用python语言中的正则表达式删除历史数据中非文本内容得到初步处理的集合F1；
第一拼写检查更正单元，其被配置为：利用python中的pyenchant包检查集合F1中单词拼写是否正确，将拼写错误的单词修改为拼写正确的单词，最后得到拼写正确的数据集合F2；
第一词型还原单元，其被配置为：利用python中的nltk包中的WordNetLemmatizer类库，将数据集合F2中可组合成一个单词的相邻字符还原成对应单词，并利用python中的TextBlob库进行api处理，将所有单词统一为小写，输出还原为单个单词的集合F3；
第一向量化处理单元，其被配置为：对集合F3的数据进行向量化处理，采用K均值聚类算法对向量化处理的结果进行关键词提取：
以每个历史事件的历史数据为一个数据对象，依次统计每条数据对象中不同单词出现的频率，作为对应的特征值，输出形式为(Pi,bij，c),其中Pi代表集合中第i个历史事件，bij代表第i个历史事件中的第j个单词，c代表第i个历史事件中的第j个单词在第i个历史事件中对应的词频，每个历史事件的所有单词的词频以一维向量Vm表示；
第一聚类单元，其被配置为：对生成的所有历史事件的一维向量进行K均值聚类，通过不断调整K值确定最优分类，最后产生K个类簇，根据类簇半径从大到小对K个类簇进行排序，然后，对排序的结果依次赋值，所述赋值为依次递减的自然数，每个赋值表示对应历史事件的历史数据作案动机的分值；
待测数据处理模块，其被配置为：对待预测事件的待测数据进行处理得到待测数据点；待测数据处理模块，包括：对待测数据进行特征提取子模块和对待测数据作案动机进行量化处理子模块；待测数据点是包括待预测事件对应位置数据的提取特征的特征值和作案动机量化值形成的N*1维向量；
所述待测数据处理模块的对待测数据作案动机进行量化处理子模块，包括：
第二分词单元，其被配置为：对历史数据和待测数据的作案动机分别进行分词，利用python语言中的正则表达式删除历史数据中非文本内容得到初步处理的集合F1；
第二拼写检查更正单元，其被配置为：利用python中的pyenchant包检查集合F1中单词拼写是否正确，最后得到拼写完全正确的数据集合F2；
第二词型还原单元，其被配置为：利用python中的nltk包中的WordNetLemmatizer类库，将数据集合F2中可组合成一个单词的相邻字符还原成对应单词，并利用python中的TextBlob库进行api处理，即将所有单词统一为小写，输出还原为单个单词的集合F3；
第二向量化处理单元，其被配置为：对集合F3的数据进行向量化处理，采用K均值聚类算法对向量化处理的结果进行关键词提取：
将每个事件的作案动机数据为一个数据对象，依次统计每条数据对象中不同单词出现的频率，作为对应的特征值，输出形式为(Pi,bij，c),其中Pi代表集合中第i个事件，bij代表第i个事件中的第j个单词，c代表第i个事件中的第j个单词在第i个历史事件中对应的词频，每个事件的所有单词的词频以一维向量Vm表示；
第二聚类单元，其被配置为：对生成的所有事件的一维向量进行K均值聚类，通过不断调整K值确定最优分类，最后产生K个类簇，根据类簇半径从大到小对K个类簇进行排序，然后，对排序的结果依次赋值，所述赋值为依次递减的自然数，每个赋值表示对应事件的历史数据作案动机的分值；最后输出待测事件的作案动机分值；
降维处理模块，包括：降维处理子模块和子空间聚类子模块；所述降维处理子模块，其被配置为：对历史数据处理模块得到的所有历史数据点进行降维处理；所述子空间聚类子模块，其被配置为：对降维处理后的结果进行子空间聚类，通过子空间聚类获得不同维度的历史数据类簇；
输出模块，其被配置为：计算待测数据点与历史数据类簇中每个数据对象之间的距离，把待测数据点到对应类簇中最近的数据对象的距离作为待测数据点到类簇的距离，如果待测数据点到类簇的距离在设定范围内，则匹配成功，否则匹配失败；最后，针对匹配成功的待测数据点，按照待测数据点到类簇的距离从小到大进行排序，排序靠前的M个历史事件的犯罪团伙的名称作为输出值输出，从历史犯罪团伙中挖掘出最接近的犯罪团伙，输出给相关安全部门，为恐怖袭击事件尽快破案提供辅助数据支持。
2.如权利要求1所述的系统，其特征是，所述历史数据处理模块的对历史数据进行特征提取子模块包括：
数据获取单元，其被配置为：获取历史恐怖袭击事件的记录数据；每个事件都设有唯一的编号；所述记录数据，包括：地区、攻击类型、财产损失金额、受伤总数、死亡总数、凶手数量、抓获的凶手数量、凶手死亡人数、事件摘要、人质绑架结果或事件的解决日期；
数据预处理单元，其被配置为：对历史恐怖袭击事件的记录数据均进行预处理；
数据分类单元，其被配置为：采用聚类算法对数据预处理后得到的数据进行分类，划分为若干类数据；
特征一次提取单元，其被配置为：采用主成分分析算法，从每一类数据中提取出若干个特征；
特征整合单元，其被配置为：对所有类数据提取的所有特征进行特征整合，得到特征集合；将特征集合以及每个特征对应的特征值作为结果输出。
3.如权利要求2所述的系统，其特征是，所述数据预处理单元，包括：数据筛选子单元、数据填充子单元、数据转换子单元和数据归一化子单元；
所述数据筛选子单元，其被配置为：对事件摘要、人质绑架结果和事件的解决日期进行剔除；
所述数据填充子单元，其被配置为：对恐怖袭击事件发生的凶手数量、死亡总数、抓获的凶手数量、受伤总数、死亡总数、凶手死亡人数和财产损失金额记录缺失值进行填充，对于待测数据进行零填充；
所述数据转换子单元，其被配置为：对恐怖袭击事件发生的地区、攻击类型，由文本数据转换成数字数据；
所述数据归一化子单元，其被配置为：对经过数据筛选、数据填充和数据转换得到的数据，采用最大最小归一化算法进行归一化处理，根据归一化处理后的数据，针对每个事件均建立N*1的矩阵，N表示数据的个数，矩阵中每个元素的值是每个记录数据对应的数值归一化后的结果。
4.如权利要求1所述的系统，其特征是，所述待测数据处理模块的对待测数据进行特征提取子模块，包括：
数据获取单元，其被配置为：获取待测事件的记录数据；每个事件都设有唯一的编号；所述记录数据，包括：地区、攻击类型、财产损失金额、受伤总数、死亡总数、凶手数量、抓获的凶手数量、凶手死亡人数、事件摘要、人质绑架结果或事件的解决日期；
数据预处理单元，其被配置为：对待测事件的记录数据均进行预处理；
数据分类单元，其被配置为：采用聚类算法对数据预处理后得到的数据进行分类，划分为若干类数据；
特征一次提取单元，其被配置为：采用主成分分析算法，从每一类数据中提取出若干个特征；
特征整合单元，其被配置为：对所有类数据提取的所有特征进行特征整合，得到特征集合。
5.如权利要求1所述的系统，其特征是，所述子空间聚类子模块，包括：
聚类单元，其被配置为：使用DBSCAN聚类算法在每一维上对所有数据对象进行聚类，将所得一维空间的聚类集合记为X1，设x1，x2为所形成的聚类，则x1，x2∈X1；
类间相似度计算单元，其被配置为：计算所有聚类的类间相似度，相似度定义为聚类所包含的相同数据对象元素的数目，依次计算集合中两个聚类的类间相似度sim；
最相似类簇选取单元，其被配置为：根据类间相似度，对每个类簇选取K个最相似类簇作为合并候选类簇；
密度阈值计算单元，其被配置为：根据子空间的期望密度计算对应子空间的密度阈值；
设dth(Sm)为Sm子空间的密度阈值，
是Sm子空间期望密度，C＝﹛C1,C2,…,Cd﹜代表历史数据维集合，C＝C1×C2×…×Cd代表一个d维数据空间，其中，d为正整数；
其中，r为自定义值，设为r∈[0,1]，
子空间搜索单元，其被配置为：采用深度优先搜索的方式搜索子空间产生子空间聚类；
如果当前类簇与合并候选类簇中的类簇之间的距离小于子空间的密度阈值，则将当前类簇与候选类簇进行合并；
如果当前类簇与合并候选类簇中的类簇之间的距离大于等于子空间的密度阈值，则不将当前类簇与候选类簇进行合并；
噪声点删除单元，其被配置为：删除剩余数据噪声点，通过子空间聚类获得若干个历史数据类簇。
6.如权利要求1所述的系统，其特征是，所述输出模块，其被配置为：
计算待测数据点与历史数据类簇每个数据对象之间的距离d：
其中，bi表示待测数据点的向量坐标，ui表示历史数据类簇中数据对象的向量坐标，ri为对应子空间的半径，由于不同子空间的维度可能不同，所以采用一个基本缩放因子
来调节固定半径r大小，Si代表对应子空间中数据对象的特征维度；
把待测数据点到对应类簇中最近的数据对象的距离作为待测数据到类簇的距离，如果待测数据在该类簇的设定半径范围内，则匹配成功，否则匹配失败；
最后，针对匹配成功的待测数据点，按照待测数据点到类簇的距离小到大进行排序，排序靠前的M个犯罪团伙的名称作为输出值输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811419743.7A CN109582743B (zh) | 2018-11-26 | 2018-11-26 | 一种针对恐怖袭击事件的数据挖掘系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811419743.7A CN109582743B (zh) | 2018-11-26 | 2018-11-26 | 一种针对恐怖袭击事件的数据挖掘系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109582743A CN109582743A (zh) | 2019-04-05 |
| CN109582743B true CN109582743B (zh) | 2021-06-25 |
Family
ID=65924050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811419743.7A Expired - Fee Related CN109582743B (zh) | 2018-11-26 | 2018-11-26 | 一种针对恐怖袭击事件的数据挖掘系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109582743B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110542546B (zh) * | 2019-08-21 | 2021-02-09 | 中国一拖集团有限公司 | 基于谐波分形分解快速算法的机械故障特征识别方法 |
| CN111341293B (zh) * | 2020-03-09 | 2022-11-18 | 广州市百果园信息技术有限公司 | 一种文本语音的前端转换方法、装置、设备和存储介质 |
| CN112256752B (zh) * | 2020-10-13 | 2021-05-14 | 山东三木众合信息科技股份有限公司 | 一种基于数据挖掘的数据预测处理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520009A (zh) * | 2018-03-19 | 2018-09-11 | 北京工业大学 | 一种英文文本聚类方法及系统 |
-
2018
- 2018-11-26 CN CN201811419743.7A patent/CN109582743B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520009A (zh) * | 2018-03-19 | 2018-09-11 | 北京工业大学 | 一种英文文本聚类方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 2018年研究生数学建模(C题)-数据挖掘与分析-对恐怖袭击事件记录数据的量化分析;考研电路辅导砖家;《https://zhuanlan.zhihu.com/p/47021206》;20181021;网页全文 * |
| Prediction of past unsolved terrorist attacks;Fatih Ozgul 等;《2009 IEEE International Conference on Intelligence and Security Informatics》;20090611;37-42 * |
| 基于随机子空间的恐怖袭击预测方法研究;罗子娟 等;《第六届中国指挥控制大会论文集（下册）》;20180702;879-881 * |
| 数据挖掘方法在反恐情报分析中的应用研究;扈翔;《情报探索》;20171115(第11期);1-6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109582743A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657011B (zh) | 一种筛选恐怖袭击事件犯罪团伙的数据挖掘系统 | |
| CN113220919B (zh) | 一种大坝缺陷图像文本跨模态检索方法及模型 | |
| US10360900B1 (en) | System and method for taxonomically distinguishing sample data captured from sources | |
| US20220237230A1 (en) | System and method for automated file reporting | |
| CN112732946B (zh) | 一种医学文献的模块化数据分析和数据库建立方法 | |
| CN109582743B (zh) | 一种针对恐怖袭击事件的数据挖掘系统 | |
| CN111045847A (zh) | 事件审计方法、装置、终端设备以及存储介质 | |
| CN105975491A (zh) | 企业新闻分析方法及系统 | |
| CN104834940A (zh) | 一种基于支持向量机的医疗影像检查疾病分类方法 | |
| CN109994215A (zh) | 疾病自动编码系统、方法、设备和存储介质 | |
| US10387805B2 (en) | System and method for ranking news feeds | |
| CN112307364B (zh) | 一种面向人物表征的新闻文本发生地抽取方法 | |
| CN110046264A (zh) | 一种面向手机文档的自动分类方法 | |
| CN109800600A (zh) | 面向保密需求的海洋大数据敏感度评估系统及防范方法 | |
| CN104866558A (zh) | 一种社交网络账号映射模型训练方法及映射方法和系统 | |
| CN110781333A (zh) | 一种基于机器学习的斜拉桥非结构化监测数据处理方法 | |
| CN111680225A (zh) | 基于机器学习的微信金融消息分析方法及系统 | |
| CN112417152A (zh) | 涉案舆情的话题检测方法和装置 | |
| CN114611491A (zh) | 基于文本挖掘技术的智慧政务舆情分析研究方法 | |
| CN116187444A (zh) | 一种基于K-means++的专业领域敏感实体知识库构建方法 | |
| CN115063224A (zh) | 基于用户画像的业务审核方法、装置、设备及存储介质 | |
| CN111144453A (zh) | 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备 | |
| Hirayama et al. | Development of template-free form recognition system | |
| CN116595987A (zh) | 一种基于神经网络模型的扬言文本分类方法、装置及存储介质 | |
| CN117077680A (zh) | 问答意图识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210625 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |