CN111538741B - 一种面向警情大数据的深度学习分析方法及系统 - Google Patents

一种面向警情大数据的深度学习分析方法及系统 Download PDF

Info

Publication number
CN111538741B
CN111538741B CN202010210057.XA CN202010210057A CN111538741B CN 111538741 B CN111538741 B CN 111538741B CN 202010210057 A CN202010210057 A CN 202010210057A CN 111538741 B CN111538741 B CN 111538741B
Authority
CN
China
Prior art keywords
normalized
information
alarm
value
metadata set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010210057.XA
Other languages
English (en)
Other versions
CN111538741A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN202010210057.XA priority Critical patent/CN111538741B/zh
Publication of CN111538741A publication Critical patent/CN111538741A/zh
Application granted granted Critical
Publication of CN111538741B publication Critical patent/CN111538741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种面向警情大数据的深度学习分析方法及系统，方法包括：根据知识挖掘预先构建规则树，将原始警情信息与规则树匹配，从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；将警情信息元数据集合与范式化模板进行匹配，从警情信息元数据集合中提取警情信息的范式化特征组，并归集形成范式化大数据；利用深度学习对范式化大数据进行分析，发掘范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律。通过该方法和系统，可以减少大量警情信息直接网络传输，具有可屏蔽警情数据中关键信息、降低泄露风险、提高警务工作的准确率和效率等优点。

Description

一种面向警情大数据的深度学习分析方法及系统
技术领域
本发明涉及警情分析和大数据处理技术领域，具体涉及一种面向警情大数据的深度学习分析方法及系统。
背景技术
警情大数据分析，是通过大数据技术汇聚海量的警情信息，从中挖掘警情在人员、位置、物品、时间、案件过程等方面潜在的关联规律，根据不同警情之间的关联规律辅助工作，提高警务工作的准确率和效率。从而保护人民群众的安全，打击违法和犯罪行为，维护社会秩序稳定和谐。
警情大数据中存在着大量的关键信息，比如敏感信息、涉密信息和内部信息等，这些关键信息一旦泄露不仅会影响警务工作，还可能危害公共利益和安全；因此，在将大数据分析运用于警情信息的过程中，如何避免警情信息在存储、分析、应用等环节的过度集中，以及减少大量警情信息的直接网络传输，屏蔽警情数据中的关键信息，降低泄露风险，是目前亟待解决的。
发明内容
针对现有技术存在的上述不足，本发明的目的在于：提供一种面向警情大数据的深度学习分析方法及系统，通过分析警情信息的范式化特征关联规律，来提取和分析原始警情信息的关联规律，不需要集中网络传输和汇集警情信息，可以减少大量警情信息直接网络传输，具有可屏蔽警情数据中的关键信息、降低泄露风险、提高警务工作的准确率和效率等优点。
一种面向警情大数据的深度学习分析方法，包括以下步骤：
根据知识挖掘预先构建规则树，规则树包括按逻辑关系关联的字段名和关键词；
将原始警情信息与规则树进行匹配，从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；
将警情信息元数据集合与预设范式化模板进行匹配，从警情信息元数据集合中提取警情信息的范式化特征组，并归集形成警情信息的范式化大数据；
利用深度学习对警情信息的范式化大数据进行分析，发掘警情信息的范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律。
进一步地，从警情信息元数据集合中提取警情信息的范式化特征组，包括：
根据警情信息元数据集合的字段名关联结构或关键词关联结构，将范式化模板与警情信息元数据集合进行匹配，得到范式化模板与警情信息元数据集合的匹配度；
根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组。
进一步地，所述范式化模板包括若干范式单元，每个范式单元均包括与警情信息元数据集合相同的字段名，每个字段名均具有预设的字段属性值的取值区间，范式单元包括的字段名与警情信息元数据集合中的字段名相对应。
进一步地，将范式单元包括的全部字段名的价值估值累加作为该范式单元的价值估值，所述范式单元的价值估值的表达式：
Figure BDA0002422503280000021
其中，N表示范式单元具有N个字段名，k表示范式化模板中的第k个范式单元，Vk表示第k个范式单元的价值估值，i表示字段名的序号，l1为常数系数，Si为第i个字段名的取值区间范围的量化值。
进一步地，根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组；其中，范式单元的特征值表达式：
Figure BDA0002422503280000022
其中，Vk为每个范式单元的价值估值，Mk为范式单元与警情信息元数据集合的匹配度，l2和l3为常数系数；
所述警情信息元数据集合对应于范式化模板的各个范式单元的特征值集合为：
<T1,T2,...Tk...>
将各个范式单元的特征值集合作为警情信息元数据集合的范式化特征组。
一种面向警情大数据的深度学习分析系统，包括：
规则树构建模块，用于根据知识挖掘预先构建规则树，规则树包括按逻辑关系关联的字段名和关键词；
信息提取模块，用于从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；
范式化模板，用于从警情信息元数据集合中提取警情信息的范式化特征组；
信息归集模块，用于将警情信息的范式化特征组归集形成警情信息的范式化大数据；
信息分析模块，用于利用深度学习对警情信息的范式化大数据进行分析，发掘警情信息的范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律。
进一步地，从警情信息元数据集合中提取警情信息的范式化特征组，包括：
根据警情信息元数据集合的字段名关联结构或关键词关联结构，将范式化模板与警情信息元数据集合进行匹配，得到范式化模板与警情信息元数据集合的匹配度；
根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组。
进一步地，所述范式化模板包括若干范式单元，每个范式单元均包括与警情信息元数据集合相同的字段名，每个字段名均具有预设的字段属性值的取值区间，范式单元包括的字段名与警情信息元数据集合中的字段名相对应。
进一步地，将范式单元包括的全部字段名的价值估值累加作为该范式单元的价值估值，所述范式单元的价值估值的表达式：
Figure BDA0002422503280000031
其中，N表示范式单元具有N个字段名，k表示范式化模板中的第k个范式单元，Vk表示第k个范式单元的价值估值，i表示字段名的序号，l1为常数系数，Si为第i个字段名的取值区间范围的量化值。
进一步地，根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组；其中，范式单元的特征值表达式：
Figure BDA0002422503280000032
其中，Vk为每个范式单元的价值估值，Mk为范式单元与警情信息元数据集合的匹配度，l2和l3为常数系数；
所述警情信息元数据集合对应于范式化模板的各个范式单元的特征值集合为：
<T1,T2,...Tk...>
将各个范式单元的特征值集合作为警情信息元数据集合的范式化特征组。
相比于现有技术，本发明具有以下优点：
本发明提供的一种面向警情大数据的深度学习分析方法及系统，通过规则树从原始警情信息中提取关联的字段名和关键词并生成警情信息元数据集合，通过范式化模板从警情信息元数据集合中提取警情信息的范式化特征组，从而发掘警情信息的范式化大数据间的关联规律，进而，可以根据所述关联规律提取和分析原始警情信息，实现对警务工作的辅助；本发明不再需要网络传输和汇集警情信息，而是将有关联规律的警情信息的范式化特征组直接网络传输，可以减少大量警情信息直接网络传输，具有可屏蔽警情数据中的关键信息、降低泄露风险、提高警务工作的准确率和效率等优点。
附图说明
图1为本发明实施例一中面向警情大数据的深度学习分析方法的控制流程图；
图2为本发明实施例二中面向警情大数据的深度学习分析系统的系统框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例一：
参照图1，一种面向警情大数据的深度学习分析方法，包括以下步骤：
根据知识挖掘预先构建规则树，规则树包括按逻辑关系关联的字段名和关键词；具体地，知识挖掘是从和警情信息相关的专业知识中挖掘出字段名和描述关键词，字段名表示该字段所代表的警情数据的类型或者属性，例如嫌疑人、受害人、指纹、DNA、现场位置、勘验物品、移动轨迹、时间、案件过程等，字段属性值表示上述字段名的取值，描述关键词是以关键词标签的形式对字段名进行进一步的扩充描述，例如字段名的同义词、近义词、补充描述、因果描述、递进阐述等；规则树由彼此间按照逻辑关系进行关联的字段名和描述关键词组成，逻辑关系包括并列关系、包含关系、因果关系、递进关系等。
将原始警情信息与规则树进行匹配，从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；具体地，原始警情信息与规则树的匹配方式包括关键词匹配、字段名匹配、字段名和关键词间逻辑关系匹配等；原始警情信息可能是文本格式，也可能是表单格式，将原始警情信息的文本内容或表单内容与规则树的字段名和描述关键词进行检索比对，从而从原始警情信息中提取出字段名、字段属性值和描述关键词的警情信息元数据；然后，将警情信息元数据参照规则树的逻辑关系进行组织，形成警情信息元数据集合。
将警情信息元数据集合与预设范式化模板进行匹配，从警情信息元数据集合中提取警情信息的范式化特征组，并归集形成警情信息的范式化大数据；具体包括以下步骤：
根据警情信息元数据集合的字段名关联结构或关键词关联结构，将范式化模板与警情信息元数据集合进行匹配，得到范式化模板与警情信息元数据集合的匹配度；
根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组；
其中，预设的范式化模板可以对匹配的警情信息进行价值估值；将警情信息的范式化特征组进行存储、分析、应用以及直接进行网络传输，可以汇聚为警情信息的范式化大数据。
利用深度学习对警情信息的范式化大数据进行分析，发掘警情信息的范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律；进而，可以根据所述关联规律提取和分析原始警情信息，实现对警务工作的辅助。例如，利用聚类算法对警情信息元数据集合的范式特征进行聚类，从而获得同属于一个聚类的警情信息，这些警情信息具有归属于同一类的共同特征；进而，可以根据所述关联规律提取和分析原始警情信息，并根据该聚类警情的共同特征，来辅助警务工作，提高警务工作的准确率和效率。对范式化大数据进行分析的深度学习方法还可以包括神经网络、SVM分类、贝叶斯分析、回归分析等。
众所周知，深度学习是一种机器学习方法，与人类的学习方式区别在于，深度学习并不需要理解大数据中包含的真实信息含义，而是对大数据的数据分布特征进行提取、统计和归类，最终获得大数据蕴含的关联规律。因此，本发明上述面向警情大数据的深度学习分析方法，通过规则树从原始警情信息中提取关联的字段名和关键词并生成警情信息元数据集合，通过范式化模板从警情信息元数据集合中提取警情信息的范式化特征组；警情信息元数据集合中包含具有真实信息含义的警情信息，但提取的范式化特征组则不携带任何真实信息含义，且范式化特征组的数据分布特征与警情信息元数据集合趋于一致，从而，可以以范式化特征组替代警情信息元数据集合，利用深度学习发掘警情信息的范式化大数据间的关联规律。本发明不再需要网络传输和汇集警情信息，而是将有关联规律的警情信息的范式化特征组直接网络传输，可以有效地减少大量警情信息的直接网络传输，屏蔽了警情数据中的关键信息，降低警情信息泄露风险。
具体地，通过范式化模板将原始警情数据转化或映射为警情数据对应的范式数据信息，原始警情数据是带有真实信息含义的，例如，一条警情信息的内容为：2016年2月9日，山东莘县一名青年男子从莘县县城地标式建筑燕塔塔顶坠亡；转化或映射后的范式数据信息不携带任何真实信息含义，但范式数据信息的特征分布和归集的警情信息元数据集合所代表的特征分布相同或相似，可以通过分析范式数据信息间存在的规律，可以找到有相同或相似规律的范式特征，进而找到有相同或相似规律所对应的警情信息。例如，有100条警情信息，先转化或映射得到100条警情信息的范式特征组，其中，有三条警情信息的范式特征组相同或相似，就可以提取出相应的三条警情信息进行直接网络传输，可以有效地减少大量警情信息的直接网络传输，屏蔽了警情数据中的关键信息，降低警情信息泄露风险。
上述面向警情大数据的深度学习分析方法，所述范式化模板包括若干范式单元，每个范式单元均包括与警情信息元数据集合相同的字段名，每个字段名均具有预设的字段属性值的取值区间，范式单元包括的字段名与警情信息元数据集合中的字段名相对应。
上述面向警情大数据的深度学习分析方法，范式单元的字段属性值的取值区间覆盖范围越大，则范式单元中该字段名对应的价值估值越低，反之，范式单元的字段属性值的取值区间覆盖范围越小，则范式单元中该字段名对应的价值估值越高。
上述面向警情大数据的深度学习分析方法，将范式单元包括的全部字段名的价值估值累加作为该范式单元的价值估值，所述范式单元的价值估值的表达式：
Figure BDA0002422503280000061
其中，N表示范式单元具有N个字段名，k表示范式化模板中的第k个范式单元，Vk表示第k个范式单元的价值估值，i表示字段名的序号，l1为常数系数，Si为第i个字段名的取值区间范围的量化值。
上述面向警情大数据的深度学习分析方法，根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组。将范式化模板与警情信息元数据集合进行匹配，获得范式化模板的每个范式单元与警情信息元数据集合的匹配度，具体来说，警情信息元数据集合中字段名的字段属性值落入第k个范式单元的同字段名取值区间的次数Mk可以作为该范式单元与警情信息元数据集合的匹配度。根据范式化模板中每个范式单元与警情信息元数据集合的匹配度Mk，以及每个范式单元的价值估值Vk，确定警情信息元数据集合的范式特征，具体来说，警情信息元数据集合对应于第k个范式单元的特征值：
Figure BDA0002422503280000062
其中，Vk为每个范式单元的价值估值，Mk为范式单元与警情信息元数据集合的匹配度，l2和l3为常数系数；
所述警情信息元数据集合对应于范式化模板的各个范式单元的特征值集合为：
<T1,T2,...Tk...>
将各个范式单元的特征值集合作为警情信息元数据集合的范式化特征组。
上述面向警情大数据的深度学习分析方法，通过规则树从原始警情信息中提取关联的字段名和关键词并生成警情信息元数据集合，通过范式化模板从警情信息元数据集合中提取警情信息的范式化特征组，从而发掘警情信息的范式化大数据间的关联规律，进而，可以根据所述关联规律提取和分析原始警情信息，实现对警务工作的辅助；本发明不再需要网络传输和汇集警情信息，而是将有关联规律的警情信息的范式化特征组直接网络传输，解决了警情信息在存储、分析、应用等环节的过度集中和直接网络传输存在泄露风险等问题，可以减少大量警情信息直接网络输，具有可屏蔽警情数据中的关键信息、降低泄露风险、提高警务工作的准确率和效率等优点。
参照图2，一种面向警情大数据的深度学习分析系统，其特性在于，包括：
规则树构建模块，用于根据知识挖掘预先构建规则树，规则树包括按逻辑关系关联的字段名和关键词；具体地，知识挖掘是从和警情信息相关的专业知识中挖掘出字段名和描述关键词，字段名表示该字段所代表的警情数据的类型或者属性，例如嫌疑人、受害人、指纹、DNA、现场位置、勘验物品、移动轨迹、时间、案件过程等，字段属性值表示上述字段名的取值，描述关键词是以关键词标签的形式对字段名进行进一步的扩充描述，例如字段名的同义词、近义词、补充描述、因果描述、递进阐述等；规则树由彼此间按照逻辑关系进行关联的字段名和描述关键词组成，逻辑关系包括并列关系、包含关系、因果关系、递进关系等。
信息提取模块，用于从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；具体地，原始警情信息与规则树的匹配方式包括关键词匹配、字段名匹配、字段名和关键词间逻辑关系匹配等；原始警情信息可能是文本格式，也可能是表单格式，将原始警情信息的文本内容或表单内容与规则树的字段名和描述关键词进行检索比对，从而从原始警情信息中提取出字段名、字段属性值和描述关键词的警情信息元数据；然后，将警情信息元数据参照规则树的逻辑关系进行组织，形成警情信息元数据集合。
范式化模板，用于从警情信息元数据集合中提取警情信息的范式化特征组；具体包括以下步骤：
根据警情信息元数据集合的字段名关联结构或关键词关联结构，将范式化模板与警情信息元数据集合进行匹配，得到范式化模板与警情信息元数据集合的匹配度；
根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组；
其中，预设的范式化模板可以对匹配的警情信息进行价值估值。
信息归集模块，用于将警情信息的范式化特征组归集形成警情信息的范式化大数据；具体地，将警情信息的范式化特征组进行存储、分析、应用以及直接进行网络传输，可以汇聚为警情信息的范式化大数据。
信息分析模块，用于利用深度学习对警情信息的范式化大数据进行分析，发掘警情信息的范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律；进而，可以根据所述关联规律提取和分析原始警情信息，实现对警务工作的辅助。例如，利用聚类算法对警情信息元数据集合的范式特征进行聚类，从而获得同属于一个聚类的警情信息，这些警情信息具有归属于同一类的共同特征；进而，可以根据所述关联规律提取和分析原始警情信息，并根据该聚类警情的共同特征，来辅助警务工作，提高警务工作的准确率和效率。对范式化大数据进行分析的深度学习方法还可以包括神经网络、SVM分类、贝叶斯分析、回归分析等。
众所周知，深度学习是一种机器学习方法，与人类的学习方式区别在于，深度学习并不需要理解大数据中包含的真实信息含义，而是对大数据的数据分布特征进行提取、统计和归类，最终获得大数据蕴含的关联规律。因此，本发明上述面向警情大数据的深度学习分析方法，通过规则树从原始警情信息中提取关联的字段名和关键词并生成警情信息元数据集合，通过范式化模板从警情信息元数据集合中提取警情信息的范式化特征组；警情信息元数据集合中包含具有真实信息含义的警情信息，但提取的范式化特征组则不携带任何真实信息含义，且范式化特征组的数据分布特征与警情信息元数据集合趋于一致，从而，可以以范式化特征组替代警情信息元数据集合，利用深度学习发掘警情信息的范式化大数据间的关联规律。本发明不再需要网络传输和汇集警情信息，而是将有关联规律的警情信息的范式化特征组直接网络传输，可以有效地减少大量警情信息的直接网络传输，屏蔽了警情数据中的关键信息，降低警情信息泄露风险。
具体地，通过范式化模板将原始警情数据转化或映射为警情数据对应的范式数据信息，原始警情数据是带有真实信息含义的，例如，一条警情信息的内容为：2016年2月9日，山东莘县一名青年男子从莘县县城地标式建筑燕塔塔顶坠亡；转化或映射后的范式数据信息不携带任何真实信息含义，但范式数据信息的特征分布和归集的警情信息元数据集合所代表的特征分布相同或相似，可以通过分析范式数据信息间存在的规律，可以找到有相同或相似规律的范式特征，进而找到有相同或相似规律所对应的警情信息。例如，有100条警情信息，先转化或映射得到100条警情信息的范式特征组，其中，有三条警情信息的范式特征组相同或相似，就可以提取出相应的三条警情信息进行直接网络传输，可以有效地减少大量警情信息的直接网络传输，屏蔽了警情数据中的关键信息，降低警情信息泄露风险。
上述面向警情大数据的深度学习分析系统，所述范式化模板包括若干范式单元，每个范式单元均包括与警情信息元数据集合相同的字段名，每个字段名均具有预设的字段属性值的取值区间，范式单元包括的字段名与警情信息元数据集合中的字段名相对应。
上述面向警情大数据的深度学习分析系统，范式单元的字段属性值的取值区间覆盖范围越大，则范式单元中该字段名对应的价值估值越低，反之，范式单元的字段属性值的取值区间覆盖范围越小，则范式单元中该字段名对应的价值估值越高。
上述面向警情大数据的深度学习分析系统，将范式单元包括的全部字段名的价值估值累加作为该范式单元的价值估值，所述范式单元的价值估值的表达式：
Figure BDA0002422503280000091
其中，N表示范式单元具有N个字段名，k表示范式化模板中的第k个范式单元，Vk表示第k个范式单元的价值估值，i表示字段名的序号，l1为常数系数，Si为第i个字段名的取值区间范围的量化值。
上述面向警情大数据的深度学习分析系统，根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组。将范式化模板与警情信息元数据集合进行匹配，获得范式化模板的每个范式单元与警情信息元数据集合的匹配度，具体来说，警情信息元数据集合中字段名的字段属性值落入第k个范式单元的同字段名取值区间的次数Mk可以作为该范式单元与警情信息元数据集合的匹配度。根据范式化模板中每个范式单元与警情信息元数据集合的匹配度Mk，以及每个范式单元的价值估值Vk，确定警情信息元数据集合的范式特征，具体来说，警情信息元数据集合对应于第k个范式单元的特征值：
Figure BDA0002422503280000092
其中，Vk为每个范式单元的价值估值，Mk为范式单元与警情信息元数据集合的匹配度，l2和l3为常数系数；
所述警情信息元数据集合对应于范式化模板的各个范式单元的特征值集合为：
<T1,T2,...Tk...>
将各个范式单元的特征值集合作为警情信息元数据集合的范式化特征组。
上述面向警情大数据的深度学习分析系统，通过规则树从原始警情信息中提取关联的字段名和关键词并生成警情信息元数据集合，通过范式化模板从警情信息元数据集合中提取警情信息的范式化特征组，从而发掘警情信息的范式化大数据间的关联规律，进而，可以根据所述关联规律提取和分析原始警情信息，实现对警务工作的辅助；本发明不再需要网络传输和汇集警情信息，而是将有关联规律的警情信息的范式化特征组直接网络传输，解决了警情信息在存储、分析、应用等环节的过度集中和直接网络传输存在泄露风险等问题，可以减少大量警情信息直接网络输，具有可屏蔽警情数据中的关键信息、降低泄露风险、提高警务工作的准确率和效率等优点。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (8)

1.一种面向警情大数据的深度学习分析方法，其特性在于，包括以下步骤：
根据知识挖掘预先构建规则树，规则树包括按逻辑关系关联的字段名和关键词；
将原始警情信息与规则树进行匹配，从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；
将警情信息元数据集合与预设范式化模板进行匹配，从警情信息元数据集合中提取警情信息的范式化特征组，并归集形成警情信息的范式化大数据；
利用深度学习对警情信息的范式化大数据进行分析，发掘警情信息的范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律；
所述范式化模板包括若干范式单元，每个范式单元均包括与警情信息元数据集合相同的字段名；将范式单元包括的全部字段名的价值估值累加作为该范式单元的价值估值，所述范式单元的价值估值的表达式：
Figure FDA0002782388600000011
其中，N表示范式单元具有N个字段名，k表示范式化模板中的第k个范式单元，Vk表示第k个范式单元的价值估值，i表示字段名的序号，l1为常数系数，Si为第i个字段名的取值区间范围的量化值。
2.根据权利要求1所述的深度学习分析方法，其特性在于，从警情信息元数据集合中提取警情信息的范式化特征组，包括：
根据警情信息元数据集合的字段名关联结构或关键词关联结构，将范式化模板与警情信息元数据集合进行匹配，得到范式化模板与警情信息元数据集合的匹配度；
根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组。
3.根据权利要求2所述的深度学习分析方法，其特性在于，所述范式单元包括的字段名均具有预设的字段属性值的取值区间，范式单元包括的字段名与警情信息元数据集合中的字段名相对应。
4.根据权利要求2所述的深度学习分析方法，其特性在于，根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组；其中，范式单元的特征值表达式：
Figure FDA0002782388600000021
其中，Vk为每个范式单元的价值估值，Mk为范式单元与警情信息元数据集合的匹配度，l2和l3为常数系数；
所述警情信息元数据集合对应于范式化模板的各个范式单元的特征值集合为：
<T1,T2,...Tk...>
将各个范式单元的特征值集合作为警情信息元数据集合的范式化特征组。
5.一种面向警情大数据的深度学习分析系统，其特性在于，包括：
规则树构建模块，用于根据知识挖掘预先构建规则树，规则树包括按逻辑关系关联的字段名和关键词；
信息提取模块，用于从原始警情信息中提取具有字段名关联结构或关键词关联结构的警情信息元数据，并依据规则树的逻辑关系生成警情信息元数据集合；
范式化模板，用于从警情信息元数据集合中提取警情信息的范式化特征组；
信息归集模块，用于将警情信息的范式化特征组归集形成警情信息的范式化大数据；
信息分析模块，用于利用深度学习对警情信息的范式化大数据进行分析，发掘警情信息的范式化大数据间的关联规律，从而发掘原始警情信息间的关联规律；
所述范式化模板包括若干范式单元，每个范式单元均包括与警情信息元数据集合相同的字段名；将范式单元包括的全部字段名的价值估值累加作为该范式单元的价值估值，所述范式单元的价值估值的表达式：
Figure FDA0002782388600000022
其中，N表示范式单元具有N个字段名，k表示范式化模板中的第k个范式单元，Vk表示第k个范式单元的价值估值，i表示字段名的序号，l1为常数系数，Si为第i个字段名的取值区间范围的量化值。
6.根据权利要求5所述的深度学习分析系统，其特性在于，从警情信息元数据集合中提取警情信息的范式化特征组，包括：
根据警情信息元数据集合的字段名关联结构或关键词关联结构，将范式化模板与警情信息元数据集合进行匹配，得到范式化模板与警情信息元数据集合的匹配度；
根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组。
7.根据权利要求6所述的深度学习分析系统，其特性在于，所述范式单元包括的字段名均具有预设的字段属性值的取值区间，范式单元包括的字段名与警情信息元数据集合中的字段名相对应。
8.根据权利要求6所述的深度学习分析系统，其特性在于，根据范式化模板与警情信息元数据集合的匹配度，以及范式化模板的价值估值，确定警情信息的范式化特征，得到警情信息的范式化特征组；其中，范式单元的特征值表达式：
Figure FDA0002782388600000031
其中，Vk为每个范式单元的价值估值，Mk为范式单元与警情信息元数据集合的匹配度，l2和l3为常数系数；
所述警情信息元数据集合对应于范式化模板的各个范式单元的特征值集合为：
<T1,T2,...Tk...>
将各个范式单元的特征值集合作为警情信息元数据集合的范式化特征组。
CN202010210057.XA 2020-03-23 2020-03-23 一种面向警情大数据的深度学习分析方法及系统 Active CN111538741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010210057.XA CN111538741B (zh) 2020-03-23 2020-03-23 一种面向警情大数据的深度学习分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010210057.XA CN111538741B (zh) 2020-03-23 2020-03-23 一种面向警情大数据的深度学习分析方法及系统

Publications (2)

Publication Number Publication Date
CN111538741A CN111538741A (zh) 2020-08-14
CN111538741B true CN111538741B (zh) 2021-04-02

Family

ID=71975021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010210057.XA Active CN111538741B (zh) 2020-03-23 2020-03-23 一种面向警情大数据的深度学习分析方法及系统

Country Status (1)

Country Link
CN (1) CN111538741B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581439A (zh) * 2020-03-25 2020-08-25 北方工业大学 一种用于机器学习分析的大数据信息处理方法及系统
CN112257435B (zh) * 2020-09-11 2024-05-14 安徽中科新辰技术有限公司 一种基于人工智能分词技术的警情数据治理方法
CN112685611A (zh) * 2020-12-31 2021-04-20 恒安嘉新（北京）科技股份公司 一种数据过滤方法、装置、存储介质及电子设备
CN112733186A (zh) * 2020-12-31 2021-04-30 上海竞动科技有限公司 一种用户隐私数据分析方法及装置
CN112968873B (zh) * 2021-01-29 2021-08-10 上海竞动科技有限公司 一种用于隐私数据传输的加密方法和装置
CN113688191B (zh) * 2021-08-27 2023-08-18 阿里巴巴（中国）有限公司 特征数据生成方法、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1372209A (zh) * 2002-02-10 2002-10-02 柯昌敏 公安机关警务信息整合与电子警务实战的控制方法
CN107342987A (zh) * 2017-06-20 2017-11-10 深圳安巽科技有限公司 一种网络反电信诈骗系统
CN109284317A (zh) * 2018-10-26 2019-01-29 山东中孚安全技术有限公司 一种基于时序有向图的窃取信息线索提取与分段评估方法
CN109710701A (zh) * 2018-12-14 2019-05-03 浪潮软件股份有限公司 一种用于公共安全领域大数据知识图谱的自动化构建方法
CN110765233A (zh) * 2019-11-11 2020-02-07 中国人民解放军军事科学院评估论证研究中心 基于深度挖掘和知识管理技术的智能信息检索服务系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047463B2 (en) * 2012-06-29 2015-06-02 Sri International Method and system for protecting data flow at a mobile device
CN104360837B (zh) * 2014-10-16 2017-10-13 公安部第三研究所 取证软件中基于自定义脚本实现电子数据取证分析的方法
US10469479B2 (en) * 2017-06-13 2019-11-05 Microsoft Technology Licensing, Llc Cross cloud tenant discovery
CN109146662A (zh) * 2018-07-16 2019-01-04 蜜小蜂智慧（北京）科技有限公司 一种风险控制方法及装置
CN109409633B (zh) * 2018-08-23 2022-04-05 山东省城市商业银行合作联盟有限公司 业务监测与风险预警系统
CN109255237B (zh) * 2018-08-31 2020-10-09 新华三大数据技术有限公司 安全事件关联分析方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1372209A (zh) * 2002-02-10 2002-10-02 柯昌敏 公安机关警务信息整合与电子警务实战的控制方法
CN107342987A (zh) * 2017-06-20 2017-11-10 深圳安巽科技有限公司 一种网络反电信诈骗系统
CN109284317A (zh) * 2018-10-26 2019-01-29 山东中孚安全技术有限公司 一种基于时序有向图的窃取信息线索提取与分段评估方法
CN109710701A (zh) * 2018-12-14 2019-05-03 浪潮软件股份有限公司 一种用于公共安全领域大数据知识图谱的自动化构建方法
CN110765233A (zh) * 2019-11-11 2020-02-07 中国人民解放军军事科学院评估论证研究中心 基于深度挖掘和知识管理技术的智能信息检索服务系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
国外基于数据挖掘的学习预警研究:回顾与展望;肖巍等;《中国远程教育》;20180125;第70-78页 *

Also Published As

Publication number Publication date
CN111538741A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111538741B (zh) 一种面向警情大数据的深度学习分析方法及系统
CN111143838B (zh) 数据库用户异常行为检测方法
CN112100149B (zh) 日志自动化分析系统
CN109190698B (zh) 一种网络数字虚拟资产的分类识别系统及方法
CN109241199B (zh) 一种面向金融知识图谱发现的方法
Torra Towards knowledge intensive data privacy
Wu et al. Identifying humanitarian information for emergency response by modeling the correlation and independence between text and images
Zubi et al. Using data mining techniques to analyze crime patterns in the libyan national crime data
CN111581439A (zh) 一种用于机器学习分析的大数据信息处理方法及系统
Saleh et al. Crime data analysis in Python using K-means clustering
CN113657443B (zh) 一种基于soinn网络的在线物联网设备识别方法
Sudha et al. Analysis and evaluation of integrated cyber crime offences
CN116069607A (zh) 基于图卷积神经网络的移动办公用户异常行为检测方法
Tang et al. Association Analysis of Abnormal Behavior of Electronic Invoice Based on K-Means and Skip-Gram
CN115204140A (zh) 一种基于注意力机制与知识图谱的法律条文预测方法
CN114860903A (zh) 一种面向网络安全领域的事件抽取、分类和融合方法
Punjabi et al. Forensic Intelligence-Combining Artificial Intelligence with Digital Forensics
KR20210142443A (ko) 사이버 공간에서 실시간 공격 탐지를 위한 시간에 따른 지속적인 적응형 학습을 제공하는 방법 및 시스템
CN111475380A (zh) 一种日志分析方法和装置
HUANG et al. Cyberbullying detection on social media
Zhou et al. Multimodal fraudulent website identification method based on heterogeneous model ensemble
Yang et al. Prediction of criminal tendency of high-risk personnel based on combination of principal component analysis and support vector machine
Krüger An Approach to Profiler Detection of Cyber Attacks using Case-based Reasoning.
CN115831339B (zh) 基于深度学习的医疗系统风险管控事前预测方法、系统
CN117131503B (zh) 一种用户行为的威胁链识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant