CN106340161A - 一种基于大数据的公共安全预警系统 - Google Patents
一种基于大数据的公共安全预警系统 Download PDFInfo
- Publication number
- CN106340161A CN106340161A CN201610721223.6A CN201610721223A CN106340161A CN 106340161 A CN106340161 A CN 106340161A CN 201610721223 A CN201610721223 A CN 201610721223A CN 106340161 A CN106340161 A CN 106340161A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- daily record
- big data
- public security
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 230000008676 import Effects 0.000 claims abstract description 6
- 230000008520 organization Effects 0.000 claims abstract description 4
- 235000006719 Cassia obtusifolia Nutrition 0.000 claims description 9
- 235000014552 Cassia tora Nutrition 0.000 claims description 9
- 244000201986 Cassia tora Species 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000012958 reprocessing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004806 packaging method and process Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Computer Security & Cryptography (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Emergency Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明属于大数据应用的技术领域，具体涉及一种基于大数据的公共安全预警系统。系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。本发明的有益效果在于，系统可整合多种类型数据，集合多数据源，并采用流式大数据框架，对实时产生的数据进行归集、分析，提升预警效率，将危机事件由事后处置转变事前预测，为事件处置提供了充足的时间。
Description
技术领域
本发明属于大数据应用的技术领域，具体涉及一种基于大数据的公共安全预警系统。
背景技术
随着社会科学技术的进步，新技术的应用领域越来越广泛，尤其近年来云计算和大数据发展突飞猛进，国家国民经济和社会发展第十三个五年规划纲要中也重点提出“实施国家大数据战略”，大数据必定会取得更好、更快的发展；公共安全管理作为国家行政机关保障人民生命财产的重要部分，如何实现大数据技术与公共安全管理的有效对接是我们要研究的主要内容。
通过大数据处理与公共危机管理的有效对接，使得公共安全决策的流程将由危机事件发生后的“应对”转变为危机事件发生前的“预测”，依托数字化管理平台实时巡查，主动发现问题，实现应急处置，运用大数据技术保障城市公共安全，同时又不干扰城市正常运转和市民正常生活。能够强有力地推动公共安全信息网络完善，促进跨部门、跨区域管理信息协同共享，提升公共危机事件的源头治理、动态监控、应急处置和事前预警能力，有效地提升国家与政府应对公共安全等事务时的治理能力。
实现公共安全管理部门与部门之间数据对接困难，主要原因在于数据的构成很难实现数据融合；另外部门间存在信息孤岛，数据利用率低等问题。如何建立公共安全异常事件数据库也是本方案要完成工作之一。
发明内容
为了解决上述的技术问题，本发明提供了一种基于大数据的公共安全预警系统。
本发明所述的基于大数据的公共安全预警系统是通过下述技术方案来解决以上的技术问题的：一种基于大数据的公共安全预警系统,，系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。
上述日志处理模块具体步骤为：a日志采集，日志采集中，系统内置异构数据管理器，将不同形式的数据内容整合为统一日志格式；b对日志进行日志代理增量读取；c根据机器Flume的配置读取日志列表，汇总；d通过Kafka消息通道将日志传递给Storm，Storm将每一条日志解析成JavaBean对象，解析过程是在日志到达Storm之后，被解析成多组日志元数据，通过Storm中的规则进行过滤、合并产生n条数据；e封装JavaBean对象；f把JavaBean对象插入搜索引擎Elastic Search中；g输入查询条件，通过Elastic Search进入数据库检索、比对生成日志分析和统计报表，完成对异常日志提取和分析。数据库分为常规日志部分和事件日志部分，数据库对每一条历史日志进行自动存储，所述的自动存储过程根据系统预先设置的事件数据触发条件将日志类型分为常规日志和事件日志，并且生成历史异常数据库。其中日志处理模块步骤g中入库检索、比对过程分为预处理和再处理两个步骤。
在具体操作中，日志采集分为两部分内容，一是在历史数据导入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。二是实时数据接入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。
系统对于事件日志的存储是根据历史数据导入和实时数据接入两部分内容实现数据累计。
本发明的有益效果在于，系统可整合多种类型数据，集合多数据源，并采用流式大数据框架，对实时产生的数据进行归集、分析，提升预警效率，将危机事件由事后处置转变事前预测，为事件处置提供了充足的时间。系统数据库可逐步对异常数据累计，逐步完善异常数据库，为以后应对异常事件处置提供数据依据。
附图说明
图1为本系统的总体框架示意图。
具体实施方式
下面结合附图和具体实施方式来对本发明作更进一步的说明，以便本领域的技术人员更了解本发明，但并不以此限制本发明。
系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。
上述日志处理模块具体步骤为：a日志采集，日志采集中，系统内置异构数据管理器，将不同形式的数据内容整合为统一日志格式；b对日志进行日志代理增量读取；c根据机器Flume的配置读取日志列表，汇总；d通过Kafka消息通道将日志传递给Storm，Storm将每一条日志解析成JavaBean对象，解析过程是在日志到达Storm之后，被解析成多组日志元数据，通过Storm中的规则进行过滤、合并产生n条数据；e封装JavaBean对象；f把JavaBean对象插入搜索引擎Elastic Search中；g输入查询条件，通过Elastic Search进入数据库检索、比对生成日志分析和统计报表，完成对异常日志提取和分析。数据库分为常规日志部分和事件日志部分，数据库对每一条历史日志进行自动存储，所述的自动存储过程根据系统预先设置的事件数据触发条件将日志类型分为常规日志和事件日志，并且生成历史异常数据库。其中日志处理模块步骤g中入库检索、比对过程分为预处理和再处理两个步骤。
在具体操作中首先系统会通过系统管理模块将各类历史日志数据导入系统，导入过程中根据系统预先设置异常数据触发条件将日志类型分为常规日志和异常日志，实现异常数据累计。当新的日志数据通过日志处理模块进入日志处理模块后根据上述方法对数据进行处理、对比，数据优先进入历史异常数据库中检索，提高检索效率。
日志采集分为两部分内容，一是在历史数据导入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。二是实时数据接入的过程中系统根据系统预先设置异常数据触发条件将日志类型分为常规日志和事件日志，分别存储。
系统对于事件日志的存储是根据历史数据导入和实时数据接入两部分内容实现数据累计。
Claims (4)
1.一种基于大数据的公共安全预警系统,其特征为：所述的系统分为主要包括系统管理模块、日志处理模块和日志数据库,其中系统管理模块包括组织管理、角色管理、用户管理、系统日志等模块；日志处理模块的步骤包括日志采集、日志代理增量读取、数据解析、封装、入库检索等步骤生成日志分析和统计报表，进而完成对异常日志分析、预警；日志数据库储存系统采集的历史日志，采集方式包括历史数据导入和实时数据接入两部分。
2.根据权利要求1所述的一种基于大数据的公共安全预警系统，其特征为：所述日志处理模块具体步骤为：
a日志采集，日志采集中，系统内置异构数据管理器，将不同形式的数据内容整合为统一日志格式；
b对日志进行日志代理增量读取；
c根据机器Flume的配置读取日志列表，汇总；
d通过Kafka消息通道将日志传递给Storm，Storm将每一条日志解析成JavaBean对象，解析过程是在日志到达Storm之后，被解析成多组日志元数据，通过Storm中的规则进行过滤、合并产生n条数据；
e封装JavaBean对象；
f把JavaBean对象插入搜索引擎Elastic Search中；
g输入查询条件，通过Elastic Search进入数据库检索、比对生成日志分析和统计报表，完成对异常日志提取和分析。
3.根据权利要求1或2所述的一种基于大数据的公共安全预警系统，其特征为：所述的数据库分为常规日志部分和事件日志部分，数据库对每一条历史日志进行自动存储，所述的自动存储过程根据系统预先设置的事件数据触发条件将日志类型分为常规日志和事件日志，并且生成历史异常数据库。
4.根据权利要求2所述的一种基于大数据的公共安全预警系统，其特征为：所述的步骤g中入库检索、比对过程分为预处理和再处理两个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610721223.6A CN106340161A (zh) | 2016-08-25 | 2016-08-25 | 一种基于大数据的公共安全预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610721223.6A CN106340161A (zh) | 2016-08-25 | 2016-08-25 | 一种基于大数据的公共安全预警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106340161A true CN106340161A (zh) | 2017-01-18 |
Family
ID=57824616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610721223.6A Pending CN106340161A (zh) | 2016-08-25 | 2016-08-25 | 一种基于大数据的公共安全预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106340161A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107153602A (zh) * | 2017-04-14 | 2017-09-12 | 努比亚技术有限公司 | 处理线上服务器的log数据的装置及方法 |
| CN107817974A (zh) * | 2017-11-27 | 2018-03-20 | 郑州云海信息技术有限公司 | 一种基于elk的数据自动清理方法 |
| CN108170770A (zh) * | 2017-12-26 | 2018-06-15 | 山东联科云计算股份有限公司 | 一种基于大数据的分析训练平台 |
| CN108241744A (zh) * | 2018-01-04 | 2018-07-03 | 北京奇艺世纪科技有限公司 | 一种日志读取方法和装置 |
| CN108418703A (zh) * | 2018-01-10 | 2018-08-17 | 北京思特奇信息技术股份有限公司 | 一种基于实时事件侦测的预警方法及系统 |
| WO2018177247A1 (zh) * | 2017-03-28 | 2018-10-04 | 瀚思安信（北京）软件技术有限公司 | 用于检测计算机网络系统用户的异常行为的方法 |
| CN109542329A (zh) * | 2017-09-21 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 日志写入方法、装置及系统 |
| CN110083626A (zh) * | 2019-03-29 | 2019-08-02 | 北京奇安信科技有限公司 | 流式事件序列匹配方法及装置 |
| CN110119343A (zh) * | 2018-02-07 | 2019-08-13 | 上海鼎茂信息技术有限公司 | 一种主机运维分析方法 |
| WO2022184268A1 (en) * | 2021-03-05 | 2022-09-09 | Huawei Technologies Co., Ltd. | Computer system and method with event management |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101800668A (zh) * | 2010-03-23 | 2010-08-11 | 成都市华为赛门铁克科技有限公司 | 日志归并方法和装置 |
| CN104618343A (zh) * | 2015-01-06 | 2015-05-13 | 中国科学院信息工程研究所 | 一种基于实时日志的网站威胁检测的方法及系统 |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| US20160043988A1 (en) * | 2014-08-07 | 2016-02-11 | International Business Machines Corporation | Monitoring sms messages related to server/customer interactions |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
-
2016
- 2016-08-25 CN CN201610721223.6A patent/CN106340161A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101800668A (zh) * | 2010-03-23 | 2010-08-11 | 成都市华为赛门铁克科技有限公司 | 日志归并方法和装置 |
| US20160043988A1 (en) * | 2014-08-07 | 2016-02-11 | International Business Machines Corporation | Monitoring sms messages related to server/customer interactions |
| CN104618343A (zh) * | 2015-01-06 | 2015-05-13 | 中国科学院信息工程研究所 | 一种基于实时日志的网站威胁检测的方法及系统 |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吕荣峰等: "智能日志审计与预警系统功能设计与实现", 《数字技术与应用》 * |
| 胡庆宝等: "基于Elasticsearch的实时集群日志采集和分析系统实现", 《科研信息化技术与应用》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018177247A1 (zh) * | 2017-03-28 | 2018-10-04 | 瀚思安信（北京）软件技术有限公司 | 用于检测计算机网络系统用户的异常行为的方法 |
| CN108664375A (zh) * | 2017-03-28 | 2018-10-16 | 瀚思安信（北京）软件技术有限公司 | 用于检测计算机网络系统用户的异常行为的方法 |
| CN107153602A (zh) * | 2017-04-14 | 2017-09-12 | 努比亚技术有限公司 | 处理线上服务器的log数据的装置及方法 |
| CN109542329A (zh) * | 2017-09-21 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 日志写入方法、装置及系统 |
| CN109542329B (zh) * | 2017-09-21 | 2022-04-12 | 阿里云计算有限公司 | 日志写入方法、存储管理设备及系统 |
| CN107817974A (zh) * | 2017-11-27 | 2018-03-20 | 郑州云海信息技术有限公司 | 一种基于elk的数据自动清理方法 |
| CN108170770A (zh) * | 2017-12-26 | 2018-06-15 | 山东联科云计算股份有限公司 | 一种基于大数据的分析训练平台 |
| CN108241744A (zh) * | 2018-01-04 | 2018-07-03 | 北京奇艺世纪科技有限公司 | 一种日志读取方法和装置 |
| CN108418703B (zh) * | 2018-01-10 | 2021-06-25 | 北京思特奇信息技术股份有限公司 | 一种基于实时事件侦测的预警方法及系统 |
| CN108418703A (zh) * | 2018-01-10 | 2018-08-17 | 北京思特奇信息技术股份有限公司 | 一种基于实时事件侦测的预警方法及系统 |
| CN110119343A (zh) * | 2018-02-07 | 2019-08-13 | 上海鼎茂信息技术有限公司 | 一种主机运维分析方法 |
| CN110083626A (zh) * | 2019-03-29 | 2019-08-02 | 北京奇安信科技有限公司 | 流式事件序列匹配方法及装置 |
| WO2022184268A1 (en) * | 2021-03-05 | 2022-09-09 | Huawei Technologies Co., Ltd. | Computer system and method with event management |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106340161A (zh) | 一种基于大数据的公共安全预警系统 | |
| CN107256219B (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
| CN104820670B (zh) | 一种电力信息大数据的采集和存储方法 | |
| CN112256782B (zh) | 基于Hadoop的电力大数据处理系统 | |
| CN106651633B (zh) | 一种基于大数据技术的用电信息采集系统及其采集方法 | |
| CN110825801A (zh) | 基于分布式架构的列车信号系统车载日志分析系统和方法 | |
| CN102708446B (zh) | 一种建立防汛应急智能指挥系统的方法 | |
| CN105528280A (zh) | 系统日志与健康监控关系决定日志告警等级的方法及系统 | |
| CN109684422A (zh) | 一种基于人工智能的大数据平台的单指标预测和预警方法 | |
| CN104899314A (zh) | 一种数据仓库的血统分析方法和装置 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| WO2023020194A1 (zh) | 一种基于随机森林和支持向量机的能源数据异常原因分析方法 | |
| CN102567488A (zh) | 基于云计算机框架的电动汽车数据挖掘系统与挖掘方法 | |
| CN116205396A (zh) | 一种基于数据中台的数据全景监控方法及系统 | |
| WO2011160496A1 (zh) | 事件信息的获取方法和装置 | |
| CN107742162B (zh) | 一种基于配调监控信息的多维特征关联分析方法 | |
| CN112232843B (zh) | 一种基于大数据技术的药品监管系统和方法 | |
| CN112116790B (zh) | 一种基于流式框架的cors预警监控系统 | |
| Hou et al. | Alarms association rules based on sequential pattern mining algorithm | |
| CN116501725A (zh) | 一种基于云计算的大数据处理方法 | |
| CN116834807A (zh) | 一种基于大数据的城市轨道交通安保系统 | |
| CN116094174A (zh) | 基于知识图谱的电网运维监控方法、系统、设备及介质 | |
| CN112765232B (zh) | 核电厂重大设备的数据管理方法及系统 | |
| CN102567803A (zh) | 基于赋优先级事件图的复杂事件调度系统及方法 | |
| Yu | Research on emergency management information system model based on big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1299, No. 2 building, 1004 floor Xinsheng Applicant after: Shandong cloud computing Limited by Share Ltd Address before: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1299, No. 2 building, 1004 floor Xinsheng Applicant before: SHANDONG DATA CLOUD TECHNOLOGY CO., LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170118 |