CN107426004A - 一种基于大数据的网络安全可视化处理方法 - Google Patents

一种基于大数据的网络安全可视化处理方法 Download PDF

Info

Publication number
CN107426004A
CN107426004A CN201710315239.1A CN201710315239A CN107426004A CN 107426004 A CN107426004 A CN 107426004A CN 201710315239 A CN201710315239 A CN 201710315239A CN 107426004 A CN107426004 A CN 107426004A
Authority
CN
China
Prior art keywords
data
redis
real
time
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710315239.1A
Other languages
English (en)
Inventor
贾耘
王诗勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongtai Brothers Science And Technology Development Co Ltd
Original Assignee
Shenzhen Zhongtai Brothers Science And Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongtai Brothers Science And Technology Development Co Ltd filed Critical Shenzhen Zhongtai Brothers Science And Technology Development Co Ltd
Priority to CN201710315239.1A priority Critical patent/CN107426004A/zh
Publication of CN107426004A publication Critical patent/CN107426004A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Small-Scale Networks (AREA)

Abstract

一种基于大数据的网络安全可视化处理方法，其特征在于：其包括如下步骤：步骤1：专门开发一个Timer App用于定时从ES中查询数据，然后将得到的数据按照业务需要转换成可直接使用的数据结构(Json格式)，并保存到Redis中，步骤2：Redis可以作为数据库，当界面第一次打开或重复刷新时，直接从Redis中获取全量数据；步骤3：前端UI界面通过Websocket监听View App来实时更新界面，达到实时的效果；步骤4：Redis也可以作为消息中间件，View App通过Subscribe的方式监听Redis的Changes Data，如果Redis广播变化的数据，View App能实时监听并获取到，同时通过Websocket实时Push到前端HTML界面；步骤5：前端HTML界面接收到数据后，在页面上进行展示。本发明能够将抽象的网络和系统数据进行可视化呈现。

Description

一种基于大数据的网络安全可视化处理方法
技术领域
本发明涉及网络安全可视化技术领域，尤其是涉及一种基于大数据的网络安全可视化处理方法。
背景技术
由于网络日志数据均以索引的形式存储于Elasticsearch中，且无法直接用于前端展示，进而无法方便的观察网络安全的整体态势，影响对网络安全作出准确的判断。
因此，有必要提供一种新的技术方案以克服上述缺陷。
发明内容
本发明的目的在于提供一种可有效解决上述技术问题的基于大数据的网络安全可视化处理方法。
为达到本发明之目的，采用如下技术方案：
一种基于大数据的网络安全可视化处理方法，其包括如下步骤：
步骤1：使用现有的定时器定时从ES中查询数据，然后将得到的数据按照业务需要转换成可直接使用的数据结构(Json格式)，并保存到Redis中，如果前端有Push需要，可以用Pub/Sub的方式(类似于广播)去Publish Changes Data；
步骤2：Redis可以作为数据库，当界面第一次打开或重复刷新时，直接从Redis中获取全量数据；
步骤3：前端UI界面通过Websocket监听View App(专为前端提供服务端支持，可与Timer App合并)来实时更新界面，达到实时的效果；
步骤4：Redis也可以作为消息中间件，View App通过Subscribe的方式监听Redis的Changes Data，如果Redis广播变化的数据，View App能实时监听并获取到，同时通过Websocket实时Push到前端HTML界面；
步骤5：前端HTML界面接收到数据后，在页面上进行展示，达到实时动态效果(仅更新Changes Data)。
与现有技术相比，本发明具有如下有益效果：本发明基于大数据的网络安全可视化处理方法能够将抽象的网络和系统数据进行可视化呈现，从而对网络中的主机、安全设备、网络设备、应用系统、作业系统等整体环境进行安全状态监测，帮助用户快速掌握网络状况，识别网络异常、入侵，把握网络安全事件发展趋势，全方位感知网络安全态势，因此就需要系统对网络安全威胁进行可视化呈现，全方位感知网络安全态势。基于支持二三维地理空间分布，对全网主机及关键节点的综合安全信息进行网络态势监控。支持逻辑拓扑层级结构，从全网的整体安全态势，到信息资产以及安全数据的监测，进行全方位态势监控。支持全网各节点的信息查询，实时反映节点信息的状态，对节点信息安全进行全面监测。
具体实施方式
本发明基于大数据的网络安全可视化处理方法包括如下步骤：
步骤1：使用现有的定时器定时从ES中查询数据，然后将得到的数据按照业务需要转换成可直接使用的数据结构(Json格式)，并保存到Redis中，如果前端有Push需要，可以用Pub/Sub的方式(类似于广播)去Publish Changes Data；
步骤2：Redis可以作为数据库，当界面第一次打开或重复刷新时，直接从Redis中获取全量数据；
步骤3：前端UI界面通过Websocket监听View App(专为前端提供服务端支持，可与Timer App合并)来实时更新界面，达到实时的效果；
步骤4：Redis也可以作为消息中间件，View App通过Subscribe的方式监听Redis的Changes Data，如果Redis广播变化的数据，View App能实时监听并获取到，同时通过Websocket实时Push到前端HTML界面；
步骤5：前端HTML界面接收到数据后，在页面上进行展示，达到实时动态效果(仅更新Changes Data)。
本发明采用Redis作为缓存数据库和消息中间件，通过pub/sub(Publish/Subscribe)模式将增量告警数据推送到服务端，然后服务端通过Websocket将接收到的增量告警数据实时推送到前端界面上，实现实时显示的动态效果。
前端界面采用第三方免费开源的框架将网络安(如：D3、Echarts等)全警告和危险数据通过可视化图表展现出来，这些图表包括折线图、柱状图、排名表、循环滚动播放图、信息块、散点图、堆积图、饼图、地图热力图、地图散点图、地图联动图、热力图、气泡图、玫瑰图、柱线图、面积区域图、横向柱状图、桑基图、迁徙图、关系图中的一种或组合。

Claims (1)

1.一种基于大数据的网络安全可视化处理方法，其特征在于：其包括如下步骤：
步骤1：使用现有的定时器定时从ES中查询数据，然后将得到的数据按照业务需要转换成可直接使用的数据结构(Json格式)，并保存到Redis中，如果前端有Push需要，可以用Pub/Sub的方式(类似于广播)去Publish Changes Data；
步骤2：Redis可以作为数据库，当界面第一次打开或重复刷新时，直接从Redis中获取全量数据；
步骤3：前端UI界面通过Websocket监听View App(专为前端提供服务端支持，可与Timer App合并)来实时更新界面，达到实时的效果；
步骤4：Redis也可以作为消息中间件，View App通过Subscribe的方式监听Redis的Changes Data，如果Redis广播变化的数据，View App能实时监听并获取到，同时通过Websocket实时Push到前端HTML界面；
步骤5：前端HTML界面接收到数据后，在页面上进行展示，达到实时动态效果(仅更新Changes Data)。
CN201710315239.1A 2017-05-03 2017-05-03 一种基于大数据的网络安全可视化处理方法 Pending CN107426004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710315239.1A CN107426004A (zh) 2017-05-03 2017-05-03 一种基于大数据的网络安全可视化处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710315239.1A CN107426004A (zh) 2017-05-03 2017-05-03 一种基于大数据的网络安全可视化处理方法

Publications (1)

Publication Number Publication Date
CN107426004A true CN107426004A (zh) 2017-12-01

Family

ID=60424524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710315239.1A Pending CN107426004A (zh) 2017-05-03 2017-05-03 一种基于大数据的网络安全可视化处理方法

Country Status (1)

Country Link
CN (1) CN107426004A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259576A (zh) * 2017-12-27 2018-07-06 武汉网信安全技术股份有限公司 一种软硬件实时信息传输系统和方法
CN109800255A (zh) * 2018-12-29 2019-05-24 北京奇安信科技有限公司 一种可视化报表的生成方法、系统、设备和介质
CN110308901A (zh) * 2019-05-21 2019-10-08 平安普惠企业管理有限公司 处理前端页面中数据变量方法、装置、设备和存储介质
CN110633157A (zh) * 2018-06-25 2019-12-31 中兴通讯股份有限公司 菜单动态管理方法、服务器、系统和计算机可读存储介质
CN110727586A (zh) * 2019-09-16 2020-01-24 平安科技（深圳）有限公司 一种主机异常监控方法、装置、存储介质和服务器
CN110874380A (zh) * 2018-08-14 2020-03-10 山东华软金盾软件股份有限公司 一种基于移动端数据库刷新界面的方法及系统
CN112380472A (zh) * 2020-11-13 2021-02-19 浪潮电子信息产业股份有限公司 一种基于Redis的可视化视图方法及系统
CN113742365A (zh) * 2021-09-14 2021-12-03 盐城工业职业技术学院 一种用车数据可视化动态监控系统及方法
CN110727586B (zh) * 2019-09-16 2024-05-31 平安科技（深圳）有限公司 一种主机异常监控方法、装置、存储介质和服务器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914531A (zh) * 2014-03-31 2014-07-09 百度在线网络技术（北京）有限公司 数据的处理方法及装置
CN104935658A (zh) * 2015-06-17 2015-09-23 交通银行股份有限公司 一种银行任务分配方法及装置
US9331967B2 (en) * 2013-02-04 2016-05-03 Oracle International Corporation Browser/HTML friendly protocol for real-time communication signaling
CN105791291A (zh) * 2016-03-02 2016-07-20 腾讯科技（深圳）有限公司 网络应用的显示控制方法、显示中实时更新的方法和装置
CN106452867A (zh) * 2016-08-10 2017-02-22 贵阳朗玛信息技术股份有限公司 日志报文处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9331967B2 (en) * 2013-02-04 2016-05-03 Oracle International Corporation Browser/HTML friendly protocol for real-time communication signaling
CN103914531A (zh) * 2014-03-31 2014-07-09 百度在线网络技术（北京）有限公司 数据的处理方法及装置
CN104935658A (zh) * 2015-06-17 2015-09-23 交通银行股份有限公司 一种银行任务分配方法及装置
CN105791291A (zh) * 2016-03-02 2016-07-20 腾讯科技（深圳）有限公司 网络应用的显示控制方法、显示中实时更新的方法和装置
CN106452867A (zh) * 2016-08-10 2017-02-22 贵阳朗玛信息技术股份有限公司 日志报文处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卞德志: "基于云监测平台的实时数据监测", 《化工自动化及仪表》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259576A (zh) * 2017-12-27 2018-07-06 武汉网信安全技术股份有限公司 一种软硬件实时信息传输系统和方法
CN108259576B (zh) * 2017-12-27 2021-08-24 武汉网信安全技术股份有限公司 一种软硬件实时信息传输系统和方法
CN110633157A (zh) * 2018-06-25 2019-12-31 中兴通讯股份有限公司 菜单动态管理方法、服务器、系统和计算机可读存储介质
CN110874380A (zh) * 2018-08-14 2020-03-10 山东华软金盾软件股份有限公司 一种基于移动端数据库刷新界面的方法及系统
CN109800255A (zh) * 2018-12-29 2019-05-24 北京奇安信科技有限公司 一种可视化报表的生成方法、系统、设备和介质
CN110308901A (zh) * 2019-05-21 2019-10-08 平安普惠企业管理有限公司 处理前端页面中数据变量方法、装置、设备和存储介质
CN110727586A (zh) * 2019-09-16 2020-01-24 平安科技（深圳）有限公司 一种主机异常监控方法、装置、存储介质和服务器
CN110727586B (zh) * 2019-09-16 2024-05-31 平安科技（深圳）有限公司 一种主机异常监控方法、装置、存储介质和服务器
CN112380472A (zh) * 2020-11-13 2021-02-19 浪潮电子信息产业股份有限公司 一种基于Redis的可视化视图方法及系统
CN113742365A (zh) * 2021-09-14 2021-12-03 盐城工业职业技术学院 一种用车数据可视化动态监控系统及方法

Similar Documents

Publication Publication Date Title
CN107426004A (zh) 一种基于大数据的网络安全可视化处理方法
US10650593B2 (en) Holographic technology implemented security solution
EP3117415B1 (en) Hygiene tracking compliance
US9497136B1 (en) Method and system for providing usage metrics to manage utilzation of cloud computing resources
US8224942B1 (en) Network failure detection
DE102014009871A1 (de) Vorhersagendes Weiterleiten von Meldungsdaten
CN106095651A (zh) 一种3d虚拟机房监控管理方法及系统
CN104484836B (zh) 一种电网故障辅助决策可视化系统及其方法
EP1857941A2 (en) Collaborative web-based airplane level failure effects analysis tool
CN110213108A (zh) 一种网络安全态势感知预警方法及系统
CN110324793A (zh) 一种信息提醒的方法、装置及电子终端
CN101772742A (zh) 用于提供与来自过程控制系统的告警有关的统计的告警分析系统和方法
CN117280327B (zh) 使用机器学习模型通过近实时/离线数据来检测数据中心大规模中断
US11373191B2 (en) Systems, devices, components and methods for dynamically displaying performance scores associated with the performance of a building or structure
CN107958343B (zh) 一种危化品灾情物资调度方法和系统
EP3012701B1 (en) Apparatus and method for managing operator alertness and enhancing operator effectiveness for industrial control systems
CN114143220A (zh) 实时数据可视化平台
CN111228706A (zh) 基于gis的建筑内部消防设备管控方法及装置
CN103442212A (zh) 网络安防综合预警式管理系统平台
JP6015881B2 (ja) プロセス変数に関連するトレンドを表示する装置
TWI622955B (zh) 智慧社區之設備與告警事件處理方法及其系統
CN204389937U (zh) 交通设备全过程运营监控装置
JP2012014428A5 (zh)
JP4450709B2 (ja) 犯罪リスク評価装置及び犯罪リスク評価プログラム
CN106293975B (zh) 信息处理方法、信息处理装置和信息处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171201

RJ01 Rejection of invention patent application after publication