CN107682166B - 基于大数据的安全运维服务平台远程数据采集的实现方法 - Google Patents

基于大数据的安全运维服务平台远程数据采集的实现方法 Download PDF

Info

Publication number
CN107682166B
CN107682166B CN201610618184.7A CN201610618184A CN107682166B CN 107682166 B CN107682166 B CN 107682166B CN 201610618184 A CN201610618184 A CN 201610618184A CN 107682166 B CN107682166 B CN 107682166B
Authority
CN
China
Prior art keywords
remote
soc
service platform
maintenance service
acquisition equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610618184.7A
Other languages
English (en)
Other versions
CN107682166A (zh
Inventor
李木金
凌飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Liancheng Technology Development Co ltd
Original Assignee
Nanjing Liancheng Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Liancheng Technology Development Co ltd filed Critical Nanjing Liancheng Technology Development Co ltd
Priority to CN201610618184.7A priority Critical patent/CN107682166B/zh
Publication of CN107682166A publication Critical patent/CN107682166A/zh
Application granted granted Critical
Publication of CN107682166B publication Critical patent/CN107682166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/085—Retrieval of network configuration; Tracking network configuration history
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了基于大数据的安全运维服务平台远程数据采集的实现方法，包括远程数据采集模块、依赖策略配置模块。本发明通过创建远程数据采集模块和依赖策略配置模块，实现对漏洞、配置等信息的远程采集和实时分析，并将分析结果实时上传给平台；减轻了安全运维服务平台集中采集的压力，提高了安全运维服务平台的性能及其系统的可扩展性，另一方面，也降低了安全运维服务平台的建设成本。

Description

基于大数据的安全运维服务平台远程数据采集的实现方法
技术领域
本发明涉及信息安全、大数据应用技术领域，尤其涉及到基于大数据安全运维服务平台数据采集的实现方法。
背景技术
本发明中包含的英文简称如下：
SOC：Security Operation Center安全管理中心
IDS：Intrusion Detection Systems入侵检测系统
SNMP：Simple Network Management Protocol简单网络管理协议
CLF：Common Log Format 普通日志格式
JSON：JavaScript Object Notation JAVA脚本对象符号
HDFS：Hadoop Distribute File SystemHadoop分布式文件系统。
安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。
当前，企业IT系统都不同程度地部署了各种不同的业务系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，因为一旦网络及各业务系统出现安全事件或故障，如果不能及时发现、及时处理、及时恢复，这势必直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到用户的系统将直接导致用户投诉，满意度下降，企业形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，由于各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行；日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪系统事件和实时检测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营。
然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和Web服务器等所产生的日志，随着企业IT系统规模的不断扩大，尤其是它的种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT系统的日志规模的这样海量地增长，迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来对日志进行集中存储、对日志进行集中处理和日志分析，对系统事件进行实时跟踪，对安全攻击进行实时检测。
目前，已有的安全运维服务平台的数据采集的实现方法，都使用集中采集数据的方式，可能耗时和费钱，已无法胜任当前企业的安全运维服务平台对系统实时性能和低成本的任务。因此，迫切需要一种全新的理念来对海量日志和漏洞信息进行实时分析和管理。
为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。
发明内容
本发明提供了一种基于大数据的安全运维服务平台的远程数据采集的实现方法，以解决现有技术问题存在数据采集可扩展性差、性能差、成本高等缺陷。
本发明的一种基于大数据的安全运维服务平台的远程数据采集的实现方法，应用于能够为多个企业提供各种安全服务和运维监控服务的安全运维监控服务平台中。
所述安全服务包括配置管理、安全风险评估、威胁检测、漏洞扫描、防病毒等。
所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理等。
所述方法包括远程数据采集模块、依赖策略配置模块。
所述远程数据采集模块，根据安全运维服务平台的配置，负责采集平台所指派的SOC的漏洞、配置等信息。
所述依赖策略配置模块，配置远程数据采集的策略，远程数据采集模块承担一部分安全运维服务平台的数据采集任务，远程数据采集模块采集平台所指派的SOC的漏洞等信息，而与安全运维服务平台相距较远。
进一步地，平台根据远程数据采集模块与SOC的距离远近，指派相应的远程数据采集模块，
进一步地，远程数据采集模块对所述漏洞、配置等信息及时地进行分析，并将分析结果实时地传送给安全运维服务平台。
本发明通过创建远程数据采集模块和依赖策略配置模块，实现对漏洞、配置等信息的远程采集和实时分析，并将分析结果实时地上传给平台，减轻了安全运维服务平台的压力，提高了安全运维服务平台的性能及其系统的可扩展性，另一方面，也降低了安全运维服务平台的建设成本。
附图说明
图1为本发明所述的基于大数据的安全运维服务平台远程数据采集的实现方法的示意图。
具体实施方式
下面是根据附图和实例对本发明的进一步详细说明：
图1为本发明所述的基于大数据的安全运维服务平台远程数据采集的实现方法的示意图，它具有如下功能：
（1）安全运维服务平台根据远程数据采集模块与SOC的距离远近，指派相应的远程数据采集模块，就近采集异地SOC的安全运维信息：例如安全事件、漏洞、故障和配置信息等。
（2）减轻安全运维服务平台的数据采集压力；
（3）提升系统性能、可扩展性和降低建设成本。
所述安全运维服务平台，被设计成一种分布式的架构，由多个企业级的SOC所组成，每个SOC包含若干采集设备、远程采集设备、数据库、数据分析服务器等。
所述SOC，其中的一个SOC作为全局的安全操作中心，该SOC包含若干采集设备、远程采集设备（或远程采集模块）、本地数据库、全局数据库、全局数据分析服务器、依赖策略配置模块，等。
每一个SOC的采集设备负责采集所辖企业的网络设备事件信息、性能信息、漏洞信息和配置信息等，并经过预处理后转发给本地数据分析服务器。
每一个SOC的远程采集模块安装了安全运维服务工具软件，例如漏洞扫描软件等，根据采集配置策略，负责采集与之相邻的SOC的漏洞信息等，例如，下表所罗列的交换机采集内容与方式中，包括远程采集的内容。
Figure DEST_PATH_IMAGE001
所述依赖策略配置模块，通过安全运维服务平台，配置远程采集模块采集的对象，这里指的是其它SOC，即该远程采集模块不属于该SOC，且平台与这个SOC较该远程采集模块的距离远许多。
每一个SOC的远程采集模块也具有容错功能，如果当其中一台远程采集设备发生故障时，则能够自动地选择另一台备份的远程采集设备，选择的原则可以根据远程采集设备的CPU、内存、硬盘和存活信息等进行选择。
每一个SOC的远程采集设备采集与之邻近的SOC的网络设备的日志、格式化日志，并把这些日志发送到本地SOC的数据库和数据分析模块，然后发送给全局数据库。
每一个SOC，至少包含一个远程采集设备，在有多个远程采集设备的情况下，其中一个远程采集设备兼任管理角色，即它负责管理在同一个SOC之内的所有远程采集设备，这里被称之为管理远程采集设备。它周期性地轮询其它所辖的远程采集设备，并且当某一个远程采集设备发生故障时，则该设备根据依赖策略选择正常的远程采集设备代替已故障的远程采集设备来采集所在SOC的安全运维管理信息。负责管理的远程采集设备也有备份，这里称之为“管理远程采集设备”。
所述SOC的数据分析服务器负责本地SOC的安全分析和运维监控。它分析本地SOC数据库里的格式化的日志信息、配置信息和漏洞信息等，并产生告警。然后，关联该告警以发现更复杂的入侵（例如，一般由多个事件所组成）。通过SOC数据分析服务器，安全事件及故障告警数量减少了很多。由本地SOC的数据分析服务器产生的分析结果被发送到全局数据库。
所述全局数据分析模块负责该各个本地数据库发送过来的信息，关联全局数据库里的告警和合并全局数据库里的告警，产生基于全局的最优及最准确的输出。它也能够检测出牵涉多个SOC的更复杂的告警。全局数据分析服务器周期性地轮询所辖SOC数据库，并且当它们其中的一个SOC数据分析服务器发生故障而不能正常运行时，则全局数据分析服务器根据依赖策略代替该数据分析服务器的安全服务及运维监控。全局分析服务器也有备份。
所述全局数据分析模块，将有关分析结果发送到界面上进行显示、或发送给安全管理人员（或客服）进行处理和维护等。
所述全局的SOC，即安全运维服务平台。
以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。

Claims (3)

1.基于大数据的安全运维服务平台远程数据采集的实现方法，其特征在于，所述方法，包括：
（1）所述安全运维服务平台，被设计成一种分布式的架构，由多个企业级的SOC所组成，其中的一个SOC作为全局的安全操作中心；
（2）每个SOC包括采集设备、远程采集设备、数据库、数据分析模块；
（3）所述全局的安全操作中心，包含若干采集设备、远程采集设备、本地数据库、全局数据库、全局数据分析模块、依赖策略配置模块；
（4）依赖策略配置模块，通过安全运维服务平台配置远程采集设备采集指定的异地SOC，所述远程采集设备不属于指定的异地SOC；
（5）所述远程采集设备，能够就近采集异地SOC的网络设备的日志、格式化日志，并把这些日志发送到本地SOC的数据库和数据分析模块，然后发送给全局数据库，在有多个远程采集设备的情况下，其中一个远程采集设备兼任管理角色，即它负责管理在同一个SOC之内的所有远程采集设备，当某一个远程采集设备发生故障时，则该管理角色的远程采集设备根据依赖策略选择正常的远程采集设备代替已故障的远程采集设备；
（6）所述采集设备，负责采集所辖企业的网络设备事件信息、性能信息、漏洞信息和配置信息，并经过预处理后转发给本地数据分析模块。
2.如权利要求1所述的基于大数据的安全运维服务平台远程数据采集的实现方法，所述数据分析模块，负责本地SOC的安全分析和运维监控。
3.如权利要求1所述的基于大数据的安全运维服务平台远程数据采集的实现方法，所述全局数据分析模块，能够检测出牵涉多个SOC的告警，并将有关分析结果发送到界面上进行显示、或发送给安全管理人员进行处理和维护。
CN201610618184.7A 2016-08-01 2016-08-01 基于大数据的安全运维服务平台远程数据采集的实现方法 Active CN107682166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610618184.7A CN107682166B (zh) 2016-08-01 2016-08-01 基于大数据的安全运维服务平台远程数据采集的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610618184.7A CN107682166B (zh) 2016-08-01 2016-08-01 基于大数据的安全运维服务平台远程数据采集的实现方法

Publications (2)

Publication Number Publication Date
CN107682166A CN107682166A (zh) 2018-02-09
CN107682166B true CN107682166B (zh) 2021-06-11

Family

ID=61133529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610618184.7A Active CN107682166B (zh) 2016-08-01 2016-08-01 基于大数据的安全运维服务平台远程数据采集的实现方法

Country Status (1)

Country Link
CN (1) CN107682166B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062762A (zh) * 2018-07-26 2018-12-21 浙江数链科技有限公司 格式化日志推送方法及装置
CN109446817A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种大数据检测与审计系统
CN111027722B (zh) * 2019-11-26 2023-08-01 常州工业职业技术学院 一种企业标签化运维系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582883A (zh) * 2009-06-26 2009-11-18 西安电子科技大学 通用网络安全管理系统及其管理方法
CN101826993A (zh) * 2010-02-04 2010-09-08 蓝盾信息安全技术股份有限公司 一种安全事件监测方法、系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582883A (zh) * 2009-06-26 2009-11-18 西安电子科技大学 通用网络安全管理系统及其管理方法
CN101826993A (zh) * 2010-02-04 2010-09-08 蓝盾信息安全技术股份有限公司 一种安全事件监测方法、系统及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"分布式日志数据采集代理框架的研究与设计";陈涛;《华中师范大学硕士学位论文》;20091231;第6-17页，第23页，第39页 *
"分布式日志采集系统数据传输分析研究";齐剑雄等;《软件》;20121031;第33卷(第10期);第95-96页 *

Also Published As

Publication number Publication date
CN107682166A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
US10339309B1 (en) System for identifying anomalies in an information system
US11075819B2 (en) Identifying unauthorized changes to network elements and determining the impact of unauthorized changes to network elements on network services
CN109768889A (zh) 一种可视化安全管理智慧运维平台
CN111108733B (zh) 在基于网络功能虚拟化(nfv)的通信网络和软件定义的网络(sdns)中提供安全性的系统、方法和计算机程序
CN107547228B (zh) 一种基于大数据的安全运维管理平台的实现架构
US11316756B2 (en) Self-tuning networks using distributed analytics
CN107809321B (zh) 一种安全风险评估和告警生成的实现方法
CN107682166B (zh) 基于大数据的安全运维服务平台远程数据采集的实现方法
Wang et al. A centralized HIDS framework for private cloud
CN110033174A (zh) 一种工业信息安全保障体系建设方法
CN106254125A (zh) 基于大数据的安全事件相关性分析的方法及系统
US8307219B2 (en) Enterprise black box system and method for data centers
CN107733941B (zh) 一种基于大数据的数据采集平台的实现方法及系统
CN116662112A (zh) 一种使用全自动扫描和系统状态评估的数字监控平台
Miloslavskaya Network Security Intelligence Center as a combination of SIC and NOC
US20210126932A1 (en) System for technology infrastructure analysis
CN111885094B (zh) 一种工控系统网络安全防护能力检查评估系统
Gnatyuk et al. Modern SIEM Analysis and Critical Requirements Definition in the Context of Information Warfare
EP2911362B1 (en) Method and system for detecting intrusion in networks and systems based on business-process specification
Mondal et al. On dependability, cost and security trade-off in cloud data centers
US20240171601A1 (en) Method for assurance and monitoring of continuous active security data availability
Christabel Adaptive And Fault-Tolerant Data Processing In Cloud Environment
CN117729126A (zh) 数据处理方法、系统、电子设备及存储介质
Ding et al. The Genealogy of Crisis: Unraveling Cloud Incidents from the Flow-Oriented Perspective
Li et al. Method for Locating Communication Device Faults

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant