CN107547526A - 一种云地结合的数据处理方法及装置 - Google Patents

一种云地结合的数据处理方法及装置 Download PDF

Info

Publication number
CN107547526A
CN107547526A CN201710706327.4A CN201710706327A CN107547526A CN 107547526 A CN107547526 A CN 107547526A CN 201710706327 A CN201710706327 A CN 201710706327A CN 107547526 A CN107547526 A CN 107547526A
Authority
CN
China
Prior art keywords
data
behavior
abnormal
disposal
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710706327.4A
Other languages
English (en)
Inventor
冯利
高铭浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qianxin Technology Co Ltd
Original Assignee
Beijing Qianxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianxin Technology Co Ltd filed Critical Beijing Qianxin Technology Co Ltd
Priority to CN201710706327.4A priority Critical patent/CN107547526A/zh
Publication of CN107547526A publication Critical patent/CN107547526A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种云地结合的数据处理方法及装置,所述方法包括:对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;对所述云地结合数据进行分析,获取异常威胁行为;对所述异常威胁行为进行安全业务闭环的告警威胁处置。所述装置用于执行所述方法。本发明实施例通过采集本地和云端数据,以及第三方数据和等保管理数据,使得数据采集更为全面,覆盖率更高,能够保障对重大事件的发现、检测及安全分析;同时通过对异常威胁行为进行安全业务闭环的告警威胁处置,提供了一整套分阶段、不断扩展的灵活方案,降低了系统管理维护成本。

Description

一种云地结合的数据处理方法及装置
技术领域
本发明实施例涉及数据安全技术领域,具体涉及一种云地结合的数据处理方法及装置。
背景技术
长期以来,网络与信息安全系统在设计、建设过程中都是在遵循三个重要的指导模型(PDR、P2DR、IATF),这些无一例外都在强调检测与防御在安全系统中的重要性,比如基于签名和规则进行防御,用MD5码等来判断病毒与恶意文件特征,依靠规则去做简单的阻断,并高度依赖网络边界设备等,用于保障关键信息基础设施。关键信息基础设施是指一旦遭到破坏、丧失功能或数据泄露,可能严重危害国家安全、国计民生、公共利益的信息基础设施。
现有的主流安全运营管理流程如图1所示,从图1可以看出,随着云计算、大数据等技术的兴起,安全的内外网边界越来越模糊,单纯靠检测与防御解决网络安全问题已经不切实际,需要采用一种全新的思路。
现有的日常反窃密反泄密工作中,比较重视分布式系统以及临检手段的建设,但在重大事件保障的工作中,需要监控和防护的威胁种类更多。目前在DDoS(分布式拒绝服务)攻击发现与溯源、网站监测与防护、高级威胁攻击检测等领域都缺乏有效的技术手段。
传统的系统建设更多考虑是从数据中直接看到结果,但在实际业务场景中更多应该由安全分析人员综合各类系统、工具所产生的结果进行深度分析和综合研判,由于相关分析工具严重缺失,造成过度依赖专家力量,无法形成阶梯化的团队力量。
如何有效发现窃密或泄密的可疑行为往往是业务工作的开端,传统模式往往通过对被监控网络的流量还原得到会话或文件等内容,然后采用诸如沙箱技术、特征检测等传统异常检测方式,进而发现可疑的异常行为。这种方式最大的特点都是需要获得特定样本后从其软件恶意行为、网络恶意行为或域名行为上来建立特征库,这就为整个异常检测工作带来较大的难度,毕竟样本的发现和捕获难度很大,且数量较少。另一方面,这些样本的获得往往都需要借助于部署在重点保障单位网络出口的分布式设备来获得,整个周期较长,也给类似特征库的建立带来了不小的麻烦。
现有的大数据分析技术在各个行业中已经具备了有效应用,在信息安全领域,通过对大数据的分析技术,可以改变当前“黑客主动攻击、企业被动防御”的恶劣环境,这需要系统有海量的互联网数据积累,以及对安全大数据中的数据挖掘以及安全可视化等技术,将挖掘出来的重要信息联动与当前的安全防护体系中来。
以往模式更多依赖黑IP/域名进行发现,这些信息往往来自于行业内部的自主发现,外部威胁情报严重不足。不仅如此,业务工作中的分析、溯源、拓线等目前依然依赖本地采集的数据,大部分集中在流量数据等,而威胁方基本都存活在互联网世界中,造成业务工作处于被动。
在实现本发明实施例的过程中,发明人发现现有的方法缺乏对重大事件保障的技术手段和对安全分析的技术手段,且检测与发现手段依然单一,同时缺少海量数据及大数据分析技术支撑。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种云地结合的数据处理方法及装置。
第一方面,本发明实施例提出一种云地结合的数据处理方法,包括:
对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;
对所述云地结合数据进行分析,获取异常威胁行为;
对所述异常威胁行为进行安全业务闭环的告警威胁处置。
可选地,所述方法还包括:
将所述异常威胁行为和所述告警威胁处置发送至目标终端,以使所述目标终端根据各异常威胁行为的不同安全状况或各告警威胁处置的不同类型进行显示,和/或,根据不同查询条件进行统计、排序和显示。
可选地,所述告警威胁处置包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源以及情报信息的管理和挖掘。
可选地,所述对所述云地结合数据进行分析,获取异常威胁行为,具体包括:
对所述云地结合数据进行流式计算引擎分析、统计分析引擎分析和关联分析引擎分析,获取异常威胁行为。
可选地,所述对所述云地结合数据进行分析,获取异常威胁行为,具体包括:
对所述云地结合数据进行实时分析,获取异常威胁行为;
其中,所述异常威胁行为包括网站篡改、网站漏洞、分布式拒绝服务DDoS攻击、高级持续性威胁APT攻击和僵木蠕毒攻击中的一种或其组合。
可选地,所述APT攻击采用全流量还原采集方式对重点保护单位的网络访问行为和文件传输行为进行数据采集。
可选地,所述第三方数据包括所述DDoS攻击的数据、所述APT攻击的数据和所述僵木蠕毒攻击的数据中的一种或其组合;
所述本地互联网出口流量数据包括所述重点保护单位的僵木蠕毒攻击的数据和/或所述重点保护单位的网络全流量还原日志。
可选地,所述对所述异常威胁行为进行安全业务闭环的告警威胁处置,具体包括:
对所述异常威胁行为进行发现、阻断、取证、溯源、研判和拓展的安全业务闭环的告警威胁处置。
可选地,所述方法还包括:
将所述异常威胁行为对应的原始数据进行截图取证。
可选地,所述方法还包括:
采用可机读格式将所述异常威胁行为发送到本地服务器。
第二方面,本发明实施例还提出一种云地结合的数据处理装置,包括:
数据采集模块,用于对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;
数据分析模块,用于对所述云地结合数据进行分析,获取异常威胁行为;
威胁处置模块,用于对所述异常威胁行为进行安全业务闭环的告警威胁处置。
可选地,所述装置还包括:
显示模块,用于将所述异常威胁行为和所述告警威胁处置发送至目标终端,以使所述目标终端根据各异常威胁行为的不同安全状况或各告警威胁处置的不同类型进行显示,和/或,根据不同查询条件进行统计、排序和显示。
可选地,所述告警威胁处置包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源以及情报信息的管理和挖掘。
可选地,所述数据分析模块具体用于对所述云地结合数据进行流式计算引擎分析、统计分析引擎分析和关联分析引擎分析,获取异常威胁行为。
可选地,所述数据分析模块具体用于对所述云地结合数据进行实时分析,获取异常威胁行为;
其中,所述异常威胁行为包括网站篡改、网站漏洞、分布式拒绝服务DDoS攻击、高级持续性威胁APT攻击和僵木蠕毒攻击中的一种或其组合。
可选地,所述APT攻击采用全流量还原采集方式对重点保护单位的网络访问行为和文件传输行为进行数据采集。
可选地,所述第三方数据包括所述DDoS攻击的数据、所述APT攻击的数据和所述僵木蠕毒攻击的数据中的一种或其组合;
所述本地互联网出口流量数据包括所述重点保护单位的僵木蠕毒攻击的数据和/或所述重点保护单位的网络全流量还原日志。
可选地,所述威胁处置模块具体用于对所述异常威胁行为进行发现、阻断、取证、溯源、研判和拓展的安全业务闭环的告警威胁处置。
可选地,所述装置还包括:
取证模块,用于将所述异常威胁行为对应的原始数据进行截图取证。
可选地,所述装置还包括:
行为发送模块,用于采用可机读格式将所述异常威胁行为发送到本地服务器。
第三方面,本发明实施例还提出一种电子设备,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行上述方法。
第四方面,本发明实施例还提出一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机程序,所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知,本发明实施例通过采集本地和云端数据,以及第三方数据和等保管理数据,使得数据采集更为全面,覆盖率更高,能够保障对重大事件的发现、检测及安全分析;同时通过对异常威胁行为进行安全业务闭环的告警威胁处置,提供了一整套分阶段、不断扩展的灵活方案,降低了系统管理维护成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为现有技术提供的一种主流安全运营管理的流程示意图;
图2为本发明一实施例提供的一种云地结合的数据处理方法的流程示意图;
图3为本发明一实施例提供的一种云地结合的数据处理平台的结构示意图;
图4为本发明一实施例提供的一种云地结合的数据处理装置的结构示意图;
图5为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种云地结合的数据处理方法的流程示意图,包括:
S101、对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;
其中,所述本地互联网出口流量数据为本地数据,所述云端情报数据为云端数据。
所述本地互联网出口流量数据包括所述重点保护单位的僵木蠕毒攻击的数据和/或所述重点保护单位的网络全流量还原日志。
对于高级威胁,如APT攻击,本方案采用了全流量还原采集的方式,包含重点单位主机的网络访问行为、文件传输行为,这些都可能成为具体高级攻击的证据,为事件、案件的分析提供数据支撑。
所述第三方数据包括所述DDoS攻击的数据、所述APT攻击的数据和所述僵木蠕毒攻击的数据中的一种或其组合。
现有技术中缺乏第三方情报数据,包括DNS、Whois、URL、样本MD5等多种互联网数据,容易造成业务工作处于被动。
本实施例采集得到的云地结合数据中既包括了本地数据和云端数据,同时也包括了第三方数据和等保管理数据,数据收集覆盖率高。
S102、对所述云地结合数据进行分析,获取异常威胁行为。
其中,所述异常威胁行为为经过分析后存在威胁风险的异常行为。
通过对海量数据采集、汇聚、融合以及关联分析,借助机器学习和算法,即便在检测与防御系统被绕过/失效、已经被攻陷的情况下,仍然能尽快发现入侵事件,并快速追踪溯源,清晰掌握攻击过程全画像,为迅速采取工作,遏制攻击扩散提供技术基础,逐步从传统防御转变为主动侦测与及时响应。
S103、对所述异常威胁行为进行安全业务闭环的告警威胁处置。
其中,所述告警威胁处置包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源以及情报信息的管理和挖掘。
具体地,安全监测为整个方案在数据采集和分析层面的基础模块,通过采集包括云端推送数据、本地流量数据、等保数据、上级通报数据及其他第三方安全数据等数度数据,为其他子系统提供数据支撑。
态势感知将通过先进的可视化技术,面向用户直观的展现重点保护单位的安全态势和潜在风险。
通报预警主要是对安全监测及态势感知中的体现的问题以报告的形式输出并对处置结果进行跟踪处理。业务工作人员将通过此系统来判断平台所产生的告警后续的处理过程,并生成相应的工作流对告警后续的处置进行跟踪。
等保管理主要是对信息安全等级保护对象建库管理,对系统预定级、定级、安全管理情况、信息安全绩效评分情况等进行跟踪管理;同时对已进行等级保护定级备案的信息系统(含网站)面临的异常流量及网络攻击态势进行感知。
快速处置主要是针对案事件集中快速处置,利用侦查调查子系统、情报信息子系统和追踪溯源子系统对案事件进行深入分析,并在案事件处置中同时向事件发生单位发送安全隐患通知书并限期整改,从而完成对案事件的快速分析、处置、响应。
侦查调查主要是提供案件侦查数据导入接口,可将案件侦查过程中产生的数据导入平台,并提供给情报信息子系统进行汇总。同时,该子系统还将提供相应的侦查流程跟踪功能。
追踪溯源主要是依托云端线索可视化溯源分析系统,利用海量数据对现有数据仓库中人、物、地、事、组织的主题数据人工和自动可视化扩展、关联、挖掘等功能,并对上述分析结果利用可视化技术进行展现。
情报信息将案件侦破过程中的相关信息收集起来,形成统一的安全共享知识库,完成情报信息管理和情报信息挖掘。
其中,所述安全业务闭环包括了整个安全业务的各个阶段,形成一个闭环处理过程。具体地,当发现威胁后,对相关单位进行快速通知,并能实时跟踪处置进度。同时提供了多种通报手段,方便工作人员进行问题的及时查收与反馈,实现信息安全责任到位、相互协作。通过对云地两端的海量数据进行采集和存储,利用大数据技术在本地进行安全数据分析和威胁溯源,形成对异常威胁行为的画像。整个设计将遵循发现、阻断、取证、溯源、研判、拓展的安全业务闭环设计,覆盖告警威胁处置的全生命周期。
本实施例通过采集本地和云端数据,以及第三方数据和等保管理数据,使得数据采集更为全面,覆盖率更高,能够保障对重大事件的发现、检测及安全分析;同时通过对异常威胁行为进行安全业务闭环的告警威胁处置,提供了一整套分阶段、不断扩展的灵活方案,降低了系统管理维护成本。
进一步地,在上述方法实施例的基础上,所述方法还包括:
S104、将所述异常威胁行为和所述告警威胁处置发送至目标终端,以使所述目标终端根据各异常威胁行为的不同安全状况或各告警威胁处置的不同类型进行显示,和/或,根据不同查询条件进行统计、排序和显示。
具体地,现有技术中信息安全都是一种难以理解的技术,它既不像网络技术可通过拓扑方式进行直观呈现,又无法像软件开发一样有相关的产品展示,如何让领导和基础的安全运营人员对安全问题快速理解,看清重点,一直是困扰着行业从业人员的问题。
本实施例采用流行的图像和数据可视化技术,可以通过大屏幕为用户提供全局角度的清晰展示,直观的呈不同层级的安全状况分布、统计、排序等信息。并能够将相关可视化展示内容与分析过程结合,提供更加易于操作的可视化分析手段,让运营人员更快捷的定位到需要关注的安全事件,从而让安全分析的过程更直观、可展示。
进一步地,在上述方法实施例的基础上,S102具体包括:
对所述云地结合数据进行流式计算引擎分析、统计分析引擎分析和关联分析引擎分析,获取异常威胁行为。
其中,流式计算引擎作为整体的数据处理流程框架,对各类数据按照预定的流程进行流式处理,以保证各种数据处理的准确性。自身具有的特性可以满足大数据平台在数据处理及分析阶段的实时、高效、并发、可靠的要求。
具体地,本实施提供的多种分析功能主要由ES提供服务,其由4部分构成,分别是:数据查询接口层、数据缓存层、ES快速查询引擎、ES快速存储引擎。
通过多种引擎分析,能够便于快速获得更全面的异常威胁行为。
进一步地,在上述方法实施例的基础上,S102具体包括:
对所述云地结合数据进行实时分析,获取异常威胁行为;
其中,所述异常威胁行为包括网站篡改、网站漏洞、分布式拒绝服务DDoS攻击、高级持续性威胁APT攻击和僵木蠕毒攻击中的一种或其组合。
所述APT攻击采用全流量还原采集方式对重点保护单位的网络访问行为和文件传输行为进行数据采集。
具体地,针对高级威胁(含APT攻击)的威胁情报主要来源于第三方互联网安全数据采集,需要依赖于第三方的互联网大数据技术,针对互联网上活跃的数百亿样本以及样本的行为做到实时追踪分析,并结合机器学习、高级人员运营等手段对特定样本做到事先预测和深入分析,才能够逐渐挖掘出一系列与APT攻击相关的组织和攻击行为信息。
僵木蠕毒告警数据主要来源于第三方互联网安全数据采集。
重点保护单位的DDoS攻击告警数据主要来源于第三方互联网安全数据,通过互联网可以对DDoS攻击的控制端进行监控、这是通过本地系统无法完成的工作,所以依靠互联网数据资源可以对DDoS监控提供整网意义上的追踪。
重点保护单位的网站监测结果通过两种方式采集:重点网站监测数据采集和第三方互联网安全数据采集。利用云监测技术,对重点保护单位相关网站的漏洞以及被篡改情况;同时结合互联网CDN、搜索、众测网站等资源对网站的可用性、众测漏洞、挂马进行持续监测,并及时发现相关钓鱼网站。
重点保护单位的僵木蠕毒告警数据来源于本地互联网出口数据采集。
重点保护单位的网络全流量还原日志来源于本地互联网出口数据采集,依靠网络流量采集设备对重点保护单位的流量做全量镜像流量分析并还原成标准化日志。
本实施例通过采用7×24小时的实时有效监控及分析,所有网站篡改、网站漏洞、DDoS攻击事件将在很短时间内就被发现。针对本地检测类设备无法有效监控的钓鱼攻击、访问异常行为,本实施例也可以提供快速的监测和响应。
进一步地,在上述方法实施例的基础上,S103具体包括:
对所述异常威胁行为进行发现、阻断、取证、溯源、研判和拓展的安全业务闭环的告警威胁处置。
具体地,通过对云地两端的海量数据进行采集和存储,利用大数据技术在本地进行安全数据分析和威胁溯源,形成对异常威胁行为的画像。整个设计将遵循发现、阻断、取证、溯源、研判、拓展的安全业务闭环设计,覆盖告警威胁处置的全生命周期。
进一步地,在上述方法实施例的基础上,所述方法还包括:
S105、将所述异常威胁行为对应的原始数据进行截图取证。
具体地,在现有技术中信息安全问题经常面临无法取证,无法证明的相关问题,很多篡改类事件仅在特定时间内出现一段时间,往往面临无法发现、无法追责的情况。而本本实施例能够在快速发现安全问题的情况下及时进行截图取证,并能够从网页代码层面寻找到暗链、黑词的位置清晰的体现出来相关网站被攻击的事实。
进一步地,在上述方法实施例的基础上,所述方法还包括:
S106、采用可机读格式将所述异常威胁行为发送到本地服务器。
具体地,本实施例基于360自有的多维度海量互联网安全数据,进行情报挖掘与云端关联分析,提前洞悉各种安全威胁,比如DDoS攻击、僵木蠕毒、漏洞等,并将威胁情报以可机读格式推送到本地,供本地直接对威胁进行检测和分析时使用。
具体地,本实施例遵循“整合资源,信息共享”、“统一架构,业务协同”的原则,依托海量互联网数据、本地流量数据、等级保护数据及其它第三方数据,运用大数据、数据融合等新技术手段,基于现有基础设施,整合多方资源,基于用户的监管业务,面向服务架构(SOA)服务组件架构(SCA)进行标准化体系接口的设计,完善预警平台的功能,采用多层架构,以信息资源库和公共服务为基础进行开发,实现资源和服务的共享,实现数据层和应用层的分离。
云地结合的数据处理平台的整体架构如图3所示,采用数据采集、数据存储、大数据分析和业务应用四层设计,以自动化平台运维系统和安全技术服务体系为保障。
1)数据采集层
首先需要对信息安全相关数据做到采集,形成统一的数据池,为后续的应用系统开发提供基础支撑。由于数据采集方式的不同,以及相关设备的部署位置区别。数据采集分为如下几个方面:本地互联网出口流量数据采集、云端情报数据采集、第三方数据采集、等保管理数据采集。
2)数据存储层
为整个方案提供底层的数据存储服务,作为一个大数据平台需要采集存储分析海量数据,因此为了支持本地私有云海量数据的存储与快速查询,数据中心采用互联网安全公司优化过的智能检索引擎ES,支持大量的数据搜索请求和数据存储等需求,从而获得更高的查询性能,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
3)数据分析层
大数据查询分析层由底层支撑的数据总线服务从存储层获取数据,并在上层提供多种查询、分析及计算引擎以支撑不同的应用子系统。
分析中心的基础查询分析模块主要由ES提供服务,其由4部分构成,分别是:数据查询接口层、数据缓存层、ES快速查询引擎、ES快速存储引擎;分析中心的分析能力主要由流式计算引擎、统计分析引擎和关联分析引擎提供。
4)业务应用层
该层按照业务目标和实际需求,建设完成包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源、情报信息等应用。
通过上述云地结合的数据处理平台,能够实现以下效果:
1)云与本地的数据融合
传统方案中,仅关注本地产生的安全检测数据,但由于本地检测的局限性,经常会出现监控成本高、监控准确度和服务成本高的情况。而该方案的云端安全监控可以有更好的数据运营和服务保障,并比本地检测监控方案需要更低的安全服务成本。
但本方案也并没有完全摒弃本地检测手段,而是尽可能的结合本地手段,利用本地检测流量获取更全面、数据回溯性强的优点,最大化的发现各种安全问题。在考虑检测全面性的同时也兼顾成本,所有本地监测主要集中在重点网络,重点位置,采用集中式的监控方式降低部署成本。
结合云端与本地检测两方面所能提供的优势,本方案能够体现出高检出率、高覆盖度、成本低等相关特点,进而能够最大效力的呈现信息安全状态。
2)强大的高级威胁发现能力
360拥有世界范围内首屈一指的威胁发现能力,能够对重点单位提供高强度的安全监测和防护。
3)海量互联网数据支撑
作为成立10余年的互联网安全厂商,拥有国内最为丰富的安全数据储备,依赖于近6亿PC终端反馈的病毒样本信息以及云端沙箱集群提供的强大分析能力,掌握了100亿以上的可执行文件样本,以及数千万亿条样本网络行为数据。所有这些数据中包含有黑客攻击所使用的各种武器信息以及攻击行为。所有这些数据都可以通过该方案为用户查询使用,可以极大的扩展问题处置范围和分析能力。
同时360依靠其互联网技术能力爬取了全球域名2年内的whois注册信息,相关信息对于分析黑客攻击所使用的网络基础设施(如C&C域名、挂马网站)提供了强大的数据支撑。再依赖于360DNS派所能提供的DNS解析记录数据,用户可以轻松掌握哪些IP曾经访问过问题域名。
本方案可以同时将主机安全数据和网络数据相结合,相互之间可以做下钻查询,提供可视化关联查询,帮助技术分析人员对黑客攻击所使用的方法、手段、武器、基础设施、甚至是背景进行分析。延展了智慧城市的安全分析范围,由一城即可查遍全国数据。
4)性能卓越、轻松扩展
本方案在核心的数据存储和分析层面使用了大数据相关技术,可直接通过扩展硬件的方式获得整个系统计算和存储能力的扩展,无需再进行数据备份、软件更新等繁复操作,极大的降低了系统管理维护成本。同时方案的设计中充分的使用了模块化设计的方法,可以保证不同软件功能与模块之间的解耦和,可以对方案中的数据采集进行灵活调整,分部实施。而且结合了部署难度、实施成本等相关考虑后,为用户提供了一整套分阶段、不断扩展的灵活方案。既可以快速的呈现相关方案成果,又可以最大化的实现系统功能。
图4示出了本实施例提供的一种云地结合的数据处理装置的结构示意图,所述装置包括:数据采集模块401、数据分析模块402和威胁处置模块403,其中:
所述数据采集模块401用于对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;
所述数据分析模块402用于对所述云地结合数据进行分析,获取异常威胁行为;
所述威胁处置模块403用于对所述异常威胁行为进行安全业务闭环的告警威胁处置。
具体地,所述数据采集模块401对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;所述数据分析模块402对所述云地结合数据进行分析,获取异常威胁行为;所述威胁处置模块403对所述异常威胁行为进行安全业务闭环的告警威胁处置。
本实施例通过采集本地和云端数据,以及第三方数据和等保管理数据,使得数据采集更为全面,覆盖率更高,能够保障对重大事件的发现、检测及安全分析;同时通过对异常威胁行为进行安全业务闭环的告警威胁处置,提供了一整套分阶段、不断扩展的灵活方案,降低了系统管理维护成本。
进一步地,在上述装置实施例的基础上,所述装置还包括:
显示模块,用于将所述异常威胁行为和所述告警威胁处置发送至目标终端,以使所述目标终端根据各异常威胁行为的不同安全状况或各告警威胁处置的不同类型进行显示,和/或,根据不同查询条件进行统计、排序和显示。
进一步地,在上述装置实施例的基础上,所述告警威胁处置包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源以及情报信息的管理和挖掘。
进一步地,在上述装置实施例的基础上,所述数据分析模块402具体用于对所述云地结合数据进行流式计算引擎分析、统计分析引擎分析和关联分析引擎分析,获取异常威胁行为。
进一步地,在上述装置实施例的基础上,所述数据分析模块402具体用于对所述云地结合数据进行实时分析,获取异常威胁行为;
其中,所述异常威胁行为包括网站篡改、网站漏洞、分布式拒绝服务DDoS攻击、高级持续性威胁APT攻击和僵木蠕毒攻击中的一种或其组合。
进一步地,在上述装置实施例的基础上,所述APT攻击采用全流量还原采集方式对重点保护单位的网络访问行为和文件传输行为进行数据采集。
进一步地,在上述装置实施例的基础上,所述第三方数据包括所述DDoS攻击的数据、所述APT攻击的数据和所述僵木蠕毒攻击的数据中的一种或其组合;
所述本地互联网出口流量数据包括所述重点保护单位的僵木蠕毒攻击的数据和/或所述重点保护单位的网络全流量还原日志。
进一步地,在上述装置实施例的基础上,所述威胁处置模块403具体用于对所述异常威胁行为进行发现、阻断、取证、溯源、研判和拓展的安全业务闭环的告警威胁处置。
进一步地,在上述装置实施例的基础上,所述装置还包括:
取证模块,用于将所述异常威胁行为对应的原始数据进行截图取证。
进一步地,在上述装置实施例的基础上,所述装置还包括:
行为发送模块,用于采用可机读格式将所述异常威胁行为发送到本地服务器。
本实施例所述的云地结合的数据处理装置可以用于执行上述方法实施例,其原理和技术效果类似,此处不再赘述。
参照图5,所述电子设备,包括:处理器(processor)501、存储器(memory)502和总线503;
其中,
所述处理器501和存储器502通过所述总线503完成相互间的通信;
所述处理器501用于调用所述存储器502中的程序指令,以执行上述各方法实施例所提供的方法。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (22)

1.一种云地结合的数据处理方法,其特征在于,包括:
对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;
对所述云地结合数据进行分析,获取异常威胁行为;
对所述异常威胁行为进行安全业务闭环的告警威胁处置。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述异常威胁行为和所述告警威胁处置发送至目标终端,以使所述目标终端根据各异常威胁行为的不同安全状况或各告警威胁处置的不同类型进行显示,和/或,根据不同查询条件进行统计、排序和显示。
3.根据权利要求1所述的方法,其特征在于,所述告警威胁处置包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源以及情报信息的管理和挖掘。
4.根据权利要求1所述的方法,其特征在于,所述对所述云地结合数据进行分析,获取异常威胁行为,具体包括:
对所述云地结合数据进行流式计算引擎分析、统计分析引擎分析和关联分析引擎分析,获取异常威胁行为。
5.根据权利要求1所述的方法,其特征在于,所述对所述云地结合数据进行分析,获取异常威胁行为,具体包括:
对所述云地结合数据进行实时分析,获取异常威胁行为;
其中,所述异常威胁行为包括网站篡改、网站漏洞、分布式拒绝服务DDoS攻击、高级持续性威胁APT攻击和僵木蠕毒攻击中的一种或其组合。
6.根据权利要求5所述的方法,其特征在于,所述APT攻击采用全流量还原采集方式对重点保护单位的网络访问行为和文件传输行为进行数据采集。
7.根据权利要求5所述的方法,其特征在于,所述第三方数据包括所述DDoS攻击的数据、所述APT攻击的数据和所述僵木蠕毒攻击的数据中的一种或其组合;
所述本地互联网出口流量数据包括所述重点保护单位的僵木蠕毒攻击的数据和/或所述重点保护单位的网络全流量还原日志。
8.根据权利要求1所述的方法,其特征在于,所述对所述异常威胁行为进行安全业务闭环的告警威胁处置,具体包括:
对所述异常威胁行为进行发现、阻断、取证、溯源、研判和拓展的安全业务闭环的告警威胁处置。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述异常威胁行为对应的原始数据进行截图取证。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采用可机读格式将所述异常威胁行为发送到本地服务器。
11.一种云地结合的数据处理装置,其特征在于,包括:
数据采集模块,用于对本地互联网出口流量数据、云端情报数据、第三方数据和等保管理数据进行数据采集,得到云地结合数据;
数据分析模块,用于对所述云地结合数据进行分析,获取异常威胁行为;
威胁处置模块,用于对所述异常威胁行为进行安全业务闭环的告警威胁处置。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
显示模块,用于将所述异常威胁行为和所述告警威胁处置发送至目标终端,以使所述目标终端根据各异常威胁行为的不同安全状况或各告警威胁处置的不同类型进行显示,和/或,根据不同查询条件进行统计、排序和显示。
13.根据权利要求11所述的装置,其特征在于,所述告警威胁处置包括安全监测、态势感知、通报预警、等保管理、快速处置、侦查调查、追踪溯源以及情报信息的管理和挖掘。
14.根据权利要求11所述的装置,其特征在于,所述数据分析模块具体用于对所述云地结合数据进行流式计算引擎分析、统计分析引擎分析和关联分析引擎分析,获取异常威胁行为。
15.根据权利要求11所述的装置,其特征在于,所述数据分析模块具体用于对所述云地结合数据进行实时分析,获取异常威胁行为;
其中,所述异常威胁行为包括网站篡改、网站漏洞、分布式拒绝服务DDoS攻击、高级持续性威胁APT攻击和僵木蠕毒攻击中的一种或其组合。
16.根据权利要求15所述的装置,其特征在于,所述APT攻击采用全流量还原采集方式对重点保护单位的网络访问行为和文件传输行为进行数据采集。
17.根据权利要求15所述的装置,其特征在于,所述第三方数据包括所述DDoS攻击的数据、所述APT攻击的数据和所述僵木蠕毒攻击的数据中的一种或其组合;
所述本地互联网出口流量数据包括所述重点保护单位的僵木蠕毒攻击的数据和/或所述重点保护单位的网络全流量还原日志。
18.根据权利要求11所述的装置,其特征在于,所述威胁处置模块具体用于对所述异常威胁行为进行发现、阻断、取证、溯源、研判和拓展的安全业务闭环的告警威胁处置。
19.根据权利要求11所述的装置,其特征在于,所述装置还包括:
取证模块,用于将所述异常威胁行为对应的原始数据进行截图取证。
20.根据权利要求11所述的装置,其特征在于,所述装置还包括:
行为发送模块,用于采用可机读格式将所述异常威胁行为发送到本地服务器。
21.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至10任一所述的方法。
22.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机程序,所述计算机程序使所述计算机执行如权利要求1至10任一所述的方法。
CN201710706327.4A 2017-08-17 2017-08-17 一种云地结合的数据处理方法及装置 Pending CN107547526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710706327.4A CN107547526A (zh) 2017-08-17 2017-08-17 一种云地结合的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710706327.4A CN107547526A (zh) 2017-08-17 2017-08-17 一种云地结合的数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN107547526A true CN107547526A (zh) 2018-01-05

Family

ID=60971471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710706327.4A Pending CN107547526A (zh) 2017-08-17 2017-08-17 一种云地结合的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107547526A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259511A (zh) * 2018-02-28 2018-07-06 公安部第研究所 一种网络空间威胁情报共享系统及方法
CN108494727A (zh) * 2018-02-06 2018-09-04 成都清华永新网络科技有限公司 一种用于网络安全管理的安全事件闭环处理方法
CN109286629A (zh) * 2018-10-12 2019-01-29 四川长虹电器股份有限公司 一种基于web站点攻击的数据可视化态势预警系统
CN109672663A (zh) * 2018-11-09 2019-04-23 杭州安恒信息技术股份有限公司 一种安全威胁事件的闭环式网络安全监管方法及系统
CN110245497A (zh) * 2019-06-18 2019-09-17 湖南晖龙集团股份有限公司 一种卫生医疗安全监测与通报预警方法、电子设备及计算机可读存储介质
CN110460594A (zh) * 2019-07-31 2019-11-15 平安科技(深圳)有限公司 威胁情报数据采集处理方法、装置及存储介质
CN112788039A (zh) * 2021-01-15 2021-05-11 合肥浩瀚深度信息技术有限公司 一种DDoS攻击识别方法、装置及存储介质
CN113422771A (zh) * 2021-06-22 2021-09-21 北京华圣龙源科技有限公司 威胁预警方法和系统
CN113536311A (zh) * 2021-07-20 2021-10-22 国网新疆电力有限公司信息通信公司 一种基于ai技术的网络安全态势感知系统及方法
CN113965421A (zh) * 2021-12-23 2022-01-21 北京微步在线科技有限公司 应用程序接口的获取方法、装置和分析方法、装置
CN114531253A (zh) * 2020-10-30 2022-05-24 深信服科技股份有限公司 一种威胁情报生成方法、设备、系统及存储介质
CN115243511A (zh) * 2022-07-06 2022-10-25 曙光星云信息技术(北京)有限公司 一种基于云计算的集成式服务器机柜及系统
CN115766786A (zh) * 2022-11-11 2023-03-07 四川启睿克科技有限公司 一种智能家电终端业务异常的排查系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104283889A (zh) * 2014-10-20 2015-01-14 国网重庆市电力公司电力科学研究院 基于网络架构的电力系统内部apt攻击检测及预警系统
CN104753946A (zh) * 2015-04-01 2015-07-01 浪潮电子信息产业股份有限公司 一种基于网络流量元数据的安全分析框架
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN106254317A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种数据安全异常监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104283889A (zh) * 2014-10-20 2015-01-14 国网重庆市电力公司电力科学研究院 基于网络架构的电力系统内部apt攻击检测及预警系统
CN104753946A (zh) * 2015-04-01 2015-07-01 浪潮电子信息产业股份有限公司 一种基于网络流量元数据的安全分析框架
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN106254317A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种数据安全异常监控系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108494727A (zh) * 2018-02-06 2018-09-04 成都清华永新网络科技有限公司 一种用于网络安全管理的安全事件闭环处理方法
CN108259511A (zh) * 2018-02-28 2018-07-06 公安部第研究所 一种网络空间威胁情报共享系统及方法
CN109286629A (zh) * 2018-10-12 2019-01-29 四川长虹电器股份有限公司 一种基于web站点攻击的数据可视化态势预警系统
CN109672663A (zh) * 2018-11-09 2019-04-23 杭州安恒信息技术股份有限公司 一种安全威胁事件的闭环式网络安全监管方法及系统
CN109672663B (zh) * 2018-11-09 2022-03-25 杭州安恒信息技术股份有限公司 一种安全威胁事件的闭环式网络安全监管方法及系统
CN110245497A (zh) * 2019-06-18 2019-09-17 湖南晖龙集团股份有限公司 一种卫生医疗安全监测与通报预警方法、电子设备及计算机可读存储介质
CN110460594B (zh) * 2019-07-31 2022-02-25 平安科技(深圳)有限公司 威胁情报数据采集处理方法、装置及存储介质
CN110460594A (zh) * 2019-07-31 2019-11-15 平安科技(深圳)有限公司 威胁情报数据采集处理方法、装置及存储介质
CN114531253A (zh) * 2020-10-30 2022-05-24 深信服科技股份有限公司 一种威胁情报生成方法、设备、系统及存储介质
CN112788039A (zh) * 2021-01-15 2021-05-11 合肥浩瀚深度信息技术有限公司 一种DDoS攻击识别方法、装置及存储介质
CN112788039B (zh) * 2021-01-15 2023-07-25 合肥浩瀚深度信息技术有限公司 一种DDoS攻击识别方法、装置及存储介质
CN113422771A (zh) * 2021-06-22 2021-09-21 北京华圣龙源科技有限公司 威胁预警方法和系统
CN113536311A (zh) * 2021-07-20 2021-10-22 国网新疆电力有限公司信息通信公司 一种基于ai技术的网络安全态势感知系统及方法
CN113965421A (zh) * 2021-12-23 2022-01-21 北京微步在线科技有限公司 应用程序接口的获取方法、装置和分析方法、装置
CN115243511A (zh) * 2022-07-06 2022-10-25 曙光星云信息技术(北京)有限公司 一种基于云计算的集成式服务器机柜及系统
CN115766786A (zh) * 2022-11-11 2023-03-07 四川启睿克科技有限公司 一种智能家电终端业务异常的排查系统及方法
CN115766786B (zh) * 2022-11-11 2024-05-14 四川启睿克科技有限公司 一种智能家电终端业务异常的排查系统及方法

Similar Documents

Publication Publication Date Title
CN107547526A (zh) 一种云地结合的数据处理方法及装置
CN107196910B (zh) 基于大数据分析的威胁预警监测系统、方法及部署架构
US11838117B2 (en) Systems and methods for detecting and mitigating cyber security threats
CN113486351A (zh) 一种民航空管网络安全检测预警平台
De Vries et al. Systems for detecting advanced persistent threats: A development roadmap using intelligent data analysis
CN106656991A (zh) 一种网络威胁检测系统及检测方法
US11663500B2 (en) Visualizing cybersecurity incidents using knowledge graph data
CN107046543A (zh) 一种面向攻击溯源的威胁情报分析系统
CN106411562A (zh) 一种电力信息网络安全联动防御方法及系统
CN104283889A (zh) 基于网络架构的电力系统内部apt攻击检测及预警系统
CN105391729A (zh) 基于模糊测试的web漏洞自动挖掘方法
CN106534195A (zh) 一种基于攻击图的网络攻击者行为分析方法
CN104509034A (zh) 模式合并以识别恶意行为
CN102111420A (zh) 基于动态云火墙联动的智能nips架构
CN103685575A (zh) 一种基于云架构的网站安全监控方法
CN103999091A (zh) 地理映射系统安全事件
CN108123939A (zh) 恶意行为实时检测方法及装置
CN103118036A (zh) 一种基于云端的智能安全防御系统和方法
Sabri et al. Identifying false alarm rates for intrusion detection system with data mining
CN102790706A (zh) 海量事件安全分析方法及装置
CN104881483B (zh) 用于Hadoop平台数据泄露攻击的自动检测取证方法
Onashoga et al. A Strategic Review of Existing Mobile Agent-Based Intrusion Detection Systems.
CN108551449A (zh) 防病毒管理系统及方法
Lee et al. A study on efficient log visualization using d3 component against apt: How to visualize security logs efficiently?
Chhabra et al. Distributed network forensics framework: A systematic review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180105