CN109284296A - 一种大数据pb级分布式信息存储与检索平台 - Google Patents

一种大数据pb级分布式信息存储与检索平台 Download PDF

Info

Publication number
CN109284296A
CN109284296A CN201811242008.3A CN201811242008A CN109284296A CN 109284296 A CN109284296 A CN 109284296A CN 201811242008 A CN201811242008 A CN 201811242008A CN 109284296 A CN109284296 A CN 109284296A
Authority
CN
China
Prior art keywords
data
analysis
storage
layer
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811242008.3A
Other languages
English (en)
Inventor
周升理
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunrui Technology Co Ltd
Original Assignee
Beijing Yunrui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunrui Technology Co Ltd filed Critical Beijing Yunrui Technology Co Ltd
Priority to CN201811242008.3A priority Critical patent/CN109284296A/zh
Publication of CN109284296A publication Critical patent/CN109284296A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H04L63/0421—Anonymous communication, i.e. the party's identifiers are hidden from the other party or parties, e.g. using an anonymizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0478—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload applying multiple layers of encryption, e.g. nested tunnels or encrypting the content with a first key and then with at least a second key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种大数据PB级分布式信息存储与检索平台，包括数据采集层：采用分布式高速前端探针服务器，数据采集层用于完成针对海量设备的数据采集、回传；数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护；核心业务层：调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法；应用展示层：直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能。

Description

一种大数据PB级分布式信息存储与检索平台
技术领域
发明涉及大数据安全技术领域，具体为一种大数据PB级分布式信息存储与检索平台。
背景技术
随着信息技术与经济社会的交汇融合，各类数据的爆发性增长，使得“大数据”已经渗透到当今每一个行业和业务职能领域，成为了一项至关重要的生产因素，日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。
从全球来看，大数据正在改变各国综合国力、重塑未来国际战略格局，对国家主权安全形成新的挑战：大数据正在成为经济社会发展新的驱动力；大数据重新定义了大国博弈的空间；大数据将改变国家治理架构和模式；“大数据安全”也已上升为国家安全。
为了缩短内外差距，平衡敌我态势，我国家安全机关应积极响应习总书记关于网络空间安全的各项讲话精神，重视大数据技术与资源在网络空间安全领域，乃至国家安全领域的创新应用，“大数据”对抗“大数据”，借此强化对境外谍报机关网络攻击、控制、窃密行为的敌情侦测能力，加强建设完备的网络反窃密工作体系，努力打造与我国大国地位相匹配的、能与境外谍报机关等主要对手相抗衡的网络技术安全保卫工作能力。
因此，我国家安全机关亟需增强自身在网络空间大数据领域的采集、分析、应用能力，构建一个技术先进、体系成熟的大数据PB级分布式信息存储与检索平台，实现对网络空间中的重要信息进行全面感知、快速侦测和重点追踪。
发明内容
发明的目的在于提供一种大数据PB级分布式信息存储与检索平台，以解决上述背景技术中提出的问题。
为实现上述目的，发明提供如下技术方案：一种大数据PB级分布式信息存储与检索平台，包括数据采集层、数据传输层、数据存储层、核心业务层和应用展示层；
所述数据采集层：采用分布式高速前端探针服务器，其基于分布式专门用于网络高速探测，最大发包速度为1G/s，最大镜像数据带宽10G，实现数据主、被动获取和具有数据快速处理分析能力，所述数据采集层用于完成针对海量设备的数据采集、回传；
所述数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；
所述数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护，同时，存储层通过采用专用的索引算法，建立了文件索引层，实现数据的快速检索和调用；
所述核心业务层：以分布式信息存储与检索平台为基础，调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法，包括行为匹配算法，攻击行为挖掘算法，智能可疑行为发现算法，机器自动学习算法，模糊匹配算法，通过通用接口存储在数据存储中心的分布式存储平台中，计算时，通过接口发起作业，由数据存储中心的作业调度服务进程负责调度，由数据计算服务进程负责计算处理，并把结果反馈给大数据分析平台的分析模型；
所述应用展示层：应用展示层是整个系统的门户，直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能，并提供了针对具有不同权限用户的个性化应用操作界面和信息汇聚展现界面；提供网络空间拓扑结构、网络设备分布图、工控设备隐患图、物联网设备隐患图、安全漏洞分布统计。
优选的，所述数据采集层包括IP可用性探测、窃密-APT追踪探测、TCP/UDP端口状态探测、激活协议探测、木马探测端、服务端协议数据采集、未知协议数据采集和高速探测专用发包采集平台与分布式探测采集平台接合。
优选的，所述数据采集层还包括探测IP的IP端口数据，实现模拟真实IP端口协议，发送探测包；将把返回来的原始数据进行规则分析，实现判断是不是木马控制端、服务器，IP开放情况分析，IP端口数据封装清洗，所述数据采集层采集的数据通过所述数据传输层传输到所述数据存储层进行数据存储。
优选的，所述数据传输层的传输方式包括单向传输设备、加密传输设备以及保垒机。
优选的，所述数据存储层采用分布式存储方式、数据存储物理资源可扩展，并创建分布式的数据搜索库方便数据快速搜索，并且保存探测原始数据。
优选的，所述核心业务层包括数据分析模型、数据识别模型，所述数据分析模型跟据数据业务不同，建产大数据分析模型采用Hadook、Spark、HBase平台，建立可以学习的分析模型，分析数据发现可疑威胁、木马等安全隐患，数据识别模型通过自建的以Yara规则为基础识别引擎，识别IP所在设备类型、操作系统、服务协议信息，核心业务层中的模块系统将识别分析结果存储到数据存到数据搜索库。
优选的，所述应用展示层通过可视化的态势方式展示威胁态势及设备分布状态，网络结构、工控设备隐患及当安全漏洞分析情况。
优选的，所述数据采集层的模式包括主动探测、流量分析和恶意样本分析，所述主动探测从平台集中控制中心获取加密的各种木马、后门、漏洞扫描和激活特征，探测策略和探测任务数据进行解密，然后根据特征、探测策略和任务要求快速进行探测数据包构建和发送，对探测反馈数据包进行快速分析处理，将处理结果通过VPN通道回传系统平台集中控制中心；所述所述流量分析通过端口镜像方式从重点窗口单位网络出口获取数据；对端口镜像数据包进行快速分析处理，通过实时流量采集、协议分析、已知安全威胁规则和威胁情报库匹配，生成安全事件监测日志，实现网络数据流行为特征收集；将处理结果通过VPN通道回传系统平台集中控制中心；所述恶意样本分析以疑似样本为工作对象，能够安全自动地的提交和分析恶意代码的工作环境，采用静态判定、动态沙箱鉴定为手段，实现对恶意代码样本的安全提交、存储、分析和研究。
与现有技术相比，发明的有益效果是：该大数据PB级分布式信息存储与检索平台，IP可用性探测：探测IP是否存活及存状态的探测。窃密-APT追踪探测：探测IP设备是否植入木马后门的转项探测。TCP/UDP端口状态探测：探测IP设备端口开放的情况探测。激活协议探测：探测IP设备开放端口的协议、应用、操作系统版本等。木马探测端、服务端协议数据采集：模拟端口协议，采集IP端口数据，识别是否木马探测端、服务端。未知协议数据采集：探测IP端口，无法识辨数据协议的数据采集。将“杂乱”的比特数据中查找频繁特征序列，通过固定模式特征序列的频繁出现规律确定帧头位置的帧切分方法；在频繁特征序列中挖掘序列间关联规则，并聚类帧头特征近似数据帧的帧分类方法；引入基因序列比对算法进行数据帧相应字段对齐，并进行字段变化率、优势数据占比等特征量统计分析的帧头格式解析方法；以协议状态字段取值分布的分布作为基本统计量提取状态相关字段，并按字段取值定义帧状态、结合帧出现次序逆构协议状态转换过程的状态模型推断方法。通过该方法识别更新特征库。高速探测专用发包采集平台与分布式探测采集平台接合：采用分布式架构，增加发布探测速度。为了解决扫描探测工作的安全保密性问题，实现对网络节点和参与者身份信息的保护，达到防溯源、防封堵以及防监听带来的安全风险，研究一种网络匿名通信技术。主要研究一种利用互联网基础设施实现匿名通信的虚拟通信链路。基本思路是通过对互联网访问数据进行多重跳转，同时伴随多级加密处理，最终利用随机选择的一个公网IP和真实的目标服务器进行通信，保证通过互联网侦听或者服务器端反向追溯都无法获知发起端的真实信息。通过搭建一定数量境内外的服务器作为中继主机群、采用多出口分布式网络部署，通过随机选择中继节点多级跳转，中继链路、公网出口地址定时随机变化，实现匿名通信的目的。同时研究对数据流的多层次加密技术、流量混淆机制、路由重置随机算法、等，将真实主机数据报文进行多层网络加密转发，保证数据传输的安全，将真实主机的业务流中的通信关系加以伪装隐藏，使监听者无法直接获知或推知收发双方的通信关系。研究采多个中继服务器组的动态组网技术，包含虚拟链路动态随机生成，动态链路销毁，在保障随机性和动态性的基础上，兼顾动态链路的稳定性和可用性。确保数据获取的稳定性和隐蔽性。数据采集层：主要探测IP,IP端口数据，模拟真实IP端口协议，发送探测包。将把返回来的原始数据进行规则分析：判断是不是木马控制端、服务器，IP开放情况分析，IP端口数据封装清洗。采集数据通过传输层传输到数据存储层进行数据存储。数据传输层：传输方式有单向传输设备、传输加密、保垒机方式保证数据安全和数据传输安全。数据存储层：数据存采用分布式存储方式、数据存储物理资源可以扩展。并创建分布式的数据搜索库方便数据快速搜索。并且保存探测原始数据。核心业务层：建立数据分析模型、数据识别模型。数据分析模型跟据数据业务不同，建产大数据分析模型采用Hadook、Spark、HBase等平台，建立可以学习的分析模型，分析数据发现可疑威胁、木马等安全隐患。数据识别通自建的以Yara规则为基础识别引擎，识别IP所在设备类型、操作系统、服务协议等信息。核心业务层中的模块系统将识别分析结果存储到数据存到数据搜索库，方便数据快速搜索。应用展示层：通过可视化的态势方式展示威胁态势及设备分布状态，网络结构、工控设备隐患及当安全漏洞分析情况。
附图说明
图1为一种大数据PB级分布式信息存储与检索平台示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，发明提供一种技术方案：一种大数据PB级分布式信息存储与检索平台，包括数据采集层、数据传输层、数据存储层、核心业务层和应用展示层；
所述数据采集层：采用分布式高速前端探针服务器，其基于分布式专门用于网络高速探测，最大发包速度为1G/s，最大镜像数据带宽10G，实现数据主、被动获取和具有数据快速处理分析能力，所述数据采集层用于完成针对海量设备的数据采集、回传；
所述数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；
所述数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护，同时，存储层通过采用专用的索引算法，建立了文件索引层，实现数据的快速检索和调用；
所述核心业务层：以分布式信息存储与检索平台为基础，调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法，包括行为匹配算法，攻击行为挖掘算法，智能可疑行为发现算法，机器自动学习算法，模糊匹配算法，通过通用接口存储在数据存储中心的分布式存储平台中，计算时，通过接口发起作业，由数据存储中心的作业调度服务进程负责调度，由数据计算服务进程负责计算处理，并把结果反馈给大数据分析平台的分析模型；
所述应用展示层：应用展示层是整个系统的门户，直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能，并提供了针对具有不同权限用户的个性化应用操作界面和信息汇聚展现界面；提供网络空间拓扑结构、网络设备分布图、工控设备隐患图、物联网设备隐患图、安全漏洞分布统计。
所述数据采集层包括IP可用性探测、窃密-APT追踪探测、TCP/UDP端口状态探测、激活协议探测、木马探测端、服务端协议数据采集、未知协议数据采集和高速探测专用发包采集平台与分布式探测采集平台接合。
所述数据采集层还包括探测IP的IP端口数据，实现模拟真实IP端口协议，发送探测包；将把返回来的原始数据进行规则分析，实现判断是不是木马控制端、服务器，IP开放情况分析，IP端口数据封装清洗，所述数据采集层采集的数据通过所述数据传输层传输到所述数据存储层进行数据存储。
所述数据传输层的传输方式包括单向传输设备、加密传输设备以及保垒机。
所述数据存储层采用分布式存储方式、数据存储物理资源可扩展，并创建分布式的数据搜索库方便数据快速搜索，并且保存探测原始数据。
所述核心业务层包括数据分析模型、数据识别模型，所述数据分析模型跟据数据业务不同，建产大数据分析模型采用Hadook、Spark、HBase平台，建立可以学习的分析模型，分析数据发现可疑威胁、木马等安全隐患，数据识别模型通过自建的以Yara规则为基础识别引擎，识别IP所在设备类型、操作系统、服务协议信息，核心业务层中的模块系统将识别分析结果存储到数据存到数据搜索库。
所述应用展示层通过可视化的态势方式展示威胁态势及设备分布状态，网络结构、工控设备隐患及当安全漏洞分析情况。
所述数据采集层的模式包括主动探测、流量分析和恶意样本分析，所述主动探测从平台集中控制中心获取加密的各种木马、后门、漏洞扫描和激活特征，探测策略和探测任务数据进行解密，然后根据特征、探测策略和任务要求快速进行探测数据包构建和发送，对探测反馈数据包进行快速分析处理，将处理结果通过VPN通道回传系统平台集中控制中心；所述所述流量分析通过端口镜像方式从重点窗口单位网络出口获取数据；对端口镜像数据包进行快速分析处理，通过实时流量采集、协议分析、已知安全威胁规则和威胁情报库匹配，生成安全事件监测日志，实现网络数据流行为特征收集；将处理结果通过VPN通道回传系统平台集中控制中心；所述恶意样本分析以疑似样本为工作对象，能够安全自动地的提交和分析恶意代码的工作环境，采用静态判定、动态沙箱鉴定为手段，实现对恶意代码样本的安全提交、存储、分析和研究。
发明的有益效果是：该大数据PB级分布式信息存储与检索平台，IP可用性探测：探测IP是否存活及存状态的探测。窃密-APT追踪探测：探测IP设备是否植入木马后门的转项探测。TCP/UDP端口状态探测：探测IP设备端口开放的情况探测。激活协议探测：探测IP设备开放端口的协议、应用、操作系统版本等。木马探测端、服务端协议数据采集：模拟端口协议，采集IP端口数据，识别是否木马探测端、服务端。未知协议数据采集：探测IP端口，无法识辨数据协议的数据采集。将“杂乱”的比特数据中查找频繁特征序列，通过固定模式特征序列的频繁出现规律确定帧头位置的帧切分方法；在频繁特征序列中挖掘序列间关联规则，并聚类帧头特征近似数据帧的帧分类方法；引入基因序列比对算法进行数据帧相应字段对齐，并进行字段变化率、优势数据占比等特征量统计分析的帧头格式解析方法；以协议状态字段取值分布的分布作为基本统计量提取状态相关字段，并按字段取值定义帧状态、结合帧出现次序逆构协议状态转换过程的状态模型推断方法。通过该方法识别更新特征库。高速探测专用发包采集平台与分布式探测采集平台接合：采用分布式架构，增加发布探测速度。为了解决扫描探测工作的安全保密性问题，实现对网络节点和参与者身份信息的保护，达到防溯源、防封堵以及防监听带来的安全风险，研究一种网络匿名通信技术。主要研究一种利用互联网基础设施实现匿名通信的虚拟通信链路。基本思路是通过对互联网访问数据进行多重跳转，同时伴随多级加密处理，最终利用随机选择的一个公网IP和真实的目标服务器进行通信，保证通过互联网侦听或者服务器端反向追溯都无法获知发起端的真实信息。通过搭建一定数量境内外的服务器作为中继主机群、采用多出口分布式网络部署，通过随机选择中继节点多级跳转，中继链路、公网出口地址定时随机变化，实现匿名通信的目的。同时研究对数据流的多层次加密技术、流量混淆机制、路由重置随机算法、等，将真实主机数据报文进行多层网络加密转发，保证数据传输的安全，将真实主机的业务流中的通信关系加以伪装隐藏，使监听者无法直接获知或推知收发双方的通信关系。研究采多个中继服务器组的动态组网技术，包含虚拟链路动态随机生成，动态链路销毁，在保障随机性和动态性的基础上，兼顾动态链路的稳定性和可用性。确保数据获取的稳定性和隐蔽性。数据采集层：主要探测IP,IP端口数据，模拟真实IP端口协议，发送探测包。将把返回来的原始数据进行规则分析：判断是不是木马控制端、服务器，IP开放情况分析，IP端口数据封装清洗。采集数据通过传输层传输到数据存储层进行数据存储。数据传输层：传输方式有单向传输设备、传输加密、保垒机方式保证数据安全和数据传输安全。数据存储层：数据存采用分布式存储方式、数据存储物理资源可以扩展。并创建分布式的数据搜索库方便数据快速搜索。并且保存探测原始数据。核心业务层：建立数据分析模型、数据识别模型。数据分析模型跟据数据业务不同，建产大数据分析模型采用Hadook、Spark、HBase等平台，建立可以学习的分析模型，分析数据发现可疑威胁、木马等安全隐患。数据识别通自建的以Yara规则为基础识别引擎，识别IP所在设备类型、操作系统、服务协议等信息。核心业务层中的模块系统将识别分析结果存储到数据存到数据搜索库，方便数据快速搜索。应用展示层：通过可视化的态势方式展示威胁态势及设备分布状态，网络结构、工控设备隐患及当安全漏洞分析情况。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种大数据PB级分布式信息存储与检索平台，其特征在于：包括数据采集层、数据传输层、数据存储层、核心业务层和应用展示层；
所述数据采集层：采用分布式高速前端探针服务器，其基于分布式专门用于网络高速探测，最大发包速度为1G/s，最大镜像数据带宽10G，实现数据主、被动获取和具有数据快速处理分析能力，所述数据采集层用于完成针对海量设备的数据采集、回传；
所述数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；
所述数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护，同时，存储层通过采用专用的索引算法，建立了文件索引层，实现数据的快速检索和调用；
所述核心业务层：以分布式信息存储与检索平台为基础，调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法，包括行为匹配算法，攻击行为挖掘算法，智能可疑行为发现算法，机器自动学习算法，模糊匹配算法，通过通用接口存储在数据存储中心的分布式存储平台中，计算时，通过接口发起作业，由数据存储中心的作业调度服务进程负责调度，由数据计算服务进程负责计算处理，并把结果反馈给大数据分析平台的分析模型；
所述应用展示层：应用展示层是整个系统的门户，直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能，并提供了针对具有不同权限用户的个性化应用操作界面和信息汇聚展现界面；提供网络空间拓扑结构、网络设备分布图、工控设备隐患图、物联网设备隐患图、安全漏洞分布统计。
2.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述数据采集层包括IP可用性探测、窃密-APT追踪探测、TCP/UDP端口状态探测、激活协议探测、木马探测端、服务端协议数据采集、未知协议数据采集和高速探测专用发包采集平台与分布式探测采集平台接合。
3.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述数据采集层还包括探测IP的IP端口数据，实现模拟真实IP端口协议，发送探测包；将把返回来的原始数据进行规则分析，实现判断是不是木马控制端、服务器，IP开放情况分析，IP端口数据封装清洗，所述数据采集层采集的数据通过所述数据传输层传输到所述数据存储层进行数据存储。
4.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述数据传输层的传输方式包括单向传输设备、加密传输设备以及保垒机。
5.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述数据存储层采用分布式存储方式、数据存储物理资源可扩展，并创建分布式的数据搜索库方便数据快速搜索，并且保存探测原始数据。
6.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述核心业务层包括数据分析模型、数据识别模型，所述数据分析模型跟据数据业务不同，建产大数据分析模型采用Hadook、Spark、HBase平台，建立可以学习的分析模型，分析数据发现可疑威胁、木马等安全隐患，数据识别模型通过自建的以Yara规则为基础识别引擎，识别IP所在设备类型、操作系统、服务协议信息，核心业务层中的模块系统将识别分析结果存储到数据存到数据搜索库。
7.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述应用展示层通过可视化的态势方式展示威胁态势及设备分布状态，网络结构、工控设备隐患及当安全漏洞分析情况。
8.如权利要求1所述的一种大数据PB级分布式信息存储与检索平台，其特征在于：所述数据采集层的模式包括主动探测、流量分析和恶意样本分析，所述主动探测从平台集中控制中心获取加密的各种木马、后门、漏洞扫描和激活特征，探测策略和探测任务数据进行解密，然后根据特征、探测策略和任务要求快速进行探测数据包构建和发送，对探测反馈数据包进行快速分析处理，将处理结果通过VPN通道回传系统平台集中控制中心；所述所述流量分析通过端口镜像方式从重点窗口单位网络出口获取数据；对端口镜像数据包进行快速分析处理，通过实时流量采集、协议分析、已知安全威胁规则和威胁情报库匹配，生成安全事件监测日志，实现网络数据流行为特征收集；将处理结果通过VPN通道回传系统平台集中控制中心；所述恶意样本分析以疑似样本为工作对象，能够安全自动地的提交和分析恶意代码的工作环境，采用静态判定、动态沙箱鉴定为手段，实现对恶意代码样本的安全提交、存储、分析和研究。
CN201811242008.3A 2018-10-24 2018-10-24 一种大数据pb级分布式信息存储与检索平台 Pending CN109284296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811242008.3A CN109284296A (zh) 2018-10-24 2018-10-24 一种大数据pb级分布式信息存储与检索平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811242008.3A CN109284296A (zh) 2018-10-24 2018-10-24 一种大数据pb级分布式信息存储与检索平台

Publications (1)

Publication Number Publication Date
CN109284296A true CN109284296A (zh) 2019-01-29

Family

ID=65177755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811242008.3A Pending CN109284296A (zh) 2018-10-24 2018-10-24 一种大数据pb级分布式信息存储与检索平台

Country Status (1)

Country Link
CN (1) CN109284296A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872732A (zh) * 2019-02-18 2019-06-11 董齐光 一种计算机大数据储存系统
CN110120950A (zh) * 2019-05-13 2019-08-13 四川长虹电器股份有限公司 一种基于物联网流量进行威胁分析的系统及方法
CN110135172A (zh) * 2019-04-01 2019-08-16 深圳市豪斯特力节能环保科技有限公司 一种设备数据管理方法、存储介质及其智能终端
CN110300122A (zh) * 2019-07-25 2019-10-01 陈蔚 一种物联网电子信息处理系统及方法
CN111355788A (zh) * 2020-02-21 2020-06-30 深圳供电局有限公司 一种分布式数据中心管理系统
CN111538987A (zh) * 2020-04-26 2020-08-14 浙江荃润信息技术有限公司 一种基于大数据的信息安全存储系统
CN111835728A (zh) * 2020-06-15 2020-10-27 广州海颐信息安全技术有限公司 隐匿特权访问真实网络和协议的方法及装置
CN112035836A (zh) * 2019-06-04 2020-12-04 四川大学 一种恶意代码家族api序列挖掘方法
CN112637244A (zh) * 2021-01-08 2021-04-09 江苏天翼安全技术有限公司 一种针对常见与工控协议及端口的威胁检测方法
CN112905559A (zh) * 2021-02-01 2021-06-04 四川观想科技股份有限公司 一种多源异构数据采集系统及采集方法
CN113810475A (zh) * 2021-08-30 2021-12-17 中国电子科技集团公司第五十四研究所 一种基于大数据架构的Wifi探针设备管控系统
CN116483916A (zh) * 2023-02-14 2023-07-25 中国人民解放军63811部队 基于子段拆分的高频实时码流存储和数据同步检索系统
CN115630677B (zh) * 2022-11-07 2023-10-13 北京百度网讯科技有限公司 任务处理方法、装置、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753946A (zh) * 2015-04-01 2015-07-01 浪潮电子信息产业股份有限公司 一种基于网络流量元数据的安全分析框架
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
CN106534146A (zh) * 2016-11-28 2017-03-22 北京天行网安信息技术有限责任公司 一种安全监测系统及方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
US20170300698A1 (en) * 2016-04-19 2017-10-19 Synack, Inc. Distributed System for Discovery of Vulnerabilities in Applications Including Detecting and/or Filtering Out Vulnerability Duplicates
CN108040074A (zh) * 2018-01-26 2018-05-15 华南理工大学 一种基于大数据的实时网络异常行为检测系统及方法
CN108259462A (zh) * 2017-11-29 2018-07-06 国网吉林省电力有限公司信息通信公司 基于海量网络监测数据的大数据安全分析系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753946A (zh) * 2015-04-01 2015-07-01 浪潮电子信息产业股份有限公司 一种基于网络流量元数据的安全分析框架
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
US20170300698A1 (en) * 2016-04-19 2017-10-19 Synack, Inc. Distributed System for Discovery of Vulnerabilities in Applications Including Detecting and/or Filtering Out Vulnerability Duplicates
CN106534146A (zh) * 2016-11-28 2017-03-22 北京天行网安信息技术有限责任公司 一种安全监测系统及方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN108259462A (zh) * 2017-11-29 2018-07-06 国网吉林省电力有限公司信息通信公司 基于海量网络监测数据的大数据安全分析系统
CN108040074A (zh) * 2018-01-26 2018-05-15 华南理工大学 一种基于大数据的实时网络异常行为检测系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BLAKE BRYANT 等: "A novel kill-chain framework for remote security log analysis with SIEM software", 《COMPUTERS & SECURITY》 *
甄延明: "信息系统检测发现与应急处置平台设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
管磊 等: "基于大数据的网络安全态势感知技术研究", 《入选论文》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872732A (zh) * 2019-02-18 2019-06-11 董齐光 一种计算机大数据储存系统
CN110135172A (zh) * 2019-04-01 2019-08-16 深圳市豪斯特力节能环保科技有限公司 一种设备数据管理方法、存储介质及其智能终端
CN110120950A (zh) * 2019-05-13 2019-08-13 四川长虹电器股份有限公司 一种基于物联网流量进行威胁分析的系统及方法
CN112035836A (zh) * 2019-06-04 2020-12-04 四川大学 一种恶意代码家族api序列挖掘方法
CN110300122A (zh) * 2019-07-25 2019-10-01 陈蔚 一种物联网电子信息处理系统及方法
CN111355788A (zh) * 2020-02-21 2020-06-30 深圳供电局有限公司 一种分布式数据中心管理系统
CN111538987A (zh) * 2020-04-26 2020-08-14 浙江荃润信息技术有限公司 一种基于大数据的信息安全存储系统
CN111835728A (zh) * 2020-06-15 2020-10-27 广州海颐信息安全技术有限公司 隐匿特权访问真实网络和协议的方法及装置
CN111835728B (zh) * 2020-06-15 2023-09-01 广州海颐信息安全技术有限公司 隐匿特权访问真实网络和协议的方法及装置
CN112637244A (zh) * 2021-01-08 2021-04-09 江苏天翼安全技术有限公司 一种针对常见与工控协议及端口的威胁检测方法
CN112905559A (zh) * 2021-02-01 2021-06-04 四川观想科技股份有限公司 一种多源异构数据采集系统及采集方法
CN112905559B (zh) * 2021-02-01 2022-02-11 四川观想科技股份有限公司 一种多源异构数据采集系统及采集方法
CN113810475A (zh) * 2021-08-30 2021-12-17 中国电子科技集团公司第五十四研究所 一种基于大数据架构的Wifi探针设备管控系统
CN115630677B (zh) * 2022-11-07 2023-10-13 北京百度网讯科技有限公司 任务处理方法、装置、电子设备及介质
CN116483916A (zh) * 2023-02-14 2023-07-25 中国人民解放军63811部队 基于子段拆分的高频实时码流存储和数据同步检索系统

Similar Documents

Publication Publication Date Title
CN109284296A (zh) 一种大数据pb级分布式信息存储与检索平台
Gómez et al. On the generation of anomaly detection datasets in industrial control systems
CN114257386B (zh) 检测模型的训练方法、系统、设备及存储介质
Hoque et al. An implementation of intrusion detection system using genetic algorithm
CN104303153B (zh) 用于异常子图检测、异常/更改检测和网络态势感知的路径扫描
CN107733851A (zh) 基于通信行为分析的dns隧道木马检测方法
CN107135093A (zh) 一种基于有限自动机的物联网入侵检测方法及检测系统
Giatsoglou et al. Retweeting activity on twitter: Signs of deception
CN109600363A (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
CN109450842A (zh) 一种基于神经网络的网络恶意行为识别方法
CN107070929A (zh) 一种工控网络蜜罐系统
Krishnaveni et al. Ensemble approach for network threat detection and classification on cloud computing
CN1889573A (zh) 一种主动诱骗方法与系统
CN106685984A (zh) 一种基于数据包捕获技术的网络威胁分析系统及方法
Patil et al. S-DDoS: Apache spark based real-time DDoS detection system
Gomes et al. Cryingjackpot: Network flows and performance counters against cryptojacking
Hanmanthu et al. SQL Injection Attack prevention based on decision tree classification
Pirozmand et al. Intrusion detection into cloud-fog-based iot networks using game theory
Malik et al. IoT-Sentry: A cross-layer-based intrusion detection system in standardized Internet of Things
Eswari A survey on detection of ddos attacks using machine learning approaches
Wu et al. Abnormal detection of wireless power terminals in untrusted environment based on double hidden Markov model
Sukhwani et al. A survey of anomaly detection techniques and hidden markov model
Bravo et al. Distributed Denial of Service Attack Detection in Application Layer Based on User Behavior.
CN104270373B (zh) 一种基于时间特征的Web服务器匿名访问流量检测方法
Abou Haidar et al. High perception intrusion detection system using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication