CN108833383B - 基于深度学习和agent的联动防御系统 - Google Patents

基于深度学习和agent的联动防御系统 Download PDF

Info

Publication number
CN108833383B
CN108833383B CN201810554158.1A CN201810554158A CN108833383B CN 108833383 B CN108833383 B CN 108833383B CN 201810554158 A CN201810554158 A CN 201810554158A CN 108833383 B CN108833383 B CN 108833383B
Authority
CN
China
Prior art keywords
module
linkage defense
file
linkage
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810554158.1A
Other languages
English (en)
Other versions
CN108833383A (zh
Inventor
于晓文
陈春霖
赵俊峰
林学峰
金倩倩
姜帆
郭靓
李斌斌
廖鹏
刘剑
夏元轶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information And Communication Branch Of Jiangsu Electric Power Co Ltd
NARI Group Corp
Nari Information and Communication Technology Co
Original Assignee
Information And Communication Branch Of Jiangsu Electric Power Co Ltd
NARI Group Corp
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information And Communication Branch Of Jiangsu Electric Power Co Ltd, NARI Group Corp, Nari Information and Communication Technology Co filed Critical Information And Communication Branch Of Jiangsu Electric Power Co Ltd
Priority to CN201810554158.1A priority Critical patent/CN108833383B/zh
Publication of CN108833383A publication Critical patent/CN108833383A/zh
Application granted granted Critical
Publication of CN108833383B publication Critical patent/CN108833383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于深度学习和agent的联动防御系统，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；本发明的实施过程为：检测监控范围内的异常行为，对异常行为生成告警；依据告警信息形成联动防御策略并下发到指定主机的agent；主机的agent接收到联动防御策略后执行策略定义的动作，完成联动防御。本发明使用策略联动机制，将检测结果与主机防御有机地联动，大大降低了联动防御的响应时间，增加了联动防御的有效性，具有明显的、重要的社会意义和实用意义。

Description

基于深度学习和agent的联动防御系统
技术领域
本发明涉及一种基于深度学习和agent的联动防御系统，属于安全监测和联动防御技术领域。
背景技术
2017年6月1日，国家正式施行《国家网络安全法》，其中强调敏感信息监测的重要性，数据泄露违规行为必定会给行业的社会形象及经济效益带来严重的负面影响。
数据泄露行为细分包括泄露存储于数据库中的结构数据，企业发展战略、合同、项目发展规划等企业运营过程中涉及商业秘密的办公文件。较为常用的数据泄露违规行为的检测基于敏感关键字匹配，该方法的漏报率和误报率都较高，例如一篇普通文件里面含有“不能说的秘密、规划、下一步、计划”等敏感关键字时，就会被基于敏感关键字匹配程序误判为敏感文件，后期需要耗费大量人力去复核。另一方面，现有的行为阻断方式大多为单体防御响应，即监控系统检测到数据泄露违规行为后产生告警，处置人员在看到告警信息后使用手工手段进行告警处置，当待处置告警量大时，首先操作人员难以有效确认告警信息；其次，操作人员不能快速处置及时有效阻断数据泄露违规行为。
综上所述，传统的数据泄露违规行为检测方法较为机械化，容易产生大量的漏报和误报，且防御响应方式较为单一、滞后，不利于事件的全面检测和及时处理。
发明内容
为解决上述问题，本发明提供一种基于深度学习和agent的联动防御系统，通过镜像流量过滤解析获得传输文件协议中传输的文件，还原并检测是否包含敏感信息，生成告警信息，并生成联动防御策略下发，进而实现数据泄露违规行为检测漏报率、误报率的改善和联动响应时间的减少。
为达到上述目的，本发明采用的技术方案如下：
基于深度学习和agent的联动防御系统，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；
所述高速流量获取模块，在数据平面基于高速流量技术抓取高速网络流数据包；
所述协议解析模块，采用多核多线程，实现网络流分流、流还原和协议解析，过滤出传输文件协议，还原协议中的文件，并将经过协议解析的文件作为文件还原及加密存储模块的输入；
所述文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征与还原文件关联，得到关联信息传递给敏感信息检测模块；
所述敏感信息检测模块，采用卷积神经网络算法，实现文件的敏感信息检测，将检测的敏感文件所带的关联信息发送给敏感告警模块；
所述敏感告警模块，根据文件敏感级别，对数据泄露违规行为进行分级告警，将数据泄露违规行为的主体IP和泄露内容，形成告警数据，下发到联动防御策略决策模块；
所述联动防御策略决策模块，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址，根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略；
所述联动防御策略决策下发模块，根据联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent；
所述联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制；
所述联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。
前述的协议解析模块的协议解析过程为：协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。
前述的协议解析模块在进行协议解析之前，在TCP层根据网络流数据包是否分片，网络流数据包的方向和网络流数据包的序号，判断当前网络流数据包是否进行报文重组，将分片网络流数据包送入缓存队列，等分片报文搜集完毕进行重组后再进行协议解析。
前述的流量信息特征包括源IP地址/目的IP地址，源端口/目的端口以及协议特征。
前述的文件还原及加密存储模块基于国密SM4对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置。
前述的敏感信息检测模块的检测过程为：首先使用与加密对应的解密算法对加密文件进行解密，然后提取解密后文件中的流量特征信息，即词向量，利用余弦相似度获取文件词向量特征，形成词向量矩阵，接着将词向量矩阵作为卷积神经网络CNN的输入，进行卷积、平滑操作，最后通过交叉验证算法确认文件是否为敏感文件。
本发明的有益效果为：
本发明采用主动防御的思想，监控网络信息的传播，不用太多的人为干预，有比较高的效率；
本发明可运用于文档保密部门、网络监管部门和网络服务部门，以自动发现检测范围内或特定目标的提供公众服务的网站，以识别过滤服务内容的敏感信息，这样有助于遏制不良信息的散布，有助于营造安全的网络环境，具有明显的、重要的社会意义和实用意义。
附图说明
图1为本发明系统的结构框图。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明的基于深度学习的数据泄露违规行为检测和基于agent的防御策略联动系统，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块，具体如下：
高速流量获取模块，在数据平面基于高速流量技术(DPDK)抓取高速网络流数据包。协议解析模块，采用多核多线程设计，实现网络流分流处理、流还原(分片、重组)和协议解析，过滤出传输文件协议(HTTP、FTP、SMTP)等，还原协议中的文件，并将经过协议解析的文件作为存储模块的输入。
具体解析过程如下：
协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据部分的内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。对需要进行文件还原的协议(主要有HTTP、FTP、SMTP)，在TCP层根据数据包是否分片，数据包的方向和数据包的序号，判断当前数据包是否进行报文重组，将分片流量数据包送入缓存队列，等分片报文搜集完毕进行重组，等待下一步解析，直至还原出完整的协议原始信息。
文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征(源IP地址/目的IP地址，源端口/目的端口，协议特征等)与还原文件关联，得到关联信息传递给敏感信息检测模块。加密过程基于国密SM4算法，对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置，以防检测过程中的敏感信息泄露。
敏感信息检测模块，实现文件的敏感信息检测，从而实现数据泄露违规行为的检测，首先使用与加密对应的解密算法对文件还原及加密存储模块的文件进行解密，然后提取解密后文件中的流量特征信息，即词向量(word embedding)。利用余弦相似度获取文件词向量特征，形成词向量矩阵(word2vec)，接着将词向量矩阵作为卷积神经网络CNN的输入，通过卷积、平滑等操作，最后通过交叉验证算法确认文件是否为敏感文件。一旦判断为敏感文件将传入的关联信息发送给敏感告警模块。
敏感告警模块，根据文件敏感级别，实现数据泄露违规行为的分级告警，文件敏感级别由使用单位保密办确定，并提供保密特征。关联数据泄露违规行为的主体IP、泄露内容等相关数据，形成告警数据，下发到联动防御策略决策模块。
联动防御策略决策模块，实现联动防御策略的生成，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略。
联动防御策略决策下发模块，实现联动防御策略的下发，根据联动防御策略决策模块生成的联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent。
联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制。
联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。本发明的具体实施过程包括以下步骤：
步骤1、从官网下载DPDK的安装包，并解压，配置其目标环境变量，运行程序进行抓包；
步骤2、根据数据包是否分片，数据包的方向和数据包的序号，判断当前数据包是否进行重组，重组后会对当前数据包进行协议解析，按照协议过滤出传输文件的协议；
步骤3、将传输文件协议中的文件还原，加密保存到特定的加密区；
步骤4、设置敏感字典，用于存储敏感词汇；
步骤5、对加密的文件根据敏感字典，检测文件中的敏感信息，并确定敏感级别；
步骤6、根据敏感级别进行分级告警。
步骤7、根据分级告警，将告警信息发送给联动防御策略决策模块生成联动防御决策；再经由联动防御决策下发给执行模块，执行告警对应的操作，如接入控制、禁止访问等；最后联动防御策略决策验证模块，采用智能或者人工验证告警信息的准确与否。
本发明不使用加速卡捕获网络的全流量，本发明部署方式采用旁路接入的，在不影响网络体验的情况下能实现良好的网络监测。一旦发现可疑的敏感信息则通知相关人员采取相应的措施。就好似一个网络警察，随时监控网络的一举一动。本发明采用主动防御的思想，监控网络信息的传播，不用太多的人为干预，有比较高的效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.基于深度学习和agent的联动防御系统，其特征在于，包括高速流量获取模块、协议解析模块、文件还原及加密存储模块、敏感信息检测模块、敏感告警模块、联动防御策略决策模块、联动防御策略决策下发模块、联动防御策略执行模块和联动防御策略验证模块；
所述高速流量获取模块，在数据平面基于高速流量技术抓取高速网络流数据包；
所述协议解析模块，采用多核多线程，实现网络流分流、流还原和协议解析，过滤出传输文件协议，还原协议中的文件，并将经过协议解析的文件作为文件还原及加密存储模块的输入；
所述文件还原及加密存储模块，针对还原的协议中的文件进行加密存储处理，同时将流量信息特征与还原文件关联，得到关联信息传递给敏感信息检测模块；
所述敏感信息检测模块，采用卷积神经网络算法，实现文件的敏感信息检测，将检测的敏感文件所带的关联信息发送给敏感告警模块；
所述敏感告警模块，根据文件敏感级别，对数据泄露违规行为进行分级告警，将数据泄露违规行为的主体IP和泄露内容，形成告警数据，下发到联动防御策略决策模块；
所述联动防御策略决策模块，依据接收到的告警数据，定位产生数据泄露违规行为的主机IP地址，根据IP地址通知接入控制平台监测/阻断/限制该IP地址的网络要求，生成联动防御策略；
所述联动防御策略决策下发模块，根据联动防御策略，确定接收联动防御策略的主机IP，将联动防御策略下发到该主机的agent；
所述联动防御策略执行模块，实现联动防御策略的接收和执行，主机agent接收到联动防御策略决策下发模块下发的联动防御策略后，识别联动防御策略并执行联动防御策略定义的动作，完成实际泄露违规行为的监测/阻断/限制；
所述联动防御策略验证模块，采用自动处理或者人工验证告警信息的准确与否。
2.根据权利要求1所述的基于深度学习和agent的联动防御系统，其特征在于，所述协议解析模块的协议解析过程为：协议解析模块基于协议格式对协议内容进行解析，通过在不同网络层次按照不同的网络协议规范来解析各网络层数据包的头部及其载荷，按照先解析头部，然后去掉头部获取数据内容，再解析下一网络层数据包的头部，获取数据内容的步骤，层层解析，最终还原出完整的协议原始信息。
3.根据权利要求1所述的基于深度学习和agent的联动防御系统，其特征在于，所述协议解析模块在进行协议解析之前，在TCP层根据网络流数据包是否分片，网络流数据包的方向和网络流数据包的序号，判断当前网络流数据包是否进行报文重组，将分片网络流数据包送入缓存队列，等分片报文搜集完毕进行重组后再进行协议解析。
4.根据权利要求1所述的基于深度学习和agent的联动防御系统，其特征在于，所述流量信息特征包括源IP地址/目的IP地址，源端口/目的端口以及协议特征。
5.根据权利要求1所述的基于深度学习和agent的联动防御系统，其特征在于，所述文件还原及加密存储模块基于国密SM4对协议解析模块还原的文件进行加密，并存储在指定加密文件存储位置。
6.根据权利要求1所述的基于深度学习和agent的联动防御系统，其特征在于，所述敏感信息检测模块的检测过程为：首先使用与加密对应的解密算法对加密文件进行解密，然后提取解密后文件中的流量特征信息，即词向量，利用余弦相似度获取文件词向量特征，形成词向量矩阵，接着将词向量矩阵作为卷积神经网络CNN的输入，进行卷积、平滑操作，最后通过交叉验证算法确认文件是否为敏感文件。
CN201810554158.1A 2018-06-01 2018-06-01 基于深度学习和agent的联动防御系统 Active CN108833383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810554158.1A CN108833383B (zh) 2018-06-01 2018-06-01 基于深度学习和agent的联动防御系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810554158.1A CN108833383B (zh) 2018-06-01 2018-06-01 基于深度学习和agent的联动防御系统

Publications (2)

Publication Number Publication Date
CN108833383A CN108833383A (zh) 2018-11-16
CN108833383B true CN108833383B (zh) 2019-05-24

Family

ID=64146685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810554158.1A Active CN108833383B (zh) 2018-06-01 2018-06-01 基于深度学习和agent的联动防御系统

Country Status (1)

Country Link
CN (1) CN108833383B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882920B (zh) * 2021-04-29 2021-06-29 云账户技术(天津)有限公司 告警策略验证方法、装置、电子设备和可读存储介质
CN113407494B (zh) * 2021-05-27 2024-02-09 东软集团股份有限公司 一种违规文件检测方法、装置及设备
CN116527327B (zh) * 2023-04-11 2024-08-16 华能信息技术有限公司 一种smtp流量还原方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780409A (zh) * 2012-10-19 2014-05-07 任子行网络技术股份有限公司 一种上网行为管理方法和设备
CN104901838A (zh) * 2015-06-23 2015-09-09 中国电建集团成都勘测设计研究院有限公司 企业网络安全事件管理系统及其方法
CN106330964A (zh) * 2016-10-14 2017-01-11 成都信息工程大学 一种网络入侵探测与主动防御联动控制装置
CN106411562A (zh) * 2016-06-17 2017-02-15 全球能源互联网研究院 一种电力信息网络安全联动防御方法及系统
CN106961450A (zh) * 2017-05-24 2017-07-18 深信服科技股份有限公司 安全防御方法、终端、云端服务器以及安全防御系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250641B2 (en) * 2015-01-27 2019-04-02 Sri International Natural language dialog-based security help agent for network administrator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780409A (zh) * 2012-10-19 2014-05-07 任子行网络技术股份有限公司 一种上网行为管理方法和设备
CN104901838A (zh) * 2015-06-23 2015-09-09 中国电建集团成都勘测设计研究院有限公司 企业网络安全事件管理系统及其方法
CN106411562A (zh) * 2016-06-17 2017-02-15 全球能源互联网研究院 一种电力信息网络安全联动防御方法及系统
CN106330964A (zh) * 2016-10-14 2017-01-11 成都信息工程大学 一种网络入侵探测与主动防御联动控制装置
CN106961450A (zh) * 2017-05-24 2017-07-18 深信服科技股份有限公司 安全防御方法、终端、云端服务器以及安全防御系统

Also Published As

Publication number Publication date
CN108833383A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
Saxena et al. General study of intrusion detection system and survey of agent based intrusion detection system
CN106790023B (zh) 网络安全联合防御方法和装置
CN108833383B (zh) 基于深度学习和agent的联动防御系统
CN110661680A (zh) 一种基于正则表达式进行数据流白名单检测的方法及系统
CN107347047A (zh) 攻击防护方法和装置
Gao et al. Information security investment when hackers disseminate knowledge
CN107733834A (zh) 一种数据泄露防护方法及装置
CN112153047A (zh) 一种基于区块链的网络安全运维及防御方法及系统
CN104378228A (zh) 网络数据安全管理系统及方法
CN115766235A (zh) 一种网络安全预警系统及预警方法
Ali et al. A study on contact tracing apps for Covid-19: Privacy and security perspective.
CN111277538A (zh) 一种保护大数据平台数据交换过程数据安全的系统和方法
Panda et al. Privacy impact assessment of cyber attacks on connected and autonomous vehicles
CN107277070A (zh) 一种计算机网络入侵防御系统及入侵防御方法
CN116955441A (zh) 一种断卡预警平台
CN106570804A (zh) 一种举报信息处理方法和系统
CN114124453B (zh) 网络安全信息的处理方法、装置、电子设备及储存介质
CN109495482A (zh) 一种网络数据信息安全传输方法
Efe et al. It security trends for e-government threats
CN102970188B (zh) 一种110kV数字化变电站安全网络
Liu et al. AI electronic products information security research
Liu et al. The Calibration of Inspection Data on Juvenile Theft Cases in 5G Context and IOT Age
Frolova EU role in ensuring international information security
Jannat et al. Enhancing Cybersecurity Resilience: Real-time Ransomware Detection using AES Algorithm on Kafka Stream
Lin et al. Identify Sources and Risks on Cybersecurity for Connected Vehicle Infrastructures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant