CN106713067B - 一种基于dpi的敏感文件流转监控方法 - Google Patents

一种基于dpi的敏感文件流转监控方法 Download PDF

Info

Publication number
CN106713067B
CN106713067B CN201611086798.1A CN201611086798A CN106713067B CN 106713067 B CN106713067 B CN 106713067B CN 201611086798 A CN201611086798 A CN 201611086798A CN 106713067 B CN106713067 B CN 106713067B
Authority
CN
China
Prior art keywords
sensitive
file
data
database
sensitive data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611086798.1A
Other languages
English (en)
Other versions
CN106713067A (zh
Inventor
艾解清
魏理豪
王建永
何旻诺
梁承东
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Center of Guangdong Power Grid Co Ltd
Original Assignee
Information Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Center of Guangdong Power Grid Co Ltd filed Critical Information Center of Guangdong Power Grid Co Ltd
Priority to CN201611086798.1A priority Critical patent/CN106713067B/zh
Publication of CN106713067A publication Critical patent/CN106713067A/zh
Application granted granted Critical
Publication of CN106713067B publication Critical patent/CN106713067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0609—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on severity or priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开的一种基于DPI的敏感文件流转监控方法，包括：建立敏感数据字典库，所述敏感数据是反映企业经营内容和客户信息的数据；通过DPI设备还原通信流量数据中的数据库操作语句，并根据敏感数据字典库识别数据库操作语句中的敏感数据，并更新敏感数据字典库；通过DPI设备的操作日志，所述操作日志包括有数据库导出到文本的导出操作，识别敏感数据的导出操作，并相应建立敏感文件特征库；根据敏感文件特征库，分析敏感文件在文件管控区域内的流转过程，当判断出敏感文件从文件管控区域内流出时进行告警。本发明的监控方法，通过数据库流量的协议还原技术，实现数据库、文件的流转监控，及时发现泄漏的敏感信息，提高企业的数据安全防范能力。

Description

一种基于DPI的敏感文件流转监控方法
技术领域
本发明涉及计算机数据安全技术领域，具体涉及一种基于DPI的敏感文件流转监控方法。
背景技术
随着信息化建设的快速发展，企业的大量数据存储在数据库、文件中，这些数据库和文件包含了大量与企业经营、客户数据相关的敏感数据。传统路由器虽然能够对数据报文进行各种控制，但是其缺乏对数据报文的识别及处理能力。深度报文检测设备(DPI，DeepPacket Inspection)是具备业务数据流识别、业务数据流控制能力的网络设备，其工作在OSI(open system interconnect，开放系统互连)模型传输层到应用层，具有高数据流处理能力，能够对网络所承载的业务进行识别和流量管理，可部署在网络骨干网、城域网和企业网内部。
目前DPI设备的应用技术中，缺少对企业能够通过对这些敏感信息的监控应用，使得企业数据存在敏感信息泄漏的风险。
发明内容
本发明的目的在于针对上述现有技术中存在的问题，提出一种基于DPI的敏感文件流转监控方法及系统，通过敏感数据字典库与DPI设备通信数据的比对，以及DPI设备对敏感数据流转监控，实现降低企业数据敏感信息泄露风险的作用。
为达到上述发明的目的，本发明通过以下技术方案实现：
一种基于DPI的敏感文件流转监控方法，包括如下步骤：
步骤S10，建立敏感数据字典库，所述敏感数据是反映企业经营内容和客户信息的数据；
步骤S20，通过DPI设备还原通信流量数据中的数据库操作语句，并根据敏感数据字典库识别数据库操作语句中的敏感数据，并更新敏感数据字典库；
步骤S30，通过DPI设备的操作日志，所述操作日志包括有数据库导出到文本的导出操作，识别敏感数据的导出操作，并相应建立敏感文件特征库；
步骤S40，根据敏感文件特征库，分析敏感文件在文件管控区域内的流转过程，当判断出敏感文件从文件管控区域内流出时进行告警。
进一步，步骤S10所述的敏感数据字典库包括有敏感表名称和敏感字段名称。
进一步，所述敏感数据字典库还根据敏感表和敏感字段的关键字的词频进行分级；所述分级方法是先对敏感表和敏感字段的关键字进行提取，然后采用词频TF-IDF算法，对敏感字典进行分级；所述敏感数据字典库包括两级字典，第一级为包括有高频、英文单词和带有明确语义的英文缩写的高频字典、第二级为包括有低频、拼音缩写组合和数字的全部字典。
进一步，步骤S20所述的识别是首先通过与敏感数据字典比配，判断数据库操作语句中，是否存在的复制行为；然后，判断数据库操作语句中是否为敏感数据，如果是则将该数据库操作语句存入敏感数据字典库。
进一步，步骤S20所述的数据库操作语句与敏感数据字典进行比配，首先是对数据库操作语句进行一次匹配，再对匹配成功的敏感表名进行二次匹配，所述二次匹配为全匹配或是细粒度的正则匹配；根据第一次判断结果，符合程度高的数据进入步骤S20后续的处理流程，对符合程度低的数据进行二次判断。
进一步，步骤S20所述的分析操作行为，具体为：检查是否有敏感表、敏感字段的数据被复制到新的表中，将新的表名与原有字典进行比较、分级并存入敏感数据字典。
进一步，所述步骤S30还包括有：对敏感操作的对象进行敏感数据的校验，当判定为敏感数据时，将敏感文件的特征信息存入敏感文件特征库。
进一步，所述敏感文件的特征信息包括文件名、文件大小、文件MD5值和网络地址。
进一步，步骤S40所述分析敏感文件在文件管控区域内的流转过程，具体为：通过DPI设备对流转过程的流量进行还原，从而获取流量中的文件特征；流转过程包括FTP协议和HTTP协议的文件传送。
进一步，所述步骤S40对敏感文件流出的判断，是通过对符合敏感文件识别标示的信息进行网络地址的比较进行的，具体为：先比较目的地址是否在合规区域内，如果不在合规区域内，再对源地址进行比较，如果源地址在合规区域内，则判断为合规区域流向非合规区域的敏感文件，并产生高级别告警；如果源地址在合规区域外，则产生低级别告警，并从目的地址主机对文件进行二次核查；如果目的地址和源地址都在合规区域内，则不产生告警。
采用本发明实施例的基于DPI的敏感文件流转监控方法及系统，将DPI设备部署到文件管控区域，通过数据库流量的协议还原技术、FTP/HTTP应用流量的协议还原技术实现数据库、文件的流转监控，实现及时发现泄漏的敏感信息，提高企业的数据安全防范能力。
附图说明
图1为本发明的一种基于DPI的敏感文件流转监控方法的步骤框图。
图2为本发明实施例的敏感数据识别分析流程图。
图3为本发明实施例的敏感文件流转监控流程图。
具体实施方式
下面结合附图和实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。
请参阅图1至图3，图1为本发明的基于DPI的敏感文件流转监控方法的步骤框图，图2和图3分别为本发明的敏感数据识别分析流程图和敏感文件流转监控流程图。
本发明实施例的一种基于DPI的敏感文件流转监控方法，包括如下步骤：
步骤S10：建立敏感数据字典库。具体地，包括以下两个步骤：(1)通过人工梳理确认敏感表、字段的基础库，然后根据英文单词识别算法和词频TF-IDF算法，所述词频(termfrequency-TF)指的是某一个给定的词语在该文件中出现的频率，对敏感数据进行判断顺序的分级，第一级为高频字典，包括有高频、英文单词和带有明确语义的英文缩写；第二级全部字典为低频、拼音缩写组合和数字；(2)从步骤S20中获取的新识别敏感表名和敏感字段名，存入敏感数据字典中，并在固定时间周期内，重新对敏感数据的判断顺序进行分级。
步骤S20：敏感数据识别。参看图2，通过DPI设备还原通信流量数据中的数据库操作语句后，首先识别数据库操作语句中，通过分析数据库操作语句的操作行为及识别新增的敏感数据表名和字段名，识别出存在的复制行为，比如根据原始表创建新表，更改表结构并插入原始表数据等；然后，判断数据库操作语句中是否为敏感数据，如果是则将该数据库操作语句存入敏感数据字典库。对于数据库操作语句的比配，首先是对数据库操作语句进行一次匹配，再对匹配成功的敏感表名进行二次匹配，所述二次匹配为全匹配或是细粒度的正则匹配；根据第一次判断结果，符合程度高的数据进入步骤S20后续的处理流程，对符合程度低的数据进行二次判断。
步骤S30：敏感文件识别。参看图3，首先，通过DPI设备的操作日志，识别数据库操作语句的导出操作，操作日志包括：Linux命令行工具，远程SSH客户端工具，PLSQL数据库连接工具，Windows系统的操作日志；然后，识别导出数据是否来自敏感表和敏感字段；最后将文件的特征信息如文件名、文件大小、文件MD5值存入敏感文件特征库。
步骤S40：敏感数据流转监控。参看图3，具体地，包括以下步骤：步骤S41，对FTP协议进行协议还原，将流量中的文件信息与敏感文件特征库中存储的敏感文件信息进行比较；步骤S42，对FTP的源地址和目的地址进行校验，对目的地址属于非合规区域的行为产生高级别告警，对源地址和目的地址都属于非合规区域的行为产生低级别告警。或者，包括步骤S43，对HTTP协议还原，对还原后的数据进行初步筛选，对HTTP的HEADER请求中的非文件上传页面进行过滤，然后再将上传页面提交过程中的文件信息与敏感文件特征库进行比较；步骤S44对HTTP的发送对象，如用户名、邮箱地址等信息进行校验。对非合规区域的用户和邮箱地址产生高级别告警。
至此，基于DPI的敏感文件流转监控流程结束。
上述实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于DPI的敏感文件流转监控方法，其特征在于，包括如下步骤：
步骤S10，建立敏感数据字典库，所述敏感数据是反映企业经营内容和客户信息的数据；
步骤S20，通过DPI设备还原通信流量数据中的数据库操作语句，并根据敏感数据字典库识别数据库操作语句中的敏感数据，并更新敏感数据字典库；
步骤S30，通过DPI设备的操作日志，所述操作日志包括有数据库导出到文本的导出操作，识别敏感数据的导出操作，并相应建立敏感文件特征库；
步骤S40，根据敏感文件特征库，分析敏感文件在文件管控区域内的流转过程，当判断出敏感文件从文件管控区域内流出时进行告警；
步骤S10所述的敏感数据字典库包括有敏感表名称和敏感字段名称；
所述敏感数据字典库还根据敏感表和敏感字段的关键字的词频进行分级；所述分级方法是先对敏感表和敏感字段的关键字进行提取，然后采用词频TF-IDF算法，对敏感字典进行分级；所述敏感数据字典库包括两级字典，第一级为包括有高频、英文单词和带有明确语义的英文缩写的高频字典、第二级为包括有低频、拼音缩写组合和数字的全部字典；
步骤S20所述的识别是首先通过与敏感数据字典比配，判断数据库操作语句中，是否存在的复制行为；然后，判断数据库操作语句中是否为敏感数据，如果是则将该数据库操作语句存入敏感数据字典库；
步骤S20所述的数据库操作语句与敏感数据字典进行比配，首先是对数据库操作语句进行一次匹配，再对匹配成功的敏感表名进行二次匹配，所述二次匹配为全匹配或是细粒度的正则匹配；根据第一次判断结果，符合程度高的数据进入步骤S20后续的处理流程，对符合程度低的数据进行二次判断；
步骤S20所述的分析操作行为，具体为：检查是否有敏感表、敏感字段的数据被复制到新的表中，将新的表名与原有字典进行比较、分级并存入敏感数据字典；
所述步骤S30还包括有：对敏感操作的对象进行敏感数据的校验，当判定为敏感数据时，将敏感文件的特征信息存入敏感文件特征库；
所述敏感文件的特征信息包括文件名、文件大小、文件MD5值和网络地址；
步骤S40所述分析敏感文件在文件管控区域内的流转过程，具体为：通过DPI设备对流转过程的流量进行还原，从而获取流量中的文件特征；流转过程包括FTP协议和HTTP协议的文件传送；
所述步骤S40对敏感文件流出的判断，是通过对符合敏感文件识别标示的信息进行网络地址的比较进行的，具体为：先比较目的地址是否在合规区域内，如果不在合规区域内，再对源地址进行比较，如果源地址在合规区域内，则判断为合规区域流向非合规区域的敏感文件，并产生高级别告警；如果源地址在合规区域外，则产生低级别告警，并从目的地址主机对文件进行二次核查；如果目的地址和源地址都在合规区域内，则不产生告警。
CN201611086798.1A 2016-11-30 2016-11-30 一种基于dpi的敏感文件流转监控方法 Active CN106713067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611086798.1A CN106713067B (zh) 2016-11-30 2016-11-30 一种基于dpi的敏感文件流转监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611086798.1A CN106713067B (zh) 2016-11-30 2016-11-30 一种基于dpi的敏感文件流转监控方法

Publications (2)

Publication Number Publication Date
CN106713067A CN106713067A (zh) 2017-05-24
CN106713067B true CN106713067B (zh) 2020-03-17

Family

ID=58935311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611086798.1A Active CN106713067B (zh) 2016-11-30 2016-11-30 一种基于dpi的敏感文件流转监控方法

Country Status (1)

Country Link
CN (1) CN106713067B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108390857B (zh) * 2018-01-12 2020-12-04 刘喆 一种高敏感网络向低敏感网络导出文件的方法和装置
CN108768987B (zh) * 2018-05-17 2021-03-02 中国联合网络通信集团有限公司 数据交互方法、装置及系统
CN110008470B (zh) * 2019-03-19 2023-05-26 创新先进技术有限公司 报表的敏感性分级方法和装置
CN110535865B (zh) 2019-08-30 2022-08-19 北京小米移动软件有限公司 信息处理方法、装置、测试终端、测试平台及存储介质
CN111061707B (zh) * 2019-11-08 2020-12-22 武汉绿色网络信息服务有限责任公司 一种dpi设备协议规则库和规则样本的优化方法和装置
CN111931203A (zh) * 2020-07-15 2020-11-13 深信服科技股份有限公司 一种敏感数据分析方法、装置、设备及存储介质
CN112287067A (zh) * 2020-10-29 2021-01-29 国家电网有限公司信息通信分公司 一种基于语义分析的敏感事件可视化应用实现方法、系统及终端
CN112733188B (zh) * 2021-01-13 2023-09-22 航天晨光股份有限公司 一种敏感文件管理方法
CN117077207A (zh) * 2023-09-01 2023-11-17 广州世安智慧科技有限公司 一种敏感信息检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103368904A (zh) * 2012-03-27 2013-10-23 百度在线网络技术（北京）有限公司 移动终端、可疑行为检测及判定系统和方法
CN105430195A (zh) * 2015-12-31 2016-03-23 中科创达软件股份有限公司 一种数据发送方法
CN105653947A (zh) * 2014-11-11 2016-06-08 中国移动通信集团公司 一种评估应用数据安全风险的方法及装置
CN105825137A (zh) * 2015-01-05 2016-08-03 中国移动通信集团江苏有限公司 一种确定敏感数据扩散行为的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140230070A1 (en) * 2013-02-14 2014-08-14 Microsoft Corporation Auditing of sql queries using select triggers
CN104079534B (zh) * 2013-03-27 2017-11-03 中国移动通信集团北京有限公司 一种http缓存实现方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103368904A (zh) * 2012-03-27 2013-10-23 百度在线网络技术（北京）有限公司 移动终端、可疑行为检测及判定系统和方法
CN105653947A (zh) * 2014-11-11 2016-06-08 中国移动通信集团公司 一种评估应用数据安全风险的方法及装置
CN105825137A (zh) * 2015-01-05 2016-08-03 中国移动通信集团江苏有限公司 一种确定敏感数据扩散行为的方法及装置
CN105430195A (zh) * 2015-12-31 2016-03-23 中科创达软件股份有限公司 一种数据发送方法

Also Published As

Publication number Publication date
CN106713067A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106713067B (zh) 一种基于dpi的敏感文件流转监控方法
US11799881B2 (en) Resisting the spread of unwanted code and data
US7668857B2 (en) Meta-data tags used to describe data behaviors
US11003773B1 (en) System and method for automatically generating malware detection rule recommendations
US9223987B2 (en) Confidential information identifying method, information processing apparatus, and program
WO2022040698A1 (en) Malicious traffic detection with anomaly detection modeling
US8533824B2 (en) Resisting the spread of unwanted code and data
US20170149830A1 (en) Apparatus and method for automatically generating detection rule
CN107370719B (zh) 异常登录识别方法、装置及系统
CN111753171B (zh) 一种恶意网站的识别方法和装置
KR102408205B1 (ko) 웹사이트의 생애주기 단계 탐지 방법 및 장치
CN113704328B (zh) 基于人工智能的用户行为大数据挖掘方法及系统
Vanamala et al. Topic modeling and classification of Common Vulnerabilities And Exposures database
CN115982012A (zh) 一种接口管理能力成熟度的评估模型及方法
CN113704772B (zh) 基于用户行为大数据挖掘的安全防护处理方法及系统
CN110399485B (zh) 基于词向量和机器学习的数据溯源方法和系统
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
CN115051874B (zh) 一种多特征的cs恶意加密流量检测方法和系统
US20200334353A1 (en) Method and system for detecting and classifying malware based on families
CN113297583B (zh) 漏洞风险分析方法、装置、设备及存储介质
CN115062339A (zh) 一种数据安全保障方法、电子设备和存储介质
CN113051876B (zh) 恶意网址识别方法及装置、存储介质、电子设备
CN113904851A (zh) 网络信息处理方法、用户面功能系统、介质和电子设备
CN112751813A (zh) 一种网络入侵检测方法及装置
US11770402B2 (en) Systems and methods for network device discovery and vulnerability assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ai Jieqing

Inventor after: Wei Lihao

Inventor after: Wang Jianyong

Inventor after: He Minnuo

Inventor after: Liang Chengdong

Inventor after: Chen Liang

Inventor before: Ai Jieqing

Inventor before: Wei Lihao

Inventor before: Wang Jianyong

Inventor before: He Minnuo

GR01 Patent grant
GR01 Patent grant