CN112787992A - 一种敏感数据的检测与防护的方法、装置、设备和介质 - Google Patents

一种敏感数据的检测与防护的方法、装置、设备和介质 Download PDF

Info

Publication number
CN112787992A
CN112787992A CN202011499024.8A CN202011499024A CN112787992A CN 112787992 A CN112787992 A CN 112787992A CN 202011499024 A CN202011499024 A CN 202011499024A CN 112787992 A CN112787992 A CN 112787992A
Authority
CN
China
Prior art keywords
sensitive
detection
abnormal
data
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011499024.8A
Other languages
English (en)
Other versions
CN112787992B (zh
Inventor
林文美
程毅容
于贤飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujia Newland Software Engineering Co ltd
Original Assignee
Fujia Newland Software Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujia Newland Software Engineering Co ltd filed Critical Fujia Newland Software Engineering Co ltd
Priority to CN202011499024.8A priority Critical patent/CN112787992B/zh
Publication of CN112787992A publication Critical patent/CN112787992A/zh
Application granted granted Critical
Publication of CN112787992B publication Critical patent/CN112787992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明提供一种敏感数据的检测与防护的方法、装置、设备和介质，方法包括：在网络的重要结点做流量镜像进行数据采集和存储，以作为整个系统的数据源；基于用户的访问轨迹与频率，对数据源进行AI异常流量检测；和根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息检测；根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。本发明结合敏感数据检测与异常访问检测，静动结合，兼顾敏感数据的安全和正常用户的访问，切实保障用户信息安全，且实时性、准确性、精确度以及资源平衡性均得到有效提高。

Description

一种敏感数据的检测与防护的方法、装置、设备和介质
技术领域
本发明涉及计算机技术领域，特别涉及一种敏感数据的检测与防护的方法、装置、设备和介质。
背景技术
IDS、IPS、WAF等传统安全设备，主要是基于攻击特征(如注入)进行防护。但很多时候，出于开发便捷等原因，服务端通过统一接口调用返回所有字段信息，其中包括了诸如身份证号、证件地址、住址信息、电话、姓名、密码、套餐等敏感信息，系统仅在界面做了脱敏处理或选择性展示，这就造成了敏感信息泄露，再结合越权漏洞即可形成薅羊毛式的攻击，即通过外挂脚本或burp等工具遍历盗取用户敏感信息，导致大量用户敏感信息泄露。传统的安全设备在面对这类情况显得力不从心，很难做到攻击流量与正常业务流量的剥离，目前通过“专利之星检索系统”所了解到的与本发明接近的相关技术信息如下：
于20171124公开的，公开号为CN107392028A的中国发明揭示一种敏感信息的检测方法及其检测装置、存储介质、电子设备。所述敏感信息的检测方法包括如下步骤：获取企业网站的访问日志；从企业网站的访问日志中提取用户可由该企业网站访问的所有http请求所对应的统一资源定位器链接；向提取出的统一资源定位器链接发出模拟的http请求，并获取针对该模拟的http请求所响应的反馈信息；对所述反馈信息进行敏感信息正则匹配，判断所述反馈信息中是否包含所述敏感信息；若所述反馈信息中包含所述敏感信息，则将对应的统一资源定位器链接记录备案，并进行修复。虽然其在一定程度上可以保障用户个人敏感信息的安全，防止敏感信息被进一步非法扩散、利用，提升用户访问企业网站的安全系数，但由于其是从日志中获取 http请求报文，再模拟发包，对获取的响应报文通过加载规则库进行匹配，若检测出敏感信息泄露，则将对应的URL链接记录备案，以便后期进行修复，因此存在如下缺点：
1)http请求报文是从日志中获取，相较于流量镜像实时性差，而且面临会话失效所引起的风险，会导致检测不准确；
2)只是做敏感信息检测、结果记录，同时为修复隐患提供数据支撑，而没有解决现网攻击防护问题，且从隐患的产生到发现到修复这期间的防护是空白；
3)未对正则匹配的细粒度进行阐述，因此其规则匹配的精确度无从考良；
4)未涉及检测周期的说明，因此其检测的完整性与资源开销平衡问题也无从考良；
5)未涉及隐患修复细节说明，因此其安全闭环与备案更新问题无从考良；
于20130508公开的，公开号为CN103095530A的中国发明涉及基于前置网关的敏感信息检测及防泄露方法及系统，系统包括配置模块、非信任列表生成模块和敏感信息防泄漏模块，其步骤为：1)在Web网站服务器的数据流链路中设置一前置网关，前置网关代理客户端向网站服务器发送和/或接受请求；2)前置网关配置该代理网站需要监测的敏感信息，配置成功后开始监测敏感信息；3)前置网关将包含敏感信息的URL作为网站的非信任 URL并建立非信任列表，当客户端请求该URL内容时，前置网关代替网站响应该请求，防止敏感信息泄露。由于其是通过前置网关设置规则，对响应报文进行敏感信息检测，对发现的有涉及敏感数据泄露的URL列入非信任列表，当用户访问这些被列入“非信任列表”的URL时，前置网关代替网站服务器响应该请求，进而避免出现信息泄露，因此存在如下缺点：
1)对访问的用户处理过于简单粗暴，在庞大复杂的应用环境中，容易造成不可预见的业务中断问题；
2)实施的是不间断的检测，在庞大复杂的应用环境中，需要大量的资源支撑；
3)未对正则匹配的细粒度以及隐患修复细节进行阐述，因此规则匹配的精确度、安全闭环与备案更新问题无从考良。
发明内容
本发明要解决的技术问题，在于提供一种敏感数据的检测与防护的方法、装置、设备和介质，结合敏感数据检测与异常访问检测，挖掘报文中的敏感信息，发现敏感信息遍历窃取的行为，静动结合，兼顾敏感数据的安全和正常用户的访问，切实保障用户信息安全，且实时性、准确性、精确度以及资源平衡性均得到有效提高。
第一方面，本发明提供了一种敏感数据的检测与防护的方法，包括下述步骤：
S1、在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
S2、对数据源进行AI异常流量检测和敏感信息检测；
所述AI异常流量检测是：基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；
所述敏感信息检测是：根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
S3、根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。
第二方面，本发明提供了一种敏感数据的检测与防护的装置，包括：
数据采集分析模块，用于在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
AI异常流量检测模块，用于基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；
敏感信息检测模块，根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
分级告警模块：用于根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、通过端口镜像进行数据包捕获、会话还原重组、HTTP解析，然后将DPI数据存入消息队列，作为整个系统的数据源，流量镜像可为该系统的实时性与高性能提供保障；
2、对数据源进行AI异常流量检测和敏感信息检测，从系统上线即实施安全防护覆盖，避免出现安全防护空档期，实现采集作业控制；
3、通过对涉敏采样档案的建立，可避免因不间断检测引起的不必要的资源开销；
4、通过定制形成应用级的细粒度敏感数据检测规则，一方面可以提升规则的精确度，另一方面根据应用运行状况(注入新业务上线、重大迭代更新、周期性)有目的控制采集周期，可以在资源开销与检测覆盖完整性之间找到平衡；
5、将AI异常流量检测、敏感信息检测采样建档、白名单三者结合，可形成三级告警，便于相关人员进行问题处置，同时结合封停功能(诸如账号锁定、IP封停、会话终止等)、URL/接口加固流程接口，形成完整的问题解决闭环；其中，白名单机制(包括URL/接口白名单、IP白名单)的使用，可应对一些特殊调场景，消除非真实攻击的红色告警，降低系统误报率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中方法中的流程图；
图2为本发明实施例中分级告警的流程图；
图3为本发明实施例中AI异常流量检测的流程图；
图4为本发明实施例中敏感信息检测的流程图；
图5为本发明实施例二中装置的结构示意图；
图6为本发明实施例三中电子设备的结构示意图；
图7为本发明实施例四中介质的结构示意图。
具体实施方式
本申请实施例通过提供一种敏感数据的检测与防护的方法、装置、设备和介质，结合敏感数据检测与异常访问检测，挖掘报文中的敏感信息，发现敏感信息遍历窃取的行为，静动结合，兼顾敏感数据的安全和正常用户的访问，切实保障用户信息安全，且实时性、准确性、精确度以及资源平衡性均得到有效提高。
本申请实施例中的技术方案，总体思路如下：通过端口镜像进行数据采集和分析，提高了系统的实时性与性能；对数据源进行AI异常流量检测和敏感信息检测，从系统上线即实施安全防护覆盖，避免出现安全防护空档期，实现采集作业控制；通过定制形成应用级的细粒度敏感数据检测规则，一方面可以提升规则的精确度，另一方面根据应用运行状况有目的控制采集周期，可以在资源开销与检测覆盖完整性之间找到平衡；通过对涉敏采样档案的建立，可避免因不间断检测引起的不必要的资源开销；将AI异常流量检测、敏感信息检测采样建档、白名单三者结合，可形成三级告警，便于相关人员进行问题处置，同时结合封停功能(诸如账号锁定、IP封停、会话终止等)、URL/接口加固流程接口，形成完整的问题解决闭环。
实施例一
如图1所示，本实施例提供一种敏感数据的检测与防护的方法，包括下述步骤：
S1、在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
S2、对数据源进行AI异常流量检测和敏感信息检测；
所述AI异常流量检测是：基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；该AI异常流量检测有别与传统的基于攻击特征(如SQL注入)的检测，而是基于用户的访问轨迹与频率，发现诸如定时任务程序操作、外挂程序高频操作、异常时间或地点操作等行为。
所述敏感信息检测是：根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
较佳的，所述敏感信息检测之后还包括：涉敏采样档案的建立，即根据所述敏感信息检测结果，给对应的URL或接口打上敏感等级标签，然后将敏感等级标签连同泄露的敏感信息字段一起入库，完成对URL或接口的涉敏采样档案(也叫威胁列表)的建立，从而避免因不间断检测引起的不必要的资源开销，也为漏洞的加固提供数据支撑。
S3、根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录，为业务上线后的安全提供全程无空隙的监督与防护，比如图2所示，从高到低分为红、黄、蓝三级告警：
(a)、出现异常访问，且访问目标涉及一级敏感数据输出，判断源IP或访问链接/接口是否在白名单中？若否，则判定为一级攻击事件，进行红色告警，若是，则判定为二级攻击事件，进行黄色告警；
(b)、出现异常访问，且访问目标涉及二级敏感数据输出，判断源IP或访问链接/接口是否在白名单中，若否，则判定为二级攻击事件，进行黄色告警，若是，则判定为三级攻击事件，进行蓝色告警；
(c)、异常访问的请求未涉及信息泄露，则只做日志记录；
(d)、涉及信息泄露但访问未出现异常，则只做日志记录；
其中，(a)和(b)的访问行为属于遍历用户敏感信息的恶意行为，也叫薅羊毛式的攻击。
白名单包括链接/接口、IP两类，白名单机制适用特殊的合法业务场景，如某些合法链接访问或接口调用必须对外输出敏感数据时，可将其加入白名单，避免这类接口频繁引发红色告警，同时这类接口无需流入加固流程。
其中，作为本实施例的一种更优的实现方式，所述方法还包括：
S4、提供URL或接口的加固流程接口与封停处置接口，分别用于对安全隐患的加固复查与安全事件的应急处理。例如：当判定为一至三级攻击事件，可实施账号锁定、IP封停、会话终止等应急操作；当判定为异常访问的请求未涉及信息泄露或涉及信息泄露但访问未出现异常时，对接内部的安全管理平台，将有威胁的请求自动推送到对应人员进行加固处置，当流程回流自动检测标志位(标识加固状态)信息，重新进行敏感数据检测，并更新“威胁列表”。
如图3所示，所述S2中，所述AI异常流量检测具体是：根据用户访问轨迹提取操作员画像特征、操作轨迹画像特征和窗口内操作特征，然后进行特征整合与AI智能分析，判断是否为异常流量；其中：
所述操作员画像特征包括用户标识、会话标识、IP等的特征；
所述操作轨迹画像特征包括URL或接口的特征、业务敏感性特征等；
所述窗口内操作特征包括访问时间、访问地点、访问间隔和访问频率等特征；
所述特征整合包括特征无量纲化处理，离散变量onehot编码，特征插值组合新特征，以及整合用户访问轨迹特征等。
所述AI智能分析是先进行无监督方式进行数据聚类分析，对异常数据进行标注，再通过有监督方式的对标注的异常数据进行训练和检测，进而分离出恶意攻击行为流量；
所述异常操作访问行为的判断依据是：多次进行服务高频调用操作的时间段相同，或多次触发服务高频操作的时间间隔相似，则判断为外挂；触发高频操作的时间固定则判断为定时器，进行服务高频调用的账号的登录地与登录时间异常，则判断为账号盗用。
如图4所示，所述敏感细粒度规则的制定过程是：
(1)根据IP、端口和工程路径来确定的检测目标；
(2)确定检测目标的敏感字段并为敏感字段设置对应的敏感等级，所述敏感等级包括一级风险、二级风险和安全三个等级；
(3)结合应用的实际情况为敏感字段设定key值，并为key值选取相应的value检测规则，key值包括密码、身份证、证件地址、住址等等敏感信息；所述应用的实际情况包括新上线应用、应用出现重大变更、周期性作业；如此，所述敏感信息匹配检测即可为：对响应报文进行键值对解析，再分别进行key值的模糊匹配与对应value值的规则精确匹配。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
如图5所示，在本实施例中提供了一种敏感数据的检测与防护的装置，包括：
数据采集分析模块，用于在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
AI异常流量检测模块，用于基于用户的访问轨迹，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；
敏感信息检测模块，根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
分级告警模块：用于根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录，为业务上线后的安全提供全程无空隙的监督与防护。比如图2 所示，从高到低分为红、黄、蓝三级告警：
(a)、出现异常访问，且访问目标涉及一级敏感数据输出，判断源IP或访问链接/接口是否在白名单中？若否，则判定为一级攻击事件，进行红色告警，若是，则判定为二级攻击事件，进行黄色告警；
(b)、出现异常访问，且访问目标涉及二级敏感数据输出，判断源IP或访问链接/接口是否在白名单中，若否，则判定为二级攻击事件，进行黄色告警，若是，则判定为三级攻击事件，进行蓝色告警；
(c)、异常访问的请求未涉及信息泄露，则只做日志记录；
(d)、涉及信息泄露但访问未出现异常，则只做日志记录；
其中，(a)和(b)的访问行为属于遍历用户敏感信息的恶意行为，也叫薅羊毛式的攻击。
白名单包括链接/接口、IP两类，白名单机制适用特殊的合法业务场景，如某些合法链接访问或接口调用必须对外输出敏感数据时，可将其加入白名单，避免这类接口频繁引发红色告警，同时这类接口无需流入加固流程。
其中，作为本实施例的一种更优的实现方式，所述装置还包括：
应急处理模块，提供URL或接口的加固流程接口与封停处置接口，分别用于对安全隐患的加固复查与安全事件的应急处理。例如：当判定为一至三级攻击事件，可实施账号锁定、IP封停、会话终止等应急操作；当判定为异常访问的请求未涉及信息泄露或涉及信息泄露但访问未出现异常时，对接内部的安全管理平台，将有威胁的请求自动推送到对应人员进行加固处置，当流程回流自动检测标志位(标识加固状态)信息，重新进行敏感数据检测，并更新“威胁列表”。
系统控制模块，用于制定所述敏感细粒度规则，具体的制定过程如图4 所示：
(1)根据IP、端口和工程路径来确定的检测目标；
(2)确定检测目标的敏感字段并为敏感字段设置对应的敏感等级，所述敏感等级包括一级风险、二级风险和安全三个等级；
(3)结合应用的实际情况为敏感字段设定key值，并为key值选取相应的value检测规则，key值包括密码、身份证、证件地址、住址等等敏感信息；所述应用的实际情况包括新上线应用、应用出现重大变更、周期性作业；如此，所述敏感信息匹配检测即可为：对响应报文进行键值对解析，再分别进行key值的模糊匹配与对应value值的规则精确匹配。
涉敏采样档案建立模块，用于根据所述敏感信息检测结果，给对应的 URL或接口打上敏感等级标签，然后将敏感等级标签连同泄露的敏感信息字段一起入库，完成对URL或接口的涉敏采样档案的建立(也叫威胁列表) 的建立，从而避免因不间断检测引起的不必要的资源开销，也为漏洞的加固提供数据支撑。
其中，作为本实施例的一种更优或更为具体的实现方式，如图3所示，所述AI异常流量检测模块进行的所述AI异常流量检测具体是：根据用户访问轨迹提取操作员画像特征、操作轨迹画像特征和窗口内操作特征，然后进行特征整合与AI智能分析，判断是否为异常流量；其中：
所述操作员画像特征包括用户标识、会话标识、IP等的特征；
所述操作轨迹画像特征包括URL或接口的特征、业务敏感性特征等；
所述窗口内操作特征包括访问时间、访问地点、访问间隔和访问频率等特征；
所述特征整合包括特征无量纲化处理，离散变量onehot编码，特征插值组合新特征，以及整合用户访问轨迹特征等。
所述AI智能分析是先进行无监督方式进行数据聚类分析，对异常数据进行标注，再通过有监督方式的对标注的异常数据进行训练和检测，进而分离出恶意攻击行为流量；
所述异常操作访问行为的判断依据是：多次进行服务高频调用操作的时间段相同，或多次触发服务高频操作的时间间隔相似，则判断为外挂；触发高频操作的时间固定则判断为定时器，进行服务高频调用的账号的登录地与登录时间异常，则判断为账号盗用。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了一种电子设备，如图6所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供一种计算机可读存储介质，如图7所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
1、通过端口镜像进行数据包捕获、会话还原重组、HTTP解析，然后将 DPI数据存入消息队列，作为整个系统的数据源，流量镜像可为该系统的实时性与高性能提供保障；
2、对数据源进行AI异常流量检测和敏感信息检测，从系统上线即实施安全防护覆盖，避免出现安全防护空档期，实现采集作业控制；
3、通过对涉敏采样档案的建立，可避免因不间断检测引起的不必要的资源开销；
4、通过定制形成应用级的细粒度敏感数据检测规则，一方面可以提升规则的精确度，另一方面根据应用运行状况(注入新业务上线、重大迭代更新、周期性)有目的控制采集周期，可以在资源开销与检测覆盖完整性之间找到平衡；
5、将AI异常流量检测、敏感信息检测采样建档、白名单三者结合，可形成三级告警，便于相关人员进行问题处置，同时结合封停功能(诸如账号锁定、IP封停、会话终止等)、URL/接口加固流程接口，形成完整的问题解决闭环；其中，白名单机制(包括URL/接口白名单、IP白名单)的使用，可应对一些特殊调场景，消除非真实攻击的红色告警，降低系统误报率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置或系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种敏感数据的检测与防护的方法，其特征在于：包括下述步骤：
S1、在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
S2、对数据源进行AI异常流量检测和敏感信息检测；
所述AI异常流量检测是：基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；
所述敏感信息检测是：根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
S3、根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。
2.根据权利要求1所述的一种敏感数据的检测与防护的方法，其特征在于：还包括下述步骤：
S4、提供URL或接口的加固流程接口与封停处置接口，分别用于对安全隐患的加固复查与安全事件的应急处理。
3.根据权利要求1所述的一种敏感数据的检测与防护的方法，其特征在于：所述S2中，所述AI异常流量检测具体是：根据用户访问轨迹提取操作员画像特征、操作轨迹画像特征和窗口内操作特征，然后进行特征整合与AI智能分析，判断是否为异常流量；其中：
所述操作员画像特征包括用户标识、会话标识、IP的特征；
所述操作轨迹画像特征包括URL或接口的特征、业务敏感性特征；
所述窗口内操作特征包括访问时间、访问地点、访问间隔和访问频率的特征；
所述特征整合包括特征无量纲化处理，离散变量onehot编码，特征插值组合新特征，以及整合用户访问轨迹特征；
所述AI智能分析又分为无监督方式进行数据聚类分析，对异常数据进行标注，以及有监督方式的对标注的异常数据进行训练和检测，进而分离出恶意攻击行为流量；
所述异常操作访问行为的判断依据是：多次进行服务高频调用操作的时间段相同，或多次触发服务高频操作的时间间隔相似，则判断为外挂；触发高频操作的时间固定则判断为定时器，进行服务高频调用的账号的登录地与登录时间异常，则判断为账号盗用。
4.根据权利要求1所述的一种敏感数据的检测与防护的方法，其特征在于：所述S2中，所述敏感细粒度规则的制定过程是：
(1)根据IP、端口和工程路径来确定的检测目标；
(2)确定检测目标的敏感字段并为敏感字段设置对应的敏感等级，所述敏感等级包括一级风险、二级风险和安全三个等级；
(3)结合应用的实际情况为敏感字段设定key值，并为key值选取相应的value检测规则；所述应用的实际情况包括新上线应用、应用出现重大变更、周期性作业；
所述敏感信息匹配检测具体是：对响应报文进行键值对解析，再分别进行key值的模糊匹配与对应value值的规则精确匹配；
所述敏感信息检测之后还包括：涉敏采样档案的建立，即根据所述敏感信息检测结果，给对应的URL或接口打上敏感等级标签，然后将敏感等级标签连同泄露的敏感信息字段一起入库，完成对URL或接口的涉敏采样档案的建立。
5.一种敏感数据的检测与防护的装置，其特征在于：包括：
数据采集分析模块，用于在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
AI异常流量检测模块，用于基于用户的访问轨迹和频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；
敏感信息检测模块，根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
分级告警模块：用于根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。
6.根据权利要求5所述的一种敏感数据的检测与防护的装置，其特征在于：还包括：
应急处理模块，提供URL或接口的加固流程接口与封停处置接口，分别用于对安全隐患的加固复查与安全事件的应急处理。
7.根据权利要求5所述的一种敏感数据的检测与防护的装置，其特征在于：所述AI异常流量检测模块进行的所述AI异常流量检测具体是：根据用户访问轨迹提取操作员画像特征、操作轨迹画像特征和窗口内操作特征，然后进行特征整合与AI智能分析，判断是否为异常流量；其中：
所述操作员画像特征包括用户标识、会话标识、IP的特征；
所述操作轨迹画像特征包括URL或接口的特征、业务敏感性特征；
所述窗口内操作特征包括访问时间、访问地点、访问间隔和访问频率的特征；
所述特征整合包括特征无量纲化处理，离散变量onehot编码，特征插值组合新特征，以及整合用户访问轨迹特征；
所述AI智能分析又分为无监督方式进行数据聚类分析，对异常数据进行标注，以及有监督方式的对标注的异常数据进行训练和检测，进而分离出恶意攻击行为流量；
所述异常操作访问行为的判断依据是：多次进行服务高频调用操作的时间段相同，或多次触发服务高频操作的时间间隔相似，则判断为外挂；触发高频操作的时间固定则判断为定时器，进行服务高频调用的账号的登录地与登录时间异常，则判断为账号盗用。
8.根据权利要求5所述的一种敏感数据的检测与防护的装置，其特征在于：还包括：系统控制模块和涉敏采样档案建立模块；
所述系统控制模块用于制定所述敏感细粒度规则，具体的制定过程是：
(1)根据IP、端口和工程路径来确定的检测目标；
(2)确定检测目标的敏感字段并为敏感字段设置对应的敏感等级，所述敏感等级包括一级风险、二级风险和安全三个等级；
(3)结合应用的实际情况为所述敏感字段设定key值，并为key值选取相应的value检测规则；所述应用的实际情况包括新上线应用、应用出现重大变更、周期性作业；则：所述敏感信息检测模块进行所述敏感信息匹配检测具体是：对响应报文进行键值对解析，再分别进行key值的模糊匹配与对应value值的规则精确匹配；
所述涉敏采样档案建立模块，用于根据所述敏感信息检测结果，给对应的URL或接口打上敏感等级标签，然后将敏感等级标签连同泄露的敏感信息字段一起入库，完成对URL或接口的涉敏采样档案的建立。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的方法。
CN202011499024.8A 2020-12-17 2020-12-17 一种敏感数据的检测与防护的方法、装置、设备和介质 Active CN112787992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499024.8A CN112787992B (zh) 2020-12-17 2020-12-17 一种敏感数据的检测与防护的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499024.8A CN112787992B (zh) 2020-12-17 2020-12-17 一种敏感数据的检测与防护的方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112787992A true CN112787992A (zh) 2021-05-11
CN112787992B CN112787992B (zh) 2023-05-30

Family

ID=75751181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499024.8A Active CN112787992B (zh) 2020-12-17 2020-12-17 一种敏感数据的检测与防护的方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112787992B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722740A (zh) * 2021-09-06 2021-11-30 全知科技(杭州)有限责任公司 一种基于接口画像的水平越权访问敏感数据风险的检测方法
CN113765912A (zh) * 2021-09-02 2021-12-07 迈迪信息技术有限公司 一种分布式防火墙装置及其检测方法
CN114037286A (zh) * 2021-11-10 2022-02-11 国网天津市电力公司 一种基于大数据电力调度自动化敏感数据检测方法及系统
CN114465823A (zh) * 2022-04-08 2022-05-10 杭州海康威视数字技术股份有限公司 工业互联网终端加密流量数据安全检测方法、装置及设备
CN114745170A (zh) * 2022-04-07 2022-07-12 鹏城实验室 物联网异常实时检测方法、装置、终端及可读存储介质
CN114866351A (zh) * 2022-07-06 2022-08-05 湖南创星科技股份有限公司 一种基于区块链的区域医疗处方监管方法及平台
CN115022373A (zh) * 2022-06-21 2022-09-06 浙江浩瀚能源科技有限公司 充电桩的数据安全检测方法、系统、设备及存储介质
CN115189937A (zh) * 2022-07-06 2022-10-14 武汉极意网络科技有限公司 一种用于客户端数据的安全防护方法及装置
CN117171787A (zh) * 2023-08-24 2023-12-05 湖北交投襄阳高速公路运营管理有限公司 高速路收费专网移动存储设备的访问管控方法及系统
CN117579385A (zh) * 2024-01-16 2024-02-20 山东星维九州安全技术有限公司 一种快速筛查新型WebShell流量的方法、系统及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040205419A1 (en) * 2003-04-10 2004-10-14 Trend Micro Incorporated Multilevel virus outbreak alert based on collaborative behavior
US20070294253A1 (en) * 2006-06-20 2007-12-20 Lyle Strub Secure domain information protection apparatus and methods
CN101399672A (zh) * 2008-10-17 2009-04-01 章毅 一种多神经网络融合的入侵检测方法
CN103152227A (zh) * 2013-03-26 2013-06-12 北京启明星辰信息技术股份有限公司 一种应对网络威胁与攻击的一体化实时检测系统及方法
US8544060B1 (en) * 2012-01-27 2013-09-24 Symantec Corporation Method and system for detecting and protecting against potential data loss from unknown applications
CN107392028A (zh) * 2017-07-21 2017-11-24 上海携程商务有限公司 敏感信息的检测方法及其检测装置、存储介质、电子设备
CN107992764A (zh) * 2017-11-28 2018-05-04 国网河南省电力公司电力科学研究院 一种敏感网页识别与检测方法及装置
US20190073483A1 (en) * 2014-03-20 2019-03-07 Amazon Technologies, Inc. Identifying sensitive data writes to data stores
CN110598411A (zh) * 2019-09-23 2019-12-20 腾讯科技（深圳）有限公司 敏感信息检测方法、装置、存储介质和计算机设备
CN111726353A (zh) * 2020-06-17 2020-09-29 华中科技大学 基于数控系统的敏感数据分级保护方法及分级保护系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040205419A1 (en) * 2003-04-10 2004-10-14 Trend Micro Incorporated Multilevel virus outbreak alert based on collaborative behavior
US20070294253A1 (en) * 2006-06-20 2007-12-20 Lyle Strub Secure domain information protection apparatus and methods
CN101399672A (zh) * 2008-10-17 2009-04-01 章毅 一种多神经网络融合的入侵检测方法
US8544060B1 (en) * 2012-01-27 2013-09-24 Symantec Corporation Method and system for detecting and protecting against potential data loss from unknown applications
CN103152227A (zh) * 2013-03-26 2013-06-12 北京启明星辰信息技术股份有限公司 一种应对网络威胁与攻击的一体化实时检测系统及方法
US20190073483A1 (en) * 2014-03-20 2019-03-07 Amazon Technologies, Inc. Identifying sensitive data writes to data stores
CN107392028A (zh) * 2017-07-21 2017-11-24 上海携程商务有限公司 敏感信息的检测方法及其检测装置、存储介质、电子设备
CN107992764A (zh) * 2017-11-28 2018-05-04 国网河南省电力公司电力科学研究院 一种敏感网页识别与检测方法及装置
CN110598411A (zh) * 2019-09-23 2019-12-20 腾讯科技（深圳）有限公司 敏感信息检测方法、装置、存储介质和计算机设备
CN111726353A (zh) * 2020-06-17 2020-09-29 华中科技大学 基于数控系统的敏感数据分级保护方法及分级保护系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113765912A (zh) * 2021-09-02 2021-12-07 迈迪信息技术有限公司 一种分布式防火墙装置及其检测方法
CN113722740B (zh) * 2021-09-06 2023-07-28 全知科技(杭州)有限责任公司 一种基于接口画像的水平越权访问敏感数据风险的检测方法
CN113722740A (zh) * 2021-09-06 2021-11-30 全知科技(杭州)有限责任公司 一种基于接口画像的水平越权访问敏感数据风险的检测方法
CN114037286A (zh) * 2021-11-10 2022-02-11 国网天津市电力公司 一种基于大数据电力调度自动化敏感数据检测方法及系统
CN114745170A (zh) * 2022-04-07 2022-07-12 鹏城实验室 物联网异常实时检测方法、装置、终端及可读存储介质
CN114745170B (zh) * 2022-04-07 2023-08-18 鹏城实验室 物联网异常实时检测方法、装置、终端及可读存储介质
CN114465823A (zh) * 2022-04-08 2022-05-10 杭州海康威视数字技术股份有限公司 工业互联网终端加密流量数据安全检测方法、装置及设备
CN114465823B (zh) * 2022-04-08 2022-08-19 杭州海康威视数字技术股份有限公司 工业互联网终端加密流量数据安全检测方法、装置及设备
CN115022373A (zh) * 2022-06-21 2022-09-06 浙江浩瀚能源科技有限公司 充电桩的数据安全检测方法、系统、设备及存储介质
CN115189937A (zh) * 2022-07-06 2022-10-14 武汉极意网络科技有限公司 一种用于客户端数据的安全防护方法及装置
CN114866351A (zh) * 2022-07-06 2022-08-05 湖南创星科技股份有限公司 一种基于区块链的区域医疗处方监管方法及平台
CN117171787A (zh) * 2023-08-24 2023-12-05 湖北交投襄阳高速公路运营管理有限公司 高速路收费专网移动存储设备的访问管控方法及系统
CN117579385A (zh) * 2024-01-16 2024-02-20 山东星维九州安全技术有限公司 一种快速筛查新型WebShell流量的方法、系统及设备
CN117579385B (zh) * 2024-01-16 2024-03-19 山东星维九州安全技术有限公司 一种快速筛查新型WebShell流量的方法、系统及设备

Also Published As

Publication number Publication date
CN112787992B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN112787992B (zh) 一种敏感数据的检测与防护的方法、装置、设备和介质
CN104283889B (zh) 基于网络架构的电力系统内部apt攻击检测及预警系统
McHugh Intrusion and intrusion detection
US8997236B2 (en) System, method and computer readable medium for evaluating a security characteristic
Xu et al. Alert correlation through triggering events and common resources
CN113660224B (zh) 基于网络漏洞扫描的态势感知防御方法、装置及系统
Zhang et al. User intention-based traffic dependence analysis for anomaly detection
CN111327601B (zh) 异常数据响应方法、系统、装置、计算机设备和存储介质
Sabri et al. Identifying false alarm rates for intrusion detection system with data mining
KR20210030361A (ko) 컴퓨터 보안 사건을 보고하기 위한 시스템 및 방법
CN113032793A (zh) 数据安全智能加固系统及方法
CN113411297A (zh) 基于属性访问控制的态势感知防御方法及系统
CN110138731A (zh) 一种基于大数据的网络防攻击方法
CN113411295A (zh) 基于角色的访问控制态势感知防御方法及系统
JP2023550974A (ja) イメージ基盤悪性コード検知方法および装置とこれを利用する人工知能基盤エンドポイント脅威検知および対応システム
US7093297B2 (en) Method and apparatus for monitoring a network data processing system
CN113660222A (zh) 基于强制访问控制的态势感知防御方法及系统
JP4843546B2 (ja) 情報漏洩監視システムおよび情報漏洩監視方法
CN111885088A (zh) 基于区块链的日志监测方法及装置
CN110378120A (zh) 应用程序接口攻击检测方法、装置以及可读存储介质
CN113055362B (zh) 异常行为的预防方法、装置、设备及存储介质
Hakkoymaz Classifying Database Users for Intrusion Prediction and Detection in Data Security
CN113360907A (zh) 一种基于ides和nides的防黑客入侵方法
CN113141274A (zh) 基于网络全息图实时检测敏感数据泄露的方法、系统和存储介质
Xu et al. Method of cumulative anomaly identification for security database based on discrete markov chain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant