CN107733902A - 一种目标数据扩散过程的监控方法及装置 - Google Patents
一种目标数据扩散过程的监控方法及装置 Download PDFInfo
- Publication number
- CN107733902A CN107733902A CN201710995907.XA CN201710995907A CN107733902A CN 107733902 A CN107733902 A CN 107733902A CN 201710995907 A CN201710995907 A CN 201710995907A CN 107733902 A CN107733902 A CN 107733902A
- Authority
- CN
- China
- Prior art keywords
- daily record
- data
- target data
- target
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种目标数据扩散过程的监控方法及装置,具体的,通过对大数据平台组件的日志以及数据流转过程中所涉及的网络设备、安全设备、主机、数据库等设备所记录的日志进行采集以及解析处理,识别并标识敏感数据访问操作类日志,以源IP、目的IP、操作对象等属性为条件,横向关联所有敏感数据的访问操作类日志,生成目标数据流转途径,进而可以实现对大数据环境下的敏感数据的流转扩散过程进行分析,全面、准确的发现敏感数据所有访问流转路径。
Description
技术领域
本发明涉及计算机网络信息安全技术领域,尤其涉及一种目标数据扩散过程的监控方法及装置。
背景技术
越来越多的企事业单位、机构等为了提升工作效率及核心竞争力,更加依赖大数据平台实现与应用系统之间的信息互通、共享与交互。大数据平台保存着应用系统的大量数据,用户可直接访问大数据平台获取自身所需信息并可将信息传递给他人,其中,数据的访问形式包括通过命令、工具或大数据平台直接访问等方式。同样的,流转路径也有多种,如通过Ftp服务、数据共享中心下载;通过U盘、CD/DVD、移动硬盘拷贝;以及,通过Email、QQ、微信等即时通信工具进行传递等。因此,信息安全也成为企业安全管理和风险控制的核心内容。
许多企业为了保护大数据平台的数据安全,主要使用4A、字符堡垒、文件堡垒、桌面终端管控系统、DLP(Data Leakage Prevention,数据泄露防护)系统、网络嗅探、入侵防护等安全设备以监控、记录数据的访问操作过程。例如,图1为一种常用DLP系统的部署架构示意图。如图1所示,该DLP系统可以分成基于网络的数据泄露防护方案(NDLP)和基于主机的数据泄露防护方案(HDLP),以通过身份认证和加密控制以及使用日志的统计对内部文件经行控制。其中,在基于网络的数据泄漏防御方案中,通常在内部网络和外部网络连接的出口处部署DLP管理控制平台,所针对的对象是进出单位内部网络的所有数据。在基于主机的数据泄漏防御方案中,则在存放敏感数据的主机、终端上部署DLP工具,当其发现被保护主机上的数据被违规转移出主机时,HDLP会采取拦截或警报等行为。
但是上述现有安全设备只是监控、记录自身所管控范围内的数据访问行为,并不能监控企业所关注的大数据环境下的庞大数据中的敏感数据的流转过程。
发明内容
本发明实施例提供了一种目标数据扩散过程的监控方法及装置,以对大数据环境下的敏感数据的流转扩散过程进行分析。
根据本发明实施的第一方面,提供了一种目标数据扩散过程的监控方法,该方法包括:
采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志;
从所述各访问操作类日志中筛选出操作对象与目标数据相匹配的目标日志;
根据从各所述目标日志中所提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
可选地,根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志,包括:
通过标准化引擎对所述原始日志进行解析和格式化,输出统一格式的标准化日志;
利用预设匹配方法,判断根据敏感数据分类、分级所定义的敏感数据特征属性与所述标准化日志中的日志相关属性是否相匹配;
如果相匹配,则将所述标准化日志判定为包含敏感数据的访问操作类日志。
可选地,利用预设匹配方法,判断根据敏感数据分类、分级所定义的敏感数据特征属性与所述标准化日志中的日志相关属性是否相匹配之前,所述方法还包括:
对所述标准化日志中对不具备分析意义的日志进行过滤、以及属性相同的日志进行合并处理。
可选地,根据各所述目标日志中提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系,包括:
根据各所述目标日志中的源IP和目的IP信息,得到所述目标数据的原始存储IP节点、以及首次访问所述目标数据的一级IP节点;
以目标节点的源IP与已查找到节点的目的IP相匹配为一个查询条件,遍历剩余所述目标日志中的源IP和目的IP信息,依次生成所述目标数据在一级IP节点之后的各IP节点之间的扩散流转关系。
可选地,形成所述目标数据在各IP节点之间的扩散流转关系之后,所述方法还包括:
利用可视化工具,根据所述目标数据在各IP节点之间的扩散流转关系,绘制出所述目标数据的访问操作流转视图。
可选地,所述访问操作流转视图中包括目标数据原始存储IP节点模块、首次访问所述目标数据的一级IP节点模块、中间流转IP节点模块、以及最终流转IP节点模块,其中:
所述目标数据原始存储IP节点模块中包括从所述目标日志中提取的目标数据类型、目标数据敏感级别、数据描述、数据来源、数据大小、以及原始存储位置信息;
所述一级IP节点模块中包括从所述目标日志中提取的访问用户的基本信息、访问来源、访问方法、访问时间、是否脱敏信息。
根据本发明实施的第二方面,提供了另一种目标数据扩散过程的监控方法,该方法包括:
采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
根据对所述原始日志的解析结果,得到包含目标数据的各访问操作类日志;
从各所述访问操作类日志中,分别提取所述目标数据的源IP和目的IP;
根据各所述访问操作类日志中的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
根据本发明实施的第三方面,提供了一种目标数据扩散过程的监控装置,该装置包括:
原始日志采集模块:用于采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
原始日志解析模块:用于根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志;
目标日志筛选模块:用于从所述各访问操作类日志中筛选出操作对象与目标数据相匹配的目标日志;
数据流转关系生成模块:用于根据从各所述目标日志中所提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
优选地,所述装置还包括:
目标数据流转视图生成模块:用于利用可视化工具,根据所述目标数据在各IP节点之间的扩散流转关系,绘制出所述目标数据的访问操作流转视图。
根据本发明实施的第四方面,另提供了一种目标数据扩散过程的监控装置,该装置包括:
原始日志采集模块:用于采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
原始日志解析模块:用于根据对所述原始日志的解析结果,得到包含目标数据的各访问操作类日志;
IP信息提取模块:用于从各所述访问操作类日志中,分别提取所述目标数据的源IP和目的IP;
数据流转关系生成模块:用于根据各所述访问操作类日志中的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
由以上技术方案可见,本发明实施例提供的目标数据扩散过程的监控方法及装置,通过对大数据平台组件的日志以及数据流转过程中所涉及的网络设备、安全设备、主机、数据库等设备所记录的日志进行采集以及解析处理,识别并标识敏感数据访问操作类日志,以源IP、目的IP等属性为条件,横向关联所有敏感数据的访问操作类日志,生成目标数据流转途径,进而可以实现对大数据环境下的敏感数据的流转扩散过程进行分析。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中一种常用DLP系统的部署架构示意图;
图2为本发明实施例提供的目标数据扩散过程的监控系统的部署架构示意图;
图3为本发明实施例提供的一种目标数据扩散过程的监控方法的流程示意图;
图4为本发明实施例提供的目标数据流转扩散过程的流转视图;
图5为本发明实施例提供的另一种目标数据扩散过程的监控方法的流程示意图;
图6为本发明实施例提供的一种目标数据扩散过程的监控装置的结构示意图;
图7为本发明实施例提供的另一种目标数据扩散过程的监控装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
针对当今大部分安全设备只是监控、记录自身所管控范围内的数据访问行为的原始数据,没有进行格式化或标准化处理,而且并不能识别敏感数据的操作行为,更不能分析呈现出敏感数据的流转过程的问题。本发明实施例提供的目标数据扩散过程的监控方法,通过对大数据平台组件日志以及数据流转过程中所有网络设备、安全设备所监控、记录的日志进行采集、分析处理,识别并标识敏感数据访问操作类日志,以源IP、目的IP、等属性为条件,横向关联所有敏感数据访问操作类日志,综合分析敏感数据流转途径。
图2为本发明实施例提供的目标数据扩散过程的监控系统的部署架构示意图。如图2所示,日志采集服务器20分别与大数据平台组件30(如包括HDFS、HBase、Hive、Sqoop等)和数据流转过程中所涉及的目标设备40(例如,访问控制设备:包括4A、字符堡垒、FTP堡垒,桌面终端管控系统等;安全设备:包括网络DLP、终端DLP、入侵防护、网络嗅探、数据库嗅探等;网络设备:包括交换机、路由器等)通信连接,用于采集上述设备所监控、记录的日志;同时,日志采集服务器20还与其所属网络系统中的日志分析服务器10通信连接,用于对日志采集服务器20采集的日志进行解析,识别并标识敏感数据访问操作类日志,以源IP、目的IP、等属性为条件,横向关联所有敏感数据访问操作类日志,综合分析敏感数据流转途径。
基于上述系统架构,下面将对本发明实施例提供的目标数据扩散过程的监控方法进行详细介绍。图3为本发明实施例提供的一种目标数据扩散过程的监控方法的流程示意图,应用于图2的中的日志分析服务器10和日志采集服务器20,需要说明的是,本实施例中的日志分析服务器10和日志采集服务器20还可以集成于同一设备主体中。如图3所示,该方法具体包括如下步骤:
步骤S110:采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志。
具体的,利用采集服务器进行原始日志采集时,根据所连接的具体设备不同分为主动采集和被动采集两种方式,如大数据平台组件、以及数据流转过程中涉及的应用程序接口类设备则可以通过日志采集接口主动采集;对于数据流转过程中涉及的平台访问控制设备、网络设备、安全设备等设备则可以通过专门用于接收日志的服务器(如syslog)被动接收上述设备发送的日志。
其中,在采用主动采集方式获取日志信息时,可以首先从预设设备信息库(该数据库用于存储设备的基础信息)中获取被采集设备的初始信息,如被采集设备类型、设备IP地址、设备账号名称、账号密码等。然后,根据获取的初始信息,建立采集服务器和被采集设备之间的网络连接,其中,可以采用多台采集服务器采用分布式部署,通过并发方式建立与被采集设备之间的网络连接,连接成功后登录被检查设备。最后,在登录到被采集设备后,根据所述被采集设备的设备类型,采集服务器在被采集设备上执行相应的日志信息采集脚本,采集被采集设备所记录的日志信息。
步骤S120:根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志。
本实施例中的敏感数据,可以根据企业、单位发布的相关规范为标准定义其分类、分级,为后续识别并标识敏感数据提供依据。例如,针对用户的基本信息(如客户编号、客户身份证号)、通话短信信息等定义为敏感数据,并且不同的信息定义不同的敏感级别。
由于步骤S110所采集的原始日志来自于不同的设备,因此需要对上述原始日志进行内容解析,以获取包含敏感数据的各访问操作类日志。具体可以包括如下步骤:
步骤S121:通过标准化引擎对所述原始日志进行解析和格式化,输出统一格式的标准化日志。
具体的,可以结合日志知识库信息,通过日志标准化引擎对设备原始日志信息进行解析和抽取,根据日志分类识别表达式,识别出原始日志对应的日志分类,并按该分类所适用的属性字段析取相应的值。然后,由标准化引擎根据特征值公式进行计算、精准匹配出统一格式的标准化日志。其中,最终输出的安全日志信息包括日志类型、操作对象、操作命令、账号、源IP、目的IP、报送设备IP、日志内容、日志级别、发生时间、发生次数等相关属性。
进一步的,在根据日志分类识别表达式,识别出原始日志对应的日志分类时,可以通过正则表达式规则匹配算法的一系列特殊字符,构建日志分类的匹配模式,然后依据匹配模式对原始日志进行匹配,匹配成功后析取正则表达式中的分组变量或特殊变量值,并将属性变量及其值以key-vale(键值)形式缓存在map里,通过日志分类识别表达式及其已经析取出的变量值计算出所属的日志分类。
例如,原始日志样例:<86>sshd[12915]:Accepted password for root from186.31.27.53 port 4991 ssh2
日志分类识别规则样例:<(\d+)>([^;]+):\s*(Accepted password)for\s+(\w+)\s*from\s*([\w|\W]+)\s+port\s+\d+\s+(\w+)
日志分类识别规则样例:if{原始数据析取变量:主账号}=""then{BM数据库事件:BM数据库绕行操作事件}else{BM数据库事件:BM数据库堡垒操作事件}
步骤S122:利用预设匹配方法,判断根据敏感数据分类、分级所定义的敏感数据特征属性与所述标准化日志中的日志相关属性是否相匹配。
具体的,可以结合敏感数据分类、分级定义的敏感数据特征属性,利用正则表达式等模式匹配方法,对步骤S121中生成的日志相关属性,如操作对象、操作内容等进行匹配,如果匹配成功,则执行步骤S123,即标识该安全日志为敏感数据操作日志。本实施例中,日志内容属性可以包括日志类型、操作对象、操作命令、操作内容、时间、源IP、目的IP等以及敏感数据的基本信息、访问用户的信息等。
例如,通过安全日志的特征值公式(逻辑表达式)和已析取出的变量值计算出特征值。将计算出的特征值和所有日志分类下安全日志(操作细项)的特征值进行匹配,匹配成功后生成对应安全日志对象,完成安全日志识别。其中,特征值公式是由解析的日志基础属性变量、逻辑关系符等逻辑表达式组成,最终通过内部表达式规则引擎算出结果。
步骤S123:如果相匹配,则将所述标准化日志判定为包含敏感数据的访问操作类日志。
进一步的,为了减少日志总数,提高数据处理速度,在步骤S122之前,所述方法还包括如下步骤:
步骤S124:对所述标准化日志中对不具备分析意义的日志进行过滤、以及属性相同的日志进行合并处理。
例如,对于debug级别日志,如对于调试级别的日志就不具备分析意义,进而在本步骤中可以过滤掉。在进行日志合并时,可以将超过两个以上的属性相同的日志进行合并,比如ddos攻击日志,其事件类型、源IP一样,我们就进行日志合并,但是针对不同的日志类型,可以设置不同的合并标准。
步骤S130:从所述各访问操作类日志中筛选出操作对象与目标数据相匹配的目标日志。
经过上述步骤的处理,此时可以有很多的访问操作类日志,并且日志中的操作对象可以针对不同的敏感数据,例如,如果想获取某个移动用户的身份证号在各IP间的流转过程,则将该身份证号作为目标数据与各访问操作类日志中的操作对象进行匹配操作,如果该访问操作类日志中的操作对象也为该身份证号信息,则认为两者相匹配,并且将该日志定义为目标日志。
步骤S140:根据从各所述目标日志中所提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
具体的,可以采用如下方式形成目标数据在各流转节点之间的流转关系:
步骤S141:根据各所述目标日志中的源IP和目的IP信息,得到所述目标数据的原始存储IP节点、以及首次访问所述目标数据的一级IP节点。
步骤S142:以目标节点的源IP与已查找到节点的目的IP相匹配为一个查询条件,遍历剩余所述目标日志中的源IP和目的IP信息,依次生成所述目标数据在一级IP节点之后的各IP节点之间的扩散流转关系。
当然,还可以同时采用目标日志属性信息中的操作命令、操作内容、时间等信息中的一个或多个信息进行目标数据在各IP节点之间的扩散流转关系分析。例如,目标数据在一级IP节点之后的各IP节点之间的扩散流转关系时,以目标数据源IP和目标数据内容作为一个查询条件,查找所有筛选出来的日志,哪些日志里有相同的目标数据源IP和目标数据,然后以日志发生的时间先后顺序定义二级、三级流转节点,发生时间越早,流转节点越靠前。
进一步的,形成所述目标数据在各IP节点之间的扩散流转关系之后,还可以利用可视化工具,根据所述目标数据在各IP节点之间的扩散流转关系,绘制出所述目标数据的访问操作流转视图,例如,利用敏感数据首节点、中间流转节点、最后一个流转节点之间的纵横向关系,绘制出敏感数据访问操作流转视图,以更为清晰再现敏感数据流转轨迹。
其中,本实施例中的访问操作流转视图中可以包括目标数据原始存储IP节点模块、首次访问所述目标数据的一级IP节点模块、中间流转IP节点模块、以及最终流转IP节点模块四大模块。各模块所包含的元素主要有从日志中提取的:数据类型、数据级别、数据描述、数据来源、原始存储位置、访问接口、数据形态、访问时间、访问方法、数据大小、流转路径/节点、访问来源/流向节点、访问用户等信息。
具体的,所述目标数据原始存储IP节点模块中基本信息可以包括敏感数据类型(如A1-3:用户基本资料)、敏感数据级别(如第3级敏感级)、数据描述(如用户基本资料文件)、数据来源(如BOSS系统)、数据大小(如100KB)、以及原始存储位置取值(如一个datanode节点及文件路径)等。
用户在某一时间通过某种方式来访问上述敏感数据,则在首次访问所述目标数据的一级IP节点模块中进行视图显示,其基本信息可以包括:访问主体信息即访问用户的基本信息(如帐号ID、自然人姓名、所属部门)、访问来源(如访问用户的IP地址或者终端名称)、访问方法(如调用某hive接口查询)、访问时间(如日期+时间样式)、是否脱敏访问等。
同理,所生成中间流转节点IP及最终流转IP节点模块中基本信息也可以包括从日志中提取的访问接口、访问时间、访问方法等信息。
进一步的,在流转视图上的各节点之间还可以显示数据的流转方式、流转时间等元素。
图4为本发明实施例提供的目标数据流转扩散过程的流转视图。如图4所示,本实施例中的感数据扩散视图上所设计的节点、以及各节点所包含的元素及取值方式,可以更为全面的清晰的展示数据的流转过程。
由上述实施例可以见,本实施提供的监控方案,通过采集大数据平台组件的日志以及数据流转过程所涉及的访问控制设备、安全设备、网络设备、主机、数据库等所产生的日志,日志分析范围更广,为分析敏感数据流转的整个过程提供了有利基础。进一步的,本实施例采用全量、多维度的日志综合分析方法,进而可以全面、准确的发现敏感数据所有访问流转路径。
在进行日志分析时,本实施例还提供了只针对一种目标数据的扩散过程的监控方法。图5为本发明实施例提供的另一种目标数据扩散过程的监控方法的流程示意图。如图5所示,该方法具体包括如下步骤:
步骤S210:采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志。
具体的,采集大数据平台组件和数据流转过程中所涉及的目标设备(例如访问控制设备、安全设备、网络设备等)所监控记录的日志信息。
步骤S220:根据对所述原始日志的解析结果,得到包含目标数据的各访问操作类日志。
本实施例与上述实施例一的区别在于,上述实施例首先根据敏感数据分类、分级所定义的敏感数据特征属性从日志采集服务器所采集的日志中,先筛选出各类包含敏感数据的操作类日志,然后根据日志属性信息,从包含敏感数据的操作类日志中再筛选包含目标数据的日志,并进行目标数据的扩散流转关系分析。而本实施例直接根据目标数据所定义的数据特征属性从日志采集服务器所采集的日志中包含目标数据的各访问操作类日志。
本实施例提供的方法适用于所要监控的目标数据类型较少的情况,可以减少日志筛选的次数。而针对所要监控的目标数据类型较多的情况,则可以采用上述实施例一所提供的方法,以减少对原始日志分析的次数。
步骤S230:从各所述访问操作类日志中,分别提取所述目标数据的源IP和目的IP。
步骤S240:根据各所述访问操作类日志中的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
基于上述实施例一的目标数据扩散过程的监控方法,本发明实施例还提供了一种目标数据扩散过程的监控装置。图6为本发明实施例提供的一种目标数据扩散过程的监控装置的基本结构示意图。如图6所示,该装置具有包括:
原始日志采集模块610:用于采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
原始日志解析模块620:用于根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志;
目标日志筛选模块630:用于从所述各访问操作类日志中筛选出操作对象与目标数据相匹配的目标日志;
数据流转关系生成模块640:用于根据从各所述目标日志中所提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
进一步的,本发明实施例提供的监控装置还包括:
目标数据流转视图生成模块650:用于利用可视化工具,根据所述目标数据在各IP节点之间的扩散流转关系,绘制出所述目标数据的访问操作流转视图。
基于上述实施例二的目标数据扩散过程的监控方法,本发明实施例还提供了另一种目标数据扩散过程的监控装置。图7为本发明实施例提供的另一种目标数据扩散过程的监控装置的基本结构示意图。如图7所示,该装置具有包括:
原始日志采集模块710:用于采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
原始日志解析模块720:用于根据对所述原始日志的解析结果,得到包含目标数据的各访问操作类日志;
IP信息提取模块730:用于从各所述访问操作类日志中,分别提取所述目标数据的源IP和目的IP;
数据流转关系生成模块740:用于根据各所述访问操作类日志中的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
本发明实施例提供的目标数据扩散过程的监控装置,通过对大数据平台组件的日志以及数据流转过程中所涉及的网络设备、安全设备、主机、数据库等设备所记录的日志进行采集以及解析处理,识别并标识敏感数据访问操作类日志,以源IP、目的IP等属性为条件,横向关联所有敏感数据的访问操作类日志,生成目标数据流转途径,进而可以实现对大数据环境下的敏感数据的流转扩散过程进行分析,全面、准确的发现敏感数据所有访问流转路径。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种目标数据扩散过程的监控方法,其特征在于,所述方法包括:
采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志;
从所述各访问操作类日志中筛选出操作对象与目标数据相匹配的目标日志;
根据从各所述目标日志中所提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
2.根据权利要求1所述的方法,其特征在于,根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志,包括:
通过标准化引擎对所述原始日志进行解析和格式化,输出统一格式的标准化日志;
利用预设匹配方法,判断根据敏感数据分类、分级所定义的敏感数据特征属性与所述标准化日志中的日志相关属性是否相匹配;
如果相匹配,则将所述标准化日志判定为包含敏感数据的访问操作类日志。
3.根据权利要求2所述的方法,其特征在于,利用预设匹配方法,判断根据敏感数据分类、分级所定义的敏感数据特征属性与所述标准化日志中的日志相关属性是否相匹配之前,所述方法还包括:
对所述标准化日志中对不具备分析意义的日志进行过滤、以及属性相同的日志进行合并处理。
4.根据权利要求1所述的方法,其特征在于,根据各所述目标日志中提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系,包括:
根据各所述目标日志中的源IP和目的IP信息,得到所述目标数据的原始存储IP节点、以及首次访问所述目标数据的一级IP节点;
以目标节点的源IP与已查找到节点的目的IP相匹配为一个查询条件,遍历剩余所述目标日志中的源IP和目的IP信息,依次生成所述目标数据在一级IP节点之后的各IP节点之间的扩散流转关系。
5.根据权利要求1所述的方法,其特征在于,形成所述目标数据在各IP节点之间的扩散流转关系之后,所述方法还包括:
利用可视化工具,根据所述目标数据在各IP节点之间的扩散流转关系,绘制出所述目标数据的访问操作流转视图。
6.根据权利要求5所述的方法,其特征在于,所述访问操作流转视图中包括目标数据原始存储IP节点模块、首次访问所述目标数据的一级IP节点模块、中间流转IP节点模块、以及最终流转IP节点模块,其中:
所述目标数据原始存储IP节点模块中包括从所述目标日志中提取的目标数据类型、目标数据敏感级别、数据描述、数据来源、数据大小、以及原始存储位置信息;
所述一级IP节点模块中包括从所述目标日志中提取的访问用户的基本信息、访问来源、访问方法、访问时间、是否脱敏信息。
7.一种目标数据扩散过程的监控方法,其特征在于,所述方法包括:
采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
根据对所述原始日志的解析结果,得到包含目标数据的各访问操作类日志;
从各所述访问操作类日志中,分别提取所述目标数据的源IP和目的IP;
根据各所述访问操作类日志中的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
8.一种目标数据扩散过程的监控装置,其特征在于,所述装置包括:
原始日志采集模块:用于采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
原始日志解析模块:用于根据对所述原始日志的解析结果,得到包含敏感数据的各访问操作类日志;
目标日志筛选模块:用于从所述各访问操作类日志中筛选出操作对象与目标数据相匹配的目标日志;
数据流转关系生成模块:用于根据从各所述目标日志中所提取的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
目标数据流转视图生成模块:用于利用可视化工具,根据所述目标数据在各IP节点之间的扩散流转关系,绘制出所述目标数据的访问操作流转视图。
10.一种目标数据扩散过程的监控装置,其特征在于,所述装置包括:
原始日志采集模块:用于采集目标网络中大数据平台组件以及相关目标设备所记录的原始日志;
原始日志解析模块:用于根据对所述原始日志的解析结果,得到包含目标数据的各访问操作类日志;
IP信息提取模块:用于从各所述访问操作类日志中,分别提取所述目标数据的源IP和目的IP;
数据流转关系生成模块:用于根据各所述访问操作类日志中的源IP和目的IP之间的衔接关系,形成所述目标数据在各IP节点之间的扩散流转关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710995907.XA CN107733902A (zh) | 2017-10-23 | 2017-10-23 | 一种目标数据扩散过程的监控方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710995907.XA CN107733902A (zh) | 2017-10-23 | 2017-10-23 | 一种目标数据扩散过程的监控方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107733902A true CN107733902A (zh) | 2018-02-23 |
Family
ID=61212368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710995907.XA Pending CN107733902A (zh) | 2017-10-23 | 2017-10-23 | 一种目标数据扩散过程的监控方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107733902A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769255A (zh) * | 2018-06-26 | 2018-11-06 | 铭阳数通科技(西安)有限公司 | 企业数据的采集和治理方法 |
CN111666186A (zh) * | 2020-04-26 | 2020-09-15 | 杭州数梦工场科技有限公司 | 数据访问异常的检测方法、装置、存储介质及计算机设备 |
CN112733188A (zh) * | 2021-01-13 | 2021-04-30 | 航天晨光股份有限公司 | 一种敏感文件管理方法 |
CN113691423A (zh) * | 2021-08-31 | 2021-11-23 | 上海观安信息技术股份有限公司 | 数据流转路径的绘制方法、装置、存储介质及电子设备 |
CN113704752A (zh) * | 2021-08-31 | 2021-11-26 | 上海观安信息技术股份有限公司 | 数据泄露行为的检测方法、装置、计算机设备及存储介质 |
CN113839956A (zh) * | 2021-09-28 | 2021-12-24 | 平安医疗健康管理股份有限公司 | 数据安全评估方法、装置、设备及存储介质 |
CN115208657A (zh) * | 2022-07-11 | 2022-10-18 | 阿里云计算有限公司 | 日志安全检测方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827102A (zh) * | 2010-04-20 | 2010-09-08 | 中国人民解放军理工大学指挥自动化学院 | 基于内容过滤的数据防护方法 |
CN104461826A (zh) * | 2014-12-05 | 2015-03-25 | 北京奇虎科技有限公司 | 对象流转监控的方法、装置及系统 |
CN105700888A (zh) * | 2016-01-14 | 2016-06-22 | 国网山东省电力公司物资公司 | 一种基于jbpm工作流引擎的可视化快速开发平台 |
CN105825137A (zh) * | 2015-01-05 | 2016-08-03 | 中国移动通信集团江苏有限公司 | 一种确定敏感数据扩散行为的方法及装置 |
CN105897783A (zh) * | 2016-07-01 | 2016-08-24 | 中国联合网络通信有限公司重庆市分公司 | 一种可控可管的敏感数据交换技术实现方法 |
-
2017
- 2017-10-23 CN CN201710995907.XA patent/CN107733902A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827102A (zh) * | 2010-04-20 | 2010-09-08 | 中国人民解放军理工大学指挥自动化学院 | 基于内容过滤的数据防护方法 |
CN104461826A (zh) * | 2014-12-05 | 2015-03-25 | 北京奇虎科技有限公司 | 对象流转监控的方法、装置及系统 |
CN105825137A (zh) * | 2015-01-05 | 2016-08-03 | 中国移动通信集团江苏有限公司 | 一种确定敏感数据扩散行为的方法及装置 |
CN105700888A (zh) * | 2016-01-14 | 2016-06-22 | 国网山东省电力公司物资公司 | 一种基于jbpm工作流引擎的可视化快速开发平台 |
CN105897783A (zh) * | 2016-07-01 | 2016-08-24 | 中国联合网络通信有限公司重庆市分公司 | 一种可控可管的敏感数据交换技术实现方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769255A (zh) * | 2018-06-26 | 2018-11-06 | 铭阳数通科技(西安)有限公司 | 企业数据的采集和治理方法 |
CN111666186A (zh) * | 2020-04-26 | 2020-09-15 | 杭州数梦工场科技有限公司 | 数据访问异常的检测方法、装置、存储介质及计算机设备 |
CN111666186B (zh) * | 2020-04-26 | 2023-09-15 | 杭州数梦工场科技有限公司 | 数据访问异常的检测方法、装置、存储介质及计算机设备 |
CN112733188A (zh) * | 2021-01-13 | 2021-04-30 | 航天晨光股份有限公司 | 一种敏感文件管理方法 |
CN112733188B (zh) * | 2021-01-13 | 2023-09-22 | 航天晨光股份有限公司 | 一种敏感文件管理方法 |
CN113691423A (zh) * | 2021-08-31 | 2021-11-23 | 上海观安信息技术股份有限公司 | 数据流转路径的绘制方法、装置、存储介质及电子设备 |
CN113704752A (zh) * | 2021-08-31 | 2021-11-26 | 上海观安信息技术股份有限公司 | 数据泄露行为的检测方法、装置、计算机设备及存储介质 |
CN113704752B (zh) * | 2021-08-31 | 2024-01-26 | 上海观安信息技术股份有限公司 | 数据泄露行为的检测方法、装置、计算机设备及存储介质 |
CN113839956A (zh) * | 2021-09-28 | 2021-12-24 | 平安医疗健康管理股份有限公司 | 数据安全评估方法、装置、设备及存储介质 |
CN113839956B (zh) * | 2021-09-28 | 2023-10-03 | 深圳平安医疗健康科技服务有限公司 | 数据安全评估方法、装置、设备及存储介质 |
CN115208657A (zh) * | 2022-07-11 | 2022-10-18 | 阿里云计算有限公司 | 日志安全检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107733902A (zh) | 一种目标数据扩散过程的监控方法及装置 | |
Pacheco et al. | Uncovering coordinated networks on social media: methods and case studies | |
CN107579956B (zh) | 一种用户行为的检测方法和装置 | |
US9124619B2 (en) | Directing audited data traffic to specific repositories | |
CN103559235B (zh) | 一种在线社交网络恶意网页检测识别方法 | |
CN104579773B (zh) | 域名系统分析方法及装置 | |
CN108156131A (zh) | Webshell检测方法、电子设备和计算机存储介质 | |
CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
CN108334758A (zh) | 一种用户越权行为的检测方法、装置及设备 | |
CN107332848A (zh) | 一种基于大数据的网络流量异常实时监测系统 | |
WO2019041774A1 (zh) | 一种客户信息筛选方法、装置、电子设备及介质 | |
CN112491779B (zh) | 一种异常行为检测方法及装置、电子设备 | |
CN110020687B (zh) | 基于操作人员态势感知画像的异常行为分析方法及装置 | |
CN115134099B (zh) | 基于全流量的网络攻击行为分析方法及装置 | |
CN109347808B (zh) | 一种基于用户群行为活动的安全分析方法 | |
CN110535806A (zh) | 监测异常网站的方法、装置、设备和计算机存储介质 | |
CN107409134A (zh) | 法证分析 | |
CN111767573A (zh) | 数据库安全管理方法、装置、电子设备及可读存储介质 | |
CN113098887A (zh) | 一种基于网站联合特征的钓鱼网站检测方法 | |
CN103118035A (zh) | 分析网站访问请求参数合法范围的方法及装置 | |
CN108337269A (zh) | 一种WebShell检测方法 | |
CN112036995A (zh) | 基于区块链的大型企业财务数据管理方法、系统和可读存储介质 | |
CN113360566A (zh) | 一种信息内容监测方法及系统 | |
CN107465691A (zh) | 基于路由器日志分析的网络攻击检测系统及检测方法 | |
Koutsouvelis et al. | Detection of insider threats using artificial intelligence and visualisation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180223 |