CN113271220A - 一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 - Google Patents
一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 Download PDFInfo
- Publication number
- CN113271220A CN113271220A CN202110340162.XA CN202110340162A CN113271220A CN 113271220 A CN113271220 A CN 113271220A CN 202110340162 A CN202110340162 A CN 202110340162A CN 113271220 A CN113271220 A CN 113271220A
- Authority
- CN
- China
- Prior art keywords
- data
- data flow
- log
- information
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 17
- 238000012550 audit Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/126—Applying verification of the received information the source of the received data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括：采集大数据平台中各个组件的配置文件和日志文件；根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证，实现高精度的组件识别，结合凝练的安全审计模型，实现大数据平台整体数据流转情况的采集，进而支持业务流程中不同环节的数据使用情况审计，并能够对异常任务、异常数据使用场景进行识别和告警。
Description
技术领域
本发明属于大数据技术领域，具体提出一种基于大数据组件配置文件和日志文件的跨组件数据流向审计的方法和系统。
背景技术
以Hadoop为代表的大数据技术自推出以来，重点解决了分布式环境下利用通用服务器进行海量数据计算的各类痛点，随着云技术的推广，各个集群陆续从内网走向外网，因为缺乏原生的数据保护机制，且大数据组件种类多、搭配和组合多，导致数据层面屡次出现泄漏事件，虽然各个组件也陆续推出了各种保护措施，但是缺乏整体角度的数据使用情况审计，无法对整个集群的数据流转及运行情况进行安全评估。
数据流向不同于数据血缘，前者的重点在数据的流转过程，例如Kafka的订阅，本身不会产生新的数据关系，但是其被不同的用户订阅走的数据都需要进行追踪；数据血缘重点关注数据的衍生关系，并且囿于技术体系的不同，数据血缘的探究多在同一个组件中，一旦数据跨组件流转，尤其是在不同数据组件之间流转时，血缘关系很难获取，此外，因为不同的组件代表不同的处理过程，此时去追踪血缘也没有那么必要了。而数据流向的追踪对于数据安全，尤其是跟踪数据的使用情况，就显得非常重要。可以通过数据流向，跟踪每个不同的业务的具体处理逻辑，可以从不同的数据交互、业务逻辑交互中梳理出数据流转路径；可以通过数据流向发现业务的使用异常，例如一个新的数据流向的产生，以及一个既有数据流的中断，都一般是业务上产生了新变化或故障导致；可以通过数据流向情况，结合权限信息，发现一些漏洞，例如用户没有某个数据的权限，但是却拥有该数据的一个下游子集的权限，则必然会导致信息的泄露。
发明内容
本发明聚焦Hadoop生态下，采用轻量级侵扰方式，通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证，实现高精度的组件识别，结合凝练的安全审计模型，实现大数据平台整体数据流转情况的采集，进而支持业务流程中不同环节的数据使用情况审计，并能够对异常任务、异常数据使用场景进行识别和告警。
为实现上述目的，本发明采用的技术方案如下：
一种基于配置文件和日志文件的跨组件数据流向审计方法，包括以下步骤：
采集大数据平台中各个组件的配置文件和日志文件；
根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；
根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；
根据数据流向图进行数据流向的异常判定及告警。
进一步地，所述日志文件包括运行日志文件、审计日志文件。
进一步地，通过包含集群、服务、角色、实例四层结构的组件构建模型，实现任意大数据组件的全局统一描述，其中：
集群：对应不同的数据中心，任意一个独立的数据中心就是一个集群；
服务：对应不同的大数据组件；
角色：对应某个服务下的不同功能角色；
实例：是指某个具体的运行的进程，是配置文件的最小单元。
进一步地，所述根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件，包括：
1)采集某一组件的信息，依据组件构建模型所定义的要求，根据提前确定的数据字典，采集包括所属集群、服务、角色、实例等具体的基础信息；
2)将采集的基础信息作为初始判定列表，并在整个集群中探查所有节点；
3)对于待探查的节点，基于集群、服务名、角色名、实例IP，依次判定是否在初始判定列表中出现，如果没有出现，则将该待探查的节点的所属集群、服务名、角色名、实例IP插入初始判定列表，并基于“集群-服务-角色-添加时间-随机码”形成唯一的组件ID；
4)如果该待探查的节点的所属集群、服务名、角色名、实例IP已经在初始判定列表中出现，则交叉验证该待探查的节点的配置文件中的关键IP是否已经在初始判定列表中出现，如果未出现，则将该待探查的节点的配置文件中的关键IP插入初始判定列表；
5)如果该待探查的节点的配置文件中的关键IP已经在初始判定列表中出现，则进一步比对该待探查的节点的运行日志中的IP是否在初始判定列表中出现，如果有出现，则将该待探查的节点的运行日志中的IP更新到已有的对应ID下的组件，并更新属性；
6)如果该待探查的节点的运行日志中的IP没有在初始判定列表中出现，则放弃放弃该待探查的节点的运行日志中的IP；
7)依次循环执行上述过程，直至完成数据字典中所有已知组件和集群下所有节点的判定，最终的判定列表即为本集群的所有组件。
进一步地，所述根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图，包括：
基于所述组件构建模型，从日志数据中提取两个关键实体：数据实体、程序实体；
基于程序实体、数据实体构建数据流向图，数据流向图中的任意两个实体都通过读、写关系关联。
进一步地，构建所述数据流向图时，首先构建原子数据流向信息，然后将多个原子数据流向信息进行去重、合并、统一后得到整个集群的完整数据流向信息。
进一步地，所述根据数据流向图进行数据流向的异常判定及告警，包括：
1)通过关联权限信息，支持查验是否有权限设置的遗漏环节，具体包括以下步骤：
a)构建集群的数据流向信息，存储在图数据库中；
b)将待核验的用户权限信息作为输入条件，在数据流向中进行检索，查看被授权数据的前后数据流；
c)确定前后流转关系中是否出现该用户无权访问的信息，如果有，则进行告警；
2)通过设定判定阈值，自动发现流量变化异常的数据流，含新增、中断流程，并支持展示相关组件和对应的部署信息，对变化异常的数据流进行告警推送；具体包括以下步骤：
a)构建集群的数据流向信息，存储在图数据库中；
b)基于时间条件，查看某个时间点之前存在数据流向，但是该时间点后消失的数据流向，并将检索结果推送告警；
c)基于时间条件，查看某个时间点之前不存在数据流向，但是该时间点后出现的数据流向，并将检索结果推送告警。
一种采用上述方法的基于配置文件和日志文件的跨组件数据流向审计系统，包括文件采集模块、日志实时计算模块、日志存储模块、日志离线分析模块和可视化展示模块；
所述文件采集模块用于采集物理服务器的配置文件和日志文件，并对本地数据进行去重、标准化处理；
所述日志实时计算模块用于进行全局的数据去重、标准化、归一化，并进行大数据组件的识别和ID生成；
所述日志离线分析模块用于实现数据流向图的构建和数据流向异常分析；
所述日志存储模块用于实现各类原始日志数据、配置文件数据的存储；
所述可视化展示模块用于展示包括数据、程序实体、组件属性在内的各种信息。
本发明提出的方法具有以下的优点及效果：
1.组件自动识别。通过预置的元数据和字典信息(字典信息即大数据组件的一些关键信息，例如对于HDFS，该字典会存储HDFS的NameNode的URI、配置文件所在的存储目录等信息)，自动识别任意大数据集群中不同物理机上部署的各个不同大数据组件的具体角色，准确率高，并能将信息进行统一汇总，支持去重、消冗，可以识别组件的迁移、增加、移除等场景。
2.支持呈现跨组件的数据流。通过数据流向识别技术，构建跨组件的数据流向图，可以查览全局的数据流情况，并能通过数据流向进行异常流向的自动判定和告警，支持增加新的业务场景，可以快速完成针对数据流的分析。
附图说明
图1是本发明方法的整体架构图。
图2是应用于数据流向的组件构建模型图。
图3是数据流向构建示意图。
图4是一个数据流向图的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
本发明的主要内容包括：
1)分布式环境下的组件识别技术，通过配置文件、运行日志的IP和用户信息，识别分布式环境下，部署在不同物理服务器上的组件和对应角色，并进行唯一编号。可以根据既有数据的交叉比对，判定是新增角色还是角色迁移，并通过日志信息进行辅助验证，达到组件识别的超高精度识别。
2)数据流向识别技术，通过对组件的识别，结合运行日志信息中的用户、元数据信息(如Hive的库表、Kafka的topic、ES的Index等信息)构建数据流向的有向图，并支持通过扩展属性的方式实现节点IP、角色等信息的补充。
3)数据流向的异常判定技术，通过关联权限信息，支持查验是否有权限设置的遗漏环节；通过设定判定阈值，自动发现流量变化异常的数据流，含新增、中断流程，并能支持展示相关组件和对应的部署信息；通过关联日志信息，支持判定异常任务，例如不加条件的数据全量读取等。
下面具体说明本发明的方法。
1.整体架构设计
整个方案的架构如图1所示，主要包括部署在每个物理服务器(计算节点)上的文件采集模块、日志实时计算模块、日志存储模块、日志离线分析模块和可视化展示模块几个部分组成。其中文件采集模块主要采集配置文件、运行日志文件、审计日志文件等信息，可以对本机的进程、运行环境等信息进行采集，支持对本地数据的去重、标准化处理等功能，将预处理的结果数据发送到包含数据总线的日志实时计算模块中。通过日志实时计算模块支持全局的数据去重、标准化、归一化等，并进行组件(即大数据组件)的识别和ID生成，支持对流量数据的统计和处理。日志离线分析模块主要进行历史数据的迭代分析，产生预测模型数据，支持规则的汇聚，实现数据流向图的构建和数据流向异常分析。日志存储模块实现各类原始日志数据、配置文件数据(包含版本变化记录)等的存储。可视化展示模块用于展示数据、程序实体、组件属性等信息。
其中，配置文件是指程序运行过程中一些参数的配置管理文件，可以通过该文件修改一些参数的值，进行程序运行状态的调整，以达到更高的运行效率或更稳定的运行效果。运行日志文件是指程序在运行过程中输出的INFO、WARN、ERROR等级别的运行情况，通过运行日志，可以查验程序的运行状态，判定和处理程序运行故障。审计日志文件是指记录程序运行过程中，对数据、程序本身执行的一些关键操作，审计一般会包括执行的用户、时间、操作和执行结果信息，以便于回溯用户的行为，审查是否有异常举动和还原一些问题场景。
2.应用于数据流向的组件构建模型设计
本发明设计并实现包含集群、服务、角色、实例四层结构的组件构建模型，如图2所示，其中每个元素的定义如下：
集群：对应不同的数据中心，任意一个独立的数据中心就是一个集群；
服务：对应不同的大数据组件，包括HDFS、Hive、YARN、Kafka、Flume、ZK、Spark、ES等；
角色：对应具体某个服务下的不同功能角色，比如HDFS服务下有NameNode、DataNode、JournalNode等角色，ES服务下有Master和Node角色；
实例：是指某个具体的运行的进程，也是配置文件的最小单元，每个实例对应一个进程，一个或多个配置文件。
配置文件采集、版本管理以及日志文件中的组件信息、数据流转信息均按照上述模型进行统一抽象，即可以实现任意组件的全局统一描述。离线计算、实时计算都是基于该模型通过对数据进行分别处理，构建出模型的数据，最终识别出每个组件，进而产出一个完整的数据流向。
判定组件是否唯一的过程(即组件识别的过程)包括：
1)采集某一组件的信息，主要依据上述的模型所定义的要求，根据提前确定的数据字典，采集包括所属集群、服务、角色、实例等具体的基础信息。
2)将上述采集的基础信息作为初始判定列表，并在整个集群中探查所有节点。
3)对于待探查的节点，基于集群、服务名、角色名、实例IP等信息，依次判定是否在初始判定列表中出现，如果没有出现，则将该待探查的节点的所属集群、服务名、角色名、实例IP插入初始判定列表，并基于“集群-服务-角色-添加时间-随机码”形成唯一的组件ID；
4)如果该待探查的节点的所属集群、服务名、角色名、实例IP，已经在初始判定列表中出现，则交叉验证该待探查的节点的配置文件中的关键IP，是否已经在初始判定列表中出现，如果未出现，则将该待探查的节点的配置文件中的关键IP插入初始判定列表，规则同上。
5)如果该待探查的节点的配置文件中的关键IP已经在初始判定列表中出现，则进一步比对该待探查的节点的运行日志中的IP是否在初始判定列表中出现，如果有出现，则将该待探查的节点的运行日志中的IP更新到已有的对应ID下的组件，并更新属性，此处的更新属性可以追加新的列，也可以更新已有的数值。
通过前面步骤1)-5)的核验，可以最大化的将该组件的变更信息存储下来，另外，任何的更新和插入都会记录下来，通过记录所有的日志信息，可以发现新增、迁移的角色。
6)如果该待探查的节点的运行日志中的IP没有在初始判定列表中出现，则放弃该条记录，即放弃该待探查的节点的运行日志中的IP，本次操作终止，进行下一条记录的处理。
7)依次循环执行上述过程，直至完成数据字典中所有已知组件和集群下所有节点的判定，最终的判定列表即为本集群的所有组件。
3.数据流向图构建
基于“集群-服务-角色-实例”的模型从日志数据中提取两个关键实体：数据实体、程序实体。数据流向的构建是基于程序实体、数据实体，这是在组件中运行的两个具体的元素。
数据实体：具体的某个数据集，例如Hive的表、Kafka的topic、ES的索引等。
程序实体：具体的某个任务，例如Spark的某个JDBC查询实例、HTTPFlume就是一个具体的程序实体、ES整体抽象为一个程序实体。
数据流向的构建主要包括：以数据为中心的生成(写)和使用(读)；以程序为中心的数据读、写，统一映射为“读”、“写”关系。基于该规则构建数据流向图，具体如下：
a)数据流向图的实体包括数据实体、程序实体；
b)任意两个实体都是通过读、写关系关联；
c)数据实体不能直接连接数据实体、程序实体也不能直接连接程序实体；
d)基于图库(即图数据库，其中存储关系和实体)进行数据存储和检索。
图3是数据流向图构建示意图。其中，原子数据流向信息是指某一条具体的数据流向信息，比如Kafka的一个订阅程序，会记录订阅IP、时间、订阅人、订阅的数据主题。根据数据字典记录的不同组件的信息，调用该组件的接口获取对应的日志、配置等信息，然后基于上述组件构建模型采集对应的元素，自动构建原子数据流向信息。完整数据流向信息是指将多个原子数据流向信息进行去重、合并、统一后的整个集群的数据流向信息。基于数据、程序实体作为点，基于原子数据流向信息记录补充对应的关系，形成一个网络状的数据流向，即得到完整数据流向信息。可视化展示模块用于展示数据、程序实体、组件属性等信息。图4是一个数据流向图的示意图，其中的圆形表示具体某个数据的名称，长方形表示处理数据的某个具体应用，展示的名称均是唯一的ID。
4.数据流向异常分析设计
数据流向异常分析由日志离线分析模块完成。从组件的日志文件等信息中解析出原子数据流向信息，包括IP、数据源、目标、程序进程信息、用户信息、时间等。基于配置文件中提取的组件实体信息，结合日志文件中的程序实体、数据实体构建数据流向图。然后基于数据流向图，通过设置阈值的方式，实现数据流向异常的判定，进而实现告警，主要包括：
1)通过关联权限信息，支持查验是否有权限设置的遗漏环节。具体包括以下步骤：
a)构建集群的数据流向信息，存储在图数据库中；
b)将待核验的用户权限信息作为输入条件，在数据流向中进行检索，查看被授权数据的前后数据流；
c)确定前后流转关系中是否出现该用户无权访问的信息，如果有，则进行告警。
2)通过设定判定阈值，自动发现流量变化异常的数据流，含新增、中断流程，并能支持展示相关组件和对应的部署信息，对变化异常的数据流进行告警推送。具体包括以下步骤：
a)构建集群的数据流向信息，存储在图数据库中；
b)基于时间条件，查看某个时间点之前存在数据流向，但是该时间点后消失的数据流向，并将检索结果推送告警；
c)基于时间条件，查看某个时间点之前不存在数据流向，但是该时间点后出现的数据流向，并将检索结果推送告警。
基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。
Claims (10)
1.一种基于配置文件和日志文件的跨组件数据流向审计方法，其特征在于，包括以下步骤：
采集大数据平台中各个组件的配置文件和日志文件；
根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；
根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；
根据数据流向图进行数据流向的异常判定及告警。
2.根据权利要求1所述的方法，其特征在于，所述日志文件包括运行日志文件、审计日志文件。
3.根据权利要求1所述的方法，其特征在于，通过包含集群、服务、角色、实例四层结构的组件构建模型，实现任意大数据组件的全局统一描述，其中：
集群：对应不同的数据中心，任意一个独立的数据中心就是一个集群；
服务：对应不同的大数据组件；
角色：对应某个服务下的不同功能角色；
实例：是指某个具体的运行的进程，是配置文件的最小单元。
4.根据权利要求3所述的方法，其特征在于，所述根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件，包括：
1)采集某一组件的信息，依据组件构建模型所定义的要求，根据提前确定的数据字典，采集包括所属集群、服务、角色、实例等具体的基础信息；
2)将采集的基础信息作为初始判定列表，并在整个集群中探查所有节点；
3)对于待探查的节点，基于集群、服务名、角色名、实例IP，依次判定是否在初始判定列表中出现，如果没有出现，则将该待探查的节点的所属集群、服务名、角色名、实例IP插入初始判定列表，并基于“集群-服务-角色-添加时间-随机码”形成唯一的组件ID；
4)如果该待探查的节点的所属集群、服务名、角色名、实例IP已经在初始判定列表中出现，则交叉验证该待探查的节点的配置文件中的关键IP是否已经在初始判定列表中出现，如果未出现，则将该待探查的节点的配置文件中的关键IP插入初始判定列表；
5)如果该待探查的节点的配置文件中的关键IP已经在初始判定列表中出现，则进一步比对该待探查的节点的运行日志中的IP是否在初始判定列表中出现，如果有出现，则将该待探查的节点的运行日志中的IP更新到已有的对应ID下的组件，并更新属性；
6)如果该待探查的节点的运行日志中的IP没有在初始判定列表中出现，则放弃放弃该待探查的节点的运行日志中的IP；
7)依次循环执行上述过程，直至完成数据字典中所有已知组件和集群下所有节点的判定，最终的判定列表即为本集群的所有组件。
5.根据权利要求3所述的方法，其特征在于，所述根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图，包括：
基于所述组件构建模型，从日志数据中提取两个关键实体：数据实体、程序实体；
基于程序实体、数据实体构建数据流向图，数据流向图中的任意两个实体都通过读、写关系关联。
6.根据权利要求5所述的方法，其特征在于，构建所述数据流向图时，首先构建原子数据流向信息，然后将多个原子数据流向信息进行去重、合并、统一后得到整个集群的完整数据流向信息。
7.根据权利要求1所述的方法，其特征在于，所述根据数据流向图进行数据流向的异常判定及告警，包括：
1)通过关联权限信息，支持查验是否有权限设置的遗漏环节，具体包括以下步骤：
a)构建集群的数据流向信息，存储在图数据库中；
b)将待核验的用户权限信息作为输入条件，在数据流向中进行检索，查看被授权数据的前后数据流；
c)确定前后流转关系中是否出现该用户无权访问的信息，如果有，则进行告警；
2)通过设定判定阈值，自动发现流量变化异常的数据流，含新增、中断流程，并支持展示相关组件和对应的部署信息，对变化异常的数据流进行告警推送；具体包括以下步骤：
a)构建集群的数据流向信息，存储在图数据库中；
b)基于时间条件，查看某个时间点之前存在数据流向，但是该时间点后消失的数据流向，并将检索结果推送告警；
c)基于时间条件，查看某个时间点之前不存在数据流向，但是该时间点后出现的数据流向，并将检索结果推送告警。
8.一种采用权利要求1～7中任一权利要求所述方法的基于配置文件和日志文件的跨组件数据流向审计系统，其特征在于，包括文件采集模块、日志实时计算模块、日志存储模块、日志离线分析模块和可视化展示模块；
所述文件采集模块用于采集物理服务器的配置文件和日志文件，并对本地数据进行去重、标准化处理；
所述日志实时计算模块用于进行全局的数据去重、标准化、归一化，并进行大数据组件的识别和ID生成；
所述日志离线分析模块用于实现数据流向图的构建和数据流向异常分析；
所述日志存储模块用于实现各类原始日志数据、配置文件数据的存储；
所述可视化展示模块用于展示包括数据、程序实体、组件属性在内的各种信息。
9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110340162.XA CN113271220B (zh) | 2021-03-30 | 2021-03-30 | 一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110340162.XA CN113271220B (zh) | 2021-03-30 | 2021-03-30 | 一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113271220A true CN113271220A (zh) | 2021-08-17 |
| CN113271220B CN113271220B (zh) | 2022-10-14 |
Family
ID=77228240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110340162.XA Expired - Fee Related CN113271220B (zh) | 2021-03-30 | 2021-03-30 | 一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113271220B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析系统与方法 |
| US20100106678A1 (en) * | 2008-10-24 | 2010-04-29 | Microsoft Corporation | Monitoring agent programs in a distributed computing platform |
| US20130204948A1 (en) * | 2012-02-07 | 2013-08-08 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| CN105933151A (zh) * | 2016-04-20 | 2016-09-07 | 中国银行股份有限公司 | 一种银行业务系统的监控方法及系统 |
| CN108964995A (zh) * | 2018-07-03 | 2018-12-07 | 上海新炬网络信息技术股份有限公司 | 基于时间轴事件的日志关联分析方法 |
| CN109471846A (zh) * | 2018-11-02 | 2019-03-15 | 中国电子科技网络信息安全有限公司 | 一种基于云日志分析的云上用户行为审计系统及方法 |
| CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
-
2021
- 2021-03-30 CN CN202110340162.XA patent/CN113271220B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100106678A1 (en) * | 2008-10-24 | 2010-04-29 | Microsoft Corporation | Monitoring agent programs in a distributed computing platform |
| CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析系统与方法 |
| US20130204948A1 (en) * | 2012-02-07 | 2013-08-08 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| CN105933151A (zh) * | 2016-04-20 | 2016-09-07 | 中国银行股份有限公司 | 一种银行业务系统的监控方法及系统 |
| CN108964995A (zh) * | 2018-07-03 | 2018-12-07 | 上海新炬网络信息技术股份有限公司 | 基于时间轴事件的日志关联分析方法 |
| CN109471846A (zh) * | 2018-11-02 | 2019-03-15 | 中国电子科技网络信息安全有限公司 | 一种基于云日志分析的云上用户行为审计系统及方法 |
| CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113271220B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11196756B2 (en) | Identifying notable events based on execution of correlation searches | |
| US8533193B2 (en) | Managing log entries | |
| US10452625B2 (en) | Data lineage analysis | |
| RU2691595C2 (ru) | Конструируемый поток данных для улучшенной обработки событий | |
| US20140013302A1 (en) | Log configuration of distributed applications | |
| Karumuri et al. | Towards observability data management at scale | |
| CA3013332C (en) | Cloud-based platform instrumentation and monitoring system for maintenance of user-configured programs | |
| US20230195728A1 (en) | Column lineage and metadata propagation | |
| CN111581054A (zh) | 一种基于elk的日志埋点的业务分析告警系统及方法 | |
| JP2020057416A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| KR20150118963A (ko) | 큐 모니터링 및 시각화 | |
| Mi et al. | Performance problems diagnosis in cloud computing systems by mining request trace logs | |
| CN107491558B (zh) | 元数据更新方法及装置 | |
| US20230289331A1 (en) | Model generation service for data retrieval | |
| CN113271220B (zh) | 一种基于配置文件和日志文件的跨组件数据流向审计方法和系统 | |
| CN115225470B (zh) | 一种业务异常监测方法、装置、电子设备及存储介质 | |
| WO2023098462A1 (en) | Improving performance of sql execution sequence in production database instance | |
| US11023449B2 (en) | Method and system to search logs that contain a massive number of entries | |
| CN108681495A (zh) | 一种坏块修复方法及装置 | |
| CN107402920B (zh) | 确定关系数据库表关联复杂度的方法和装置 | |
| CN113672457A (zh) | 识别数据库中的异常操作的方法和装置 | |
| CN108959604B (zh) | 维护数据库集群的方法、装置及计算机可读存储介质 | |
| CN117155772B (zh) | 一种告警信息丰富方法、装置、设备及存储介质 | |
| US11755430B2 (en) | Methods and systems for storing and querying log messages using log message bifurcation | |
| US20210304070A1 (en) | Machine learning model operation management system, operation management method, and computer readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221014 |