CN113792330A - 一种敏感数据追踪方法和系统 - Google Patents
一种敏感数据追踪方法和系统 Download PDFInfo
- Publication number
- CN113792330A CN113792330A CN202110930926.0A CN202110930926A CN113792330A CN 113792330 A CN113792330 A CN 113792330A CN 202110930926 A CN202110930926 A CN 202110930926A CN 113792330 A CN113792330 A CN 113792330A
- Authority
- CN
- China
- Prior art keywords
- interface
- service
- downstream
- sensitive
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 230000015654 memory Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002688 persistence Effects 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 8
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 10
- 229910052753 mercury Inorganic materials 0.000 description 10
- 238000007726 management method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种敏感数据追踪方法和系统，涉及大数据分析领域。敏感数据追踪方法包括：获取数据库中的至少一个敏感数据库表的库表信息；根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口；根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口。本申请能够在不同步骤中对调用链和指标综合利用，递归分析上下游服务接口在整个链路中的调用情况，定位特定数据库表中的数据最终流向，从而解决在复杂的调用拓扑关系中定位特定数据流向的问题，并可以在调用链的边界节点通过综合分析提供可能的下游服务。
Description
技术领域
本申请涉及大数据分析领域，具体涉及一种敏感数据追踪方法和系统。
背景技术
敏感数据是指泄漏后可能会给社会或个人带来严重危害的数据。包括个人隐私数据，如姓名、身份证号码、住址、电话、银行账号、邮箱、密码、医疗信息、教育背景等；也包括企业或社会机构不适合公布的数据，如企业的经营情况，企业的网络结构、IP地址列表等。因此，保障敏感数据的数据安全至关重要，为了防止敏感数据的数据泄露，需要对敏感数据的数据流向进行分析。
目前，尚未有合适的技术方案定位特定数据库表中的敏感数据最终流向。
申请内容
为了解决上述背景技术中提到的至少一个问题，本申请提供了一种敏感数据追踪方法和系统，能够在不同步骤中对调用链和指标综合利用，递归分析上下游服务接口在整个链路中的调用情况，定位特定数据库表中的数据最终流向，解决了在复杂的调用拓扑关系中定位特定数据流向的问题，并可以在调用链的边界节点通过综合分析提供可能的下游服务。
本申请实施例提供的具体技术方案如下：
第一方面，提供一种敏感数据追踪方法，所述敏感数据追踪方法包括：
获取数据库中的至少一个敏感数据库表的库表信息；
根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口；
根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口。
进一步的，所述根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口，包括：
根据所述数据库筛选得到所述敏感数据库表对应的调用链信息，根据所述调用链信息和所述库表信息定位所述敏感数据库表；
根据所述调用链信息，定位调用链，并对所述调用链按照域名和服务名/接口进行聚合，从定位到的所述敏感数据库表中获取所述敏感数据库表对应的最上游服务和/或接口。
进一步的，所述根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口，包括：
通过拓扑指标查询所述最上游服务和/或接口的第一下游调用链，根据所述第一下游调用链，获取第一下游服务和/或接口；
判断是否能通过拓扑指标查询到第N下游服务和/或接口的第N+1下游调用链，并根据所述第N+1下游调用链获取第N+1下游服务和/或接口，
若能查询到，重复该步骤直至无法查询到对应的下游调用链，所述N为正整数。
进一步的，所述敏感数据追踪方法还包括：
若无法查询到对应的下游调用链，记录每一个所述下游服务和/或接口的节点信息；
将每一个所述节点信息整合为完整的数据结构，并上报所述数据结构。
进一步的，所述敏感数据追踪方法还包括：
根据所述最下游服务和/或接口，获取对应的消息管道的生产者信息以及消费者信息，对所述消息管道的生产者信息以及消费者信息进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第一分析结果；
根据所述最下游服务和/或接口，查询所述最下游服务和/或接口的请求来源IP，对所述请求来源IP进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第二分析结果。
进一步的，所述敏感数据追踪方法还包括：
对所述第一分析结果和所述第二分析结果进行本地持久化处理；
上报所述第一分析结果和所述第二分析结果，并将所述第一分析结果和所述第二分析结果持久化到上报系统中。
进一步的，所述获取数据库中的至少一个敏感数据库表的库表信息，包括：
获取数据库中的配置文件信息，根据所述配置文件信息获取至少一个敏感数据库表的库表信息。
第二方面，提供一种敏感数据追踪系统，所述敏感数据追踪系统包括：
通信模块，用于获取数据库中的至少一个敏感数据库表的库表信息；
监控模块，用于根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口，以及
用于根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口。
第三方面，提供一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述敏感数据追踪方法。
第四方面，提供一种计算机可读存储介质，所述介质存储有计算机可执行指令，所述计算机可执行指令用于执行所述敏感数据追踪方法。
本申请实施例具有如下有益效果：
本申请实施例提供的一种敏感数据追踪方法和系统，能够在不同步骤中对调用链和指标综合利用，递归分析上下游服务接口在整个链路中的调用情况，定位特定数据库表中的数据最终流向，从而解决在复杂的调用拓扑关系中定位特定数据流向的问题，并可以在调用链的边界节点通过综合分析提供可能的下游服务。能够支撑对敏感数据安全的保障工作，防止敏感数据的数据泄露。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本申请实施例提供的敏感数据追踪方法的总流程图；
图2示出根据本申请一个实施例的敏感数据追踪方法的具体流程图；
图3示出本申请实施例提供的敏感数据追踪系统的结构示意图；
图4示出可被用于实施本申请中所述的各个实施例的示例性系统。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，在本申请的描述中，除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
还应当理解，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
需要注意的是，术语“S1”、“S2”等仅用于步骤的描述目的，并非特别指称次序或顺位的意思，亦非用以限定本申请，其仅仅是为了方便描述本申请的方法，而不能理解为指示步骤的先后顺序。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
实施例一
本申请提供了一种敏感数据追踪方法，参照图1和图2，敏感数据追踪方法具体包括如下步骤：
S1、获取数据库中的至少一个敏感数据库表的库表信息。
具体的，上述的数据库为指定的数据库，上述的敏感数据库表为指定的数据库中存储有敏感数据的指定数据库表。另外，上述库表信息可以包括指定敏感数据库表的位置信息、指定敏感数据库表中的敏感数据信息以及对应的调用链信息。
在一个实施例中，方法还包括：
S11、获取数据库中的配置文件信息，根据配置文件信息获取至少一个敏感数据库表的库表信息。
具体的，指定的敏感数据库表的库表信息是通过配置文件获取的，配置文件中关于数据库表的信息可以用来定位数据库表。
S2、根据数据库和库表信息，获取敏感数据库表的最上游服务和/或接口。
在一个实施例中，方法还包括：
S21、根据数据库筛选得到敏感数据库表对应的调用链信息，根据调用链信息和库表信息定位敏感数据库表；根据调用链信息，定位调用链，并对调用链按照域名和服务名/接口进行聚合，从定位到的敏感数据库表中获取敏感数据库表对应的最上游服务和/或接口。
具体的，调用链本身就会存储数据库的相关信息和用于查询的SQL语句。通过敏感数据库表的库表信息以及对应的调用链信息可以定位到敏感数据库表，在通过对SQL语句进行语法分析，获取基于SQL语句操作的表。通过基于SQL语句操作的表以及对应操作的类型来定位到特定的调用链，再对特定的调用链按照域名和服务名/接口进行聚合，进而得到从指定的敏感数据库表中获取到敏感数据的最上游服务/接口，即上述为追溯敏感数据源头的过程。
在本实施例中，通过调用链来获取最上游的域名和服务/接口信息，因为调用链本身存储着数据库的相关信息以及用于查询的SQL语句。而指标数据并不能保存诸如SQL语句等信息，故而采用这种技术方案能够准确地查询到敏感数据的最上游服务/接口。
S3、根据最上游服务和/或接口，获取敏感数据库表的最下游服务和/或接口。
具体的，获取敏感数据库表的最下游服务和/或接口的目的在于追踪指定敏感数据库表中的敏感数据最终流向。可以通过调用链系统查询最上游服务和/或接口的下游调用链，进而查询到对应的下游服务和/或下游接口，通过这种方式递归查询到最下游的服务和/或接口；还可以通过指标系统查询最上游服务和/或接口的下游调用链，进而查询到对应的下游服务和/或下游接口，通过这种方式递归查询到最下游的服务和/或接口。
在一个实施例中，方法还包括：
S31、通过拓扑指标查询最上游服务和/或接口的第一下游调用链，根据第一下游调用链，获取第一下游服务和/或接口；
判断是否能通过拓扑指标查询到第N下游服务和/或接口的第N+1下游调用链，并根据第N+1下游调用链获取第N+1下游服务和/或接口，
若能查询到，重复该步骤直至无法查询到对应的下游调用链，N为正整数。
具体的，调用链系统与指标系统都可以用来查询或获取下游服务和/或下游接口。区别在于，调用链系统的查询性能比起指标系统的查询性能要差很多，使用指标系统进行查询的优势就体现出来了，可以快速地将所需要的数据、信息等提取出来。另外，拓扑指标是指标系统中的一个小类，可以包括一次或多次上游信息、下游信息的请求。
具体的，通过拓扑指标查询最上游服务和/或接口的下游调用链，在根据查询到的下游调用链查询对应的下游服务和/或接口，相当于查询到最上游服务和/或接口的下游服务和/或接口；再通过拓扑指标查询该下游服务和/或接口对应的进一步的下游调用链，进而查询到对应的进一步的下游服务和/或接口，通过这样的递归的方式直至查询不到最后一个服务和/或接口对应的调用链，即可认为最后一个服务和/或接口为最下游服务和/或接口。
S32、若无法查询到对应的下游调用链，记录每一个所述下游服务和/或接口的节点信息；
将每一个所述节点信息整合为完整的数据结构，并上报所述数据结构。
具体的，将每一个下游服务和/或接口记为节点，每一个节点都会记录这个节点的域名和对应的服务/接口信息，即上述节点信息，节点信息可以包括对应的服务/接口名称、对应的上游服务/接口信息、下游调用链信息等。最后将每一个节点的节点信息整合为一个完整的数据结构，并将数据结构推送到北斗系统进行数据展示以及用于报表的生成。
在本实施例中，弥补了调用链查询性能差的问题，能够递归分析上下游服务/接口在整个流动链路中的调用情况，并定位指定敏感数据库表中的敏感数据最终流向，解决了在复杂的调用拓扑关系中定位指定数据流向的问题。
在一个实施例中，方法还包括：
S4、根据所述最下游服务和/或接口，获取对应的消息管道的生产者信息以及消费者信息，对所述消息管道的生产者信息以及消费者信息进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第一分析结果；
根据所述最下游服务和/或接口，查询所述最下游服务和/或接口的请求来源IP，对所述请求来源IP进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第二分析结果。
具体的，上述消息管道可以包括一种用于传输消息的消息中间件，消息管道的消费者和生产者可以理解为管道数据的接收端和发送端。虽然无法再查询到最下游服务和/或接口对应的下游调用链，但是最下游服务和/或接口可能依旧会有数据流向，这时，就需要对数据流向进行进一步的分析。示例性的，消息中间件包括一个或多个channel，每一个channel可以对应一个或多个queue，每一个queue都包含接收端，即包含消费者，若最下游服务和/或接口为上述消息中间件的channel的生产者，即最下游服务和/或接口向channel发送了数据。上述消费者就有可能接收到所发送的数据，这是，即可认为，敏感数据很大可能会传输到上述消费者中，这些消费者/接收端即为隐含的下游服务和/或接口。另外，请求来源IP分析是通过获取最下游服务和/或接口的调用链中的请求来源IP，通过查询CMDB(配置管理数据库)的数据来定位上述请求来源IP属于哪个或哪些服务和/或接口，这个或这些服务和/或接口即为隐含的下游服务和/或接口。
具体的，由于上述消息管道对上下游具有隔离性，一般指标系统以及调用链系统无法追踪到数据在管道中的流动，但可以通过对上述消息中间件的注册信息的比对，可以获取某一个服务和/或接口是否为某个或某些channel的生产者，以及获取channel对应的queue和queue对应的消费者信息，进而分析该服务和/或接口是否存在对应的下游服务和/或接口。
S41、对所述第一分析结果和所述第二分析结果进行本地持久化处理；
上报所述第一分析结果和所述第二分析结果，并将所述第一分析结果和所述第二分析结果持久化到上报系统中。
具体的，持久化是将程序数据在持久状态和瞬时状态间转换的机制。通俗的讲，就是瞬时数据(比如内存中的数据，是不能永久保存的)持久化为持久数据(比如持久化至数据库中，能够长久保存)。一般来说，上述数据分析的结果为瞬时数据，只需要将数据分析结果推送或上报给分析系统即可。但是存在数据溯源以及其他可能存在的问题的考量，还需要对数据进行本地的简单持久化，可以包括将上述数据分析结果根据不同的库分part写入本地文件中。另外，还需要将上述数据分析结果持久化到上报系统中，用于上报分析系统的可视化展示以及数据分析结果的相关报表的生成。
在本实施例中，对最下游服务和/或接口进行进一步的分析，猜测最下游服务和/或接口可能或隐含的下游服务和/或接口，并将数据分析结果进行本地持久化以及上报分析系统。不仅定位到了最下游服务和/或接口，还提供了更多可能存在的下游服务/接口，能够支撑对敏感数据安全的保障工作，防止敏感数据的数据泄露。
实施例二
对应上述实施例，本申请还提供了一种敏感数据追踪系统，参照图3，上述敏感数据追踪系统可以包括通信模块、监控模块和管理模块。
具体的，通信模块用于获取数据库中的至少一个敏感数据库表的库表信息；监控模块用于根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口以及用于根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口。
具体的，上述敏感数据追踪系统还包括SDK组件，可以通过SDK组件接入监控模块，上述监控模块可以包括指标系统、调用链系统以及上报系统。
在一个实施例中，上述SDK组件可以包括MercuryClient，MercuryClient是一种采集SDK，采用包括AOP技术在内的多种埋点技术，通过无业务代码侵入的形式实现对多种中间件以及服务端/接口的埋点，包括mysql、redis、http server以及其他OSP服务等。业务开发者只需要通过在业务代码中引入MercuryClient并进行少量配置，就可以快速接入Mercury的监控系统。
进一步的，上述监控模块还用于根据所述数据库筛选得到所述敏感数据库表对应的调用链信息，根据所述调用链信息和所述库表信息定位所述敏感数据库表以及用于根据所述调用链信息，定位调用链，并对所述调用链按照域名和服务名/接口进行聚合，从定位到的所述敏感数据库表中获取所述敏感数据库表对应的最上游服务和/或接口。
在一个实施例中，Mercury的监控系统包括调用链系统和指标系统。MercuryClient提供包括http、osp、sql在内的多种调用链，通过特定接口代码接入和服务filter接入的形式，可以支持采集单个请求的详细耗时、上游服务和/或接口、请求参数等相关信息，并且采集到的单个调用链span会在后端聚合成为一个完整的调用链。Mercury的调用链/指标信息采用异步落盘日志文件的形式对外暴露，然后由Smart-Agent采集相关日志文件的形式进行上报。Mercury Smart-Agent是Mercury监控系统的上报系统，独立安装在宿主机/物理机上，支持多种形式的调用链/指标采集，包括MercuryClient、PrometheusClient、JeagerClient、DockerApi等，并进行初步的过滤、合并，补充额外信息等预处理，最终将指标/调用链发送到kafka提供给转换/聚合/写入任务进行处理。通过采用这种方式来获取到指定敏感数据库表对应的最上游服务和/或接口。
具体的，Mercury Smart-Agent通过将采集接口进行抽象，然后根据不同的采集目标对服务/接口进行实现，示例性的，对MercuryClient是日志采集，对PrometheusClient是端口扫描并拉取指标，对JeagerClient是开放上报端口并接收上报端口的信息，对DockerApi是通过UnixSocket调用DockerApi。另外，Mercury Smart-Agent对采集到的数据还会进行简单的数据校验，包括数据结构的校验以及指标数值的校验，并会补充一部分的SDK组件无法直接获取到的信息，并根据不同的数据类型进行一些例如时间对齐的操作。
进一步的，上述监控模块还用于通过拓扑指标查询所述最上游服务和/或接口的第一下游调用链，根据所述第一下游调用链，获取第一下游服务和/或接口；判断是否能通过拓扑指标查询到第N下游服务和/或接口的第N+1下游调用链，并根据所述第N+1下游调用链获取第N+1下游服务和/或接口，若能查询到，重复该步骤直至无法查询到对应的下游调用链，所述N为正整数。若无法查询到对应的下游调用链，记录每一个所述下游服务和/或接口的节点信息；将每一个所述节点信息整合为完整的数据结构，并上报所述数据结构。
在一个实施例中，MercuryClient提供四种指标类型，包括counter、timer、histogram、gauge等，分别支持累加、平均、区间计算和自定义上报指标等，支持秒级以及分钟级指标的落盘。通过特定接口代码接入和服务filter接入的形式，可以支持对mysql、redis、http、osp等中间件以及服务/接口的发起请求数、接收请求数、耗时、错误数、上下游信息等信息进行采集。
具体的，通过调用链系统获取最上游服务和/或接口的域名和服务接口信息，不同于上述技术手段，对下游的服务和/或接口的获取主要是通过指标系统，指标系统可以包括拓扑指标。指标系统的查询性能要比调用链系统的查询性能强大很多，可以在合理的时间范围将数据提取出来，因此，通过指标系统进行递归查询寻找下游服务和/或接口。
进一步的，管理模块用于根据所述最下游服务和/或接口，获取对应的消息管道的生产者信息以及消费者信息，对所述消息管道的生产者信息以及消费者信息进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第一分析结果；管理模块还用于根据所述最下游服务和/或接口，查询所述最下游服务和/或接口的请求来源IP，对所述请求来源IP进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第二分析结果。
进一步的，管理模块还用于对所述第一分析结果和所述第二分析结果进行本地持久化处理；并上报所述第一分析结果和所述第二分析结果，并将所述第一分析结果和所述第二分析结果持久化到上报系统中。
进一步的，通信模块还用于获取数据库中的配置文件信息，根据所述配置文件信息获取至少一个敏感数据库表的库表信息。
在本实施例中，通过对调用链系统和指标系统的结合使用，可以弥补调用链系统的查询性能差以及指标数据维度少的问题。将调用链系统与指标系统结合在一起使用，是一种基于准确性和性能的折中、兼顾选择。
实施例三
对应上述实施例，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可以实现上述敏感数据追踪方法。
如图4所示，在一些实施例中，系统能够作为各所述实施例中的任意一个用于敏感数据追踪方法的上述电子设备。在一些实施例中，系统可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器)。
对于一个实施例，系统控制模块可包括任意适当的接口控制器，以向(一个或多个)处理器中的至少一个和/或与系统控制模块通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块可包括存储器控制器模块，以向系统存储器提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
系统存储器可被用于例如为系统加载和存储数据和/或指令。对于一个实施例，系统存储器可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备及(一个或多个)通信接口提供接口。
例如，NVM/存储设备可被用于存储数据和/或指令。NVM/存储设备可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备可包括在物理上作为系统被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备可通过网络经由(一个或多个)通信接口进行访问。
(一个或多个)通信接口可为系统提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
实施例四
对应上述实施例，本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行敏感数据追踪方法。
在本实施例中，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种敏感数据追踪方法，其特征在于，所述敏感数据追踪方法包括：
获取数据库中的至少一个敏感数据库表的库表信息；
根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口；
根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口。
2.根据权利要求1所述的敏感数据追踪方法，其特征在于，所述根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口，包括：
根据所述数据库筛选得到所述敏感数据库表对应的调用链信息，根据所述调用链信息和所述库表信息定位所述敏感数据库表；
根据所述调用链信息，定位调用链，并对所述调用链按照域名和服务名/接口进行聚合，从定位到的所述敏感数据库表中获取所述敏感数据库表对应的最上游服务和/或接口。
3.根据权利要求1或2所述的敏感数据追踪方法，其特征在于，所述根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口，包括：
通过拓扑指标查询所述最上游服务和/或接口的第一下游调用链，根据所述第一下游调用链，获取第一下游服务和/或接口；
判断是否能通过拓扑指标查询到第N下游服务和/或接口的第N+1下游调用链，并根据所述第N+1下游调用链获取第N+1下游服务和/或接口，
若能查询到，重复该步骤直至无法查询到对应的下游调用链，所述N为正整数。
4.根据权利要求3所述的敏感数据追踪方法，其特征在于，所述敏感数据追踪方法还包括：
若无法查询到对应的下游调用链，记录每一个所述下游服务和/或接口的节点信息；
将每一个所述节点信息整合为完整的数据结构，并上报所述数据结构。
5.根据权利要求1至4中任一项所述的敏感数据追踪方法，其特征在于，所述敏感数据追踪方法还包括：
根据所述最下游服务和/或接口，获取对应的消息管道的生产者信息以及消费者信息，对所述消息管道的生产者信息以及消费者信息进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第一分析结果；
根据所述最下游服务和/或接口，查询所述最下游服务和/或接口的请求来源IP，对所述请求来源IP进行分析，并判断所述最下游服务和/或接口是否还存在对应的下游服务和/或接口，得到第二分析结果。
6.根据权利要求5所述的敏感数据追踪方法，其特征在于，所述敏感数据追踪方法还包括：
对所述第一分析结果和所述第二分析结果进行本地持久化处理；
上报所述第一分析结果和所述第二分析结果，并将所述第一分析结果和所述第二分析结果持久化到上报系统中。
7.根据权利要求1所述的敏感数据追踪方法，其特征在于，所述获取数据库中的至少一个敏感数据库表的库表信息，包括：
获取数据库中的配置文件信息，根据所述配置文件信息获取至少一个敏感数据库表的库表信息。
8.一种敏感数据追踪系统，其特征在于，包括：
通信模块，用于获取数据库中的至少一个敏感数据库表的库表信息；
监控模块，用于根据所述数据库和所述库表信息，获取所述敏感数据库表的最上游服务和/或接口，以及
用于根据所述最上游服务和/或接口，获取所述敏感数据库表的最下游服务和/或接口。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任意一项所述敏感数据追踪方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～7中任意一项所述敏感数据追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110930926.0A CN113792330B (zh) | 2021-08-13 | 2021-08-13 | 一种敏感数据追踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110930926.0A CN113792330B (zh) | 2021-08-13 | 2021-08-13 | 一种敏感数据追踪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792330A true CN113792330A (zh) | 2021-12-14 |
| CN113792330B CN113792330B (zh) | 2024-05-03 |
Family
ID=79181625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110930926.0A Active CN113792330B (zh) | 2021-08-13 | 2021-08-13 | 一种敏感数据追踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792330B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114860847A (zh) * | 2022-06-29 | 2022-08-05 | 深圳红途科技有限公司 | 应用于大数据平台的数据链路处理方法、系统及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016203638A1 (en) * | 2007-11-15 | 2016-06-23 | Cfph, Llc | Electronic trading systems and methods |
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| US20170270022A1 (en) * | 2016-03-16 | 2017-09-21 | ASG Technologies Group, Inc. dba ASG Technologies | Intelligent Metadata Management and Data Lineage Tracing |
| WO2020042029A1 (zh) * | 2018-08-29 | 2020-03-05 | 华为技术有限公司 | 调用链路的发现方法、装置、设备及存储介质 |
| CN111259275A (zh) * | 2018-12-03 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 一种数据追踪方法、设备及存储介质 |
| CN111368328A (zh) * | 2020-02-27 | 2020-07-03 | 北京三快在线科技有限公司 | 数据存储方法、装置、计算机可读存储介质及电子设备 |
| CN111538786A (zh) * | 2020-04-24 | 2020-08-14 | 上海简苏网络科技有限公司 | 区块链数据脱敏与溯源的存储方法与装置 |
| US20210117916A1 (en) * | 2019-10-17 | 2021-04-22 | International Business Machines Corporation | Upstream visibility in supply-chain |
| CN112711496A (zh) * | 2020-12-31 | 2021-04-27 | 杭州未名信科科技有限公司 | 日志信息全链路追踪方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-13 CN CN202110930926.0A patent/CN113792330B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016203638A1 (en) * | 2007-11-15 | 2016-06-23 | Cfph, Llc | Electronic trading systems and methods |
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| US20170270022A1 (en) * | 2016-03-16 | 2017-09-21 | ASG Technologies Group, Inc. dba ASG Technologies | Intelligent Metadata Management and Data Lineage Tracing |
| WO2020042029A1 (zh) * | 2018-08-29 | 2020-03-05 | 华为技术有限公司 | 调用链路的发现方法、装置、设备及存储介质 |
| CN111259275A (zh) * | 2018-12-03 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 一种数据追踪方法、设备及存储介质 |
| US20210117916A1 (en) * | 2019-10-17 | 2021-04-22 | International Business Machines Corporation | Upstream visibility in supply-chain |
| CN111368328A (zh) * | 2020-02-27 | 2020-07-03 | 北京三快在线科技有限公司 | 数据存储方法、装置、计算机可读存储介质及电子设备 |
| CN111538786A (zh) * | 2020-04-24 | 2020-08-14 | 上海简苏网络科技有限公司 | 区块链数据脱敏与溯源的存储方法与装置 |
| CN112711496A (zh) * | 2020-12-31 | 2021-04-27 | 杭州未名信科科技有限公司 | 日志信息全链路追踪方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YI BING LIN;WEN NUNG TSAI: "Location tracking with distributed HLR\'s and pointer forwarding", IEEE TRANSACTION ON VEHICULAR TECHNOLOGY, vol. 47, no. 1, pages 58 - 64 * |
| 张克落: "物流用户隐私数据保护和访问权限管理研究", 信息科技;经济与管理科学, no. 5, pages 20 - 34 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114860847A (zh) * | 2022-06-29 | 2022-08-05 | 深圳红途科技有限公司 | 应用于大数据平台的数据链路处理方法、系统及介质 |
| CN114860847B (zh) * | 2022-06-29 | 2022-09-27 | 深圳红途科技有限公司 | 应用于大数据平台的数据链路处理方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792330B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8874600B2 (en) | System and method for building a cloud aware massive data analytics solution background | |
| CN114490268A (zh) | 全链路监控方法、装置、设备、存储介质和程序产品 | |
| US20120216076A1 (en) | Method and system for automatic memory leak detection | |
| CN113792330B (zh) | 一种敏感数据追踪方法和系统 | |
| CN111314535A (zh) | 手机质检过程记录方法及设备 | |
| CN112612678A (zh) | 一种基于字节码技术的零侵入监控方法及系统 | |
| WO2018212924A1 (en) | Enhanced component latency tracking | |
| CN111221869B (zh) | 一种追踪数据库事务时间和分析数据库锁的方法和装置 | |
| CN110716912B (zh) | 一种sql性能检测方法及服务器 | |
| CN110866031A (zh) | 数据库访问路径的优化方法、装置、计算设备以及介质 | |
| Follum et al. | Evaluation of mode meters robust to forced oscillations using field-measured data | |
| CN114116509A (zh) | 程序分析方法、装置、电子设备和存储介质 | |
| CN114443337B (zh) | 一种基于js的日志分析方法、装置、电子设备和介质 | |
| CN115934537A (zh) | 接口测试工具生成方法、装置、设备、介质及产品 | |
| US11843530B2 (en) | System, method, and computer program for unobtrusive propagation of solutions for detected incidents in computer applications | |
| CN111651330B (zh) | 数据采集方法、装置、电子设备和计算机可读存储介质 | |
| CN115809267A (zh) | 一种用于生成审计结果的方法、设备、介质及程序产品 | |
| CN115220984A (zh) | 一种业务应用监控方法、装置及电子设备、存储介质 | |
| CN107404397B (zh) | 一种用于确定用户业务状态信息的方法与设备 | |
| CN114944980B (zh) | 用于监控告警的系统方法、设备和介质 | |
| CN114760218B (zh) | 一种链路采样方法及其相关装置 | |
| CN114463095A (zh) | 一种服务器订单检查方法、装置、电子设备和介质 | |
| CN109614566A (zh) | 流量来源分析方法、系统和装置 | |
| CN115865645A (zh) | 链路确定方法、装置、设备、介质及产品 | |
| US9396083B2 (en) | Computer system processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |