CN113806808A - 一种分布式环境下无侵入的数据脱敏方法及系统 - Google Patents
一种分布式环境下无侵入的数据脱敏方法及系统 Download PDFInfo
- Publication number
- CN113806808A CN113806808A CN202111120997.0A CN202111120997A CN113806808A CN 113806808 A CN113806808 A CN 113806808A CN 202111120997 A CN202111120997 A CN 202111120997A CN 113806808 A CN113806808 A CN 113806808A
- Authority
- CN
- China
- Prior art keywords
- desensitization
- data
- information
- filter
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Stored Programmes (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种分布式环境下无侵入的数据脱敏方法及系统，该方法包括：安装与注册Agent程序，由脱敏管理台及注册中心进行脱敏信息配置及下发；将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；将待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。本发明的数据脱敏方法对代码无侵入，不需要修改系统任何代码和配置；脱敏逻辑统一化，避免了冗余代码和重复工作；统一脱敏管理台，无法依次处理每个需要脱敏的系统，提升了效率。
Description
技术领域
本发明涉及分布式安全网络技术领域，具体涉及一种分布式环境下无侵入的数据脱敏方法及系统。
背景技术
在业务系统中，数据导出是日常的业务功能。分布式环境下，日志采集也是必须的功能。但是金融系统中存在大量的敏感数据，如用户的身份证号码、手机号、账号金额等信息。这些敏感数据只能在经过授权之后才能使用，一般的数据导出、日志采集应该对这部分数据进行脱敏。
传统的数据脱敏方法必须对系统的代码进行侵入，在需要脱敏的功能代码中加入脱敏的代码片段。这样会造成如下的问题：
1、在正常的业务逻辑中插入了非业务逻辑，造成代码复杂，维护困难。
2、功能代码和非功能代码耦合在一起，每次升级脱敏代码，需要让业务系统同步地进行重新编译和上线，造成升级效率低下。
3、脱敏代码和业务代码运行在同一个进程中，如脱敏代码有缺陷，会影响正常业务代码的运行，不符合数据脱敏旁路功能的定位。
4、重复的代码充斥分布在各个系统中，造成代码冗余，浪费成本。
5、代码分散在各个系统中，无法统一进行管理。
6、部分特殊系统无法修改其代码，无法插入数据脱敏的代码。
综上，没有任何已有数据脱敏方法可以解决上面的问题，所以亟待一种可以在分布式环境下无侵入的数据脱敏方法。
发明内容
针对以上传统的数据脱敏方法的至少一个缺陷，本发明提供了一种分布式环境下无侵入的数据脱敏方法及系统，在分布式环境下的，对原有代码无侵入的，可以进行统一管理的数据脱敏。本发明的数据脱敏方法对代码无侵入，不需要修改系统任何代码和配置；脱敏逻辑统一化，避免了冗余代码和重复工作；统一脱敏管理台，无法依次处理每个需要脱敏的系统，提升了效率。
本发明通过下述技术方案实现：
第一方面，本发明提供了一种分布式环境下无侵入的数据脱敏方法，该方法包括：
安装与注册Agent程序，由脱敏管理台及注册中心进行脱敏信息配置及下发；
将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；
将待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
针对传统的数据脱敏方法必须对系统的代码进行侵入，在需要脱敏的功能代码中加入脱敏的代码片段。这样会造成如下的问题：1、在正常的业务逻辑中插入了非业务逻辑，造成代码复杂，维护困难。2、功能代码和非功能代码耦合在一起，每次升级脱敏代码，需要让业务系统同步地进行重新编译和上线，造成升级效率低下。3、脱敏代码和业务代码运行在同一个进程中，如脱敏代码有缺陷，会影响正常业务代码的运行，不符合数据脱敏旁路功能的定位。4、重复的代码充斥分布在各个系统中，造成代码冗余，浪费成本。5、代码分散在各个系统中，无法统一进行管理。6、部分特殊系统无法修改其代码，无法插入数据脱敏的代码。
针对以上传统的数据脱敏方法的至少一个缺陷，本发明设计了一种分布式环境下无侵入的数据脱敏方法，具体包括以下步骤：首先，安装与注册Agent程序，由脱敏管理台及注册中心进行脱敏信息配置及下发；其次，将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；最后，将待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
本发明的数据脱敏方法对代码无侵入，不需要修改系统任何代码和配置；脱敏逻辑统一化，避免了冗余代码和重复工作；统一脱敏管理台，无法依次处理每个需要脱敏的系统，提升了效率。
进一步地，安装Agent程序是通过特定的yaml模板进行虚拟机或者容器的部署，可以提前和运维人员进行沟通，将agent提前编写到yaml模板中，并添加到系统启动程序中。这样部署出来的操作系统就自带了Agent；
或者通过Chef、Puppet、Ansible或者Saltstack等运维工具进行手工安装和启动。
进一步地，注册Agent程序包括以下子步骤：
启动脱敏管理台程序，读取自身配置的注册中心地址，采用TCP长连接的方式连接到注册中心，并监听Agent注册事件；
启动Agent程序，读取自身配置的注册中心地址；Agent程序采用TCP长连接的方式连接到注册中心，并发送自身的IP和端口号到注册中心，同时监听脱敏信息下发事件；
注册中心根据监测有Agent注册后，触发通知流程，推送Agent的IP、端口号到脱敏管理台；
脱敏管理台保存Agent列表到本地缓存中。
进一步地，由脱敏管理台及注册中心进行脱敏信息配置及下发，包括以下子步骤：
负责数据脱敏的安全管理员在脱敏管理台的界面上编写脱敏配置信息并进行保存；同时，脱敏管理台保存脱敏配置信息到注册中心，注册中心发出下发信息的事件；
注册中心监听到事件，触发推送功能；
推送功能遍历注册中心中注册的agent信息，依次推送脱敏信息；
Agent程序接收到推送的脱敏信息，并保存至本地。
进一步地，所述的将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；具体包括以下子步骤：
Agent程序校验接收到的Json串是否符合格式；如果接收到的Json串格式合法，从所述的Json串中提取出敏感数据特征表达式和替换方式，并插入到bpf源码中；
Agent程序使用LLVM或者Clang编译所述bpf源码，生成bpf字节码；这段字节码即作为数据脱敏过滤器；
Agent程序根据脱敏配置信息，注册多个数据脱敏过滤器，形成过滤器链；其中每个数据脱敏过滤器处理不同特征的敏感数据；
Agent程序调用系统函数kprobe将过滤器链注入到Linux操作系统内核空间的Sockets中，之后Linux网络传输数据时，都会经过所述过滤器链。
进一步地，所述的将待脱敏的业务数据通过所述过滤器链在各同操作系统进行脱敏处理，得到脱敏后的非敏感数据；具体包括以下子步骤：
业务系统中待脱敏的业务数据经过数据传输到达Sockets时，经过注册的数据脱敏过滤器；
数据脱敏过滤器扫描所述待脱敏的业务数据，判断是否匹配到敏感数据的特征值，如果匹配到特征值，则调用相应的替换方法，替换为非敏感数据；
替换完成后，将处理后的业务数据发送给过滤器链中的下一个数据脱敏过滤器，依次进行下一类型的业务数据脱敏；
直至过滤器链中所有的数据脱敏过滤器均处理完成，得到脱敏后的非敏感数据；并将脱敏后的非敏感数据传递到TCP/IP层进行后续传输；
其中，所述待脱敏的业务数据为各业务系统带有敏感信息的业务数据。
进一步地，业务系统和Agent程序运行的服务器在同一Linux操作系统。
第二方面，本发明又提供了一种分布式环境下无侵入的数据脱敏系统，该系统包括：
Agent程序，用于接收脱敏管理台发送的脱敏信息，并进行验证与编译脱敏信息，生产数据脱敏过滤器，并注入操作系统内核空间的Sockets中；其中，Agent程序是运行在应用程序所在的操作系统中的一个独立的程序；
脱敏管理台，是一个提供界面给安全管理员进行编写数据脱敏配置信息的操作的web程序；
注册中心，用于Agent程序启动后注册到注册中心，由注册中心推送数据脱敏数据给Agent程序；
操作系统，业务系统和Agent程序运行的服务器在同一Linux操作系统；
脱敏管理台及注册中心进行脱敏信息配置及下发，Agent程序接收脱敏管理台发送的脱敏信息，并进行验证与编译脱敏信息，并生产多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；将各个业务系统的待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种分布式环境下无侵入的数据脱敏方法。
第四方面，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种分布式环境下无侵入的数据脱敏方法。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明方法及系统对代码无侵入，不需要修改系统任何代码和配置；
2、本发明方法及系统脱敏逻辑统一化，避免了冗余代码和重复工作；
3、本发明方法及系统统一脱敏管理台，无法依次处理每个需要脱敏的系统，提升了效率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种分布式环境下无侵入的数据脱敏方法流程图。
图2为本发明一种分布式环境下无侵入的数据脱敏系统的总体架构图。
图3为本发明注册Agent程序的流程图。
图4为本发明由脱敏管理台及注册中心进行脱敏信息配置及下发的流程图。
图5为本发明将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets的流程图。
图6为本发明将待脱敏的业务数据通过所述过滤器链在各同操作系统进行脱敏处理的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本发明一种分布式环境下无侵入的数据脱敏方法，该方法包括：
S1：安装与注册Agent程序，由脱敏管理台及注册中心进行脱敏信息配置及下发；
S2：将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；
S3：将待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
为了进一步的对本实施例进行说明，安装Agent程序是通过特定的yaml模板进行虚拟机或者容器的部署，可以提前和运维人员进行沟通，将agent提前编写到yaml模板中，并添加到系统启动程序中。这样部署出来的操作系统就自带了Agent；
或者也可以通过Chef、Puppet、Ansible或者Saltstack运维工具进行手工安装和启动。
为了进一步的对本实施例进行说明，如图3所示，注册Agent程序包括以下子步骤：
S110：启动脱敏管理台程序，读取自身配置的注册中心地址，采用TCP长连接的方式连接到注册中心，并监听Agent注册事件；
S111：启动Agent程序，读取自身配置的注册中心地址；Agent程序采用TCP长连接的方式连接到注册中心，并发送自身的IP和端口号到注册中心，同时监听脱敏信息下发事件；
S112：注册中心根据监测有Agent注册后，触发通知流程，推送Agent的IP、端口号到脱敏管理台；
S113：脱敏管理台保存Agent列表到本地缓存中，为之后的操作做准备；不用再次从脱敏管理台调取。
为了进一步的对本实施例进行说明，如图4所示，由脱敏管理台及注册中心进行脱敏信息配置及下发，包括以下子步骤：
S120：负责数据脱敏的安全管理员在脱敏管理台的界面上编写脱敏配置信息并进行保存；同时，脱敏管理台保存脱敏配置信息到注册中心，注册中心发出下发信息的事件；
S121：注册中心监听到事件，触发推送功能；
S122：推送功能遍历注册中心中注册的agent信息，依次推送脱敏信息；
S123：Agent程序接收到推送的脱敏信息，并保存至本地，为之后的操作做准备，不用再次从脱敏管理台调取。
为了进一步的对本实施例进行说明，如图5所示，所述的将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；具体包括以下子步骤：
S21：Agent程序校验接收到的Json串是否符合格式；如果接收到的Json串格式合法，从所述的Json串中提取出敏感数据特征表达式和替换方式，并插入到bpf源码中；
S22：Agent程序使用LLVM或者Clang编译所述bpf源码，生成bpf字节码；这段字节码即作为数据脱敏过滤器；
S23：Agent程序根据脱敏配置信息，注册多个数据脱敏过滤器，形成过滤器链；其中每个数据脱敏过滤器处理不同特征的敏感数据；
S24：Agent程序调用系统函数kprobe将过滤器链注入到Linux操作系统内核空间的Sockets中，之后Linux网络传输数据时，都会经过这个过滤器链。
为了进一步的对本实施例进行说明，如图6所示，图6中，多个数据脱敏过滤器(filter1、filter2、……、filterN)形成过滤器链。所述的将待脱敏的业务数据通过所述过滤器链在各同操作系统进行脱敏处理，得到脱敏后的非敏感数据；具体包括以下子步骤：
S31：业务系统中待脱敏的业务数据经过数据传输到达Sockets时，经过注册的数据脱敏过滤器；
S32：数据脱敏过滤器扫描所述待脱敏的业务数据，判断是否匹配到敏感数据的特征值，如果匹配到特征值，则调用相应的替换方法，替换为非敏感数据；
S33：替换完成后，将处理后的业务数据发送给过滤器链中的下一个数据脱敏过滤器，依次进行下一类型的业务数据脱敏；
S34：直至过滤器链中所有的数据脱敏过滤器均处理完成，得到脱敏后的非敏感数据；并将脱敏后的非敏感数据传递到TCP/IP层进行后续传输；
其中，所述待脱敏的业务数据为各业务系统带有敏感信息的业务数据。
为了进一步的对本实施例进行说明，业务系统和Agent程序运行的服务器在同一Linux操作系统。
现有技术中的应用程序层的过滤器。这种过滤器和应用程序运行在同一个进程中；对代码有侵入性，添加、更新都需要修改代码。而本发明克服了以上现有技术中的应用程序层的过滤器的缺陷，本发明的数据脱敏方法对代码无侵入，不需要修改系统任何代码和配置；脱敏逻辑统一化，避免了冗余代码和重复工作；统一脱敏管理台，无法依次处理每个需要脱敏的系统，提升了效率。
实施例2
如图2所示，本实施例与实施例1的区别在于，本实施例提供了一种分布式环境下无侵入的数据脱敏系统，根据总体架构，该系统可以分为如下几个功能部分：
1、Agent管理：
a)Agent安装；b)Agent注册；c)脱敏信息下发；
2、将脱敏信息注入为过滤器：
a)脱敏信息验证和编译为过滤器；b)过滤器注入Sockets；
3、过滤器脱敏。
具体地，该系统包括：
Agent程序，用于接收脱敏管理台发送的脱敏信息，并进行验证与编译脱敏信息，生产数据脱敏过滤器，并注入操作系统内核空间的Sockets中；其中，Agent程序是运行在应用程序所在的操作系统中的一个独立的程序；
脱敏管理台，是一个提供界面给安全管理员进行编写数据脱敏配置信息的操作的web程序；
注册中心，用于Agent程序启动后注册到注册中心，由注册中心推送数据脱敏数据给Agent程序；
操作系统，业务系统和Agent程序运行的服务器在同一Linux操作系统；
交互逻辑为：脱敏管理台及注册中心进行脱敏信息配置及下发，Agent程序接收脱敏管理台发送的脱敏信息，并进行验证与编译脱敏信息，并生产多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；将各个业务系统的待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
其中，业务系统是包含了敏感数据的业务系统；
用户空间、内核空间，指的是Linux的用户空间和内核空间。
脱敏配置信息，是一个包含了敏感数据特征表达式，和替换方式的Json字符串。
交互逻辑中的各流程细节按照实施例1中的流程步骤执行即可，此实施例不再一一赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式环境下无侵入的数据脱敏方法，其特征在于，该方法包括：
安装与注册Agent程序，由脱敏管理台及注册中心进行脱敏信息配置及下发；
将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；
将待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
2.根据权利要求1所述的一种分布式环境下无侵入的数据脱敏方法，其特征在于，安装Agent程序是通过yaml模板进行虚拟机或者容器的部署，这样部署出来的操作系统就自带了Agent；
或者通过Chef、Puppet、Ansible、Saltstack运维工具进行手工安装和启动。
3.根据权利要求1所述的一种分布式环境下无侵入的数据脱敏方法，其特征在于，注册Agent程序包括以下子步骤：
启动脱敏管理台程序，读取自身配置的注册中心地址，采用TCP长连接的方式连接到注册中心，并监听Agent注册事件；
启动Agent程序，读取自身配置的注册中心地址；Agent程序采用TCP长连接的方式连接到注册中心，并发送自身的IP和端口号到注册中心，同时监听脱敏信息下发事件；
注册中心根据监测有Agent注册后，触发通知流程，推送Agent的IP、端口号到脱敏管理台；
脱敏管理台保存Agent列表到本地缓存中。
4.根据权利要求1所述的一种分布式环境下无侵入的数据脱敏方法，其特征在于，由脱敏管理台及注册中心进行脱敏信息配置及下发，包括以下子步骤：
负责数据脱敏的安全管理员在脱敏管理台的界面上编写脱敏配置信息并进行保存；同时，脱敏管理台保存脱敏配置信息到注册中心，注册中心发出下发信息的事件；
注册中心监听到事件，触发推送功能；
推送功能遍历注册中心中注册的agent信息，依次推送脱敏信息；
Agent程序接收到推送的脱敏信息，并保存至本地。
5.根据权利要求1所述的一种分布式环境下无侵入的数据脱敏方法，其特征在于，所述的将所述脱敏信息注入为多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；具体包括以下子步骤：
Agent程序校验接收到的Json串是否符合格式；如果接收到的Json串格式合法，从所述的Json串中提取出敏感数据特征表达式和替换方式，并插入到bpf源码中；
Agent程序使用LLVM或者Clang编译所述bpf源码，生成bpf字节码；这段字节码即作为数据脱敏过滤器；
Agent程序根据脱敏配置信息，注册多个数据脱敏过滤器，形成过滤器链；其中每个数据脱敏过滤器处理不同特征的敏感数据；
Agent程序调用系统函数kprobe将过滤器链注入到Linux操作系统内核空间的Sockets中。
6.根据权利要求1所述的一种分布式环境下无侵入的数据脱敏方法，其特征在于，所述的将待脱敏的业务数据通过所述过滤器链在各同操作系统进行脱敏处理，得到脱敏后的非敏感数据；具体包括以下子步骤：
业务系统中待脱敏的业务数据经过数据传输到达Sockets时，经过注册的数据脱敏过滤器；
数据脱敏过滤器扫描所述待脱敏的业务数据，判断是否匹配到敏感数据的特征值，如果匹配到特征值，则调用相应的替换方法，替换为非敏感数据；
替换完成后，将处理后的业务数据发送给过滤器链中的下一个数据脱敏过滤器，依次进行下一类型的业务数据脱敏；
直至过滤器链中所有的数据脱敏过滤器均处理完成，得到脱敏后的非敏感数据；并将脱敏后的非敏感数据传递到TCP/IP层进行后续传输；
其中，所述待脱敏的业务数据为各业务系统带有敏感信息的业务数据。
7.根据权利要求6所述的一种分布式环境下无侵入的数据脱敏方法，其特征在于，业务系统和Agent程序运行的服务器在同一Linux操作系统。
8.一种分布式环境下无侵入的数据脱敏系统，其特征在于，该系统包括：
Agent程序，用于接收脱敏管理台发送的脱敏信息，并进行验证与编译脱敏信息，生产数据脱敏过滤器，并注入操作系统内核空间的Sockets中；其中，Agent程序是运行在应用程序所在的操作系统中的一个独立的程序；
脱敏管理台，是一个提供界面给安全管理员进行编写数据脱敏配置信息的操作的web程序；
注册中心，用于Agent程序启动后注册到注册中心，由注册中心推送数据脱敏数据给Agent程序；
操作系统，业务系统和Agent程序运行的服务器在同一Linux操作系统；
脱敏管理台及注册中心进行脱敏信息配置及下发，Agent程序接收脱敏管理台发送的脱敏信息，并进行验证与编译脱敏信息，并生产多个数据脱敏过滤器，且多个数据脱敏过滤器形成过滤器链，并将所述过滤器链注入操作系统内核空间的Sockets；其中，每个数据脱敏过滤器处理不同特征的敏感数据；将各个业务系统的待脱敏的业务数据通过所述过滤器链在各操作系统进行脱敏处理，得到脱敏后的非敏感数据。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种分布式环境下无侵入的数据脱敏方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种分布式环境下无侵入的数据脱敏方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120997.0A CN113806808B (zh) | 2021-09-24 | 2021-09-24 | 一种分布式环境下无侵入的数据脱敏方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120997.0A CN113806808B (zh) | 2021-09-24 | 2021-09-24 | 一种分布式环境下无侵入的数据脱敏方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113806808A true CN113806808A (zh) | 2021-12-17 |
| CN113806808B CN113806808B (zh) | 2023-06-23 |
Family
ID=78940212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111120997.0A Active CN113806808B (zh) | 2021-09-24 | 2021-09-24 | 一种分布式环境下无侵入的数据脱敏方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113806808B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520020A (zh) * | 2024-01-05 | 2024-02-06 | 同盾科技有限公司 | 用于实现隐私计算的数据交互方法、装置、系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407843A (zh) * | 2016-10-17 | 2017-02-15 | 深圳中兴网信科技有限公司 | 数据脱敏方法和数据脱敏装置 |
| US9609025B1 (en) * | 2015-11-24 | 2017-03-28 | International Business Machines Corporation | Protection of sensitive data from unauthorized access |
| CN106599713A (zh) * | 2016-11-11 | 2017-04-26 | 中国电子科技网络信息安全有限公司 | 一种基于大数据的数据库脱敏系统及方法 |
| CN107403108A (zh) * | 2017-08-07 | 2017-11-28 | 上海上讯信息技术股份有限公司 | 一种数据处理的方法及系统 |
| WO2019114766A1 (zh) * | 2017-12-14 | 2019-06-20 | 中兴通讯股份有限公司 | 一种数据脱敏方法、服务器、终端及计算机可读存储介质 |
| CN110084059A (zh) * | 2019-03-21 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 一种银行系统数据配置区块链的方法、装置及计算机设备 |
| CN110414261A (zh) * | 2019-06-26 | 2019-11-05 | 北京三快在线科技有限公司 | 一种数据脱敏方法、装置、设备及可读存储介质 |
| CN111881471A (zh) * | 2020-07-21 | 2020-11-03 | 中国工商银行股份有限公司 | 一种无侵入日志数据脱敏方法、装置及系统 |
| CN112000986A (zh) * | 2020-08-27 | 2020-11-27 | 中国平安财产保险股份有限公司 | 数据脱敏方法、装置、设备及存储介质 |
| CN112906025A (zh) * | 2021-03-03 | 2021-06-04 | 江苏保旺达软件技术有限公司 | 数据库管控方法、装置、设备及存储介质 |
| CN112948877A (zh) * | 2021-03-03 | 2021-06-11 | 北京中安星云软件技术有限公司 | 一种基于tcp代理的数据库动态脱敏方法及系统 |
| US20210209202A1 (en) * | 2020-01-08 | 2021-07-08 | Bank Of America Corporation | Big Data Distributed Processing and Secure Data Transferring with Obfuscation |
-
2021
- 2021-09-24 CN CN202111120997.0A patent/CN113806808B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9609025B1 (en) * | 2015-11-24 | 2017-03-28 | International Business Machines Corporation | Protection of sensitive data from unauthorized access |
| CN106407843A (zh) * | 2016-10-17 | 2017-02-15 | 深圳中兴网信科技有限公司 | 数据脱敏方法和数据脱敏装置 |
| CN106599713A (zh) * | 2016-11-11 | 2017-04-26 | 中国电子科技网络信息安全有限公司 | 一种基于大数据的数据库脱敏系统及方法 |
| CN107403108A (zh) * | 2017-08-07 | 2017-11-28 | 上海上讯信息技术股份有限公司 | 一种数据处理的方法及系统 |
| WO2019114766A1 (zh) * | 2017-12-14 | 2019-06-20 | 中兴通讯股份有限公司 | 一种数据脱敏方法、服务器、终端及计算机可读存储介质 |
| CN110084059A (zh) * | 2019-03-21 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 一种银行系统数据配置区块链的方法、装置及计算机设备 |
| CN110414261A (zh) * | 2019-06-26 | 2019-11-05 | 北京三快在线科技有限公司 | 一种数据脱敏方法、装置、设备及可读存储介质 |
| US20210209202A1 (en) * | 2020-01-08 | 2021-07-08 | Bank Of America Corporation | Big Data Distributed Processing and Secure Data Transferring with Obfuscation |
| CN111881471A (zh) * | 2020-07-21 | 2020-11-03 | 中国工商银行股份有限公司 | 一种无侵入日志数据脱敏方法、装置及系统 |
| CN112000986A (zh) * | 2020-08-27 | 2020-11-27 | 中国平安财产保险股份有限公司 | 数据脱敏方法、装置、设备及存储介质 |
| CN112906025A (zh) * | 2021-03-03 | 2021-06-04 | 江苏保旺达软件技术有限公司 | 数据库管控方法、装置、设备及存储介质 |
| CN112948877A (zh) * | 2021-03-03 | 2021-06-11 | 北京中安星云软件技术有限公司 | 一种基于tcp代理的数据库动态脱敏方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| TING BI 等: "Research on Industrial Data Desensitization Algorithm Based on Fuzzy Set", 《2020 IEEE INTERNATIONAL CONFERENCE ON ADVANCES IN ELECTRICAL ENGINEERING AND COMPUTER APPLICATIONS( AEECA)》, pages 1 - 5 * |
| 符精晶 等: "基于微服务的高校数据共享开放服务平台的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2021, pages 138 - 267 * |
| 范睿;: "企业数据防泄漏架构分析", 网络空间安全, no. 4, pages 77 - 82 * |
| 陈天莹;陈剑锋;: "大数据环境下的智能数据脱敏系统", 通信技术, no. 07, pages 915 - 922 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520020A (zh) * | 2024-01-05 | 2024-02-06 | 同盾科技有限公司 | 用于实现隐私计算的数据交互方法、装置、系统 |
| CN117520020B (zh) * | 2024-01-05 | 2024-03-29 | 同盾科技有限公司 | 用于实现隐私计算的数据交互方法、装置、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113806808B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106156186B (zh) | 一种数据模型管理装置、服务器及数据处理方法 | |
| CN113849808B (zh) | 容器安全管理方法、系统、终端及存储介质 | |
| CN102045390A (zh) | 计算机专用软件更新的自动配置 | |
| CN104679574A (zh) | 云计算中虚拟机镜像管理系统 | |
| CN104573494A (zh) | 一种基于wmi软件白名单机制的移动安全办公方法 | |
| CN112860645B (zh) | 一种离线压缩文件的处理方法、装置、计算机设备及介质 | |
| CN114244604B (zh) | 适用于堡垒机的一体化权限管理方法、系统、电子设备和可读存储介质 | |
| CN112148306B (zh) | 微服务运维管理系统和方法 | |
| CN105468393A (zh) | 模块版本升级方法及终端装置 | |
| CN103026337B (zh) | 配给组件的提取和重构 | |
| CN113806808A (zh) | 一种分布式环境下无侵入的数据脱敏方法及系统 | |
| CN113330419A (zh) | 一种设备应用安装方法和装置 | |
| CN111181775B (zh) | 基于自动发现主机资产的一体化运维管理告警方法 | |
| CN115563618A (zh) | 一种基于中央计算平台的渗透测试方法及装置 | |
| CN114661423A (zh) | 集群配置检测方法、装置、计算机设备及存储介质 | |
| CN118210560A (zh) | 操作系统迁移方法、装置、电子设备及存储介质 | |
| CN116028077A (zh) | 基于移动终端的应用安装方法、生态服务系统、电子设备 | |
| CN111949991A (zh) | 漏洞扫描方法、装置、设备和存储介质 | |
| JP2021162971A (ja) | サイバーセキュリティ監査システム | |
| CN111522560A (zh) | 软件安装方法、装置、存储介质及电子设备 | |
| CN105068796A (zh) | 补丁程序集的推送方法和补丁程序集的推送系统 | |
| CN113094689B (zh) | 一种政务系统中基于配置的单点登录方法及系统 | |
| CN114416106B (zh) | 更新编译计数值的方法、系统、电子设备以及存储介质 | |
| CN112765566B (zh) | 授权文件安全生成方法及装置 | |
| CN114240265B (zh) | 一种基于混合环境的产品部署方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |