CN113127919A - 数据处理方法、装置及计算设备、存储介质 - Google Patents
数据处理方法、装置及计算设备、存储介质 Download PDFInfo
- Publication number
- CN113127919A CN113127919A CN201911403190.0A CN201911403190A CN113127919A CN 113127919 A CN113127919 A CN 113127919A CN 201911403190 A CN201911403190 A CN 201911403190A CN 113127919 A CN113127919 A CN 113127919A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- desensitization
- preset
- desensitizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Abstract
本申请提供一种数据处理方法、装置及计算设备、存储介质,涉及数据处理技术领域,该方法应用于收集和解析服务器Logstash,包括:针对任一业务系统,采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同;将所述脱敏数据分发给所述业务系统。该方式中针对不同操作权限的业务系统设置不完全相同的数据处理规则,使得脱敏数据更加符合业务系统的需求,提升了数据脱敏的效率,且使数据脱敏更加灵活。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据处理方法、装置及计算设备、存储介质。
背景技术
随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战——个人隐私保护。个人信息与个人行为(比如位置信息、消费信息、网络访问行为)等,这些都是人的隐私,也是敏感信息,在大数据价值挖掘的基础上如何保护人的隐私,是数据处理必须解决的难题。
相关技术中,通过对数据脱敏使得敏感信息不被泄露,之后将脱敏后的数据发送给查询数据的用户来解决敏感信息容易被泄露的难题。但相关技术中,数据脱敏的形式单一,不能满足用户需求。
发明内容
本申请实施例提供一种数据处理方法、装置及计算设备、存储介质,用以提高数据处理的灵活性。
第一方面本申请实施例提供数据处理方法,所述方法应用于收集和解析服务器Logstash,包括:
针对任一业务系统,采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同;
将所述脱敏数据分发给所述业务系统。
在一个实施例中,所述数据处理规则包括:数据抽取规则以及数据脱敏规则。
在一个实施例中,所述数据抽取规则包括:待抽取数据的数量、抽取数据的类型中的至少一种。
在一个实施例中,所述基于预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据之前,还包括:
通过日志数据采集器filebeat工具并基于所述数据抽取规则从所述生产数据库的数据中抽取数据,得到抽取数据;
所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,包括:
采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏,获取脱敏数据。
在一个实施例中,所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏之前,还包括:
对所述filebeat工具进行身份验证;
所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,包括:
若确定所述filebeat工具进行身份验证通过,则采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏。
在一个实施例中,所述将所述脱敏数据分发给对应的业务系统,包括:
将所述脱敏数据分发至预先绑定的搜索服务器(ElasticSearch,ES)节点存储,以使所述业务系统从所述ES节点中获取所述脱敏数据,其中所述ES节点是基于倒排索引的数据存储方式存储脱敏数据的,且所述ES节点中绑定有所述各业务系统的指定地址,所述指定地址为所述业务系统的网际互联协议(Internet Protocol,IP)地址。
在一个实施例中,所述方法还包括:
将所述生产数据库中的数据传输给应用系统;
若业务系统具有访问非脱敏数据的权限,则通过调用所述应用系统的接口获取非脱敏数据。
第二方面本申请实施例提供数据处理装置,所述装置设置于收集和解析服务器Logstash,包括:
获取模块,用于针对任一业务系统,采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同;
分发模块,用于将所述脱敏数据分发给所述业务系统。
第三方面,本申请实施例还提供一种计算设备,包括:
存储器以及处理器;
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令第一方面任一项所述的数据处理方法。
第四方面,本申请实施例还提供一种计算机存储介质,其中,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行本申请实施例中的任一数据处理方法。
本申请实施例提供的数据处理方法、装置及计算设备、存储介质,该方法应用于Logstash,先针对任一业务系统,采用业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的预设的数据处理规则不完全相同,之后将脱敏数据分发给业务系统。该方式中,针对不同操作权限的业务系统设置不完全相同的数据处理规则,使得脱敏数据更加符合业务系统的需求,提升了数据脱敏的效率,且使数据脱敏更加灵活。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术中数据脱敏的示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的一种数据脱敏的示意图;
图4为本申请实施例提供的一种数据处理装置的结构示意图;
图5为本申请实施例提供一种计算设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
数据脱敏,又称数据漂白、数据去隐私化或数据变形。指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
相关技术中,数据脱敏包括静态脱敏和动态脱敏,其中,静态脱敏即业务系统要获取脱敏数据,需告知处理脱敏数据的操作系统,该操作系统经过一段时间的数据脱敏处理后,将脱敏后的数据反馈给业务系统,但是,若需脱敏的数据量比较大的情况下,需要处理时间较长,使得用户的体验不好。
动态脱敏即在业务处理的基础上,通过编写程序设置脱敏规则,并提供查询接口以供业务系统进行实时查询脱敏数据,如图1所示,生产系统数据库将生产数据传输给动态脱敏模块进行脱敏,经过动态脱敏模块的数据脱敏后,将脱敏后的数据传输给各业务系统的,其中,动态脱敏模块包括:业务处理模块以及脱敏模块,业务处理模块用于从生产系统数据库中获取数据,脱敏模块用于对业务处理模块从生产系统数据库中获取数据进行脱敏。
发明人发现,相关技术中动态脱敏的脱敏方式比较单一,无论业务系统是什么获取的脱敏数据均一致,针对不同的业务系统不能提供不同的脱敏数据,且在业务处理模块的基础上进行的数据脱敏,一旦有业务系统想要获取未脱敏的数据是比较困难的,基于此,本申请提供一种新的数据处理方法来解决上述的问题。
需要说明的是,本申请是基于本专利提出一种基于ES和Logstash的动态数据脱敏方案。其中,ES是一个分布式、高扩展、高实时的搜索与数据分析引擎,具有针对大数据的搜索、分析和探索的能力。通过对数据进行分词并建立倒排索引,可以提高系统检索速度,提供几乎实时的检索服务。
Logstash是一个开源数据收集引擎,具有实时管控功能,可以动态地将来自不同数据源的数据统一起来,并将数据分发到指定的位置。Logstash能够进行业务数据的抽取、分析、转化以及脱敏,同时在ES内部对脱敏数据建立倒排索引,大幅提高了脱敏系统的灵活性和实时性。
如图2所示,为本申请实施例提供的一种数据处理方法,该方法应用于Logstash,可先执行步骤201:针对任一业务系统,采用业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同。
需要说明的是,不同业务系统对数据操作的权限是不尽相同的,如:假定生产数据库中具有1000条数据,由于业务系统1和业务系统2的操作权限不同,业务系统1需要获取300条数据的脱敏数据,业务系统2需要获取500条数据的脱敏数据,可根据业务系统1和业务系统2的需求预先配置数据处理规则。根据数据处理规则对数据进行脱敏,获取各业务系统所需的脱敏数据。
在一个实施例中,数据处理规则包括:数据抽取规则以及数据脱敏规则,可根据数据抽取规则从生产数据库中抽取数据,根据数据脱敏规则对抽取数据进行脱敏。
其中,数据的抽取规则包括:待抽取数据的数量、抽取数据的类型中的至少一种。如业务系统1需要获取某公司A部门的员工信息,员工信息登记了5项,分别为:姓名、性别、身份证号、家庭住址以及学历。假定根据业务系统1的操作权限确定数据抽取规则为待抽取数据的数量为4个,则从上述的5项数据中抽取4项。假定根据业务系统1的操作权限确定数据抽取规则为抽取数据的类型为姓名、性别、身份证号以及学历,则抽取对应类型的数据。亦或者,根据业务系统1的操作权限确定数据抽取规则为待抽取数据的数量4个,抽取数据的类型为姓名、性别、身份证号以及学历,则对应数量和类型的数据。
根据数据脱敏规则对数据进行脱敏,可对待脱敏数据信息进行隐藏,如针对身份证号的信息将身份证号的11-14为通过*代替生成脱敏数据,或者将身份证号中后两位的顺序调换生成脱敏数据。在此不做具体限定,凡是可隐藏数据信息的形式均适用于数据脱敏规则。
在一个实施例中,可通过filebeat工具并基于数据抽取规则从生产数据库的数据中抽取数据,得到抽取数据,并采用业务系统对应的预设的数据处理规则中的数据脱敏规则对抽取数据进行脱敏,获取脱敏数据。
通过该方式使得数据的抽取效率更高。
另外,在通过filebeat工具抽取数据时,需要对filebeat工具进行身份验证;若确定filebeat工具身份验证通过,则采用业务系统对应的预设的数据处理规则中的数据脱敏规则对抽取数据进行脱敏。
需要说明的是,在filebeat工具端需要配置openssl.cnf文件,并根据该openssl.cnf文件配置filebeat的证书(用于标识filebeat工具的身份)以及密钥(公钥和私钥),由于在进行数据抽取时,有多个filebeat工具因此针对不同的filebeat工具需要通过证书标识身份。将生成的证书和公钥发送给logstash进行存储,之后配置filebeat.yml文件,其中,filebeat.yml文件为生产系统节点上的filebeat的配置文件,会配置将抽取数据发送给哪个Logstash。存储Filebeat的证书Logstash会通过公钥校验filebeat的身份,确保filebeat身份的可信性。
相应的,filebeat也要对Logstash的身份进行认证,以确保数据传输到正确的Logstash。Logstash需要配置openssl.cnf文件,并根据该openssl.cnf文件配置Logstash的证书(用于标识Logstash的身份)以及密钥(公钥和私钥),将生成的证书和公钥发送给filebeat进行存储,以使filebeat通过公钥来校验Logstash的身份。当双方的身份认证通过后,则在Logstash配置数据处理规则。该方式可保证数据的安全性。
步骤202:将脱敏数据分发给业务系统。
在一个实施例中,将脱敏数据分发至预先绑定的ES节点存储,以使业务系统从ES节点中获取脱敏数据,其中ES节点是基于倒排索引的数据存储方式存储脱敏数据的,且ES节点中绑定有各业务系统的指定地址,指定地址为业务系统的IP地址。通过该方式便于业务系统更加快速的获取脱敏数据。
需要说明的是,假定业务系统需要获取脱敏数据,其与A服务器的距离在预设的距离范围内,则可在A服务器中部署ES节点,以便业务系统及时获取脱敏数据。
另外,将生产数据库中的数据传输给应用系统;若业务系统具有访问非脱敏数据的权限,则通过调用应用系统的接口获取非脱敏数据。通过该方式进行数据脱敏并非基于原有的业务处理模块(相当于应用系统)的基础上进行的数据脱敏,使得数据脱敏与业务处理解耦,故而业务系统还可以获取未脱敏的数据。
基于本申请的技术方案提供的数据处理方法可参阅图3,生产系统数据库将生产数据传输给动态脱敏模块,若业务系统需要获取未脱敏的数据则直接通过应用系统传输给对应的业务系统。若需要进行数据脱敏需要先确定各业务系统的操作权限,且在Logstash中设置数据抽取规则、数据脱敏规则并确定数据传输地址,之后将脱敏数据分发至预先绑定的ES节点存储,并分发给各业务系统。此外,针对同一业务系统不同的操作权限的用户,获取的脱敏数据也不一致,如:要进行脱敏的数据为部门员工信息,部门经理可以看到的脱敏数据和普通员工看到的脱敏数据是不一致的。假定部门员工信息包括人数、姓名、性别、身份证号、学历、家庭住址以及工作履历,部门经理可查看全部的员工信息,但是普通员工可能只能看到人数、姓名、性别、身份证号的信息。
本申请中数据的脱敏是依据业务系统的操作权限进行设定的,脱敏规则更加灵活,脱敏效率更高。
参阅图4为本申请实施例提供的一种数据处理装置,所述装置设置于收集和解析服务器Logstash,包括:
获取模块41,用于针对任一业务系统,采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同;
分发模块42,用于将所述脱敏数据分发给所述业务系统。
在一些可能的实施方式中,根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有计算机程序,当计算机程序被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理方法中的步骤。例如,处理器可以执行如图2中所示的步骤201-步骤202。
下面参照图5来描述根据本申请的这种实施方式的计算设备130。图5显示的计算设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算设备130以通用计算装置的形式表现。计算设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,和/或与使得该计算设备130能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且,计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解,尽管图中未示出,可以结合计算设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的终端的位置信息处理方法的各个方面还可以实现为一种程序产品的形式,其包括计算机程序,当程序产品在计算机设备上运行时,计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理方法中的步骤,例如,计算机设备可以执行如图2中所示的步骤201-步骤202。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于参数处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序,并可以在计算装置上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在目标对象计算装置上执行、部分地在目标对象设备上执行、作为一个独立的软件包执行、部分在目标对象计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中,远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到目标对象计算装置,或者,可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法应用于收集和解析服务器Logstash,包括:
针对任一业务系统,采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同;
将所述脱敏数据分发给所述业务系统。
2.根据权利要求1所述的方法,其特征在于,所述数据处理规则包括:数据抽取规则以及数据脱敏规则。
3.根据权利要求2所述的方法,其特征在于,所述数据抽取规则包括:待抽取数据的数量、抽取数据的类型中的至少一种。
4.根据权利要求2所述的方法,其特征在于,所述基于预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据之前,还包括:
通过日志数据采集器filebeat工具并基于所述数据抽取规则从所述生产数据库的数据中抽取数据,得到抽取数据;
所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,包括:
采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏,获取脱敏数据。
5.根据权利要求4所述的方法,其特征在于,所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏之前,还包括:
对所述filebeat工具进行身份验证;
所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,包括:
若确定所述filebeat工具进行身份验证通过,则采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏。
6.根据权利要求1所述的方法,其特征在于,所述将所述脱敏数据分发给对应的业务系统,包括:
将所述脱敏数据分发至预先绑定的搜索服务器ES节点存储,以使所述业务系统从所述ES节点中获取所述脱敏数据,其中,所述ES节点是基于倒排索引的数据存储方式存储脱敏数据的,且所述ES节点中绑定有所述各业务系统的指定地址,所述指定地址为所述业务系统的网际互联协议IP地址。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述生产数据库中的数据传输给应用系统;
若业务系统具有访问非脱敏数据的权限,则通过调用所述应用系统的接口获取非脱敏数据。
8.一种数据处理装置,其特征在于,所述装置设置于收集和解析服务器Logstash,包括:
获取模块,用于针对任一业务系统,采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏,获取脱敏数据;其中,所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的;不同的所述业务系统对应的所述预设的数据处理规则不完全相同;
分发模块,用于将所述脱敏数据分发给所述业务系统。
9.一种计算设备,其特征在于,包括:存储器以及处理器;
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行权利要求1-7任一项所述的方法。
10.一种计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令用于执行如权利要求1-7中任一权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911403190.0A CN113127919A (zh) | 2019-12-30 | 2019-12-30 | 数据处理方法、装置及计算设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911403190.0A CN113127919A (zh) | 2019-12-30 | 2019-12-30 | 数据处理方法、装置及计算设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113127919A true CN113127919A (zh) | 2021-07-16 |
Family
ID=76768363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911403190.0A Pending CN113127919A (zh) | 2019-12-30 | 2019-12-30 | 数据处理方法、装置及计算设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113127919A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114048511A (zh) * | 2022-01-12 | 2022-02-15 | 树根互联股份有限公司 | 跨数据中心的数据脱敏方法、装置和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108289095A (zh) * | 2018-01-02 | 2018-07-17 | 诚壹泰合(北京)科技有限公司 | 一种敏感数据存储方法、装置及系统 |
CN108664812A (zh) * | 2018-05-14 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 信息脱敏方法、装置及系统 |
CN110619014A (zh) * | 2019-09-18 | 2019-12-27 | 国网江苏省电力有限公司宝应县供电分公司 | 一种基于etl的数据抽取方法 |
-
2019
- 2019-12-30 CN CN201911403190.0A patent/CN113127919A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108289095A (zh) * | 2018-01-02 | 2018-07-17 | 诚壹泰合(北京)科技有限公司 | 一种敏感数据存储方法、装置及系统 |
CN108664812A (zh) * | 2018-05-14 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 信息脱敏方法、装置及系统 |
CN110619014A (zh) * | 2019-09-18 | 2019-12-27 | 国网江苏省电力有限公司宝应县供电分公司 | 一种基于etl的数据抽取方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114048511A (zh) * | 2022-01-12 | 2022-02-15 | 树根互联股份有限公司 | 跨数据中心的数据脱敏方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11750659B2 (en) | Cybersecurity profiling and rating using active and passive external reconnaissance | |
CA2946224C (en) | Method and apparatus for automating the building of threat models for the public cloud | |
US11321305B2 (en) | Utilizing independently stored validation keys to enable auditing of instrument measurement data maintained in a blockchain | |
KR101883400B1 (ko) | 에이전트리스 방식의 보안취약점 점검 방법 및 시스템 | |
CN111695156A (zh) | 业务平台的访问方法、装置、设备及存储介质 | |
CN111666578A (zh) | 数据管理的方法、装置、电子设备及计算机可读存储介质 | |
US11070371B2 (en) | Detection and protection of data in API calls | |
CN109657492B (zh) | 数据库管理方法、介质及电子设备 | |
US20220210202A1 (en) | Advanced cybersecurity threat mitigation using software supply chain analysis | |
US11928605B2 (en) | Techniques for cyber-attack event log fabrication | |
US11663347B2 (en) | Systems and methods for maintaining immutable data access logs with privacy | |
US10587652B2 (en) | Generating false data for suspicious users | |
EP3869374B1 (en) | Method, apparatus and electronic device for processing user request and storage medium | |
CN112017007A (zh) | 用户行为数据的处理方法及装置、计算机设备、存储介质 | |
US11281773B2 (en) | Access card penetration testing | |
CN112328486A (zh) | 接口自动化测试方法、装置、计算机设备及存储介质 | |
CN114172663B (zh) | 基于区块链的业务确权方法及装置、存储介质和电子设备 | |
CN109889410B (zh) | 测试业务功能的方法、系统、装置、代理设备和存储介质 | |
CN109325360B (zh) | 信息管理方法与装置 | |
US6968373B1 (en) | System, computer program, and method for network resource inventory | |
CN113836237A (zh) | 对数据库的数据操作进行审计的方法及装置 | |
CN112579929B (zh) | 一种可视化区块链浏览器页面构建方法及装置 | |
CN113127919A (zh) | 数据处理方法、装置及计算设备、存储介质 | |
CN113129008A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
CN113778709B (zh) | 接口调用方法、装置、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |