CN111143875B - 一种基于大数据的数据信息脱敏方法及系统 - Google Patents

一种基于大数据的数据信息脱敏方法及系统 Download PDF

Info

Publication number
CN111143875B
CN111143875B CN201911301650.9A CN201911301650A CN111143875B CN 111143875 B CN111143875 B CN 111143875B CN 201911301650 A CN201911301650 A CN 201911301650A CN 111143875 B CN111143875 B CN 111143875B
Authority
CN
China
Prior art keywords
data
desensitization
database
processed
statistical parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911301650.9A
Other languages
English (en)
Other versions
CN111143875A (zh
Inventor
李宜谦
任钦正
孙少平
张学军
鲁龙
宋颖
陈晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201911301650.9A priority Critical patent/CN111143875B/zh
Publication of CN111143875A publication Critical patent/CN111143875A/zh
Application granted granted Critical
Publication of CN111143875B publication Critical patent/CN111143875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2151—Time stamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据的数据信息脱敏方法及系统，包括：在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。本发明的脱敏方法提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。

Description

一种基于大数据的数据信息脱敏方法及系统
技术领域
本发明涉及数据脱敏处理技术领域，并且更具体地，涉及一种基于大数据的数据信息脱敏方法及系统。
背景技术
随着大数据技术的迅猛发展，包含业务、账户等大量敏感信息积累在企业信息系统中，若处理不当，使得这些敏感信息遗失、泄露甚至被窃取，将会对企业造成经济上，甚至声誉上严重的负面影响。企业的正常生产经营极度依赖于信息系统的数据安全保障，一旦信息系统内数据保护不当，导致企业的经营信息、重要人员信息、客户信息、核心产品技术信息等商业机密泄露或被窃取，将造成企业生产经营方面的重大风险与隐患。
在常见的数据脱敏体系中，是在数据落地数据库之后再进行脱敏等操作，这样会存在数据泄露等不安全状况。而且在对一些带量纲的数值数据的脱敏上，只是采取一些加减固定值或随机数等简单的方式，后续需要进行的数据分析等工作在使用数据时会产生较大误差。
发明内容
本发明提出一种基于大数据的数据信息脱敏方法及系统，以解决如何准确、安全地对数据进行脱敏的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种基于大数据的数据信息脱敏方法，所述方法包括：
在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；
根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；
计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；
根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。
优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。
优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。
优选地，其中所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。
根据本发明的另一个方面，提供了一种基于大数据的数据信息脱敏系统，所述系统包括：
第一脱敏处理单元，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；
带量纲的待处理数据确定单元，用于根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；
统计参数值确定单元，用于计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；
第二脱敏处理单元，用于根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。
优选地，其中所述第一脱敏处理单元，按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。
优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。
优选地，其中所述第二脱敏处理单元，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。
本发明提供了一种基于大数据的数据信息脱敏方法及系统，在数据落地之前，从消息中间件消费到数据库的过程中，完成对重要敏感信息如姓名、手机号等数据的识别和脱敏；落地数据库之后，根据对数据的脱敏等级要求，对带量纲的数值数据，按照设定的脱敏策进行脱敏，保证其在需求条件下符合脱敏前的正态分布，进一步提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于大数据的数据信息脱敏方法100的流程图；
图2为根据本发明实施方式的基于大数据的商品信息脱敏方法的流程图；以及
图3为根据本发明实施方式的基于大数据的数据信息脱敏系统300的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的基于大数据的数据信息脱敏方法100的流程图。如图1所示，本发明实施方式提供的基于大数据的数据信息脱敏方法，在数据落地之前，从消息中间件消费到数据库的过程中，完成对重要敏感信息如姓名、手机号等数据的识别和脱敏；落地数据库之后，根据对数据的脱敏等级要求，对带量纲的数值数据，按照设定的脱敏策进行脱敏，保证其在需求条件下符合脱敏前的正态分布，进一步提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。本发明实施方式提供的基于大数据的数据信息脱敏方法100从步骤101处开始，在步骤101在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中。
优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。
优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。
在本发明的实施方式中，在了解了消息中间件中的数据结构后，确定需要进行脱敏处理的字段，在消费其中数据的程序中加入对预设字段对应的重要数据的脱敏。具体地，包括：根据需求对姓名、手机号，身份证号等进行全掩码或选择性掩码等方式的脱敏处理，脱敏处理后消费落地到hbase数据库中。
在步骤102，根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据。
在步骤103，计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中。
在本发明的实施方式中，根据数据的使用时间段不同，通过hbase的时间戳标识查询出此时间段的数据，并筛选出带量纲的待处理数据。然后，根据筛选出的带量纲的待处理数据计算出脱敏算法所需的统计参数值，包括：最大值、最小值、总体平均值和总体标准差。然后，对数值数据进行脱敏操作。
在步骤104，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。
优选地，其中所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。
在本发明的实施方式中，利用所述统计参数值对获取的带量纲的待处理数据进行归一化处理，然后按照预设的比例进行缩放，使之落入一个特定区间，缩放后得到的数据即为噪声项。然后，然后使用扰乱技术，通过加入噪声的方式对原始的带量纲的待处理数据进行干扰，以实现对原始数据的扭曲、改变，实现脱敏。常用的噪声归一化方法有：min-max归一化、z-score归一化等。由于此类算法中需要原始数据中需要处理的字段(如价格，销量等)的总量、最大值、最小值、均值等参数，因此根据hbase可以记录数据入库时间的特性，确定预设时间段(这个时间段可以是一年、一个月、一周或者特定的几天、几小时)内这些参数的值，同时将这些值存入mysql数据库中。然后，根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
另外，在每次执行脱敏工作时，先到mysql数据库中查询是否存有所需参数，如果没有则计算统计值参数，并将结果存入mysql中，方便之后使用。
图2为根据本发明实施方式的基于大数据的商品信息脱敏方法的流程图。如图2所示，本发明实施方式提供的基于大数据的商品信息脱敏方法包括：
S1,消息中间件如hbase过程中进行重要信息的脱敏处理；
S2,选定需脱敏数据的时间段，进入脱敏执行阶段；
S3,判断mysql数据库中是否含有脱敏算法所需统计值参数；
S4,若存在，则直接执行脱敏工作，并将结果存入目标数据库；
S5,若不存在，则查询hbase数据库，计算得到统计值参数，并存入mysql数据库,然后直接执行脱敏工作，并将结果存入目标数据库。
图3为根据本发明实施方式的基于大数据的数据信息脱敏系统300的结构示意图。如图3所示，本发明实施方式提供的基于大数据的数据信息脱敏系统300，包括：第一脱敏处理单元301、带量纲的待处理数据确定单元302、统计参数值确定单元303和第二脱敏处理单元304。
优选地，所述第一脱敏处理单元301，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中。
优选地，其中所述第一脱敏处理单元301，按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。
优选地，所述带量纲的待处理数据确定单元302，用于根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据。
优选地，所述统计参数值确定单元303，用于计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中。
优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。
优选地，所述第二脱敏处理单元304，用于根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。
优选地，其中所述第二脱敏处理单元304，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。
本发明的实施例的基于大数据的数据信息脱敏系统300与本发明的另一个实施例的基于大数据的数据信息脱敏方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于大数据的数据信息脱敏方法，其特征在于，所述方法包括：
在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；
根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；
计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；其中，根据数据的使用时间段不同，通过hbase的时间戳标识查询出此时间段的数据，并筛选出带量纲的待处理数据；根据筛选出的带量纲的待处理数据计算出脱敏算法所需的统计参数值，包括：最大值、最小值、总体平均值和总体标准差；
根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据；
其中，所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
2.根据权利要求1所述的方法，其特征在于，所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。
3.根据权利要求1所述的方法，其特征在于，所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。
4.根据权利要求1所述的方法，其特征在于，所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。
5.一种基于大数据的数据信息脱敏系统，其特征在于，所述系统包括：
第一脱敏处理单元，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；
带量纲的待处理数据确定单元，用于根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；
统计参数值确定单元，用于计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；其中，根据数据的使用时间段不同，通过hbase的时间戳标识查询出此时间段的数据，并筛选出带量纲的待处理数据；根据筛选出的带量纲的待处理数据计算出脱敏算法所需的统计参数值，包括：最大值、最小值、总体平均值和总体标准差；
第二脱敏处理单元，用于根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据；
其中，所述第二脱敏处理单元，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。
6.根据权利要求5所述的系统，其特征在于，所述第一脱敏处理单元，按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。
7.根据权利要求5所述的系统，其特征在于，所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。
8.根据权利要求5所述的系统，其特征在于，所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。
CN201911301650.9A 2019-12-17 2019-12-17 一种基于大数据的数据信息脱敏方法及系统 Active CN111143875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911301650.9A CN111143875B (zh) 2019-12-17 2019-12-17 一种基于大数据的数据信息脱敏方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911301650.9A CN111143875B (zh) 2019-12-17 2019-12-17 一种基于大数据的数据信息脱敏方法及系统

Publications (2)

Publication Number Publication Date
CN111143875A CN111143875A (zh) 2020-05-12
CN111143875B true CN111143875B (zh) 2024-03-08

Family

ID=70518585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301650.9A Active CN111143875B (zh) 2019-12-17 2019-12-17 一种基于大数据的数据信息脱敏方法及系统

Country Status (1)

Country Link
CN (1) CN111143875B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667657A (zh) * 2020-12-24 2021-04-16 国泰君安证券股份有限公司 基于计算机软件实现数据脱敏的系统、方法、装置、处理器及其存储介质
CN113297623B (zh) * 2021-06-23 2022-05-10 天道金科股份有限公司 基于数据库的敏感数据脱敏系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487775A (zh) * 2015-09-01 2017-03-08 阿里巴巴集团控股有限公司 一种基于云平台的业务数据的处理方法和装置
CN106599713A (zh) * 2016-11-11 2017-04-26 中国电子科技网络信息安全有限公司 一种基于大数据的数据库脱敏系统及方法
CN106649587A (zh) * 2016-11-17 2017-05-10 国家电网公司 一种基于大数据信息系统的高安全性脱敏方法
CN107563218A (zh) * 2017-08-23 2018-01-09 北京明朝万达科技股份有限公司 一种基于大数据的数据脱敏方法和Hbase脱敏处理系统
CN108446571A (zh) * 2018-03-22 2018-08-24 安徽八六物联科技有限公司 一种大数据脱敏方法
CN108549824A (zh) * 2018-04-17 2018-09-18 杭州橙鹰数据技术有限公司 一种数据脱敏方法及装置
WO2019068002A1 (en) * 2017-09-29 2019-04-04 Oracle International Corporation INFRASTRUCTURE OF INDEPENDENT AUTONOMOUS DATABASE BASED CLOUD SERVICES
CN109871711A (zh) * 2019-01-23 2019-06-11 中国海洋大学 海洋大数据共享分发风险控制模型及方法
WO2019114766A1 (zh) * 2017-12-14 2019-06-20 中兴通讯股份有限公司 一种数据脱敏方法、服务器、终端及计算机可读存储介质
CN110110543A (zh) * 2019-03-14 2019-08-09 深圳壹账通智能科技有限公司 数据处理方法、装置、服务器及存储介质
CN110210242A (zh) * 2019-04-25 2019-09-06 深圳壹账通智能科技有限公司 一种数据脱敏的方法、装置、存储介质及计算机设备
CN110210241A (zh) * 2018-02-28 2019-09-06 中兴通讯股份有限公司 一种数据脱敏方法和装置
CN110232291A (zh) * 2019-04-25 2019-09-13 深圳壹账通智能科技有限公司 智能数据脱敏方法、装置、计算机设备和存储介质
CN110245470A (zh) * 2019-04-25 2019-09-17 深圳壹账通智能科技有限公司 智能数据脱敏方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132419A1 (en) * 2007-11-15 2009-05-21 Garland Grammer Obfuscating sensitive data while preserving data usability
US10839091B2 (en) * 2017-12-05 2020-11-17 International Business Machines Corporation Protection of data privacy for cognitive demand forecasting

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487775A (zh) * 2015-09-01 2017-03-08 阿里巴巴集团控股有限公司 一种基于云平台的业务数据的处理方法和装置
CN106599713A (zh) * 2016-11-11 2017-04-26 中国电子科技网络信息安全有限公司 一种基于大数据的数据库脱敏系统及方法
CN106649587A (zh) * 2016-11-17 2017-05-10 国家电网公司 一种基于大数据信息系统的高安全性脱敏方法
CN107563218A (zh) * 2017-08-23 2018-01-09 北京明朝万达科技股份有限公司 一种基于大数据的数据脱敏方法和Hbase脱敏处理系统
WO2019068002A1 (en) * 2017-09-29 2019-04-04 Oracle International Corporation INFRASTRUCTURE OF INDEPENDENT AUTONOMOUS DATABASE BASED CLOUD SERVICES
WO2019114766A1 (zh) * 2017-12-14 2019-06-20 中兴通讯股份有限公司 一种数据脱敏方法、服务器、终端及计算机可读存储介质
CN109960944A (zh) * 2017-12-14 2019-07-02 中兴通讯股份有限公司 一种数据脱敏方法、服务器、终端及计算机可读存储介质
CN110210241A (zh) * 2018-02-28 2019-09-06 中兴通讯股份有限公司 一种数据脱敏方法和装置
CN108446571A (zh) * 2018-03-22 2018-08-24 安徽八六物联科技有限公司 一种大数据脱敏方法
CN108549824A (zh) * 2018-04-17 2018-09-18 杭州橙鹰数据技术有限公司 一种数据脱敏方法及装置
CN109871711A (zh) * 2019-01-23 2019-06-11 中国海洋大学 海洋大数据共享分发风险控制模型及方法
CN110110543A (zh) * 2019-03-14 2019-08-09 深圳壹账通智能科技有限公司 数据处理方法、装置、服务器及存储介质
CN110210242A (zh) * 2019-04-25 2019-09-06 深圳壹账通智能科技有限公司 一种数据脱敏的方法、装置、存储介质及计算机设备
CN110232291A (zh) * 2019-04-25 2019-09-13 深圳壹账通智能科技有限公司 智能数据脱敏方法、装置、计算机设备和存储介质
CN110245470A (zh) * 2019-04-25 2019-09-17 深圳壹账通智能科技有限公司 智能数据脱敏方法、装置、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
大数据环境下的智能数据脱敏系统;陈天莹;陈剑锋;;通信技术(第07期);全文 *
数据脱敏在海量数据系统中的应用;邢宇恒;张冰;毛一凡;;电信科学(第S1期);全文 *
数据脱敏技术的探究与实现;叶水勇;;电力信息与通信技术(第04期);全文 *
邢宇恒 ; 张冰 ; 毛一凡 ; .数据脱敏在海量数据系统中的应用.电信科学.2017,(第S1期),全文. *
陈天莹 ; 陈剑锋 ; .大数据环境下的智能数据脱敏系统.通信技术.2016,(第07期),全文. *

Also Published As

Publication number Publication date
CN111143875A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN108665143B (zh) 风控模型的评估方法及装置
CN111143875B (zh) 一种基于大数据的数据信息脱敏方法及系统
CN110471821B (zh) 异常变更检测方法、服务器及计算机可读存储介质
CN109040110B (zh) 一种外发行为检测方法及装置
CN106161095B (zh) 数据泄露的预警方法及装置
CN111680960A (zh) 一种考勤统计方法及设备
CN111476375B (zh) 一种确定识别模型的方法、装置、电子设备及存储介质
CN110942314A (zh) 异常账户监管方法及装置
CN116562715B (zh) 指标数据监测方法、装置、计算机设备和存储介质
CN112613974A (zh) 一种风险预警方法、装置、设备及可读存储介质
CN111008902B (zh) 核保数据处理方法、装置、设备和介质
CN110442466B (zh) 防止请求重复访问方法、装置、计算机设备及存储介质
CN116862236A (zh) 一种风险场景评估方法、系统、终端设备及存储介质
CN115130577A (zh) 一种欺诈号码识别方法、装置及电子设备
CN115564554A (zh) 一种多技术栈参数管理方法、装置、设备及介质
CN112529453B (zh) 一种风险企业确定方法、装置、设备和介质
US11042634B2 (en) Determining information leakage of computer-readable programs
CN116012123B (zh) 一种基于Rete算法的风控规则引擎方法及系统
CN108765172B (zh) 问题定位方法、设备、存储介质及装置
CN110704817A (zh) 虚假实名识别方法、装置及计算机可读存储介质
CN115481984A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN115357506A (zh) 测试用例的生成方法、装置、存储介质和设备
CN113888339A (zh) 一种风险事件的核查方法、装置、设备及存储介质
CN116797350A (zh) 一种实时交易的事中风险处理方法和装置
CN111242528A (zh) 一种用于粮库系统采集粮食数据的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant