CN116561795B - 一种数据并行脱敏处理方法 - Google Patents

一种数据并行脱敏处理方法 Download PDF

Info

Publication number
CN116561795B
CN116561795B CN202310465479.5A CN202310465479A CN116561795B CN 116561795 B CN116561795 B CN 116561795B CN 202310465479 A CN202310465479 A CN 202310465479A CN 116561795 B CN116561795 B CN 116561795B
Authority
CN
China
Prior art keywords
desensitization
file
configuration information
rule
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310465479.5A
Other languages
English (en)
Other versions
CN116561795A (zh
Inventor
朱飞
杨佳欢
徐秋瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexin Technology Co ltd
Hexin Technology Suzhou Co ltd
Original Assignee
Hexin Technology Co ltd
Hexin Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexin Technology Co ltd, Hexin Technology Suzhou Co ltd filed Critical Hexin Technology Co ltd
Priority to CN202310465479.5A priority Critical patent/CN116561795B/zh
Publication of CN116561795A publication Critical patent/CN116561795A/zh
Application granted granted Critical
Publication of CN116561795B publication Critical patent/CN116561795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及信息安全技术领域，具体涉及一种数据并行脱敏处理方法，包括：获取脱敏处理的规则与配置信息；获取待脱敏处理的目录文件结构，并根据该目录文件结构创建脱敏线程池；根据该脱敏处理的规则与配置信息，通过该脱敏线程池对该数据目录文件结构下的各个待处理文件进行多线程并行脱敏处理。上述方案通过脱敏线程池可对多且大的文件进行并行处理，进而提高脱敏处理的工作效率，其脱敏处理的规则与配置信息可根据需要脱敏的内容进行灵活配置，进而解决普通脱敏方式单个脱敏内容的限制，进一步提高了脱敏处理的工作效率。

Description

一种数据并行脱敏处理方法
技术领域
本申请涉及信息安全技术领域，具体涉及一种数据并行脱敏处理方法。
背景技术
在大数据场景越来越多的大环境下，数据隐私的安全性保护至关重要，保护好敏感数据的泄露也是当前比较重要的商业惯例。
当前大多数公司在导出及使用机密数据前，通常需要经过各级领导对机密数据进行审批，以审核该机密数据是否可以导出。在审批过程中，需要对关键性数据片段或者文件进行脱敏处理，目前通常采用人为脱敏处理的方式，其工作效率低，且风险性较高。
因此，亟需一种能实现关键数据片段或者文件的自动且快速的脱敏处理方法，以确保敏感数据的安全性及处理效率。
发明内容
有鉴于此，本申请实施例提供了一种数据并行脱敏处理方法，以解决人为脱敏处理的方式，其工作效率低，且风险性较高的问题。
第一方面，本申请实施例提供了一种数据并行脱敏处理方法，所述方法包括：
获取脱敏处理的规则与配置信息；
获取待脱敏处理的目录文件结构，并根据所述目录文件结构创建脱敏线程池；
根据所述脱敏处理的规则与配置信息，通过所述脱敏线程池对所述数据目录文件结构下的各个待处理文件进行多线程并行脱敏处理。
上述方案通过脱敏线程池可对多且大的文件进行并行处理，进而提高脱敏处理的工作效率，其脱敏处理的规则与配置信息可根据需要脱敏的内容进行灵活配置，进而解决普通脱敏方式单个脱敏内容的限制，进一步提高了脱敏处理的工作效率。
结合第一方面，在一种实施方式中，所述脱敏处理的规则与配置信息包括需要过滤的文件扩展名信息、需要过滤的支持通配符规则的文件名信息以及需要过滤并替换的关键字段信息。
上述方案中的规则与配置信息可根据需要脱敏的内容进行灵活配置，进而解决普通脱敏方式单个脱敏内容的限制，进一步提高了脱敏处理的工作效率。
结合第一方面对应的实施方式，在一种实施方式中，所述获取脱敏处理的规则与配置信息，包括：
根据脱敏需求，确定脱敏处理的规则与配置信息，并根据所述脱敏处理的规则与配置信息构建脱敏程序。
上述方案根据脱敏需求配置脱敏处理的规则与配置信息，增加脱敏处理应用灵活性，对该脱敏处理的规则与配置信息构建脱敏程序，以在需要进行脱敏时，可立即加载该脱敏处理的规则与配置信息。
结合第一方面对应的实施方式，在一种实施方式中，对所述脱敏程序进行运行，以加载所述脱敏处理的规则与配置信息。
上述方案在需要进行脱敏处理时，运行脱敏程序，加载脱敏处理的规则与配置信息，提高脱敏处理效率。
结合第一方面对应的实施方式，在一种实施方式中，获取加载后的所述规则与配置信息；
根据加载后的所述规则与配置信息中的所述需要过滤的文件扩展名信息以及所述需要过滤的支持通配符规则的文件名信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行初步过滤操作；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对经初步过滤操作后，剩下的待处理文件进行文件名称与文件路径的脱敏处理；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对所述剩下的待处理文件进行文件内容的脱敏处理。
上述方案根据脱敏需求配置脱敏处理的规则与配置信息，增加脱敏处理应用灵活性，对该脱敏处理的规则与配置信息构建脱敏程序，以在需要进行脱敏时，可立即加载该脱敏处理的规则与配置信息，进一步提高脱敏处理效率。
结合第一方面对应的实施方式，在一种实施方式中，获取脱敏处理结果，并根据所述脱敏处理结果生成脱敏报告；
对所述脱敏报告及所述脱敏处理的规则与配置信息进行比对，以对所述处理结果进行完整性检查。
上述方案根据通过脱敏报告对脱敏处理结果进行完整性检查，以确保脱敏准确性。
第二方面，本申请实施例提供了一种审批方法，所述审批方法应用如上所述的数据并行脱敏处理方法；
所述审批方法包括：
获取申请人的数据查看申请，并根据所述数据并行脱敏处理方法对所述数据查看申请对应的各个待处理文件进行多线程并行脱敏处理；
对脱敏处理后的各个文件进行审批，并在审批通过后向申请人发送审批通过的文件数据。
上述方案将上述数据并行脱敏处理方法应用到审批流程中，在审批过程中配置脱敏处理方法，并对脱敏处理结果进行检查，可以根据需要在一级审批及二级审批时配置脱敏检查模块，进一步确保数据的安全性。
第三方面，本申请实施例提供了一种数据并行脱敏处理装置，所述装置包括：
规则与配置信息获取模块，用于获取脱敏处理的规则与配置信息；
脱敏线程池创建模块，用于获取待脱敏处理的目录文件结构，并根据所述目录文件结构创建脱敏线程池；
并行脱敏处理模块，用于根据所述脱敏处理的规则与配置信息，通过所述脱敏线程池对所述数据目录文件结构下的各个待处理文件进行多线程并行脱敏处理。
第四方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的一种数据并行脱敏处理方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的一种数据并行脱敏处理方法。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种数据并行脱敏处理系统的结构框图。
图2是根据一示例性实施例示出的一种数据并行脱敏处理方法的流程图。
图3是根据一示例性实施例示出的一种数据并行脱敏处理方法的流程图。
图4是根据一示例性实施例示出的脱敏线程池对需要对重要数据进行脱敏处理的示意图。
图5是根据一示例性实施例示出的脱敏结果检查流程示意图。
图6是根据一示例性实施例示出的一种审批方法的方法流程图。
图7是根据一示例性实施例示出的一种图像数据处理装置的结构方框图。
图8示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备(例如，包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
图1示出了一种数据并行脱敏处理系统的结构框图；该数据并行脱敏处理系统100包括脱敏软件110(即脱敏程序)、脱敏线程池120及脱敏结果检查模块130；
在实际应用中，当需要向其他协作公司提供重要数据的时候，该被申请的重要数据需要经过各级主管的签核审批(即机密数据签核)，以确认被申请的重要数据是否能够提供给其他协作公司，然而在审批的过程中，为了保护机密数据的安全性还需要对被申请的重要数据进行脱敏处理，因此，本申请实施例在机密数据签核导出的过程中加入了一种基于脱敏相关规则与配置信息，对被申请的重要数据进行脱敏和审查的机制，以确保敏感数据的安全性，并提高脱敏处理的工作效率。
可选的，该脱敏软件110是基于上述脱敏相关规则与配置信息构生成的，该脱敏相关规则与配置信息可以是外部配置的，在应用时，通过脱敏软件110进行运行，以加载其对应的脱敏处理的规则与配置信息，从而根据该脱敏处理的规则与配置信息对待处理数据或文件(即上述被申请的重要数据)进行脱敏处理。
可选的，在基于上述脱敏相关规则与配置信息进行脱敏处理过敏中，为了实现文件夹或文件的并行脱敏处理，可以通过构建上述脱敏线程池120的方式进行多线程并行脱敏处理，进一步提高脱敏处理的效率。
可选的，在通过上述脱敏软件110对被申请的重要数据进行脱敏处理后，为了保证脱敏处理的准确性和数据的安全性，可以通过脱敏结果检查模块130对脱敏处理结果进行检查与校正，以保证脱敏处理的准确性。
可选的，该数据并行脱敏处理系统100还可以包括审批模块140，审批模块140用于实现上述的机密数据签核过程，在审批过程中，可应用到上述脱敏软件110、脱敏线程池120及脱敏结果检查模块130；即在对上述的机密数据进行审批时，可以通过脱敏软件110及脱敏线程池120进行多线程并行处理，并在一级审批或/和二级审批的过程中配置脱敏结果检查模块130，对脱敏处理结果进行检查与校正，以保证数据安全。
根据本申请实施例，提供了一种数据并行脱敏处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机设备中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本申请实施例的一种数据并行脱敏处理方法的流程图，如图2所示，该流程包括如下步骤：
S201、获取脱敏处理的规则与配置信息。
在一种可能实施方式中，在需要对进行重要数据进行高效率的脱敏处理时，根据实际需要确定脱敏处理的规则与配置信息，该脱敏处理的规则与配置信息指示了需要进行过滤、脱敏及替换的数据信息与规则；根据该脱敏处理的规则与配置信息即可对需要进行脱敏处理的重要数据进行脱敏处理，从而使脱敏处理后的重要数据满足脱敏需要，以保证数据安全。
S202、获取待脱敏处理的目录文件结构，并根据该目录文件结构创建脱敏线程池。
在一种可能实施方式中，在获取脱敏处理的规则与配置信息后，获取上述需要进行脱敏处理的重要数据的目录文件结构，由于该目录文件结构包括了需要进行脱敏处理的各个文件及文件路径，因此可以根据该目录文件结构创建脱敏线程池，脱敏线程池可采用多线程处理形式，在处理过程中将任务(各个待脱敏处理的文件或文件夹)添加到队列，然后在创建线程后自动启动这些任务。
S203、根据该脱敏处理的规则与配置信息，通过该脱敏线程池对该数据目录文件结构下的各个待处理文件进行多线程并行脱敏处理。
在一种可能实施方式中，在获取脱敏处理的规则与配置信息，并创建脱敏线程池后，通过该脱敏线程池的多线程处理形式，根据该脱敏处理的规则与配置信息对该数据目录文件结构下的各个待处理文件或文件夹进行多线程并行脱敏处理。
综上所述，上述方案通过脱敏线程池可对多且大的文件进行并行处理，进而提高脱敏处理的工作效率，其脱敏处理的规则与配置信息可根据需要脱敏的内容进行灵活配置，进而解决普通脱敏方式单个脱敏内容的限制，进一步提高了脱敏处理的工作效率。
上述方案通过对脱敏处理的规则与配置信息的灵活配置，可对不同文本文件，以及波形文件在内的文本文件进行脱敏处理。
图3是根据本申请实施例的一种数据并行脱敏处理方法的流程图，如图3所示，该流程包括如下步骤：
S301、获取脱敏处理的规则与配置信息。
在一种可能实施方式中，该脱敏处理的规则与配置信息包括需要过滤的文件扩展名信息、需要过滤的支持通配符规则的文件名信息以及需要过滤并替换的关键字段信息。
在一种可能实施方式中，根据脱敏需求，确定脱敏处理的规则与配置信息，并根据该脱敏处理的规则与配置信息构建脱敏程序。
进一步的，该脱敏处理的规则与配置信息是根据脱敏需求确定的，可外部配置在机密数据签核导出的过程中，以对所需传输的重要数据进行脱敏处理；为了加载外部配置的脱敏处理的规则与配置信息，可根据该脱敏处理的规则与配置信息构建脱敏程序，对该脱敏程序进行运行，即可加载该脱敏处理的规则与配置信息。
S302、获取待脱敏处理的目录文件结构，并根据该目录文件结构创建脱敏线程池。
在一种可能实施方式中，在需要对重要数据(目录文件结构对应的各个待处理文件或文件夹)进行脱敏处理时，对该脱敏程序进行运行，以加载该脱敏处理的规则与配置信息。
S303、根据该脱敏处理的规则与配置信息，通过该脱敏线程池对该数据目录文件结构下的各个待处理文件进行多线程并行脱敏处理。
在一种可能实施方式中，获取加载后的该规则与配置信息；
根据加载后的该规则与配置信息中的该需要过滤的文件扩展名信息以及该需要过滤的支持通配符规则的文件名信息，通过该脱敏线程池对该目录文件结构下的各个待处理文件进行初步过滤操作；
根据加载后的该规则与配置信息中的该需要过滤并替换的关键字段信息，通过该脱敏线程池对经初步过滤操作后，剩下的待处理文件进行文件名称与文件路径的脱敏处理；
根据加载后的该规则与配置信息中的该需要过滤并替换的关键字段信息，通过该脱敏线程池对该剩下的待处理文件进行文件内容的脱敏处理。
进一步的，请参照图4示出了脱敏线程池对需要对重要数据进行脱敏处理的示意图。如图4所示，在通过该脱敏线程池对需要对重要数据进行脱敏处理时，先加载配置信息(即上述脱敏处理的规则与配置信息)，并获取待脱敏数据目录文件结构，创建脱敏线程池，此时，脱敏线程池先判断目录文件结构下的各个待处理文件或文件夹是否需要进行文件过滤，即脱敏线程池先根据该规则与配置信息中的需要过滤的文件扩展名信息以及需要过滤的支持通配符规则的文件名信息，对目录文件结构下的各个待处理文件或文件夹进行初步过滤，从而过滤掉文件扩展名中包括需要过滤的文件扩展名信息的各个待处理文件或文件夹，且过滤掉文件名中包括需要过滤的支持通配符规则的文件名信息的各个待处理文件或文件夹；
此时，该目录文件结构下的各个待处理文件或文件夹中已经被初步过滤掉文件扩展名及支持通配符规则的文件名不符合要求的待处理文件或文件夹。对经初步过滤后，该目录文件结构下剩余的待处理文件或文件夹进行文件名称与文件路径的脱敏处理，此时根据该规则与配置信息中的需要过滤并替换的关键字段信息，对文件名称与文件路径中包含需要过滤并替换的关键字段信息的剩余的待处理文件或文件夹进行脱敏与替换，即图4中的对数据名称(即上述文件名称)与路径(即上述文件路径)是否涉敏进行判断，如果涉敏则进行脱敏处理；
同时，根据该规则与配置信息中的需要过滤并替换的关键字段信息，对文件内容中包含需要过滤并替换的关键字段信息的剩余的待处理文件或文件夹进行脱敏与替换，此时脱敏处理结束，即图4中的对数据内容(即上述文件内容)是否涉敏进行判断，如果涉敏则进行脱敏处理。
进一步的，如图4所示，在通过该脱敏线程池对需要对重要数据进行脱敏处理时，可采用多线程并行脱敏处理，即同时对待处理多个文件或文件夹进行脱敏处理，以提高脱敏效率。
进一步的，该脱敏线程池中的线程数可以根据实际场景优化设置，如五个线程，先用该五个线程对优先级较高的五个待处理文件或文件夹进行多线程并行处理，其他优先级较低的待处理文件或文件夹进行线程排队，等待后续的处理。在对待处理文件或文件夹的优先级进行评估时，可根据待处理文件或文件夹内数据的重要性、数据的大小、涉敏数据的多少进行灵活设置。
S304、获取脱敏处理结果，并根据该脱敏处理结果生成脱敏报告。
在一种可能实施方式中，如图4所示，在脱敏工作结束后，为了对脱敏效果进行检查，根据脱敏处理结果生成脱敏报告。
S305、对该脱敏报告及该脱敏处理的规则与配置信息进行比对，以对该脱敏处理结果进行完整性检查。
进一步的，请参照图5示出的脱敏结果检查流程示意图，在进行脱敏结果检查时，先获取脱敏处理的规则与配置信息(即图5中的脱敏配置选项)，开始检查脱敏报告(即图5中的脱敏数据目录)，将脱敏处理的规则与配置信息与脱敏报告进行比对(即图5中的获取结果与申请者的脱敏报告比对)，以对该脱敏处理结果进行完整性检查，并告知结果，保证数据的安全性。
综上所述，上述方案通过脱敏线程池可对多且大的文件进行并行处理，进而提高脱敏处理的工作效率，其脱敏处理的规则与配置信息可根据需要脱敏的内容进行灵活配置，进而解决普通脱敏方式单个脱敏内容的限制，进一步提高了脱敏处理的工作效率。
上述方案通过对脱敏处理的规则与配置信息的灵活配置，可对不同文本文件，以及波形文件在内的文本文件进行脱敏处理。
上述方案根据通过脱敏报告对脱敏处理结果进行完整性检查，以确保脱敏准确性，进一步保证了数据安全。
图6是根据本申请实施例的一种审批方法的方法流程图，该审批方法应用如上所述的数据并行脱敏处理方法；
如图6所示，该流程包括如下步骤：
S601、获取申请人的数据查看申请，并根据该数据并行脱敏处理方法对该数据查看申请对应的各个一种待处理文件进行多线程并行脱敏处理。
在一种可能的实施方式中，请参照图6示出的一种增加脱敏与检查后，审批流程示意图，如图6所示，在进行审批时，首先，申请人进入数据准备，确定需要申请查看的重要数据，并进行重要数据的申请填写，生成数据查看申请，此时根据图2至图4对应的数据并行脱敏处理方法启动脱敏流程，对该需要申请查看的重要数据进行脱敏处理，脱敏处理后进入审批模块，该审批模块可根据需要设置多级审批，如图6所示，图6对应设置有一级审批及二级审批；一级审批流程先收到申请人的数据查看申请，并对脱敏后的重要数据进行数据审批，一级审批通过后会进入二级审批流程，二级审批收到申请人的数据查看申请，可根据图5的脱敏结果检查流程进行脱敏结果的检查，通过后可借助辅助程序模块进行二级审批，二级审批通过后，将审批结果发送至申请人，此时申请人可获取经脱敏处理及审批后的所申请的重要数据，进一步保证数据的安全性。
进一步的，在审批的过程中，检查模块可根据需要进行配置，也就是说，脱敏结果的检查流程不一定只能配置在二级审批流程中，还可以根据需要配置在一级审批流程中。
S602、对脱敏处理后的各个文件进行审批，并在审批通过后向申请人发送审批通过的文件数据。
综上所述，上述方案将上述数据并行脱敏处理方法应用到审批流程中，在审批过程中配置脱敏处理方法，并对脱敏处理结果进行检查，可以根据需要在一级审批及二级审批时配置脱敏检查模块，进一步确保数据的安全性。
图7是根据一示例性实施例示出的一种数据并行脱敏处理装置的结构方框图。该装置包括：
规则与配置信息获取模块701，用于获取脱敏处理的规则与配置信息；
脱敏线程池创建模块702，用于获取待脱敏处理的目录文件结构，并根据所述目录文件结构创建脱敏线程池；
并行脱敏处理模块703，用于根据所述脱敏处理的规则与配置信息，通过所述脱敏线程池对所述数据目录文件结构下的各个待处理文件进行多线程并行脱敏处理。
在一种可能的实施方式中，所述脱敏处理的规则与配置信息包括需要过滤的文件扩展名信息、需要过滤的支持通配符规则的文件名信息以及需要过滤并替换的关键字段信息。
在一种可能的实施方式中，所述规则与配置信息获取模块701，还用于；
根据脱敏需求，确定脱敏处理的规则与配置信息，并根据所述脱敏处理的规则与配置信息构建脱敏程序。
在一种可能的实施方式中，所述装置还用于：
对所述脱敏程序进行运行，以加载所述脱敏处理的规则与配置信息。
在一种可能的实施方式中，并行脱敏处理模块703，还用于：
获取加载后的所述规则与配置信息；
根据加载后的所述规则与配置信息中的所述需要过滤的文件扩展名信息以及所述需要过滤的支持通配符规则的文件名信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行初步过滤操作；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对经初步过滤操作后，剩下的待处理文件进行文件名称与文件路径的脱敏处理；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对所述剩下的待处理文件进行文件内容的脱敏处理。
在一种可能的实施方式中，所述装置还用于：
获取脱敏处理结果，并根据所述脱敏处理结果生成脱敏报告；
对所述脱敏报告及所述脱敏处理的规则与配置信息进行比对，以对所述脱敏处理结果进行完整性检查。
综上所述，上述方案通过脱敏线程池可对多且大的文件进行并行处理，进而提高脱敏处理的工作效率，其脱敏处理的规则与配置信息可根据需要脱敏的内容进行灵活配置，进而解决普通脱敏方式单个脱敏内容的限制，进一步提高了脱敏处理的工作效率。
上述方案通过对脱敏处理的规则与配置信息的灵活配置，可对不同文本文件，以及波形文件在内的文本文件进行脱敏处理。
上述方案根据通过脱敏报告对脱敏处理结果进行完整性检查，以确保脱敏准确性，进一步保证了数据安全。
请参阅图8，其是根据本申请一示例性实施例提供的一种计算机设备示意图，所述计算机设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的一种数据并行脱敏处理方法。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (8)

1.一种数据并行脱敏处理方法，其特征在于，所述方法包括：
获取脱敏处理的规则与配置信息；所述脱敏处理的规则与配置信息包括需要过滤的文件扩展名信息、需要过滤的支持通配符规则的文件名信息以及需要过滤并替换的关键字段信息；
获取待脱敏处理的目录文件结构，并根据所述目录文件结构创建脱敏线程池；
根据所述脱敏处理的规则与配置信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行多线程并行脱敏处理；所述脱敏线程池采用多线程处理形式，以在处理过程中将各个待脱敏处理的文件或文件夹添加到队列，并在创建线程后自动启动已添加的所述各个待脱敏处理的文件或文件夹；
其中，所述根据所述脱敏处理的规则与配置信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行多线程并行脱敏处理，包括：
获取加载后的所述规则与配置信息；
根据加载后的所述规则与配置信息中的所述需要过滤的文件扩展名信息以及所述需要过滤的支持通配符规则的文件名信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行初步过滤操作；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对经初步过滤操作后，剩下的待处理文件进行文件名称与文件路径的脱敏处理；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对所述剩下的待处理文件进行文件内容的脱敏处理。
2.根据权利要求1所述的方法，其特征在于，所述获取脱敏处理的规则与配置信息，包括：
根据脱敏需求，确定脱敏处理的规则与配置信息，并根据所述脱敏处理的规则与配置信息构建脱敏程序。
3.根据权利要求2所述的方法，其特征在于，在所述获取待脱敏处理的目录文件结构，并根据所述目录文件结构创建脱敏线程池前，所述方法还包括：
对所述脱敏程序进行运行，以加载所述脱敏处理的规则与配置信息。
4.根据权利要求1至3任一所述的方法，其特征在于，在所述通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行多线程并行脱敏处理后，所述方法还包括：
获取脱敏处理结果，并根据所述脱敏处理结果生成脱敏报告；
对所述脱敏报告及所述脱敏处理的规则与配置信息进行比对，以对所述脱敏处理结果进行完整性检查。
5.一种审批方法，其特征在于，所述审批方法应用如权利要求1至4任一所述的数据并行脱敏处理方法；
所述审批方法包括：
获取申请人的数据查看申请，并根据所述数据并行脱敏处理方法对所述数据查看申请对应的各个待处理文件进行多线程并行脱敏处理；
对脱敏处理后的各个文件进行审批，并在审批通过后向申请人发送审批通过的文件数据。
6.一种数据并行脱敏处理装置，其特征在于，所述装置包括：
规则与配置信息获取模块，用于获取脱敏处理的规则与配置信息；所述脱敏处理的规则与配置信息包括需要过滤的文件扩展名信息、需要过滤的支持通配符规则的文件名信息以及需要过滤并替换的关键字段信息；
脱敏线程池创建模块，用于获取待脱敏处理的目录文件结构，并根据所述目录文件结构创建脱敏线程池；
并行脱敏处理模块，用于根据所述脱敏处理的规则与配置信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行多线程并行脱敏处理；所述脱敏线程池采用多线程处理形式，以在处理过程中将各个待脱敏处理的文件或文件夹添加到队列，并在创建线程后自动启动已添加的所述各个待脱敏处理的文件或文件夹；
其中，所述并行脱敏处理模块，还用于：
获取加载后的所述规则与配置信息；
根据加载后的所述规则与配置信息中的所述需要过滤的文件扩展名信息以及所述需要过滤的支持通配符规则的文件名信息，通过所述脱敏线程池对所述目录文件结构下的各个待处理文件进行初步过滤操作；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对经初步过滤操作后，剩下的待处理文件进行文件名称与文件路径的脱敏处理；
根据加载后的所述规则与配置信息中的所述需要过滤并替换的关键字段信息，通过所述脱敏线程池对所述剩下的待处理文件进行文件内容的脱敏处理。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至4任一所述的一种数据并行脱敏处理方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至4任一所述的一种数据并行脱敏处理方法。
CN202310465479.5A 2023-04-26 2023-04-26 一种数据并行脱敏处理方法 Active CN116561795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310465479.5A CN116561795B (zh) 2023-04-26 2023-04-26 一种数据并行脱敏处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310465479.5A CN116561795B (zh) 2023-04-26 2023-04-26 一种数据并行脱敏处理方法

Publications (2)

Publication Number Publication Date
CN116561795A CN116561795A (zh) 2023-08-08
CN116561795B true CN116561795B (zh) 2024-04-16

Family

ID=87495775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310465479.5A Active CN116561795B (zh) 2023-04-26 2023-04-26 一种数据并行脱敏处理方法

Country Status (1)

Country Link
CN (1) CN116561795B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423632A (zh) * 2017-04-20 2017-12-01 北京同余科技有限公司 可定制的敏感数据脱敏方法和系统
CN109522746A (zh) * 2018-11-07 2019-03-26 平安医疗健康管理股份有限公司 一种数据处理方法、电子设备及计算机存储介质
CN110598451A (zh) * 2019-09-19 2019-12-20 中国银行股份有限公司 数据脱敏方法及装置
CN111199054A (zh) * 2019-12-20 2020-05-26 深圳昂楷科技有限公司 一种数据脱敏方法、装置及数据脱敏设备
CN112380566A (zh) * 2020-11-20 2021-02-19 北京百度网讯科技有限公司 用于对文档图像进行脱敏的方法、装置、电子设备及介质
CN112668041A (zh) * 2020-12-17 2021-04-16 平安消费金融有限公司 单证文件的生成方法、装置、计算机设备和存储介质
CN113642039A (zh) * 2021-08-09 2021-11-12 平安科技（深圳）有限公司 单证模板的配置方法、装置、计算机设备和存储介质
CN114866532A (zh) * 2022-04-25 2022-08-05 安天科技集团股份有限公司 端点文件安全检查结果信息上传方法、装置、设备及介质
CN114996269A (zh) * 2022-05-26 2022-09-02 方盈金泰科技(北京)有限公司 一种支持多用户视图的Hive动态脱敏方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423632A (zh) * 2017-04-20 2017-12-01 北京同余科技有限公司 可定制的敏感数据脱敏方法和系统
CN109522746A (zh) * 2018-11-07 2019-03-26 平安医疗健康管理股份有限公司 一种数据处理方法、电子设备及计算机存储介质
CN110598451A (zh) * 2019-09-19 2019-12-20 中国银行股份有限公司 数据脱敏方法及装置
CN111199054A (zh) * 2019-12-20 2020-05-26 深圳昂楷科技有限公司 一种数据脱敏方法、装置及数据脱敏设备
CN112380566A (zh) * 2020-11-20 2021-02-19 北京百度网讯科技有限公司 用于对文档图像进行脱敏的方法、装置、电子设备及介质
CN112668041A (zh) * 2020-12-17 2021-04-16 平安消费金融有限公司 单证文件的生成方法、装置、计算机设备和存储介质
CN113642039A (zh) * 2021-08-09 2021-11-12 平安科技（深圳）有限公司 单证模板的配置方法、装置、计算机设备和存储介质
CN114866532A (zh) * 2022-04-25 2022-08-05 安天科技集团股份有限公司 端点文件安全检查结果信息上传方法、装置、设备及介质
CN114996269A (zh) * 2022-05-26 2022-09-02 方盈金泰科技(北京)有限公司 一种支持多用户视图的Hive动态脱敏方法

Also Published As

Publication number Publication date
CN116561795A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN109636317B (zh) 业务控制方法、装置、系统及存储介质
DE60123259T2 (de) Schutz von Boot-Block-Daten und präzise Meldung des Boot-Block-Inhalts
US20160283357A1 (en) Call stack relationship acquiring method and apparatus
AU2021206497A1 (en) Method and apparatus for authority control, computer device and storage medium
CN112565026A (zh) 测试帧的生成方法、装置及设备
US20210110044A1 (en) Self-Targeting Method of Automated Cybersecurity Analysis on an Operating System
CN116561795B (zh) 一种数据并行脱敏处理方法
CN111125721A (zh) 一种进程启动的控制方法、计算机设备和可读存储介质
WO2021183382A1 (en) Graph-based method for inductive bug localization
CN114765584A (zh) 一种用户行为监测方法、装置、电子设备及存储介质
CN109284128B (zh) 转换数据的方法、装置、存储介质及移动终端
US20200042296A1 (en) Code lineage tool
CN109684205B (zh) 系统测试方法、装置、电子设备及存储介质
US10740218B2 (en) Method and device for determining usage log
CN106649590A (zh) 一种处理数据库的存储空间的方法和装置
CN106529290B (zh) 一种恶意软件防护方法、装置以及电子设备
CN110457188B (zh) 可保持事务类型比例的tpc-e测试方法及测试系统
CN113297149A (zh) 数据处理请求的监测方法及装置
CN111126930B (zh) 节点数据处理方法、装置、计算机设备和存储介质
CN114756380A (zh) 云服务器部署方法、装置、电子设备及存储介质
US9882991B2 (en) URL issuing device, URL issuing method, and URL issuing program
CN112883383A (zh) 一种漏洞安全防御方法、系统及计算机设备
CN108667771B (zh) 一种用于处理不信任数据的数据处理系统及处理方法
CN111752600A (zh) 代码异常检测方法、装置、计算机设备及存储介质
CN107315951B (zh) 一种程序安装包反拦截方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant