CN111756522B - 数据处理方法及系统 - Google Patents

数据处理方法及系统 Download PDF

Info

Publication number
CN111756522B
CN111756522B CN202010598616.9A CN202010598616A CN111756522B CN 111756522 B CN111756522 B CN 111756522B CN 202010598616 A CN202010598616 A CN 202010598616A CN 111756522 B CN111756522 B CN 111756522B
Authority
CN
China
Prior art keywords
data
analyzed
generating
analysis request
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010598616.9A
Other languages
English (en)
Other versions
CN111756522A (zh
Inventor
陈文端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202010598616.9A priority Critical patent/CN111756522B/zh
Publication of CN111756522A publication Critical patent/CN111756522A/zh
Application granted granted Critical
Publication of CN111756522B publication Critical patent/CN111756522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Storage Device Security (AREA)

Abstract

本发明实施例提供一种数据处理方法，包括接收客户终端发送的数据分析请求指令，解析数据分析请求指令，获取待分析数据；根据预配置的敏感信息标签，识别待分析数据中的敏感信息，生成待分析数据中的敏感字段；根据数据分析请求指令生成随机秘钥；基于随机秘钥和加密算法对敏感字段加密，生成加密后的密文；根据加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送查询数据至客户终端，以使查询数据展示在客户终端的显示界面上。本发明实施例提供数据处理系统。本发明实施例中的敏感字段的秘钥是随机生成的，加密效果较好，数据传输的安全性较好；敏感信息与加密数据的关联分析效果较好。

Description

数据处理方法及系统
技术领域
本发明实施例涉及大数据领域，尤其涉及一种数据处理方法及系统。
背景技术
随着互联网的快速发展，个人信息、重要信息的保密与安全越来越受到人们的重视。对于存储有客户的各种敏感信息的企业来说，敏感信息的加密处理尤为重要。因此，这些企业在响应用户的数据分析通常都不以明文提供数据的，都需要对敏感信息进行相应的加密处理。
本申请的发明人在研究中发现，目前常用的加密处理方法有如下两种：第一种：将用户待查询的数据中的敏感信息部分以*号代替，比如企业提供的手机号在用户端显示为130****1234，这种方案的缺陷是两个手机号前三位和后三位相同时，只对上述两个手机号中间四位的手机号进行加密，加密之后的两个手机号对应的密文信息可能是一样的，无法使用上述两个手机号对两份不同的数据进行关联分析。第二种：使用固定的秘钥加密之后，生成相应的密文信息提供给用户，这种方案的缺陷是固定的秘钥泄露的风险很高，一旦秘钥被泄露会造成大量客户的敏感信息泄露，所有加密的信息都可以被破解，极容易给企业和用户带来巨大的损失。尤其是存储于区块链上的用户真实身份信息等敏感信息采用上述加密方法进行加密，容易造成区块链敏感信息传输的安全性问题。
综上，现有的对敏感数据加密处理方法，敏感信息与加密数据的关联分析效果较差，加密效果较差。
发明内容
有鉴于此，本发明实施例提供了一种数据处理方法、系统、计算机设备及计算机可读存储介质，用于解决现有的对敏感数据加密处理方法，敏感信息与加密数据的关联分析效果较差，加密效果较差的问题。
本发明实施例是通过下述技术方案来解决上述技术问题：
一种数据处理方法，包括：
接收客户终端发送的数据分析请求指令，解析所述数据分析请求指令，获取待分析数据；
根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段；
根据所述数据分析请求指令生成随机秘钥；
基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文；
根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上。
进一步地，所述根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段包括：
对所述待分析数据进行分词处理生成多个待分析的分词字段，并对所述待分析数据进行分类，生成数据类别；
查找与所述数据类别获取具有映射关系的敏感信息标签；
将所述敏感信息标签对应的样本数据与所述待分析的分词字段进行匹配，得到匹配值；
当所述匹配值大于预设阈值时，将所述待分析的分词字段定义为敏感字段，并获取与所述敏感字段匹配的敏感信息标签。
进一步地，所述根据所述数据分析请求指令生成随机秘钥包括：
获取所述数据分析请求指令中的时间戳和客户终端服务器地址数据、处理所述数据分析请求指令的线程编号的哈希码数据以及随机生成的定长随机数；
基于所述时间戳、客户终端服务器地址数据、线程编号的哈希码数据和定长随机数生成初始秘钥；
对所述初始秘钥执行补码运算生成随机秘钥。
进一步地，所述基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文包括：
对所述敏感字段附加填充位和长度值生成预处理数据；
将所述预处理数据分块，得到多个工作区块；
通过哈希函数对所述多个工作区块进行多次迭代生成报文摘要数据；
通过随机秘钥对所述报文摘要数据加密生成加密后的密文。
进一步地，所述分析所述数据分析请求指令，获取待分析数据包括：
获取所述数据分析请求指令中的至少一个参数；
解析所述至少一个参数以得到查询指令；
基于所述查询指令，获取待分析数据。
进一步地，所述根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端之后还包括：
接收指示所述客户终端接收查询数据正常的反馈指令；
基于所述反馈指令生成秘钥清除指令，基于所述秘钥清除指令清除所述随机秘钥。
进一步地，当待分析数据存储于区块链时，所述解析所述数据分析请求指令，获取待分析数据包括：
基于所述数据分析请求指令获取所述区块链中存储有待分析数据的区块的区块信息，其中，所述区块信息包括待分析数据、第一哈希值和第二哈希值；
所述根据所述数据分析请求指令生成随机秘钥包括：
获取所述数据分析请求指令中的时间戳和客户终端服务器地址数据、处理所述数据分析请求指令的线程编号的哈希码数据以及随机生成的定长随机数；
基于所述区块的第一哈希值、第二哈希值、时间戳、客户终端服务器地址数据、线程编号的哈希码数据、定长随机数生成初始秘钥；
对所述初始秘钥执行补码运算生成随机秘钥。
为了实现上述目的，本发明实施例还提供一种数据处理系统，包括：
获取模块，用于接收客户终端发送的数据分析请求指令，解析所述数据分析请求指令，获取待分析数据；
敏感字段识别模块，用于根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段；
秘钥生成模块，用于根据所述数据分析请求指令生成随机秘钥；
密文生成模块，用于基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文；
输出模块，用于根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上。
为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述数据处理方法的步骤。
为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的数据处理方法的步骤。
本发明实施例提供的数据处理方法、系统、计算机设备及计算机可读存储介质，根据数据分析请求指令，获取待分析数据中的敏感字段；根据所述数据分析请求指令生成随机秘钥；并基于所述随机秘钥和加密算法对所述敏感字段加密，以得到加密后的密文；再将加密后的密文和待分析数据中的非敏感字段生成查询数据展示给客户终端的用户；其中，敏感字段的秘钥是随机生成的，加密效果较好，数据传输的安全性较好；敏感信息与加密数据的关联分析效果较好。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明实施例一之数据处理方法的步骤流程图；
图2为本发明实施例一之数据处理方法中获取待分析数据的步骤流程图；
图3为本发明实施例一之数据处理方法中元数据库的构建的步骤流程图；
图4为本发明实施例一之数据处理方法中获取待分析数据中的敏感字段的步骤流程图；
图5为本发明实施例一之数据处理方法中生成随机秘钥的步骤流程图；
图6为本发明实施例一之数据处理方法中得到加密后的密文的步骤流程图；
图7为本发明实施例二之数据处理方法的步骤流程图；
图8为本发明实施例二之数据处理方法中生成随机秘钥的步骤流程图；
图9为本发明实施例三之数据处理系统的程序模块示意图；
图10为本发明实施例四之计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
请参阅图1，示出了本发明实施例之数据处理方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
如图1所示，所述数据处理方法可以包括步骤S100～S140，其中：
步骤S100，接收客户终端发送的数据分析请求指令，解析所述数据分析请求指令，获取待分析数据。
在示例性的实施例中，所述待分析数据包括：包含敏感信息的数据以及不包含敏感信息的数据。其中，“敏感信息”是指其丢失、不当使用或未经授权被人接触或修改会不利于国家利益或联邦政府计划的实行或不利于个人依法享有的个人隐私权的所有信息。本提案中的敏感信息可以为关于个人的敏感信息，即个人敏感信息。示例性的，个人敏感信息包括但不限于：姓名、身份证号码、银行账号、银行卡磁条、IC卡信息、手机号、详细居住地址、车架号等等。
示例性的，请参阅图2，步骤S100还可以进一步包括：
步骤S101，获取所述数据分析请求指令中的至少一个参数。
步骤S102，解析所述至少一个参数以得到查询指令。
步骤S103，基于所述查询指令，获取待分析数据。
在示例性的实施例中，参数包括但不限于：姓名中的姓氏、地址中的特殊字符(如省、市、区、县、乡、街道、小区、栋、号、路等)、手机号码(连续11位数字、以特殊数字开头：如134～139、147、150～153、159、186、188、189等等)。
步骤S110，根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段。
在示例性的实施例中，请参阅图3，所述方法还包括构建元数据库，具体构建过程包括如下步骤S150～S153：
步骤S150，获取多个样本数据，并根据样本数据的类型将样本数据初步存储在元数据库的分类表中。
步骤S151，对所述分类表中的所有样本数据进行识别，标识出多个样本数据中的敏感信息字段。
比如身份证号码、手机号、银行账号、车架号等等。
步骤S152，给敏感信息字段打上对应的预配置的敏感信息标签。
比如身份证敏感标识标签、手机号敏感标识标签、银行账号敏感标识标签、车架号敏感标识标签等。
步骤S153，根据所述样本数据的类型以及样本数据对应的敏感信息标签，生成每个数据对应的敏感信息等级。
具体的，敏感信息等级包括：非敏感等级、低敏感等级、中敏感等级、高敏感等级。例如：姓名、住址为低敏感等级的样本数据；手机号为中敏感等级的样本数据；身份证号码、银行账号、银行卡磁条、IC卡信息等为高敏感等级的样本数据。
在示例性的实施例中，如图4所示，步骤S110还可以进一步包括：
步骤S111，对所述待分析数据进行分词处理，生成多个待分析的分词字段，并对所述待分析数据进行分类，生成数据类别。
步骤S112，查找与所述数据类别具有映射关系的敏感信息标签。
步骤S113，将所述敏感信息标签对应的样本数据与所述待分析的分词字段进行匹配，得到匹配值。
其中，样本数据存储于元数据库中。
步骤S114，当所述匹配值大于预设阈值时，将所述待分析的分词字段定义为敏感字段，并获取与所述敏感字段匹配的敏感信息标签。
在示例性的实施例中，例如待分析数据为“手机号码：13012341234”，对应的待分析字段可以为“手机”、“号码”、“130”、“1234”、“130123”、“13012341234”等。将“手机号码：13012341234”进行分类，分类至“手机号码”的数据类别下，获取手机号码对应的手机号敏感标识标签，对“130”、“1234”、“1234”、“13012341234”等待分析字段进行匹配，以得到相应的匹配值。预设阈值可以设置为90％，当所有分析字段的匹配值均大于90％时，将“手机号码：13012341234”中的“13012341234”定义为敏感字段，并打上手机号敏感标识标签。其中，预设阈值可以根据实际的数据需求进行设置。
步骤S120根据所述数据分析请求指令生成随机秘钥。
在示例性的实施例中，请参阅图5，步骤S120还可以进一步包括：
步骤S121，获取所述数据分析请求指令中的时间戳和客户终端服务器地址数据、处理所述数据分析请求指令的线程编号的哈希码数据以及随机生成的定长随机数。
具体的，所述数据分析请求指令包括发送所述数据分析请求指令的时间戳、发送所述数据分析请求指令的所述客户终端对应的服务器地址数据。其中，服务器地址数据即是服务器IP，是由四组数字组成的，每组数字间用“.”分割，例如：123.100.10.100。
具体的，线程编号即是处理该数据分析请求指令的线程ID数据，线程相当于一个执行单元，可以理解为处理相应的指令的执行单元，线程ID是用来标记线程的，线程ID对于该线程来说是唯一标识符，每个开启的线程都由计算机设备分配一个唯一的编号，以使当前开启的线程与其他线程区分开。线程编号的哈希码数据即是处理所述数据分析请求指令的当前线程ID数据的hashcode(哈希码)数据。示例性的获取线程编号的哈希码数据后10位。
示例性的，所述当前线程ID数据的hashcode数据是通过哈希函数将所述当前线程ID数据转换成一个整数。获取所述当前线程ID数据的hashcode数据的后10位，可以理解为获取所述整数的后10位。
具体的，定长随机数可以为6位定长随机数。
具体的，所述随机秘钥为唯一定长的秘钥，且所述随机秘钥只保存在计算机设备中的大数据分析平台的应用服务器的内存中。
步骤S122，基于所述时间戳、客户终端服务器地址数据、线程编号的哈希码数据和定长随机数生成初始秘钥。
步骤S123，对所述初始秘钥执行补码运算生成随机秘钥。
示例性的，补码运算可以理解为：对所述初始秘钥进行二进制的原始表示，可以将二进制的各个位全部左移指定位数，左边的丢弃，右边位补0；也可以将二进制的各个位全部右移指定位数，左边移空高位正数补0，负数补1，右边丢弃，补码运算后的二进制数为随机秘钥。
步骤S130，基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文。
在示例性的实施例中，如图6所示，使用SHA(安全哈希)算法和随机秘钥对所述敏感字段进行加密处理，以SHA-2算法中的SHA-256算法为例，将一段明文，以一种不可逆的方式将该明文转换成一段密文。具体步骤如下：
步骤S131，对所述敏感字段附加填充位和长度值生成预处理数据。
步骤S132，将所述预处理数据分块，得到多个工作区块。
步骤S133，通过哈希函数对所述多个工作区块进行多次迭代生成报文摘要数据。
步骤S134，通过随机秘钥对所述报文摘要数据加密生成加密后的密文。
在示例性的实施例中，对敏感字段进行附加填充位、附加长度值、初始化缓存、多次迭代等操作生成报文摘要数据可以理解为是将敏感字段按照512位进行分块，输出的是一个256位的报文摘要数据。
步骤S140，根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上。
在示例性的实施例中，将加密后的密文与和待分析数据中的非敏感字段重新组合，生成查询数据，再基于所述查询数据生成报表数据，将所述报表数据展示在所述客户终端的显示界面上。其中，该查询数据即用户看到的敏感字段经过加密处理后的密文数据。
在示例性的实施例中，所述方法还包括：根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端之后，接收指示所述客户终端接收查询数据正常的反馈指令；基于所述反馈指令生成秘钥清除指令，基于所述秘钥清除指令清除所述随机秘钥。
在示例性的实施例中，当计算机设备对所述数据分析请求指令响应完毕后，即将查询数据发送至客户终端之后，接收到由客户终端发送的反馈指令，所述反馈指令用于指示客户终端正常接收到了计算机设备发送的查询数据；计算机设备根据反馈指令生成秘钥清除指令，在大数据分析平台的应用服务器的内存中清除该随机秘钥，该随机秘钥不会再以后的任何用户的任务请求中再使用。
在示例性的实施例中，在同一次数据分析请求中对于同一个明文中的敏感信息对应的密文数据是相同的，如果需要对同一个明文进行关联分析的时候，直接使用同一个密文数据进行关联分析即可。同一次数据分析请求中不同明文对应的密文数据不相同，因此不会出现不同明文的敏感信息均用“*”代替，而造成不同明文数据无法进行关联分析的问题。
示例性的，对于同一个明文的不同请求，由于当前时间不同，不同时间加密出来的密文也不相同。
本发明实施例根据数据分析请求指令，获取待分析数据中的敏感字段；根据所述数据分析请求指令生成随机秘钥；并基于所述随机秘钥和加密算法对所述敏感字段加密，以得到加密后的密文；再将加密后的密文和待分析数据中的非敏感字段生成查询数据展示给客户终端的用户；其中，敏感字段的秘钥是随机生成的，加密效果较好，数据传输的安全性较好；敏感信息与加密数据的关联分析效果较好。
实施例二
请参阅图7，示出了本发明实施例之数据处理方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
如图7所示，本发明实施例的数据处理方法包括步骤S200～S240，其中：
步骤S200，接收客户终端发送的数据分析请求指令，根据所述数据分析请求指令获取所述区块链中存储有待分析数据的区块的区块信息，其中，所述区块信息包括待分析数据、第一哈希值以及第二哈希值。
步骤S210，根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段。
步骤S220，根据所述数据分析请求指令、第一哈希值以及第二哈希值生成随机秘钥。
在示例性的实施例中，请参阅图8，步骤S220还可以进一步包括：
步骤S221，获取所述数据分析请求指令中的时间戳和客户终端服务器地址数据、处理所述数据分析请求指令的线程编号的哈希码数据以及随机生成的定长随机数。
步骤S222，基于所述区块的第一哈希值、第二哈希值、时间戳、客户终端服务器地址数据、线程编号的哈希码数据和定长随机数生成初始秘钥。
步骤S223，对所述初始秘钥执行补码运算生成随机秘钥。
步骤S230，基于所述随机秘钥和加密算法对所述敏感字段加密生成加密后的密文。
步骤S240，根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
实施例三
请继续参阅图9，示出了本发明数据处理系统的程序模块示意图。在本实施例中，数据处理系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述数据处理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述数据处理系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
获取模块300，用于接收客户终端发送的数据分析请求指令，解析所述数据分析请求指令，获取待分析数据；
敏感字段识别模块310，用于根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段；
秘钥生成模块320，用于根据所述数据分析请求指令生成随机秘钥；
密文生成模块330，用于基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文；
输出模块340，用于根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上。
实施例四
参阅图10，是本发明实施例四之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图10所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据处理系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如上述实施例的数据处理系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行数据处理系统20，以实现上述实施例的数据处理方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图10仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述数据处理系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图9示出了所述实现数据处理系统20实施例三的程序模块示意图，该实施例中，所述基于数据处理系统20可以被划分为获取模块300、敏感字段识别模块310、秘钥生成模块320、密文生成模块330以及输出模模块340。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述数据处理系统20在所述计算机设备2中的执行过程。所述程序模块300-340的具体功能在实施例三中已有详细描述，在此不再赘述。
实施例五
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储数据处理系统20，被处理器执行时实现上述实施例的数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据处理方法，其特征在于，包括：
接收客户终端发送的数据分析请求指令，解析所述数据分析请求指令，获取待分析数据；
根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段；
根据所述数据分析请求指令生成随机秘钥；
基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文；
根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上；
其中，所述根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端之后还包括：
接收指示所述客户终端接收查询数据正常的反馈指令；
基于所述反馈指令生成秘钥清除指令，基于所述秘钥清除指令清除所述随机秘钥。
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段包括：
对所述待分析数据进行分词处理生成多个待分析的分词字段，并对所述待分析数据进行分类生成数据类别；
查找与所述数据类别具有映射关系的敏感信息标签；
将所述敏感信息标签对应的样本数据与所述待分析的分词字段进行匹配，得到匹配值；
当所述匹配值大于预设阈值时，将所述待分析的分词字段定义为敏感字段，并获取与所述敏感字段匹配的敏感信息标签。
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述数据分析请求指令生成随机秘钥包括：
获取所述数据分析请求指令中的时间戳和客户终端服务器地址数据、处理所述数据分析请求指令的线程编号的哈希码数据以及随机生成的定长随机数；
基于所述时间戳、客户终端服务器地址数据、线程编号的哈希码数据和定长随机数生成初始秘钥；
对所述初始秘钥执行补码运算生成随机秘钥。
4.根据权利要求3所述的数据处理方法，其特征在于，所述基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文包括：
对所述敏感字段附加填充位和长度值生成预处理数据；
将所述预处理数据分块，得到多个工作区块；
通过哈希函数对所述多个工作区块进行多次迭代生成报文摘要数据；
通过随机秘钥对所述报文摘要数据加密生成加密后的密文。
5.根据权利要求1所述的数据处理方法，其特征在于，所述分析所述数据分析请求指令，获取待分析数据包括：
获取所述数据分析请求指令中的至少一个参数；
解析所述至少一个参数以得到查询指令；
基于所述查询指令，获取待分析数据。
6.根据权利要求1所述的数据处理方法，其特征在于，当待分析数据存储于区块链时，所述解析所述数据分析请求指令，获取待分析数据包括：
基于所述数据分析请求指令获取所述区块链中存储有待分析数据的区块的区块信息，其中，所述区块信息包括待分析数据、第一哈希值和第二哈希值；
所述根据所述数据分析请求指令生成随机秘钥包括：
获取所述数据分析请求指令中的时间戳和客户终端服务器地址数据、处理所述数据分析请求指令的线程编号的哈希码数据以及随机生成的定长随机数；
基于所述区块的第一哈希值、第二哈希值、时间戳、客户终端服务器地址数据、线程编号的哈希码数据、定长随机数生成初始秘钥；
对所述初始秘钥执行补码运算生成随机秘钥。
7.一种数据处理系统，其特征在于，包括：
获取模块，用于接收客户终端发送的数据分析请求指令，解析所述数据分析请求指令，获取待分析数据；
敏感字段识别模块，用于根据预配置的敏感信息标签，识别所述待分析数据中的敏感信息，生成待分析数据中的敏感字段；
秘钥生成模块，用于根据所述数据分析请求指令生成随机秘钥；
密文生成模块，用于基于所述随机秘钥和加密算法对所述敏感字段加密，生成加密后的密文；
输出模块，用于根据所述加密后的密文和待分析数据中的非敏感字段生成查询数据，并发送所述查询数据至所述客户终端，以使所述查询数据展示在所述客户终端的显示界面上；
其中，所述输出模块，还用于接收指示所述客户终端接收查询数据正常的反馈指令；基于所述反馈指令生成秘钥清除指令，基于所述秘钥清除指令清除所述随机秘钥。
8.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的数据处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至6中任一项所述的数据处理方法的步骤。
CN202010598616.9A 2020-06-28 2020-06-28 数据处理方法及系统 Active CN111756522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010598616.9A CN111756522B (zh) 2020-06-28 2020-06-28 数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598616.9A CN111756522B (zh) 2020-06-28 2020-06-28 数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN111756522A CN111756522A (zh) 2020-10-09
CN111756522B true CN111756522B (zh) 2023-06-23

Family

ID=72677618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010598616.9A Active CN111756522B (zh) 2020-06-28 2020-06-28 数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN111756522B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511514A (zh) * 2020-11-19 2021-03-16 平安普惠企业管理有限公司 一种http加密传输方法、装置、计算机设备及存储介质
CN112487444A (zh) * 2020-11-25 2021-03-12 远光软件股份有限公司 基于数据库的数据加密方法、装置、存储介质及电子设备
CN113352318B (zh) * 2021-04-29 2022-06-24 国网浙江省电力有限公司嘉兴供电公司 一种智能机器人通信链路自检选择方法
CN113411328B (zh) * 2021-06-17 2023-03-24 国网福建省电力有限公司信息通信分公司 一种基于数据预辨识敏感数据高效传输系统
CN113449041A (zh) * 2021-07-14 2021-09-28 中国银行股份有限公司 基于区块链的指令配置方法及装置
CN113992359A (zh) * 2021-09-30 2022-01-28 上海数禾信息科技有限公司 用户信息的加密控制方法、装置、计算机设备和存储介质
CN114500478B (zh) * 2021-12-24 2024-05-17 奇安信科技集团股份有限公司 软件分发方法、装置和电子设备
CN114500093B (zh) * 2022-02-24 2024-06-11 中国工商银行股份有限公司 报文信息的安全交互方法及系统
CN115150193A (zh) * 2022-08-08 2022-10-04 上海中通吉网络技术有限公司 一种数据传输中敏感信息加密方法、系统和可读存储介质
CN115941600B (zh) * 2023-03-14 2023-05-26 鹏城实验室 报文分流方法、系统与计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241517A (zh) * 2018-02-23 2018-07-03 武汉斗鱼网络科技有限公司 一种软件升级方法、客户端及电子设备
CN110635898A (zh) * 2019-08-30 2019-12-31 深圳壹账通智能科技有限公司 加密方法及加密系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135948B2 (en) * 2006-01-27 2012-03-13 Imperva, Inc. Method and system for transparently encrypting sensitive information
CN108009440B (zh) * 2017-11-23 2020-05-22 重庆金融资产交易所有限责任公司 数据存储方法、查询方法、装置、存储介质和计算机设备
CN109992986B (zh) * 2017-12-29 2021-05-11 中国移动通信集团上海有限公司 一种敏感数据的脱敏处理方法及装置
CN109033855B (zh) * 2018-07-18 2020-02-11 腾讯科技（深圳）有限公司 一种基于区块链的数据传输方法、装置及存储介质
CN109271798A (zh) * 2018-09-13 2019-01-25 深圳萨摩耶互联网金融服务有限公司 敏感数据处理方法及系统
CN109450633B (zh) * 2018-09-25 2022-10-21 平安科技（深圳）有限公司 信息加密发送方法及装置、电子设备、存储介质
CN109614816B (zh) * 2018-11-19 2024-05-07 平安科技（深圳）有限公司 数据脱敏方法、装置及存储介质
CN109933995B (zh) * 2019-01-31 2023-04-07 广州中国科学院软件应用技术研究所 一种基于云服务及区块链的用户敏感数据保护及系统
CN111104691A (zh) * 2019-11-28 2020-05-05 贝壳技术有限公司 敏感信息的处理方法、装置、存储介质及设备
CN111107066A (zh) * 2019-12-06 2020-05-05 中国联合网络通信集团有限公司 敏感数据的传输方法和系统、电子设备、存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241517A (zh) * 2018-02-23 2018-07-03 武汉斗鱼网络科技有限公司 一种软件升级方法、客户端及电子设备
CN110635898A (zh) * 2019-08-30 2019-12-31 深圳壹账通智能科技有限公司 加密方法及加密系统

Also Published As

Publication number Publication date
CN111756522A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111756522B (zh) 数据处理方法及系统
CN114218322B (zh) 基于密文传输的数据展示方法、装置、设备及介质
CN110336786B (zh) 消息发送方法、装置、计算机设备和存储介质
CN113420049B (zh) 数据流通方法、装置、电子设备及存储介质
CN115238286A (zh) 一种数据防护方法、装置、计算机设备及存储介质
CN111859431A (zh) 电子文件签章方法、装置、电子设备及存储介质
CN111639355B (zh) 一种数据安全管理方法和系统
CN115884110B (zh) 短信验证码的判断方法及系统
CN116090024B (zh) 一种数据的可靠存储装置、系统及方法
CN115276969A (zh) 无线信道密钥生成方法、装置、计算机设备和存储介质
CN114500093A (zh) 报文信息的安全交互方法及系统
CN112734050A (zh) 文本模型的训练方法、识别方法、装置、设备及存储介质
CN117313158A (zh) 数据处理方法和装置
CN111881480A (zh) 隐私数据加密方法、装置、计算机设备及存储介质
CN117478439B (zh) 一种网络与信息安全加密系统及方法
CN114626079A (zh) 基于用户权限的文件查看方法、装置、设备及存储介质
CN117527409B (zh) 数据加密的方法、个人网关设备端及数据加密系统
CN114049089A (zh) 一种构建政务大数据平台的方法及系统
CN116450745B (zh) 基于多设备的笔记文件操作方法、系统和可读存储介质
CN116089541B (zh) 一种海量不动产登记数据异常识别方法
CN110930193B (zh) 广告转化率评估方法、装置、计算机设备和存储介质
CN116702103A (zh) 数据库水印处理方法、数据库水印溯源方法及装置
CN116579798A (zh) 基于数据增强的用户画像构建方法、装置、设备及介质
CN114500580B (zh) 一种基于区块链的分布式存储系统及方法
CN115643090A (zh) 基于隐私检索的纵向联邦分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant