CN116432243A - 一种线上商城的数据脱敏方法、装置、设备及存储介质 - Google Patents
一种线上商城的数据脱敏方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116432243A CN116432243A CN202310706268.6A CN202310706268A CN116432243A CN 116432243 A CN116432243 A CN 116432243A CN 202310706268 A CN202310706268 A CN 202310706268A CN 116432243 A CN116432243 A CN 116432243A
- Authority
- CN
- China
- Prior art keywords
- data
- desensitization
- attribute content
- content data
- membership
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000002427 irreversible effect Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种线上商城的数据脱敏方法、装置、设备及存储介质，涉及数据处理技术领域，包括：获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；初始交易订单表包括m个订单属性和m条属性内容数据；基于每个订单属性对初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段；根据对应用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；根据对应隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种线上商城的数据脱敏方法、装置、设备及存储介质。
背景技术
当前，随着生活水平的不断提高以及线上平台的不断完善，并且由于线上服务的便利性和及时性等，越来越多的人倾向于通过线上商城进行信息资讯获取或者是商品购买，然而现有的线上电商平台防攻击性能较弱，一旦遭到入侵，容易泄露或篡改交易过程中交易订单信息，给用户和平台方都带来较大损失，此外现有线上电商平台存在多用户主体，由于多用户主体的管理复杂性，也易提高交易订单信息中隐私信息的泄露风险性。
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的替代、混洗、数值变换、加密、遮挡、空值插入和删除等，以实现敏感隐私数据的可靠保护，相较于数据加密，其更加方便，且能尽可能地保留数据的有用性。
目前，现有的数据脱敏方法大多针对单一使用场景进行设计实现，未考虑多用户主体场景下的数据安全性和可实现性，例如授权公告号为CN110532805B的中国专利公开了一种数据脱敏方法及装置，其虽然通过对特征分词之外的分词进行加密处理，实现了数据记录的安全保障，但此类数据脱敏方法无法根据不同用户类型对交易订单信息中不同类型的数据进行不同范围的数据脱敏，从而导致在多用户视角下，无法在保障数据高可用的情况下同时提高数据的高安全性，从而难以避免或降低交易订单中隐私数据的泄露。
鉴于此，本发明提出一种线上商城的数据脱敏方法、装置、设备及存储介质以解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出一种线上商城的数据脱敏方法、装置、设备及存储介质。
为了实现上述目的，本发明采用了如下技术方案：
一种线上商城的数据脱敏方法，所述方法应用于数据分析处理设备，所述方法包括：
获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；所述初始交易订单表包括m个订单属性和m条属性内容数据，m∈N＊，N＊为正整数集合；
基于每个所述订单属性对所述初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段，n∈N＊；
根据对应所述用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；所述预构建模型库包括至少一种隶属权重模型；
根据对应所述隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；
根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈。
进一步地，基于每个所述订单属性对所述初始交易订单表进行分词处理，包括：
根据订单属性链接到属性内容数据，并判断所述属性内容数据的数据类型，所述数据类型包括数值型和文本型；
基于数值型的分词方法针对数值型的属性内容数据进行分词处理；
基于文本型的分词方法针对文本型的属性内容数据进行分词处理。
进一步地，所述隶属权重模型的生成过程如下：
获取若干份分词后的交易订单表，并提取每份分词后的交易订单中每条属性内容数据的每个数据字段；
根据用户类型针对每个数据字段进行权重标注；
将权重标注后的若干份分词后的交易订单表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到隶属权重模型。
进一步地，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，包括：
接收每条属性内容数据中每个数据字段的隶属权重；
判断每个数据字段的隶属权重是否大于预设权重阈值，若某个数据字段的隶属权重大于预设权重阈值，则对对应数据字段进行数据脱敏；
重复上述步骤，直至大于预设权重阈值的每个订单属性中每条属性内容数据的每个数据字段被数据脱敏，则停止循环，得到脱敏交易订单表。
进一步地，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，还包括：
获取脱敏交易订单表；
计算脱敏数据与非脱敏数据在对应属性内容数据中的字符字序；
判断所述字符字序是否等于预设标准字符字序，若所述字符字序不等于预设标准字符字序，则针对对应属性内容数据进行脱敏校正，得到校正后的脱敏交易订单表。
一种线上商城的数据脱敏装置，包括：
数据获取模块，用于获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；所述初始交易订单表包括m个订单属性和m条属性内容数据，m∈N＊，N＊为正整数集合；
分词处理模块，用于基于每个所述订单属性对所述初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段，n∈N＊；
模型匹配模块，用于根据对应所述用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；所述预构建模型库包括至少一种隶属权重模型；
权重提取模块，用于根据对应所述隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；
脱敏反馈模块，用于根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈。
进一步地，基于每个所述订单属性对所述初始交易订单表进行分词处理，包括：
根据订单属性链接到属性内容数据，并判断所述属性内容数据的数据类型，所述数据类型包括数值型和文本型；
基于数值型的分词方法针对数值型的属性内容数据进行分词处理；
基于文本型的分词方法针对文本型的属性内容数据进行分词处理。
进一步地，所述隶属权重模型的生成过程如下：
获取若干份分词后的交易订单表，并提取每份分词后的交易订单中每条属性内容数据的每个数据字段；
根据用户类型针对每个数据字段进行权重标注；
将权重标注后的若干份分词后的交易订单表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到隶属权重模型。
进一步地，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，包括：
接收每条属性内容数据中每个数据字段的隶属权重；
判断每个数据字段的隶属权重是否大于预设权重阈值，若某个数据字段的隶属权重大于预设权重阈值，则对对应数据字段进行数据脱敏；
重复上述步骤，直至大于预设权重阈值的每个订单属性中每条属性内容数据的每个数据字段被数据脱敏，则停止循环，得到脱敏交易订单表。
进一步地，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，还包括：
获取脱敏交易订单表；
计算脱敏数据与非脱敏数据在对应属性内容数据中的字符字序；
判断所述字符字序是否等于预设标准字符字序，若所述字符字序不等于预设标准字符字序，则针对对应属性内容数据进行脱敏校正，得到校正后的脱敏交易订单表。
一种数据分析处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述线上商城的数据脱敏方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述线上商城的数据脱敏方法。
相比于现有技术，本发明的有益效果在于：
本申请公开了一种线上商城的数据脱敏方法、装置、设备及存储介质，通过获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；基于每个订单属性对初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段；根据对应用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；根据对应隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈，本发明能够根据不同用户类型对交易订单信息中不同类型的数据进行不同范围的数据脱敏，有利于在多用户视角下，实现在保障数据高可用的同时提高数据的高安全性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的一种线上商城的数据脱敏方法的整体流程图；
图2为本发明提出的一种线上商城的数据脱敏装置的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一
请参阅图1所示，本实施例公开提供了一种线上商城的数据脱敏方法，所述方法应用于数据分析处理设备，所述方法包括：
S1：获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；所述初始交易订单表包括m个订单属性和m条属性内容数据，m∈N＊，N＊为正整数集合；
需要说明的是：m个订单属性与m条属性内容数据一一对应，所述订单属性包括但不限于账号、姓名、联系电话、地址、订单编号和商品名称等等，其详情可参照下表1，还需要说明的是，所述订单属性的设定取决于所应用的线上商城的要求和标准，在此本发明不做过多赘述；
表1：初始交易订单表
需要说明的是：上述表格中的信息只是为了方便理解而作出的假设性举例，其并非实际交易订单，且其中的具体信息也并非真实数据，仅供理解参考，实际交易订单可能会包括更多或不同的细节，这具体取决于所应用的线上商城的要求和标准，在此本发明不做过多赘述；
还需要说明的是：所述用户类型包括但不限于超级管理员、一般管理员、仓库管理员、运营管理员、财务管理员、快递员、注册用户、游客用户和入侵访问者；
需要了解的是：超级管理员具备对所有交易订单中所有信息的查看权；注册用户只具备对自身交易订单中所有信息的查看权；而一般管理员、仓库管理员、运营管理员、财务管理员、快递员和游客用户只具备对交易订单中部分信息的查看权，且向不同用户类型所展示的部分信息均存在不同；
S2：基于每个所述订单属性对所述初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段，n∈N＊；
具体地，基于每个所述订单属性对所述初始交易订单表进行分词处理，包括：
根据订单属性链接到属性内容数据，并判断所述属性内容数据的数据类型，所述数据类型包括数值型和文本型；
基于数值型的分词方法针对数值型的属性内容数据进行分词处理；
具体地，所述数值型的分词方法为引入智能识别的固定位数分割法；
需要说明的是：所述引入智能识别的固定位数分割法是指通过智能模型获取数值型的属性内容数据字符长度，再根据不同类型数据值的预设固定位数，结合固定位数分割法对所述数值型的属性内容数据进行分割，例如：通过智能模型识别得到一份联系电话为18008888888（示例性，非真实电话号码），根据电话类型数据值的预设固定位数，将其划分为1800-888-8888（示例性，非真实电话号码），再例如，通过智能模型识别得到一份身份证号为440524199910152345（示例性，非真实身份证号码），根据身份证类型数据值的预设固定位数，将其划分为440524-19991015-234-5（示例性，非真实身份证号码）；还需要说明的是：所述智能模型为决策树、支持向量机、朴素贝叶斯或K近邻算法，其根据标注后数值长度训练得到；所述不同类型数据值的预设固定位数为人为设定得出；
基于文本型的分词方法针对文本型的属性内容数据进行分词处理；
需要说明的是：所述文本型的分词方法具体为基于规则的分词、基于统计的分词和基于深度学习的分词中的一种；
S3：根据对应所述用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；所述预构建模型库包括至少一种隶属权重模型；
需要说明的是：所述预构建模型库中的隶属权重模型根据用户类型确定，每一种用户类型对应着一种隶属权重模型；
具体地，所述隶属权重模型的生成过程如下：
获取若干份分词后的交易订单表，并提取每份分词后的交易订单中每条属性内容数据的每个数据字段；
根据用户类型针对每个数据字段进行权重标注；
需要说明的是：每份分词后的交易订单表中的数据字段，根据用户类型不同会被赋予多种权重，每种赋值后的权重对应于一种隶属权重模型的训练，所述每个数据字段的权重标注可以人为输入得到，也可以为多次实验得出；
将权重标注后的若干份分词后的交易订单表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到隶属权重模型；
S4：根据对应所述隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；
S5：根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈；
具体地，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，包括：
接收每条属性内容数据中每个数据字段的隶属权重；
判断每个数据字段的隶属权重是否大于预设权重阈值，若某个数据字段的隶属权重大于预设权重阈值，则对对应数据字段进行数据脱敏；
重复上述步骤，直至大于预设权重阈值的每个订单属性中每条属性内容数据的每个数据字段被数据脱敏，则停止循环，得到脱敏交易订单表；
在一个实施例中，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，还包括：
获取脱敏交易订单表；
计算脱敏数据与非脱敏数据在对应属性内容数据中的字符字序；
判断所述字符字序是否等于预设标准字符字序，若所述字符字序不等于预设标准字符字序，则针对对应属性内容数据进行脱敏校正，得到校正后的脱敏交易订单表；通过对对应属性内容数据进行脱敏校正，本发明有利于解决由于分词或隶属权重处理不当所产生的脱敏误差；
需要说明的是，为保证数据的安全性，本发明采用的是不可逆脱敏算法，任何一种不可逆脱敏算法都可作为本发明的应用对象，在此不做过多赘述；因此，在对对应属性内容数据进行脱敏校正时，会再次调取初始交易订单表；
在本实施例中，将校正后的脱敏交易订单表向用户进行查询反馈；
举例来说就是：假设需对用户的姓名“王美丽”和电话“13812345678”（示例性，非真实电话号码）进行部分数据脱敏，在通过上述隶属权重进行数据脱敏得到脱敏姓名“*美*”和脱敏电话“***1234****”时，由于权重或分词产生的错误或误差，此时部分脱敏后的数据处于不可用状态，若此时处于快递员角度，则无法获完成派送，因此，通过计算脱敏数据与非脱敏数据的字符字序，并基于预设标准字符字序进行校正，得到校正后的脱敏姓名“王*丽”和脱敏电话“138****5678”；通过对以隶属权重进行数据脱敏得到的脱敏交易订单表进行校正，本发明有利于在保障数据高可用的情况下同时提高数据的高安全性。
针对本发明进行举例说明理解就是：假设现接收快递员对上述表1订单的查询请求，通过上述处理我们得到脱敏交易订单表（见表2）；
表2：快递员角度的脱敏交易订单表
通过上述表2可知，账号、姓名、商品名称、付款金额和付款方式等信息，对于快递员而言是非必要信息，因此通过调取与快递员对应的隶属权重模型计算上述非必要信息的隶属权重，之后再判断不同隶属权重的大小，最后将大于预设权重阈值的对应数据字段进行数据脱敏，从而保证了用户订单在快递员角度的隐私性和安全性；
为了进一步促使了解本发明的发明原理，我们在上述示例的基础上作出又一举例，假设现又接收到财务管理员对上述表1订单的查询请求，通过上述处理我们得到脱敏交易订单表（见表3）
表3：财务管理员角度的脱敏交易订单表
通过上述表3可知，联系电话、邮编、地址等信息，对于财务管理员而言是非必要信息，因此通过调取与财务管理员对应的隶属权重模型计算上述非必要信息的隶属权重，之后再判断不同隶属权重的大小，最后将大于预设权重阈值的对应数据字段进行数据脱敏，从而保证了用户订单在财务管理员角度的隐私性和安全性；
结合表2和表3，我们可以知晓本发明会根据不同用户类型调取不同隶属权重模型，并根据其获取不同用户角度交易订单表中每个数据字段隶属权重，最后根据每种隶属权重实现不同用户角度的数据脱敏，因此本发明能够根据不同用户类型对交易订单信息中不同类型的数据进行不同范围的数据脱敏，有利于在多用户视角下，在保障数据高可用的同时提高数据的高安全性。
实施例二
请参阅图2所示，本实施例公开提供了一种线上商城的数据脱敏装置，包括：
数据获取模块210，用于获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；所述初始交易订单表包括m个订单属性和m条属性内容数据，m∈N＊，N＊为正整数集合；
需要说明的是：m个订单属性与m条属性内容数据一一对应，所述订单属性包括但不限于账号、姓名、联系电话、地址、订单编号和商品名称等等，其详情可参照上述表1，还需要说明的是，所述订单属性的设定取决于所应用的线上商城的要求和标准，在此本发明不做过多赘述；
还需要说明的是：所述用户类型包括但不限于超级管理员、一般管理员、仓库管理员、运营管理员、财务管理员、快递员、注册用户、游客用户和入侵访问者；
需要了解的是：超级管理员具备对所有交易订单中所有信息的查看权；注册用户只具备对自身交易订单中所有信息的查看权；而一般管理员、仓库管理员、运营管理员、财务管理员、快递员和游客用户只具备对交易订单中部分信息的查看权，且向不同用户类型所展示的部分信息均存在不同；
分词处理模块220，用于基于每个所述订单属性对所述初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段，n∈N＊；
具体地，基于每个所述订单属性对所述初始交易订单表进行分词处理，包括：
根据订单属性链接到属性内容数据，并判断所述属性内容数据的数据类型，所述数据类型包括数值型和文本型；
基于数值型的分词方法针对数值型的属性内容数据进行分词处理；
具体地，所述数值型的分词方法为引入智能识别的固定位数分割法；
需要说明的是：所述引入智能识别的固定位数分割法是指通过智能模型获取数值型的属性内容数据字符长度，再根据不同类型数据值的预设固定位数，结合固定位数分割法对所述数值型的属性内容数据进行分割，例如：通过智能模型识别得到一份联系电话为18008888888（示例性，非真实电话号码），根据电话类型数据值的预设固定位数，将其划分为1800-888-8888（示例性，非真实电话号码），再例如，通过智能模型识别得到一份身份证号为440524199910152345（示例性，非真实身份证号码），根据身份证类型数据值的预设固定位数，将其划分为440524-19991015-234-5（示例性，非真实身份证号码）；还需要说明的是：所述智能模型为决策树、支持向量机、朴素贝叶斯或K近邻算法，其根据标注后数值长度训练得到；所述不同类型数据值的预设固定位数为人为设定得出；
基于文本型的分词方法针对文本型的属性内容数据进行分词处理；
需要说明的是：所述文本型的分词方法具体为基于规则的分词、基于统计的分词和基于深度学习的分词中的一种；
模型匹配模块230，用于根据对应所述用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；所述预构建模型库包括至少一种隶属权重模型；
需要说明的是：所述预构建模型库中的隶属权重模型根据用户类型确定，每一种用户类型对应着一种隶属权重模型；
具体地，所述隶属权重模型的生成过程如下：
获取若干份分词后的交易订单表，并提取每份分词后的交易订单中每条属性内容数据的每个数据字段；
根据用户类型针对每个数据字段进行权重标注；
需要说明的是：每份分词后的交易订单表中的数据字段，根据用户类型不同会被赋予多种权重，每种赋值后的权重对应于一种隶属权重模型的训练，所述每个数据字段的权重标注可以人为输入得到，也可以为多次实验得出；
将权重标注后的若干份分词后的交易订单表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到隶属权重模型；
权重提取模块240，用于根据对应所述隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；
脱敏反馈模块250，用于根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈；
具体地，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，包括：
接收每条属性内容数据中每个数据字段的隶属权重；
判断每个数据字段的隶属权重是否大于预设权重阈值，若某个数据字段的隶属权重大于预设权重阈值，则对对应数据字段进行数据脱敏；
重复上述步骤，直至大于预设权重阈值的每个订单属性中每条属性内容数据的每个数据字段被数据脱敏，则停止循环，得到脱敏交易订单表；
在一个实施例中，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，还包括：
获取脱敏交易订单表；
计算脱敏数据与非脱敏数据在对应属性内容数据中的字符字序；
判断所述字符字序是否等于预设标准字符字序，若所述字符字序不等于预设标准字符字序，则针对对应属性内容数据进行脱敏校正，得到校正后的脱敏交易订单表；通过对对应属性内容数据进行脱敏校正本发明有利于解决由于分词或隶属权重处理不当所产生的脱敏误差；
需要说明的是，为保证数据的安全性，本发明采用的是不可逆脱敏算法，任何一种不可逆脱敏算法都可作为本发明的应用对象，在此不做过多赘述；因此，在对对应属性内容数据进行脱敏校正时，会再次调取初始交易订单表；
在本实施例中，将校正后的脱敏交易订单表向用户进行查询反馈；
举例来说就是：假设需对用户的姓名“王美丽”和电话“13812345678”（示例性，非真实电话号码）进行部分数据脱敏，在通过上述隶属权重进行数据脱敏得到脱敏姓名“*美*”和脱敏电话“***1234****”时，由于权重或分词产生的错误或误差，此时部分脱敏后的数据处于不可用状态，若此时处于快递员角度，则无法获完成派送，因此，通过计算脱敏数据与非脱敏数据的字符字序，并基于预设标准字符字序进行校正，得到校正后的脱敏姓名“王*丽”和脱敏电话“138****5678”；通过对以隶属权重进行数据脱敏得到的脱敏交易订单表进行校正，本发明有利于在保障数据高可用的情况下并提高数据的高安全性。
实施例三
本实施例提供了一种数据分析处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各方法所提供的任一项线上商城的数据脱敏方法。
实施例四
本实施例提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各方法所提供的任一项所述线上商城的数据脱敏方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (12)
1.一种线上商城的数据脱敏方法，其特征在于，所述方法应用于数据分析处理设备，所述方法包括：
获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；所述初始交易订单表包括m个订单属性和m条属性内容数据，m∈N＊，N＊为正整数集合；
基于每个所述订单属性对所述初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段，n∈N＊；
根据对应所述用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；所述预构建模型库包括至少一种隶属权重模型；
根据对应所述隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；
根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈。
2.根据权利要求1所述的一种线上商城的数据脱敏方法，其特征在于，基于每个所述订单属性对所述初始交易订单表进行分词处理，包括：
根据订单属性链接到属性内容数据，并判断所述属性内容数据的数据类型，所述数据类型包括数值型和文本型；
基于数值型的分词方法针对数值型的属性内容数据进行分词处理；
基于文本型的分词方法针对文本型的属性内容数据进行分词处理。
3.根据权利要求2所述的一种线上商城的数据脱敏方法，其特征在于，所述隶属权重模型的生成过程如下：
获取若干份分词后的交易订单表，并提取每份分词后的交易订单中每条属性内容数据的每个数据字段；
根据用户类型针对每个数据字段进行权重标注；
将权重标注后的若干份分词后的交易订单表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到隶属权重模型。
4.根据权利要求3所述的一种线上商城的数据脱敏方法，其特征在于，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，包括：
接收每条属性内容数据中每个数据字段的隶属权重；
判断每个数据字段的隶属权重是否大于预设权重阈值，若某个数据字段的隶属权重大于预设权重阈值，则对对应数据字段进行数据脱敏；
重复上述步骤，直至大于预设权重阈值的每个订单属性中每条属性内容数据的每个数据字段被数据脱敏，则停止循环，得到脱敏交易订单表。
5.根据权利要求4所述的一种线上商城的数据脱敏方法，其特征在于，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，还包括：
获取脱敏交易订单表；
计算脱敏数据与非脱敏数据在对应属性内容数据中的字符字序；
判断所述字符字序是否等于预设标准字符字序，若所述字符字序不等于预设标准字符字序，则针对对应属性内容数据进行脱敏校正，得到校正后的脱敏交易订单表。
6.一种线上商城的数据脱敏装置，其特征在于，包括：
数据获取模块，用于获取至少一种用户类型发送的查询请求，并根据查询请求调取初始交易订单表；所述初始交易订单表包括m个订单属性和m条属性内容数据，m∈N＊，N＊为正整数集合；
分词处理模块，用于基于每个所述订单属性对所述初始交易订单表进行分词处理，得到m条属性内容数据的n个数据字段，n∈N＊；
模型匹配模块，用于根据对应所述用户类型匹配搜索预构建模型库，以获取对应隶属权重模型；所述预构建模型库包括至少一种隶属权重模型；
权重提取模块，用于根据对应所述隶属权重模型提取每条属性内容数据中每个数据字段的隶属权重；
脱敏反馈模块，用于根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，得到脱敏交易订单表，并将脱敏交易订单表向用户进行查询反馈。
7.根据权利要求6所述的一种线上商城的数据脱敏装置，其特征在于，基于每个所述订单属性对所述初始交易订单表进行分词处理，包括：
根据订单属性链接到属性内容数据，并判断所述属性内容数据的数据类型，所述数据类型包括数值型和文本型；
基于数值型的分词方法针对数值型的属性内容数据进行分词处理；
基于文本型的分词方法针对文本型的属性内容数据进行分词处理。
8.根据权利要求7所述的一种线上商城的数据脱敏装置，其特征在于，所述隶属权重模型的生成过程如下：
获取若干份分词后的交易订单表，并提取每份分词后的交易订单中每条属性内容数据的每个数据字段；
根据用户类型针对每个数据字段进行权重标注；
将权重标注后的若干份分词后的交易订单表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到隶属权重模型。
9.根据权利要求8所述的一种线上商城的数据脱敏装置，其特征在于，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，包括：
接收每条属性内容数据中每个数据字段的隶属权重；
判断每个数据字段的隶属权重是否大于预设权重阈值，若某个数据字段的隶属权重大于预设权重阈值，则对对应数据字段进行数据脱敏；
重复上述步骤，直至大于预设权重阈值的每个订单属性中每条属性内容数据的每个数据字段被数据脱敏，则停止循环，得到脱敏交易订单表。
10.根据权利要求9所述的一种线上商城的数据脱敏装置，其特征在于，根据每条属性内容数据中每个数据字段的隶属权重对初始交易订单表进行数据脱敏，还包括：
获取脱敏交易订单表；
计算脱敏数据与非脱敏数据在对应属性内容数据中的字符字序；
判断所述字符字序是否等于预设标准字符字序，若所述字符字序不等于预设标准字符字序，则针对对应属性内容数据进行脱敏校正，得到校正后的脱敏交易订单表。
11.一种数据分析处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述线上商城的数据脱敏方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一项所述线上商城的数据脱敏方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310706268.6A CN116432243B (zh) | 2023-06-15 | 2023-06-15 | 一种线上商城的数据脱敏方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310706268.6A CN116432243B (zh) | 2023-06-15 | 2023-06-15 | 一种线上商城的数据脱敏方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116432243A true CN116432243A (zh) | 2023-07-14 |
| CN116432243B CN116432243B (zh) | 2023-08-25 |
Family
ID=87094748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310706268.6A Active CN116432243B (zh) | 2023-06-15 | 2023-06-15 | 一种线上商城的数据脱敏方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116432243B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108848092A (zh) * | 2018-06-20 | 2018-11-20 | 中国联合网络通信集团有限公司 | 基于调用链的微服务灰度发布的处理方法及装置 |
| CN110109998A (zh) * | 2019-05-17 | 2019-08-09 | 贵州数据宝网络科技有限公司 | 数据交易智能整合系统 |
| CN111428273A (zh) * | 2020-04-23 | 2020-07-17 | 北京中安星云软件技术有限公司 | 基于机器学习的动态脱敏方法及装置 |
| CN113127915A (zh) * | 2021-05-12 | 2021-07-16 | 平安信托有限责任公司 | 数据加密脱敏方法、装置、电子设备及存储介质 |
| WO2021212968A1 (zh) * | 2020-04-24 | 2021-10-28 | 华为技术有限公司 | 一种非结构化数据的处理方法、装置、设备及介质 |
| CN115329383A (zh) * | 2022-09-01 | 2022-11-11 | 恺恩泰(南京)科技有限公司 | 一种基于适配器模型的数据脱敏方法、系统及装置 |
| CN115422583A (zh) * | 2022-08-30 | 2022-12-02 | 广州鑫景信息科技服务有限公司 | 一种数据脱敏方法、系统、介质及计算装置 |
-
2023
- 2023-06-15 CN CN202310706268.6A patent/CN116432243B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108848092A (zh) * | 2018-06-20 | 2018-11-20 | 中国联合网络通信集团有限公司 | 基于调用链的微服务灰度发布的处理方法及装置 |
| CN110109998A (zh) * | 2019-05-17 | 2019-08-09 | 贵州数据宝网络科技有限公司 | 数据交易智能整合系统 |
| CN111428273A (zh) * | 2020-04-23 | 2020-07-17 | 北京中安星云软件技术有限公司 | 基于机器学习的动态脱敏方法及装置 |
| WO2021212968A1 (zh) * | 2020-04-24 | 2021-10-28 | 华为技术有限公司 | 一种非结构化数据的处理方法、装置、设备及介质 |
| CN113127915A (zh) * | 2021-05-12 | 2021-07-16 | 平安信托有限责任公司 | 数据加密脱敏方法、装置、电子设备及存储介质 |
| CN115422583A (zh) * | 2022-08-30 | 2022-12-02 | 广州鑫景信息科技服务有限公司 | 一种数据脱敏方法、系统、介质及计算装置 |
| CN115329383A (zh) * | 2022-09-01 | 2022-11-11 | 恺恩泰(南京)科技有限公司 | 一种基于适配器模型的数据脱敏方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116432243B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11508024B2 (en) | System and method of identity verification | |
| US11405781B2 (en) | System and method for mobile identity protection for online user authentication | |
| US10977654B2 (en) | Machine learning engine for fraud detection during cross-location online transaction processing | |
| US9235695B2 (en) | Alias-based social media identity verification | |
| US7542931B2 (en) | System and method for global automated address verification | |
| US9805182B1 (en) | Authentication using a client device and a mobile device | |
| US20160321745A1 (en) | Account binding processing method, apparatus and system | |
| US9824357B2 (en) | Focus-based challenge-response authentication | |
| US20220050893A1 (en) | Sentence based automated turing test for detecting scripted computing attacks | |
| CN109214914A (zh) | 一种基于通信开放平台的借贷信息审核方法及装置 | |
| CN106909811A (zh) | 用户标识处理的方法和装置 | |
| CN109460732A (zh) | 基于图像识别的投保信息处理方法、装置及可读存储介质 | |
| WO2021244531A1 (zh) | 一种基于人脸识别的支付方法及装置 | |
| CN110570188A (zh) | 用于处理交易请求的方法和系统 | |
| CN106470200A (zh) | 一种身份验证方法及相关装置 | |
| US20190279211A1 (en) | One-time password processing systems and methods | |
| CN111882425A (zh) | 业务数据处理方法、装置和服务器 | |
| CN116432243B (zh) | 一种线上商城的数据脱敏方法、装置、设备及存储介质 | |
| CN113947701A (zh) | 训练方法、对象识别方法、装置、电子设备以及存储介质 | |
| CN108171589A (zh) | 验证方法及装置 | |
| CN111709835A (zh) | 一种业务处理方法及系统 | |
| CN104639427B (zh) | 一种输出邮件信息的方法及装置 | |
| CN109871514B (zh) | 一种数据处理方法、装置及存储介质 | |
| CN112637241A (zh) | 客户认证系统及其认证方法 | |
| CN112446706A (zh) | 一种面向老年用户使用的电子商务联动支付方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |