CN108520183A - 一种数据存储方法及装置 - Google Patents
一种数据存储方法及装置 Download PDFInfo
- Publication number
- CN108520183A CN108520183A CN201810332374.1A CN201810332374A CN108520183A CN 108520183 A CN108520183 A CN 108520183A CN 201810332374 A CN201810332374 A CN 201810332374A CN 108520183 A CN108520183 A CN 108520183A
- Authority
- CN
- China
- Prior art keywords
- data
- key
- identification information
- encrypted
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000013500 data storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013478 data encryption standard Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001441724 Tetraodontidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Abstract
本申请提供的一种数据存储方法及装置，其中，所述方法包括接收待加密的数据并确定所述数据的访问等级；对待加密的所述数据进行加密；对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
Description
技术领域
本申请涉及数据脱敏技术领域，特别涉及一种数据存储方法及装置、计算设备及存储介质。
背景技术
目前，企业广泛采用分布式系统来存储和离线分析业务数据，而业务数据中的用户数据是最敏感和保密的，企业不仅需要防止黑客的入侵，也需要提防企业内部人员的非法操作。
一般情况下，离线数据查询框架被企业广泛应用，例如：采用Hive框架，但是Hive本身并不具备对数据的加密办法，而且由于Hive系统不直接提供加密和权限控制办法，对敏感数据的存储和使用带来诸多不便，现有技术中对Hive中权限是到表级别，但实际情况中，一个表的不同字段对不同的人的权限也是不一样的，因此无法满足企业需求。
发明内容
有鉴于此，本申请实施例提供了一种数据存储方法及装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。
本申请实施例公开了一种数据存储方法，包括：
接收待加密的数据并确定所述数据的访问等级；
对待加密的所述数据进行加密；
对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
可选地，对待加密的所述数据进行加密包括：
根据当前时间确定所述密钥的标识信息；
确定与所述密钥的标识信息对应的密钥；
基于所述密钥和与所述密钥对应的加密算法对待加密的所述数据进行加密。
可选地，根据当前时间确定所述密钥的标识信息包括：
确定当前时间对应的密钥周期；
将所述密钥周期对应的密钥标识信息确定为当前时间对应的密钥的标识信息。
可选地，所述方法还包括：
对所述密钥以及所述密钥的标识信息进行更新。
可选地，对所述密钥以及所述密钥的标识信息进行更新包括：
根据预设的更新周期对所述密钥以及所述密钥的标识信息进行更新；或者
根据接收到的更新指令对所述密钥以及所述密钥的标识信息进行更新。
可选地，所述密钥保存在密钥资源表中，所述密钥的标识信息包括所述密钥资源表的版本标识。
可选地，所述方法还包括：
接收用户的数据访问请求；
根据所述数据访问请求获取待解密的数据包以及用户的标识信息，其中，所述待解密的数据包包括待解密的数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息；
根据所述用户的标识信息确定所述用户的权限等级；
解析所述数据以获取所述数据对应的密钥的标识信息和所述数据的访问等级；
若所述用户的权限等级大于等于所述数据的访问等级，则对所述数据进行解密。
可选地，对所述数据进行解密包括：
确定与所述密钥的标识信息对应的密钥；
基于所述密钥和所述密钥对应的解密算法对所述数据进行解密。
可选地，根据所述用户的标识信息确定所述用户的权限等级包括：
所述用户的标识信息保存在用户权限资源表中，根据所述用户权限资源表确定所述用户的权限等级。
可选地，所述方法还包括：
若用户的权限等级小于所述数据的访问等级，则发出错误提示。
另一方面，本申请还提供了一种数据存储装置，包括：
接收模块，配置为接收待加密的数据并确定所述数据的访问等级；
加密模块，配置为对待加密的所述数据进行加密；
存储模块，配置为对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
可选地，所述加密模块包括：
第一确定子模块，配置为根据当前时间确定所述密钥的标识信息；
第二确定子模块，配置为确定与所述密钥的标识信息对应的密钥；
数据加密子模块，配置为基于所述密钥和与所述密钥对应的加密算法对待加密的所述数据进行加密。
可选地，所述第一确定子模块包括：
周期确定子模块，配置为确定当前时间对应的密钥周期；
第三确定子模块，配置为将所述密钥周期对应的密钥标识信息确定为当前时间对应的密钥的标识信息。
可选地，所述装置还包括：
更新模块，配置为对所述密钥以及所述密钥的标识信息进行更新。
可选地，所述装置还包括：
接收模块，配置为接收用户的数据访问请求；
获取模块，配置为根据所述数据访问请求获取待解密的数据包以及用户的标识信息，其中，所述待解密的数据包包括待解密的数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息；
权限等级确定模块，配置为根据所述用户的标识信息确定所述用户的权限等级；
解析模块，配置为解析所述数据以获取所述数据对应的密钥的标识信息和所述数据的访问等级；
解密模块，配置为若所述用户的权限等级大于等于所述数据的访问等级，则对所述数据进行解密。
可选地，所述解密模块包括：
第四确定子模块，配置为确定与所述密钥的标识信息对应的密钥；
数据解密子模块，配置为基于所述密钥和所述密钥对应的解密算法对所述数据进行解密。
另一方面，本申请还提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
接收待加密的数据并确定所述数据的访问等级；
对待加密的所述数据进行加密；
对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
另一方面，本申请还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现所述数据存储方法的步骤。
本申请提供的一种数据存储方法及装置、计算设备及存储介质，其中，所述方法包括接收待加密的数据并确定所述数据的访问等级；对待加密的所述数据进行加密；对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。本申请的数据存储方法可以预先对数据设置访问等级，实现对数据的权限管理，保障数据访问的安全性；并且可以为数据进行加密存储，实现物理存储级别无明文信息，保障了数据存储的安全性。
附图说明
图1为本申请一实施例提供的一种计算设备的结构示意图；
图2为本申请一实施例提供的一种数据存储方法的流程图；
图3为本申请一实施例提供的一种数据存储方法的流程图；
图4为本申请一实施例提供的一种数据存储方法的流程图；
图5为本申请一实施例提供的密钥管理结构图；
图6为本申请一实施例提供的一种数据存储方法的流程图；
图7-1为本申请一实施例提供的一种数据存储方法的加密过程的示意图；
图7-2为本申请一实施例提供的一种数据存储方法的解密过程的示意图；
图8为本申请一实施例提供的一种数据存储装置的结构示意图；
图9为本申请一实施例提供的一种数据存储装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
首先对本申请中涉及的技术术语做出简要说明。
UDF：User-Defined Function，用户自定义函数。用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF，一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的)，它们就将和内置的函数一样使用，甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数，每一种都会针对输入数据执行特定“一类”的转换过程。
KMC：Key Management Center，密钥管理中心。密钥管理中心(KMC)，是公钥基础设施中的一个重要组成部分，负责为CA系统提供密钥的生成、保存、备份、更新、恢复、查询等密钥服务，以解决分布式企业应用环境中大规模密码技术应用所带来的密钥管理问题。
AES：Advanced Encryption Standard，AES，高级加密标准。AES在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。AES的区块长度固定为128比特，密钥长度则可以是128，192或256比特。
MR：Map-Reduce，一种分布式计算引擎。MR不仅包含变成模型，还提供一个运行时环境，用以执行Map-Reduce程序，并行程序执行的诸多细节，如分发、合并、同步、监测等功能均交由执行框架负责。
Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Random：Random是java中的一个函数，Random函数中实现的随机算法是伪随机，也就是有规则的随机。在进行随机时，随机算法的起源数字称为种子数(seed)，在种子数的基础上进行一定的变换，从而产生需要的随机数字。
Base64：Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。
HDFS：Hadoop Distributed File System，简称HDFS，分布式文件系统。HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集(Large Data Set)的应用处理带来了很多便利。
SQL：结构化查询语言(Structured Query Language)简称SQL，SQL是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。
JAR：(Java Archive，Java归档文件)是与平台无关的文件格式，它允许将许多文件组合成一个压缩文件。
密钥资源表：存储和管理密钥的Hive表。
数据资产资源表：管理表与字段重要和敏感访问等级的表；其中，数据资产资源表需要开发人员在数据加密的时候，同步维护。
用户权限资源表：管理使用表的用户拥有的表和字段的权限等级，该权限等级与数据资产资源表的访问等级对应；其中，用户权限资源表需管理人员审核申请人员需求权限后手动配置。
在本申请中，提供了一种数据存储方法、装置、计算设备及存储介质，在下面的实施例中逐一进行详细说明。
图1是示出了本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于包括存储器110、处理器120及存储在存储器110上并可在处理器120上运行的计算机指令。
虽然图1中没有示出，但是应该知道，计算设备100还可以包括网络接口，网络接口使得计算设备100能够经由一个或多个网络通信。这些网络的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。计算设备可以通过网络接口访问页面。
在本申请的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。
其中，处理器120可以执行图2所示方法中的步骤。图2是示出了根据本申请一实施例的数据存储方法的示意性流程图，包括步骤201至步骤203。
步骤201：接收待加密的数据并确定所述数据的访问等级。
本申请实施例中，所述待加密的数据可以是数据表，也可以是数据表中的某个记录或字段等，本申请对此不作限定。
所述数据的访问等级包括但不限于根据所述数据的敏感程度进行划分，采用L1、L2、L3、L4等对所述数据进行等级标识，所述访问等级按顺序递增，数据越大，访问等级越高。例如所述数据为字段1和字段2，其中字段1为姓名，字段2为身份证号，字段2的敏感程度大于字段1的敏感程度，那么在为字段1和字段2划分访问等级时，则可以为字段1划分L1的访问等级，为字段2划分L2的访问等级。
步骤202：对待加密的所述数据进行加密。
参见图3，本申请实施例提供一种对待加密的所述数据进行加密的方法，包括步骤301至步骤303。
步骤301：根据当前时间确定所述密钥的标识信息。
本申请实施例中，所述密钥保存在密钥资源表中，所述密钥的标识信息可以为所述密钥资源表的版本标识。所述密钥资源表为存储和管理密钥的Hive表。
所述密钥可以是由java中的Random函数，实现生成16位长度包含大小写字母、数字、特殊符号的随机字符串。所述密钥存储在密钥资源表表中，以Base64的方法存储，然后封装成任务节点由调度系统定时调度。
本申请实施例中，根据当前时间确定所述密钥的标识信息包括：首先确定当前时间对应的密钥周期；然后将所述密钥周期对应的密钥标识信息确定为当前时间对应的密钥的标识信息。
步骤302：确定与所述密钥的标识信息对应的密钥。
本申请实施例中，所述密钥资源表中以密钥周期进行密钥的存储，不同的密钥周期对应一个不同的密钥，以及不同的版本标识。例如，所述时间周期为一个月，所述密钥资源表在2018年1月1日到2018年1月31日这个时间周期内对应的密钥为my20180101***，对应的版本标识为20180101；所述密钥资源表在2018年2月1日到2018年2月28日这个时间周期内对应的密钥为my20180201***，对应的版本标识为20180201，以此类推。若当前时间为2018年1月15日，则当前时间对应的密钥周期为2018年1月1日到2018年1月31日这个时间周期，该时间周期对应的密钥标识信息为20180101，就可以确定所述当前时间对应的密钥标识信息为20180101，与所述密钥的标识信息对应的密钥为my20180101***。
步骤303：基于所述密钥和与所述密钥对应的加密算法对待加密的所述数据进行加密。
本申请实施例中，所述密钥可以采用对称密钥，对称密钥加密又叫专用密钥加密，即发送和接收数据的双方必使用相同的密钥对明文进行加密和解密运算。对称密钥加密算法包括但不限于数据加密标准算法(Data Encryption Standard，简称DES)、三重数据加密算法(Triple DES，简称3DES)、国际数据加密算法(International Data EncryptionAlgorithm，简称IDEA)、分组加密算法(Fast Data Encipherment Algorithm，简称FEAL)、对称的分组加密算法(BLOWFISH)等。
本申请实施例中，对待加密的所述数据进行加密，可以防止黑客入侵，是保障数据安全防止数据泄露的重要手段，并且根据当前时间确定密钥的标识信息以确定当前时间内的有效密钥，可以保证使用的密钥的安全性。
步骤203：对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
本申请实施例中，表1中存储的为待加密的数据以及加密后的所述数据。
表1
| 状态 | 手机号 | 身份证号 |
| 加密前 | 18100001111 | 411222199001011111 |
| 加密后 | DwyIq0vy8R6*ying4A9＝＝L1v04021801 | Dincvy8R6+nihao4A9＝＝L2v04021801 |
其中，“DwyIq0vy8R6*ying4A9＝＝”和“Dincvy8R6+nihao4A9＝＝”为加密后的手机号和身份证号，“L1”和“L2”为访问等级，“v04021801”和“v04021801”为所述手机号和身份证号在加密过程中采用的密钥的标识信息。
本申请实施例的数据存储方法可以预先对数据设置访问等级，实现对数据的权限管理，保障数据访问的安全性；并且可以为数据进行加密存储，实现物理存储级别无明文信息，保障了数据存储的安全性。
参见图4，本申请一实施例提供一种数据存储方法，包括步骤401至步骤404。
步骤401：接收待加密的数据并确定所述数据的访问等级。
步骤402：对待加密的所述数据进行加密。
步骤403：对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
本申请实施例中，步骤401至步骤403的实现方式与上述实施例的步骤201至步骤203相同，在此不再赘述。
步骤404：对所述密钥以及所述密钥的标识信息进行更新。
本申请实施例中，参见图5，对所述密钥的管理包括生产逻辑管理、周期管理、密钥操作管理以及备份及恢复管理。其中，所述生产逻辑管理即是所述密钥的生成方式进行管理，例如通过可以所述生产逻辑管理设置所述密钥为由javaRandom函数生成的长度为16位的随机字符串，该随机字符串中包含大小写字母、数字、特殊符号；所述周期管理即是对所述密钥的更新周期的管理，可以通过周期管理设置密钥的更新周期；所述密钥操作管理即是对所述密钥的管理者的管理，可以通过密钥管理设置密钥管理者对密钥的操作权限，例如可以包括对密钥进行增加，删除或者修改等；所述备份及恢复管理即是对所述密钥备份及恢复进行管理，通过密钥的备份管理对密钥进行定时备份，并在所述密钥丢失时通过定时备份密钥对密钥进行恢复。
本申请实施例中，对所述密钥以及所述密钥的标识信息进行更新包括：根据预设的更新周期对所述密钥以及所述密钥的标识信息进行更新；或者根据接收到的更新指令对所述密钥以及所述密钥的标识信息进行更新。
例如，预设的更新周期为自然月三个月，那么每三个月会对所述密钥以及所述密钥的标识信息进行一次更新和备份；或者是在接收到所述密钥的更新指令后，所述密钥以及所述密钥的标识信息进行一次更新和备份。
本申请实施例的数据存储方法可以预先对数据设置访问等级，实现对数据的权限管理，保障数据访问的安全性；并且可以为数据进行加密存储，实现物理存储级别无明文信息，保障了数据存储的安全性；此外，可以接收解耦分布式存储系统之外的网络请求，定期对密钥进行更新备份，实现系统内部的动态密钥管理，保障了密钥的安全性。
参见图6，本申请一实施例提供了一种数据存储方法，包括步骤601至步骤608。
步骤601：接收待加密的数据并确定所述数据的访问等级。
步骤602：对待加密的所述数据进行加密。
步骤603：对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
本申请实施例中，步骤601至步骤603的实现方式与上述实施例的步骤201至步骤203相同，在此不再赘述。
步骤604：接收用户的数据访问请求。
本申请实施例中，用户的数据访问请求包括但不限于用户通过点击、输入等方式选择某数据产生的访问请求。
步骤605：根据所述数据访问请求获取待解密的数据包以及用户的标识信息。
本申请实施例中，所述待解密的数据包包括待解密的数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息。
所述用户的标识信息包括用户ID和/或用户账号等。
步骤606：根据所述用户的标识信息确定所述用户的权限等级。
本申请实施例中，所述用户的标识信息可以保存在用户权限资源表中，根据所述用户权限资源表确定所述用户的权限等级。
例如，用户ID为“1”，通过表2可知，用户ID为“1”的权限等级为“L3”。
表2
| 用户ID | 用户账号 | 权限等级 |
| 1 | 张三 | L3 |
| 2 | 李四 | L2 |
步骤607：解析所述数据以获取所述数据对应的密钥的标识信息和所述数据的访问等级。
本申请实施例中，解析所述数据即是识别出所述数据对应的密钥的标识信息和所述数据的访问等级。
步骤608：若所述用户的权限等级大于等于所述数据的访问等级，则对所述数据进行解密。
本申请实施例中，用户的权限等级向下兼容，例如用户A的ID和/或账号有用X表中字段L3权限，那么用户A可以解密访问等级为L1、L2和L3的字段；若用户A的ID和/或账号有用X表中字段L2的权限等级，则用户A可以解密访问等级为L1、L2的字段，不能解密访问等级为L3的字段。
本申请实施例中，对所述数据进行解密包括：
确定与所述密钥的标识信息对应的密钥；
基于所述密钥和所述密钥对应的解密算法对所述数据进行解密。
本申请实施例中，所述密钥采用的是对称密钥，与所述密钥的标识信息对应的密钥即是对待解密数据进行加密时所使用的密钥，根据识别出的所述密钥的标识信息即可以得到该密钥，然后基于该密钥以及该密钥对应的解密算法对所述数据进行解密，得到解密后的数据。
本申请实施例中，若用户的权限等级小于所述数据的访问等级，则发出错误提示。所述错误提示可以以邮件、信息或弹窗警告的方式发出，本申请对此不作限定。
图7-1和图7-2是图6的方法中具体的加密过程和解密过程的示意图。
参见图7-1，在加密过程中，接收用户通过客户端(client)提交加密数据SQL，MR架构将文件拆分到N个节点上分布式执行，采用多节点可以提高系统的运行以及处理速度，在每个节点都会调用udf和密钥资源表对该节点数据进行加密，所述udf的调用方式为加密算法以jar包方式打包上传至hive表，通过add jar路径的方式加载，实现所述udf的调用。加密完成直接保存成文件存放在HDFS中或者将数据返回client展示；其中，所述加密数据又称为明文数据或待解密的数据，所述加密函数又称为加密算法。
参见图7-2，在解密过程中，接收用户通过客户端(client)提交解密数据SQL，MR架构将文件拆分到N个点上分布式执行，在每个节点都会调用udf、密钥资源表、数据资产资源表以及用户权限资源表对该节点数据进行用户权限判断和解密工作；解密完成直接保存成文件存放在HDFS中或者将数据返回client展示，其中，所述解密数据又称为待解密的数据。
本申请实施例中的数据存储方法，采用数据加密存储和用户权限等级管理的方法有效的防止了数据泄露，并且可以接收解耦分布式存储系统之外的网络请求，定期对密钥进行更新备份，实现系统内部的动态密钥管理，保障了密钥的安全性。
参见图8，本申请一实施例提供了一种数据存储装置，包括：
接收模块801，配置为接收待加密的数据并确定所述数据的访问等级；
加密模块802，配置为对待加密的所述数据进行加密；
存储模块803，配置为对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
可选地，所述加密模块802包括：
第一确定子模块，配置为根据当前时间确定所述密钥的标识信息；
第二确定子模块，配置为确定与所述密钥的标识信息对应的密钥；
数据加密子模块，配置为基于所述密钥和与所述密钥对应的加密算法对待加密的所述数据进行加密。
可选地，所述第一确定子模块包括：
周期确定子模块，配置为确定当前时间对应的密钥周期；
第三确定子模块，配置为将所述密钥周期对应的密钥标识信息确定为当前时间对应的密钥的标识信息。
可选地，所述装置还包括：
更新模块，配置为对所述密钥以及所述密钥的标识信息进行更新。
可选地，参见图9，所述装置还包括：
接收模块901，配置为接收用户的数据访问请求；
获取模块902，配置为根据所述数据访问请求获取待解密的数据包以及用户的标识信息，其中，所述待解密的数据包包括待解密的数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息；
权限等级确定模块903，配置为根据所述用户的标识信息确定所述用户的权限等级；
解析模块904，配置为解析所述数据以获取所述数据对应的密钥的标识信息和所述数据的访问等级；
解密模块905，配置为若所述用户的权限等级大于等于所述数据的访问等级，则对所述数据进行解密。
可选地，所述解密模块905包括：
第四确定子模块，配置为确定与所述密钥的标识信息对应的密钥；
数据解密子模块，配置为基于所述密钥和所述密钥对应的解密算法对所述数据进行解密。
本申请的数据存储装置可以预先对数据设置访问等级，实现对数据的权限管理，保障数据访问的安全性；并且可以为数据进行加密存储，实现物理存储级别无明文信息，保障了数据存储的安全性。
上述为本实施例的一种数据存储装置的示意性方案。需要说明的是，该数据存储装置的技术方案与上述的数据存储方法的技术方案属于同一构思，数据存储装置的技术方案未详细描述的细节内容，均可以参见上述数据存储方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据存储方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据存储方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据存储方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (18)
1.一种数据存储方法，其特征在于，包括：
接收待加密的数据并确定所述数据的访问等级；
对待加密的所述数据进行加密；
对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
2.根据权利要求1所述的方法，其特征在于，对待加密的所述数据进行加密包括：
根据当前时间确定所述密钥的标识信息；
确定与所述密钥的标识信息对应的密钥；
基于所述密钥和与所述密钥对应的加密算法对待加密的所述数据进行加密。
3.根据权利要求2所述的方法，其特征在于，根据当前时间确定所述密钥的标识信息包括：
确定当前时间对应的密钥周期；
将所述密钥周期对应的密钥标识信息确定为当前时间对应的密钥的标识信息。
4.根据权利要求2所述的方法，其特征在于，还包括：
对所述密钥以及所述密钥的标识信息进行更新。
5.根据权利要求4所述的方法，其特征在于，对所述密钥以及所述密钥的标识信息进行更新包括：
根据预设的更新周期对所述密钥以及所述密钥的标识信息进行更新；或者
根据接收到的更新指令对所述密钥以及所述密钥的标识信息进行更新。
6.根据权利要求1所述的方法，其特征在于，所述密钥保存在密钥资源表中，所述密钥的标识信息包括所述密钥资源表的版本标识。
7.根据权利要求1所述的方法，其特征在于，还包括：
接收用户的数据访问请求；
根据所述数据访问请求获取待解密的数据包以及用户的标识信息，其中，所述待解密的数据包包括待解密的数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息；
根据所述用户的标识信息确定所述用户的权限等级；
解析所述数据以获取所述数据对应的密钥的标识信息和所述数据的访问等级；
若所述用户的权限等级大于等于所述数据的访问等级，则对所述数据进行解密。
8.根据权利要求7所述的方法，其特征在于，对所述数据进行解密包括：
确定与所述密钥的标识信息对应的密钥；
基于所述密钥和所述密钥对应的解密算法对所述数据进行解密。
9.根据权利要求7所述的方法，其特征在于，根据所述用户的标识信息确定所述用户的权限等级包括：
所述用户的标识信息保存在用户权限资源表中，根据所述用户权限资源表确定所述用户的权限等级。
10.根据权利要求7所述的方法，其特征在于，还包括：
若用户的权限等级小于所述数据的访问等级，则发出错误提示。
11.一种数据存储装置，其特征在于，包括：
接收模块，配置为接收待加密的数据并确定所述数据的访问等级；
加密模块，配置为对待加密的所述数据进行加密；
存储模块，配置为对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
12.根据权利要求11所述的装置，其特征在于，所述加密模块包括：
第一确定子模块，配置为根据当前时间确定所述密钥的标识信息；
第二确定子模块，配置为确定与所述密钥的标识信息对应的密钥；
数据加密子模块，配置为基于所述密钥和与所述密钥对应的加密算法对待加密的所述数据进行加密。
13.根据权利要求12所述的装置，其特征在于，所述第一确定子模块包括：
周期确定子模块，配置为确定当前时间对应的密钥周期；
第三确定子模块，配置为将所述密钥周期对应的密钥标识信息确定为当前时间对应的密钥的标识信息。
14.根据权利要求12所述的装置，其特征在于，还包括：
更新模块，配置为对所述密钥以及所述密钥的标识信息进行更新。
15.根据权利要求11所述的装置，其特征在于，还包括：
接收模块，配置为接收用户的数据访问请求；
获取模块，配置为根据所述数据访问请求获取待解密的数据包以及用户的标识信息，其中，所述待解密的数据包包括待解密的数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息；
权限等级确定模块，配置为根据所述用户的标识信息确定所述用户的权限等级；
解析模块，配置为解析所述数据以获取所述数据对应的密钥的标识信息和所述数据的访问等级；
解密模块，配置为若所述用户的权限等级大于等于所述数据的访问等级，则对所述数据进行解密。
16.根据权利要求15所述的装置，其特征在于，所述解密模块包括：
第四确定子模块，配置为确定与所述密钥的标识信息对应的密钥；
数据解密子模块，配置为基于所述密钥和所述密钥对应的解密算法对所述数据进行解密。
17.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
接收待加密的数据并确定所述数据的访问等级；
对待加密的所述数据进行加密；
对加密后的所述数据、所述数据的访问等级以及所述数据加密过程中采用的密钥的标识信息进行存储。
18.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810332374.1A CN108520183B (zh) | 2018-04-13 | 2018-04-13 | 一种数据存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810332374.1A CN108520183B (zh) | 2018-04-13 | 2018-04-13 | 一种数据存储方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108520183A true CN108520183A (zh) | 2018-09-11 |
| CN108520183B CN108520183B (zh) | 2020-03-24 |
Family
ID=63432587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810332374.1A Expired - Fee Related CN108520183B (zh) | 2018-04-13 | 2018-04-13 | 一种数据存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520183B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815715A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种数据加密方法和相关装置 |
| CN110110551A (zh) * | 2019-04-19 | 2019-08-09 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种数据存储方法及装置 |
| CN110336787A (zh) * | 2019-05-23 | 2019-10-15 | 平安科技（深圳）有限公司 | 数据加密方法、装置、计算机设备和存储介质 |
| CN110727949A (zh) * | 2019-09-06 | 2020-01-24 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN111339564A (zh) * | 2020-03-27 | 2020-06-26 | 河北凯通信息技术服务有限公司 | 一种基于大数据的云服务分析管理系统 |
| CN111400765A (zh) * | 2020-03-25 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 一种隐私数据的访问方法、装置及电子设备 |
| CN113254986A (zh) * | 2021-07-16 | 2021-08-13 | 深圳市永兴元科技股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN114448702A (zh) * | 2022-01-29 | 2022-05-06 | 中国工商银行股份有限公司 | 一种基于隐私集合求交的数据加密方法及装置 |
| CN114499901A (zh) * | 2020-10-26 | 2022-05-13 | 中国移动通信有限公司研究院 | 一种信息处理方法、装置、服务器、终端及数据平台 |
| CN114840521A (zh) * | 2022-04-22 | 2022-08-02 | 北京友友天宇系统技术有限公司 | 数据库的权限管理和数据保护方法、装置、设备和存储介质 |
| CN115277155A (zh) * | 2022-07-22 | 2022-11-01 | 中国银行股份有限公司 | 一种涉密文件访问方法及装置 |
| CN116186748A (zh) * | 2023-04-28 | 2023-05-30 | 云南佩松荔科技有限公司 | 一种数码印刷机防泄密管理系统及其方法 |
| CN116383861A (zh) * | 2023-06-07 | 2023-07-04 | 上海飞斯信息科技有限公司 | 基于用户数据保护的计算机安全处理系统 |
| CN117272356A (zh) * | 2023-11-22 | 2023-12-22 | 江西科技学院 | 计算机的加密方法、系统及存储介质 |
| CN117633849A (zh) * | 2024-01-26 | 2024-03-01 | 枣庄矿业集团新安煤业有限公司 | 一种煤矿经营全流程智能管控方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170206372A1 (en) * | 2016-01-18 | 2017-07-20 | Nec Corporation | Data management system, data management method, and recording medium |
| US20170270283A1 (en) * | 2016-03-16 | 2017-09-21 | Konica Minolta Laboratory U.S.A., Inc. | Access control for selected document contents using document layers and access key sequence |
| CN107273755A (zh) * | 2016-04-07 | 2017-10-20 | 良好科技控股有限公司 | 控制对应用数据的访问 |
| CN107292183A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种数据处理方法及设备 |
| CN107819572A (zh) * | 2017-09-29 | 2018-03-20 | 北京比特大陆科技有限公司 | 命令传输方法、装置及电子设备 |
-
2018
- 2018-04-13 CN CN201810332374.1A patent/CN108520183B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170206372A1 (en) * | 2016-01-18 | 2017-07-20 | Nec Corporation | Data management system, data management method, and recording medium |
| US20170270283A1 (en) * | 2016-03-16 | 2017-09-21 | Konica Minolta Laboratory U.S.A., Inc. | Access control for selected document contents using document layers and access key sequence |
| CN107273755A (zh) * | 2016-04-07 | 2017-10-20 | 良好科技控股有限公司 | 控制对应用数据的访问 |
| CN107292183A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种数据处理方法及设备 |
| CN107819572A (zh) * | 2017-09-29 | 2018-03-20 | 北京比特大陆科技有限公司 | 命令传输方法、装置及电子设备 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815715A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种数据加密方法和相关装置 |
| CN110110551A (zh) * | 2019-04-19 | 2019-08-09 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种数据存储方法及装置 |
| CN110110551B (zh) * | 2019-04-19 | 2021-08-24 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种数据存储方法及装置 |
| CN110336787B (zh) * | 2019-05-23 | 2022-05-13 | 平安科技（深圳）有限公司 | 数据加密方法、装置、计算机设备和存储介质 |
| CN110336787A (zh) * | 2019-05-23 | 2019-10-15 | 平安科技（深圳）有限公司 | 数据加密方法、装置、计算机设备和存储介质 |
| CN110727949A (zh) * | 2019-09-06 | 2020-01-24 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN110727949B (zh) * | 2019-09-06 | 2022-11-08 | 未鲲(上海)科技服务有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN111400765A (zh) * | 2020-03-25 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 一种隐私数据的访问方法、装置及电子设备 |
| CN111400765B (zh) * | 2020-03-25 | 2021-11-02 | 支付宝(杭州)信息技术有限公司 | 一种隐私数据的访问方法、装置及电子设备 |
| CN111339564A (zh) * | 2020-03-27 | 2020-06-26 | 河北凯通信息技术服务有限公司 | 一种基于大数据的云服务分析管理系统 |
| CN111339564B (zh) * | 2020-03-27 | 2021-07-13 | 深圳市中投产业经济咨询有限公司 | 一种基于大数据的云服务分析管理系统 |
| CN114499901A (zh) * | 2020-10-26 | 2022-05-13 | 中国移动通信有限公司研究院 | 一种信息处理方法、装置、服务器、终端及数据平台 |
| CN113254986A (zh) * | 2021-07-16 | 2021-08-13 | 深圳市永兴元科技股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN114448702A (zh) * | 2022-01-29 | 2022-05-06 | 中国工商银行股份有限公司 | 一种基于隐私集合求交的数据加密方法及装置 |
| CN114448702B (zh) * | 2022-01-29 | 2024-02-27 | 中国工商银行股份有限公司 | 一种基于隐私集合求交的数据加密方法及装置 |
| CN114840521A (zh) * | 2022-04-22 | 2022-08-02 | 北京友友天宇系统技术有限公司 | 数据库的权限管理和数据保护方法、装置、设备和存储介质 |
| CN114840521B (zh) * | 2022-04-22 | 2023-03-21 | 北京友友天宇系统技术有限公司 | 数据库的权限管理和数据保护方法、装置、设备和存储介质 |
| CN115277155A (zh) * | 2022-07-22 | 2022-11-01 | 中国银行股份有限公司 | 一种涉密文件访问方法及装置 |
| CN116186748B (zh) * | 2023-04-28 | 2023-09-22 | 云南佩松荔科技有限公司 | 一种数码印刷机防泄密管理系统及其方法 |
| CN116186748A (zh) * | 2023-04-28 | 2023-05-30 | 云南佩松荔科技有限公司 | 一种数码印刷机防泄密管理系统及其方法 |
| CN116383861A (zh) * | 2023-06-07 | 2023-07-04 | 上海飞斯信息科技有限公司 | 基于用户数据保护的计算机安全处理系统 |
| CN116383861B (zh) * | 2023-06-07 | 2023-08-18 | 上海飞斯信息科技有限公司 | 基于用户数据保护的计算机安全处理系统 |
| CN117272356A (zh) * | 2023-11-22 | 2023-12-22 | 江西科技学院 | 计算机的加密方法、系统及存储介质 |
| CN117633849A (zh) * | 2024-01-26 | 2024-03-01 | 枣庄矿业集团新安煤业有限公司 | 一种煤矿经营全流程智能管控方法及系统 |
| CN117633849B (zh) * | 2024-01-26 | 2024-04-12 | 枣庄矿业集团新安煤业有限公司 | 一种煤矿经营全流程智能管控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108520183B (zh) | 2020-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520183A (zh) | 一种数据存储方法及装置 | |
| US9971906B2 (en) | Apparatus and method for continuous data protection in a distributed computing network | |
| US10581603B2 (en) | Method and system for secure delegated access to encrypted data in big data computing clusters | |
| US10735186B2 (en) | Revocable stream ciphers for upgrading encryption in a shared resource environment | |
| CN105610793B (zh) | 一种外包数据加密存储与密文查询系统及其应用方法 | |
| CN107168998B (zh) | 一种基于保留格式的数据库透明加密方法 | |
| US10230703B1 (en) | Providing multiple levels of group access to partial data objects | |
| CN104079574A (zh) | 云环境下基于属性和同态混合加密的用户隐私保护方法 | |
| US8769302B2 (en) | Encrypting data and characterization data that describes valid contents of a column | |
| CN109858263A (zh) | 数据存储检索方法、装置、电子设备及存储介质 | |
| Dowsley et al. | A survey on design and implementation of protected searchable data in the cloud | |
| KR101615137B1 (ko) | 속성 기반의 데이터 접근 방법 | |
| CN108270739A (zh) | 一种管理加密信息的方法及装置 | |
| CN109697370A (zh) | 数据库数据加解密方法、装置、计算机设备和存储介质 | |
| Mosteiro-Sanchez et al. | End to end secure data exchange in value chains with dynamic policy updates | |
| Zhang et al. | Privacy-preserving network provenance | |
| Wu et al. | Research of the Database Encryption Technique Based on Hybrid Cryptography | |
| Chinnasamy et al. | Secure and Efficient Data Sharing Scheme in Cloud for Protecting Data in Smart Cities | |
| CN111625843A (zh) | 一种适用于大数据平台的数据透明加解密系统 | |
| Kumar et al. | Data security and encryption technique for cloud storage | |
| CN110419195A (zh) | 在iot轻量级终端环境中基于代理重加密的数据管理方法及系统 | |
| Premkamal et al. | Traceable CP-ABE for outsourced big data in cloud storage | |
| Abdulhamid et al. | Development of blowfish encryption scheme for secure data storage in public and commercial cloud computing environment | |
| Wang et al. | Privacy preserving protocol for service aggregation in cloud computing | |
| Attri et al. | Enhancing Cloud Security Using Secured Binary-DNA Approach with Impingement Resolution and Complex Key Generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200324 |