CN106375397A - 一种适于大数据的消费信息备份管理系统 - Google Patents

Abstract

本发明提供了一种适于大数据的消费信息备份管理系统，包括实时备份存储器、整机备份存储器、通信装置、数据管理器和连接控制器；所述实时备份存储器通过通信装置连接大数据平台的数据服务器；所述整机备份存储器间断性地通过所述通信装置连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器用于控制所述通信装置的连接和断开状态；所述数据管理器用于保障数据备份、存储期间的数据安全。本发明节约了备份的硬件资源成本，并且通过实时备份存储器为重要数据备份提供了硬件资源保障。

Description

一种适于大数据的消费信息备份管理系统

技术领域

本发明涉及服务器系统设计领域，具体涉及一种适于大数据的消费信息备份管理系统。

背景技术

随着网络购物等新型消费方式的迅速发展，对海量用户的消费信息展开大数据分析成为了一种行之有效的手段。通过大数据分析可以从消费信息当中发掘其内在的规律性，从而为广告投放、产品推荐等提供依据。

大数据分析能够实现的前提是提供具有海量存储空间的数据服务器，用于对所积累的消费信息数据进行保存并提供高速读写能力。为了保障消费信息数据的安全，有必要对这些数据进行冗余备份。在冗余备份技术中，实时实时备份存储器对于数据服务器的每一数据，在写入和修改的同时都在备份服务器生成其副本，备份服务器也支持随时的读取和修改，因此具有最高的可靠性和易用性，是现有技术当中较高级别冗余备份系统的“标配”。但是实时实时备份存储器要求备份服务器具备至少不低于数据服务器的存储空间和读写能力，造成备份服务器的硬件配置要求很高，增加了大数据分析的资源成本。

随着网络消费业务规模的持续扩大，消费信息的数据量也在高速增长，这使得大数据分析的数据服务器在容量和读写速度方面的要求不断提升。可以说，数据服务器本身就已经造成了大数据平台不菲的硬件成本。在这种情况下，如果继续按照现有技术当中高可靠性冗余备份系统的配置方式，采用实时实时备份存储器的冗余备份架构，势必导致大数据分析系统的硬件成本成倍增加，给相关运营带来巨大的经济压力。

发明内容

为解决上述问题，本发明旨在提供一种适于大数据的消费信息备份管理系统。

本发明的目的采用以下技术方案来实现：

提供了一种适于大数据的消费信息备份管理系统，包括实时备份存储器、整机备份存储器、通信装置、数据管理器和连接控制器；所述实时备份存储器通过通信装置连接大数据平台的数据服务器；所述整机备份存储器间断性地通过所述通信装置连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器用于控制所述通信装置的连接和断开状态；所述数据管理器用于保障数据备份、存储期间的数据安全。

本发明的有益效果为：利用实时备份存储器和整机备份存储器两个不同级别的存储体系接入大数据平台，大数据平台的数据服务器可以选择将其一部分数据实时写入实时备份存储器，也可以选择将其保存的数据定时、间断和批量写入整机备份存储器。实时备份存储器保持实时备份、快速读写的优点；而整机备份存储器可以作为冗余备份的主要资源，其存储容量大于实时备份存储器，相应的，其读写速度可以低于实时备份存储器，安全配置可低于实时备份存储器，并且不与数据服务器保持始终连接，处于间歇性工作状态，节约了运行所需资源，从而解决了上述的技术问题。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明结构连接示意图。

图2是本发明数据管理器的结构示意图。

附图标记：

实时备份存储器1、整机备份存储器2、通信装置3、数据管理器4、连接控制器5、数据检索系统40、数据预处理系统41、云存储加解密系统42、安全管理中心43。

具体实施方式

结合以下实施例对本发明作进一步描述。

应用场景1

参见图1、图2，本应用场景的一个实施例的适于大数据的消费信息备份管理系统，包括实时备份存储器1、整机备份存储器2、通信装置3、数据管理器4和连接控制器5；所述实时备份存储器1通过通信装置3连接大数据平台的数据服务器；所述整机备份存储器2间断性地通过所述通信装置3连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器5用于控制所述通信装置3的连接和断开状态；所述数据管理器4用于保障数据备份、存储期间的数据安全。

优选的，所述实时备份存储器1包括多组存储硬盘阵列，并且所述整机备份存储器2包括云存储器。

本发明上述实施例利用实时备份存储器1和整机备份存储器2两个不同级别的存储体系接入大数据平台，大数据平台的数据服务器可以选择将其一部分数据实时写入实时备份存储器1，也可以选择将其保存的数据定时、间断和批量写入整机备份存储器2。实时备份存储器1保持实时备份、快速读写的优点；而整机备份存储器2可以作为冗余备份的主要资源，其存储容量大于实时备份存储器1，相应的，其读写速度可以低于实时备份存储器1，安全配置可低于实时备份存储器1，并且不与数据服务器保持始终连接，处于间歇性工作状态，节约了运行所需资源，从而解决了上述的技术问题。

优选的，所述实时备份存储器1具有连接到大数据平台的实时读取端口。

本优选实施例设置实时读取端口，实现了数据的实时传输。

优选的，所述数据管理器4包括数据检索系统40、数据预处理系统41、云存储加解密系统42、控制系统43和安全管理中心43；所述数据检索系统40用于对需要读取的数据进行检索查询；所述数据预处理系统41用于在存储或传输数据时对需保密的数据进行预处理；所述云存储加解密系统42用于按照优化的访问控制安全策略对需保密的数据进行加密或解密；所述安全管理中心43用于对各系统安全进行统一监控管理。

本优选实施例构建了数据管理器4的系统结构。

优选的，所述对需要读取的数据进行检索查询，包括：建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

本优选实施例采用目录检索和搜索引擎结合的检索算法，能够快速、准确的获取数据。

优选的，所述对各系统安全进行统一监控管理，包括：

(1)针对数据检索系统40、数据预处理系统41、云存储加解密系统42不同的安全防护要求采取对应的安全防护技术，配备相关的安全防护设备，形成完整的安全防护体制；

(2)建立有效的数据安全策略，对数据存储、传输、访问过程中的安全进行综合考虑，不仅对数据进行加密，同时对数据的传输协议进行加密；

(3)建立病毒和木马防御机制，定期更新病毒库和升级防火墙，更新周期为T，T取值为6-10天，对检测到的异常数据要进行分析，并发出预警。

本优选实施例实现了对各系统安全的统一监控管理。

优选的，所述数据预处理系统41包括数据分割单元、数据抽取单元和访问控制安全策略优化单元，所述数据分割单元用于对需保密的数据分割成多个互斥的数据集合；所述数据抽取单元用于对所述互斥的数据集合按照自定义的排序规则进行排序，将每个数据集合中的第一个数据单元按序抽取出来，与所述排序规则一起保存作为小块数据，将小块数据存储至本地存储器，并采用用户定义的加密技术对小块数据进行加密，剩余数据交付云存储加解密系统42进行处理；其中所述互斥表示数据集合中的两两数据单元之间不存在任何关联；所述访问控制安全策略优化单元用于基于细粒度资源分割的访问控制安全策略优化方法生成系统的访问控制安全策略，包括：

(1)基于被数据抽取单元处理后的互斥的数据集合，构建层次化数据数结构，所述层次化数据树结构为三层数据树结构，其包括服务层、逻辑层和物理层，所述服务层为与数据调度服务相关的树根节点，所述逻辑层为访问控制安全策略中关联的数据，所述物理层包含所有互斥的数据集合中的数据单元；

(2)基于访问控制标记语言XACML制定针对不同安全等级的数据的访问控制安全策略，将访问控制安全策略中与数据关联的规则投影到所述互斥的数据集合中的数据单元上，从而将访问控制安全策略中的规则细化到数据维度；

(3)在每个所述互斥的数据集合中的数据单元上进行规则优化，以删除分配在每个数据单元上的规则的冲突和冗余；

(4)合并优化后的规则，生成优化的访问控制安全策略。

本优选实施例设置数据预处理系统41，先对需保密的数据进行数据分割和数据抽取处理，再进行访问控制安全策略中的规则细化，可以减少数据存储的物理存储空间，降低存储的开销，并消除访问控制安全策略中的冲突和冗余，提高访问控制决策效率；通过数据抽取处理抽取部分数据存储到本地存储器中，其余数据设置相应的访问控制安全策略后存储至用户设定的云存储器中，解决了传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来的比较大的系统开销和繁琐，可以有效防止恶意用户或云存储管理员非法窃取、篡改用户的隐私数据，提高了需保密的数据存储的安全性能。

优选的，所述云存储加解密系统42主要由数据拥有者、属性机构、云、可信三方、用户五个实体构成，所述对需保密的数据进行加密或解密，包括：

(1)可信三方为用户和属性机构分别分配用户身份标识UAID和属性机构身份标识AID，包括：

A、进行初始化，可信三方设定系统参数为其中α为随机整数；

B、对于每个合法用户，可信三方分配UAID并为其生成证书：

$Certificate\left(UAID\right)=\hat{E}{\left(H\right(UAID),g)}^{C_{UAID}}$

同时，公布合法用户的身份验证参数其中，C_UAID∈Z_P；

C、为数据拥有者和合法用户生成身份密钥对；

(2)生成基于身份的加解密密钥、属性加解密密钥以及代理重加密密钥，其中所述基于身份的加解密密钥包括身份公钥GK_UAID和身份私钥CK_UAID，所述属性加解密密钥包括属性公钥GK_AID和属性私钥CK_AID:

${\mathrm{GK}}_{UAID}=\hat{E}{(g,g)}^{{\∝}_{AID}}$

${\mathrm{GK}}_{AID}=\{\∀x\∈{\mathrm{AS}}_{AID}:{\mathrm{GK}}_x=H{\left(x\right)}^{B_x{\mathrm{\β}}_{AID}}\}$

CK_UAID＝(∝_AID,β_AID)

${\mathrm{CK}}_{AID}=(K_0=g^{{\∝}_{AID}}{g}^{\mathrm{\α}\mathrm{\γ}},K_1=g^{\mathrm{\α}\mathrm{\γ}},\∀x\∈{\mathrm{AS}}_{UAID,AID}:K_x={\left(x\right)}^{B_x{\mathrm{\β}}_{AID}\mathrm{\γ}})$

其中，AS_AID为单个属性机构能够分配的属性集合，GK_x为属性x的公钥，B_x为属性x的版本号，∝_AID为属性机构的私钥参数，β_AID为属性更新参数，AS_UAID,AID为根据属性机构的身份分配的属性集合，γ为属性机构随机选择的参数，γ,∝_AID,β_AID∈Z_P；

(3)云存储加解密系统42利用数据密钥对数据进行数据加密，得到密文CT，然后分别利用身份公钥和属性公钥对数据密钥加密，生成身份密钥密文CT_U和属性密钥密文CT_A，包括：

A、随机生成两个固定长度的字符串IK,AK，合并生成数据密钥DK：

DK＝IK||AK

B、利用数据密钥DK对相应数据进行数据加密，得到密文CT后，利用属性公钥对AK加密，生成属性密钥密文CT_A，利用身份公钥对IK加密，生成身份密钥密文CT_U；

(4)进行代理重加密，当收到用户的数据请求时，云利用代理重加密密钥将身份密钥密文CT_U转化为指定用户可解密的密文，其中所述代理重加密密钥由数据拥有者用自身私钥和身份公钥计算生成；

(5)进行数据解密时，用户收到数据后，分别利用身份私钥CK_UAID和属性私钥CK_AID解密身份密钥密文CT_U和属性密钥密文CT_A，然后重构数据密钥，解密密文CT；

(6)进行属性和身份密钥的更新。

本优选实施例通过设置云存储加解密系统42，能够实现对多类型的数据的细粒度访问控制和隐私保护，同时抵御用户和属性机构共谋；对需保密的数据，分别构造基于身份的加解密密钥、属性加解密密钥，合并构成数据加密密钥对该数据进行加密，从而只有同时满足身份和属性双重条件的用户可以解密，极大提高了数据管理器4的安全性能。

在此应用场景中，更新周期T取6，系统的安全性相对提高了12％。

应用场景2

参见图1、图2，本应用场景的一个实施例的适于大数据的消费信息备份管理系统，包括实时备份存储器1、整机备份存储器2、通信装置3、数据管理器4和连接控制器5；所述实时备份存储器1通过通信装置3连接大数据平台的数据服务器；所述整机备份存储器2间断性地通过所述通信装置3连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器5用于控制所述通信装置3的连接和断开状态；所述数据管理器4用于保障数据备份、存储期间的数据安全。

优选的，所述实时备份存储器1包括多组存储硬盘阵列，并且所述整机备份存储器2包括云存储器。

本发明上述实施例利用实时备份存储器1和整机备份存储器2两个不同级别的存储体系接入大数据平台，大数据平台的数据服务器可以选择将其一部分数据实时写入实时备份存储器1，也可以选择将其保存的数据定时、间断和批量写入整机备份存储器2。实时备份存储器1保持实时备份、快速读写的优点；而整机备份存储器2可以作为冗余备份的主要资源，其存储容量大于实时备份存储器1，相应的，其读写速度可以低于实时备份存储器1，安全配置可低于实时备份存储器1，并且不与数据服务器保持始终连接，处于间歇性工作状态，节约了运行所需资源，从而解决了上述的技术问题。

优选的，所述实时备份存储器1具有连接到大数据平台的实时读取端口。

本优选实施例设置实时读取端口，实现了数据的实时传输。

优选的，所述数据管理器4包括数据检索系统40、数据预处理系统41、云存储加解密系统42、控制系统43和安全管理中心43；所述数据检索系统40用于对需要读取的数据进行检索查询；所述数据预处理系统41用于在存储或传输数据时对需保密的数据进行预处理；所述云存储加解密系统42用于按照优化的访问控制安全策略对需保密的数据进行加密或解密；所述安全管理中心43用于对各系统安全进行统一监控管理。

本优选实施例构建了数据管理器4的系统结构。

优选的，所述对需要读取的数据进行检索查询，包括：建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

本优选实施例采用目录检索和搜索引擎结合的检索算法，能够快速、准确的获取数据。

优选的，所述对各系统安全进行统一监控管理，包括：

(1)针对数据检索系统40、数据预处理系统41、云存储加解密系统42不同的安全防护要求采取对应的安全防护技术，配备相关的安全防护设备，形成完整的安全防护体制；

(2)建立有效的数据安全策略，对数据存储、传输、访问过程中的安全进行综合考虑，不仅对数据进行加密，同时对数据的传输协议进行加密；

(3)建立病毒和木马防御机制，定期更新病毒库和升级防火墙，更新周期为T，T取值为6-10天，对检测到的异常数据要进行分析，并发出预警。

本优选实施例实现了对各系统安全的统一监控管理。

优选的，所述数据预处理系统41包括数据分割单元、数据抽取单元和访问控制安全策略优化单元，所述数据分割单元用于对需保密的数据分割成多个互斥的数据集合；所述数据抽取单元用于对所述互斥的数据集合按照自定义的排序规则进行排序，将每个数据集合中的第一个数据单元按序抽取出来，与所述排序规则一起保存作为小块数据，将小块数据存储至本地存储器，并采用用户定义的加密技术对小块数据进行加密，剩余数据交付云存储加解密系统42进行处理；其中所述互斥表示数据集合中的两两数据单元之间不存在任何关联；所述访问控制安全策略优化单元用于基于细粒度资源分割的访问控制安全策略优化方法生成系统的访问控制安全策略，包括：

(1)基于被数据抽取单元处理后的互斥的数据集合，构建层次化数据数结构，所述层次化数据树结构为三层数据树结构，其包括服务层、逻辑层和物理层，所述服务层为与数据调度服务相关的树根节点，所述逻辑层为访问控制安全策略中关联的数据，所述物理层包含所有互斥的数据集合中的数据单元；

(2)基于访问控制标记语言XACML制定针对不同安全等级的数据的访问控制安全策略，将访问控制安全策略中与数据关联的规则投影到所述互斥的数据集合中的数据单元上，从而将访问控制安全策略中的规则细化到数据维度；

(3)在每个所述互斥的数据集合中的数据单元上进行规则优化，以删除分配在每个数据单元上的规则的冲突和冗余；

(4)合并优化后的规则，生成优化的访问控制安全策略。

本优选实施例设置数据预处理系统41，先对需保密的数据进行数据分割和数据抽取处理，再进行访问控制安全策略中的规则细化，可以减少数据存储的物理存储空间，降低存储的开销，并消除访问控制安全策略中的冲突和冗余，提高访问控制决策效率；通过数据抽取处理抽取部分数据存储到本地存储器中，其余数据设置相应的访问控制安全策略后存储至用户设定的云存储器中，解决了传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来的比较大的系统开销和繁琐，可以有效防止恶意用户或云存储管理员非法窃取、篡改用户的隐私数据，提高了需保密的数据存储的安全性能。

优选的，所述云存储加解密系统42主要由数据拥有者、属性机构、云、可信三方、用户五个实体构成，所述对需保密的数据进行加密或解密，包括：

(1)可信三方为用户和属性机构分别分配用户身份标识UAID和属性机构身份标识AID，包括：

A、进行初始化，可信三方设定系统参数为其中α为随机整数；

B、对于每个合法用户，可信三方分配UAID并为其生成证书：

$Certificate\left(UAID\right)=\hat{E}{\left(H\right(UAID),g)}^{C_{UAID}}$

同时，公布合法用户的身份验证参数其中，C_UAID∈Z_P；

C、为数据拥有者和合法用户生成身份密钥对；

(2)生成基于身份的加解密密钥、属性加解密密钥以及代理重加密密钥，其中所述基于身份的加解密密钥包括身份公钥GK_UAID和身份私钥CK_UAID，所述属性加解密密钥包括属性公钥GK_AID和属性私钥CK_AID:

${\mathrm{GK}}_{UAID}=\hat{E}{(g,g)}^{{\∝}_{AID}}$

${\mathrm{GK}}_{AID}=\{\∀x\∈{\mathrm{AS}}_{AID}:{\mathrm{GK}}_x=H{\left(x\right)}^{B_x{\mathrm{\β}}_{AID}}\}$

CK_UAID＝(∝_AID,β_AID)

${\mathrm{CK}}_{AID}=(K_0=g^{{\∝}_{AID}}{g}^{\mathrm{\α}\mathrm{\γ}},K_1=g^{\mathrm{\α}\mathrm{\γ}},\∀x\∈{\mathrm{AS}}_{UAID,AID}:K_x={\left(x\right)}^{B_x{\mathrm{\β}}_{AID}\mathrm{\γ}})$

其中，AS_AID为单个属性机构能够分配的属性集合，GK_x为属性x的公钥，B_x为属性x的版本号，∝_AID为属性机构的私钥参数，β_AID为属性更新参数，AS_UAID,AID为根据属性机构的身份分配的属性集合，γ为属性机构随机选择的参数，γ,∝_AID,β_AID∈Z_P；

(3)云存储加解密系统42利用数据密钥对数据进行数据加密，得到密文CT，然后分别利用身份公钥和属性公钥对数据密钥加密，生成身份密钥密文CT_U和属性密钥密文CT_A，包括：

A、随机生成两个固定长度的字符串IK,AK，合并生成数据密钥DK：

DK＝IK||AK

B、利用数据密钥DK对相应数据进行数据加密，得到密文CT后，利用属性公钥对AK加密，生成属性密钥密文CT_A，利用身份公钥对IK加密，生成身份密钥密文CT_U；

(4)进行代理重加密，当收到用户的数据请求时，云利用代理重加密密钥将身份密钥密文CT_U转化为指定用户可解密的密文，其中所述代理重加密密钥由数据拥有者用自身私钥和身份公钥计算生成；

(5)进行数据解密时，用户收到数据后，分别利用身份私钥CK_UAID和属性私钥CK_AID解密身份密钥密文CT_U和属性密钥密文CT_A，然后重构数据密钥，解密密文CT；

(6)进行属性和身份密钥的更新。

本优选实施例通过设置云存储加解密系统42，能够实现对多类型的数据的细粒度访问控制和隐私保护，同时抵御用户和属性机构共谋；对需保密的数据，分别构造基于身份的加解密密钥、属性加解密密钥，合并构成数据加密密钥对该数据进行加密，从而只有同时满足身份和属性双重条件的用户可以解密，极大提高了数据管理器4的安全性能。

在此应用场景中，更新周期T取7，系统的安全性相对提高了11％。

应用场景3

参见图1、图2，本应用场景的一个实施例的适于大数据的消费信息备份管理系统，包括实时备份存储器1、整机备份存储器2、通信装置3、数据管理器4和连接控制器5；所述实时备份存储器1通过通信装置3连接大数据平台的数据服务器；所述整机备份存储器2间断性地通过所述通信装置3连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器5用于控制所述通信装置3的连接和断开状态；所述数据管理器4用于保障数据备份、存储期间的数据安全。

优选的，所述实时备份存储器1包括多组存储硬盘阵列，并且所述整机备份存储器2包括云存储器。

本发明上述实施例利用实时备份存储器1和整机备份存储器2两个不同级别的存储体系接入大数据平台，大数据平台的数据服务器可以选择将其一部分数据实时写入实时备份存储器1，也可以选择将其保存的数据定时、间断和批量写入整机备份存储器2。实时备份存储器1保持实时备份、快速读写的优点；而整机备份存储器2可以作为冗余备份的主要资源，其存储容量大于实时备份存储器1，相应的，其读写速度可以低于实时备份存储器1，安全配置可低于实时备份存储器1，并且不与数据服务器保持始终连接，处于间歇性工作状态，节约了运行所需资源，从而解决了上述的技术问题。

优选的，所述实时备份存储器1具有连接到大数据平台的实时读取端口。

本优选实施例设置实时读取端口，实现了数据的实时传输。

优选的，所述数据管理器4包括数据检索系统40、数据预处理系统41、云存储加解密系统42、控制系统43和安全管理中心43；所述数据检索系统40用于对需要读取的数据进行检索查询；所述数据预处理系统41用于在存储或传输数据时对需保密的数据进行预处理；所述云存储加解密系统42用于按照优化的访问控制安全策略对需保密的数据进行加密或解密；所述安全管理中心43用于对各系统安全进行统一监控管理。

本优选实施例构建了数据管理器4的系统结构。

优选的，所述对需要读取的数据进行检索查询，包括：建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

本优选实施例采用目录检索和搜索引擎结合的检索算法，能够快速、准确的获取数据。

优选的，所述对各系统安全进行统一监控管理，包括：

(1)针对数据检索系统40、数据预处理系统41、云存储加解密系统42不同的安全防护要求采取对应的安全防护技术，配备相关的安全防护设备，形成完整的安全防护体制；

(2)建立有效的数据安全策略，对数据存储、传输、访问过程中的安全进行综合考虑，不仅对数据进行加密，同时对数据的传输协议进行加密；

(3)建立病毒和木马防御机制，定期更新病毒库和升级防火墙，更新周期为T，T取值为6-10天，对检测到的异常数据要进行分析，并发出预警。

本优选实施例实现了对各系统安全的统一监控管理。

优选的，所述数据预处理系统41包括数据分割单元、数据抽取单元和访问控制安全策略优化单元，所述数据分割单元用于对需保密的数据分割成多个互斥的数据集合；所述数据抽取单元用于对所述互斥的数据集合按照自定义的排序规则进行排序，将每个数据集合中的第一个数据单元按序抽取出来，与所述排序规则一起保存作为小块数据，将小块数据存储至本地存储器，并采用用户定义的加密技术对小块数据进行加密，剩余数据交付云存储加解密系统42进行处理；其中所述互斥表示数据集合中的两两数据单元之间不存在任何关联；所述访问控制安全策略优化单元用于基于细粒度资源分割的访问控制安全策略优化方法生成系统的访问控制安全策略，包括：

(1)基于被数据抽取单元处理后的互斥的数据集合，构建层次化数据数结构，所述层次化数据树结构为三层数据树结构，其包括服务层、逻辑层和物理层，所述服务层为与数据调度服务相关的树根节点，所述逻辑层为访问控制安全策略中关联的数据，所述物理层包含所有互斥的数据集合中的数据单元；

(2)基于访问控制标记语言XACML制定针对不同安全等级的数据的访问控制安全策略，将访问控制安全策略中与数据关联的规则投影到所述互斥的数据集合中的数据单元上，从而将访问控制安全策略中的规则细化到数据维度；

(3)在每个所述互斥的数据集合中的数据单元上进行规则优化，以删除分配在每个数据单元上的规则的冲突和冗余；

(4)合并优化后的规则，生成优化的访问控制安全策略。

本优选实施例设置数据预处理系统41，先对需保密的数据进行数据分割和数据抽取处理，再进行访问控制安全策略中的规则细化，可以减少数据存储的物理存储空间，降低存储的开销，并消除访问控制安全策略中的冲突和冗余，提高访问控制决策效率；通过数据抽取处理抽取部分数据存储到本地存储器中，其余数据设置相应的访问控制安全策略后存储至用户设定的云存储器中，解决了传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来的比较大的系统开销和繁琐，可以有效防止恶意用户或云存储管理员非法窃取、篡改用户的隐私数据，提高了需保密的数据存储的安全性能。

优选的，所述云存储加解密系统42主要由数据拥有者、属性机构、云、可信三方、用户五个实体构成，所述对需保密的数据进行加密或解密，包括：

(1)可信三方为用户和属性机构分别分配用户身份标识UAID和属性机构身份标识AID，包括：

A、进行初始化，可信三方设定系统参数为其中α为随机整数；

B、对于每个合法用户，可信三方分配UAID并为其生成证书：

$Certificate\left(UAID\right)=\hat{E}{\left(H\right(UAID),g)}^{C_{UAID}}$

同时，公布合法用户的身份验证参数其中，C_UAID∈Z_P；

C、为数据拥有者和合法用户生成身份密钥对；

(2)生成基于身份的加解密密钥、属性加解密密钥以及代理重加密密钥，其中所述基于身份的加解密密钥包括身份公钥GK_UAID和身份私钥CK_UAID，所述属性加解密密钥包括属性公钥GK_AID和属性私钥CK_AID:

${\mathrm{GK}}_{UAID}=\hat{E}{(g,g)}^{{\∝}_{AID}}$

${\mathrm{GK}}_{AID}=\{\∀x\∈{\mathrm{AS}}_{AID}:{\mathrm{GK}}_x=H{\left(x\right)}^{B_x{\mathrm{\β}}_{AID}}\}$

CK_UAID＝(∝_AID,β_AID)

${\mathrm{CK}}_{AID}=(K_0=g^{{\∝}_{AID}}{g}^{\mathrm{\α}\mathrm{\γ}},K_1=g^{\mathrm{\α}\mathrm{\γ}},\∀x\∈{\mathrm{AS}}_{UAID,AID}:K_x={\left(x\right)}^{B_x{\mathrm{\β}}_{AID}\mathrm{\γ}})$

其中，AS_AID为单个属性机构能够分配的属性集合，GK_x为属性x的公钥，B_x为属性x的版本号，∝_AID为属性机构的私钥参数，β_AID为属性更新参数，AS_UAID,AI％为根据属性机构的身份分配的属性集合，γ为属性机构随机选择的参数，γ,∝_AID,β_AID∈Z_P；

(3)云存储加解密系统42利用数据密钥对数据进行数据加密，得到密文CT，然后分别利用身份公钥和属性公钥对数据密钥加密，生成身份密钥密文CT_U和属性密钥密文CT_A，包括：

A、随机生成两个固定长度的字符串IK,AK，合并生成数据密钥DK：

DK＝IK||AK

B、利用数据密钥DK对相应数据进行数据加密，得到密文CT后，利用属性公钥对AK加密，生成属性密钥密文CT_A，利用身份公钥对IK加密，生成身份密钥密文CT_U；

(4)进行代理重加密，当收到用户的数据请求时，云利用代理重加密密钥将身份密钥密文CT_U转化为指定用户可解密的密文，其中所述代理重加密密钥由数据拥有者用自身私钥和身份公钥计算生成；

(5)进行数据解密时，用户收到数据后，分别利用身份私钥CK_UAID和属性私钥CK_AID解密身份密钥密文CT_U和属性密钥密文CT_A，然后重构数据密钥，解密密文CT；

(6)进行属性和身份密钥的更新。

本优选实施例通过设置云存储加解密系统42，能够实现对多类型的数据的细粒度访问控制和隐私保护，同时抵御用户和属性机构共谋；对需保密的数据，分别构造基于身份的加解密密钥、属性加解密密钥，合并构成数据加密密钥对该数据进行加密，从而只有同时满足身份和属性双重条件的用户可以解密，极大提高了数据管理器4的安全性能。

在此应用场景中，更新周期T取8，系统的安全性相对提高了10％。

应用场景4

参见图1、图2，本应用场景的一个实施例的适于大数据的消费信息备份管理系统，包括实时备份存储器1、整机备份存储器2、通信装置3、数据管理器4和连接控制器5；所述实时备份存储器1通过通信装置3连接大数据平台的数据服务器；所述整机备份存储器2间断性地通过所述通信装置3连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器5用于控制所述通信装置3的连接和断开状态；所述数据管理器4用于保障数据备份、存储期间的数据安全。

优选的，所述实时备份存储器1包括多组存储硬盘阵列，并且所述整机备份存储器2包括云存储器。

本发明上述实施例利用实时备份存储器1和整机备份存储器2两个不同级别的存储体系接入大数据平台，大数据平台的数据服务器可以选择将其一部分数据实时写入实时备份存储器1，也可以选择将其保存的数据定时、间断和批量写入整机备份存储器2。实时备份存储器1保持实时备份、快速读写的优点；而整机备份存储器2可以作为冗余备份的主要资源，其存储容量大于实时备份存储器1，相应的，其读写速度可以低于实时备份存储器1，安全配置可低于实时备份存储器1，并且不与数据服务器保持始终连接，处于间歇性工作状态，节约了运行所需资源，从而解决了上述的技术问题。

优选的，所述实时备份存储器1具有连接到大数据平台的实时读取端口。

本优选实施例设置实时读取端口，实现了数据的实时传输。

优选的，所述数据管理器4包括数据检索系统40、数据预处理系统41、云存储加解密系统42、控制系统43和安全管理中心43；所述数据检索系统40用于对需要读取的数据进行检索查询；所述数据预处理系统41用于在存储或传输数据时对需保密的数据进行预处理；所述云存储加解密系统42用于按照优化的访问控制安全策略对需保密的数据进行加密或解密；所述安全管理中心43用于对各系统安全进行统一监控管理。

本优选实施例构建了数据管理器4的系统结构。

优选的，所述对需要读取的数据进行检索查询，包括：建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

本优选实施例采用目录检索和搜索引擎结合的检索算法，能够快速、准确的获取数据。

优选的，所述对各系统安全进行统一监控管理，包括：

(1)针对数据检索系统40、数据预处理系统41、云存储加解密系统42不同的安全防护要求采取对应的安全防护技术，配备相关的安全防护设备，形成完整的安全防护体制；

(2)建立有效的数据安全策略，对数据存储、传输、访问过程中的安全进行综合考虑，不仅对数据进行加密，同时对数据的传输协议进行加密；

(3)建立病毒和木马防御机制，定期更新病毒库和升级防火墙，更新周期为T，T取值为6-10天，对检测到的异常数据要进行分析，并发出预警。

本优选实施例实现了对各系统安全的统一监控管理。

优选的，所述数据预处理系统41包括数据分割单元、数据抽取单元和访问控制安全策略优化单元，所述数据分割单元用于对需保密的数据分割成多个互斥的数据集合；所述数据抽取单元用于对所述互斥的数据集合按照自定义的排序规则进行排序，将每个数据集合中的第一个数据单元按序抽取出来，与所述排序规则一起保存作为小块数据，将小块数据存储至本地存储器，并采用用户定义的加密技术对小块数据进行加密，剩余数据交付云存储加解密系统42进行处理；其中所述互斥表示数据集合中的两两数据单元之间不存在任何关联；所述访问控制安全策略优化单元用于基于细粒度资源分割的访问控制安全策略优化方法生成系统的访问控制安全策略，包括：

(1)基于被数据抽取单元处理后的互斥的数据集合，构建层次化数据数结构，所述层次化数据树结构为三层数据树结构，其包括服务层、逻辑层和物理层，所述服务层为与数据调度服务相关的树根节点，所述逻辑层为访问控制安全策略中关联的数据，所述物理层包含所有互斥的数据集合中的数据单元；

(2)基于访问控制标记语言XACML制定针对不同安全等级的数据的访问控制安全策略，将访问控制安全策略中与数据关联的规则投影到所述互斥的数据集合中的数据单元上，从而将访问控制安全策略中的规则细化到数据维度；

(3)在每个所述互斥的数据集合中的数据单元上进行规则优化，以删除分配在每个数据单元上的规则的冲突和冗余；

(4)合并优化后的规则，生成优化的访问控制安全策略。

本优选实施例设置数据预处理系统41，先对需保密的数据进行数据分割和数据抽取处理，再进行访问控制安全策略中的规则细化，可以减少数据存储的物理存储空间，降低存储的开销，并消除访问控制安全策略中的冲突和冗余，提高访问控制决策效率；通过数据抽取处理抽取部分数据存储到本地存储器中，其余数据设置相应的访问控制安全策略后存储至用户设定的云存储器中，解决了传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来的比较大的系统开销和繁琐，可以有效防止恶意用户或云存储管理员非法窃取、篡改用户的隐私数据，提高了需保密的数据存储的安全性能。

优选的，所述云存储加解密系统42主要由数据拥有者、属性机构、云、可信三方、用户五个实体构成，所述对需保密的数据进行加密或解密，包括：

(1)可信三方为用户和属性机构分别分配用户身份标识UAID和属性机构身份标识AID，包括：

A、进行初始化，可信三方设定系统参数为其中α为随机整数；

B、对于每个合法用户，可信三方分配UAID并为其生成证书：

$Certificate\left(UAID\right)=\hat{E}{\left(H\right(UAID),g)}^{C_{UAID}}$

同时，公布合法用户的身份验证参数其中，C_UAID∈Z_P；

C、为数据拥有者和合法用户生成身份密钥对；

(2)生成基于身份的加解密密钥、属性加解密密钥以及代理重加密密钥，其中所述基于身份的加解密密钥包括身份公钥GK_UAID和身份私钥CK_UAID，所述属性加解密密钥包括属性公钥GK_AID和属性私钥CK_AID:

${\mathrm{GK}}_{UAID}=\hat{E}{(g,g)}^{{\∝}_{AID}}$

${\mathrm{GK}}_{AID}=\{\∀x\∈{\mathrm{AS}}_{AID}:{\mathrm{GK}}_x=H{\left(x\right)}^{B_x{\mathrm{\β}}_{AID}}\}$

CK_UAID＝(∝_AID,β_AID)

${\mathrm{CK}}_{AID}=(K_0=g^{{\∝}_{AID}}{g}^{\mathrm{\α}\mathrm{\γ}},K_1=g^{\mathrm{\α}\mathrm{\γ}},\∀x\∈{\mathrm{AS}}_{UAID,AID}:K_x={\left(x\right)}^{B_x{\mathrm{\β}}_{AID}\mathrm{\γ}})$

其中，AS_AID为单个属性机构能够分配的属性集合，GK_x为属性x的公钥，B_x为属性x的版本号，∝_AID为属性机构的私钥参数，β_AID为属性更新参数，AS_UAID,AID为根据属性机构的身份分配的属性集合，γ为属性机构随机选择的参数，γ,∝_AID,β_AID∈Z_P；

(3)云存储加解密系统42利用数据密钥对数据进行数据加密，得到密文CT，然后分别利用身份公钥和属性公钥对数据密钥加密，生成身份密钥密文CT_U和属性密钥密文CT_A，包括：

A、随机生成两个固定长度的字符串IK,AK，合并生成数据密钥DK：

DK＝IK||AK

B、利用数据密钥DK对相应数据进行数据加密，得到密文CT后，利用属性公钥对AK加密，生成属性密钥密文CT_A，利用身份公钥对IK加密，生成身份密钥密文CT_U；

(4)进行代理重加密，当收到用户的数据请求时，云利用代理重加密密钥将身份密钥密文CT_U转化为指定用户可解密的密文，其中所述代理重加密密钥由数据拥有者用自身私钥和身份公钥计算生成；

(5)进行数据解密时，用户收到数据后，分别利用身份私钥CK_UAID和属性私钥CK_AID解密身份密钥密文CT_U和属性密钥密文CT_A，然后重构数据密钥，解密密文CT；

(6)进行属性和身份密钥的更新。

本优选实施例通过设置云存储加解密系统42，能够实现对多类型的数据的细粒度访问控制和隐私保护，同时抵御用户和属性机构共谋；对需保密的数据，分别构造基于身份的加解密密钥、属性加解密密钥，合并构成数据加密密钥对该数据进行加密，从而只有同时满足身份和属性双重条件的用户可以解密，极大提高了数据管理器4的安全性能。

在此应用场景中，更新周期T取9，系统的安全性相对提高了9％。

应用场景5

参见图1、图2，本应用场景的一个实施例的适于大数据的消费信息备份管理系统，包括实时备份存储器1、整机备份存储器2、通信装置3、数据管理器4和连接控制器5；所述实时备份存储器1通过通信装置3连接大数据平台的数据服务器；所述整机备份存储器2间断性地通过所述通信装置3连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器5用于控制所述通信装置3的连接和断开状态；所述数据管理器4用于保障数据备份、存储期间的数据安全。

优选的，所述实时备份存储器1包括多组存储硬盘阵列，并且所述整机备份存储器2包括云存储器。

本发明上述实施例利用实时备份存储器1和整机备份存储器2两个不同级别的存储体系接入大数据平台，大数据平台的数据服务器可以选择将其一部分数据实时写入实时备份存储器1，也可以选择将其保存的数据定时、间断和批量写入整机备份存储器2。实时备份存储器1保持实时备份、快速读写的优点；而整机备份存储器2可以作为冗余备份的主要资源，其存储容量大于实时备份存储器1，相应的，其读写速度可以低于实时备份存储器1，安全配置可低于实时备份存储器1，并且不与数据服务器保持始终连接，处于间歇性工作状态，节约了运行所需资源，从而解决了上述的技术问题。

优选的，所述实时备份存储器1具有连接到大数据平台的实时读取端口。

本优选实施例设置实时读取端口，实现了数据的实时传输。

优选的，所述数据管理器4包括数据检索系统40、数据预处理系统41、云存储加解密系统42、控制系统43和安全管理中心43；所述数据检索系统40用于对需要读取的数据进行检索查询；所述数据预处理系统41用于在存储或传输数据时对需保密的数据进行预处理；所述云存储加解密系统42用于按照优化的访问控制安全策略对需保密的数据进行加密或解密；所述安全管理中心43用于对各系统安全进行统一监控管理。

本优选实施例构建了数据管理器4的系统结构。

优选的，所述对需要读取的数据进行检索查询，包括：建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

本优选实施例采用目录检索和搜索引擎结合的检索算法，能够快速、准确的获取数据。

优选的，所述对各系统安全进行统一监控管理，包括：

(1)针对数据检索系统40、数据预处理系统41、云存储加解密系统42不同的安全防护要求采取对应的安全防护技术，配备相关的安全防护设备，形成完整的安全防护体制；

(2)建立有效的数据安全策略，对数据存储、传输、访问过程中的安全进行综合考虑，不仅对数据进行加密，同时对数据的传输协议进行加密；

(3)建立病毒和木马防御机制，定期更新病毒库和升级防火墙，更新周期为T，T取值为6-10天，对检测到的异常数据要进行分析，并发出预警。

本优选实施例实现了对各系统安全的统一监控管理。

优选的，所述数据预处理系统41包括数据分割单元、数据抽取单元和访问控制安全策略优化单元，所述数据分割单元用于对需保密的数据分割成多个互斥的数据集合；所述数据抽取单元用于对所述互斥的数据集合按照自定义的排序规则进行排序，将每个数据集合中的第一个数据单元按序抽取出来，与所述排序规则一起保存作为小块数据，将小块数据存储至本地存储器，并采用用户定义的加密技术对小块数据进行加密，剩余数据交付云存储加解密系统42进行处理；其中所述互斥表示数据集合中的两两数据单元之间不存在任何关联；所述访问控制安全策略优化单元用于基于细粒度资源分割的访问控制安全策略优化方法生成系统的访问控制安全策略，包括：

(1)基于被数据抽取单元处理后的互斥的数据集合，构建层次化数据数结构，所述层次化数据树结构为三层数据树结构，其包括服务层、逻辑层和物理层，所述服务层为与数据调度服务相关的树根节点，所述逻辑层为访问控制安全策略中关联的数据，所述物理层包含所有互斥的数据集合中的数据单元；

(2)基于访问控制标记语言XACML制定针对不同安全等级的数据的访问控制安全策略，将访问控制安全策略中与数据关联的规则投影到所述互斥的数据集合中的数据单元上，从而将访问控制安全策略中的规则细化到数据维度；

(3)在每个所述互斥的数据集合中的数据单元上进行规则优化，以删除分配在每个数据单元上的规则的冲突和冗余；

(4)合并优化后的规则，生成优化的访问控制安全策略。

本优选实施例设置数据预处理系统41，先对需保密的数据进行数据分割和数据抽取处理，再进行访问控制安全策略中的规则细化，可以减少数据存储的物理存储空间，降低存储的开销，并消除访问控制安全策略中的冲突和冗余，提高访问控制决策效率；通过数据抽取处理抽取部分数据存储到本地存储器中，其余数据设置相应的访问控制安全策略后存储至用户设定的云存储器中，解决了传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来的比较大的系统开销和繁琐，可以有效防止恶意用户或云存储管理员非法窃取、篡改用户的隐私数据，提高了需保密的数据存储的安全性能。

优选的，所述云存储加解密系统42主要由数据拥有者、属性机构、云、可信三方、用户五个实体构成，所述对需保密的数据进行加密或解密，包括：

(1)可信三方为用户和属性机构分别分配用户身份标识UAID和属性机构身份标识AID，包括：

A、进行初始化，可信三方设定系统参数为其中α为随机整数；

B、对于每个合法用户，可信三方分配UAID并为其生成证书：

$Certificate\left(UAID\right)=\hat{E}{\left(H\right(UAID),g)}^{C_{UAID}}$

同时，公布合法用户的身份验证参数其中，C_UAID∈Z_P；

C、为数据拥有者和合法用户生成身份密钥对；

(2)生成基于身份的加解密密钥、属性加解密密钥以及代理重加密密钥，其中所述基于身份的加解密密钥包括身份公钥GK_UAID和身份私钥CK_UAID，所述属性加解密密钥包括属性公钥GK_AID和属性私钥CK_AID:

${\mathrm{GK}}_{UAID}=\hat{E}{(g,g)}^{{\∝}_{AID}}$

${\mathrm{GK}}_{AID}=\{\∀x\∈{\mathrm{AS}}_{AID}:{\mathrm{GK}}_x=H{\left(x\right)}^{B_x{\mathrm{\β}}_{AID}}\}$

CK_UAID＝(∝_AID,β_AID)

${\mathrm{CK}}_{AID}=(K_0=g^{{\∝}_{AID}}{g}^{\mathrm{\α}\mathrm{\γ}},K_1=g^{\mathrm{\α}\mathrm{\γ}},\∀x\∈{\mathrm{AS}}_{UAID,AID}:K_x={\left(x\right)}^{B_x{\mathrm{\β}}_{AID}\mathrm{\γ}})$

其中，AS_AID为单个属性机构能够分配的属性集合，GK_x为属性x的公钥，B_x为属性x的版本号，∝_AID为属性机构的私钥参数，β_AID为属性更新参数，AS_UAID,AID为根据属性机构的身份分配的属性集合，γ为属性机构随机选择的参数，γ,∝_AID,β_AID∈Z_P；

(3)云存储加解密系统42利用数据密钥对数据进行数据加密，得到密文CT，然后分别利用身份公钥和属性公钥对数据密钥加密，生成身份密钥密文CT_U和属性密钥密文CT_A，包括：

A、随机生成两个固定长度的字符串IK,AK，合并生成数据密钥DK：

DK＝IK||AK

B、利用数据密钥DK对相应数据进行数据加密，得到密文CT后，利用属性公钥对AK加密，生成属性密钥密文CT_A，利用身份公钥对IK加密，生成身份密钥密文CT_U；

(4)进行代理重加密，当收到用户的数据请求时，云利用代理重加密密钥将身份密钥密文CT_U转化为指定用户可解密的密文，其中所述代理重加密密钥由数据拥有者用自身私钥和身份公钥计算生成；

(5)进行数据解密时，用户收到数据后，分别利用身份私钥CK_UAID和属性私钥CK_AID解密身份密钥密文CT_U和属性密钥密文CT_A，然后重构数据密钥，解密密文CT；

(6)进行属性和身份密钥的更新。

本优选实施例通过设置云存储加解密系统42，能够实现对多类型的数据的细粒度访问控制和隐私保护，同时抵御用户和属性机构共谋；对需保密的数据，分别构造基于身份的加解密密钥、属性加解密密钥，合并构成数据加密密钥对该数据进行加密，从而只有同时满足身份和属性双重条件的用户可以解密，极大提高了数据管理器4的安全性能。

在此应用场景中，更新周期T取10，系统的安全性相对提高了8％。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种适于大数据的消费信息备份管理系统，其特征在于，包括实时备份存储器、整机备份存储器、通信装置、数据管理器和连接控制器；所述实时备份存储器通过通信装置连接大数据平台的数据服务器；所述整机备份存储器间断性地通过所述通信装置连接大数据平台的数据服务器，以及间断性地与大数据平台的数据服务器处于断开状态；所述连接控制器用于控制所述通信装置的连接和断开状态；所述数据管理器用于保障数据备份、存储期间的数据安全。

2.根据权利要求1所述的一种适于大数据的消费信息备份管理系统，其特征在于，所述实时备份存储器包括多组存储硬盘阵列，并且所述整机备份存储器包括云存储器。

3.根据权利要求2所述的一种适于大数据的消费信息备份管理系统，其特征在于，所述实时备份存储器具有连接到大数据平台的实时读取端口。