CN103368901A - 基于大规模离散数据的云计算系统 - Google Patents

Abstract

一种云计算系统，其包括：本地客户端；以及提供分布式资源并进行动态资源分配的平台系统，用于接收该本地客户端上传的原始数据并返回计算结果，其包括：数据提取模块，用于接收该原始数据，加密解密模块，其中，该数据提取模块和该加密解密模块同一时间只能被单个用户调用并对该原始数据进行处理，该加密解密模块在加密过程中生成密钥，并返回至该单个用户保管，并在接收该单个用户输入的该密钥后返回该计算结果到该本地客户端，以及数据计算模块，用于计算该加密解密模块加密后的原始数据，并将结果返回该加密解密模块，其中，该数据计算模块由所有用户共享，可同时被多个用户调用。

Description

基于大规模离散数据的云计算系统

技术领域

本发明涉及一种大规模数据处理系统，云计算系统及系统控制和数据加密方法。

背景技术

使用本地通信方法的大规模数据并行处理系统已经广为运用。在这种系统中，用户在本地将原始数据通过并行系统处理后将结果返回给用户。

近些年来，利用诸如云计算系统或软件即服务的模式(SaaS)将本地工具发展成为云计算系统很常见。通过互联网将客户计算机的数据发送给服务器计算机群，服务器计算机执行控制后，在由用户操作的客户计算机的画面上显示所接受到的内容。在云计算机系统中，利用大量计算资源分散的转换并处理数据。

每个用户将得到唯一密钥，并通过该密钥队数据进行加密和解密是一种常见的加密模式。但是在现行的加密模式中，安全性并不高，具体说来有如下缺点：云上内容未加密，可直接被人阅读；云的公开性比较好，如果加密解密放在云上，很可能产生泄露；如果不增加排他性，也可能产生泄露。

发明内容

本发明的目的在于提供一种大规模数据处理云计算系统，其能够安全地用云实现加密解密。

本发明的又一目的在于提供一种大规模数据处理云计算系统，其由内容生成密钥，并且每个用户保管自己所属的密钥，能够提高安全性和交互性，安全性体现在云上面并不包含实际文字内容，而只是被加密的内容，交互性体现在每一步流程都需要用户参与决定，从而克服现有的云的缺点。

本发明的又一目的在于提供一种大规模数据处理云计算系统，其加密解密的模块具有排他性，一旦有人调用，其他人就被禁止调用，进一步提高了本发明的安全性。

为达到以上目的，本发明提供一种云计算系统，其包括：

本地客户端；以及

提供分布式资源并进行动态资源分配的平台系统，用于接收该本地客户端上传的原始数据并返回计算结果，其包括：

数据提取模块，用于接收该原始数据，

加密解密模块，其中，该数据提取模块和该加密解密模块同一时间只能被单个用户调用并对该原始数据进行处理，该加密解密模块在加密过程中生成密钥，并返回至该单个用户保管，并在接收该单个用户输入的该密钥后返回该计算结果到该本地客户端，以及

数据计算模块，用于计算该加密解密模块加密后的原始数据，并将结果返回该加密解密模块，其中，该数据计算模块由所有用户共享，可同时被多个用户调用，

其中，进一步的，用户可以多次使用该系统，并且在再次使用时该数据计算模块提供智能校验功能，判断新数据与历史数据是否相符合。

本发明的这些目的，特点，和优点将会在下面的具体实施方式，附图，和权利要求中详细的揭露。

附图说明

图1例示了根据本发明实施例的大规模数据云计算系统的示例性结构。

图2例示了根据本发明实施例的大规模数据云计算系统中包含的各个装置的示例性功能结构。

图3例示了根据本发明实施例的大规模数据云计算系统的分配表的示例。

图4例示了根据本发明实施例的大规模数据云计算系统用户首次使用的一系列处理的序列的示例性流程。

图5例示了根据本发明实施例的大规模数据云计算系统用户再次使用的一系列处理的序列的示例性流程。

图6例示了根据本发明实施例的大规模数据云计算系统的初次使用流程图。

图7例示了根据本发明实施例的大规模数据云计算系统的再次使用流程图。

具体实施方式

请参见图1-7，本发明为一种云计算系统，包括

本地客户端105；以及

提供分布式资源并进行动态资源分配的平台系统102，用于接收该本地客户端105上传的原始数据并返回计算结果，其包括：

数据提取模块107，用于接收该原始数据，

加密解密模块108，其中，该数据提取模块107和该加密解密模块108同一时间只能被单个用户调用并对该原始数据进行处理，该加密解密模块108在加密过程中生成密钥，并返回至该单个用户保管，并在接收该单个用户输入的该密钥后返回该计算结果到该本地客户端105，以及

数据计算模块109，用于计算该加密解密模块108加密后的原始数据，并将结果返回该加密解密模块108，其中，该数据计算模块109由所有用户共享，可同时被多个用户调用。

用户在请求时分为首次使用和再次使用两种，再次使用可选不同的存档。

在请求后，资源分配单元会有限安排空闲的或者最早达到空闲的资源响应客户要求完成提取单元或者加密解密单元。当有新的用户请求时，会有安排新的资源，而不会影响正在进行中的用户的提取单元或者加密解密单元。其余的资源都会归入计算单元，由所有用户共享。

如为首次使用如S 1所示，则同时记录部分信息文件A；如为再次使用如S8所示则计算新提交文件的部分信息文件A’。并与历史文件A进行对比。如S9所示，如果A与A’不接近，则提示用户新数据错误并结束。反之，继续执行以下任务。

如为首次使用，则加密过程S3中，在108中生成密钥，并对107中提取的文件在108进行加密。同时将密钥传输给用户，在108中删除密钥。

如为再次使用，则如S11所示，要求用户提供密钥，如S12所示，用户提供密钥后在108中进行加密。

密钥格式由用户号和文档信息决定，因此通过用户密钥和用户信息也可以判断用户密钥是否出错。

如为首次使用，则如S5所示，将计算结果(beta和lambda)返回至108，并询问用户是否要保留以备以后使用。

如需要则根据S6所示，将用户信息，部分文件信息A和计算结果(beta和lambda)一起加密。

根据S7所示，要求用户提供密钥，得到密钥后解密并返回解密结果给用户。

如为再次使用，根据S 14所示，将结果返回至108并判断与历史结果是否接近。

如S15所示，如果不接近择提示输入新数据与原数据不匹配，并结束过程。

如S16所示，如果匹配则要求用户提供密钥，得到密钥后解密并返回解密结果给用户。

如S18所示，提示是否要保留结果。

如S19所示，如果选保留则对历史结果和部分信息文件A进行相应更新和加密。否则则直接结束过车。

输入文件

首先输入文件可以有多种类型的离散数据。比如有许多文字信息构成的文档。

举例如下一个网页

http://msn.ynet.com/view.jsp？oid＝76397151\pageno＝3

字典文件

字典文件是一个用于过滤输入文件的过滤器，仅包含一些重要的字。

举例如下是一个字典文件的部分的例子：

字典形态示例

1中华人民共和国

2中国

3中山

4种植

5种类

6肿瘤

7重量

利用字典将字典不包含的文字去除，在部分文字过滤后会成为如下形式，这是第一步压缩

春运 火车票 限购令 废止 恢复正常 资讯 春运 火车票 限购令废止 恢复正常 资讯 新闻 时事 娱乐 体育 新闻 专题 奥运 社会 法治 聚焦 评论 深度 网评 环球 论坛 图片 焦点 奇闻 真情 本文 导读今年 北京铁路局 火车票 实行 限购令 每人 每次 售票 窗口 最多只能 购买 卧铺 座席 火车 售票 不再 受限 恢复正常 相关新闻 北京西站 提前 进入 春运 高峰 上车 人数 广州 火车站 买票 难 购票者 黄牛党 胁迫 草根 客 拍下 春运 脸谱 每张 脸上 都写 故事 图 春运进入 叠加 高峰期 北 上 广 始发站 少量 铁道部 网站 消息 由于 客流 需求 全路 计划 加开 客车 其中 北京 局 加开 客车 上海 局 加开 客车 广铁 集团 加开 客车 窗口 开了 上海南站 北广场 春运 售票处 关闭 一直 人头攒动 上海 火车站 北广场 大卖场 昨日 冷清 许多 现场 工作人员 表示 北广场 春运 售票处 客流 情况 逐渐 减少开设 售票窗口 数量 昨天 上海火车站 北广场 大卖场 窗口中 开设了窗口 售票 以往 排队 大卖场 大棚 边缘 购票 队伍 缩短了 一大 平均 只有人 左右 由于 预售 高峰 结束 购票 人流 大幅 减少 大卖场原先 出口 关闭 改为 原先 入口 进出 汉口 票 来自 湖北 汉口 陈阿姨 匆忙 来回 大卖场 排队 人群中 因为 买不到票 原先 分别 两处的人 火车票 结果 买到 重复 陈阿姨饭

进一步把文字对应到相应的代码，同时把相同的词作汇总，形成A:B的形式，这里A是文字对应的代号，B是出现的次数，这是第二步的压缩

这个中间结果非常重要，暂时称它为“压缩后的输入文档”，是后面提到的加密的对象，同时又是分布文件A的来源。

过滤后形态示例

164:1，

382:1，

383:1，

395:1，

528:2，

531:2，

756:1，

789:1，

830:1，

860:1，

952:2，

1031:1，

3088:1，

3375:2，

3384:4，

3385:3，

3411:1，

3682:1

分布文件，新旧比较和更新。

这部分将叙述分布文件A的构成。简单的来说，就是统计整个文集中所有文档的“压缩后的输入文档”中的每行按照出现次数重新排列后按次序取前若干个出现频率最高的词，就构成了分布文件A。

以上文的为例，假设文集只有一个文档，则按多少重新排列后例

3384:4，

3385:3，

528:2，

531:2，

952:2，

3375:2

164:1，

382:1，

383:1，

395:1，

756:1，

789:1，

830:1，

860:1，

1031:1，

3088:1，

3411:1，

3682:1

在本例中分布文件A是依次取其中排列的词频最高的前100个词

即

A＝{3384；3385；528；531；952；3375；164；382；383；395；756；789；830；860；1031；3088；3411；3682；}

如何比较两次不同文集输入所产生的分布文件A和A′，在这里采用最直观的办法，直接看这两个集合有多少个词是重合的，如果重合比例超过某给定比例，例如50％，则认为他们是同一类文集，否则则认为不是同一类，在机器认为不是同一类文集的情况下，会提示说新输入的文集与旧文集可能不匹配，要求用户再次确认。

一般在数据处理完之后，需要把历史分布文件A和新输入的分布A′进行整合，更新为新的分布文件。更新的方法如下：

首先，对于A和A′中都存在的词必须保留。其他的词则是按照出现频率进行保留。

其次，具体操作的时候，由于A和A′都是按频率排列的，因此不妨假设它们共同有的单词依次为a1；a2；a3；...；ak。

那么A＝{a1；b11；...；b1n1；a2；b21；...b2n2；a3...}，也就是把A看作在ai；ai+1；之间插入一些词bi1；...；bini，如果ai；ai+1；在A中是直接联系的，那么对应ni为0，否则ni为插入的词的数量。类似

A′＝{a1；c11；...；c1m1；a2；c21；...c2m2；a3...}。不妨假设A和A′的大小是100，恰有50个单词是一致的，那必须从剩余的100个单词里选择50个单词。方法是依次选取c11；...；c1m1；b11；...；b1n1，c21；...c2m2；b21；...b2n2；…，直到有一个i如果m1+m2+m3+…mi-1+n1+n2+n3+…ni-1＝50则停止。不然则存在i使得m1+m2+m3+…mi-1+n1+n2+n3+…ni-1＜50，而m1+m2+m3+…mi+n1+n2+n3+…+ni＞50。那么记m＝50-m1+m2+m3+…mi-1+n1+n2+n3+…ni-1，需要在ci1；...；cimi；bi1；...；bini选取m个，这里用随机的方法选取，即每次从未被选取的部分里以等概率选一个，然后把这个选项从候选中删除，再在剩余的中间选下一个，直到m个都选择完毕。

加密解密算法

另一部分重要的结果是加密和解密算法，由于实际上必须对整个文集中所有文档做加密，因此不妨将文集看作一个文档，实际上操作的时候还是对每个文档分布操作。

两种形式的加密算法

在这里将介绍两种形式的加密算法，将自动生成一个密钥，通过密钥最终实现对表的加密和解密功能。

这里将说明两种加密算法，一直是基于RSA大素数分解的加密，另一种是纯随机算法。

首先注意到在如下例子″压缩后的输入文档″中，″：″左边对应字典里的序号，而加密需要做的就是把序号打乱。

164:1，

382:1，

383:1，

算法1

随机生成一个数字，比如12345对164进行一个平移。则在被加密的文件中显示为，

12509:1，

12727:1，

12728:1，

生成一个很大的质数(Prime Number)N至少有20位，将平移数字12345*N记在加密文件的最后，而N是返回给用户的密钥。

解密的时候

用户需要提供密钥，系统通过加密文件最后的数字，通过除法就得到平移数字，这里是12345。然后再将被加密的文件通过逆运算，即反向平移完成解密。

算法2

另一种是随机方法，方法是直接将这些部分进行重排，就以如上文件为例，不妨设文件大小就三行，形如

164:1，

382:1，

383:1，

希望对于

164

382

383

进行重新排列

进行随机重排是如下示例形式，对于第一行以1/3的概率将164重排为1，以1/3的概率重排为2，以1/3的概率重排为3。对于第二行，假设第一行已经选定为2，那么以1/2的概率对应于1，以1/2的概率对应于3。

最后一行则是对应于选剩下的那个数字。

于是作为一个例子，所对应的随机重排就是如下

164  1，

382  1，

383  1，

这个就是用户所得到密钥。用这个一一对应文件进行加密后就成为了如下形式

2:1，

3:1，

1:1，

因此具体到包含N个单词文档的加密，则是将这些数字a1，a2，...，aN分别对应到1，2，...，N。方法是

(a)初始化计数器i＝1，令集合Ω初始化为{1，2，...，N}，

(b)在Ω中以概率1/(N-i+1)选取一个数字对应于ai，将该数字记为bi，更新集合使得Ω中去掉bi，即Ω＝Ω\{bi}，

(c)计数器i增加1，并重复(b)的过程直到计数器达到N，

(d)得到ai和bi一一对应的文件序列，其就是给用户的该密钥，及

(e)解密的时候，利用用户的该密钥，对于每个bi只要返回相应的ai即可。

这个文件就是给用户的密钥

解密的时候，利用用户的密钥，对于每个bi只要返回相应的ai。

可以看出，这里的加密方式是以最大限度的保护用户的资料私密性为目的，无论是RSA方法还是随机方法，破解的难度都是非常的高。

下面将考虑并行是如何实现的，考虑一个计算共享硬盘但不共享内存的分布式并行算法。这里并行的关键是对于文集进行拆分，让不同的计算单元负责不同的文集的部分，。因此对于P个不同的计算单元，可以分配不同的文档，在这里计算单元分为了Master和Worker，其中Worker接受到被划分好的数据并进行工作，将结果返回到Master，Master将这些汇总。

通过上述实施例，本发明的目的已经被完全有效的达到了。熟悉该项技艺的人士应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (9)

1.一种云计算系统，包括：

本地客户端；以及

提供分布式资源并进行动态资源分配的平台系统，用于接收该本地客户端上传的原始数据并返回计算结果，其包括：

数据提取模块，用于接收该原始数据，

加密解密模块，其中，该数据提取模块和该加密解密模块同一时间只能被单个用户调用并对该原始数据进行处理，该加密解密模块在加密过程中生成密钥，并返回至该单个用户保管，并在接收该单个用户输入的该密钥后返回该计算结果到该本地客户端，以及

数据计算模块，用于计算该加密解密模块加密后的原始数据，并将结果返回该加密解密模块，其中，该数据计算模块由所有用户共享，可同时被多个用户调用。

2.根据权利要求1所述的云计算系统，其中，用户可以多次使用该系统，并且在再次使用时该数据计算模块提供智能校验功能，判断新数据与历史数据是否相符合。

3.根据权利要求2所述的云计算系统，其中，在请求后，该平台系统会有限安排空闲的或者最早达到空闲的资源响应客户要求完成的该数据提取模块或者该加密解密模块，当有新的用户请求时，会有安排新的资源，而不会影响正在进行中的用户的该数据提取模块或者该加密解密模块，其余的资源都会归入该数据计算模块，由所有用户共享。

4.根据权利要求3所述的云计算系统，其中，如为首次使用，则该数据提取模块同时记录第一部分信息文件；如为再次使用，则该数据提取模块计算新提交文件的第二部分信息文件，并与该第一部分信息文件进行对比，如果该第一部分信息文件与第二部分信息文件不接近，则提示用户新数据错误并结束；反之，如为首次使用，则在该加密解密模块中生成密钥，并对该数据提取模块中提取的文件在该加密解密模块进行加密，同时将密钥传输给用户，在该加密解密模块中删除该密钥，如为再次使用，则要求用户提供该密钥，并在用户提供该密钥后在该加密解密模块中进行加密。

5.根据权利要求4所述的云计算系统，其中，如为首次使用，则该将计算结果返回至加密解密模块，并询问用户是否要保留以备以后使用，如需要则将用户信息，该第一部分文件信息和计算结果一起加密，并要求用户提供该密钥，得到该密钥后解密并返回解密结果给用户。

6.根据权利要求4所述的云计算系统，其中，如为再次使用，将结果返回至加密解密模块并判断与历史结果是否接近，如果不接近择提示输入新数据与原数据不匹配，并结束过程，如果匹配则要求用户提供密钥，得到密钥后解密并返回解密结果给用户。

7.根据权利要求4所述的云计算系统，其中，提示是否要保留结果，如果选保留则对历史结果和该第一部分信息文件进行相应更新和加密，否则则直接结束过车。

8.根据权利要求4所述的云计算系统，其中，数据提取模块将在该第一部分信息文件中的关键字分别编号，该加密解密模块随机生成一个数字，对该关键字编号进行一个平移，然后该加密解密模块生成一个很大的质数乘以该平移数字，将结果记在加密文件的最后，作为返回给用户的该密钥，解密的时候用户需要提供该密钥，系统通过加密文件最后的数字，通过除法就得到平移数字，然后再将被加密的文件通过逆运算，即反向平移完成解密。

9.根据权利要求4所述的云计算系统，其中，该加密解密模块生成密钥的步骤如下：

(a)初始化计数器i＝1，令集合Ω初始化为{1，2，...，N}，

(b)在Ω中以概率1/(N-i+1)选取一个数字对应于ai，将该数字记为bi，更新集合使得Ω中去掉bi，即Ω＝Ω\{bi}，

(c)计数器i增加1，并重复(b)的过程直到计数器达到N，

(d)得到ai和bi一一对应的文件序列，其就是给用户的该密钥，及

(e)解密的时候，利用用户的该密钥，对于每个bi返回相应的ai。

Images