CN103442090B - 一种数据分散存储的云计算系统 - Google Patents

一种数据分散存储的云计算系统 Download PDF

Info

Publication number
CN103442090B
CN103442090B CN201310422718.5A CN201310422718A CN103442090B CN 103442090 B CN103442090 B CN 103442090B CN 201310422718 A CN201310422718 A CN 201310422718A CN 103442090 B CN103442090 B CN 103442090B
Authority
CN
China
Prior art keywords
server
cloud computing
data
user
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310422718.5A
Other languages
English (en)
Other versions
CN103442090A (zh
Inventor
叶良
顾才东
梁颖红
郭亮
李卫红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianju Dihe Suzhou Technology Co ltd
Original Assignee
Suzhou Vocational University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vocational University filed Critical Suzhou Vocational University
Priority to CN201310422718.5A priority Critical patent/CN103442090B/zh
Publication of CN103442090A publication Critical patent/CN103442090A/zh
Application granted granted Critical
Publication of CN103442090B publication Critical patent/CN103442090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据分散存储的云计算系统，包括：云计算服务器组；中间件服务器还包括数据分割模块和分配模块，用户向中间件服务器上传待计算数据包后，数据分割模块将待计算数据包分割成n个数据块，生成包含分割信息的文件，并将包含分割信息的文件与一个数据块绑定，分配模块将n个数据块分别存储至n个可支配云计算服务器；负载检测模块检测负载，负载最小的可支配服务器为当前服务器，分配模块将n‑1个数据块复制至当前服务器上，当前服务器依据分割信息，将n个数据块合并为数据包，并对合并后的数据包执行计算，得到计算结果。即使有其他用户试图访问该用户的数据，也只能访问到一部分，而不能访问到全部，从而保证了用户数据的安全性。

Description

一种数据分散存储的云计算系统
技术领域
本发明涉及一种数据分散存储的云计算系统。
背景技术
云计算的核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。云计算系统中，用户会向云计算服务器上传初始的待计算数据包，由云计算服务器对待计算数据包进行计算，将得到的计算结果返回给用户，从而实现计算服务。但是由于不同的用户都可以访问到云计算服务器上，用户数据的安全性就成为一个关键的问题。
发明内容
本发明提供了一种可以保证用户数据的安全性的云计算系统。
本发明提供的技术方案为：
一种数据分散存储的云计算系统，包括：
云计算服务器组，其包括有多个云计算服务器；
客户端；
中间件服务器，其上存储有多个云计算服务器的地址；
其中，用户通过客户端向中间件服务器提出注册请求，中间件服务器为用户分配一注册账号、一用户编码以及n个可支配云计算服务器，其中，用户的注册账号与用户编码具有关联关系；
中间件服务器还包括数据分割模块和分配模块，用户通过客户端向中间件服务器上传用户账号和待计算数据包后，中间件服务器接收到用户账号和待计算数据包，并根据用户账号，查询到与用户账号具有关联关系的用户编码，之后数据分割模块将待计算数据包分割成n个数据块，并在每个数据块内写入用户编码，数据分割模块还生成包含分割信息的文件，并将包含分割信息的文件与n个数据块中的一个数据块绑定，数据分割模块对包含分割信息的文件进行标记，分配模块生成一索引表，索引表包括n个数据块的分配地址，每个数据块的分配地址为一个可支配云计算服务器的地址，索引表存储在用户账号下，分配模块根据索引表，将n个数据块分别存储至n个可支配云计算服务器；
用户通过客户端向中间件服务器上传用户账号和计算请求时，中间件服务器根据用户账号，查询到索引表，获取n个数据块的分配地址，中间件服务器还包括负载检测模块，负载检测模块依次检测n个数据块所在的n个可支配云计算服务器的负载，得到负载最小的可支配云计算服务器，该负载最小的可支配服务器为当前服务器，分配模块依次在所述n个可支配云计算服务器上查找具有所述用户编码的数据块，并将分别位于其余的n-1个可支配云计算服务器上的n-1个数据块复制至当前服务器上，中间件服务器将计算请求发送至当前服务器上，当前服务器从n个数据块中查找到带有标记的包含分割信息的文件，依据分割信息，将n个数据块合并为数据包，并对合并后的数据包执行计算，得到计算结果，并将用户编码写入至计算结果；
当前服务器将计算结果返回至中间件服务器，根据用户编码，中间件服务器将计算结果存储至用户账号下，以供用户通过客户端下载。
优选的是，所述的数据分散存储的云计算系统中，用户通过客户端向中间件服务器上传用户账号和计算请求时，中间件服务器还生成一历史记录，该历史记录用于记录用户的计算请求，存储在用户账号下。
优选的是，所述的数据分散存储的云计算系统中，用户通过客户端下载计算结果时，所述历史记录还记录用户下载的计算结果的动作。
本发明所述的数据分散存储的云计算系统具有以下有益效果：
(1)本发明的云计算系统中，用户不直接向云计算服务器上传待计算数据包和计算请求，用户首先向中间件服务器上传待计算数据包，由中间件服务器的数据分割模块将待计算数据包分割成n个数据块，并由分配模块为每个数据块分配一个可支配云计算服务器的地址，这样就是将一个待计算数据包分成几部分，并分别存储至n个可支配云计算服务器，即使有其他用户试图访问该用户的数据，也只能访问到一部分，而不能访问到全部，并且从这一部分也难以推知待计算数据包的整体，从而保证了用户数据的安全性；
(2)数据分割模块生成包含分割信息的文件，该文件被与随机选择的一个数据块绑定，也保证了用户数据的安全性；
(3)用户向中间件服务器上传计算请求，负载检测模块依次检测n个可支配云计算服务器，得到负载最小的云计算服务器(即当前服务器)，将其余的n-1个数据块复制至该当前服务器，当前服务器查找到带有标记的包含分割信息的文件，将n个数据块合并，并计算，这样可以根据可支配云计算服务器的负载情况，具体分配由哪一个可支配云计算服务器执行计算，有助于整个云计算系统的负载平衡，并且，动态确定可支配云计算服务器，也保证计算过程的安全性；
(4)用户不同时上传待计算数据包和计算请求，用户可以先上传待计算数据包，再上传计算请求，提高了系统的灵活性。
附图说明
图1为本发明所述的数据分散存储的云计算系统的结构示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明提供一种数据分散存储的云计算系统，包括：云计算服务器组，其包括有多个云计算服务器；客户端；中间件服务器，其上存储有多个云计算服务器的地址；其中，用户通过客户端向中间件服务器提出注册请求，中间件服务器为用户分配一注册账号、一用户编码以及n个可支配云计算服务器，其中，用户的注册账号与用户编码具有关联关系。
中间件服务器还包括数据分割模块和分配模块，用户通过客户端向中间件服务器上传用户账号和待计算数据包后，中间件服务器接收到用户账号和待计算数据包，并根据用户账号，查询到与用户账号具有关联关系的用户编码，之后数据分割模块将待计算数据包分割成n个数据块，并在每个数据块内写入用户编码，数据分割模块还生成包含分割信息的文件，并将包含分割信息的文件与n个数据块中的一个数据块绑定，数据分割模块对包含分割信息的文件进行标记，分配模块生成一索引表，索引表包括n个数据块的分配地址，每个数据块的分配地址为一个可支配云计算服务器的地址，索引表存储在用户账号下，分配模块根据索引表，将n个数据块分别存储至n个可支配云计算服务器。
数据分割模块将一个完整的待计算数据包分割成n个数据块，具体的分割方法可以采用现有技术，在此不加赘述。
为了方便调用数据块，数据分割模块将用户编码写入至每个数据块；为了实现数据块的合并，数据分割模块还生成包含分割信息的文件，该包含分割信息的文件绑定至其中任一个数据块，同时，还对包含有分割信息的文件进行标记。包含分割信息的文件被绑定至任意选择的一个数据块上，也使得即使有人非法获取了n个数据块中一个，也不能获取其他的数据块，更不能获取到包含分割信息的文件，也就不能获知整个待计算数据包的内容。
当在当前服务器上执行计算时，分配模块就依次在n个可支配云计算服务器上查找具有用户编码的数据块，从而找到所有的数据块，之后将n-1个数据块复制到当前服务器上；当前服务器依据标记查找到包含分割信息的文件，并依据分割信息，将n个数据块合并。
用户通过客户端向中间件服务器上传用户账号和计算请求时，中间件服务器根据用户账号，查询到索引表，获取n个数据块的分配地址，中间件服务器还包括负载检测模块，负载检测模块依次检测n个数据块所在的n个可支配云计算服务器的负载，得到负载最小的可支配云计算服务器，该负载最小的可支配服务器为当前服务器，分配模块依次在所述n个可支配云计算服务器上查找具有所述用户编码的数据块，并将分别位于其余的n-1个可支配云计算服务器上的n-1个数据块复制至当前服务器上，中间件服务器将计算请求发送至当前服务器上，当前服务器从n个数据块中查找到带有标记的包含分割信息的文件，依据分割信息，将n个数据块合并为数据包，并对合并后的数据包执行计算，得到计算结果，并将用户编码写入至计算结果。
负载检测模块依次检测n个可支配云计算服务器的负载，并确定出负载最小的可支配云计算服务器(称为当前服务器)。在当前服务器上执行计算，这是为了平衡整个云计算服务器组的负载，并且尽快完成计算，为用户及时提供计算结果。
分配模块查找到n-1个数据块后，将这n-1个数据块复制至当前服务器，这样实际上，n-1个数据块仍旧被存储在各自的服务器内，相当于备份。
当前服务器将计算结果返回至中间件服务器，根据用户编码，中间件服务器将计算结果存储至用户账号下，以供用户通过客户端下载。
所述的数据分散存储的云计算系统中，用户通过客户端向中间件服务器上传用户账号和计算请求时，中间件服务器还生成一历史记录，该历史记录用于记录用户的计算请求，存储在用户账号下。
所述的数据分散存储的云计算系统中，用户通过客户端下载计算结果时，所述历史记录还记录用户下载的计算结果的动作。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (3)

1.一种数据分散存储的云计算系统，其特征在于，包括：
云计算服务器组，其包括有多个云计算服务器；
客户端；
中间件服务器，其上存储有多个云计算服务器的地址；
其中，用户通过客户端向中间件服务器提出注册请求，中间件服务器为用户分配一注册账号、一用户编码以及n个可支配云计算服务器，其中，用户的注册账号与用户编码具有关联关系；
中间件服务器还包括数据分割模块和分配模块，用户通过客户端向中间件服务器上传用户账号和待计算数据包后，中间件服务器接收到用户账号和待计算数据包，并根据用户账号，查询到与用户账号具有关联关系的用户编码，之后数据分割模块将待计算数据包分割成n个数据块，并在每个数据块内写入用户编码，数据分割模块还生成包含分割信息的文件，并将包含分割信息的文件与n个数据块中的一个数据块绑定，数据分割模块对包含分割信息的文件进行标记，分配模块生成一索引表，索引表包括n个数据块的分配地址，每个数据块的分配地址为一个可支配云计算服务器的地址，索引表存储在用户账号下，分配模块根据索引表，将n个数据块分别存储至n个可支配云计算服务器；
用户通过客户端向中间件服务器上传用户账号和计算请求时，中间件服务器根据用户账号，查询到索引表，获取n个数据块的分配地址，中间件服务器还包括负载检测模块，负载检测模块依次检测n个数据块所在的n个可支配云计算服务器的负载，得到负载最小的可支配云计算服务器，该负载最小的可支配云计算服务器为当前服务器，分配模块依次在所述n个可支配云计算服务器上查找具有所述用户编码的数据块，并将分别位于其余的n-1个可支配云计算服务器上的n-1个数据块复制至当前服务器上，中间件服务器将计算请求发送至当前服务器上，当前服务器从n个数据块中查找到带有标记的包含分割信息的文件，依据分割信息，将n个数据块合并为数据包，并对合并后的数据包执行计算，得到计算结果，并将用户编码写入至计算结果；
当前服务器将计算结果返回至中间件服务器，根据用户编码，中间件服务器将计算结果存储至用户账号下，以供用户通过客户端下载。
2.如权利要求1所述的数据分散存储的云计算系统，其特征在于，用户通过客户端向中间件服务器上传用户账号和计算请求时，中间件服务器还生成一历史记录，该历史记录用于记录用户的计算请求，存储在用户账号下。
3.如权利要求2所述的数据分散存储的云计算系统，其特征在于，用户通过客户端下载计算结果时，所述历史记录还记录用户下载计算结果的动作。
CN201310422718.5A 2013-09-16 2013-09-16 一种数据分散存储的云计算系统 Active CN103442090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310422718.5A CN103442090B (zh) 2013-09-16 2013-09-16 一种数据分散存储的云计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310422718.5A CN103442090B (zh) 2013-09-16 2013-09-16 一种数据分散存储的云计算系统

Publications (2)

Publication Number Publication Date
CN103442090A CN103442090A (zh) 2013-12-11
CN103442090B true CN103442090B (zh) 2016-08-17

Family

ID=49695755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310422718.5A Active CN103442090B (zh) 2013-09-16 2013-09-16 一种数据分散存储的云计算系统

Country Status (1)

Country Link
CN (1) CN103442090B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615551A (zh) * 2015-02-09 2015-05-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN105245624B (zh) * 2015-11-17 2018-09-18 浪潮(北京)电子信息产业有限公司 一种云存储文件系统
CN106959820B (zh) * 2016-01-11 2020-05-01 杭州海康威视数字技术股份有限公司 一种数据提取方法和系统
CN106407297A (zh) * 2016-08-31 2017-02-15 成都科来软件有限公司 一种数据包下载管理系统及方法
CN106855833A (zh) * 2016-12-02 2017-06-16 航天星图科技（北京）有限公司 一种数据校验方法
CN108156187B (zh) * 2016-12-02 2019-04-09 中科星图股份有限公司 一种云服务系统
CN107483612A (zh) * 2017-08-31 2017-12-15 郑州云海信息技术有限公司 一种云存储数据隐私保护方法及装置
CN108415962A (zh) * 2018-02-06 2018-08-17 国家电网公司 一种云存储系统
CN109032808B (zh) * 2018-08-10 2021-09-24 马鞍山百助网络科技有限公司 云计算系统
CN109445710A (zh) * 2018-11-05 2019-03-08 常熟理工学院 基于云服务器存储的云端数据存储陈列方法及系统
CN111193785B (zh) * 2019-12-20 2023-05-02 北京淇瑀信息科技有限公司 一种文件切割传输方法、装置和电子设备
WO2021237467A1 (zh) * 2020-05-26 2021-12-02 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
CN115203758B (zh) * 2022-07-21 2023-11-07 北京国联视讯信息技术股份有限公司 一种数据安全存储方法、系统及云平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255974A (zh) * 2011-08-24 2011-11-23 无锡中科方德软件有限公司 一种云计算服务器的云存储方法
CN102307233A (zh) * 2011-08-24 2012-01-04 无锡中科方德软件有限公司 一种云计算服务器的云计算方法
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
CN103067525A (zh) * 2013-01-18 2013-04-24 广东工业大学 一种基于特征码的云存储数据备份方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544480B1 (ko) * 2010-12-24 2015-08-13 주식회사 케이티 복수 개의 프락시 서버를 포함하는 분산 저장 시스템 및 그 오브젝트 관리 방법 및 컴퓨터에 의하여 독출가능한 저장 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
CN102255974A (zh) * 2011-08-24 2011-11-23 无锡中科方德软件有限公司 一种云计算服务器的云存储方法
CN102307233A (zh) * 2011-08-24 2012-01-04 无锡中科方德软件有限公司 一种云计算服务器的云计算方法
CN103067525A (zh) * 2013-01-18 2013-04-24 广东工业大学 一种基于特征码的云存储数据备份方法

Also Published As

Publication number Publication date
CN103442090A (zh) 2013-12-11

Similar Documents

Publication Publication Date Title
CN103442090B (zh) 一种数据分散存储的云计算系统
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
US20110307457A1 (en) Integrated duplicate elimination system, data storage device, and server device
US20140047444A1 (en) Virtual machine managing apparatus, virtual machine managing method, and program thereof
CN104506487B (zh) 云环境下隐私策略的可信执行方法
ATE548704T1 (de) Bereitstellung eines dienstes auf der basis von zugangsrechten zu gemeinsam benutzten daten
CN105556475A (zh) 请求处理技术
CN108351806A (zh) 分布式基于流的数据库触发器
US7657609B2 (en) Data transfer in a multi-environment document management system access
CN103118043A (zh) 一种用户账号的识别方法及设备
US9110820B1 (en) Hybrid data storage system in an HPC exascale environment
US20070011275A1 (en) Multi-environment document management system access
CN103119551A (zh) 优化的恢复
CN104156381A (zh) Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统
CN103888542A (zh) 云计算资源分配方法及系统
CA3088147A1 (en) Data isolation in distributed hash chains
EP2874059A1 (en) Personal cloud storage chain service system and method
CN106203179B (zh) 一种对文件的完整性校验系统及方法
CN109246248B (zh) 基于区块链技术的数据可信安全共享系统和方法
CN105243006A (zh) 基于流量实验的流量层设置及流量实验的实现方法和装置
Jaiman et al. TailX: Scheduling heterogeneous multiget queries to improve tail latencies in key-value stores
CN107844542A (zh) 一种分布式文件存储方法及装置
CN107393594A (zh) 一种多核固态硬盘调试方法及系统
US20180027049A1 (en) Computing system and method of operating the computer system
US20160253391A1 (en) Data communication in a distributed data grid

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20161025

Address after: 307 room 288, Zijin Eastern Mansion, No. 215000 Kai Lu, Suzhou Industrial Park, Jiangsu, China

Patentee after: SUZHOU THINKLAND TECHNOLOGY CO.,LTD.

Address before: 215104 Suzhou International Education Park, 106 Da Neng Road, Jiangsu, Suzhou Vocational University, room 322, science and technology office, Hui Lou

Patentee before: Suzhou vocational University

CP03 Change of name, title or address

Address after: 215000 room 307, Zijin Eastern Mansion, No. 288 Kai Jie street, Suzhou Industrial Park, Jiangsu

Patentee after: TIANJU DIHE (SUZHOU) DATA CO.,LTD.

Address before: 307 room 288, Zijin Eastern Mansion, No. 215000 Kai Lu, Suzhou Industrial Park, Jiangsu, China

Patentee before: SUZHOU THINKLAND TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address
CP01 Change in the name or title of a patent holder

Address after: Room 307, Zijin Oriental building, 288 Qiyue street, Suzhou Industrial Park, Jiangsu Province

Patentee after: Tianju DIHE (Suzhou) Technology Co.,Ltd.

Address before: Room 307, Zijin Oriental building, 288 Qiyue street, Suzhou Industrial Park, Jiangsu Province

Patentee before: TIANJU DIHE (SUZHOU) DATA CO.,LTD.

CP01 Change in the name or title of a patent holder