CN103442088A - 一种分组计算的云计算系统 - Google Patents
一种分组计算的云计算系统 Download PDFInfo
- Publication number
- CN103442088A CN103442088A CN2013104213407A CN201310421340A CN103442088A CN 103442088 A CN103442088 A CN 103442088A CN 2013104213407 A CN2013104213407 A CN 2013104213407A CN 201310421340 A CN201310421340 A CN 201310421340A CN 103442088 A CN103442088 A CN 103442088A
- Authority
- CN
- China
- Prior art keywords
- node
- memory
- group
- computing
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种分组计算的云计算系统。本发明的分组计算的云计算系统包括有a个空闲节点、b个存储节点和c个计算节点；对于每个符合条件的存储节点，管理节点都为其建立一个组，并依据其所具有的待计算数据包的个数为其分配计算节点，每个计算节点进行一个待计算数据包的计算，同时为该组分配一个代理节点，存储节点和计算节点仅与组内的节点通信，代理节点仅与管理节点通信；同时，对于不符合条件的存储节点，则允许其继续存储新的待计算数据包。基于上述设计，本发明可以保证整个云计算系统的有序的高效的运行；进行运算的存储节点不受外界的干扰，保证了数据的安全性。
Description
技术领域
本发明涉及一种分组计算的云计算系统。
背景技术
云计算的核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。具体来说，云计算(cloud computing)是分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。
一个基于云计算技术的计算机集群称为“云”。云计算具有以下特点：
(1)超大规模：“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力；
(2)虚拟化：云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置；
(3)高可靠性：“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠；
(4)通用性：云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行；
(5)高可扩展性：“云”的规模可以动态伸缩，满足应用和用户规模增长的需要；
(6)极其廉价：由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。
云计算系统整合了多个计算机，每个计算机都是系统中的一个节点，但是云计算系统中如何整合多个计算机，以实现高效的数据处理，则是一个需要研究的课题。
发明内容
针对上述技术问题，本发明提供了一种可实现高效的数据处理的分组计算的云计算系统。
本发明提供的技术方案为：
一种分组计算的云计算系统，包括：
a个空闲节点；
b个存储节点，每个存储节点存储有至少一个待计算数据包；
c个计算节点；
管理节点，其评估b个存储节点，并为符合条件的f个存储节点配置组，并为不符合条件的g个存储节点标记为g个空闲的存储节点，b＝f+g：
当一个存储节点的待计算数据包的个数d满足d≥5，并且，所有的待计算数据包的大小e大于等于该存储节点的存储空间的60％，则管理节点对该存储节点进行配置，配置过程为：管理节点为该存储节点建立一个组，并为该组再分配d个计算节点和一个空闲节点，在被管理节点分配给该组之前，该d个计算节点不属于任意一个组，所述管理节点将空闲节点配置为代理节点，设置代理节点可与组内的存储节点以及d个计算节点通信，并且设置存储节点和d个计算节点不与组外的任意节点通信，设置代理节点不与组外的与除管理节点以外的任意节点通信；
所述管理节点对一个存储节点配置完成后，代理节点与组内的d个计算节点通信，使d个计算节点依次与存储节点通信，每个计算节点从所述存储节点获取一个待计算数据包，并执行计算，当一个计算节点完成一个待计算数据包的计算后，就将计算结果提交给代理节点，代理节点将结算结果提交给管理节点，并将完成计算的计算节点从组内注销，直至所有的计算节点都完成计算，则管理节点将该组内的代理节点重新标记为空闲节点，并将该组注销；
当一个存储节点的待计算数据包的个数d满足0≤d＜5时，或者，当一个存储节点的所有的待计算数据包的大小e小于该存储节点的存储空间的60％，则管理节点将该存储节点标记为空闲的存储节点，并允许该空闲的存储节点存储新的待计算数据包。
优选的是，所述的分组计算的云计算系统中，
所述管理节点构建节点组织关系表，该节点组织关系表包括当前的f个组、每个组内的存储节点的身份标识、每个组内的计算节点的身份标识、每个组内的代理节点的身份标识、当前的g个空闲的存储节点的身份标识、组外的所有的计算节点的身份标识以及所有的空闲节点的身份标识；
所述管理节点实时更新所述节点组织关系表。
优选的是，所述的分组计算的云计算系统中，所述节点组织关系表内的所有的存储节点、所有的计算节点、所有的代理节点以及所有的空闲节点的身份标识都可以用各自的IP地址为表示。
优选的是，所述的分组计算的云计算系统中，所述管理节点每隔一时间段t对b个存储节点进行一次评估。
优选的是，所述的分组计算的云计算系统中，所述时间段t为：所有的组中，第一个完成计算的计算节点从接受到一个待计算数据包到完成对该待计算数据包的计算的时间。
本发明所述的分组计算的云计算系统具有以下有益效果：本发明的分组计算的云计算系统包括有a个空闲节点、b个存储节点和c个计算节点；对于每个符合条件的存储节点，管理节点都为其建立一个组，并依据其所具有的待计算数据包的个数为其分配计算节点，每个计算节点进行一个待计算数据包的计算，同时为该组分配一个代理节点，存储节点和计算节点仅与组内的节点通信，代理节点仅与管理节点通信；同时，对于不符合条件的存储节点，则允许其继续存储新的待计算数据包。基于上述设计，符合条件的存储节点就进行运算，不符合条件的存储节点则继续接受新的待计算数据包，这样可以保证整个云计算系统的有序的高效的运行；进行运算的存储节点不受外界的干扰，保证了数据的安全性，运算过程和运算结果都不易被外界获取或篡改。
附图说明
图1为本发明所述的分组计算的云计算系统的结构示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明提供一种分组计算的云计算系统，包括：a个空闲节点；b个存储节点，每个存储节点存储有至少一个待计算数据包；c个计算节点；管理节点，其评估b个存储节点，并为符合条件的f个存储节点配置组，并为不符合条件的g个存储节点标记为g个空闲的存储节点，b＝f+g。分组计算的云计算系统中包括有多个节点，每个节点实现不同的功能。
其中，当一个存储节点的待计算数据包的个数d满足d≥5，并且，所有的待计算数据包的大小e大于等于该存储节点的存储空间的60％，则管理节点对该存储节点进行配置，配置过程为：管理节点为该存储节点建立一个组，并为该组再分配d个计算节点和一个空闲节点，在被管理节点分配给该组之前，该d个计算节点不属于任意一个组，所述管理节点将空闲节点配置为代理节点，设置代理节点可与组内的存储节点以及d个计算节点通信，并且设置存储节点和d个计算节点不与组外的任意节点通信，设置代理节点不与组外的与除管理节点以外的任意节点通信。
当存储节点内的待计算数据包的个数满足d≥5，并且，所有的待计算数据包的大小e大于等于该存储节点的存储空间的60％，这是为了保证运算的效率，当存储节点内的待计算数据包的个数过多，或者，占用了过多的存储空间时，可能会导致计算节点提取待计算数据包的速度的下降，或者，导致运算速度减慢。
对于建立起来的任何一个组，存储节点和d个计算节点不与组外的任意节点通信，并且，代理节点也不与除管理节点以外的任意节点通信。这样就使得该组相对外界处于隔离状态，可最大程度降低外界对于组内的干扰，保证运算的高效进行，也保证运算过程以及计算结果的安全性。
组内仅代理节点可与管理节点通信，而其他节点不与组外通信，可以通过组播技术实现；也可以通过设置密码来实现，对于一个组，在每个节点都开启密码验证模块，举例来说，当计算节点要与存储节点通信时，就先发送组内的密码，当存储节点通过密码验证，才与该计算节点通信，如果一个计算节点没有位于该组，则该计算节点不会发送密码，其通信请求就会被拒绝。密码可以由该组建立之后，由该组的代理节点生成。
所述管理节点对一个存储节点配置完成后，代理节点与组内的d个计算节点通信，使d个计算节点依次与存储节点通信，每个计算节点从所述存储节点获取一个待计算数据包，并执行计算，当一个计算节点完成一个待计算数据包的计算后，就将计算结果提交给代理节点，代理节点将结算结果提交给管理节点，并将完成计算的计算节点从组内注销，直至所有的计算节点都完成计算，则管理节点将该组内的代理节点重新标记为空闲节点，并将该组注销。
每个计算节点仅处理一个待计算数据包，完成运算后，该计算节点就被注销；被从一个组内注销的计算节点可以在管理节点建立其他组时，继续参与到其他组的计算中去，这就可以有效的平衡分组计算的云计算系统内的资源。同时，代理节点由管理节点临时指定，被在一个组内代理执行管理节点的功能，也是为了一方面可以实现对组内各节点的有效管理，另一方面又不过多的依赖管理节点，造成管理节点的任务过重。
当一个存储节点的待计算数据包的个数d满足0≤d＜5时，或者，当一个存储节点的所有的待计算数据包的大小e小于该存储节点的存储空间的60％，则管理节点将该存储节点标记为空闲的存储节点，并允许该空闲的存储节点存储新的待计算数据包。
所述的分组计算的云计算系统中，所述管理节点构建节点组织关系表，该节点组织关系表包括当前的f个组、每个组内的存储节点的身份标识、每个组内的计算节点的身份标识、每个组内的代理节点的身份标识、当前的g个空闲的存储节点的身份标识、组外的所有的计算节点的身份标识以及所有的空闲节点的身份标识；所述管理节点实时更新所述节点组织关系表。
管理节点将所建立的组、组内的所有节点以及组外的所有节点都记录下来，并定时更新该表，比如某一个计算节点从一个组内注销，则该计算节点在节点组织关系表内的位置和状态就发生了改变。
所述的分组计算的云计算系统中，所述节点组织关系表内的所有的存储节点、所有的计算节点、所有的代理节点以及所有的空闲节点的身份标识都可以用各自的IP地址为表示。
所述的分组计算的云计算系统中，所述管理节点每隔一时间段t对b个存储节点进行一次评估。评估可以以一个的时间间隔t以轮询的方式进行。
所述的分组计算的云计算系统中，所述时间段t为：所有的组中，第一个完成计算的计算节点从接受到一个待计算数据包到完成对该待计算数据包的计算的时间。在分组计算的云计算系统运行之初，在最早的建立起来的一批组内，第一个完成计算的计算节点从接受到一个待计算数据包到完成对该待计算数据包的计算的时间，可以作为评估的时间间隔，这样可以保证及时对分组计算的云计算系统进行更新，保证整个系统的工作效率。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (5)
1.一种分组计算的云计算系统，其特征在于，包括：
a个空闲节点；
b个存储节点，每个存储节点存储有至少一个待计算数据包；
c个计算节点；
管理节点，其评估b个存储节点，并为符合条件的f个存储节点配置组，并为不符合条件的g个存储节点标记为g个空闲的存储节点，b＝f+g：
当一个存储节点的待计算数据包的个数d满足d≥5，并且，所有的待计算数据包的大小e大于等于该存储节点的存储空间的60％，则管理节点对该存储节点进行配置，配置过程为：管理节点为该存储节点建立一个组，并为该组再分配d个计算节点和一个空闲节点，在被管理节点分配给该组之前，该d个计算节点不属于任意一个组，所述管理节点将空闲节点配置为代理节点，设置代理节点可与组内的存储节点以及d个计算节点通信，并且设置存储节点和d个计算节点不与组外的任意节点通信，设置代理节点不与组外的与除管理节点以外的任意节点通信；
所述管理节点对一个存储节点配置完成后，代理节点与组内的d个计算节点通信，使d个计算节点依次与存储节点通信，每个计算节点从所述存储节点获取一个待计算数据包，并执行计算，当一个计算节点完成一个待计算数据包的计算后，就将计算结果提交给代理节点，代理节点将结算结果提交给管理节点，并将完成计算的计算节点从组内注销，直至所有的计算节点都完成计算，则管理节点将该组内的代理节点重新标记为空闲节点，并将该组注销；
当一个存储节点的待计算数据包的个数d满足0≤d＜5时，或者，当一个存储节点的所有的待计算数据包的大小e小于该存储节点的存储空间的60％，则管理节点将该存储节点标记为空闲的存储节点，并允许该空闲的存储节点存储新的待计算数据包。
2.如权利要求1所述的分组计算的云计算系统，其特征在于，
所述管理节点构建节点组织关系表，该节点组织关系表包括当前的f个组、每个组内的存储节点的身份标识、每个组内的计算节点的身份标识、每个组内的代理节点的身份标识、当前的g个空闲的存储节点的身份标识、组外的所有的计算节点的身份标识以及所有的空闲节点的身份标识；
所述管理节点实时更新所述节点组织关系表。
3.如权利要求2所述的分组计算的云计算系统，其特征在于，所述节点组织关系表内的所有的存储节点、所有的计算节点、所有的代理节点以及所有的空闲节点的身份标识都可以用各自的IP地址为表示。
4.如权利要求3所述的分组计算的云计算系统，其特征在于，所述管理节点每隔一时间段t对b个存储节点进行一次评估。
5.如权利要求4所述的分组计算的云计算系统，其特征在于，所述时间段t为：所有的组中，第一个完成计算的计算节点从接受到一个待计算数据包到完成对该待计算数据包的计算的时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310421340.7A CN103442088B (zh) | 2013-09-16 | 2013-09-16 | 一种分组计算的云计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310421340.7A CN103442088B (zh) | 2013-09-16 | 2013-09-16 | 一种分组计算的云计算系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103442088A true CN103442088A (zh) | 2013-12-11 |
| CN103442088B CN103442088B (zh) | 2016-04-27 |
Family
ID=49695753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310421340.7A Active CN103442088B (zh) | 2013-09-16 | 2013-09-16 | 一种分组计算的云计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103442088B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109617992A (zh) * | 2018-12-29 | 2019-04-12 | 杭州趣链科技有限公司 | 一种基于区块链的边缘计算节点动态选举方法 |
| CN110457923A (zh) * | 2019-08-07 | 2019-11-15 | 北京明朝万达科技股份有限公司 | 一种敏感数据扫描方法、装置、电子设备及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986274A (zh) * | 2010-11-11 | 2011-03-16 | 东软集团股份有限公司 | 一种私有云环境下资源调配系统及资源调配方法 |
| CN103092671A (zh) * | 2011-09-07 | 2013-05-08 | 国际商业机器公司 | 在联网计算环境中确定虚拟机映像模式分布的方法和系统 |
-
2013
- 2013-09-16 CN CN201310421340.7A patent/CN103442088B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986274A (zh) * | 2010-11-11 | 2011-03-16 | 东软集团股份有限公司 | 一种私有云环境下资源调配系统及资源调配方法 |
| CN103092671A (zh) * | 2011-09-07 | 2013-05-08 | 国际商业机器公司 | 在联网计算环境中确定虚拟机映像模式分布的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| SHU-CHING WANG: "Towards a Load Balancing in a three-level cloud computing network", 《2010 3RD IEEE INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND INFORMATION TECHNOLOGY(ICCSIT)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109617992A (zh) * | 2018-12-29 | 2019-04-12 | 杭州趣链科技有限公司 | 一种基于区块链的边缘计算节点动态选举方法 |
| CN109617992B (zh) * | 2018-12-29 | 2021-08-03 | 杭州趣链科技有限公司 | 一种基于区块链的边缘计算节点动态选举方法 |
| CN110457923A (zh) * | 2019-08-07 | 2019-11-15 | 北京明朝万达科技股份有限公司 | 一种敏感数据扫描方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103442088B (zh) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Time-and cost-efficient task scheduling across geo-distributed data centers | |
| Sun et al. | The cost-efficient deployment of replica servers in virtual content distribution networks for data fusion | |
| CN104391918B (zh) | 基于对等部署的分布式数据库查询优先级管理的实现方法 | |
| CN105450618A (zh) | 一种api服务器处理大数据的运算方法及其系统 | |
| CN108469988A (zh) | 一种基于异构Hadoop集群的任务调度方法 | |
| CN104298541A (zh) | 云存储系统的数据分布算法及其装置 | |
| CN110413845B (zh) | 基于物联网操作系统的资源存储方法及装置 | |
| US20140123142A1 (en) | System and method for providing data analysis service in cloud environment | |
| CN103207920A (zh) | 一种元数据并行采集系统 | |
| CN110581893B (zh) | 数据传输方法、装置、路由设备、服务器及存储介质 | |
| CN104301442A (zh) | 一种基于fuse的访问对象存储集群的客户端的实现方法 | |
| Kchaou et al. | Towards an offloading framework based on big data analytics in mobile cloud computing environments | |
| CN102609464A (zh) | Mongodb分片联表查询方法及装置 | |
| US20230164088A1 (en) | Low Latency Queuing System | |
| CN111258978A (zh) | 一种数据存储的方法 | |
| CN106095579B (zh) | 容器资源分配方法及装置 | |
| CN103442088B (zh) | 一种分组计算的云计算系统 | |
| Guo | Aggregating uncertain incast transfers in BCube-like data centers | |
| CN107276914B (zh) | 基于cmdb的自助资源分配调度的方法 | |
| CN102724290A (zh) | 一种获取目标客户群的方法、设备及系统 | |
| CN110932879B (zh) | 网络性能测试方法、数据处理设备和存储介质 | |
| CN105704173B (zh) | 一种集群系统数据分布方法及服务器 | |
| CN204462736U (zh) | 一种应用于综合能源的实时动态监测系统 | |
| Chen | Design of computer big data processing system based on genetic algorithm | |
| CN109638830A (zh) | 一种电力负荷模型构建方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170719 Address after: Room 9, building 10, Lane No. 215000, Suzhou, Jiangsu, China Patentee after: SUZHOU SIGMA TECHNOLOGY Co.,Ltd. Address before: 215104 Suzhou International Education Park, 106 Da Neng Road, Jiangsu, Suzhou Vocational University, room 322, science and technology office, Hui Lou Patentee before: Suzhou vocational University |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 1301, building 2, Tongjing Business Plaza, 555 Jiefang East Road, Suzhou, Jiangsu 215000 Patentee after: Suzhou Yuancheng Technology Co.,Ltd. Address before: Room 301, building 9, No. 10, Lishe lane, Suzhou, Jiangsu 215000 Patentee before: SUZHOU SIGMA TECHNOLOGY Co.,Ltd. |