CN105119997A - 云计算系统的数据处理方法 - Google Patents
云计算系统的数据处理方法 Download PDFInfo
- Publication number
- CN105119997A CN105119997A CN201510552109.0A CN201510552109A CN105119997A CN 105119997 A CN105119997 A CN 105119997A CN 201510552109 A CN201510552109 A CN 201510552109A CN 105119997 A CN105119997 A CN 105119997A
- Authority
- CN
- China
- Prior art keywords
- data
- processing node
- processing
- node
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云计算系统的数据处理方法，包括以下步骤：接收客户端所发送的数据请求，并根据该数据请求中所携带的协议标识类型，将其分配至对应于该协议标识类型的处理节点群组中；在对应的处理节点群组中获取其中每个处理节点的负载状态，并根据负载状态更新处理节点列表，处理节点列表中的处理节点根据负载状态由轻至重进行优先级排序；从处理节点列表中选择最高优先级处理节点作为处理该数据请求的当前处理节点，并根据该数据请求的类型在存储节点群组中进行相应的操作。本发明提供适应多种数据处理协议的机制，并且基于均衡负载对数据请求进行处理。
Description
技术领域
本发明涉及数据处理领域，具体涉及云计算系统的数据处理方法。
背景技术
云计算是基于互联网的相关服务的增加、使用和交付模式，其通常涉及通过互联网来提供动态易扩展且通常为虚拟化的环境。其中，云是网络或互联网的一种比喻说法；狭义云计算为IT基础设施的交互和使用模式，其指通过网络以按需、易扩展的方式来获得所需的资源；而广义云计算为服务的交付和使用模式，其指通过网络以按需、易扩展的方式获得所需的服务，其中，该服务为可以是与IT、软件或互联网相关的，也可以是其他服务。可见，云计算的出现意味着计算能力也可以作为一种商品通过互联网进行流通。
现有的云计算系统一般都是具有特定的数据处理协议，用户需要根据该数据处理协议对客户端进行开发，具有一定的局限性，因此，使云计算系统适应用户成为一种需求。另外，云计算系统面对的数据处理量庞大，因此需要有完善的数据处理机制与数据存储机制来面对大并发量的数据请求，并且能够稳定地处理数据请求。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种云计算系统的数据处理方法，提供适应多种数据处理协议的机制，并且基于均衡负载对数据请求进行处理。
为解决上述问题，本发明所采用的技术方案如下：
云计算系统的数据处理方法，包括以下步骤：
S1：接收客户端所发送的数据请求，并根据该数据请求中所携带的协议标识类型，将其分配至对应于该协议标识类型的处理节点群组中；
S2：在对应的处理节点群组中获取其中每个处理节点的负载状态，并根据负载状态更新处理节点列表，处理节点列表中的处理节点根据负载状态由轻至重进行优先级排序；
S3：从处理节点列表中选择最高优先级处理节点作为处理该数据请求的当前处理节点，并根据该数据请求的类型在存储节点群组中进行相应的操作。
优选的，在步骤S1中，协议标识类型包括标准协议标识和自定义协议标识，对应于标准协议标识的处理节点群组中的处理节点中具有标准协议，对应于自定义协议标识的处理节点群组中的处理节点中具有由第三方所定义的协议。
优选的，在步骤S2中还包括，实时获取处理节点群组中的每个处理节点所发送的心跳信息，若在预设的时间内没有收到某个处理节点的心跳信息，则将该处理节点从处理节点列表中移除。
优选的，在步骤S3中还包括，若当前处理节点处理该数据请求失败，则选择下一优先级处理节点作为当前处理节点，直至成功处理该数据请求或者处理节点列表中的所有处理节点均处理失败。
优选的，在步骤S3中，数据请求的类型包括读取数据、写入数据、修改数据以及删除数据。
优选的，在步骤S3中，存储节点群组中包括一个主存储节点与多个从存储节点，其中，主存储节点能够完成读取数据、写入数据、修改数据以及删除数据操作，从存储节点仅能够完成读取数据操作；主存储节点在完成写入数据、修改数据或者删除数据操作的同时向多个从存储节点进行数据同步。
相比现有技术，本发明的有益效果在于：提供适应多种数据处理协议的机制，允许用户自定义协议，并且提供对应于该用户的自定义协议的处理节点群组，具有高定制性和自主性；在数据请求处理方面，基于均衡负载对数据请求进行处理，保证数据处理的高效率；在数据存储方面，通过设置多个具有数据读取能力的从存储节点达到备份的目的，保证整个云计算系统中存储的数据能够正常向外提供数据读取服务。
附图说明
图1为本发明的云计算系统的数据处理方法的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
参考图1为本发明的云计算系统的数据处理方法，包括以下步骤：
S1：接收客户端所发送的数据请求，并根据该数据请求中所携带的协议标识类型，将其分配至对应于该协议标识类型的处理节点群组中；
S2：在对应的处理节点群组中获取其中每个处理节点的负载状态，并根据负载状态更新处理节点列表，处理节点列表中的处理节点根据负载状态由轻至重进行优先级排序；
S3：从处理节点列表中选择最高优先级处理节点作为处理该数据请求的当前处理节点，并根据该数据请求的类型在存储节点群组中进行相应的操作。
在步骤S1中，协议标识类型包括标准协议标识和自定义协议标识，对应于标准协议标识的处理节点群组中的处理节点中具有标准协议，对应于自定义协议标识的处理节点群组中的处理节点中具有由第三方所定义的协议。通过该步骤，能够向用户提供多种不同的数据处理协议，除了标准的协议外，还允许用户的自定义协议，并且提供对应于该用户的自定义协议的处理节点群组，即一个处理节点群组对应于一种协议，相互之间不会发生冲突，具有高定制性和自主性。
在步骤S2中还包括，实时获取处理节点群组中的每个处理节点所发送的心跳信息，若在预设的时间内没有收到某个处理节点的心跳信息，则将该处理节点从处理节点列表中移除。一个处理节点群组中的所有处理节点会实时或者间隔预设的时间便发出一次心跳信息，以确定该处理节点处于工作状态下，若在一预设的时间内没有收到某个处理节点的心跳信息，则表示该处理节点已经因为出现故障而停止工作，此时应当将该处理节点从处理节点列表中移除，减少后面处理节点处理数据时失败的可能，因为停止工作的处理节点不可能完成数据处理操作，如果不移除，则还是有可能会选择该处理节点尝试进行数据处理。另外，如果重新收到之前停止发出心跳信息的处理节点再次发出心跳信息，则将该处理节点重新添加进对应的处理节点列表中。
在步骤S3中，若当前处理节点处理该数据请求失败，则选择下一优先级处理节点作为当前处理节点，直至成功处理该数据请求或者处理节点列表中的所有处理节点均处理失败。例如一开始选择优先级最高的处理节点进行数据请求的处理，但即使在工作状态下的处理节点也可能会出现故障，因此若该处理节点处理失败，则跳到下一优先级的处理节点，以此类推，直至某个处理节点完成数据处理，或者到最后一个优先级的处理节点也失败，则该次数据请求的处理以失败告终。其中，数据请求的类型包括读取数据、写入数据、修改数据以及删除数据。另外，存储节点群组中包括一个主存储节点与多个从存储节点，主存储节点能够完成读取数据、写入数据、修改数据以及删除数据操作，从存储节点仅能够完成读取数据操作；主存储节点在完成写入数据、修改数据或者删除数据操作的同时向多个从存储节点进行数据同步。通过设置多个从存储节点达到备份的目的，作为备份的从存储节点可以采用性能较低的存储方案，只需要完成数据读取的操作即可，保证整个云计算系统中存储的数据能够正常向外提供数据读取服务。
本发明的云计算系统的数据处理方法提供适应多种数据处理协议的机制，允许用户自定义协议，并且提供对应于该用户的自定义协议的处理节点群组，具有高定制性和自主性；在数据请求处理方面，基于均衡负载对数据请求进行处理，保证数据处理的高效率；在数据存储方面，通过设置多个具有数据读取能力的从存储节点达到备份的目的，保证整个云计算系统中存储的数据能够正常向外提供数据读取服务。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (6)
1.云计算系统的数据处理方法，其特征在于，包括以下步骤：
S1：接收客户端所发送的数据请求，并根据该数据请求中所携带的协议标识类型，将其分配至对应于该协议标识类型的处理节点群组中；
S2：在对应的处理节点群组中获取其中每个处理节点的负载状态，并根据负载状态更新处理节点列表，处理节点列表中的处理节点根据负载状态由轻至重进行优先级排序；
S3：从处理节点列表中选择最高优先级处理节点作为处理该数据请求的当前处理节点，并根据该数据请求的类型在存储节点群组中进行相应的操作。
2.根据权利要求1所述的云计算系统的数据处理方法，其特征在于，在步骤S1中，协议标识类型包括标准协议标识和自定义协议标识，对应于标准协议标识的处理节点群组中的处理节点中具有标准协议，对应于自定义协议标识的处理节点群组中的处理节点中具有由第三方所定义的协议。
3.根据权利要求1所述的云计算系统的数据处理方法，其特征在于，在步骤S2中还包括，实时获取处理节点群组中的每个处理节点所发送的心跳信息，若在预设的时间内没有收到某个处理节点的心跳信息，则将该处理节点从处理节点列表中移除。
4.根据权利要求1所述的云计算系统的数据处理方法，其特征在于，在步骤S3中还包括，若当前处理节点处理该数据请求失败，则选择下一优先级处理节点作为当前处理节点，直至成功处理该数据请求或者处理节点列表中的所有处理节点均处理失败。
5.根据权利要求1所述的云计算系统的数据处理方法，其特征在于，在步骤S3中，数据请求的类型包括读取数据、写入数据、修改数据以及删除数据。
6.根据权利要求5所述的云计算系统的数据处理方法，其特征在于，在步骤S3中，存储节点群组中包括一个主存储节点与多个从存储节点，其中，主存储节点能够完成读取数据、写入数据、修改数据以及删除数据操作，从存储节点仅能够完成读取数据操作；主存储节点在完成写入数据、修改数据或者删除数据操作的同时向多个从存储节点进行数据同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510552109.0A CN105119997A (zh) | 2015-08-31 | 2015-08-31 | 云计算系统的数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510552109.0A CN105119997A (zh) | 2015-08-31 | 2015-08-31 | 云计算系统的数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105119997A true CN105119997A (zh) | 2015-12-02 |
Family
ID=54667880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510552109.0A Pending CN105119997A (zh) | 2015-08-31 | 2015-08-31 | 云计算系统的数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105119997A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105553870A (zh) * | 2015-12-11 | 2016-05-04 | 小米科技有限责任公司 | 业务请求的分配方法和装置 |
| CN105893156A (zh) * | 2016-04-20 | 2016-08-24 | 北京云宏信达信息科技有限公司 | 存储计算系统中的请求处理方法及存储计算系统 |
| CN105915630A (zh) * | 2016-06-01 | 2016-08-31 | 东软集团股份有限公司 | 跨网络数据传输系统及负载均衡调度方法 |
| CN105978887A (zh) * | 2016-06-15 | 2016-09-28 | 晶赞广告（上海）有限公司 | 用于大数据的数据接入方法、装置及系统 |
| CN106302170A (zh) * | 2016-09-22 | 2017-01-04 | 东南大学 | 一种无线云计算系统的资源分配方法 |
| CN106686102A (zh) * | 2017-01-03 | 2017-05-17 | 北京奇虎科技有限公司 | 一种服务节点的切换方法和装置 |
| CN107135240A (zh) * | 2016-02-29 | 2017-09-05 | 华为技术有限公司 | 一种分布式系统中命令分发方法、装置及系统 |
| CN109597830A (zh) * | 2018-11-22 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种数据流通方法、装置、设备及介质 |
| CN112348516A (zh) * | 2020-11-30 | 2021-02-09 | 陈素华 | 一种基于云计算的交易管理方法及金融云平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1665239A (zh) * | 2004-03-03 | 2005-09-07 | 联想(北京)有限公司 | 一种实现不同通信协议设备间信息传输的方法 |
| CN103024056A (zh) * | 2012-12-17 | 2013-04-03 | 山东中创软件商用中间件股份有限公司 | 数据处理方法、负载均衡器及云系统 |
| CN103838552A (zh) * | 2014-03-18 | 2014-06-04 | 北京邮电大学 | 4g宽带通信系统多核并行流水线信号的处理系统和方法 |
-
2015
- 2015-08-31 CN CN201510552109.0A patent/CN105119997A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1665239A (zh) * | 2004-03-03 | 2005-09-07 | 联想(北京)有限公司 | 一种实现不同通信协议设备间信息传输的方法 |
| CN103024056A (zh) * | 2012-12-17 | 2013-04-03 | 山东中创软件商用中间件股份有限公司 | 数据处理方法、负载均衡器及云系统 |
| CN103838552A (zh) * | 2014-03-18 | 2014-06-04 | 北京邮电大学 | 4g宽带通信系统多核并行流水线信号的处理系统和方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105553870A (zh) * | 2015-12-11 | 2016-05-04 | 小米科技有限责任公司 | 业务请求的分配方法和装置 |
| CN105553870B (zh) * | 2015-12-11 | 2020-03-17 | 小米科技有限责任公司 | 业务请求的分配方法和装置 |
| CN107135240A (zh) * | 2016-02-29 | 2017-09-05 | 华为技术有限公司 | 一种分布式系统中命令分发方法、装置及系统 |
| CN112491986A (zh) * | 2016-02-29 | 2021-03-12 | 华为技术有限公司 | 一种分布式系统中命令分发方法、装置及系统 |
| CN105893156A (zh) * | 2016-04-20 | 2016-08-24 | 北京云宏信达信息科技有限公司 | 存储计算系统中的请求处理方法及存储计算系统 |
| CN105915630A (zh) * | 2016-06-01 | 2016-08-31 | 东软集团股份有限公司 | 跨网络数据传输系统及负载均衡调度方法 |
| CN105978887A (zh) * | 2016-06-15 | 2016-09-28 | 晶赞广告（上海）有限公司 | 用于大数据的数据接入方法、装置及系统 |
| CN106302170B (zh) * | 2016-09-22 | 2019-06-18 | 东南大学 | 一种无线云计算系统的资源分配方法 |
| CN106302170A (zh) * | 2016-09-22 | 2017-01-04 | 东南大学 | 一种无线云计算系统的资源分配方法 |
| WO2018127005A1 (zh) * | 2017-01-03 | 2018-07-12 | 北京奇虎科技有限公司 | 一种服务节点的切换方法和装置 |
| CN106686102A (zh) * | 2017-01-03 | 2017-05-17 | 北京奇虎科技有限公司 | 一种服务节点的切换方法和装置 |
| CN106686102B (zh) * | 2017-01-03 | 2020-04-14 | 北京奇虎科技有限公司 | 一种服务节点的切换方法和装置 |
| CN109597830A (zh) * | 2018-11-22 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种数据流通方法、装置、设备及介质 |
| CN112348516A (zh) * | 2020-11-30 | 2021-02-09 | 陈素华 | 一种基于云计算的交易管理方法及金融云平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105119997A (zh) | 云计算系统的数据处理方法 | |
| CN109949111B (zh) | 电子票据标识分配方法、电子票据生成方法、装置及系统 | |
| CN103095687B (zh) | 元数据处理方法及装置 | |
| CN110365748B (zh) | 业务数据的处理方法和装置、存储介质及电子装置 | |
| CN108664660A (zh) | 时序数据库的分布式实现方法、装置、设备及存储介质 | |
| WO2015095852A1 (en) | Data synchonization in a storage network | |
| US20120278344A1 (en) | Proximity grids for an in-memory data grid | |
| CN111338806B (zh) | 一种业务控制方法及装置 | |
| CN105677675B (zh) | 业务处理方法及装置 | |
| US20130346513A1 (en) | Migrating a chat message service provided by a chat server to a new chat server | |
| CN111722918A (zh) | 业务标识码生成方法、装置、存储介质及电子设备 | |
| CN110784498B (zh) | 一种个性化数据容灾方法及装置 | |
| CN110019514A (zh) | 数据同步方法、装置以及电子设备 | |
| CN103152390A (zh) | 分布式存储系统的节点配置方法、装置、节点及系统 | |
| CN105518641A (zh) | 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统 | |
| TWI716822B (zh) | 事務因果序的校正方法及裝置、電子設備 | |
| JP6975153B2 (ja) | データ格納サービス処理方法及び装置 | |
| CN104793982A (zh) | 一种创建虚拟机的方法和设备 | |
| CN113656176A (zh) | 云设备的分配方法、装置、系统、电子设备、介质及产品 | |
| US10216593B2 (en) | Distributed processing system for use in application migration | |
| CN108399175B (zh) | 一种数据存储、查询方法及其装置 | |
| CN105827678A (zh) | 一种基于高可用架构下的通信方法和节点 | |
| WO2016101759A1 (zh) | 一种数据路由方法、数据管理装置和分布式存储系统 | |
| CN113347238A (zh) | 基于区块链的消息分区方法及系统、设备、存储介质 | |
| CN112804276B (zh) | 虚拟化宽带远程接入服务器及其控制方法、通信系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151202 |