CN105630605A - 基于数据服务访问情况动态调整数据服务集群的方法 - Google Patents

基于数据服务访问情况动态调整数据服务集群的方法 Download PDF

Info

Publication number
CN105630605A
CN105630605A CN201510969308.1A CN201510969308A CN105630605A CN 105630605 A CN105630605 A CN 105630605A CN 201510969308 A CN201510969308 A CN 201510969308A CN 105630605 A CN105630605 A CN 105630605A
Authority
CN
China
Prior art keywords
data
service
adjustable strategies
access
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510969308.1A
Other languages
English (en)
Other versions
CN105630605B (zh
Inventor
闵圣捷
漆杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Public Security Bureau
CLP SECTION HUAYUN INFORMATION TECHNOLOGY CO., LTD.
Sichuan Prov. Public Security Office
Original Assignee
CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd filed Critical CLP SECTION HUAYUN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510969308.1A priority Critical patent/CN105630605B/zh
Publication of CN105630605A publication Critical patent/CN105630605A/zh
Application granted granted Critical
Publication of CN105630605B publication Critical patent/CN105630605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Abstract

本发明提供了一种基于数据服务访问情况动态调整数据服务集群的方法,包括:步骤1:对数据服务访问情况进行实时监控,并分别记录各服务的访问数据;步骤2:根据所述访问数据自定义访问数据阈值的单一调整策略或组合调整策略;步骤3:当某个服务的访问数据满足步骤2设定的调整策略时,进行数据服务集群动态调整,将该服务自动调整部署到对应的服务集群。本发明能够很好地区分冷暖热数据,按照用户的需求提供服务,从而避免了数据服务集群调整的人工干预;并根据服务的使用情况匹配策略实时调整,提高了数据服务集群资源利用率。此外,还解决了数据服务在大并发访问的情形下,服务不可用和服务恢复周期长的问题,提高了服务的可用性和稳定性。

Description

基于数据服务访问情况动态调整数据服务集群的方法
技术领域
本发明涉及信息技术领域,具体地,涉及一种基于数据服务访问情况动态调整数据服务集群的方法。
背景技术
随着现今软件技术的不断发展,尤其是Web服务的出现逐渐被人们接纳,SOA(service-orientedarchitecture服务导向架构)的概念被应用到越来越多的系统开发之中。SOA是一个组件模型,它将多个应用系统的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。由于SOA的应用,当前系统内部的交互也逐渐采用数据服务的方式来进行。在这个大环境下,数据服务的需求快速增长,对数据服务可用性、可靠性提出了更高的要求。现有数据服务普遍依据一个经验值(如预计的最大访问量、最大访问并发)一次性的构建一个固定大小的数据服务集群。这样就存在两方面的问题:第一,数据服务集群是按服务访问的最大量级来固化构建的,长期保持最大量级的数据服务在现实环境中是不可能存在的,这样就会造成在大多数时间,集群资源利用率低下的情况;第二,数据服务访问的最大量级是预估的,实际使用中并不代表不会突破这个边界,在边界突破、集群无法提供可靠可用服务时,根据告警手动扩展集群是常见方法,却明显存在人工干预不可预知性、变化响应缓慢等情况,无法有效保证数据服务的高可用、高可靠。
传统的数据服务集群固化构建的方法显然是存在不便与缺陷的,如何保障数据服务的高可用和高可靠就成为了一个亟待解决的难题。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于数据服务访问情况动态调整数据服务集群的方法。
根据本发明提供的基于数据服务访问情况动态调整数据服务集群的方法,包括如下步骤:
步骤1:对数据服务访问情况进行实时监控,并分别记录各服务的访问数据;
步骤2:根据所述访问数据自定义访问数据阈值的单一调整策略或组合调整策略;
步骤3:当某个服务的访问数据满足步骤2设定的单一调整策略或组合调整策略时,进行数据服务集群动态调整,将该服务自动调整部署到对应的服务集群。
优选地,所述步骤2包括:
步骤2.1:选择一种访问数据类型;
步骤2.2:选择该访问数据平均值的计算间隔;
步骤2.3:定义所述单一调整策略为:配置访问数据,并根据需求设定上限和下限阈值,当某个服务的访问数据平均值高于上限的阈值时,则触发热数据服务集群调整;当某个服务的访问数据平均值介于上限的阈值和下限的阈值之间时,则触发暖数据服务集群调整;当某个服务的访问数据平均值低于下限的阈值时,则触发冷数据服务集群调整。
步骤i:对多种访问数据执行步骤2.1、步骤2.2、步骤2.3,则能够得到相应多种访问数据的多个单一调整策略,所述多个单一调整策略构成组合调整策略;任何一个访问数据满足组合策略中的某一单一调整策略时,则执行对应的单一调整策略。
优选地,所述服务访问情况包括:服务访问量、服务响应时间。
优选地,所述步骤3包括:
当某个服务的访问数据平均值高于单一调整策略的上限阈值或者组合调整策略中某一单一调整策略的上限阈值时,将该服务的实例从原有集群中下线删除,然后自动调整部署到热数据服务集群并上线;
当某个服务的访问数据平均值介于单一调整策略的上限阈值和该单一调整策略的下限阈值之间,或者介于组合调整策略中某一单一调整策略的上限阈值和该组合调整策略中某一单一调整策略的下限阈值之间时,将该服务的实例从原有集群中下线删除,然后自动调整部署到暖数据服务集群并上线;
当某个服务的访问数据平均值低于单一调整策略的下限阈值或者组合调整策略中某一单一调整策略的下限阈值时,将该服务的实例从原有集群中下线删除,然后自动调整部署到冷数据服务集群并上线。
与现有技术相比,本发明具有如下的有益效果:
1、本发明提供的基于数据服务访问情况动态调整数据服务集群的方法能够很好地区分冷暖热数据,按照用户的需求提供服务,从而避免了数据服务集群调整的人工干预。
2、本发明提供的基于数据服务访问情况动态调整数据服务集群的方法能够根据服务的使用情况匹配策略实时调整,提高了数据服务集群资源利用率。
3、本发明提供的基于数据服务访问情况动态调整数据服务集群的方法还解决了数据服务在大并发访问的情形下,服务不可用和服务恢复周期长的问题,提高了服务的可用性和稳定性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明中的数据服务集群动态调整示意图;
图2为本发明中的数据服务集群动态调整流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
根据本发明提供的基于数据服务访问情况动态调整数据服务集群的方法,包括如下步骤:
步骤1:对数据服务访问情况进行实时监控,并分别记录各服务的访问数据;
步骤2:根据所述访问数据自定义访问数据阈值的单一调整策略或组合调整策略;
步骤3:当某个服务的访问数据满足步骤2设定的单一调整策略或组合调整策略时,
进行数据服务集群动态调整,将该服务自动调整部署到对应的服务集群。
所述步骤2包括:
步骤2.1:选择一种访问数据类型;
步骤2.2:选择该访问数据平均值的计算间隔;如5分钟内该数据平均值;
步骤2.3:定义所述单一调整策略为:配置访问数据,并根据需求设定上限和下限阈值,当某个服务的访问数据平均值高于上限的阈值时,则触发热数据服务集群调整;当某个服务的访问数据平均值介于上限的阈值和下限的阈值之间时,则触发暖数据服务集群调整;当某个服务的访问数据平均值低于下限的阈值时,则触发冷数据服务集群调整。
具体地,如服务响应时间,可配置一定时间内的响应时间平均值高于30秒即触发热数据服务集群调整,介于30秒和5毫秒之间即触发暖数据服务集群调整,低于5毫秒即触发冷数据服务集群调整的单一调整策略。
步骤i:对多种访问数据执行步骤2.1、步骤2.2、步骤2.3,则能够得到相应多种访问数据的多个单一调整策略,所述多个单一调整策略构成组合调整策略;任何一个访问数据满足组合策略中的某一单一调整策略时,则执行对应的单一调整策略。
所述服务访问情况包括:服务访问量、服务响应时间。
所述步骤3包括:
当某个服务的访问数据平均值高于单一调整策略的上限阈值或者组合调整策略中某一单一调整策略的上限阈值时,将该服务的实例从原有集群中下线删除,然后自动调整部署到热数据服务集群并上线;
当某个服务的访问数据平均值介于单一调整策略的上限阈值或者组合调整策略中某一单一调整策略的上限阈值和单一调整策略的下限阈值或者组合调整策略中某一单一调整策略的下限阈值之间时,将该服务的实例从原有集群中下线删除,然后自动调整部署到暖数据服务集群并上线;
当某个服务的访问数据平均值低于单一调整策略的下限阈值或者组合调整策略中某一单一调整策略的下限阈值时,将该服务的实例从原有集群中下线删除,然后自动调整部署到冷数据服务集群并上线。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (4)

1.一种基于数据服务访问情况动态调整数据服务集群的方法,其特征在于,包括如下步骤:
步骤1:对数据服务访问情况进行实时监控,并分别记录各服务的访问数据;
步骤2:根据所述访问数据自定义访问数据阈值的单一调整策略或组合调整策略;
步骤3:当某个服务的访问数据满足步骤2设定的单一调整策略或组合调整策略时,进行数据服务集群动态调整,将该服务自动调整部署到对应的服务集群。
2.根据权利要求1所述的基于数据服务访问情况动态调整数据服务集群的方法,其特征在于,所述步骤2包括:
步骤2.1:选择一种访问数据类型;
步骤2.2:选择该访问数据平均值的计算间隔;
步骤2.3:定义所述单一调整策略为:配置访问数据,并根据需求设定上限和下限阈值,当某个服务的访问数据平均值高于上限的阈值时,则触发热数据服务集群调整;当某个服务的访问数据平均值介于上限的阈值和下限的阈值之间时,则触发暖数据服务集群调整;当某个服务的访问数据平均值低于下限的阈值时,则触发冷数据服务集群调整;
步骤i:对多种访问数据执行步骤2.1、步骤2.2、步骤2.3,则能够得到相应多种访问数据的多个单一调整策略,所述多个单一调整策略构成组合调整策略;任何一个访问数据满足组合策略中的某一单一调整策略时,则执行对应的单一调整策略。
3.根据权利要求1所述的基于数据服务访问情况动态调整数据服务集群的方法,其特征在于,所述服务访问情况包括:服务访问量、服务响应时间。
4.根据权利要求2所述的基于数据服务访问情况动态调整数据服务集群的方法,其特征在于,所述步骤3包括:
当某个服务的访问数据平均值高于单一调整策略的上限阈值或者组合调整策略中某一单一调整策略的上限阈值时,将该服务的实例从原有集群中下线删除,然后自动调整部署到热数据服务集群并上线;
当某个服务的访问数据平均值介于单一调整策略的上限阈值和该单一调整策略的下限阈值之间,或者介于组合调整策略中某一单一调整策略的上限阈值和该组合调整策略中某一单一调整策略的下限阈值之间时,将该服务的实例从原有集群中下线删除,然后自动调整部署到暖数据服务集群并上线;
当某个服务的访问数据平均值低于单一调整策略的下限阈值或者组合调整策略中某一单一调整策略的下限阈值时,将该服务的实例从原有集群中下线删除,然后自动调整部署到冷数据服务集群并上线。
CN201510969308.1A 2015-12-21 2015-12-21 基于数据服务访问情况动态调整数据服务集群的方法 Active CN105630605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510969308.1A CN105630605B (zh) 2015-12-21 2015-12-21 基于数据服务访问情况动态调整数据服务集群的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510969308.1A CN105630605B (zh) 2015-12-21 2015-12-21 基于数据服务访问情况动态调整数据服务集群的方法

Publications (2)

Publication Number Publication Date
CN105630605A true CN105630605A (zh) 2016-06-01
CN105630605B CN105630605B (zh) 2019-04-12

Family

ID=56045582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510969308.1A Active CN105630605B (zh) 2015-12-21 2015-12-21 基于数据服务访问情况动态调整数据服务集群的方法

Country Status (1)

Country Link
CN (1) CN105630605B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967175A (zh) * 2017-11-07 2018-04-27 中电科华云信息技术有限公司 一种基于多目标优化的资源调度系统及方法
CN110321348A (zh) * 2019-06-04 2019-10-11 腾讯科技(深圳)有限公司 一种数据处理方法、装置及计算机设备
CN110809062A (zh) * 2019-11-14 2020-02-18 苏州思必驰信息科技有限公司 公有云语音识别资源调用控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753534A (zh) * 2008-12-10 2010-06-23 徐文祥 基于集群服务器的分区自适应网络系统及其构建方法
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN102223398A (zh) * 2011-05-30 2011-10-19 兰雨晴 一种部署在云计算环境中部署服务的方法
CN103561092A (zh) * 2013-10-31 2014-02-05 广州华多网络科技有限公司 私有云环境下管理资源的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753534A (zh) * 2008-12-10 2010-06-23 徐文祥 基于集群服务器的分区自适应网络系统及其构建方法
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN102223398A (zh) * 2011-05-30 2011-10-19 兰雨晴 一种部署在云计算环境中部署服务的方法
CN103561092A (zh) * 2013-10-31 2014-02-05 广州华多网络科技有限公司 私有云环境下管理资源的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967175A (zh) * 2017-11-07 2018-04-27 中电科华云信息技术有限公司 一种基于多目标优化的资源调度系统及方法
CN110321348A (zh) * 2019-06-04 2019-10-11 腾讯科技(深圳)有限公司 一种数据处理方法、装置及计算机设备
CN110321348B (zh) * 2019-06-04 2024-01-09 腾讯科技(深圳)有限公司 一种数据处理方法、装置及计算机设备
CN110809062A (zh) * 2019-11-14 2020-02-18 苏州思必驰信息科技有限公司 公有云语音识别资源调用控制方法和装置

Also Published As

Publication number Publication date
CN105630605B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
US10031671B2 (en) Method, apparatus, and system for calculating identification threshold to distinguish cold data and hot data
CN104504147B (zh) 一种数据库集群的资源协调方法、装置及系统
WO2020253111A1 (zh) 区块链节点的自动扩容方法、装置、运维终端及存储介质
CN103488337B (zh) 一种在贴膜情况下调节触摸屏灵敏度的方法
WO2016165441A1 (zh) 迁移策略调整方法、容量变更建议方法及装置
CN107090693A (zh) 一种衣物管理方法、系统、洗衣机和服务器
CN106202581B (zh) 一种数据搜索方法及装置
PH12017502186B1 (en) Method for interaction between terminal and network device, and terminal
CN105630605A (zh) 基于数据服务访问情况动态调整数据服务集群的方法
CN110022268B (zh) 一种数据传输控制方法、装置及存储介质
WO2017036428A2 (zh) 容量变更建议方法及装置
CN104850460A (zh) 一种服务程序线程管理方法
CN104765269A (zh) 控制智能手表功耗的方法、装置及智能手表
CN106899643A (zh) 一种用户日志存储方法及设备
CN107767264A (zh) 联机交易系统热点账户交易流量压力实时调控方法及装置
CN103414739B (zh) 采用自动漂移的云服务器自动监控系统及方法
CN105488180B (zh) 一种数据存储方法及系统
CN104462548B (zh) 一种数据库分布式系统及其实现方法
CN107479974A (zh) 一种虚拟机调度方法及装置
CN210405337U (zh) 一种ar服务器的动态扩缩容装置
CN111506425B (zh) 服务质量数据处理方法和装置
CN106604328B (zh) Mecc区域切换方法和系统
CN106155793A (zh) 一种资源调度方法及装置
CN109542727B (zh) 一种信息提示方法和装置
CN102752374A (zh) 一种用电能效数据的储存访问系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160601

Address after: 200231, room 7, building 509, Huajing Road, Shanghai, Xuhui District, 552

Applicant after: CLP SECTION HUAYUN INFORMATION TECHNOLOGY CO., LTD.

Applicant after: Chengdu Public Security Bureau

Applicant after: Sichuan Prov. Public Security Office

Address before: 200231, room 7, building 509, Huajing Road, Shanghai, Xuhui District, 552

Applicant before: CLP SECTION HUAYUN INFORMATION TECHNOLOGY CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant