CN116226081A - 数据库弹性伸缩方法、装置、电子设备及存储介质 - Google Patents
数据库弹性伸缩方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116226081A CN116226081A CN202211698903.2A CN202211698903A CN116226081A CN 116226081 A CN116226081 A CN 116226081A CN 202211698903 A CN202211698903 A CN 202211698903A CN 116226081 A CN116226081 A CN 116226081A
- Authority
- CN
- China
- Prior art keywords
- data space
- space expansion
- database
- expansion
- state information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据库弹性伸缩方法、装置、电子设备及存储介质。数据库弹性伸缩方法包括:获取数据库的数据空间伸缩策略,数据空间伸缩策略包括数据空间伸缩触发条件和数据空间伸缩触发条件对应的数据空间伸缩动作信息;采集数据库的当前运行状态信息;判断当前运行状态信息是否符合数据空间伸缩触发条件;在符合数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。本申请实施例中,能够根据数据库的当前运行状态信息动态调整数据库中的数据空间,实现数据空间的自适应弹性伸缩,使得数据空间的数量更加准确,具有更高的灵活性、更好的易用性、能适应更多的应用场景。
Description
技术领域
本申请涉及数据库技术领域,特别是涉及一种数据库弹性伸缩方法、装置、电子设备及存储介质。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库。在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分,是进行科学研究和决策管理的重要技术手段。
随着数字化场景爆发式增长,物联网大数据应用不断发展,数据呈现出海量、实时、在线等趋势,应用场景越来越多样化。现有技术中对于数据库的存储空间,通常是在部署时静态指定数据空间,在部署完成之后,数据库中所指定的数据空间就保持不变。但是,该种静态指定数据空间的方式中,存在静态指定的数据空间不准确的问题,从而导致数据空间不足或数据空间浪费等问题。
发明内容
鉴于上述问题,本申请实施例提出了一种数据库弹性伸缩方法、装置、电子设备及存储介质,用以解决静态指定数据空间的方式中,静态指定的数据空间不准确的问题。
根据本申请的实施例的一个方面,提供了一种数据库弹性伸缩方法,所述方法包括:
获取数据库的数据空间伸缩策略,所述数据空间伸缩策略包括数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息;
采集所述数据库的当前运行状态信息;
判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件;
在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。
可选地,所述数据库为混合交易分析处理HTAP数据库,所述数据空间为数据副本。
可选地,所述数据空间伸缩动作信息包括伸缩对象、伸缩类型和伸缩幅度,所述伸缩对象包括行存储引擎的数据副本和列存储引擎的数据副本。
可选地,所述数据空间伸缩触发条件包含运行状态信息限制条件,所述判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件,包括:判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件中包含的所述运行状态信息限制条件;在符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息符合所述数据空间伸缩触发条件。
可选地,所述在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作,包括:在符合所述数据空间伸缩触发条件的情况下,将符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息插入预设的伸缩动作队列的队尾;按照预设规则从所述伸缩动作队列的队头读取数据空间伸缩动作信息,按照读取的数据空间伸缩动作信息,执行数据空间伸缩动作。
可选地,所述方法还包括:响应于通过第一预设接口接收到伸缩动作更新指令,按照所述伸缩动作更新指令,更新所述伸缩动作队列中的数据空间伸缩动作信息。
可选地,所述数据空间伸缩策略在所述数据库首次部署时进行配置;或者,所述数据空间伸缩策略在所述数据库部署完成后运行过程中进行配置。
可选地,所述方法还包括:响应于通过第二预设接口接收到伸缩策略查询指令,按照所述伸缩策略查询指令,查询所述数据空间伸缩策略。
可选地,所述方法还包括:响应于通过第三预设接口接收到运行状态查询指令,按照所述运行状态查询指令,查询所述数据库的运行状态信息。
根据本申请的实施例的另一方面,提供了一种数据库弹性伸缩装置,所述装置包括:
策略配置模块,用于获取数据库的数据空间伸缩策略,所述数据空间伸缩策略包括数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息;
系统监控模块,用于采集所述数据库的当前运行状态信息;
伸缩控制模块,用于判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件;在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。
可选地,所述数据库为混合交易分析处理HTAP数据库,所述数据空间为数据副本。
可选地,所述数据空间伸缩动作信息包括伸缩对象、伸缩类型和伸缩幅度,所述伸缩对象包括行存储引擎的数据副本和列存储引擎的数据副本。
可选地,所述数据空间伸缩触发条件包含运行状态信息限制条件,所述伸缩控制模块包括:判断单元,用于判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件中包含的所述运行状态信息限制条件;确定单元,用于在符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息符合所述数据空间伸缩触发条件。
可选地,所述伸缩控制模块包括:插入单元,用于在符合所述数据空间伸缩触发条件的情况下,将符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息插入预设的伸缩动作队列的队尾;执行单元,用于按照预设规则从所述伸缩动作队列的队头读取数据空间伸缩动作信息,按照读取的数据空间伸缩动作信息,执行数据空间伸缩动作。
可选地,所述装置还包括:更新模块,用于响应于通过第一预设接口接收到伸缩动作更新指令,按照所述伸缩动作更新指令,更新所述伸缩动作队列中的数据空间伸缩动作信息。
可选地,所述数据空间伸缩策略在所述数据库首次部署时进行配置;或者,所述数据空间伸缩策略在所述数据库部署完成后运行过程中进行配置。
可选地,所述装置还包括:第一查询模块,用于响应于通过第二预设接口接收到伸缩策略查询指令,按照所述伸缩策略查询指令,查询所述数据空间伸缩策略。
可选地,所述装置还包括:第二查询模块,用于响应于通过第三预设接口接收到运行状态查询指令,按照所述运行状态查询指令,查询所述数据库的运行状态信息。
根据本申请的实施例的另一方面,提供了一种电子设备,包括:一个或多个处理器;和其上存储有指令的一个或多个计算机可读存储介质;当所述指令由所述一个或多个处理器执行时,使得所述处理器执行如上任一项所述的数据库弹性伸缩方法。
根据本申请的实施例的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如上任一项所述的数据库弹性伸缩方法。
本申请实施例中,获取数据空间伸缩策略,所述数据空间伸缩策略包括数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息;采集数据库的当前运行状态信息;判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件;在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。由此可知,本申请实施例中,能够根据数据库的当前运行状态信息动态调整数据库中的数据空间,实现数据空间的自适应弹性伸缩,解决在负载较低时数据空间过多造成的资源利用率低、在负载较高时数据空间过少造成的性能瓶颈等问题,使得数据空间的数量更加准确,相比于只能在部署时指定数据空间数量之后不能变更的静态配置,具有更高的灵活性、更好的易用性、能适应更多的应用场景,并且能够降低系统运行成本、降低人工运维工作量和运维成本。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些附图,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种HTAP数据库的系统架构图。
图2是本申请实施例的一种数据库弹性伸缩方法的步骤流程图。
图3是本申请实施例的一种数据库弹性伸缩装置的结构框图。
图4是本申请实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请的实施例中的附图,对本申请的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是本申请的全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中的数据库可以为任意适用类型的数据库,包括但不限于:MySQL数据库、IMS(Information Management System,信息管理系统)数据库、DBTG(Database TaskGroup,数据库任务组)数据库、HTAP(Hybrid Transactional Analytical Processing,混合交易分析处理)数据库,等等。
以HTAP数据库为例,随着数字化场景爆发式增长,物联网大数据应用不断发展,数据呈现出海量、实时、在线等趋势,应用场景越来越多样化,在线交易业务和后台分析业务的边界变成模糊。传统将数据库划分为OLTP(On-Line Transactional Processing,联机事务处理)和OLAP(On-Line Analytical Processing,联机分析处理)两种系统分别来应对高并发事务和快速分析的做法已经不能满足当前业务发展的需要,因此提出HTAP数据库来解决一套系统处理OLTP和OLAP混合负载的难题,满足多元化业务应用场景的需要。
为了保证OLTP和OLAP两种负载处理的效率,一些HTAP数据库采用两种不同的底层引擎来存储数据:行存储引擎以行存储方式存储数据,能快速读写事务型请求对应的数据行,更适用于处理OLTP负载;列存储引擎以列存储方式存储数据,针对分析型请求中对数据列的筛选聚合等运算,能直接读写需要的列数据,降低I/O(Input/Output,输入/输出)开销提升运算速度,更适用于处理OLAP负载。
参照图1,示出了本申请实施例的一种HTAP数据库的系统架构图。如图1所示,在HTAP数据库中,两种数据引擎之间通过数据同步来保证数据在两引擎的一致性,上层的分布式计算层接收来自客户端的事务型请求或分析型请求,根据请求类型的不同和处理策略的需要,选择访问分布式存储层的行存储引擎或列存储引擎。而为了保证数据的在分布式集群环境的高可用性,在行存储引擎或者列存储引擎中往往都采用了分布式多数据副本(数据副本即为数据空间)复制技术,如分布式强一致性同步Paxos协议或Raft协议,实现行存储引擎和列存储引擎多数据副本存储。
在HTAP数据库中,目前比较常见的做法是在部署时静态指定HTAP数据库中行存储引擎和列存储引擎中数据副本的数量,例如,通过配置文件在数据库部署时指定行存储引擎中数据以3数据副本存储,在列存储引擎中数据以1数据副本存储等等,在部署完成之后,系统中所指定数据副本的数量就一直保持不变。
静态指定数据引擎中的数据副本数量虽然有着容易配置,方便实现的优点,同时也存在数据存储与系统当前的读写需要和负载脱节的问题。例如,若在某段较长的时间范围,系统中只有OLTP负载,此时列存储引擎中存储的数据副本没有读写服务,白白占用了相关运行资源,会出现资源利用率低和资源浪费的问题。相反,由于OLAP负载主要访问已有的列存储引擎的数据副本,当系统中的OLAP负载很高时,对已有存储存引擎所在服务器资源造成很高的访问压力,会形成性能瓶颈,从而需要人手进行扩容,造成人工运维工作量和运维压力。因此,针对该种问题,采用本申请实施例提出的数据库弹性伸缩方法,可以根据HTAP数据库的当前运行状态信息,动态调HTAP整数据库中行存储引擎的数据副本数量或列存储引擎的数据副本数量,实现数据副本的自适应弹性伸缩。
下面,通过以下各实施例对数据库弹性伸缩方法进行详细介绍。本申请实施例中的数据库弹性伸缩方法可以由数据库系统执行。
参照图2,示出了本申请实施例的一种数据库弹性伸缩方法的步骤流程图。
如图2所示,数据库弹性伸缩方法可以包括以下步骤:
步骤201,获取数据库的数据空间伸缩策略。
本申请实施例中,预先为数据库配置数据空间伸缩策略,并存储该数据空间伸缩策略。
示例性地,数据库系统中可以提供策略配置接口,所述数据空间伸缩策略可以在所述数据库首次部署时通过该策略配置接口进行配置;或者,所述数据空间伸缩策略可以在所述数据库部署完成后运行过程中通过该策略配置接口进行配置(比如对数据空间伸缩策略进行动态修改等)。
示例性地,数据库系统中可以提供第二预设接口,数据库系统中的其他模块可以在数据库部署完成后运行过程中,通过第二预设接口对所述数据空间伸缩策略进行查询。因此,用户可以利用数据库系统中的其他模块通过第二预设接口触发数据空间伸缩策略查询指令,数据库系统响应于通过第二预设接口接收到伸缩策略查询指令,按照所述伸缩策略查询指令,查询所述数据空间伸缩策略,得到数据空间伸缩策略查询结果,并返回所述数据空间伸缩策略查询结果。
示例性地,数据库的数据空间伸缩策略可以包括任意多个数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息。其中,数据空间伸缩触发条件与数据空间伸缩动作信息之间可以是一对一的关系,也可以是一对多的关系,也可以是多对一的关系。
示例性地,数据空间伸缩触发条件包含运行状态信息限制条件。该运行状态信息限制条件可以包括数据库的运行状态信息所需要满足的条件。其中,运行状态信息限制条件可以为某个或某些运行状态信息大于一定阈值、某个或某些运行状态信息小于一定阈值、某个或某些运行状态信息位于一定阈值范围内,等等。
示例性地,数据空间伸缩动作信息包括伸缩对象、伸缩类型和伸缩幅度。其中,伸缩对象可以指数据空间,伸缩类型可以包括扩容和缩容,伸缩幅度可以包括伸缩的数据空间的数量。对于HTAP数据库来说,所述伸缩对象可以包括行存储引擎的数据副本和列存储引擎的数据副本。
以HTAP数据库为例,比如,当CPU利用率高于第一阈值并且列存储引擎的负载高于第二阈值时,执行列存储引擎的副本数量加一的扩容动作;当CPU利用率低于第三阈值并且列存储引擎的负载低于第四阈值时,执行列存储引擎的副本数量减一的缩容动作;当CPU利用率高于第五阈值并且行存储引擎的负载高于第六阈值时,执行行存储引擎的副本数量加一的扩容动作;当CPU利用率低于第七阈值并且行存储引擎的负载低于第八阈值时,执行行存储引擎的副本数量减一的缩容动作,等等。
步骤202,采集数据库的当前运行状态信息。
本申请实施例中,可以实时或定时采集数据库的当前运行状态信息。
示例性地,数据库的当前运行状态信息可以包括但不限于以下至少一种:
(1)数据库硬件负载信息,比如,数据库中各个节点的CPU利用率、内存使用信息、磁盘使用信息、网络流量,等等;其中,节点可以是数据库中承载工作负载的单元,是集群中提供容器运行环境的一台机器(比如物理机或虚拟机);
(2)数据库内部运行信息,比如,数据库数据存储引擎的内部模块的运行状态信息、行存储引擎和列存储引擎之间的数据同步信息、分布式计算层的运行状态信息,等等;
(3)数据库当前业务负载信息,比如,TPS(Transaction per Second,每秒事物数)、QPS(Query per Second,每秒查询率)、连接数,等等。
示例性地,数据库系统中可以提供第三预设接口,数据库系统中的其他模块可以通过第三预设接口对所述数据库的运行状态信息进行查询。因此,用户可以利用数据库系统中的其他模块通过第三预设接口触发运行状态查询指令,数据库系统响应于通过第三预设接口接收到运行状态查询指令,按照所述运行状态查询指令,查询所述数据库的运行状态信息,得到运行状态信息查询结果,并返回所述运行状态信息查询结果。其中,可以查询数据库的历史运行状态信息,也可以查询数据库的当前运行状态信息。
步骤203,判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件。
本申请实施例中,针对数据库的数据空间伸缩策略中的每个数据空间伸缩触发条件,可以分别判断所述数据库的当前运行状态信息是否符合该数据空间伸缩触发条件,直至判断出所述数据库的当前运行状态信息符合某个数据空间伸缩触发条件为止。
示例性地,在所述数据空间伸缩触发条件包含运行状态信息限制条件的情况下,判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件的过程,可以包括:判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件中包含的所述运行状态信息限制条件;在符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息符合所述数据空间伸缩触发条件;在不符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息不符合所述数据空间伸缩触发条件。
比如,以HTAP数据库为例,数据空间伸缩策略中的某条数据空间伸缩触发条件和对应的数据空间伸缩动作信息为:当CPU利用率高于第一阈值并且列存储引擎的负载高于第二阈值时,执行列存储引擎的副本数量加一的扩容动作,因此判断数据库的当前CPU利用率是否高于第一阈值以及数据库的列存储引擎的当前负载是否高于第二阈值。
如果判断出当前CPU利用率高于第一阈值并且数据库的列存储引擎的当前负载高于第二阈值,则确定所述当前运行状态信息符合该条数据空间伸缩触发条件中包含的运行状态信息限制条件,因此可以确定所述当前运行状态信息符合该条数据空间伸缩触发条件;如果判断出当前CPU利用率不高于第一阈值和/或数据库的列存储引擎的当前负载不高于第二阈值,则确定所述当前运行状态信息不符合该条数据空间伸缩触发条件中包含的运行状态信息限制条件,因此可以确定所述当前运行状态信息不符合该条数据空间伸缩触发条件。
步骤204,在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。
如果判断出数据库的当前运行状态信息符合某条数据空间伸缩触发条件,则可以按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。如果判断出数据库的当前运行状态信息均不符合全部数据空间伸缩触发条件,则无需执行数据空间伸缩动作。
比如,以HTAP数据库为例,数据空间伸缩策略中的某条数据空间伸缩触发条件和对应的数据空间伸缩动作信息为:当CPU利用率高于第一阈值并且列存储引擎的负载高于第二阈值时,执行列存储引擎的副本数量加一的扩容动作。如果判断出当前CPU利用率高于第一阈值并且数据库的列存储引擎的当前负载高于第二阈值,则确定所述当前运行状态信息符合该条数据空间伸缩触发条件中包含的运行状态信息限制条件,因此可以确定所述当前运行状态信息符合该条数据空间伸缩触发条件,因此可以执行列存储引擎的副本数量加一的扩容动作。
在一种可选实施方式中,考虑到由于扩容动作、缩容动作比较耗时,而且多个扩容、缩容动作不适宜并发或并行执行,因此可以在数据库系统内部维护一个伸缩动作队列,新的数据空间伸缩动作信息生成之后从伸缩动作队列的队尾追加到伸缩动作队列中,数据库系统中的运行逻辑不断从此伸缩动作队列的队头取出伸缩动作队列中的当前第一个数据空间伸缩动作信息,并执行数据空间伸缩动作信息对应的数据空间伸缩动作,其它等待执行的数据空间伸缩动作信息按照加入的先后顺序依次执行。
因此,所述在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作,可以包括:在符合所述数据空间伸缩触发条件的情况下,将符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息插入预设的伸缩动作队列的队尾;然后按照预设规则从所述伸缩动作队列的队头读取数据空间伸缩动作信息,按照读取的数据空间伸缩动作信息,执行数据空间伸缩动作。示例性地,上述预设规则可以为按照预设的时间间隔读取,对于时间间隔的具体数值,可以根据实际情况进行设置,本实施例对此不做限制。
在一种可选实施方式中,数据库系统还可以提供第一预设接口以供用户更新所述伸缩动作队列,以实现由用户或运维人员进行伸缩动作队列的管理,提升系统的易用性和可运维性。
因此,用户可以利用数据库系统中的其他模块通过第一预设接口触发伸缩动作更新指令,数据库系统响应于通过第一预设接口接收到伸缩动作更新指令,按照所述伸缩动作更新指令,更新所述伸缩动作队列中的数据空间伸缩动作信息。
示例性地,上述更新的类型可以包括插入、删除、调节顺序,等等。比如,可以插入新的数据空间伸缩动作信息到伸缩动作队列中,或者从伸缩动作队列中删除已有的数据空间伸缩动作信息,或者对伸缩动作队列中的数据空间伸缩动作信息调节顺序,等等。
本申请实施例中,能够根据数据库的当前运行状态信息动态调整数据库中的数据空间,实现数据空间的自适应弹性伸缩,解决在负载较低时数据空间过多造成的资源利用率低、在负载较高时数据空间过少造成的性能瓶颈等问题,使得数据空间的数量更加准确,相比于只能在部署时指定数据空间数量之后不能变更的静态配置,具有更高的灵活性、更好的易用性、能适应更多的应用场景,并且能够降低系统运行成本、降低人工运维工作量和运维成本。
参照图3,示出了本申请实施例的一种数据库弹性伸缩装置的结构框图。
如图3所示,数据库弹性伸缩装置可以包括以下模块:
策略配置模块301,用于获取数据库的数据空间伸缩策略,所述数据空间伸缩策略包括数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息;
系统监控模块302,用于采集所述数据库的当前运行状态信息;
伸缩控制模块303,用于判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件;在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。
可选地,所述数据库为混合交易分析处理HTAP数据库,所述数据空间为数据副本。
可选地,所述数据空间伸缩动作信息包括伸缩对象、伸缩类型和伸缩幅度,所述伸缩对象包括行存储引擎的数据副本和列存储引擎的数据副本。
可选地,所述数据空间伸缩触发条件包含运行状态信息限制条件,所述伸缩控制模块303包括:判断单元,用于判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件中包含的所述运行状态信息限制条件;确定单元,用于在符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息符合所述数据空间伸缩触发条件。
可选地,所述伸缩控制模块303包括:插入单元,用于在符合所述数据空间伸缩触发条件的情况下,将符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息插入预设的伸缩动作队列的队尾;执行单元,用于按照预设规则从所述伸缩动作队列的队头读取数据空间伸缩动作信息,按照读取的数据空间伸缩动作信息,执行数据空间伸缩动作。
可选地,所述装置还包括:更新模块,用于响应于通过第一预设接口接收到伸缩动作更新指令,按照所述伸缩动作更新指令,更新所述伸缩动作队列中的数据空间伸缩动作信息。
可选地,所述数据空间伸缩策略在所述数据库首次部署时进行配置;或者,所述数据空间伸缩策略在所述数据库部署完成后运行过程中进行配置。
可选地,所述装置还包括:第一查询模块,用于响应于通过第二预设接口接收到伸缩策略查询指令,按照所述伸缩策略查询指令,查询所述数据空间伸缩策略。
可选地,所述装置还包括:第二查询模块,用于响应于通过第三预设接口接收到运行状态查询指令,按照所述运行状态查询指令,查询所述数据库的运行状态信息。
本申请实施例中,能够根据数据库的当前运行状态信息动态调整数据库中的数据空间,实现数据空间的自适应弹性伸缩,解决在负载较低时数据空间过多造成的资源利用率低、在负载较高时数据空间过少造成的性能瓶颈等问题,使得数据空间的数量更加准确,相比于只能在部署时指定数据空间数量之后不能变更的静态配置,具有更高的灵活性、更好的易用性、能适应更多的应用场景,并且能够降低系统运行成本、降低人工运维工作量和运维成本。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本申请的实施例中,还提供了一种电子设备。该电子设备可以包括一个或多个处理器,以及其上存储有指令的一个或多个计算机可读存储介质,指令例如应用程序。当所述指令由所述一个或多个处理器执行时,使得所述处理器执行上述任一实施例的数据库弹性伸缩方法。
参照图4,示出了本申请实施例的一种电子设备结构的示意图。如图4所示,电子设备包括处理器401、通信接口402、存储器403和通信总线404。其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信。
存储器403,用于存放计算机程序。
处理器401,用于执行存储器403上所存放的程序时,实现上述任一实施例的数据库弹性伸缩方法。
通信接口402用于上述电子设备与其他设备之间的通信。
上述提到的通信总线404可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
上述提到的处理器401可以包括但不限于:中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)、数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,等等。
上述提到的存储器403可以包括但不限于:只读存储器(Read Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、光盘只读储存器(Compact DiscRead Only Memory,简称CD-ROM)、电可擦可编程只读存储器(Electronic ErasableProgrammable Read Only Memory,简称EEPROM)、硬盘、软盘、闪存,等等。
在本申请的实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序可由电子设备的处理器执行,当所述计算机程序被处理器执行时,使得所述处理器执行如上任一实施例所述的数据库弹性伸缩方法。
本说明书中的各个实施例是相互关联的,各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM、RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
本领域普通技术人员可以意识到,结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种数据库弹性伸缩方法,其特征在于,所述方法包括:
获取数据库的数据空间伸缩策略,所述数据空间伸缩策略包括数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息;
采集所述数据库的当前运行状态信息;
判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件;
在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。
2.根据权利要求1所述的方法,其特征在于,所述数据库为混合交易分析处理HTAP数据库,所述数据空间为数据副本。
3.根据权利要求2所述的方法,其特征在于,所述数据空间伸缩动作信息包括伸缩对象、伸缩类型和伸缩幅度,所述伸缩对象包括行存储引擎的数据副本和列存储引擎的数据副本。
4.根据权利要求1所述的方法,其特征在于,所述数据空间伸缩触发条件包含运行状态信息限制条件,所述判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件,包括:
判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件中包含的所述运行状态信息限制条件;
在符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息符合所述数据空间伸缩触发条件。
5.根据权利要求1所述的方法,其特征在于,所述在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作,包括:
在符合所述数据空间伸缩触发条件的情况下,将符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息插入预设的伸缩动作队列的队尾;
按照预设规则从所述伸缩动作队列的队头读取数据空间伸缩动作信息,按照读取的数据空间伸缩动作信息,执行数据空间伸缩动作。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
响应于通过第一预设接口接收到伸缩动作更新指令,按照所述伸缩动作更新指令,更新所述伸缩动作队列中的数据空间伸缩动作信息。
7.根据权利要求1所述的方法,其特征在于,
所述数据空间伸缩策略在所述数据库首次部署时进行配置;或者,
所述数据空间伸缩策略在所述数据库部署完成后运行过程中进行配置。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于通过第二预设接口接收到伸缩策略查询指令,按照所述伸缩策略查询指令,查询所述数据空间伸缩策略。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于通过第三预设接口接收到运行状态查询指令,按照所述运行状态查询指令,查询所述数据库的运行状态信息。
10.一种数据库弹性伸缩装置,其特征在于,所述装置包括:
策略配置模块,用于获取数据库的数据空间伸缩策略,所述数据空间伸缩策略包括数据空间伸缩触发条件和所述数据空间伸缩触发条件对应的数据空间伸缩动作信息;
系统监控模块,用于采集所述数据库的当前运行状态信息;
伸缩控制模块,用于判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件;在符合所述数据空间伸缩触发条件的情况下,按照符合的数据空间伸缩触发条件对应的数据空间伸缩动作信息,执行数据空间伸缩动作。
11.根据权利要求10所述的装置,其特征在于,所述数据库为混合交易分析处理HTAP数据库,所述数据空间为数据副本。
12.根据权利要求11所述的装置,其特征在于,所述数据空间伸缩动作信息包括伸缩对象、伸缩类型和伸缩幅度,所述伸缩对象包括行存储引擎的数据副本和列存储引擎的数据副本。
13.根据权利要求10所述的装置,其特征在于,所述数据空间伸缩触发条件包含运行状态信息限制条件,所述伸缩控制模块包括:
判断单元,用于判断所述当前运行状态信息是否符合所述数据空间伸缩触发条件中包含的所述运行状态信息限制条件;
确定单元,用于在符合所述运行状态信息限制条件的情况下,确定所述当前运行状态信息符合所述数据空间伸缩触发条件。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个计算机可读存储介质;
当所述指令由所述一个或多个处理器执行时,使得所述处理器执行如权利要求1至9任一项所述的数据库弹性伸缩方法。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至9任一项所述的数据库弹性伸缩方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211698903.2A CN116226081A (zh) | 2022-12-28 | 2022-12-28 | 数据库弹性伸缩方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211698903.2A CN116226081A (zh) | 2022-12-28 | 2022-12-28 | 数据库弹性伸缩方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116226081A true CN116226081A (zh) | 2023-06-06 |
Family
ID=86583434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211698903.2A Pending CN116226081A (zh) | 2022-12-28 | 2022-12-28 | 数据库弹性伸缩方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116226081A (zh) |
-
2022
- 2022-12-28 CN CN202211698903.2A patent/CN116226081A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846137B2 (en) | Dynamic adjustment of application resources in a distributed computing system | |
US10579364B2 (en) | Upgrading bundled applications in a distributed computing system | |
US10831387B1 (en) | Snapshot reservations in a distributed storage system | |
US11099937B2 (en) | Implementing clone snapshots in a distributed storage system | |
US9858322B2 (en) | Data stream ingestion and persistence techniques | |
US9276959B2 (en) | Client-configurable security options for data streams | |
US20150134797A1 (en) | Managed service for acquisition, storage and consumption of large-scale data streams | |
US10817380B2 (en) | Implementing affinity and anti-affinity constraints in a bundled application | |
JP2016027476A (ja) | 規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 | |
CN108900626B (zh) | 一种云环境下数据存储方法、装置及系统 | |
CN111324606B (zh) | 数据分片的方法及装置 | |
US20240061712A1 (en) | Method, apparatus, and system for creating training task on ai training platform, and medium | |
US11449241B2 (en) | Customizable lock management for distributed resources | |
CN111488323B (zh) | 一种数据处理方法、装置及电子设备 | |
CN111597270A (zh) | 数据同步方法、装置、设备及计算机存储介质 | |
CN114780252A (zh) | 数据仓库系统的资源管理方法及装置 | |
CN112306383B (zh) | 执行作业的方法、计算节点、管理节点及计算设备 | |
CN109189343B (zh) | 一种元数据落盘方法、装置、设备及计算机可读存储介质 | |
GB2497172A (en) | Reserving space on a storage device for new data based on predicted changes in access frequencies of storage devices | |
US11429311B1 (en) | Method and system for managing requests in a distributed system | |
CN110162395B (zh) | 一种内存分配的方法及装置 | |
US8341368B2 (en) | Automatic reallocation of structured external storage structures | |
CN101483668A (zh) | 热点数据的网络存储和访问方法、设备及系统 | |
JP4021287B2 (ja) | データベース検索プログラム、データベース検索方法及びデータベース検索装置 | |
CN116226081A (zh) | 数据库弹性伸缩方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Applicant after: Tianyiyun Technology Co.,Ltd. Address before: 100093 Floor 4, Block E, Xishan Yingfu Business Center, Haidian District, Beijing Applicant before: Tianyiyun Technology Co.,Ltd. |
|
CB02 | Change of applicant information |