CN116560818B - 一种空间数据服务分发与调度的方法及系统 - Google Patents
一种空间数据服务分发与调度的方法及系统 Download PDFInfo
- Publication number
- CN116560818B CN116560818B CN202310780476.0A CN202310780476A CN116560818B CN 116560818 B CN116560818 B CN 116560818B CN 202310780476 A CN202310780476 A CN 202310780476A CN 116560818 B CN116560818 B CN 116560818B
- Authority
- CN
- China
- Prior art keywords
- service
- request concurrency
- concurrency number
- real
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 74
- 238000003860 storage Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 8
- 239000002699 waste material Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及Docker容器动态调度技术领域，尤其涉及一种空间数据服务分发与调度的方法及系统。该方法包括：接收参数配置指令，其中参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，控制参数的配置包括对动态扩展值、实时请求并发数和宕机阈值的配置；基于预设服务分发规则，判断业务是否满足分发Docker资源池进行服务的条件，若满足，则再基于服务调度规则，判断是否满足Docker资源池的调度条件，若满足，则计算需要调度Docker资源池的数量进行对应数量的调度。本申请能依据数据并发量和服务量自动分发调度服务器资源，实现自动化运维和可动态服务调节，降低运营成本和运营复杂度。
Description
技术领域
本申请涉及Docker容器动态调度技术领域，尤其涉及一种空间数据服务分发与调度的方法及系统。
背景技术
随着数字经济的快速崛起，在地图展示领域需要用到的图形服务越来越大，加上虚拟化、云服务、大数据、数据库系统等技术的日益成熟，如何稳定安全的为用户提供空间数据服务成为运维工作中的难点。
根据市场调研，目前的空间数据服务技术，多数是使用单机常规服务发布机制，即使用程序服务链接空间数据库进行服务提供，过程需要配置网络和网关及端口的复杂配置，且当数据并发量和服务量增加时，对应的运维人员和安全人员以及监测范围需要成倍增加，使得项目运维成本增加，不利于工程中业务的持续发展。
发明内容
为解决或者部分解决相关技术中存在的问题，本申请公开的一种空间数据服务分发与调度的方法及系统，能够依据数据并发量和服务量自动分发调度服务器资源，实现自动化运维和可动态服务调节，降低运营成本和运营复杂度。
第一方面，本申请提供一种空间数据服务分发与调度的方法，采用如下技术方案：
一种空间数据服务分发与调度的方法，包括：接收参数配置指令，其中所述参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，所述控制参数的配置包括对动态扩展值、实时请求并发数和宕机阈值的配置；基于预设服务分发规则，判断业务是否满足分发所述Docker资源池进行服务的条件，若满足，则再基于所述服务调度规则，判断是否满足所述Docker资源池的调度条件，若满足，则计算需要调度所述Docker资源池的数量进行对应数量的调度。
通过采用上述技术方案，通过接收参数配置指令可以实现对Docker资源池、业务资源池、默认请求并发数、动态扩展值、实时请求并发数和宕机阈值的配置，再通过预设服务分发规则，可以判断出业务是否满足分发Docker资源池进行服务的条件，以在满足时再基于服务调度规则，判断是否满足Docker资源池的调度条件，并在满足时，计算需要调度Docker资源池的数量进行对应数量的调度，可以实现依据数据并发量和服务量自动分发调度服务器资源，实现自动化运维和可动态服务调节，降低运营成本和运营复杂度。
可选的，所述预设服务分发规则包括：当所述实时请求并发数低于所述默认请求并发数，CPU使用率高于预设使用率时，则进行拓展分发；当所述实时请求并发数低于所述默认请求并发数，所述CPU使用率低于所述预设使用率时，则不进行拓展分发；当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率高于所述预设使用率时，则进行拓展分发；当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率低于所述预设使用率时，则不进行拓展分发。
通过采用上述技术方案，通过将请求并发数和CPU使用率合并作为预设服务分发规则的判断标准，可以实现基于不同数量的Docker资源池和业务资源池不相等且服务密度不同的情况下，判断是否需要进行服务分发，可以使得在运维预算中服务资源的分发更为准确以及投产成本得到控制，以达到优化分配服务器资源的作用。
可选的，所述服务调度规则为：基于所述实时请求并发数与所述默认请求并发数的比值，得到所述动态扩展值，当所述动态扩展值小于所述实时请求并发数与所述宕机阈值的比值时，将所述Docker资源池的数量增加一倍；当所述实时请求并发数与所述宕机阈值的比值小于所述动态扩展值的0.1倍时，将所述Docker资源池的数量减少一倍，其中，所述Docker资源池的数量最少为1。
通过采用上述技术方案，通过设置服务调度规则可以基于实际的请求并发数，判断是否满足服务调度的规则，来实现Docker资源池也即服务器资源的高效利用和服务的高效提供，为各类服务提供简单便捷的服务发布方法，能够使空闲的服务器资源得到更大利用，避免了服务器资源的浪费，且能够实现轻量化服务，为后续生产提供较大的便利性。
可选的，在所述基于预设服务分发规则，判断业务是否满足分发所述Docker资源池进行服务的条件，之前还包括：判断所述实时请求并发数是否高于等于所述宕机阈值，若是，则结束分发所述Docker资源池，拒绝提供服务。
通过采用上述技术方案，通过判断实时请求并发数是否高于等于宕机阈值，可以判断出当前系统是否存在宕机风险，并在高于等于宕机阈值时也即存在宕机风险时，及时结束分发Docker资源池以进行停止运行，避免服务器资源的浪费。
可选的，所述Docker资源池与所述业务资源池组合，所述Docker资源池的数量高于等于所述业务资源池数量的二倍。
通过采用上述技术方案，通过将Docker资源池的数量设置为高于等于业务资源池数量的二倍，可以使得每个业务服务也即业务资源池都有一个备用Docker资源池，以确保所有业务都能得到Docker资源池的稳定支撑，保持系统稳定，进而实现兼容和防止业务激增的情况，以确保有一定的冗余操作空间。
第二方面，本申请提供一种空间数据服务分发与调度的系统，采用如下技术方案：
一种空间数据服务分发与调度的系统，包括：配置模块，用于接收参数配置指令，其中所述参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，所述控制参数的配置包括对动态扩展值、实时请求并发数和宕机阈值的配置；分发调度模块，用于基于预设服务分发规则，判断业务是否满足分发所述Docker资源池进行服务的条件，若满足，则再基于所述服务调度规则，判断是否满足所述Docker资源池的调度条件，若满足，则计算需要调度所述Docker资源池的数量进行对应数量的调度。
通过采用上述技术方案，通过配置模块接收参数配置指令，可以实现对Docker资源池、业务资源池、默认请求并发数、动态扩展值、实时请求并发数和宕机阈值的配置，再通过分发调度模块的预设服务分发规则，可以判断出业务是否满足分发Docker资源池进行服务的条件，以在满足时再基于服务调度规则，判断是否满足Docker资源池的调度条件，并在满足时，计算需要调度Docker资源池的数量进行对应数量的调度，可以实现依据数据并发量和服务量自动分发调度Docker资源池也即服务器资源，实现自动化运维和可动态服务调节，降低运营成本和运营复杂度。
可选的，所述预设服务分发规则包括：当所述实时请求并发数低于所述默认请求并发数，CPU使用率高于预设使用率时，则进行拓展分发；当所述实时请求并发数低于所述默认请求并发数，所述CPU使用率低于所述预设使用率时，则不进行拓展分发；当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率高于所述预设使用率时，则进行拓展分发；当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率低于所述预设使用率时，则不进行拓展分发。
通过采用上述技术方案，通过将请求并发数和CPU使用率合并作为预设服务分发规则的判断标准，可以实现基于不同数量的Docker资源池和业务资源池不相等且服务密度不同的情况下，判断是否需要进行服务分发，可以使得在运维预算中服务资源的分发更为准确以及投产成本得到控制，以达到优化分配服务器资源的作用。
可选的，所述服务调度规则为：基于所述实时请求并发数与所述默认请求并发数的比值，得到所述动态扩展值，当所述动态扩展值小于所述实时请求并发数与所述宕机阈值的比值时，将所述Docker资源池的数量增加一倍；当所述实时请求并发数与所述宕机阈值的比值小于所述动态扩展值的0.1倍时，将所述Docker资源池的数量减少一倍，其中，所述Docker资源池的数量最少为1。
通过采用上述技术方案，通过设置服务调度规则可以基于实际的请求并发数判断是否满足服务调度的规则，来实现服务器资源的高效利用和服务的高效提供，为各类服务提供简单便捷的服务发布方法，能够使空闲的服务器资源得到更大利用，避免了服务器资源的浪费，且能够实现轻量化服务，为后续生产提供较大的便利性。
可选的，一种空间数据服务分发与调度的系统，还包括：宕机判断模块，用于判断所述实时请求并发数是否高于等于所述宕机阈值，若是，则结束分发所述Docker资源池，拒绝提供服务。
通过采用上述技术方案，通过宕机判断模块可以判断实时请求并发数是否高于等于宕机阈值，可以判断出当前系统是否存在宕机风险，并在高于等于宕机阈值时也即存在宕机风险时，及时结束分发Docker资源池以进行停止运行，避免服务器资源的浪费。
第三方面，本申请提供一种存储设备，采用如下技术方案：
一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述任一项所述空间数据服务分发与调度的方法。
综上所述，本申请包括以下至少一种有益技术效果：
通过接收参数配置指令可以实现对Docker资源池、业务资源池、默认请求并发数、动态扩展值、实时请求并发数和宕机阈值的配置，再通过预设服务分发规则，可以判断出业务是否满足分发Docker资源池进行服务的条件，以在满足时再基于服务调度规则，判断是否满足Docker资源池的调度条件，并在满足时，计算需要调度Docker资源池的数量进行对应数量的调度，可以实现依据数据并发量和服务量自动分发调度Docker资源池也即服务器资源，实现自动化运维和可动态服务调节，降低运营成本和运营复杂度。
通过将请求并发数和CPU使用率合并作为预设服务分发规则的判断标准，可以实现基于不同数量的Docker资源池和业务资源池不相等且服务密度不同的情况下，判断是否需要进行服务分发，可以使得在运维预算中服务资源的分发更为准确以及投产成本得到控制，以达到优化分配服务器资源的作用。
通过设置服务调度规则可以基于实际的请求并发数判断是否满足服务调度的规则，来实现服务器资源的高效利用和服务的高效提供，为各类服务提供简单便捷的服务发布方法，能够使空闲的服务器资源得到更大利用，避免了服务器资源的浪费，且能够实现轻量化服务，为后续生产提供较大的便利性。
通过将Docker资源池的数量设置为高于等于业务资源池数量的二倍，可以使得每个业务服务都有一个备用Docker资源池，以确保所有业务都能得到Docker资源池的稳定支撑，保持系统稳定，进而实现兼容和防止业务激增的情况，以确保有一定的冗余操作空间。
附图说明
图1为本申请实施例中公开的一种空间数据服务分发与调度的方法的一流程示意图；
图2为本申请实施例中进行参数配置的操作界面示意图；
图3为本申请实施例中公开的预设服务分发规则的示意表；
图4为本申请实施例中公开的服务调度规则的示意表；
图5为本申请实施例中公开的一种空间数据服务分发与调度的方法的另一流程示意图；
图6为本申请实施例中公开的一种空间数据服务分发与调度的方法的又一流程示意图；
图7为本申请实施例中公开的一种空间数据服务分发与调度的系统的一模块结构示意图；
图8为本申请实施例中公开的一种空间数据服务分发与调度的系统的另一模块结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，空间数据服务技术多数是使用单机常规服务发布机制，即使用程序服务链接空间数据库进行服务提供，过程需要配置网络和网关及端口的复杂配置，且当数据并发量和服务量增加时，对应的运维人员和安全人员以及监测范围需要成倍增加，使得项目运维成本增加，不利于工程中业务的持续发展。
因此，为了解决上述技术问题，本申请公开了一种空间数据服务分发与调度的方法及系统，能够依据数据并发量和服务量自动分发调度服务器资源，实现自动化运维和可动态服务调节，降低运营成本和运营复杂度。
以下结合附图1-8详细说明本申请实施例的技术方案。
参见图1，图1示出了本申请一实施例中的一种空间数据服务分发与调度的方法的流程示意图，其具体包括如下步骤：
S10、接收参数配置指令；
其中，参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，Docker资源池是可规划的一种虚拟化服务资源，可由docker工具进行构建，也可以利用shell代码自动化构建，在本申请中，并不限制其构建方式。业务资源池也即矢量空间数据服务资源池，其为包含程序和静态文件以及空间数据库构建的可执行文件程序，用于与Docker资源池结合形成各类数据服务预备程序，其中，关于Docker资源池、业务资源池的数量设置，可以是依据具体的业务需求和机器性能来设定的一个上限值，在实际中可能不会全部用完。
默认请求并发数可理解为可执行的默认并发数量，可以基于机器性能来设定。控制参数的配置可包括动态扩展值、实时请求并发数和宕机阈值的配置，以用于根据请求数的不同，设置每个服务调度规则，动态扩展值的取值可取决于实时请求并发数与默认请求并发数的比值；实时请求并发数可基于其他软件进行实时监测所得，在此并不限定监测软件。宕机阈值的设置可基于机器性能来设定具有一定风险的上限值。
举例而言，参见图2，为参数配置的操作界面示意图，Docker资源池数量可设置为200、业务资源池数量可设置为100、默认请求并发数可设置为50000、宕机阈值可设置为80000、动态扩展值（图中所示为自动扩展M值）可设置为0.5、实时请求并发数可设置为50。
在此说明，关于动态扩展值可预先设置，也可由自动服务调度规则进行自动计算匹配。
S20、基于预设服务分发规则，判断业务是否满足分发Docker资源池进行服务的条件，若满足，则再基于服务调度规则，判断是否满足Docker资源池的调度条件，若满足，则计算需要调度Docker资源池的数量进行对应数量的调度。
其中，在本实施例中，预设服务分发规则可包括如下：
当实时请求并发数低于默认请求并发数，CPU使用率高于预设使用率，则满足，进行拓展分发；
当实时请求并发数低于默认请求并发数时，CPU使用率低于预设使用率，则不满足，不进行拓展分发；
当实时请求并发数高于默认请求并发数且低于宕机阈值时，以及CPU使用率高于预设使用率时，则满足，进行拓展分发；
当实时请求并发数高于默认请求并发数且低于宕机阈值时，以及CPU使用率低于预设使用率，则不满足，不进行拓展分发。
举例而言，参加图3，为预设服务分发规则的示意表。其中，表中设置默认请求并发数5万，CPU预设使用率为0.92，宕机阈值设为N，对应的：
当实时请求并发数低于5万，CPU使用率低于0.92时，则为FALSE也即不进行拓展分发；
当实时请求并发数低于5万，CPU使用率高于0.92，则为TRUE也即自动拓展分发；
当实时请求并发数高于5万且低于宕机阈值N，以及CPU使用率低于0.92时，则为FALSE也即不进行拓展分发；
当实时请求并发数高于5万且低于宕机阈值N，以及CPU使用率高于0.92时，则为TRUE也即自动拓展分发。
基于上述规则，当业务资源池例如为remnux/jsdetox业务时，运行100个，每个占用cpu使用率0.51%，则cpu总使用率51%，实时请求并发数50，按照上述预设服务分发规则，则不需要自动拓展分发Docker资源池进行服务；当100个remnux/jsdetox的实时请求并发数到45000时，CPU使用率达到95%，则触发预设服务分发规则进行自动拓展分发。
在此说明，关于分发Docker资源池的数量可基于业务资源池的数量进行确定，在本实施例中，Docker资源池与业务资源池组合，Docker资源池的数量可高于等于业务资源池数量的二倍，以使得每个业务服务也即业务资源池都有一个备用Docker资源池，以确保所有业务资源池都能得到Docker资源池的稳定支撑，保持系统运行稳定，进而实现在业务激增时，确保有一定的冗余操作空间。
在本实施例中，服务调度规则可包括如下：
基于实时请求并发数与默认请求并发数的比值，得到动态扩展值，当动态扩展值小于实时请求并发数与宕机阈值的比值时，将Docker资源池的数量增加一倍；
当实时请求并发数与宕机阈值的比值小于动态扩展值的0.1倍时，将Docker资源池的数量减少一倍，其中，Docker资源池的数量最少为1，以确保业务服务的正常运行。
举例而言，参加图4，为服务调度规则的示意表。表中设置默认请求并发数5万，实时请求并发数与默认请求并发数的比值为K，当K<1时，对应的动态扩展值M取0.9；当3>=K>=1时，对应的M值取0.5；当10>=K>3时，对应的动态扩展值M取0.2；当K>10时，对应的动态扩展值M取0.1；
基于上述规则，当实际请求并发数为6.5万、默认请求并发数为5万、宕机阈值为6万、Docker资源池为2，K=6.5/5=1.3，符合3>=K>=1，则对应的动态扩展值M取0.5，其实时请求并发数/宕机阈值=6.5/6>0.2，则符合将Docker资源池的数量增加一倍，也即Docker资源池增加至4，同时宕机阈值可动态变化为12万；反之，则将Docker资源池的数量减少一倍，也即减少至1，同时宕机阈值可动态变化为3万，同时满足Docker资源池的数量最少为1，以确保业务服务的正常运行。
在此说明，关于默认请求并发数始终小于宕机阈值，以避免出现宕机风险，确保系统稳定。关于 Docker资源池的增加或减少的倍数上，在本实施例中，并不限定，可以依据实际情况进行预先设定。
参见图5，在另一实施例中，在步骤S20之前还包括：
S11、判断实时请求并发数是否高于等于宕机阈值，若是，则结束分发Docker资源池，拒绝提供服务。
其中，通过判断实时请求并发数是否高于等于宕机阈值，可以判断出当前系统是否存在宕机风险，并在高于等于宕机阈值时也即存在宕机风险时，及时结束分发Docker资源池以进行停止运行，避免服务器资源的浪费。
为了更清楚的描述本申请实施例公开的一种空间数据服务分发与调度的方法，参见图6，对其进行详细流程说明，如下：
S30、接收参数配置指令，进入步骤S31；
其中，参数配置包括Docker资源池、业务资源池、默认请求并发数、动态扩展值、实时请求并发数和宕机阈值的配置。
S31、判断实时请求并发数是否高于等于宕机阈值，若是，则结束服务；若否，则执行步骤S32；
其中，通过判断实时请求并发数是否高于等于宕机阈值，可以判断出当前系统是否存在宕机风险，并在高于等于宕机阈值时也即存在宕机风险时，及时结束分发Docker资源池以进行停止运行，避免服务器资源的浪费。
S32、基于预设服务分发规则，判断业务是否满足分发Docker资源池进行服务的条件，若是，则执行步骤S33；若否，则结束分发；
其中，通过设置预设服务分发规则，可以实现基于不同数量的Docker资源池和业务资源池不相等且服务密度不同的情况下，判断是否需要进行服务分发，可以使得在运维预算中服务资源的分发更为准确以及投产成本得到控制，以达到优化分配服务器资源的作用。
S33、基于服务调度规则，判断是否满足Docker资源池的调度条件，若是，则执行步骤S34；若否，则结束调度。
其中，通过设置服务调度规则可以基于实际的请求并发数，判断是否满足服务调度的规则，来实现Docker资源池也即服务器资源的高效利用和服务的高效提供，为各类服务提供简单便捷的服务发布方法，能够使空闲的服务器资源得到更大利用，避免了服务器资源的浪费，且能够实现轻量化服务，为后续生产提供较大的便利性。
S34、计算需要调度Docker资源池的数量进行对应数量的调度。
其中，需要调度Docker资源池的数量可以基于实时请求并发数与默认请求并发数的比值，得到动态扩展值，当动态扩展值小于实时请求并发数与宕机阈值的比值时，将Docker资源池的数量增加一倍；当实时请求并发数与宕机阈值的比值小于动态扩展值的0.1倍时，将Docker资源池的数量减少一倍，其中，Docker资源池的数量最少为1，以确保业务服务的正常运行。
参见图7，在本申请另一实施例中公开了一种空间数据服务分发与调度的系统，包括：配置模块10和分发调度模块20。
其中，配置模块10用于接收参数配置指令，其中参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，控制参数的配置包括对动态扩展值、实时请求并发数和宕机阈值的配置；分发调度模块20用于基于预设服务分发规则，判断业务是否满足分发Docker资源池进行服务的条件，若满足，则再基于服务调度规则，判断是否满足Docker资源池的调度条件，若满足，则计算需要调度Docker资源池的数量进行对应数量的调度。
其中，预设服务分发规则包括：
当实时请求并发数低于默认请求并发数，CPU使用率高于预设使用率时，则进行拓展分发；
当实时请求并发数低于默认请求并发数，CPU使用率低于预设使用率时，则不进行拓展分发；
当实时请求并发数高于默认请求并发数且低于宕机阈值，以及CPU使用率高于预设使用率时，则进行拓展分发；
当实时请求并发数高于默认请求并发数且低于宕机阈值，以及CPU使用率低于预设使用率时，则不进行拓展分发。
服务调度规则为：
基于实时请求并发数与默认请求并发数的比值，得到动态扩展值，当动态扩展值小于实时请求并发数与宕机阈值的比值时，将Docker资源池的数量增加一倍；
当实时请求并发数与宕机阈值的比值小于动态扩展值的0.1倍时，将Docker资源池的数量减少一倍，其中，Docker资源池的数量最少为1。
参见图8，在另一实施例中，一种空间数据服务分发与调度的系统，还包括：宕机判断模块11，用于判断实时请求并发数是否高于等于宕机阈值，若是，则结束分发Docker资源池，拒绝提供服务。
需要说明的是，该实施例公开的一种空间数据服务分发与调度的系统，所实现的一种应用于一种空间数据服务分发与调度的方法，如上述实施例，故在此不再进行详细讲述。可选地，本实施例中的各个模块和上述其他操作或功能分别为了实现前述实施例中的方法。
本发明另一实施例提供了一种计算机可读存储介质。计算机可读存储介质例如为非易失性存储器，其例如为：磁介质(如硬盘、软盘和磁带)，光介质(如CDROM盘和DVD)，磁光介质(如光盘)以及专门构造为用于存储和执行计算机可执行指令的硬件系统(如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读存储介质40上存储有计算机可执行指令。计算机可读存储介质可由一个或多个处理器或处理系统来执行计算机可执行指令，以实施前述第一实施例中的图像编辑方法。
此外，可以理解的是，前述各个实施例仅为本发明的示例性说明，在技术特征不冲突、结构不矛盾、不违背本发明的发明目的前提下，各个实施例的技术方案可以任意组合、搭配使用。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元/模块的形式实现。
上述以软件功能单元/模块的形式实现的集成的单元/模块，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)的一个或多个处理器执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReaD-OnlyMemory，简称ROM)、随机存取存储器(RanDomAccessMemory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种空间数据服务分发与调度的方法，其特征在于，包括：
接收参数配置指令，其中所述参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，所述控制参数的配置包括对动态扩展值、实时请求并发数和宕机阈值的配置，其中基于所述实时请求并发数与所述默认请求并发数的比值，得到所述动态扩展值，所述默认请求并发数始终小于所述宕机阈值；
基于预设服务分发规则，判断业务是否满足分发所述Docker资源池进行服务的条件，若满足，则再基于服务调度规则，判断是否满足所述Docker资源池的调度条件，若满足，则计算需要调度所述Docker资源池的数量进行对应数量的调度；
其中，所述服务调度规则为：
基于所述实时请求并发数与所述默认请求并发数的比值，得到所述动态扩展值，当所述动态扩展值小于所述实时请求并发数与所述宕机阈值的比值时，将所述Docker资源池的数量增加一倍；
当所述实时请求并发数与所述宕机阈值的比值小于所述动态扩展值的0.1倍时，将所述Docker资源池的数量减少一倍，其中，所述Docker资源池的数量最少为1。
2.根据权利要求1所述的空间数据服务分发与调度的方法，其特征在于，所述预设服务分发规则包括：
当所述实时请求并发数低于所述默认请求并发数，CPU使用率高于预设使用率时，则进行拓展分发；
当所述实时请求并发数低于所述默认请求并发数，所述CPU使用率低于所述预设使用率时，则不进行拓展分发；
当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率高于所述预设使用率时，则进行拓展分发；
当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率低于所述预设使用率时，则不进行拓展分发。
3.根据权利要求1所述的空间数据服务分发与调度的方法，其特征在于，在所述基于预设服务分发规则，判断业务是否满足分发所述Docker资源池进行服务的条件，之前还包括：
判断所述实时请求并发数是否高于等于所述宕机阈值，若是，则拒绝提供服务。
4.根据权利要求1所述的空间数据服务分发与调度的方法，其特征在于，所述Docker资源池与所述业务资源池组合，所述Docker资源池的数量高于等于所述业务资源池数量的二倍。
5.一种空间数据服务分发与调度的系统，其特征在于，包括：
配置模块，用于接收参数配置指令，其中所述参数配置指令中包括对Docker资源池、业务资源池、默认请求并发数和控制参数的配置，所述控制参数的配置包括对动态扩展值、实时请求并发数和宕机阈值的配置，其中基于所述实时请求并发数与所述默认请求并发数的比值，得到所述动态扩展值，所述默认请求并发数始终小于所述宕机阈值；
分发调度模块，用于基于预设服务分发规则，判断业务是否满足分发所述Docker资源池进行服务的条件，若满足，则再基于服务调度规则，判断是否满足所述Docker资源池的调度条件，若满足，则计算需要调度所述Docker资源池的数量进行对应数量的调度；
其中，所述服务调度规则为：
基于所述实时请求并发数与所述默认请求并发数的比值，得到所述动态扩展值，当所述动态扩展值小于所述实时请求并发数与所述宕机阈值的比值时，将所述Docker资源池的数量增加一倍；
当所述实时请求并发数与所述宕机阈值的比值小于所述动态扩展值的0.1倍时，将所述Docker资源池的数量减少一倍，其中，所述Docker资源池的数量最少为1。
6.根据权利要求5所述的空间数据服务分发与调度的系统，其特征在于，所述预设服务分发规则包括：
当所述实时请求并发数低于所述默认请求并发数，CPU使用率高于预设使用率时，则进行拓展分发；
当所述实时请求并发数低于所述默认请求并发数，所述CPU使用率低于所述预设使用率时，则不进行拓展分发；
当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率高于所述预设使用率时，则进行拓展分发；
当所述实时请求并发数高于所述默认请求并发数且低于所述宕机阈值，以及所述CPU使用率低于所述预设使用率时，则不进行拓展分发。
7.根据权利要求5所述的空间数据服务分发与调度的系统，其特征在于，还包括：
宕机判断模块，用于判断所述实时请求并发数是否高于等于所述宕机阈值，若是，则拒绝提供服务。
8.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至4任一项所述空间数据服务分发与调度的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310780476.0A CN116560818B (zh) | 2023-06-29 | 2023-06-29 | 一种空间数据服务分发与调度的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310780476.0A CN116560818B (zh) | 2023-06-29 | 2023-06-29 | 一种空间数据服务分发与调度的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116560818A CN116560818A (zh) | 2023-08-08 |
| CN116560818B true CN116560818B (zh) | 2023-09-12 |
Family
ID=87491764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310780476.0A Active CN116560818B (zh) | 2023-06-29 | 2023-06-29 | 一种空间数据服务分发与调度的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116560818B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113280A1 (zh) * | 2015-12-31 | 2017-07-06 | 华为技术有限公司 | 分布式存储系统及管理元数据的方法 |
| CN107733676A (zh) * | 2016-08-12 | 2018-02-23 | 中国移动通信集团浙江有限公司 | 一种弹性调度资源的方法及系统 |
| CN111585840A (zh) * | 2020-04-29 | 2020-08-25 | 北京申信联华科技有限公司 | 服务资源监测方法、装置和设备 |
| CN111880914A (zh) * | 2020-07-20 | 2020-11-03 | 北京百度网讯科技有限公司 | 资源调度方法、资源调度装置、电子设备和存储介质 |
| WO2022257347A1 (zh) * | 2021-06-11 | 2022-12-15 | 聚好看科技股份有限公司 | 一种容器云弹性伸缩的方法及集群服务器 |
| CN116339985A (zh) * | 2023-03-08 | 2023-06-27 | 阿里云计算有限公司 | 资源调度方法、装置、计算集群及数据库 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8589554B2 (en) * | 2009-12-30 | 2013-11-19 | Bmc Software, Inc. | Intelligent and elastic resource pools for heterogeneous datacenter environments |
| US8819683B2 (en) * | 2010-08-31 | 2014-08-26 | Autodesk, Inc. | Scalable distributed compute based on business rules |
| CN107025559B (zh) * | 2017-01-26 | 2020-09-18 | 创新先进技术有限公司 | 一种业务处理方法及装置 |
-
2023
- 2023-06-29 CN CN202310780476.0A patent/CN116560818B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113280A1 (zh) * | 2015-12-31 | 2017-07-06 | 华为技术有限公司 | 分布式存储系统及管理元数据的方法 |
| CN107211003A (zh) * | 2015-12-31 | 2017-09-26 | 华为技术有限公司 | 分布式存储系统及管理元数据的方法 |
| CN107733676A (zh) * | 2016-08-12 | 2018-02-23 | 中国移动通信集团浙江有限公司 | 一种弹性调度资源的方法及系统 |
| CN111585840A (zh) * | 2020-04-29 | 2020-08-25 | 北京申信联华科技有限公司 | 服务资源监测方法、装置和设备 |
| CN111880914A (zh) * | 2020-07-20 | 2020-11-03 | 北京百度网讯科技有限公司 | 资源调度方法、资源调度装置、电子设备和存储介质 |
| WO2022257347A1 (zh) * | 2021-06-11 | 2022-12-15 | 聚好看科技股份有限公司 | 一种容器云弹性伸缩的方法及集群服务器 |
| CN116339985A (zh) * | 2023-03-08 | 2023-06-27 | 阿里云计算有限公司 | 资源调度方法、装置、计算集群及数据库 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116560818A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10361928B2 (en) | Cluster instance management system | |
| CN103067425B (zh) | 虚拟机创建方法、虚拟机管理系统及相关设备 | |
| CN102567072B (zh) | 一种资源分配方法、装置及系统 | |
| EP2754046B1 (en) | Automatic preemption in multiple computer systems | |
| CN114416352B (zh) | 算力资源分配方法、装置、电子设备及储存介质 | |
| JP2005141605A (ja) | 予測に基づいた計算機リソース配分方法 | |
| CN110661842B (zh) | 一种资源的调度管理方法、电子设备和存储介质 | |
| CN110308985B (zh) | 云专属服务器资源管理方法、装置、设备及存储介质 | |
| CN103200020A (zh) | 一种资源部署方法和系统 | |
| CN109800261B (zh) | 双数据库连接池的动态控制方法、装置及相关设备 | |
| CN103516623A (zh) | 资源分配方法及系统 | |
| CN102868744A (zh) | 一种实现SaaS与IaaS自动化集成管理的方法 | |
| CN114546587A (zh) | 一种在线图像识别服务的扩缩容方法及相关装置 | |
| CN109040156B (zh) | 一种基于容器云的软负载资源处理方法及装置 | |
| CN113626145B (zh) | 业务虚拟机数量动态扩容方法及系统 | |
| CN116010019A (zh) | 一种内存资源的分配方法、相关装置及设备 | |
| CN116560818B (zh) | 一种空间数据服务分发与调度的方法及系统 | |
| CN117499490A (zh) | 基于多集群的网络调度方法及装置 | |
| CN114003238B (zh) | 一种基于转码卡的容器部署方法、装置、设备及存储介质 | |
| CN113687919B (zh) | 一种微服务治理的控制方法、装置、设备及存储介质 | |
| CN114116187B (zh) | 容器资源动态扩容方法和装置 | |
| CN114721827A (zh) | 一种数据处理方法及装置 | |
| CN107783823A (zh) | 一种负载均衡方法及装置 | |
| CN110874256B (zh) | 一种计算集群更新系统、方法及装置 | |
| CN118170549B (zh) | 资源分配方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for distributing and scheduling spatial data services Granted publication date: 20230912 Pledgee: Bank of China Limited Shenzhen Nantou Sub branch Pledgor: SHENZHEN ETOP INFORMATION CO.,LTD. Registration number: Y2024980011846 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |