CN116126521A - 服务内存信息的负载均衡方法、装置、存储介质和设备 - Google Patents
服务内存信息的负载均衡方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN116126521A CN116126521A CN202211639798.5A CN202211639798A CN116126521A CN 116126521 A CN116126521 A CN 116126521A CN 202211639798 A CN202211639798 A CN 202211639798A CN 116126521 A CN116126521 A CN 116126521A
- Authority
- CN
- China
- Prior art keywords
- service
- application service
- monitoring
- data
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 297
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 89
- 230000008859 change Effects 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 24
- 230000003862 health status Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000003446 memory effect Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种服务内存信息的负载均衡方法、装置、存储介质和设备，该方法包括：监控服务接收上游应用服务监控数据获取请求，监控服务根据监控数据获取请求，获取各应用服务的监控数据，当监控服务中存在监控数据时，读取监控数据并将监控数据发送至上游应用服务，当监控服务中不存在监控数据时，读取各应用服务当前的内存数据进行汇总，最后将监控数据返回至上游应用服务，以使上游应用服务根据监控数据选择目标应用服务进行调用。本发明能够进行分布式部署，实时监控各应用服务内存中的数据，根据各应用服务的内存情况进行负载均衡，从而保证各应用服务功能的效果一致，且对单个服务器的硬件要求不高，应用服务数量可扩展，支持高并发。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种服务内存信息的负载均衡方法、装置、存储介质和设备。
背景技术
随着科技的发展日新月异，各种互联网系统应运而生，人工智能领域的发展又进一步推高系统的整体复杂度。在涉及到大计算量、大模型的应用系统中，难免会有大量数据用于计算，而这些数据由于数据量较大，无法放到分布式缓存中，只能存在内存中。
基于以上情况，往往此类服务只能单机部署，且对服务器资源要求很高，然而并不能支持常见的高并发需求。在分布式部署的情况下，又会存在以下问题。
其一，由于网络原因、部署硬件原因、或者中间件原因，很难保证内存数据的一致性，进而不能在分布式部署对外提供服务时保持服务效果的一致性。
其二，针对服务内存数据无监控，内存中加载的数据内容不可见，不能从外部清晰的判断服务当前状态。
其三，服务效果不一致不可追溯。数据存在内存中，数据变更无历史记录，只能实时应用不能追溯服务内存的历史状态变化。
以问答系统为例，人们日常生活中会产生大量的数据。这些数据中包括以明确知识存在的FAQ问答对，以非结构化文本存在的如规章制度、技术文档，以及各种系统产生的关系型数据和知识图谱数据。人们往往需要从这些数据中获取信息。而想要从如此庞大复杂的数据中获取有用信息，并不是一件容易的事情。
目前具有如此强大能力的问答系统还比较少，比较好的方案是问答系统内部，根据领域不同、数据不同和召回答案的方案不同等因素，分成多种能力。这些能力可能涉及到不同的模型和数据，将这些能力统一加载到内存中，用于答案的快速召回排序。通常只能使用单机部署应用，不支持服务横向扩展，服务中有大量数据存在于内存中以用于计算。这样保证了服务效果的一致性，但存在对硬件要求高，且并发底不支持扩展的问题。
发明内容
有鉴于此，本发明提供一种服务内存信息的负载均衡方法、装置、存储介质和设备，能够进行分布式部署，实时监控各应用服务内存中的数据，根据各应用服务的内存情况进行负载均衡，从而保证各应用服务功能的效果一致，以及服务内存数据活跃状态可回溯，且对单个服务器的硬件要求不高，应用服务数量可扩展，支持高并发。
第一方面，本发明实施例提供一种服务内存信息的负载均衡方法，所述方法包括：
监控服务接收上游应用服务监控数据获取请求，所述监控数据获取请求用于获取各应用服务中内存活跃情况；
监控服务根据所述监控数据获取请求，获取各应用服务的监控数据；
当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据返回至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用；
当监控服务中不存在监控数据时，读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使所述上游应用服务根据汇总后的监控数据选择目标应用服务进行调用。
进一步地，所述监控数据包括各应用服务的内存变更数据和内存情况数据，获取各应用服务的监控数据包括：
所述各应用服务定时将各自的内存情况数据上传至中间件集群，所述监控服务通过所述中间件集群接收各应用服务的内存情况数据；
所述各应用服务中内存数据发生变更时将内存变更数据写入redis服务，所述监控服务定时读取所述redis服务中各应用服务中内存变更数据。
进一步地，所述内存情况数据包括各应用服务健康状态、服务名、服务IP、服务端口号、服务中的监控内存数据关键值的集合。
进一步地，获取各应用服务的监控数据前，所述方法还包括：
所述监控服务获取各应用服务的监控数据的当前版本号，并将所述当前版本号发送至redis服务中存储，其中，所述当前版本号为各应用服务的监控数据发生变更时生成的标识信息；
所述监控服务根据所述当前版本号查询各应用服务的监控数据。
进一步地，读取各应用服务当前的监控数据进行汇总包括：
所述监控服务遍历各应用服务当前的监控数据；
所述监控服务将各应用服务的内存变更数据和内存情况数据进行汇总，获得汇总数据。
进一步地，读取各应用服务当前的监控数据进行汇总后，所述方法还包括：
所述监控服务根据各应用服务的内存变更数据和内存情况数据，获得各应用服务中活跃内存的关键值；
所述监控服务将各应用服务中活跃内存的内存数据和详细数据同时存入redis服务和mysql服务，其中，redis服务数据用于展示所述监控数据实时变更情况，以及为上游应用服务提供目标应用服务的可用情况，所述mysql服务数据用于审计目标应用服务的活跃状态和高可用情况。
进一步地，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用包括：
所述上游应用服务过滤掉所述监控数据中不完全包含需要使用的内存值的应用服务；
以及过滤掉最新变更状态与所述中间件集群中其他应用服务不一致的应用服务；
所述上游应用服务从过滤后的应用服务中随机选择目标应用程序进行调用。
第二方面，本发明实施例提供一种服务内存信息的负载均衡装置，所述装置包括：
获取模块，用于通过监控服务接收上游应用服务监控数据获取请求，所述监控数据获取请求用于获取各应用服务中内存活跃情况；
监控模块，用于通过监控服务根据所述监控数据获取请求，获取各应用服务的监控数据；
第一返回模块，用于当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据返回至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用；
第二返回模块，用于当监控服务中不存在监控数据时，读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使所述上游应用服务根据汇总后的监控数据选择目标应用服务进行调用。
第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述第一方面中任一项所述的方法。
本发明提供的技术方案，通过监控服务接收上游应用服务监控数据获取请求，监控服务根据监控数据获取请求获取各应用服务的监控数据，当存在监控数据时，所述监控服务将各应用服务的监控数据发送至上游应用服务，当不存在监控数据时，所述监控服务读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以是上游应用服务根据汇总后的监控数据选择目标应用程序。由此，本发明能够根据实际中每个应用服务节点内的内存情况进行服务内存监控，实时展示每个应用服务节点的内存数据，根据服务内存监控情况实现服务调用的负载均衡，合理利用服务资源并且保证服务效果的一致性，实时记录内存监控数据，实现内存数据活跃状态回溯，实现大计算量、大模型、大内存数据服务分布式部署，降低对单个服务器硬件资源要求，并且提高系统并发性能。
附图说明
图1是本发明实施例一提供的服务内存信息的负载均衡方法中用到的业务系统示意图；
图2是本发明实施例一提供的服务内存信息的负载均衡方法的流程图；
图3是本发明实施例二提供的服务内存信息的负载均衡方法的交互示意图；
图4是本发明实施例三提供的服务内存信息的负载均衡装置的结构示意图；
图5是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
参见图1，是本发明实施例一提供的服务内存信息的负载均衡方法中用到的业务系统示意图，本发明用于服务内存信息的负载均衡方法的系统可包括多个应用服务、监控服务和上游应用服务。
其中，多个应用服务中包含目标应用服务，在本申请中指的是实际要被上游应用服务调用的服务，其中大量数据存在于内存中，且针对该应用服务的内存数据做应用服务的负载均衡。
上游应用服务指的是业务系统中实际调用目标应用服务的服务。
监控服务指的是用于汇总和展示各应用服务的内存监控数据，并为上游应用服务的调用目标应用服务的负载均衡提供数据支持。
在本申请中，所有应用服务都能注册到nacos服务，以及所有应用服务都能正常使用redis服务和mysql服务。其中，nacos服务(DynamicNamingand ConfigurationService，简称nacos)一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台，能够发现、配置和管理微服务，具有以下特性：服务发现和服务健康监测，动态配置服务，动态DNS服务，服务及其元数据管理。Redis服务(RemoteDictionaryServer，简称Redis)，即远程字典服务，是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
在本申请中，监控服务用于对各应用程序的内存数据进行监控，也即能够获取到各应用服务的监控数据。具体地，监控服务对各应用服务的内存数据进行监控分为两个部分，包括各应用服务的内存变更数据和内存情况数据。
其一，各应用服务的内存情况数据统一上报到nacos服务集群中，在注册时将需要上报的数据写入nacos注册信息的matadata中，nacos服务集群再将各应用服务的监控数据发送至监控服务中。其中，各应用服务的内存情况数据必须包含本应用服务的5个信息，分别是服务健康状态、服务名、服务ip、服务端口号、服务中的监控内存数据关键值的集合。
其二，各应用服务内存中数据变更情况，分别写入到redis服务中，存储为hash数据类型，以关键变动的内存数据关键值作为key，以“服务名+服务ip+服务端口号”作为hash中的name，以实际变更关键变动的内存数据内容作为value。
同时，在监控服务中，能够自定义各应用程序的版本号，控制使用各应用程序的最新监控数据。具体地，每次监控数据变更，都生成一个新的唯一值，作为本次数据变更的版本号。并把该版本号作为分布式缓存存入redis服务中，每次从监控服务中获取监控数据之前，必须先获取当前最新版本号，再根据版本号查询当前最新的监控数据。版本号定义方式为当前时间戳。
同时，监控服务每次对获取到的监控数据需汇总，汇总方法是，遍历每个服务的监控数据，再分别统计各应用服务中活跃内存数据的关键值。汇总后每个活跃内存数据将汇总数据和详细数据同时存入redis服务和mysql服务。redis服务数据用于页面展示监控数据实时变更情况，以及为上游应用服务提供当前目标应用服务的可用情况。mysql服务用于事后统计目标应用服务的活跃状态和高可用情况。
上游应用服务能够从监控服务中获取到各应用服务的监控数据，根据监控数据选择目标应用程序。具体地，上游应用服务在调用目标应用服务之前，从监控服务中获取目标应用服务中内存活跃情况，过虑掉不完全包含需要使用的内存值的应用，过滤掉最新变更状态与nacos集群中其它服务不一致的服务，再随机调用目标应用程序。
由此，本发明通过通过nacos注册信息的matadata监控全量的应用服务内存信息，通过redis服务上报传递各应用服务的内存变更信息，因此，监控服务能够实时获取各应用服务的当前内存情况，调用服务之前实时获取内存监控数据，在做业务过虑之后确定可用服务。能够进行分布式部署，实时监控各应用服务内存中的数据，根据各应用服务的内存情况进行负载均衡，从而保证各应用服务功能的效果一致，且对单个服务器的硬件要求不高，应用服务数量可扩展，支持高并发。
请参见图2，图2是本发明实施例一提供的服务内存信息的负载均衡方法的流程图，所述方法包括：
步骤101、监控服务接收上游应用服务监控数据获取请求，所述监控数据获取请求用于获取各应用服务中内存使用情况。
在本步骤中，当上游应用需要调用目标应用程序时，向监控服务发送上游应用服务监控数据获取请求，上游应用服务监控数据获取请求用于获取各应用服务中内存使用情况。
步骤102、监控服务根据所述监控数据获取请求，获取各应用服务的监控数据。
在本步骤中，监控服务接收到上游应用服务发来的监控数据获取请求，获取各应用服务的监控数据。所述监控数据包括各应用服务的内存变更数据和内存情况数据，具体地，所述各应用服务定时将各自的内存情况数据上传至中间件集群，所述监控服务通过所述中间件集群接收各应用服务的内存情况数据；所述各应用服务中内存数据发生变更时将内存变更数据写入redis服务，所述监控服务定时读取所述redis服务中各应用服务中内存变更数据。由此，监控服务能够实时获得各应用服务的监控数据。
在另一些实施例中，监控服务获取各应用服务的内存情况数据还可采用其他方式来实现，比如常见的各应用服务节点通过http定时直接上报各应用服务的内存信息，或者监控服务通过心跳检测去查询各应用服务节点的内存状况，或者各服务节点通过发送MQ消息上报各应用服务内存信息至监控服务中。
在一些实施例中，所述内存情况数据包括各应用服务健康状态、服务名、服务IP、服务端口号、服务中的监控内存数据关键值的集合。
在一些实施例中，获取各应用服务的监控数据前，所述方法还可包括：
步骤102a、所述监控服务获取各应用服务的监控数据的当前版本号，并将所述当前版本号发送至redis服务中存储，其中，所述当前版本号为各应用服务的监控数据发生变更时生成的标识信息；
步骤102b、所述监控服务根据所述当前版本号查询各应用服务的监控数据。
也即在监控服务中，每次监控数据变更，都生成一个新的唯一值，作为本次数据变更的版本号。并把该版本号作为分布式缓存存入redis服务中，每次从监控服务中获取各应用服务监控数据之前，必须先获取各应用服务当前最新版本号，再根据版本号查询各应用服务当前最新的监控数据。版本号定义方式为当前时间戳。
步骤103、当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据发送至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用。
在本步骤中，监控服务判断各应用服务是否存在监控数据，当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据返回至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用。
步骤104、当监控服务中不存在监控数据时，读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使所述上游应用服务根据汇总后的监控数据选择目标应用服务进行调用。
在本步骤中，监控服务判断各应用服务不存在监控数据，则需要对各应用服务的监控数据进行刷新。具体地，所述监控服务遍历各应用服务当前的监控数据，所述监控服务将各应用服务的内存变更数据和内存情况数据进行汇总，获得汇总数据。之后所述监控服务根据各应用服务的内存变更数据和内存情况数据，获得各应用服务中活跃内存的关键值，所述监控服务将各应用服务中活跃内存的内存数据和详细数据同时存入redis服务和mysql服务，其中，redis服务数据用于展示所述监控数据实时变更情况，以及为上游应用服务提供目标应用服务的可用情况，所述mysql服务数据用于审计目标应用服务的活跃状态和高可用情况。
在一些实施例中，所述上游应用服务根据所述监控数据选择目标应用服务进行调用包括：上游应用服务过滤掉所述监控数据中不完全包含需要使用的内存值的应用服务，以及过滤掉最新变更状态与所述中间件集群中其他应用服务不一致的应用服务，所述上游应用服务从过滤后的应用服务中随机选择目标应用程序进行调用。
由此，本发明通过监控服务接收上游应用服务监控数据获取请求，监控服务根据监控数据获取请求获取各应用服务的监控数据，当存在监控数据时，所述监控服务将各应用服务的监控数据发送至上游应用服务，当不存在监控数据时，所述监控服务读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使上游应用服务根据汇总后的监控数据选择目标应用程序。由此，本发明能够根据实际中每个应用服务节点内的内存情况进行服务内存监控，实时展示每个应用服务节点的内存数据，根据服务内存监控情况实现服务调用的负载均衡，合理利用服务资源并且保证服务效果的一致性，实时记录内存监控数据，实现内存数据活跃状态回溯，实现大计算量、大模型、大内存数据服务分布式部署，降低对单个服务器硬件资源要求，并且提高系统并发性能。
实施例二
请参见图3，图3是本发明实施例二提供的服务内存信息的负载均衡方法的交互示意图。
首先，当上游应用需要调用目标应用程序时，向监控服务发送上游应用服务监控数据获取请求，监控数据获取请求用于获取各应用服务中内存使用情况。
其次，监控服务接收到上游应用服务发来的监控数据获取请求，判断各应用服务的监控数据是否存在，如存在，读取所述监控数据并将所述监控数据返回至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用；如不存在，则刷新监控数据，具体为监控服务遍历各应用服务当前的监控数据，遍历redis服务中各应用服务的内容变更数据和mysql服务中各应用服务的内存情况数据，之后将各各应用服务的内容变更数据内存情况数据进行汇总后均写入redis服务和mysql服务，使得redis服务和mysql服务存储有各应用程序的监控数据；之后读取redis服务和mysql服务存储有各应用程序的监控数据发送至上游应用服务。
第三，上游应用服务接收监控服务发来的各应用服务的监控数据，过滤掉所述监控数据中不完全包含需要使用的内存值的应用服务，以及过滤掉最新变更状态与所述中间件集群中其他应用服务不一致的应用服务，之后上游应用服务判断是否存在可使用的应用服务，如存在，则选择可用应用服务随机调用；如不存在，则结束应用。
第四，目标应用服务接收上游应用服务的调用请求，根据所述调用请求执行核心业务，并将所述核心业务的运行结果发送至上游应用服务。
由此，本发明通过监控服务接收上游应用服务监控数据获取请求，监控服务根据监控数据获取请求获取各应用服务的监控数据，当存在监控数据时，所述监控服务将各应用服务的监控数据发送至上游应用服务，当不存在监控数据时，所述监控服务读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使上游应用服务根据汇总后的监控数据选择目标应用程序。由此，本发明能够根据实际中每个应用服务节点内的内存情况进行服务内存监控，实时展示每个应用服务节点的内存数据，根据服务内存监控情况实现服务调用的负载均衡，合理利用服务资源并且保证服务效果的一致性，实时记录内存监控数据，实现内存数据活跃状态回溯，实现大计算量、大模型、大内存数据服务分布式部署，降低对单个服务器硬件资源要求，并且提高系统并发性能。
实施例三
参见图4，图4是本发明实施例三提供的服务内存信息的负载均衡装置的结构示意图，所述装置包括：
获取模块21，用于通过监控服务接收上游应用服务监控数据获取请求，所述监控数据获取请求用于获取各应用服务中内存活跃情况；
监控模块22，用于通过监控服务根据所述上游应用服务监控数据获取请求，获取各应用服务的监控数据；
第一发送模块23，用于当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据发送至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用；
第二发送模块24，用于当监控服务中不存在监控数据时，读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使所述上游应用服务根据汇总后的监控数据选择目标应用服务进行调用。
在一些实施例中，监控模块22获取的监控数据包括各应用服务的内存变更数据和内存情况数据，监控模块22可包括：
内存情况获取单元221，用于通过所述中间件集群接收各应用服务的内存情况数据，各应用服务的内存情况数据由所述各应用服务定时将各自的内存情况数据上传至中间件集群；
内存变更数据获取单元222，用于定时读取所述redis服务中各应用服务中内存变更数据，各应用服务中内存变更数据由所述各应用服务中内存数据发生变更时将内存变更数据写入redis服务。
在一些实施例中，所述内存情况数据包括各应用服务健康状态、服务名、服务IP、服务端口号、服务中的监控内存数据关键值的集合。
在一些实施例中，所述装置还包括：
版本号更新模块25，用于获取各应用服务的监控数据的当前版本号，并将所述当前版本号发送至redis服务中存储，其中，所述当前版本号为各应用服务的监控数据发生变更时生成的标识信息；
查询模块26，用于根据所述当前版本号查询各应用服务的监控数据。
在一些实施例中，第二发送模块24可包括：
遍历单元241，用于遍历各应用服务当前的监控数据；
汇总单元242，用于将各应用服务的内存变更数据和内存情况数据进行汇总，获得汇总数据。
在一些实施例中，第二发送模块24还可包括：
获取单元243，用于根据各应用服务的内存变更数据和内存情况数据，获得各应用服务中活跃内存的关键值；
发送单元244，用于将各应用服务中活跃内存的内存数据和详细数据存入同时发送至redis服务和mysql服务，其中，redis服务数据用于展示所述监控数据实时变更情况，以及为上游应用服务提供目标应用服务的可用情况，所述mysql服务数据用于审计目标应用服务的活跃状态和高可用情况。
在一些实施例中，所述上游应用服务过滤掉所述监控数据中不完全包含需要使用的内存值的应用服务，以及过滤掉最新变更状态与所述中间件集群中其他应用服务不一致的应用服务；所述上游应用服务从过滤后的应用服务中随机选择目标应用程序进行调用。
由此，本发明通过监控服务接收上游应用服务监控数据获取请求，监控服务根据监控数据获取请求获取各应用服务的监控数据，当存在监控数据时，所述监控服务将各应用服务的监控数据发送至上游应用服务，当不存在监控数据时，所述监控服务读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使上游应用服务根据汇总后的监控数据选择目标应用程序。由此，本发明能够根据实际中每个应用服务节点内的内存情况进行服务内存监控，实时展示每个应用服务节点的内存数据，根据服务内存监控情况实现服务调用的负载均衡，合理利用服务资源并且保证服务效果的一致性，实时记录内存监控数据，实现内存数据活跃状态回溯，实现大计算量、大模型、大内存数据服务分布式部署，降低对单个服务器硬件资源要求，并且提高系统并发性能。
需要说明的是，本发明实施例中的服务内存信息的负载均衡装置与上述实施例中的服务内存信息的负载均衡方法属于相同的发明构思，未在本装置中详述的技术细节可参见前面对方法的相关描述，在此不再赘述。
此外，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行前面所述的方法。
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以及RAM13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如空闲检测方法。
在一些实施例中，空闲检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的空闲检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行空闲检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种服务内存信息的负载均衡方法，其特征在于，所述方法包括：
监控服务接收上游应用服务监控数据获取请求，所述监控数据获取请求用于获取各应用服务中内存使用情况；
监控服务根据所述监控数据获取请求，获取各应用服务的监控数据；
当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据返回至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用；
当监控服务中不存在监控数据时，读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使所述上游应用服务根据汇总后的监控数据选择目标应用服务进行调用。
2.根据权利要求1所述的方法，其特征在于，所述监控数据包括各应用服务的内存变更数据和内存情况数据，获取各应用服务的监控数据包括：
所述各应用服务定时将各自的内存情况数据上传至中间件集群，所述监控服务通过所述中间件集群接收各应用服务的内存情况数据；
所述各应用服务中内存数据发生变更时将内存变更数据写入redis服务，所述监控服务定时读取所述redis服务中各应用服务中内存变更数据。
3.根据权利要求2所述的方法，其特征在于，所述内存情况数据包括各应用服务健康状态、服务名、服务IP、服务端口号、服务中的监控内存数据关键值的集合。
4.根据权利要求2所述的方法，其特征在于，获取各应用服务的监控数据前，所述方法还包括：
所述监控服务获取各应用服务的监控数据的当前版本号，并将所述当前版本号发送至redis服务中存储，其中，所述当前版本号为各应用服务的监控数据发生变更时生成的标识信息；
所述监控服务根据所述当前版本号查询各应用服务的监控数据。
5.根据权利要求2所述的方法，其特征在于，读取各应用服务当前的监控数据进行汇总包括：
所述监控服务遍历各应用服务当前的监控数据；
所述监控服务将各应用服务的内存变更数据和内存情况数据进行汇总，获得汇总数据。
6.根据权利要求5所述的方法，其特征在于，读取各应用服务当前的监控数据进行汇总后，所述方法还包括：
所述监控服务根据各应用服务的内存变更数据和内存情况数据，获得各应用服务中活跃内存的关键值；
所述监控服务将各应用服务中活跃内存的内存数据和详细数据同时存入redis服务和mysql服务，其中，redis服务数据用于展示所述监控数据实时变更情况，以及为上游应用服务提供目标应用服务的可用情况，所述mysql服务数据用于审计目标应用服务的活跃状态和高可用情况。
7.根据权利要求2所述的方法，其特征在于，所述上游应用服务根据所述监控数据选择目标应用服务进行调用包括：
所述上游应用服务过滤掉所述监控数据中不完全包含需要使用的内存值的应用服务；
以及过滤掉最新变更状态与所述中间件集群中其他应用服务不一致的应用服务；
所述上游应用服务从过滤后的应用服务中随机选择目标应用程序进行调用。
8.一种服务内存信息的负载均衡装置，其特征在于，所述装置包括：
获取模块，用于通过监控服务接收上游应用服务监控数据获取请求，所述监控数据获取请求用于获取各应用服务中内存活跃情况；
监控模块，用于通过监控服务根据所述监控数据获取请求，获取各应用服务的监控数据；
第一返回模块，用于当监控服务中存在监控数据时，读取所述监控数据并将所述监控数据返回至上游应用服务，以使所述上游应用服务根据所述监控数据选择目标应用服务进行调用；
第二返回模块，用于当监控服务中不存在监控数据时，读取各应用服务当前的监控数据进行汇总，并返回至上游应用服务，以使所述上游应用服务根据汇总后的监控数据选择目标应用服务进行调用。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7中任一项所述的方法。
10.一种设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211639798.5A CN116126521B (zh) | 2022-12-20 | 2022-12-20 | 服务内存信息的负载均衡方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211639798.5A CN116126521B (zh) | 2022-12-20 | 2022-12-20 | 服务内存信息的负载均衡方法、装置、存储介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116126521A true CN116126521A (zh) | 2023-05-16 |
| CN116126521B CN116126521B (zh) | 2023-10-31 |
Family
ID=86298361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211639798.5A Active CN116126521B (zh) | 2022-12-20 | 2022-12-20 | 服务内存信息的负载均衡方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116126521B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101695034A (zh) * | 2009-10-09 | 2010-04-14 | 清华大学 | 一种web服务监控参数的调整装置和方法 |
| WO2011018646A1 (en) * | 2009-08-12 | 2011-02-17 | New Technology/Enterprise Limited | Distributed transaction processing for in memory data grids |
| CN106227605A (zh) * | 2016-07-26 | 2016-12-14 | 北京北森云计算股份有限公司 | 一种多语言云编译的动态微服务扩容方法及装置 |
| CN109842651A (zh) * | 2017-11-27 | 2019-06-04 | 中国移动通信集团上海有限公司 | 一种业务不间断的负载均衡方法和系统 |
| CA3053034A1 (en) * | 2018-08-24 | 2020-02-24 | Brian Andrew Clow | Method and system for selection of cloud-computing services |
| CN110933136A (zh) * | 2019-10-31 | 2020-03-27 | 北京浪潮数据技术有限公司 | 一种服务节点选择方法、装置、设备及可读存储介质 |
| CN111930523A (zh) * | 2020-09-28 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 一种用于服务集群的负载均衡方法和系统 |
| CN112954056A (zh) * | 2021-02-10 | 2021-06-11 | 北京字跳网络技术有限公司 | 监控数据处理方法、装置、电子设备及存储介质 |
| WO2021147481A1 (zh) * | 2020-01-22 | 2021-07-29 | 北京字节跳动网络技术有限公司 | 监控方法、装置及电子设备 |
| CN113722106A (zh) * | 2021-09-26 | 2021-11-30 | 北京京东拓先科技有限公司 | 一种内存管理的方法和装置 |
-
2022
- 2022-12-20 CN CN202211639798.5A patent/CN116126521B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011018646A1 (en) * | 2009-08-12 | 2011-02-17 | New Technology/Enterprise Limited | Distributed transaction processing for in memory data grids |
| CN101695034A (zh) * | 2009-10-09 | 2010-04-14 | 清华大学 | 一种web服务监控参数的调整装置和方法 |
| CN106227605A (zh) * | 2016-07-26 | 2016-12-14 | 北京北森云计算股份有限公司 | 一种多语言云编译的动态微服务扩容方法及装置 |
| CN109842651A (zh) * | 2017-11-27 | 2019-06-04 | 中国移动通信集团上海有限公司 | 一种业务不间断的负载均衡方法和系统 |
| CA3053034A1 (en) * | 2018-08-24 | 2020-02-24 | Brian Andrew Clow | Method and system for selection of cloud-computing services |
| CN110933136A (zh) * | 2019-10-31 | 2020-03-27 | 北京浪潮数据技术有限公司 | 一种服务节点选择方法、装置、设备及可读存储介质 |
| WO2021147481A1 (zh) * | 2020-01-22 | 2021-07-29 | 北京字节跳动网络技术有限公司 | 监控方法、装置及电子设备 |
| CN111930523A (zh) * | 2020-09-28 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 一种用于服务集群的负载均衡方法和系统 |
| CN112954056A (zh) * | 2021-02-10 | 2021-06-11 | 北京字跳网络技术有限公司 | 监控数据处理方法、装置、电子设备及存储介质 |
| CN113722106A (zh) * | 2021-09-26 | 2021-11-30 | 北京京东拓先科技有限公司 | 一种内存管理的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| YANG XIE 等: "Research on the Architecture and Key Technologies of Integrated Platform based on Micro Service", 《2018 IEEE 3RD ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC)》, pages 887 - 893 * |
| 龚春夏: "基于负载预测的云容器自动伸缩研究及其应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 10, pages 029 - 191 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116126521B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6266630B2 (ja) | アーカイブされたリレーションを有する連続クエリの管理 | |
| CN107229619B (zh) | 互联网业务链路调用情况的统计、展示方法及装置 | |
| EP3436984A1 (en) | Managed function execution for processing data streams in real time | |
| CN112559271B (zh) | 分布式应用的接口性能监测方法、装置、设备及存储介质 | |
| CN111124609B (zh) | 数据采集方法、装置、数据采集设备及存储介质 | |
| CN113364877B (zh) | 数据处理方法、装置、电子设备和介质 | |
| CN112528067A (zh) | 图数据库的存储方法、读取方法、装置及设备 | |
| CN111414356A (zh) | 数据存储方法、装置、非关系数据库系统及存储介质 | |
| CN113111036A (zh) | 一种基于hdfs的小文件处理方法、装置、介质及电子设备 | |
| CN116126521B (zh) | 服务内存信息的负载均衡方法、装置、存储介质和设备 | |
| CN112491609A (zh) | 基于业务服务的系统应用架构发现方法及系统 | |
| CN116545905A (zh) | 一种服务健康检测方法、装置、电子设备及存储介质 | |
| CN111984723A (zh) | 数据同步方法、装置及终端设备 | |
| CN113127550A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN107894942B (zh) | 数据表访问量的监控方法和装置 | |
| CN111427920A (zh) | 数据采集方法、装置、系统、计算机设备及存储介质 | |
| CN111771191A (zh) | 跨域的内联事件处理程序 | |
| EP4152173A1 (en) | Data digital decoupling of legacy systems | |
| US11870668B1 (en) | System and method for managing data processing systems and hosted devices | |
| CN117633110A (zh) | 敏感操作日志记录的存储方法、装置、设备和介质 | |
| CN117891792A (zh) | 一种数据库共享数据方法、装置、电子设备及存储介质 | |
| CN116301634A (zh) | 资源交互状态的检测方法、装置、设备及介质 | |
| CN116303258A (zh) | 一种分布式存储系统哈希索引的构建方法和装置 | |
| CN117668083A (zh) | 一种异构数据库同步方法、装置、电子设备及存储介质 | |
| CN115905121A (zh) | 一种文件处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |