CN110245019A - 一种自适应系统资源的线程并发方法及装置 - Google Patents

Abstract

本发明提供一种自适应系统资源的线程并发方法及装置，方法包括：S1、周期性获取应用服务器系统内各项系统资源的使用信息；S2、判断当前获取的每一项系统资源与上一次获取的该项系统资源的增幅/降幅是否超出预设的阈值；S3、如果存在至少一项系统资源的增幅/降幅超出预设的阈值，则根据获取的每一项系统资源的使用信息，采用预先训练的神经网络拟合算法计算所述应用服务器系统中各应用服务的调整信息；S4、根据所述调整信息对所述应用服务器系统内各项系统资源进行调整。上述方法可以自动化获取应用服务器系统的数据，并智能分析，评估出最佳线程数，使得应用服务器系统能够最大性能的工作。

Description

一种自适应系统资源的线程并发方法及装置

技术领域

本发明涉及数据处理技术，特别是一种自适应系统资源的线程并发方法及装置。

背景技术

随着科技的发展与进步，人们的生活水平越来越高，对于科技提供给我们的服务要求也越来越高，其中尤为明显的就是稳定性和高效性。正常来说，这两方面都来自于服务提供对象的应用服务和服务器决定。稳定性取决于应用服务运行时所消耗服务器资源是否稳定在正常范围内，应用程序长时间的运行是否会出现故障等；高效性取决于应用程序对于用户操作的响应时间是否及时。目前的情况下，在不改变服务器的硬件配置的条件下，我们想要保障服务和系统的稳定运行的同时，尽可能提高服务的响应效率会考虑到使用多线程并发去处理事务这种方法。但是在我们不断的增加同一优先级的线程数时，进程也会不断向系统申请资源，一旦增加的线程数超过系统支持的界限，应用服务和物理服务器系统都会出现资源不足或资源耗尽的现象，从而进一步导致应用服务崩溃，甚至物理服务器系统挂死的现象。为了解决这种情况，一般的研发过程中会让测试人员对此进行详尽的性能测试，在既定的物理硬件配置、网络环境等环境条件下，测试出应用服务最大的线程并发数，以至于我们能够在保障服务和系统的稳定运行的同时，提高服务的响应时间，从而提升用户的体验度，增强自身产品的竞争力。但是，这种解决方案存在以下问题：当应用服务代码发生变化和物理服务器的可利用资源发生变化时，应用服务的最佳线程并发数也要随之进行调整，而每次变化都要经过性能测试才能获知，但性能测试的耗时比较长，同时也会因应用程序的复杂度而变长，这样对于整体工作的效率不高，而且对于实时情况或结果获知的及时性不足。如果不测试或不去调整线程并发数，很可能会导致应用服务崩溃，甚至物理服务器系统挂死等严重情况，对于用户、对于公司的影响更大，造成的损失也将无法估计。

发明内容

针对现有技术中的问题，本发明提供一种自适应系统资源的线程并发方法及装置，通过对应用服务器系统内部系统资源自动获取并智能分析，使得应用服务器系统可以最大化性能工作。

第一方面，本发明提供一种自适应系统资源的线程并发方法，包括：

S1、周期性获取应用服务器系统内各项系统资源的使用信息；

S2、判断当前获取的每一项系统资源与上一次获取的该项系统资源的增幅/降幅是否超出预设的阈值；

S3、如果存在至少一项系统资源的增幅/降幅超出预设的阈值，则根据获取的每一项系统资源的使用信息，采用预先训练的神经网络拟合算法计算所述应用服务器系统中各应用服务的调整信息；

S4、根据所述调整信息对所述应用服务器系统内各项系统资源进行调整。

可选地，所述方法还包括：

在应用服务器系统启动时执行上述步骤S1，

或者，在步骤S1之前，还包括：

预先设置所述应用服务器系统内各项系统资源对应的所述阈值；

和/或，

应用服务器系统内至少一个应用服务预增加线程时，所述方法还包括：

S5、判断增加线程之后的每一项系统资源的使用信息和各自的临界使用值之和是否大于所述应用服务器系统中该系统资源的总可用值，若是，则拒绝所述应用服务预增加线程的请求或向预增加线程的请求发送失败响应。

可选地，所述方法还包括：

S6、将调整的系统资源通过提示信息或邮件方式发送处理人员的终端。

可选地，所述系统资源包括下述的一种或多种：

CPU值、内存值、用户对象值、线程值和句柄值。

可选地，步骤S1包括：

S11、在所述系统资源为内存值时，启动应用服务i＝1个线程并发时，获取应用服务占用应用服务器系统的内存值oM_i；

相应地，步骤S5包括：

S51、根据应用服务器系统的内存总值tM_i、已使用内存值uM_i，获取物理服务器的可用内存值aM_i＝tM_i-uM_i，

S52、应用神经网络算法模型预测i＝2时的oM₂的值；并判断aM₁-wM-oM₂是否大于0；

S53、如果大于0，此时，应用服务器系统的内存资源支持再增加1个线程并发数；

更新系统资源为CPU或用户对象、线程、句柄中的一种，重复系统资源的判断过程；

否则，在小于等于0时，应用服务器系统的内存资源不支持新增的线程要求。

可选地，所述步骤S52中的神经网络算法模型包括：

f(i)＝a*i²+b*i+c；

其中，f(i)为oM_i的值，i为线程数；a，b，c分别为3个待定常数；a*i²、b*i、c作为神经网络的三个输入神经元，f(i)为输出神经元。

第二方面，本发明提供一种自适应系统资源的线程并发装置，包括：

自定义配置模块、数据监控模块、算法计算模块和调动执行模块；

所述自定义配置模块用于定义应用服务器系统中各项系统资源对应的预警阈值；

所述数据监控模块，用于周期性获取应用服务器系统中各项系统资源的使用信息，或者，在应用服务器系统启动时或者应用服务器系统内至少一个应用服务增加线程时获取应用服务器系统中各项系统资源的使用信息；

所述算法计算模块，用于判断当前获取的每一项系统资源与上一次获取的该项系统资源的增幅/降幅是否超出预设的阈值；以及存在至少一项系统资源的增幅/降幅超出预设的阈值，则根据获取的每一项系统资源的使用信息，采用预先训练的神经网络拟合算法计算所述应用服务器系统中各应用服务的调整信息；

所述调动执行模块，用于根据所述调整信息对所述应用服务器系统内各项系统资源进行调整。

可选地，还包括：

通知模块，用于将调整的系统资源通过提示信息或邮件方式发送处理人员的终端。

可选地，所述调动执行模块中设置有定时器，用于定时根据所述算法计算模块确定的调整信息调整所述应用服务器系统中各项系统资源；

所述数据监控模块中设置有定时器，用于定时获取应用服务器系统中各项系统资源的使用信息；

所述算法计算模块，具体用于在一项系统可用资源指标值少于预警阈值，获取该项可用资源的可用资源指标和预警阈值的差值D，以及计算出减少i线程数的资源值O，资源值O大于差值D；

遍历出所有系统资源指标项的i值，比较选取最大的i值作为要减少的线程并发数。

第三方面，本发明提供一种应用服务器系统，包括上述第二方面任一所述的自适应系统资源的线程并发装置。

本发明具有的有益效果：

本发明提出一种自适应系统资源的线程并发方法与装置，把应用程序的最佳线程并发数的工作交由装置自动去计算评估，根据既定的物理配置和实际的资源情况下，选取最佳的并发线程数来工作，一方面有利于提高应用服务多线程并发时的运行稳定性和物理服务器系统的稳定性，另一方面也使得应用服务能够最大化的利用系统资源来并发工作，提高应用服务的响应效率。

附图说明

图1为本发明一实施例提供的自适应系统资源的线程并发装置的结构示意图；

图2为本发明一实施例提供的自定义配置管理模块的结构示意图；

图3为本发明一实施例提供的自适应系统资源的线程并发方法的流程示意图；

图4为本发明一实施例提供的神经网络模型的示意图；

图5和图6分别为本发明另一实施例提供的自适应系统资源的线程并发方法的流程示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

实施例一

结合图1所示，本发明实施例提供一种自适应系统资源的线程并发装置，包括：自定义配置模块10、数据监控模块11、算法计算模块12、调动执行模块13和通知模块14五大模块组成。应用服务器系统的资源指标值包含但不限于CPU值、内存值、用户对象值、线值程、句柄值等。

下面以其中的“内存”系统资源指标值举例说明上述各个模块的具体功能：

首先，通过自定义配置模块10预先定义物理服务器系统(即应用服务器系统)的内存的预警阈值wM。如图2所示。

然后，数据监控模块11用于首次启动应用服务i＝1个线程并发时，通过应用服务进程的PID获取应用服务的占用物理服务器系统的内存值oM_i，物理服务器系统的内存总值tM_i，物理服务器系统已使用内存值uM_i，通过tM_i-uM_i获取物理服务器的可用内存值aM_i。

相应地，算法计算模块12可具体用于：应用神经网络算法模型得出拟合后的函数公式f(i)＝a*i²+b*i+c预测出i＝2时的oM₂的值；如图4所示；

其中，f(i)为oM_i的值，i为线程数；a，b，c分别为3个待定常数；a*i²、b*i、c作为神经网络的三个输入神经元，f(i)为输出神经元。

然后，判断是否满足：aM₁-wM-oM₂是否大于0，如果大于0，则说明物理服务器系统的内存资源支持再增加1个线程并发数，如果小于等于0，则说明物理服务器系统的内存资源不满足支持新增的线程要求。

此时，调动执行模块13可根据小于等于0时，向待增加线程的应用服务发送失败响应或者，拒绝增加线程的请求。

以上就为“内存”指标的计算情况进行说明，本实施例的装置对于每个系统资源指标都有独立的算法，当所有资源指标，如CPU值、用户对象值、句柄值等计算后，本实施例的装置会遍历每个资源指标的结果，如果所有资源指标都满足要求，则说物理服务器系统所有资源指标项都支持再新增1个线程数，反之，应用服务器系统或者本实施例的装置会拒绝新增线程并发数请求。

另外，在实际应用中，还需要依据各测试类应用服务器的新增线程数后获取的真实oM₂值和线程数i纳入神经网络算法模型的训练模型中，优化公式中的a，b，c三个常数值，使得神经网络算法模型更加完善，同时为i+1的线程数后的所需资源指标值提供更精准的预测结果。

最后，本实施例的装置通过上述的重复工作，不断增加应用服务的线程数，当所有资源指标中的其中1个指标经预测判断出现可用资源少于预警阈值时，装置会停止工作，说明应用服务已达到最大线程并发数了。

通过上述的操作，首次启动应用服务后，装置通过数据获取、分析、处理自动化智能调整到最佳的线程并发数，解决了如何自适应物理服务器系统资源的调整并发线程数的难题，但仍需考虑当应用服务和物理服务器系统资源发生变化时，装置如何及时调整应用服务的线程并发数。

此外，在实际应用中，本实施例的装置中调动执行模块内置了定时器及其方法，定时调整应用服务器的线程并发数。

当首次应用服务运行，并调整到最佳线程并发数时，调动执行模块中的定时器和方法会根据定时时间T，然后定时获取、计算出系统各项资源指标的可用资源值，应用服务的进程所占物理服务器系统的各项资源值，然后首次判断各项资源指标的可用资源值是否少于预警阈值，存在以下两种情况：

1)如果有其中1项系统可用资源指标值少于预警阈值，说明应用服务的线程并发数需要减少。

此时，本实施例中的装置通过可用资源值A与预警阈值W相减，计算出差值D，然后通过算法公式计算出减少i线程数的资源值O才能大差值D，

然后以此类推，遍历出所有资源指标项的i值，然后通过比较选取最大的i值作为实际要减少的线程并发数；

2)如果各项系统资源指标的可用资源值少于预警阈值，则说明系统还有空闲资源可能满足应用服务再增加i个线程数，此时装置会像首次一样，通过算法预测是否能增加线程数。

这样就解决了当应用服务增加或减少，使得物理服务器系统资源发生变化时，及时性调整应用服务的线程并发数。而数据监控模块的定时器会根据定时时间T，定时获取应用服务器系统各项资源指标值，并计算出其可用资源指标值，再与上一时间段的可用资源指标值进行计算出增幅或降幅值，如果增幅或降幅都超过预先设置的幅度配置Q值，则自动执行上述的调动执行模块中的定时器方法，如图3所示。

另外，通知模块主要实现当线程并发数发生变化时，将情况和结果通过邮件方式实时、及时地通知到相应负责人的移动终端。

实施例二

结合图1至图6所示，本发明实施例提供一种自适应系统资源的线程并发方法，包括如下步骤：

S1、周期性获取应用服务器系统内各项系统资源的使用信息；

S2、判断当前获取的每一项系统资源与上一次获取的该项系统资源的增幅/降幅是否超出预设的阈值。

应说明的是，本实施例中各项系统资源的增幅/降幅对应的阈值为预先通过自定义配置管理模块设定的。

S3、如果存在至少一项系统资源的增幅/降幅超出预设的阈值，则根据获取的每一项系统资源的使用信息，采用预先训练的神经网络拟合算法计算所述应用服务器系统中各应用服务的调整信息；

S4、根据所述调整信息对所述应用服务器系统内各项系统资源进行调整。

S5、将调整的系统资源通过提示信息或邮件方式发送处理人员的终端。

举例来说，本实施例的系统资源可包括下述的一种或多种：

CPU值、内存值、用户对象值、线程值和句柄值。

应说明的是，本实施例中在应用服务器系统启动时或者应用服务器系统内至少一个应用服务增加线程时，方法还包括：

S5、判断增加线程之后的每一项系统资源的使用信息和各自的临界使用值之和是否大于所述应用服务器系统中该系统资源的总可用值，若是，则拒绝所述应用服务预增加线程的请求或向预增加线程的请求发送失败响应。

在步骤S1中，在所述系统资源为内存值时，启动应用服务i＝1个线程并发时，通过应用服务进程的PID获取应用服务占用应用服务器系统的内存值oM_i；

相应地，步骤S5包括：

S51、根据应用服务器系统的内存总值tM_i、已使用内存值uM_i，获取物理服务器的可用内存值aM_i＝tM_i-uM_i，

S52、应用神经网络算法模型预测i＝2时的oM₂的值；并判断aM₁-wM-oM₂是否大于0；

S53、如果大于0，此时，应用服务器系统的内存资源支持再增加1个线程并发数；

更新系统资源为CPU或用户对象、线程、句柄中的一种，重复系统资源的判断过程；

否则，在小于等于0时，应用服务器系统的内存资源不支持新增的线程要求，此时可拒绝增加应用服务线程的请求，如发送失败响应等。

举例来说，所述步骤S22中的神经网络算法模型包括：

f(i)＝a*i²+b*i+c；

其中，f(i)为oM_i的值，i为线程数；a，b，c分别为3个待定常数；a*i²、b*i、c作为神经网络的三个输入神经元，f(i)为输出神经元。

通过这上述方案，装置起到根据物理服务器系统的资源变化情况和应用服务代码变化情况时，自动化获取数据进行智能分析，对并发线程进行增加或减少，评估出最佳线程数，使得应用服务能够最大化性能地工作的同时，保障应用服务和物理服务器系统的稳定运行的作用。

也就是说，本实施例中，最佳线程并发数的评估和调整过程全自动化、智能化，且线程并发数调整的情况和结果报告自动生成、及时通知。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上述各个实施例可以相互参照，本实施例不对各个实施例进行限定。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种自适应系统资源的线程并发方法，其特征在于，包括：

S1、周期性获取应用服务器系统内各项系统资源的使用信息；

S2、判断当前获取的每一项系统资源与上一次获取的该项系统资源的增幅/降幅是否超出预设的阈值；

S3、如果存在至少一项系统资源的增幅/降幅超出预设的阈值，则根据获取的每一项系统资源的使用信息，采用预先训练的神经网络拟合算法计算所述应用服务器系统中各应用服务的调整信息；

S4、根据所述调整信息对所述应用服务器系统内各项系统资源进行调整。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在应用服务器系统启动时执行上述步骤S1，

或者，在步骤S1之前，还包括：

预先设置所述应用服务器系统内各项系统资源对应的所述阈值；

和/或，

应用服务器系统内至少一个应用服务预增加线程时，所述方法还包括：

S5、判断增加线程之后的每一项系统资源的使用信息和各自的临界使用值之和是否大于所述应用服务器系统中该系统资源的总可用值，若是，则拒绝所述应用服务预增加线程的请求或向预增加线程的请求发送失败响应。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

S6、将调整的系统资源通过提示信息或邮件方式发送处理人员的终端。

4.根据权利要求2所述的方法，其特征在于，所述系统资源包括下述的一种或多种：

CPU值、内存值、用户对象值、线程值和句柄值。

5.根据权利要求4所述的方法，其特征在于，步骤S1包括：

S11、在所述系统资源为内存值时，启动应用服务i＝1个线程并发时，获取应用服务占用应用服务器系统的内存值oM_i；

相应地，步骤S5包括：

S51、根据应用服务器系统的内存总值tM_i、已使用内存值uM_i，获取物理服务器的可用内存值aM_i＝tM_i-uM_i，

S52、应用神经网络算法模型预测i＝2时的oM₂的值；并判断aM₁-wM-oM₂是否大于0；

S53、如果大于0，此时，应用服务器系统的内存资源支持再增加1个线程并发数；

更新系统资源为CPU或用户对象、线程、句柄中的一种，重复系统资源的判断过程；

否则，在小于等于0时，应用服务器系统的内存资源不支持新增的线程要求。

6.根据权利要求5所述的方法，其特征在于，所述步骤S52中的神经网络算法模型包括：

f(i)＝a*i²+b*i+c；

其中，f(i)为oM_i的值，i为线程数；a，b，c分别为待定常数；a*i²、b*i、c作为神经网络的三个输入神经元，f(i)为输出神经元。

7.一种自适应系统资源的线程并发装置，其特征在于，包括：

自定义配置模块、数据监控模块、算法计算模块和调动执行模块；

所述自定义配置模块用于定义应用服务器系统中各项系统资源对应的预警阈值；

所述数据监控模块，用于周期性获取应用服务器系统中各项系统资源的使用信息，或者，在应用服务器系统启动时或者应用服务器系统内至少一个应用服务增加线程时获取应用服务器系统中各项系统资源的使用信息；

所述算法计算模块，用于判断当前获取的每一项系统资源与上一次获取的该项系统资源的增幅/降幅是否超出预设的阈值；以及存在至少一项系统资源的增幅/降幅超出预设的阈值，则根据获取的每一项系统资源的使用信息，采用预先训练的神经网络拟合算法计算所述应用服务器系统中各应用服务的调整信息；

所述调动执行模块，用于根据所述调整信息对所述应用服务器系统内各项系统资源进行调整。

8.根据权利要求7所述的装置，其特征在于，还包括：

通知模块，用于将调整的系统资源通过提示信息或邮件方式发送处理人员的终端。

9.根据权利要求7所述的装置，其特征在于，所述调动执行模块中设置有定时器，用于定时根据所述算法计算模块确定的调整信息调整所述应用服务器系统中各项系统资源；

所述数据监控模块中设置有定时器，用于定时获取应用服务器系统中各项系统资源的使用信息；

所述算法计算模块，具体用于在一项系统可用资源指标值少于预警阈值，获取该项可用资源的可用资源指标和预警阈值的差值D，以及计算出减少i线程数的资源值O，资源值O大于差值D；

遍历出所有系统资源指标项的i值，比较选取最大的i值作为要减少的线程并发数。

10.一种应用服务器系统，其特征在于，包括上述权利要求7至9任一所述的自适应系统资源的线程并发装置。