CN115167973B - 一种云计算数据中心的数据处理系统 - Google Patents

Abstract

本发明公开了一种云计算数据中心的数据处理系统，该系统通过将物理服务器集群划分为多个服务器队列，通过不同的服务器队列来优先处理对应类型的虚拟机任务，降低虚拟机任务分配时的计算量，另外还根据服务器队列的待机区域情况进行进一步确定，从而使得虚拟机任务能够充分利用服务器队列的待机区域，提升资源利用效率；最后，在服务器队列剩余空间较小时，还能够通过对正在执行的任务与待执行任务的等待时间和优先度进行对比，保证大部分客户都能具有良好的使用体验，减少用户出现等待时间过长的问题；通过多级分配，在信息处理量较小时，能够减少任务分配的计算量，在任务较多时，能够充分利用剩余计算空间，提升服务器空间利用率。

Description

一种云计算数据中心的数据处理系统

技术领域

本发明属于通信技术领域，具体的，涉及一种云计算数据中心的数据处理系统。

背景技术

随着互联网技术的迅速发展，计算机技术在各个行业广泛使用，但是随着信息量的快速增加，为了加快处理大幅增加的信息量，云计算技术得到了快速发展。

云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。随着云计算的发展，数据中心建立在各个位置，在云计算数据中心进行数据分析变成了一个重要工作，在进行数据分析前，需要对虚拟机任务进行分配，但是现有技术中在分配时，主要是进行按序分配，可能会出现部分简单的、耗时较短的任务只有在经过长时间的等待后才能进行处理，从而大大降低了使用体验，为了解决上述问题，本发明提供了以下技术方案。

发明内容

本发明的目的在于提供一种云计算数据中心的数据处理系统，解决现有技术中在对虚拟机任务进行分配时，可能会出现部分简单的、耗时较短的任务只有在经过长时间的等待后才能进行处理，从而大大降低了使用体验。

本发明的目的可以通过以下技术方案实现：

一种云计算数据中心的数据处理系统，包括：

控制器，用于接收服务器传输的虚拟机任务请求，并根据虚拟机任务请求选择服务器队列进行虚拟机任务的执行；

物理服务器模块，包含多个服务器队列，每个服务器队列对应一种任务类型；

上述数据处理系统的工作方法包括如下步骤：

第一步，控制器接收到服务器传输的虚拟机任务请求，根据虚拟机任务请求选择对应的若干个服务器队列；

第二步，获取各符合要求的服务器队列的作业区域与待机区域，判断是否能通过服务器队列的待机区域执行虚拟机任务，若不能，选择剩余任务执行时间最短的服务器队列，进入下一步处理，若能，则通过对应的服务器队列的待机区域执行虚拟机任务；

第三步，确定同一服务器队列中不同虚拟机任务的执行顺序；

具体的，包括如下步骤：

S31、服务器队列接收到虚拟机任务后，获取该虚拟机任务的执行时长t1以及该虚拟机正在执行的虚拟机任务剩余的执行时间t2；

若t＞t1+t2，则进行非抢占式队列内顺序调度；

若t＞t1且t≤t1+t2，则进入下一步；

S32、获取服务器队列正在执行的虚拟机任务对应的可等待时间t、已经等待的时间t3以及t2，若t＞t2+t3+t1，则暂停当前虚拟机任务，进行后一虚拟机任务；若t≤t2+t3+t1，则进入下一步；

S33、获取用户优先度值，按照抢占式队列内顺序调度。

作为本发明的进一步方案，第一步中根据虚拟机任务请求选择对应的若干个服务器队列的方法包括如下步骤：

S11、控制器获取虚拟机任务的辅助参数，虚拟机任务辅助参数包括虚拟机任务的类型、虚拟机任务执行时长t1以及虚拟机任务的可等待时间t；

S12、根据虚拟机任务的类型确定能够处理该虚拟机任务的服务器队列，若符合要求的服务器队列数量为零，则通过控制器反馈拒绝信息；若符合要求的服务器队列数量为1，则直接分配对应的服务器队列，进行非抢占式队列内顺序调度，若符合要求的服务器队列数量大于1，则进入下一步；

S13、根据虚拟机任务执行时长t1以及虚拟机任务的可等待时间t选择对应的若干个服务器队列；

满足t＞t1即认为服务器队列满足需求。

作为本发明的进一步方案，所述可等待时间的计算方法为：

SS1、读取虚拟机任务的类型，获取最近的T时间内某一任务类型出现的次数n，并读取n个该类型任务的发起时间、起始处理时间、反馈时间与取消处理时间；

SS2、排除其中取消处理时间处于反馈时间之后的若干个虚拟机任务，获取余下符合条件的若干个虚拟机任务的发起时间与取消处理时间之间的时间差，计算得到该若干个时间差的平均值Kp，以α*Kp作为可等待时间，α为预设值。

作为本发明的进一步方案，每隔预设的T1时间采集计算一次可等待时间。

作为本发明的进一步方案，在步骤SS2中，排除取消处理时间处于反馈时间之后的若干个虚拟机任务，余下符合条件的虚拟机任务数量应当大于预设值H，若余下符合条件的虚拟机任务数量小于等于H，则重新选择一段时间进行采样或者延长采样时间，直到获得足够的样本数量。

作为本发明的进一步方案，第二步的具体操作包括如下步骤：

S21、读取第一步中选定的若干个服务器队列中的作业区域与待机区域，进入下一步；

S22、根据各服务器队列中待机区域的大小判断其是否能够执行对应的虚拟机任务；

若不存在能够执行该虚拟机任务的待机区域，直接进入下一步骤进行处理，

若存在能够执行该虚拟机任务的待机区域，且符合条件的待机区域只有一个，则将其发送至该待机区域对应的服务器队列，通过其待机区域同步进行虚拟机任务的执行；

若存在能够执行该虚拟机任务的待机区域，且符合条件的待机区域至少有两个，则任选一个待机区域对应的服务器队列进行处理或

选择待机区域最短的服务器队列进行处理。

作为本发明的进一步方案，用户优先度值计算方法为：

获取用户单位时间内发出的虚拟机任务请求次数C1、用户单位时间内发出的对应类型虚拟机任务请求的次数C2、用户在执行对应类型虚拟机任务时的等待时间T3；

根据公式Y＝λ1*C1+λ2*C2+λ2*T3计算得到用户优先度值。

本发明的有益效果：

(1)现有技术中由于云计算数据中心的算力有限，在进行任务安排时，如果单纯的按照顺序进行等待，则可能出现部分简单的、耗时较短的任务只有在经过长时间的等待后才能进行处理，从而大大降低了使用体验，本发明通过将物理服务器集群划分为多个服务器队列，通过不同的服务器队列来优先处理对应类型的虚拟机任务，降低虚拟机任务分配时的计算量，另外还根据服务器队列的待机区域情况进行进一步确定，从而使得虚拟机任务能够充分利用服务器队列的待机区域，提升资源利用效率；最后，在服务器队列剩余空间较小时，还能够通过对正在执行的任务与待执行任务的等待时间和优先度进行对比，保证大部分客户都能具有良好的使用体验，减少用户出现等待时间过长的问题；通过多级分配，在信息处理量较小时，能够减少任务分配的计算量，在任务较多时，能够充分利用剩余计算空间，提升服务器空间利用率；

(2)本发明通过采集历史记录中同类任务在处理过程中，虚拟机任务的发起时间与取消处理时间之间的时间差，将该时间差作为用户对任务处理时间的极限忍耐值，然后根据该计算得到的极限忍耐值获得可等待时间，具体的，可等待时间设置为极限忍耐值的80％左右，能够避免大量用户由于响应时间过长而放弃任务的执行；

(3)该本发明能够充分利用现有执行虚拟机任务的服务器队列的剩余算力，快速的执行当前需要处理的虚拟机任务，降低任务排队时间，并且降低了算力损耗，有效提升了云计算数据中心的数据处理效率。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种云计算数据中心的数据处理系统，包括：

控制器，用于接收服务器传输的虚拟机任务请求，并根据虚拟机任务请求选择服务器队列进行虚拟机任务的执行；

物理服务器模块，包含多个服务器队列，每个服务器队列对应一种任务类型，每个任务类型对应一定数量的CPU、内存与硬盘资源；

上述的一种云计算数据中心的数据处理系统的工作方法为：

第一步，控制器接收到服务器传输的虚拟机任务请求，根据虚拟机任务请求选择对应的若干个服务器队列；

具体的，控制器根据虚拟机任务请求分配对应服务器队列的方法为：

S11、控制器获取虚拟机任务的辅助参数，虚拟机任务的辅助参数包括虚拟机任务的类型、虚拟机任务执行时长t1以及虚拟机任务的可等待时间t；

S12、根据虚拟机任务的类型确定能够处理该虚拟机任务的服务器队列，若符合要求的服务器队列数量为零，则通过控制器反馈拒绝信息；若符合要求的服务器队列数量为1，则直接分配对应的服务器队列，进行非抢占式队列内顺序调度，若符合要求的服务器队列数量大于1，则进入下一步；

S13、根据虚拟机任务执行时长t1以及虚拟机任务的可等待时间t选择对应的若干个服务器队列，进入下一步；

具体的，满足t＞t1即认为服务器队列满足需求；

所述虚拟机任务执行时长t1为服务器队列处理该虚拟机任务需要的时长；

虚拟机任务的执行时长根据大数据采集同类型虚拟机任务的平均执行时长来进行确定；

所述可等待时间的计算方法为：

SS1、读取虚拟机任务的类型，获取最近的T时间内某一任务类型出现的次数n，并读取n个该类型任务的发起时间、起始处理时间、反馈时间与取消处理时间；

其中起始处理时间是指对应虚拟机任务完成排队，服务器队列对该任务进行处理的时间；

反馈时间是指服务器队列对对应任务完成处理后将结果反馈至对应服务器的时间；

取消处理时间为对应服务器发出取消处理对应虚拟机任务信息的时间；

SS2、排除其中取消处理时间处于反馈时间之后的若干个虚拟机任务，获取余下符合条件的若干个虚拟机任务的发起时间与取消处理时间之间的时间差，计算得到该若干个时间差的平均值Kp，以α*Kp作为可等待时间，α为预设值，在本发明的一个实施例中，α取值为0.8；

本发明通过采集历史记录中同类任务在处理过程中，虚拟机任务的发起时间与取消处理时间之间的时间差，将该时间差作为用户对任务处理时间的极限忍耐值，然后根据该计算得到的极限忍耐值获得可等待时间，具体的，可等待时间设置为极限忍耐值的80％左右，能够避免大量用户由于响应时间过长而放弃任务的执行；

在本发明的一个实施例中，可以每隔预设的T1时间采集计算一次可等待时间，保持数据的更新，使可等待时间能够符合当前时间的平均水平；

在本发明的一个实施例中，在步骤SS2中，排除取消处理时间处于反馈时间之后的若干个虚拟机任务，余下符合条件的虚拟机任务数量应当大于预设值H，在本发明的一个实施例中，H取值为100；若余下符合条件的虚拟机任务数量小于等于H，则重新选择一段时间进行采样或者延长采样时间，直到获得足够的样本数量；

第二步，获取各符合要求的服务器队列的作业区域与待机区域，判断是否能通过服务器队列的待机区域执行虚拟机任务，若不能，选择剩余任务执行时间最短的服务器队列，进入下一步处理，若能，则通过对应的服务器队列的待机区域执行虚拟机任务；

其中作业区域是指正在执行虚拟机任务的服务器队列部分；

待机区域是指未执行虚拟机任务的服务器队列部分；

第二步的具体步骤为：

S21、读取第一步中选定的若干个服务器队列中的作业区域与待机区域，进入下一步；

S22、根据各服务器队列中待机区域的大小判断其是否能够执行对应的虚拟机任务；

若不存在能够执行该虚拟机任务的待机区域，直接进入下一步骤进行处理，

若存在能够执行该虚拟机任务的待机区域，且符合条件的待机区域只有一个，则将其发送至该待机区域对应的服务器队列，通过其待机区域同步进行虚拟机任务的执行；

若存在能够执行该虚拟机任务的待机区域，且符合条件的待机区域至少有两个，则任选一个待机区域对应的服务器队列进行处理或

选择待机区域最短的服务器队列进行处理；

该步骤能够充分利用现有执行虚拟机任务的服务器队列的剩余算力，快速的执行当前需要处理的虚拟机任务，降低任务排队时间，并且降低了算力损耗，有效提升了云计算数据中心的数据处理效率；

第三步，确定同一服务器队列中不同虚拟机任务的执行顺序；

S31、服务器队列接收到虚拟机任务后，获取该虚拟机任务的执行时长t1以及该虚拟机正在执行的虚拟机任务剩余的执行时间t2；

若t＞t1+t2，则进行非抢占式队列内顺序调度；

若t＞t1且t≤t1+t2，则进入下一步；

S32、获取服务器队列正在执行的虚拟机任务对应的可等待时间t、已经等待的时间t3以及t2，若t＞t2+t3+t1，则暂停当前虚拟机任务，进行后一虚拟机任务；若t≤t2+t3+t1，则进入下一步；

S33、获取用户优先度值，按照抢占式队列内顺序调度；

在本发明的一个实施例中，所述的用户优先度值计算方法为：

获取用户单位时间内发出的虚拟机任务请求次数C1、用户单位时间内发出的对应类型虚拟机任务请求的次数C2、用户在执行对应类型虚拟机任务时的等待时间T3；

根据公式Y＝λ1*C1+λ2*C2+λ2*T3计算得到用户优先度值；从而使高频用户具有更高优先度，且在之前的使用过程中有较长等待时间的用户具有更高的优先度值。

由于云计算数据中心的算力有限，在进行任务安排时，如果单纯的按照顺序进行等待，则可能出现部分简单的、耗时较短的任务只有在经过长时间的等待后才能进行处理，从而大大降低了使用体验，本发明通过将物理服务器集群划分为多个服务器队列，通过不同的服务器队列来优先处理对应类型的虚拟机任务，降低虚拟机任务分配时的计算量，另外还根据服务器队列的待机区域情况进行进一步确定，从而使得虚拟机任务能够充分利用服务器队列的待机区域，提升资源利用效率；最后，在服务器队列剩余空间较小时，还能够通过对正在执行的任务与待执行任务的等待时间和优先度进行对比，保证大部分客户都能具有良好的使用体验，减少用户出现等待时间过长的问题。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (1)

1.一种云计算数据中心的数据处理系统，其特征在于，包括：

控制器，用于接收服务器传输的虚拟机任务请求，并根据虚拟机任务请求选择服务器队列进行虚拟机任务的执行；

物理服务器模块，包含多个服务器队列，每个服务器队列对应一种任务类型；

上述数据处理系统的工作方法包括如下步骤：

第一步，控制器接收到服务器传输的虚拟机任务请求，根据虚拟机任务请求选择对应的若干个服务器队列；

第二步，获取各符合要求的服务器队列的作业区域与待机区域，判断是否能通过服务器队列的待机区域执行虚拟机任务，若不能，选择剩余任务执行时间最短的服务器队列，进入下一步处理，若能，则通过对应的服务器队列的待机区域执行虚拟机任务；

第三步，确定同一服务器队列中不同虚拟机任务的执行顺序；

第一步中根据虚拟机任务请求选择对应的若干个服务器队列的方法包括如下步骤：

S11、控制器获取虚拟机任务的辅助参数，虚拟机任务辅助参数包括虚拟机任务的类型、虚拟机任务执行时长t1以及虚拟机任务的可等待时间t；

S12、根据虚拟机任务的类型确定能够处理该虚拟机任务的服务器队列，若符合要求的服务器队列数量为零，则通过控制器反馈拒绝信息；若符合要求的服务器队列数量为1，则直接分配对应的服务器队列，进行非抢占式队列内顺序调度，若符合要求的服务器队列数量大于1，则进入下一步；

S13、根据虚拟机任务执行时长t1以及虚拟机任务的可等待时间t选择对应的若干个服务器队列；

满足t＞t1即认为服务器队列满足需求；

所述可等待时间的计算方法为：

SS1、读取虚拟机任务的类型，获取最近的预设T时间内某一类型任务出现的次数n，并读取n个这一类型任务的发起时间、起始处理时间、反馈时间与取消处理时间；

SS2、排除其中取消处理时间处于反馈时间之后的若干个虚拟机任务，获取余下符合条件的若干个虚拟机任务的发起时间与取消处理时间之间的时间差，计算得到若干个该时间差的平均值Kp，以α*Kp作为可等待时间，α为预设值；

第二步的具体操作包括如下步骤：

S21、读取第一步中选定的若干个服务器队列中的作业区域与待机区域，进入下一步；

S22、根据各服务器队列中待机区域的大小判断其是否能够执行对应的虚拟机任务；

不存在能够执行对应的虚拟机任务的待机区域，直接进入下一步骤进行处理；

若存在能够执行对应的虚拟机任务的待机区域，且符合条件的待机区域只有一个，则将对应的虚拟机任务发送至该待机区域对应的服务器队列，通过待机区域同步进行虚拟机任务的执行；

若存在能够执行对应的虚拟机任务的待机区域，且符合条件的待机区域至少有两个，则任选一个待机区域对应的服务器队列进行处理或

选择待机区域最短的服务器队列进行处理；

获取用户单位时间内发出的虚拟机任务请求次数C1、用户单位时间内发出的对应类型虚拟机任务请求的次数C2、用户在执行对应类型虚拟机任务时的等待时间T3；

根据公式Y=λ1*C1+λ2*C2+λ2*T3计算得到用户优先度值；

λ1、λ2、λ3均为预设系数；

第三步中确定同一服务器队列中不同虚拟机任务的执行顺序的方法为：

S31、服务器队列接收到虚拟机任务后，获取该虚拟机任务的执行时长t1以及该虚拟机正在执行的虚拟机任务剩余的执行时间t2；

若t＞t1+t2，则进行非抢占式队列内顺序调度；

若t＞t1且t≤t1+t2，则进入下一步；

S32、获取服务器队列正在执行的虚拟机任务对应的可等待时间t、已经等待的时间t3以及t2，若t＞t2+t3+t1，则暂停当前虚拟机任务，进行后一虚拟机任务；若t≤t2+t3+t1，则进入下一步；

S33、获取用户优先度值，按照抢占式队列内顺序调度；

每隔预设的T1时间采集计算一次可等待时间；

在步骤SS2中，排除取消处理时间处于反馈时间之后的若干个虚拟机任务，余下符合条件的虚拟机任务数量应当大于预设值H，若余下符合条件的虚拟机任务数量小于等于H，则重新选择一段时间进行采样或者延长采样时间，直到获得足够的样本数量。