CN104572276B - 一种基于云计算的并发数据处理方法 - Google Patents

Abstract

本申请提出了一种基于云计算的并发数据处理方法，用于实现云计算环境下某一应用的执行。所述方法包括：接收多个终端向为所述某一应用分配的虚拟机所提交的多个数据集；并发计算所述多个数据集；汇总所述多个数据集的计算结果并存储以供后续查询。本发明提出的方法，实现动态分配资源，使得资源利用率大大提高，并且数据集的总体计算时间大大降低；减少了多用户多数据集接收的排队等待时间，改善了用户体验；使得避免计算进程由于单个节点的负荷过重而出现的死锁。

Description

一种基于云计算的并发数据处理方法

技术领域

本发明涉及计算机技术，特别涉及一种基于云计算的并发数据处理方法。

背景技术

云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。在用户应用中，诸如试题计分、在线考试等领域，充分发挥云计算技术将有利于迅速完成大数据集的处理，本申请就如何将用户应用与云计算技术的结合提出新的解决方案。

发明内容

为解决上述现有技术中多个数据集排队等待处理造成的处理时间长，不能根据实际资源状况进行资源分配，网络资源不能得到充分利用等技术问题。本发明引入云计算技术以及多进程同步执行，有效解决了上述技术问题。本发明提出的一种基于云计算的并发数据处理方法，包括：创建计算结果记录表，所述计算结果记录表用于记录针对多个数据集的计算结果；创建N个接收队列，所述N个接收队列中的每一个用于实时地接收多个数据集；创建N个监测进程，所述N个监测进程分别实时地监测所述N个接收队列；对于任意一个监测进程P（i），当接收队列Q（i）不为空时，循环执行以下步骤：如果活动状态下的计算进程的总量超过预定阈值，则保持等待，直至活动状态下的计算进程的总量未超过预定阈值；如果活动状态下的计算进程的总量未超过预定阈值，则执行以下步骤：如果请求锁定所需资源不成功，则保持等待，直至请求锁定所需资源成功；如果请求锁定所需资源成功，则创建新的计算进程，并将接收队列Q（i）中的队首位置的数据集分配至所述新的计算进程；对于任意一个计算进程，当接收到数据集后，对所收到的数据集进行计算，并在计算结束后将最终计算结果发送至计算结果记录表，接着向相对应的监测进程P（i）发出销毁请求。其中，1<=i<=N，N>1，i和N均为整数。

优选地，所述N个接收队列中的每一个用于实时地接收多个数据集包括：初始化全局变量S=0；实时地接收来自多个终端的多个数据集，其中，每当接收到来自一个终端的一个数据集，则执行以下步骤：将所述一个数据集加入队列Q（j）中，j=mod（S，N+1）+1，mod（）为求余函数；令S=S+1。

优选地，当监测进程P（i）接收到来自计算进程的销毁请求后，释放提出请求的计算进程所占据的资源并销毁提出请求的计算进程。

优选地，所述方法还包括响应于预先设置的触发条件，当满足触发条件时，执行以下步骤：当存在活动状态的计算进程时，保持等待，直至不存在活动状态的计算进程；当不存在活动状态的计算进程时，将所述计算结果记录表转存至计算结果数据库中，以备后续查询使用，接着销毁所述N个监测进程和所述N个接收队列。

优选地，所述触发条件是时钟条件。

优选地， 依次计算所收到的数据集中的每一个数据子集，将每一个数据子集的计算结果进行汇总得到最终计算结果。

优选地，在计算每一个数据子集的过程中实时地监测计算速率，如果所述计算速率小于预设速率，则执行以下步骤：请求重新锁定所需资源；在重新请求锁定所需资源成功后，重新创建新的计算进程，并由重新创建的新的计算进程进行后续计算。

优选地，根据可用资源的变化动态调整预定阈值，当发现新的可用资源则调高所述预定阈值，当可用资源减少则调低所述预定阈值。

本发明相比现有技术，具有以下优点：

通过引入云计算技术，预先设定阈值大小并进行动态调整，实现动态分配资源，使得资源利用率大大提高，并且数据集的总体计算时间大大降低。

通过引入多进程并发处理技术，减少了多用户多数据集接收的排队等待时间，改善了用户体验。

通过实时监测计算速率，并根据计算进程的计算速率进行资源迁移，使得避免计算进程由于单个节点的负荷过重而出现的死锁。

附图说明

图1是根据本发明实施例的基于云计算的并发数据处理方法的整体流程图。

图2是根据本发明实施例的监测进程的工作流程图。

图3是根据本发明实施例的计算进程的工作流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

图1示出根据本发明实施例的基于云计算的并发数据处理方法的整体流程图。本发明的基于云计算的并发数据处理方法用于实现云计算环境下某一应用的执行，包括：接收多个终端向为所述某一应用分配的虚拟机所提交的多个数据集，并发计算所述多个数据集，汇总所述多个数据集的计算结果并存储以供后续查询。具体地，本发明的基于云计算的并发数据处理方法包括：创建计算结果记录表，所述计算结果记录表用于记录针对多个数据集的计算结果。创建N个接收队列，所述N个接收队列中的每一个用于实时地接收多个数据集。创建N个监测进程，所述N个监测进程分别实时地监测所述N个接收队列。对于每一个监测进程，分别创建多个计算进程并进行计算，其中由于N个监测进程与N个接收队列存在一一对应的关系，因此所述多个计算进程的数量根据所述每一个监测进程相关的接收队列中动态接收的多个数据集的数量确定，在优选实施例中，所述多个计算进程的数量等于相关的接收队列中的多个数据集的数量，并且是动态增加的。对于每一个计算进程，当接收到数据集后，对所收到的数据集进行计算，并在计算结束后将最终计算结果发送至计算结果记录表，接着向相对应的监测进程P（i）发出销毁请求。其中，1<=i<=N，N>1，i和N均为整数。

图2示出根据本发明实施例的监测进程的工作流程图。如图2所示，对于每一个监测进程P（i），当接收队列Q（i）不为空时，循环执行以下步骤：S100如果活动状态下的计算进程的总量超过预定阈值，则保持等待，直至活动状态下的计算进程的总量未超过预定阈值；S200如果活动状态下的计算进程的总量未超过预定阈值，则执行以下步骤：S210如果请求锁定所需资源不成功，则保持等待，直至请求锁定所需资源成功；S220如果请求锁定所需资源成功，则创建新的计算进程，并将接收队列Q（i）中的队首位置的数据集分配至所述新的计算进程。由于本申请提出的基于云计算的并发数据处理方法实现于云计算环境中，因此云计算环境中的可用资源是动态变化的。根据本发明优选实施例，对于云计算环境中的每一个应用，根据所述每一个应用的权重事先分配所述每一个应用所能够使用的资源的上限和下限，当所述每一个应用启动后，可能由于其他应用的占用资源导致所述每一个应用的可用资源由所述下限所限制，也可能由于其他应用的释放资源导致所述每一个应用的可用资源由所述上限限制，因此可根据可用资源的变化动态调整预定阈值，当发现新的可用资源则调高所述预定阈值，当可用资源减少则调低所述预定阈值。由于使用该设置可以更加充分地利用所述云计算环境中的可用资源并且不影响所有应用的平衡运行。

图3示出根据本发明实施例的计算进程的工作流程图。如图3所示，对于每一个计算进程，当接收到数据集后，对所收到的数据集进行计算，本发明中所述的计算例如是统计、判断、其他逻辑或数学计算等等，并在计算结束后将最终计算结果发送至计算结果记录表，所述计算结果记录表是事先创建的，并且每一个计算进程的计算结果仅仅作为计算结果记录表中的结果记录的一部分，接着向相对应的监测进程P（i）发出销毁请求。其中，当监测进程P（i）接收到来自计算进程的销毁请求后，释放提出请求的计算进程所占据的资源并销毁提出请求的计算进程。根据本发明，所有计算进程仅仅负责所述多个数据集中的一个进行计算并且在计算结束后即销毁。也就是说在本发明中，所有计算进程中的每一个所占用资源的时间都是用于计算一个数据集。

在本发明优选实施例中，所述虚拟机包括N个虚拟接口，每一个接口均用于接收来自多个终端的多个数据集，所述N个虚拟接口顺序接收所述多个数据集，例如，当第一个虚拟接口接收到一个数据集后，如果后续有收到数据集则由第二个虚拟机接口接收，依次类推。其中所述N个虚拟接口与N个接收队列一一对应。基于上述设置实现N个接收队列依次接收所述多个数据集。具体地，所述N个接收队列中的每一个用于实时地接收多个数据集包括：初始化全局变量S=0，即全局变量S的初始值为数字0；每当接收到来自一个终端的一个数据集，则执行以下步骤：将所述一个数据集加入队列Q（j）中，j=mod（S，N+1）+1，mod（）为求余函数；令S=S+1；即依次由所述N个虚拟接口接收所述多个数据集，并将所接收到的多个数据集依次分配给所述N个队列，如此，一方面，使得每个接收队列的负载得到平衡，另一方面，通过此设置实现了终端用户的良好体验，即因为N个接收队列的使用使得不再存在需要终端用户排队发送数据集的问题。其中所述N大于1，在优选实施例中，所述N等于10，50或100。

在优选实施例中，所述方法还包括响应于预先设置的触发条件，例如时钟条件，当满足触发条件时，执行以下步骤：当存在活动状态的计算进程时，保持等待，直至不存在活动状态的计算进程；当不存在活动状态的计算进程时，将所述计算结果记录表转存至计算结果数据库中，以备后续查询使用，接着销毁所述N个监测进程和所述N个接收队列。

在优选实施例中，对于每一个计算进程，所述对所收到的数据集进行计算包括:依次计算所收到的数据集中的每一个数据子集，将每一个数据子集的计算结果进行汇总得到最终计算结果，其中所述汇总例如是统计、数学计算或逻辑计算。在计算每一个数据子集的过程中实时地监测计算速率，如果所述计算速率小于预设速率，表明当前计算进程作占用的资源的性能正在呈下降趋势并且不能继续承担所述计算进程的后续计算，其中所述预设速率是事先根据经验确定的或者是根据历史计算数据所计算的平均计算速率，则执行以下步骤：请求重新锁定所需资源；在重新请求锁定所需资源成功后，重新创建新的计算进程，并由重新创建的新的计算进程进行后续计算。

综上所述，本发明提出的基于云计算的并发数据处理方法，实现动态分配资源，使得资源利用率大大提高，并且数据集的总体计算时间大大降低。减少了多用户多数据集接收的排队等待时间，改善了用户体验。使得避免计算进程由于单个节点的负荷过重而出现的死锁。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种基于云计算的并发数据处理方法，包括：

创建计算结果记录表，所述计算结果记录表用于记录针对多个数据集的计算结果；

创建N个接收队列，所述N个接收队列中的每一个用于实时地接收多个数据集；

创建N个监测进程，所述N个监测进程分别实时地监测所述N个接收队列；

对于每一个监测进程P（i），当接收队列（i）不为空时，循环执行以下步骤：

如果活动状态下的计算进程的总量超过预定阈值，则保持等待，直至活动状态下的计算进程的总量未超过预定阈值；

如果活动状态下的计算进程的总量未超过预定阈值，则执行以下步骤：

如果请求锁定所需资源不成功，则保持等待，直至请求锁定所需资源成功；

如果请求锁定所需资源成功，则创建新的计算进程，并将接收队列Q（i）中的队首位置的数据集分配至所述新的计算进程；

对于每一个计算进程，当接收到数据集后，对所收到的数据集进行计算,并在计算结束后将最终计算结果发送至计算结果记录表，接着向相对应的监测进程P（i）发出销毁请求；

其中，1<=i<=N，N>1，i和N均为整数；

所述N个接收队列中的每一个用于实时地接收多个数据集包括：

初始化全局变量S=0；

实时地接收来自多个终端的多个数据集，其中，每当接收到来自一个终端的一个数据集，则执行以下步骤：

将所述一个数据集加入队列Q（j）中，j=mod（S，N+1）+1，mod（）为求余函数；

令S=S+1。

2.根据权利要求1所述的基于云计算的并发数据处理方法，其特征在于，当监测进程P（i）接收到来自计算进程的销毁请求后，释放提出请求的计算进程所占据的资源并销毁提出请求的计算进程。

3.根据权利要求1所述的基于云计算的并发数据处理方法，其特征在于，所述方法还包括响应于预先设置的触发条件，当满足触发条件时，执行以下步骤：

当存在活动状态的计算进程时，保持等待，直至不存在活动状态的计算进程；

当不存在活动状态的计算进程时，将所述计算结果记录表转存至计算结果数据库中，以备后续查询使用，接着销毁所述N个监测进程和所述N个接收队列。

4.根据权利要求3所述的基于云计算的并发数据处理方法，其特征在于，所述触发条件是时钟条件。

5.根据权利要求1所述的基于云计算的并发数据处理方法，其特征在于，所述对所收到的数据集进行计算包括:

依次计算所收到的数据集中的每一个数据子集，

将每一个数据子集的计算结果进行汇总得到最终计算结果。

6.根据权利要求5所述的基于云计算的并发数据处理方法，其特征在于，在计算每一个数据子集的过程中实时地监测计算速率，如果所述计算速率小于预设速率，则执行以下步骤：

请求重新锁定所需资源；

在重新请求锁定所需资源成功后，重新创建新的计算进程，并由重新创建的新的计算进程进行后续计算。