CN108776934B - 分布式数据计算方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种分布式数据计算方法、装置、计算机设备及可读存储介质，其中所述方法包括将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。本发明可以动态分配计算任务，确保更高效地利用计算资源，提供最高效的计算性能。

Description

分布式数据计算方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式数据计算方法、装置、计算机设备及可读存储介质。

背景技术

目前的佣金批量计算，尤其是保险行业的数据计算主要是基于多线程或 Hadoop为首的分布式计算技术。其中，多线程的分布式计算技术存在以下问题： 1、其扩展性差，性能过于依赖于单一硬件性能；2、大幅提升性能困难，无法实现大量的分布式计算。而以Hadoop为首的分布式计算技术则存在以下问题：1、其作为大数据分析工具处理数据计算并不完全合适；2、需要单独搭建异构系统，单独部署，运维成本高。

发明内容

本发明实施例提供一种分布式数据计算方法、装置、计算机设备及可读存储介质，能够动态分配计算任务，确保更高效地利用计算资源，提供最高效的计算性能。

一方面，本发明实施例提供了一种分布式数据计算方法，该方法包括：

将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；

根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite 任务管理器；

控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；

控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

另一方面，本发明实施例还提供了一种分布式数据计算装置，该装置包括：

存放单元，用于将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；

读取单元，用于根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；

统计单元，用于控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；

处理单元，用于控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

又一方面，本发明实施例还提供了一种计算机设备，包括：

存储器，用于存储实现分布式数据计算的程序；以及

处理器，用于运行所述存储器中存储的实现分布式数据计算的程序，以执行如上所述方法。

再一方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行，以实现如上所述方法。

本发明实施例通过将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算，能够自动均衡各个应用服务器的负载情况，充分利用计算资源实现分布式并行计算，拥有非常好的计算性能，保证高效的数据计算。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种分布式数据计算方法的示意流程图；

图1a是本发明实施例中分布式数据计算方法的场景示意图；

图2是本发明另一实施例提供的一种分布式数据计算方法的示意流程图；

图3是本发明另一实施例提供的方法的另一示意流程图；

图4是本发明另一实施例提供的方法的另一示意流程图；

图5是本发明另一实施例提供的方法的另一示意流程图；

图6是本发明另一实施例提供的方法的另一示意流程图；

图7是本发明实施例提供的一种分布式数据计算装置的示意性框图；

图8是本发明另一实施例提供的一种分布式数据计算装置的示意性框图

图9是本发明另一实施例提供的装置的另一示意性框图；

图10是本发明另一实施例提供的装置的另一示意性框图；

图11是本发明另一实施例提供的装置的另一示意性框图；

图12是本发明另一实施例提供的装置的另一示意性框图；

图13是本发明实施例提供的一种计算机设备结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

请参阅图1和图1a，图1是本发明实施例提供的一种分布式数据计算方法的示意流程图。图1a是本发明实施例中分布式数据计算方法的场景应用图。该方法可以运行在智能手机(如Android手机、IOS手机等)、平板电脑、笔记本电脑以及智能设备等终端中。其中，Ignite任务管理器是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理。终端能够根据接收到的关联系统发送的变更信息生成相应的事件消息，并能控制Ignite任务管理器从包括若干应用服务器的服务器集群中确定一目标服务器，并通过Ignite任务管理器将事件消息发送给到目标服务器进行相应的数据计算。例如，本实施例的方法能够实现对保险行业的佣金的分布式并行计算，具体的本发明提供的方法能够通过终端控制Ignite任务管理器自动将用于进行佣金计算的基于Java语言实现的应用服务器加入集群，并自动均衡各个应用服务器的负载情况，动态分配计算任务，从而确保更高效地利用计算资源，提供最高效的佣金计算性能。

以下将以终端的角度详细地介绍该分布式数据计算方法的应用在佣金计算方面的各个步骤，如图1所示，该方法的步骤包括S101～S104。

S101，将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中。

在本发明实施例中，消息中间件可以用于数据的发送和接收，消息中间件包括有至少一个消息列队，该存放于消息中间件中的消息队列可以包括有若干根据时间顺序依次进行排列的事件消息。所述预设规则可以是指事件消息根据接收到的由承保系统发出的数据更新信息或者属性更新信息而生成。

S102，根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器。

在本发明实施例中，为了更为高效地进行佣金计算，可以根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器，即将获取的若干消息事件进行批量处理，从而提高处理消息事件的效率，实现实时佣金的快速计算处理，其中读取的消息事件的数量可以根据具体情况进行设定。

S103，控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程。

在本发明实施例中，服务器集群可以包括若干应用服务器，而每个应用服务器均可与Ignite任务管理器进行通信。所述Ignite任务管理器即为内存网格任务管理器，具体的，Ignite内存中的数据网格是基于水平扩展的概念和实时添加节点的能力构建的，并被设计成可线性扩展到数百个节点；它还可以被视为一个分布式分区哈希映射，其中它可以包括一个集群，而一个集群可包括多个集群节点，每个集群节点拥有所有数据的一部分，故添加的集群节点越多，我们可以缓存的数据就越多。同时，Ignite任务管理器作为Ignite的重要组成部分，可通过可插拔哈希算法来确定数据任务所属的位置。Ignite内存中的数据网格支持本地的，重复的，分区的数据集，并允许自由的使用标准的SQL语法在那些数据之间交叉查询。Ignite还支持用标准SQL来查询内存数据，包括对分布式 SQL联接的支持。

一般情况下，所述服务器集群可以包括若干可与Ignite任务管理器进行通信连接的应用服务器，而每个应用服务器可以包括若干线程，其中一个线程可以用于处理一个任务，即处理一个消息事件，为了便于使得多个消息事件同时得到快速处理，此时需要对服务器集群设置多个处理节点，即上述的集群节点。具体的，每个处理节点可以包括多个线程，其中线程的数量的多少一般由应用服务器的性能进行决定，例如，对于四核八线程的应用服务器，通常可以设置为该应用服务器包括两个处理节点，而每个处理节点包括四个线程，从而保证应用服务器能得到最大程度的应用，并提高相应的处理效率。

为了确保服务器群集中的服务器能够得到最大程度地应用，同时提高数据处理的速度，需要通过控制Ignite任务管理器对服务器集群中的每个应用服务器的空闲的线程数量进行统计，从而确定空闲的线程数量最多的应用服务器为目标服务器。此处空闲的线程是指并未在进行数据处理的线程，空闲的线程数量越多，则表示该对应的应用服务器能够接收任务的能力就越大，即Ignite任务管理器则可以分配更多的任务给到应用服务器中。又每个应用服务器包括有多个处理节点，每个处理节点包括若干线程，为了进行更为准确快速的数据处理，可以根据处理节点的空闲的线程的数量来分配相应的消息事件。

S104，控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

在本发明实施例中，为了使得所获取的若干个消息事件能够及时快速地被应用服务器进行处理，需要控制所述Ignite任务管理器将接收到的所获取的若干消息事件发送给所确定的空闲的线程数量最多的应用服务器，以便于该应用服务器中的空闲线程能快速地对所接收到的消息事件进行处理，从而计算得到产生该消息事件的用户应得的佣金。又多个线程是并行计算的，故可以同时处理多个消息事件，确保更高效的利用计算资源，提供最高效的计算性能。

请参阅图2，图2是本发明另一实施例提供的一种分布式数据计算方法的示意流程图。该方法可以运行在智能手机(如Android手机、IOS手机等)、平板电脑、笔记本电脑以及智能设备等终端中。如图2所示，该方法的步骤包括 S201～S204。

S201，将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中。

进一步的，如图3所示，所述步骤S201包括S301～S302。

S301，获取变更信息以生成相应的消息事件。

在本发明另一实施例中，通过接收关联系统(如承保系统)发送的变更信息，可以生成相应的消息事件，所述消息事件可进行后续识别以便于实时计算相应的用户的佣金。

其中，变更信息可以包括数据变更信息以及属性变更信息。

所述数据变更信息可以包括新保单的生成、已有保单中的承保金额的变化以及退保等操作行为。具体的，新保单的生成可指产生了新的承保金额，此时用户的佣金提成应发生相应的变化；同理，若已有保单中的承保金额因客户减少承保金额或增加承保金额，此时用户的佣金提成也应发生相应的变化；另外，如若客户选择退保，此时也应相应地减少并调节用户的佣金提成。

所述属性变更信息可以包括用户的职级变化、考勤情况、服务品质以及是否离职等属性变化。具体的，用户的职级变化会造成相应的佣金提成的变化，如升职则会增加相应的佣金提成，而降职则会减少相应的佣金提成；同理，若用户存在考勤方面的问题，也会使得佣金提成产生相应的变化，如迟到扣款、请假扣款等；若用户被其客户投诉，每投诉一次也会产生相应的扣款，此时佣金提成也会发生变化；另外，如用户离职，则也会产生相应的佣金调整。

故，根据上述的变更信息，可以生成一与该变更信息相对应的消息事件，通过识别处理该消息事件，能够快速准确地计算相应的用户应得的佣金。

S302，将消息事件根据时间顺序依次存储在消息中间件的消息队列中。

在本发明另一实施例中，为了便于数据的管理，可以将生成的相应的事件消息依次存放在消息中间件中，该生成的相应的事件消息可以根据先进先出的原则组成消息队列，以便于服务器进行读取。一般情况下，消息队列中可以包括若干事件消息，每个事件消息对应一个相应的用户。

S202，根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器。

进一步的，如图4所示，所述步骤S202包括S401～S403。

S401，每隔预设时间，根据时间排列顺序读取消息队列中的若干消息事件。

在本发明另一实施例中，所述预设时间可以根据用户的需求和实际计算情况进行相应地设定，在此并不做限定。具体的，为了进行批量佣金计算，可以每隔预设时间获取一批消息事件，而该批消息事件可以包括若干个消息事件，并且该批消息事件在消息队列中是按时间顺序进行排列的。

S402，获取所读取的所有消息事件的区域标志信息。

在本发明另一实施例中，所述区域标志信息可以是指产生该消息事件的对应的用户所处于的区域，例如，该用户的登记地址为广东区域，此时该用户对应产生的消息事件中的区域标志信息即为广东区域，同理，该用户的登记地址为湖南区域，此时该用户对应产生的消息事件中的区域标志信息即为湖南区域，具体的并不仅限于上述区域标志信息，可以根据具体情况进行相应的设定。

S403，根据所获取的区域标志信息对所读取的所有消息事件进行分类并发送给Ignite任务管理器，其中，将具有相同的区域标志信息的消息事件归为同类别消息事件。

在本发明另一实施例中，为便于计算和统计，可以根据区域标志信息对所读取的消息事件进行分类处理。例如，所获取的所有消息事件中的区域标志信息为广东区域的消息事件可以归为 一类，即广东区域类，依次类推，同理，区域标志信息为湖南区域的也可以归为 一类，以便后续同一区域类的消息事件对应的用户产生的佣金计算能够得到及时分析处理和统计，进一步提高了佣金计算的效率。

另外，作为优选的实施例，还可以根据用户级别对所读取的所有消息事件进行分类，即每个消息事件对应的用户都有一个相应的级别，根据级别可以对所读取的消息事件进行分类，具体原理可以如上。

S202a，控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器。

在本发明另一实施例中，Ignite任务管理器在接收到确认服务器集群的指令后，可以定期确认服务器集群中可用的应用服务器，同时将能被其利用的应用服务器加入服务器集群，从而充分利用闲置的应用服务器，实现更为高效的分布式计算，提高计算资源利用率。

进一步的，如图5所示，所述步骤S202a包括S501～S503。

S501，控制Ignite任务管理器每隔预设周期读取服务器集群之外的应用服务器中的配置文件。在本发明另一实施例中，可以每隔预设好的周期读取服务器集群之外的应用服务器中的配置文件，被读取配置文件的应用服务器是与该 Ignite任务管理器能够进行通信连接的。

S502，控制Ignite任务管理器解析所读取的配置文件。

S503，若解析后的配置文件中存在预设的标识信息，则将该应用服务器归于服务器集群内。其中，解析所获取的配置文件后，若发现解析后的配置文件存在预设的标识信息，即表示，该配置文件对应的应用服务器可用于进行分布式计算和统一控制，符合预先设定的要求。作为优选的实施例，所述标识信息可以是IP地址。

S203，控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程。

S204，控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

进一步地，如图6所示，所述步骤S204还包括步骤S601～604。

S601，获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，其中每个处理节点均包括若干个线程。

在本发明另一实施例中，每个应用服务器包括若干处理节点，每个处理节点包括若干个线程，故可以获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，以便于在图4所述的步骤S401～S403的基础上，进行进一步地细分分类，不仅提高了用户的使用体验度，更能够充分利用计算资源。例如，所确定的空闲的线程数量最多的应用服务器的处理节点的数量为两个。

S602，确定所获取的若干个消息事件中以区域标志信息为消息事件分类标志的分类数量。

在本发明另一实施例中，可知已根据区域标识信息对所获取的若干个消息事件进行了分类，故此时可以确定，以区域标识信息为消息事件分类标识的时候，所获取的若干个消息事件总共能够分为多少类消息事件。例如，产生消息事件的对应的用户所处于的区域不是广东就是湖南或者是广西，此时可知，所获取的若干个消息事件能够分为三类。

S603，若所述分类数量大于所述处理节点的数量，根据分类数量与所述处理节点的数量的差值确定具有空闲线程的应用服务器。

在本发明另一实施例中，若所述分类数量大于所述处理节点的数量，则表明该所确定的空闲的线程数量最多的应用服务器不能够并行处理所获取的所有类别的消息事件，而其他的具有空闲线程的应用服务器也不能够得到更好的利用，此时可以根据分类数量和所述处理节点的数量的差值，再次确定具有空闲线程的应用服务器。具体选择可以根据应用服务器的已有的节点数量以及每个节点的线程数量还有所获取的不同类别消息事件进行相应地选择，从而实现分布式计算，提高应用服务器的使用率，以及相应的计算性能，例如，当所确定的空闲的线程数量最多的应用服务器的处理节点的数量为两个，同时所获取的若干个消息事件能够分为三类时，可以选择一个具有空闲线程的应用服务器，此时对于该应用服务器的处理节点的数量并不做限定。

S604，将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给目标服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，以进行相应的数据计算。

在本发明另一实施例中，可以将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给所确定的空闲的线程数量最多的应用服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，实现每个处理节点处理同类别消息事件，从而便于计算用户的佣金，并方便用户实现对佣金计算的区域管理。此处的预设规则，可以是指，根据每个处理节点的空闲线程的数量以及同类别消息事件的数量进行相应的分配和处理，当然，也可以是其他的能够高效利用计算资源的方法。

综上，本发明的上述实施例不仅应用简单，还能够自动均衡各个应用服务器的负载情况，充分利用计算资源实现分布式并行计算，拥有非常好的计算性能，保证高效的数据计算。

本领域普通技术员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指定 相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)等。

请参阅图7，对应上述一种分布式数据计算方法，本发明实施例还提出一种分布式数据计算装置，该装置100包括：存放单元101、读取单元102、统计单元103以及处理单元104。

所述存放单元101，用于将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中。

在本发明实施例中，消息中间件可以用于数据的发送和接收，消息中间件包括有至少一个消息列队，该存放于消息中间件中的消息队列可以包括有若干根据时间顺序依次进行排列的事件消息。所述预设规则可以是指事件消息根据接收到的由承保系统发出的数据更新信息或者属性更新信息而生成。

所述读取单元102，用于根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器。

在本发明实施例中，为了更为高效地进行佣金计算，可以根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器，即将获取的若干消息事件进行批量处理，从而提高处理消息事件的效率，实现实时佣金的快速计算处理，其中读取的消息事件的数量可以根据具体情况进行设定。

所述统计单元103，用于控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程。

在本发明实施例中，服务器集群可以包括若干应用服务器，而每个应用服务器均可与Ignite任务管理器进行通信。所述Ignite任务管理器即为内存网格任务管理器，具体的，Ignite内存中的数据网格是基于水平扩展的概念和实时添加节点的能力构建的，并被设计成可线性扩展到数百个节点；它还可以被视为一个分布式分区哈希映射，其中它可以包括一个集群，而一个集群可包括多个集群节点，每个集群节点拥有所有数据的一部分，故添加的集群节点越多，我们可以缓存的数据就越多。同时，Ignite任务管理器作为Ignite的重要组成部分，可通过可插拔哈希算法来确定数据任务所属的位置。Ignite内存中的数据网格支持本地的，重复的，分区的数据集，并允许自由的使用标准的SQL语法在那些数据之间交叉查询。Ignite还支持用标准SQL来查询内存数据，包括对分布式 SQL联接的支持。

一般情况下，所述服务器集群可以包括若干可与Ignite任务管理器进行通信连接的应用服务器，而每个应用服务器可以包括若干线程，其中一个线程可以用于处理一个任务，即处理一个消息事件，为了便于使得多个消息事件同时得到快速处理，此时需要对服务器集群设置多个处理节点，即上述的集群节点。具体的，每个处理节点可以包括多个线程，其中线程的数量的多少一般由应用服务器的性能进行决定，例如，对于四核八线程的应用服务器，通常可以设置为该应用服务器包括两个处理节点，而每个处理节点包括四个线程，从而保证应用服务器能得到最大程度的应用，并提高相应的处理效率。

为了确保服务器群集中的服务器能够得到最大程度地应用，同时提高数据处理的速度，需要通过控制Ignite任务管理器对服务器集群中的每个应用服务器的空闲的线程数量进行统计，从而确定空闲的线程数量最多的应用服务器为目标服务器。此处空闲的线程是指并未在进行数据处理的线程，空闲的线程数量越多，则表示该对应的应用服务器能够接收任务的能力就越大，即Ignite任务管理器则可以分配更多的任务给到应用服务器中。又每个应用服务器包括有多个处理节点，每个处理节点包括若干线程，为了进行更为准确快速的数据处理，可以根据处理节点的空闲的线程的数量来分配相应的消息事件。

所述处理单元104，用于控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

在本发明实施例中，为了使得所获取的若干个消息事件能够及时快速地被应用服务器进行处理，需要控制所述Ignite任务管理器将接收到的所获取的若干消息事件发送给所确定的空闲的线程数量最多的应用服务器，以便于该应用服务器中的空闲线程能快速地对所接收到的消息事件进行处理，从而计算得到产生该消息事件的用户应得的佣金。又多个线程是并行计算的，故可以同时处理多个消息事件，确保更高效的利用计算资源，提供最高效的计算性能。

请参阅图8，对应上述一种分布式数据计算方法，本发明另一实施例还提出一种分布式数据计算装置，该装置200包括：存放单元201、读取单元202、确定单元202a、统计单元203以及处理单元204。

所述存放单元201，用于将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中。

进一步的，如图9所示，所述存放单元201包括：获取单元301以及存储单元302。其中，

所述获取单元301，用于获取变更信息以生成相应的消息事件。

在本发明另一实施例中，通过接收关联系统(如承保系统)发送的变更信息，可以生成相应的消息事件，所述消息事件可进行后续识别以便于实时计算相应的用户的佣金。

其中，变更信息可以包括数据变更信息以及属性变更信息。

所述数据变更信息可以包括新保单的生成、已有保单中的承保金额的变化以及退保等操作行为。具体的，新保单的生成可指产生了新的承保金额，此时用户的佣金提成应发生相应的变化；同理，若已有保单中的承保金额因客户减少承保金额或增加承保金额，此时用户的佣金提成也应发生相应的变化；另外，如若客户选择退保，此时也应相应地减少并调节用户的佣金提成。

所述属性变更信息可以包括用户的职级变化、考勤情况、服务品质以及是否离职等属性变化。具体的，用户的职级变化会造成相应的佣金提成的变化，如升职则会增加相应的佣金提成，而降职则会减少相应的佣金提成；同理，若用户存在考勤方面的问题，也会使得佣金提成产生相应的变化，如迟到扣款、请假扣款等；若用户被其客户投诉，每投诉一次也会产生相应的扣款，此时佣金提成也会发生变化；另外，如用户离职，则也会产生相应的佣金调整。

故，根据上述的变更信息，可以生成一与该变更信息相对应的消息事件，通过识别处理该消息事件，能够快速准确地计算相应的用户应得的佣金。

所述存储单元302，用于将消息事件根据时间顺序依次存储在消息中间件的消息队列中。

在本发明另一实施例中，为了便于数据的管理，可以将生成的相应的事件消息依次存放在消息中间件中，该生成的相应的事件消息可以根据先进先出的原则组成消息队列，以便于服务器进行读取。一般情况下，消息队列中可以包括若干事件消息，每个事件消息对应一个相应的用户。

所述读取单元202，用于根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器。

进一步的，如图10所示，所述读取单元202包括：消息读取单元401、标识获取单元402以及归类单元403。其中，

所述消息读取单元401，用于每隔预设时间，根据时间排列顺序读取消息队列中的若干消息事件。

在本发明另一实施例中，所述预设时间可以根据用户的需求和实际计算情况进行相应地设定，在此并不做限定。具体的，为了进行批量佣金计算，可以每隔预设时间获取一批消息事件，而该批消息事件可以包括若干个消息事件，并且该批消息事件在消息队列中是按时间顺序进行排列的。

所述标识获取单元402，用于获取所读取的所有消息事件的区域标志信息。

在本发明另一实施例中，所述区域标志信息可以是指产生该消息事件的对应的用户所处于的区域，例如，该用户的登记地址为广东区域，此时该用户对应产生的消息事件中的区域标志信息即为广东区域，同理，该用户的登记地址为湖南区域，此时该用户对应产生的消息事件中的区域标志信息即为湖南区域，具体的并不仅限于上述区域标志信息，可以根据具体情况进行相应的设定。

所述归类单元403，用于根据所获取的区域标志信息对所读取的所有消息事件进行分类并发送给Ignite任务管理器，其中，将具有相同的区域标志信息的消息事件归为同类别消息事件。

在本发明另一实施例中，为便于计算和统计，可以根据区域标志信息对所读取的消息事件进行分类处理。例如，所获取的所有消息事件中的区域标志信息为广东区域的消息事件可以归为 一类，即广东区域类，依次类推，同理，区域标志信息为湖南区域的也可以归为 一类，以便后续同一区域类的消息事件对应的用户产生的佣金计算能够得到及时分析处理和统计，进一步提高了佣金计算的效率。

另外，作为优选的实施例，还可以根据用户级别对所读取的所有消息事件进行分类，即每个消息事件对应的用户都有一个相应的级别，根据级别可以对所读取的消息事件进行分类，具体原理可以如上。

所述确定单元202a，用于控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器。

在本发明另一实施例中，Ignite任务管理器在接收到确认服务器集群的指令后，可以定期确认服务器集群中可用的应用服务器，同时将能被其利用的应用服务器加入服务器集群，从而充分利用闲置的应用服务器，实现更为高效的分布式计算，提高计算资源利用率。

进一步的，如图11所示，所述确定单元202a包括：文件读取单元501、文件解析单元502以及集合单元503。其中，

所述文件读取单元501，用于控制Ignite任务管理器每隔预设周期读取服务器集群之外的应用服务器中的配置文件。在本发明另一实施例中，可以每隔预设好的周期读取服务器集群之外的应用服务器中的配置文件，被读取配置文件的应用服务器是与该Ignite任务管理器能够进行通信连接的。

所述文件解析单元502，用于控制Ignite任务管理器解析所读取的配置文件。

所述集合单元503，用于若解析后的配置文件中存在预设的标识信息，则将该应用服务器归于服务器集群内。其中，解析所获取的配置文件后，若发现解析后的配置文件存在预设的标识信息，即表示，该配置文件对应的应用服务器可用于进行分布式计算和统一控制，符合预先设定的要求。作为优选的实施例，所述标识信息可以是IP地址。

所述统计单元203，用于控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程。

所述处理单元204，用于控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

进一步地，如图12所示，所述处理单元204还包括：节点获取单元601、分类确定单元602、服务器确定单元603以及发送单元604。

所述节点获取单元601，用于获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，其中每个处理节点均包括若干个线程。

在本发明另一实施例中，每个应用服务器包括若干处理节点，每个处理节点包括若干个线程，故可以获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，以便于在图10所示的消息读取单元401、标识获取402 以及归类单元403的作用的基础上，进行进一步地细分分类，不仅提高了用户的使用体验度，更能够充分利用计算资源。例如，所确定的空闲的线程数量最多的应用服务器的处理节点的数量为两个。

所述分类确定单元602，用于确定所获取的若干个消息事件中以区域标志信息为消息事件分类标志的分类数量。

在本发明另一实施例中，可知已根据区域标识信息对所获取的若干个消息事件进行了分类，故此时可以确定，以区域标识信息为消息事件分类标识的时候，所获取的若干个消息事件总共能够分为多少类消息事件。例如，产生消息事件的对应的用户所处于的区域不是广东就是湖南或者是广西，此时可知，所获取的若干个消息事件能够分为三类。

所述服务器确定单元603，用于若所述分类数量大于所述处理节点的数量，根据分类数量与所述处理节点的数量的差值确定具有空闲线程的应用服务器。

在本发明另一实施例中，若所述分类数量大于所述处理节点的数量，则表明该所确定的空闲的线程数量最多的应用服务器不能够并行处理所获取的所有类别的消息事件，而其他的具有空闲线程的应用服务器也不能够得到更好的利用，此时可以根据分类数量和所述处理节点的数量的差值，再次确定具有空闲线程的应用服务器。具体选择可以根据应用服务器的已有的节点数量以及每个节点的线程数量还有所获取的不同类别消息事件进行相应地选择，从而实现分布式计算，提高应用服务器的使用率，以及相应的计算性能，例如，当所确定的空闲的线程数量最多的应用服务器的处理节点的数量为两个，同时所获取的若干个消息事件能够分为三类时，可以选择一个具有空闲线程的应用服务器，此时对于该应用服务器的处理节点的数量并不做限定。

所述发送单元604，用于将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给目标服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，以进行相应的数据计算。

在本发明另一实施例中，可以将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给所确定的空闲的线程数量最多的应用服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，实现每个处理节点处理同类别消息事件，从而便于计算用户的佣金，并方便用户实现对数据计算的区域管理。此处的预设规则，可以是指，根据每个处理节点的空闲线程的数量以及同类别消息事件的数量进行相应的分配和处理，当然，也可以是其他的能够高效利用计算资源的方法。

综上，本发明的上述实施例不仅应用简单，还能够自动均衡各个应用服务器的负载情况，充分利用计算资源实现分布式并行计算，拥有非常好的计算性能，保证高效的数据计算。本发明实施例中的装置，均与上述实施例中的方法相对应，故具体的分析和原理在此不再赘述。

由以上可见，在硬件实现上，存放单元101、读取单元102、统计单元103 以及处理单元104等可以以硬件形式内嵌于或独立于分布式数据计算的装置中，也可以以软件形式存储于分布式数据计算装置的存储器中，以便处理器调用执行以上各个单元对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。

上述分布式数据计算装置可以实现为一种计算机程序的形式，计算机程序可以在如图13所示的计算机设备上运行。

图13为本发明一种计算机设备的结构组成示意图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图13，该计算机设备700包括通过系统总线701连接的处理器702、非易失性存储介质703、内存储器704和网络接口705。其中，该计算机设备700的非易失性存储介质703可存储操作系统7031和计算机程序7032，该计算机程序7032被执行时，可使得处理器702执行一种分布式数据计算方法。该计算机设备700的处理器702用于提供计算和控制能力，支撑整个计算机设备700的运行。该内存储器704为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器702执行一种分布式数据计算方法。计算机设备700的网络接口705用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器702执行如下操作：将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

所述处理器702还执行如下操作：控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器。

所述处理器702执行所述控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器，具体执行以下操作：控制Ignite任务管理器每隔预设周期读取服务器集群之外的应用服务器中的配置文件；控制Ignite任务管理器解析所读取的配置文件；控制Ignite任务管理器若解析后的配置文件中存在预设的标识信息，则将该应用服务器归于服务器集群内。

所述处理器702执行所述将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中，具体执行以下操作：获取变更信息以生成相应的消息事件；将消息事件根据时间顺序依次存储在消息中间件的消息队列中。

所述处理器702执行所述根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器，具体执行以下操作：每隔预设时间，根据时间排列顺序读取消息队列中的若干消息事件；获取所读取的所有消息事件的区域标志信息；根据所获取的区域标志信息对所读取的所有消息事件进行分类并发送给Ignite任务管理器，其中，将具有相同的区域标志信息的消息事件归为同类别消息事件。

所述处理器702执行所述控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算，具体执行以下操作：获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，其中每个处理节点均包括若干个线程；确定所获取的若干个消息事件中以区域标志信息为消息事件分类标志的分类数量；若所述分类数量大于所述处理节点的数量，根据分类数量与所述处理节点的数量的差值确定具有空闲线程的应用服务器；将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给目标服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，以进行相应的数据计算。

本领域技术人员可以理解，图13中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图13所示实施例一致，在此不再赘述。

本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行，以实现以下步骤：将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

所述处理器还实现如下操步骤：控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器。

所述处理器实现所述控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器，具体实现以下步骤：控制Ignite任务管理器每隔预设周期读取服务器集群之外的应用服务器中的配置文件；控制Ignite任务管理器解析所读取的配置文件；若解析后的配置文件中存在预设的标识信息，则将该应用服务器归于服务器集群内。

所述处理器实现所述将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中，具体实现以下步骤：获取变更信息以生成相应的消息事件；将消息事件根据时间顺序依次存储在消息中间件的消息队列中。

所述处理器实现所述根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器，具体实现以下步骤：每隔预设时间，根据时间排列顺序读取消息队列中的若干消息事件；获取所读取的所有消息事件的区域标志信息；根据所获取的区域标志信息对所读取的所有消息事件进行分类并发送给Ignite任务管理器，其中，将具有相同的区域标志信息的消息事件归为同类别消息事件。

所述处理器实现所述控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算，具体实现以下步骤：获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，其中每个处理节点均包括若干个线程；确定所获取的若干个消息事件中以区域标志信息为消息事件分类标志的分类数量；若所述分类数量大于所述处理节点的数量，根据分类数量与所述处理节点的数量的差值确定具有空闲线程的应用服务器；将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给目标服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，以进行相应的数据计算。

本发明前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等各种可以存储程序代码的介质。

本发明所有实施例中的单元可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。

本发明实施例分布式数据计算方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例分布式数据计算终端中的单元可以根据实际需要进行合并、划分和删减。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种分布式数据计算方法，其特征在于，所述方法包括：

将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；

根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；

控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；

控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算；

所述根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器，包括：

每隔预设时间，根据时间排列顺序读取消息队列中的若干消息事件；

获取所读取的所有消息事件的区域标志信息，其中，所述区域标志信息可以是指产生所述消息事件的对应的用户所处于的区域；

根据所获取的区域标志信息对所读取的所有消息事件进行分类并发送给Ignite任务管理器，其中，将具有相同的区域标志信息的消息事件归为同类别消息事件；

所述控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算，包括：

获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，其中每个处理节点均包括若干个线程；

确定所获取的若干个消息事件中以区域标志信息为消息事件分类标志的分类数量；

若所述分类数量大于所述处理节点的数量，根据分类数量与所述处理节点的数量的差值确定具有空闲线程的应用服务器；

将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给目标服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，以进行相应的数据计算。

2.如权利要求1所述的方法，其特征在于，所述控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器之前，还包括：

控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器。

3.如权利要求2所述的方法，其特征在于，所述控制Ignite任务管理器根据第二预设规则确定服务器集群中所包括的应用服务器，包括：

控制Ignite任务管理器每隔预设周期读取服务器集群之外的应用服务器中的配置文件；

控制Ignite任务管理器解析所读取的配置文件；

若解析后的配置文件中存在预设的标识信息，则将该应用服务器归于服务器集群内。

4.如权利要求1所述的方法，其特征在于，所述将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中，包括：

获取变更信息以生成相应的消息事件；

将消息事件根据时间顺序依次存储在消息中间件的消息队列中。

5.一种分布式数据计算装置，其特征在于，所述装置包括：

存放单元，用于将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；

读取单元，用于根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器并发送给Ignite任务管理器；

统计单元，用于控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；

处理单元，用于控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算；

所述读取单元包括：

消息读取单元，用于每隔预设时间，根据时间排列顺序读取消息队列中的若干消息事件；

标识获取，用于获取所读取的所有消息事件的区域标志信息，其中，所述区域标志信息可以是指产生所述消息事件的对应的用户所处于的区域；

归类单元，用于根据所获取的区域标志信息对所读取的所有消息事件进行分类并发送给Ignite任务管理器，其中，将具有相同的区域标志信息的消息事件归为同类别消息事件；

所述处理单元包括：

节点获取单元，用于获取所确定的空闲的线程数量最多的应用服务器的所有处理节点的数量，其中每个处理节点均包括若干个线程；

分类确定单元，用于确定所获取的若干个消息事件中以区域标志信息为消息事件分类标志的分类数量；

服务器确定单元，用于若所述分类数量大于所述处理节点的数量，根据分类数量与所述处理节点的数量的差值确定具有空闲线程的应用服务器；

发送单元，用于将所获取的若干个消息事件中的不同类别的消息事件根据预设规则分别发送给目标服务器的处理节点和所确定的具有空闲线程的应用服务器的处理节点中，以进行相应的数据计算。

6.一种计算机设备，其特征在于，包括：

存储器，用于存储实现分布式数据计算的程序；以及

处理器，用于运行所述存储器中存储的实现分布式数据计算的程序，以执行如权利要求1-4任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行，以实现如权利要求1-4任一项所述的方法。

Images