CN105786603A - 一种基于分布式的高并发业务处理系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式的高并发业务处理系统及方法。该系统包括数据交换模块和至少一级业务处理模块。该级子业务处理模块用于从用户侧请求或者数据源模块中上级子业务处理模块的存储位置获取业务数据，并处理业务数据；以及用于处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将业务数据输出至用户侧；数据源模块用于实现各级子业务处理模块之间的业务数据交换。通过本发明只需根据业务的处理流程拆分子业务，增加部署处理子业务的业务处理模块，使得业务处理系统具备高并发、高效率以及横向扩展的能力。

Description

一种基于分布式的高并发业务处理系统及方法

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于分布式的高并发业务处理系统及方法。

背景技术

在物联网等许多关键领域，随着物联设备类型、数量不断增加，业务场景的多样化，用户侧对于前端服务响应时效性的要求越来越高，同时造成企业侧后端业务处理的复杂度也会越来越高。然而随着业务的发展、应用版本的迭代及流程的变化，业务处理系统的效能势必因处理复杂度的增加而降低，给用户造成较差的用户体验。

目前现有技术中，后端的业务处理系统通常采用单个业务处理节点的集中处理模式，即由单个节点处理并响应所有物联设备的业务请求。然而随着物联设备的增加以及业务场景的变化，随时会造成数据高并发的情况。因此，现有的单个业务处理节点的集中处理模式已经很难满足大流量、高并发和高效率及高可用的业务场景需求。如何才能快速通过增加业务处理节点，提高后端业务处理系统的在高并发模式下的业务处理能力，是目前物联网技术领域亟待解决的一大技术问题。

发明内容

本发明所要解决的技术问题在于提供一种基于分布式的高并发业务处理系统及方法，用以解决现有技术中单个业务处理节点很难满足大流量、高并发和高效率及高可用的业务场景需求的问题。

为实现上述发明目的，本发明采用下述的技术方案：

依据本发明的一个方面，提供一种基于分布式的高并发业务处理系统，包括：数据源模块和至少一级子业务处理模块；其中，

该级子业务处理模块用于从用户侧请求或者数据源模块中上级子业务处理模块的存储位置获取业务数据，并处理所述业务数据；以及用于处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将所述业务数据输出至用户侧；

所述数据源模块用于实现各级子业务处理模块之间的业务数据交换。

优选地，所述数据源模块包括消息队列、数据库以及缓存中一种或者多种数据源。

优选地，所述子业务处理模块，包括：

配置单元，用于配置处理子业务所需的配置文件；

获取单元，用于根据所述配置文件的数据源信息获取所连接的数据源；

写入单元，用于根据所述配置文件中数据获取方法从所述数据源模块相应的数据源中获取业务数据，将所述业务数据写入本地消息队列中；

创建单元，用于根据所述配置文件中配置的线程数量创建所需线程池；

处理单元，用于从所述消息队列中取出业务数据，由所述线程池处理所述业务数据。

优选地，所述处理单元中的线程池根据所述配置文件的动态路由规则将处理后的业务数据保存至对应的数据源中。

优选地，所述业务处理模块还包括监控单元，用于根据业务数据的读写状态以及线程处理信号量监控所述子业务处理模块是否正常工作。

依据本发明的另一方面，提供一种高并发业务处理方法，用于分布式的高并发业务处理系统中，所述系统包括数据源模块和至少一级子业务处理模块，所述数据源模块实现各级子业务处理模块之间的业务数据交换；所述方法包括：

子业务处理模块从用户侧请求或者所述数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理所述业务数据；

待处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将所述业务数据输出至用户侧。

优选地，所述数据源模块包括消息队列、数据库以及缓存中一种或者多种数据源。

优选地，所述子业务处理模块用户侧请求或者从所述数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理业务数据，包括：

配置处理子业务所需的配置文件；

根据所述配置文件中的数据源信息获取所连接的数据源；

根据所述配置文件中的数据获取方法从所述数据源模块相应的数据源中获取业务数据，将所述业务数据写入本地消息队列中；

根据所述配置文件中配置的线程数量创建所需线程池；

从所述消息队列中取出业务数据，由所述线程池处理所述业务数据。

优选地，在处理所述业务数据时，所述线程池根据所述配置文件的动态路由规则将处理后的业务数据保存至对应的数据源中。

优选地，根据业务数据的读写状态以及线程处理信号量监控所述子业务处理模块是否正常工作。

本发明具有以下有益效果：

本发明所提供的基于分布式的高并发业务处理系统及方法，将系统处理的业务细化为多个子业务，并由各级业务处理节点单独处理所分配的业务，这样各级业务处理节点通过异步处理子业务，可以满足高并发模式下系统高负载的要求。通过本发明只需根据业务的处理流程拆分子业务，增加部署处理子业务的业务处理节点，使得业务处理系统具备高并发、高效率以及横向扩展的能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于分布式的高并发业务处理系统的结构图；

图2为本发明实施例中子业务处理模块的结构框图；

图3为本发明实施例中子业务处理模块的处理流程图；

图4为本发明实施例中基于分布式的高并发业务处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于分布式的高并发业务处理系统，如图1所示，该系统包括数据源模块和至少一级子业务处理模块；数据源模块用于实现各级子业务处理模块之间的数据交换，包括多个子业务处理模块对应的存储单元；

该级子业务处理模块用于从用户侧请求或者获取数据源模块中上级子业务处理模块对应的存储单元获取业务数据，并处理业务数据；以及用于处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储单元；若不存在，则将业务数据输出至用户侧。

本发明实施例中子业务处理模块处理将业务具体划分后的子业务。业务处理系统将处理的业务细化为多个子业务，并由各级子业务处理模块单独处理所分配的子业务，这样各级业务处理模块通过异步处理子业务，可以满足高并发模式下系统高负载的要求。通过本发明只需根据业务的处理流程拆分子业务，增加部署处理子业务的子业务处理模块，使得业务处理系统具备高并发、高效率以及横向扩展的能力。

参见图2，本发明实施例子业务处理模块获取业务数据以及处理业务数据时，通过如下单元实现，具体包括：配置单元，用于配置处理子业务所需的配置文件；获取单元，用于根据配置文件中的数据源信息获取所连接的数据源；写入单元，用于根据配置文件中数据获取方法从数据源模块相应的数据源中获取业务数据，将业务数据写入本地的消息队列中；创建单元，用于根据配置文件中配置线程数量创建所需线程池；处理单元，用于从消息队列中取出业务数据，交由线程池处理业务数据。

参见图3，下面结合子业务处理模块的具体处理过程对各个单元进行详细介绍。

步骤1，启动并装载配置单元中的配置文件。

本发明的实施例中所有的子业务处理模块基于同一基类。基类中定义了各个业务所需的相关基础方法。本发明在配置单元中根据处理业务配置所需的配置文件，在模块启动时，通过加载不同的配置文件即可实现业务数据的处理。

具体地，该配置文件中包括数据源类型、数据源名称、业务线程池线程数、每次加载数据量、数据获取方法、数据源路由以及数据装载命令(命令串)等信息。根据该配置文件，可以根据实际业务处理需要配置子业务处理模块的处理能力。配置文件可以通过两种形式实现：一种是XML文件形式，XML文件中定义了所有的配置信息，在实际处理时只需获取XML文件的路由就可以实现具体信息的调用；一种是KEY＝VALUE键值对属性的方式进行配置，例如，PoolSize＝100，启动后初始化线程数为100；DataSourceType＝RDBMS，数据源的类型；DataGetCommand＝select1fromdual，数据获取方法。在子业务处理模块启动，装载配置文件，并根据配置文件执行本级的业务处理任务。

步骤2，获取单元根据配置文件中的数据源信息获取所连接的数据源。

本发明实施例中数据源模块包括消息队列、数据库以及缓存等数据源。本实施例中采用的数据源形式包括Mysql、oracle、hbase、redis、Memcache、local-cache以及MQ(MessageQueue，消息队列)一种或者多种。在子业务处理模块启动后，根据配置的数据源信息获取处理业务所需的数据源。配置文件中配置当前业务需要访问的数据源具体名称，在启动时会通过bean工厂模式连接不同的数据源。基于此，可以使不同的业务场景能够根据业务支持多数据源在同一流程中的使用，从而实现高并发IO的处理瓶颈。

本发明实施例中，只需在配置文件中进行数据源的配置就可以连接不同的数据源，使访问底层数据源的方式方法得以简单统一，屏蔽不同数据源使用上的语法不统一问题。本发明中子业务处理模块在处理具体业务引入多种数据源时，不会被不同的处理语法及使用细节所困扰，使业务场景的开发更加高效，屏蔽了底层不同数据源复杂的语法操作，对底层的使用达到通用简单高效。

步骤3，写入单元根据配置文件中数据获取方法从数据源模块相应的数据源中获取业务数据，将业务数据写入本地消息队列中。

在步骤3中，在获取业务数据时，根据配置文件的数据获取方法(SQL\GET\FIND)从数据源的相应位置获取业务数据。数据获取方法中具体定义了业务数据在数据源中的具体位置。在获取的业务数据后，将数据业务依序写入至本地缓存的消息队列中，等待线程进行业务数据处理。通过消息队列，使多种数据源接入后能够汇聚实现高并发业务处理。

步骤4，创建单元根据配置文件中配置线程数量创建所需线程池。

配置文件中定义线程池中的并行处理的最大线程数和最小线程数。所有线程由线程池对象统一调度管理，不会超出线程池所允许的最大线程数量和最小线程数量。该线程数可以根据子业务处理模块的实际处理业务进行配置，可以有效提高CPU的数据处理能力，避免造成服务器资源的浪费。

步骤5，处理单元从本地消息队列中取出业务数据，交由线程池处理业务数据。

本发明实施例中，如果线程中还有大数据量的业务数据需要处理，但是不想再进行业务拆分，线程中同样可以支持在当前线程中再启动多线程进行，即在配置文件中预先配置子线程池的信息。具体地，本发明实施例中预先定义了线程池的基类。该子线程池在业务流程开发中只需继承框架线程池基类并实现基类方法，就可以将当前业务处理以多线程的方式予以触发执行。本发明不需要关心多线程内部处理机制，只需要在配置文件中进行变量的配置即可实现业务的多线程，使创建多线程程序变的简单。

进一步地，子业务处理模块还包括数据输出单元，用于在处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将业务数据输出至用户侧。

进一步地，线程池在进行业务处理时，获取本地消息队列中的数据，并根据预先配置的动态路由规则，将处理后的业务数据保存至数据源中。本发明实施例中采用动态路由的形式，即配置数据源需要满足的布尔表达式。当业务数据符合动态路由中配置的布尔表达式时，则路由到此数据源，并与该数据源进行数据交互。当然，也可以在无规则的情况下默认使用某个数据源而不走动态路由。

本发明实施例中，子业务处理模块还包括监控单元，用于根据业务数据的读写状态以及线程处理信号量监控子业务处理模块是否正常工作。当子业务处理模块装载配置文件后，启动监控单元的监控线程，同时向系统的监控模块进行注册。该监控线程用于监控读写业务数据的状态以及线程池中各个线程的处理信号。系统的监控模块通过协调服务器Zookeeper实现各级子业务处理模块进程进行管理。另外，子业务处理模块根据监控的实际处理情况生成监控日志，使得模块的业务过程具有可控性。

进一步地，子业务处理模块还包括定时单元，用于定时控制子业务处理模块的启动。定时单元主要实现了通过配置文件的设置。通过配置定时单元，使得业务处理单元在达到定时条件时实现定时执行功能，定时功能能够结合多线程实现并发处理。

本发明实施例还提供了一种高并发业务处理方法，用于上述的分布式的高并发业务处理系统中系统包括数据源模块和至少一级子业务处理模块，数据源模块实现各级子业务处理模块之间的业务数据交换。参见图4，该方法具体包括如下步骤：

步骤101，该级子业务处理模块从用户侧请求或者数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理业务数据；

步骤102，待处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将业务数据输出至用户侧。

优选地，数据源模块包括消息队列、数据库以及缓存中一种或者多种数据源。

优选地，该级子业务处理模块用户侧请求或者从数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理业务数据，包括：

配置处理子业务所需的配置文件；

根据配置文件中的数据源信息获取所连接的数据源；

根据配置文件中的数据获取方法从数据源模块相应的数据源中获取业务数据，将业务数据写入消息队列中；

根据配置文件中配置的线程数量创建所需线程池；

从消息队列中取出业务数据，由线程池处理业务数据。

优选地，在处理业务数据时，线程池根据配置文件的动态路由规则将处理后的业务数据保存至对应的数据源中。

优选地，根据业务数据的读写状态以及线程处理信号量监控子业务处理模块是否正常工作。

综上所述，本发明所提供的高并发业务处理系统及方法，将处理的业务细化为多个子业务，并由各级业务处理节点单独处理所分配的业务，这样各级业务处理节点通过异步处理子业务，可以满足高并发模式下系统高负载的要求。各个业务处理节点都是进程级别启动的，在内部处理启动时可以根据实际业务的情况，调整启动配置参数，从而实现不同的业务对资源数量(例如，初始化所需内存、数据源)的需求。因此，本发明对于业务开发来说，只需要关注业务场景的实现及设计，在需要的时候通过增加业务处理节点节点，横向复制的方式完成业务处理能力的增加。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

虽然通过实施例描述了本申请，本领域的技术人员知道，本申请有许多变形和变化而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于分布式的高并发业务处理系统，其特征在于，包括：数据源模块和至少一级子业务处理模块；其中，

该级子业务处理模块用于从用户侧请求或者数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理所述业务数据；以及用于处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将所述业务数据输出至用户侧；

所述数据源模块用于实现各级子业务处理模块之间的业务数据交换。

2.如权利要求1所述的高并发业务处理系统，其特征在于，所述数据源模块包括消息队列、数据库以及缓存中一种或者多种数据源。

3.如权利要求2所述的高并发业务处理系统，其特征在于，所述子业务处理模块，包括：

配置单元，用于配置处理子业务所需的配置文件；

获取单元，用于根据所述配置文件的数据源信息获取所连接的数据源；

写入单元，用于根据所述配置文件中数据获取方法从所述数据源模块相应的数据源中获取业务数据，将所述业务数据写入本地消息队列中；

创建单元，用于根据所述配置文件中配置的线程数量创建所需线程池；

处理单元，用于从所述消息队列中取出业务数据，由所述线程池处理所述业务数据。

4.如权利要求3所述的高并发业务处理系统，其特征在于，所述处理单元中的线程池根据所述配置文件的动态路由规则将处理后的业务数据保存至对应的数据源中。

5.如权利要求3所述的高并发业务处理系统，其特征在于，所述业务处理模块还包括监控单元，用于根据业务数据的读写状态以及线程处理信号量监控所述子业务处理模块是否正常工作。

6.一种高并发业务处理方法，用于分布式的高并发业务处理系统中，其特征在于，所述系统包括数据源模块和至少一级子业务处理模块，所述数据源模块实现各级子业务处理模块之间的业务数据交换；所述方法包括：

该级子业务处理模块从用户侧请求或者所述数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理所述业务数据；

待处理完业务数据后，判断是否存在下级子业务处理模块：若存在，则将处理后的业务数据存储于数据源模块中下级子业务处理模块对应的存储位置；若不存在，则将所述业务数据输出至用户侧。

7.如权利要求6所述的高并发业务处理方法，其特征在于，所述数据源模块包括消息队列、数据库以及缓存中一种或者多种数据源。

8.如权利要求7所述的高并发业务处理方法，其特征在于，所述子业务处理模块用户侧请求或者从所述数据源模块中上级子业务处理模块对应的存储位置获取业务数据，并处理业务数据，包括：

配置处理子业务所需的配置文件；

根据所述配置文件中的数据源信息获取所连接的数据源；

根据所述配置文件中的数据获取方法从所述数据源模块相应的数据源中获取业务数据，将所述业务数据写入本地消息队列中；

根据所述配置文件中配置的线程数量创建所需线程池；

从所述消息队列中取出业务数据，由所述线程池处理所述业务数据。

9.如权利要求8所述的高并发业务处理方法，其特征在于，在处理所述业务数据时，所述线程池根据所述配置文件的动态路由规则将处理后的业务数据保存至对应的数据源中。

10.如权利要求8所述的高并发业务处理方法，其特征在于，根据业务数据的读写状态以及线程处理信号量监控所述子业务处理模块是否正常工作。