CN105094956A - 一种基于通道隔离的业务分配方法和装置 - Google Patents

Abstract

本发明公开了一种基于通道隔离的业务分配方法，包括：业务注册步骤，将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；通道创建步骤，根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，其中各个数据通道之间相互隔离，每个数据通道对应一个优先级；以及通道分配步骤，当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。利用本发明能够对及时性要求高的数据优先处理。

Description

一种基于通道隔离的业务分配方法和装置

技术领域

本发明涉及数据交换技术领域，具体涉及一种基于通道隔离的业务分配方法和装置。

背景技术

在互联网技术的发展浪潮中，电商行业发展迅猛。随着电商业务量的不断扩展，电商平台每天处理的数据量逐步增加，数据交换系统承受着较大压力，例如为提高消费者的网购体验，电商往往愿意承诺在极短时间内完成商品的接单备货直至配送，这对数据交换系统的吞吐量和实时处理能力要求较高；如果碰到电商大促销的情况，数据单量会在短时间内迅速攀升，对数据交换系统的处理能力构成挑战。当前，常规数据交换平台的吞吐量和实时处理能力越来越不能满足大规模电商及时配送的要求，而进行系统扩展需建立在昂贵的硬件成本和软件成本基础上，无法做到低成本扩展。如何实现电商应用中各种单据数据的有效传递，满足日常情况以及大促销等特殊情况下的数据处理需求，在技术实现上是一个挑战。

发明内容

有鉴于此，本发明提出一种基于通道隔离的业务分配方法和装置，对不同性质的数据实施传输通道隔离，各通道传输过程互不影响，保证对及时性要求高的数据优先处理。

一方面，本发明提供一种基于通道隔离的业务分配方法，包括：业务注册步骤，将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；通道创建步骤，根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，其中各个数据通道之间相互隔离，每个数据通道对应一个优先级；以及通道分配步骤，当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。

优选地，其中数据通道的优先级越高，该数据通道的处理能力越高，且单个通道中各个节点的处理能力相匹配。

优选地，其中所述注册内容还包括每种业务的平均单量，并且在所述通道创建步骤中，业务的平均单量越多，对该种业务生成的数据通道的线程数越多。

优选地，该方法还包括：单量更新步骤，按照预设条件对系统配置信息中一种或多种业务的平均单量进行更新；自适应调整步骤，根据更新后的平均单量对对应的数据通道的线程数进行调整。

优选地，其中所述预设条件为当预定时间段内实际的平均单量大于预定阈值时，对系统配置信息中的平均单量进行更新，其中预定阈值为系统配置信息中的平均单量的1.5倍。

另一方面，本发明还提供一种基于通道隔离的业务分配装置，包括：业务注册模块，用于将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；通道创建模块，用于根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，并为每个数据通道建立任务队列，其中每个数据通道对应一个优先级；以及通道分配模块，用于当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。

另一方面，本发明还提供一种服务器，其包括如上所述的基于通道隔离的业务分配装置。

有益效果：本发明属于电商数据交换系统的重要组成部分，在数据传输过程中，按照数据重要性及时性要求不同来分配不同大小、彼此隔离的系统资源，来进行不同性质的数据传输。本发明实施例对不同性质的数据传输通道进行隔离，通过通道分配策略，使不同优先级的数据在传输过程中互不影响，可解决在数据量超大、不同优先级数据混杂且较低的资源投入情况下，保证及时性较高的数据及时投递到目的系统的难题。利用本发明的实施例，各类数据可独立扩展，可有针对性的增加某个数据类型的吞吐量，以适应电商应用高度灵活性的应用需求，可有效解决在电商应用中由于促销产生的数据风暴导致重要数据受其他数据影响而滞留的问题，利用本发明实施例可将有效的计算资源使用到最重要、及时性最高的数据传输中，节省硬件资源投入。

附图说明

图1是本发明实施例的基于通道隔离的业务分配方法流程框图。

图2是本发明实施例可采用的数据交换平台的系统架构。

图3是本发明实施例中当接收到某类型业务数据时，为该业务分配数据通道的流程图。

图4是本发明实施例中注册生产者和消费者并与通道建立关联的流程图。

图5是本发明实施例中的通道自适应调整流程图。

图6是本发明实施例中的数据通道的内部结构图。

图7是本发明实施例的基于通道隔离的业务分配装置的结构图。

具体实施方式

以下结合附图以及具体实施例，对本发明的技术方案进行详细描述。

首先简要介绍电商平台数据的类型，大体上可分为三类，第一类数据的重要性和及时性要求最高，例如“限时送达”的商品订单数据；第二类数据的及时性要求较高，例如普通的商品订单数据、促销信息数据；第三类数据的及时性要求较低，如物流信息数据。

图1示出了本发明实施例的基于通道隔离的业务分配方法流程图，包括：

业务注册步骤：将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；

通道创建步骤：根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，其中各个数据通道之间相互隔离，每个数据通道对应一个优先级；以及

通道分配步骤：当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。

按照上述步骤可将不同种类的业务按优先级分配到相应的数据通道中，例如可将“限时送达”订单业务分配到优先级最高的数据通道中，将普通订单业务和促销信息业务分配到优先级居中的数据通道中，将物流信息业务分配到优先级最低的数据通道中，每个业务在分配好的通道中进行处理，处理完毕后发送给数据消费者。

这样处理的好处是，由于通道之间彼此独立，互不影响，因此即使遇到数据洪峰的情况，仍然能够准确地将有限的计算资源投入到优先级高的数据通道中，对及时性要求高的数据优先处理，实现电商平台中重要单据的有效传递。

在实际应用场景中，如图2，示出了本发明的实施例可采用的数据交换平台的系统架构，描述了数据交换平台的各个参与方的关系。该数据交换平台包括：服务器、若干数据生产者、若干数据消费者，以及链接在各生产者和各消费者之间的若干数据通道。

其中，生产者是指产出业务数据并向其他系统发送业务数据的系统(如前台订单系统、采购系统等)。消费者是指接收业务数据的系统(如后台的仓储系统，配送系统)。通常一个系统既可以作为生产者，也可以作为消费者。生产者发送的数据可以面向一个消费者，也可以面向一个消费者群组。其中，各个数据通道是链接消费者与生产者的纽带，每个通道包含一组处理线程，这些线程从通道的任务队列中获取业务ID，并可根据业务ID获取数据报文，进行后续数据处理。

在本发明的实施例中，在业务注册阶段，需将各种业务数据的生产者，消费者，每种业务的系统优先级、平均单量(如日均单量)、处理流程、下发方式等信息注册到系统的配置信息中。

所有配置信息完成后，进入通道创建阶段，根据系统配置信息(至少包含业务数据的生产者、消费者、优先级)创建各种类型的数据通道，各个通道有不同的系统优先级，优先级高则处理能力高，并可为各个通道建立任务队列。

当服务器接收到生产者的业务数据时，进入通道分配阶段，该业务数据中含有用于表示业务优先级的唯一标识，根据该标识，从系统配置信息中可获得该业务配置的通道信息，将该业务数据的业务ID存放到对应的通道队列中，同时可将该业务数据的报文信息存储到例如分布式文件系统中。

以上对来自生产者的业务数据分配了优先级匹配的数据通道，在后续处理中，消息处理中心根据分配的通道信息获取通道中的处理节点，将任务队列中的业务ID数据按顺序放到处理节点中，找到对应的数据报文，依次进行处理。数据在消息处理中心处理完成后，再根据通道的配置信息，将数据发送到消费者。

图3示出了本发明某些实施例中，当接收到某种类型的业务数据时，为该业务分配数据通道的流程图。首先使用数据交换系统的生产者和消费者在系统中注册，并完成所有的相关配置，系统为每个业务(也称为“主题”subject)生成数据通道，用于连接这个业务的生产者和消费者。当系统接收到该主题的数据后，会将该主题的数据生成的任务与该主题分配的通道进行绑定。

其中，需要注意的是，在系统完成注册配置并创建数据通道之后，即在系统中形成了每种业务与对应通道的绑定关系。则当接收到一条新的业务数据时，可以根据该业务数据的优先级标识来选取对应的通道，后续处理交给通道中的后台线程进行处理。

图4示出了本发明某些实施例中将生产者和消费者在系统中注册并与通道建立关联的流程图。通道的分配是在注册生产者、消费者、发布主题时确定的，其中，发布主题就是指发布该生产者的业务、确定业务数据的优先级及业务日均单量等信息，供消费者订阅。消费者注册后一旦订阅了某主题，意味着该消费者可以接收该业务数据，则配置完成后，系统根据生产者和消费者之间的订阅关系生成数据通道。上述过程对用户是透明的，用户可通过管理端查看系统为每个业务分配的通道信息。

其中，特定主题的数据会分配到一个或多个通道上去，如果某个主题的数据分配到多个通道上，则根据通道的处理能力进行负载分配。

进一步地，数据通道的分配是系统根据用户注册时的初始化配置，根据优先级进行自动分配的，但是在系统运行一段时间后，会出现某些业务的实际日均单量与最初注册的值有较大的变化，通常是实际值会超过注册值，这种情况下，需要对注册的日均单量进行相应调整，防止长时间运行后出现通道资源与优先级不匹配的情况。

图5示出了本发明某些实施例中的通道自适应调整流程图，根据实际业务单量的记录，对注册值进行智能化的自适应调整。具体地，系统在运行过程中，会自动收集每天的单量信息，当一段时间的日均单量大于系统中注册值的阀值时(通常设为超出注册值的50％)，系统对配置信息里的日均单量的值进行更新，并且根据更新的值对通道的关键参数——主要是线程数——进行调整，调整配置生效后，可重新进行通道的分配，保持通道分配在业务变化中的动态合理性，优化系统资源的使用，达到改变通道处理能力、适应新的单量需求的目的。

关于数据通道，在本发明的实施例中，数据的处理过程中由多个处理步骤组成，每个处理步骤可称为一个节点，每类节点有多个实例，将数据处理所经过的所有节点组成的节点链称为数据通道。其中，关于数据处理节点实例，是部署在系统的中的一个用户数据处理的进程。

图6示出了本发明某些实施例中的数据通道的内部结构，其采用管道-过滤器模式，每个数据通道由多个处理节点组成，形成一个数据处理节点链，一个完整的数据处理链构成一个数据通道；每个同类型的处理节点有多个节点实例，每个节点分配的系统资源和处理能力各不相同，这样由节点链组成的数据通道的处理能力也就各不一样。

可见，数据通道在设计中与节点实例相关联，从而保证了通道与通道之间彼此隔离，在完成数据交换的过程中互不影响，同时每个通道的处理能力也不一样。

此外，节点的系统资源在实际应用中主要体现在以下两点：一是节点实例的并发处理线程数量不同，通常处理线程越多，占用的系统资源越多，节点处理能力越强；二是节点实例的JVM(JavaVirtualMachine，Java虚拟机)的堆内存资源及网络容器webcontainer参数不同，使每个节点实例的并发性能不一样。

本发明实施例中构成通道的各个节点实例分配的资源各不相同，处理能力也不相同，可将处理能力相匹配的节点分配到一个通道中，使得各个通道的处理能力不一致，例如阶梯型分布，而通道之间彼此隔离，可实现采用能力不同的、彼此隔离的通道来处理重要性及时性不同的数据，可将上述过程视为一种非均等通道隔离技术。另外，在外部条件发生变化后，本发明实施例可根据外部变化进行自适应调整，使资源配置始终处于合理状态，使设备具有动态适应能力。

本发明的实施例通过将通道与节点实例绑定，对不同的处理节点配置不同的系统处理能力，实现各个通道在数据洪峰到来时，不同的数据的传输通道互相隔离，且各自占用的资源各不相同，利用这个特性，可以将重要性高，及时性要求高的数据分配给处理能力更强的通道，使得在数据大幅度增大的时候，在不扩充硬件的情况下，依然保证业务正常有序的进行。同时由于通道之间彼此隔离，可以根据需要设置紧急通道，VIP通道等不同性质的通道，对计算资源合理分配。进一步地，通道在初期基于统计值和经验值完成分配之后，系统在运行过程中，会根据真实的线上业务量，不断调整与修正最初的配置，使得系统配置和通道分配能够自动适应外部变化，处于合理区间。

基于本发明实施例的数据交换平台，通过配置管理实现对生产者、消费者的注册，建立端到端(P2P)或者发布订阅式的关系，同时在系统中设置每一类业务数据的用户自定义优先级，数据交换平台根据不同数据的优先级、日均数量、生产者和消费者信息、路由信息等配置，为不同性质的数据分配不同的通道，进行数据传输。

相应地，本发明还提供一种基于通道隔离的业务分配装置100，如图7，其包括：

业务注册模块10，用于将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；

通道创建模块12，用于根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，并为每个数据通道建立任务队列，其中每个数据通道对应一个优先级；以及

通道分配模块14，用于当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。

进一步地，该装置100还可包括：

单量更新模块16，用于按照预设条件对系统配置信息中一种或多种业务的平均单量进行更新；

自适应调整模块18，用于根据更新后的平均单量对对应的数据通道的线程数进行调整。

进一步地，本发明还提供一种服务器，该服务器可与生产者和消费者相连，服务器中包含上述基于通道隔离的业务分配装置100。

本发明通过为不同优先级、不同业务量的数据类型建立不同的通道，各个通道之间互相隔离，同时不同通道的处理能力和优先级各不相同，从而实现了总的计算资源在处理各种业务数据时，以非均等的方式分配，保证了在电商应用环境下，数据洪峰来临时，所有数据依然能按不同优先级，有条不紊的传递到目标系统中，即节省了资源，又保证了及时性和高吞吐量，同时也能实现系统的良好可扩展性。

以上，结合具体实施例对本发明的技术方案进行了详细介绍，所描述的具体实施例用于帮助理解本发明的思想。本领域技术人员在本发明具体实施例的基础上做出的推导和变型也属于本发明保护范围之内。

Claims (11)

1.一种基于通道隔离的业务分配方法，其特征在于，包括：

业务注册步骤，将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；

通道创建步骤，根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，其中各个数据通道之间相互隔离，每个数据通道对应一个优先级；以及

通道分配步骤，当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。

2.如权利要求1所述的基于通道隔离的业务分配方法，其特征在于，其中数据通道的优先级越高，该数据通道的处理能力越高，且单个通道中各个节点的处理能力相匹配。

3.如权利要求1或2所述的基于通道隔离的业务分配方法，其特征在于，其中所述注册内容还包括每种业务的平均单量，并且在所述通道创建步骤中，业务的平均单量越多，对该种业务生成的数据通道的线程数越多。

4.如权利要求3所述的基于通道隔离的业务分配方法，其特征在于，还包括：

单量更新步骤，按照预设条件对系统配置信息中一种或多种业务的平均单量进行更新；

自适应调整步骤，根据更新后的平均单量对对应的数据通道的线程数进行调整。

5.如权利要求4所述的基于通道隔离的业务分配方法，其特征在于，其中所述预设条件为当预定时间段内实际的平均单量大于预定阈值时，对系统配置信息中的平均单量进行更新，其中预定阈值为系统配置信息中的平均单量的1.5倍。

6.一种基于通道隔离的业务分配装置，其特征在于，包括：

业务注册模块，用于将多种业务注册到系统配置信息中，注册内容包括每种业务的数据生产者、数据消费者、优先级和处理流程；

通道创建模块，用于根据系统配置信息生成多个数据通道，以使每种业务对应至少一个数据通道，并为每个数据通道建立任务队列，其中每个数据通道对应一个优先级；以及

通道分配模块，用于当接收到来自数据生产者的业务数据时，根据该业务的优先级选取对应的数据通道，将该业务分配给该数据通道，其中该业务的优先级与该数据通道的优先级相匹配。

7.如权利要求6所述的基于通道隔离的业务分配装置，其特征在于，其中各个数据通道之间相互隔离，且优先级越高，数据通道的处理能力越高。

8.如权利要求6或7所述的基于通道隔离的业务分配装置，其特征在于，其中所述注册内容还包括每种业务的平均单量，并且对于所述通道创建模块，业务的平均单量越多，对该种业务生成的数据通道的线程数越多。

9.如权利要求8所述的基于通道隔离的业务分配装置，其特征在于，还包括：

单量更新模块，用于按照预设条件对系统配置信息中一种或多种业务的平均单量进行更新；

自适应调整模块，用于根据更新后的平均单量对对应的数据通道的线程数进行调整。

10.如权利要求9所述的基于通道隔离的业务分配装置，其特征在于，其中所述预设条件为当预定时间段内实际的平均单量大于预定阈值时，对系统配置信息中的平均单量进行更新，其中预定阈值为系统配置信息中的平均单量的1.5倍。

11.一种服务器，其特征在于，所述服务器包括如权利要求6-10中任一项所述的基于通道隔离的业务分配装置。