CN101923471A

CN101923471A - 网络事件处理方法

Info

Publication number: CN101923471A
Application number: CN2010102633320A
Authority: CN
Inventors: 曹绍芬
Original assignee: Beijing Topsec Technology Co Ltd
Current assignee: Beijing Topsec Technology Co Ltd
Priority date: 2010-08-26
Filing date: 2010-08-26
Publication date: 2010-12-22

Abstract

本发明公开了一种网络事件处理方法，该方法包括：根据系统配置以预定模式将一个或多个流节点以插件形式加载入系统，并由一个或多个流节点组成有向图中的一个或多个流线路；由一个或多个流线路从系统进程获取数据源，对数据源进行处理，并将处理结果进行输出或丢弃处理。借助于本发明的技术方案，解决了现有技术在网络事件处理过程中移植性差的问题，能够方便快捷的对计算机进行配置部署及调试，最大效率的对网络事件进行并行处理，并降低系统资源消耗，具有高可靠的移植性。

Description

网络事件处理方法

技术领域

本发明涉及计算机领域，特别是涉及一种网络事件处理方法。

背景技术

在现有技术中，比较常见的网络事件处理方法都是通过重写事件处理过程而实现的，这个过程包括获取数据，处理数据以及结果输出。但是，通过重写事件处理过程实现网络事件的处理，需要在计算机中实现整个串行过程，同时需要计算机硬件设备严密的和软件系统的其它部分结合，从而造成移植性比较差。

在实际应用中，也可以在处理过程中采用插件的方式来实现网络事件的处理。但是，上述处理方式中的插件只是应用于事件及数据的获取或输出，并不涉及到网络事件的实际处理过程。此外，插件也无法移植和单独使用，同样造成移植性较差的问题。

发明内容

本发明提供一种网络事件处理方法，以解决现有技术在网络事件处理过程中移植性差的问题。

本发明提供一种网络事件处理方法，包括：

根据系统配置以预定模式将一个或多个流节点以插件形式加载入系统，并由所述一个或多个流节点组成有向图中的一个或多个流线路；

由所述一个或多个流线路从系统进程获取数据源，对所述数据源进行处理，并将处理结果进行输出或丢弃处理。

本发明有益效果如下：

通过将一个或多个流节点以插件形式加载入系统，解决了现有技术在网络事件处理过程中移植性差的问题，能够方便快捷的对计算机进行配置部署及调试，最大效率的对网络事件进行并行处理，并降低系统资源消耗，具有高可靠的移植性。通过节点的配置部署于分布式系统的多台主机及进程中，可以实现整个分布式集群的协同工作。

附图说明

图1是本发明实施例的网络事件处理方法的流程图；

图2是本发明实施例的事件拷贝方式获取数据源的示意图；

图3是本发明实施例的通过引用方式获取数据源的示意图；

图4是本发明实施例的进程内部署的结构示意图；

图5是本发明实施例的进程间部署的结构示意图；

图6是本发明实施例的分布式部署的结构示意图。

具体实施方式

模块化的设计思想自始以来就是软件工程的基本要求，本发明实施例为了解决现有技术在网络事件处理过程中移植性差的问题，达到降低各模块的相互耦合、实现最大限度的模块化、系统灵活自由的配置及处理、多系统的联动及分布式的构建、处理多数据源的网络、以及其它的事件流及数据流并对处理结果依据需要及逻辑走向方便快捷的配置部署及调试、最大效率的并行处理及最低系统资源消耗、以及高可靠的移植性的目的。提供了一种网络事件处理方法，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

方法实施例

根据本发明的实施例，提供了一种网络事件处理方法，图1是本发明实施例的网络事件处理方法的流程图。在对本发明的实施例进行详细说明之前，首先对本发明实施例中涉及到的技术名词进行解释：

1、流技术：流实际上就是从数据源获取数据，经历中间多个处理过程，最终数据处理结束后输出或者丢弃的一个循环不断的处理过程，也可以成为基于流的处理技术。

2、有向图技术：把整个系统的所有处理过程连接起来，依据事件处理的时间顺序，构成有向图。

3、插件技术：基于模块化的设计，可根据需要自由加载卸载模块。

4、并行技术：某些处理过程根据系统需要及效率要求，可能需要并行处理，一般而言，线程池及进程池可以满足某些处理过程的并行要求。

5、引用技术：对数据使用之前予以引用，而在使用完成之后释放引用，从而不需要每次使用数据时都分配空间进行拷贝。

6、过滤器技术：数据过滤技术是指通过一定的规则决定数据或数据处理过程的走向。

以下对本发明实施例的网络事件处理方法进行说明，如图1所示，根据本发明实施例的网络事件处理方法包括如下处理：

步骤101，根据系统配置以预定模式将一个或多个流节点以插件形式加载入系统，并由一个或多个流节点组成有向图中的一个或多个流线路；在实际应用中，本发明实施例可以支持分布式部署，通过节点的配置部署于分布式系统的多台主机和进程中，可以实现整个分布式集群的协同工作。

需要说明的是，一个或多个流节点可以包括：1、获取并派发数据源的主节点；2、对派发的数据源进行处理的从节点。其中，主节点或从节点可以为以下之一：1、对数据源进行处理、修改、读取、加工、或丢弃的数据节点；2、根据规则策略确定数据源流向的连接节点。此外，上述一个或多个流节点在系统中的存在方式可以为以下之一：独立进程方式、线程方式、线程池方式。

也就是说，本发明实施例中的流节点被定义为加载入系统，并且建立完成完整的数据输入输出连接的插件，流节点一旦加载入系统，将依据输入输出依赖节点获取或输出数据。

在本发明实施例中，流节点的灵活定义使其具有丰富的多样性，既可以以单独的进程独立存在，也可以以线程及线程池存在，另外根据系统的要求，可以以分布式的方式存在，还可以是简单的程序处理过程。

根据这些不同的方式，实际上流节点可以被定义为主节点和从节点两种类型。其中，主节点是本身能够独立存在的，其需要主动获取数据源。从节点不能作为任务的单独体存在，其数据源依赖于主节点的派发。数据节点和连接节点根据需要可以选择作为系统的主节点或从节点。

数据节点主要对数据内容进行处理，修改，读取，加工，本身一般不会控制数据流的转向，但能够进行数据的丢弃。连接节点本身不对数据内容进行处理，只是根据一定的策略以及规则决定数据流的走向。

每个处理过程实际上就是有向图里面的一个流线路，在实际过程中，流线路是根据配置需要以插件形式加载入系统的有向图中的。获取数据源以及对处理结果输出和丢弃都是由上述以插件形式加载入系统的流线路来完成的。每个插件(即，流节点)实际上既可以作为系统的一个附加处理过程加载调用及卸载，也可以在系统中以独立的进程方式存在，这些都可以灵活的根据系统需要配置。

和其它绝大部分的插件技术不同的是，本发明实施例中的每个插件可以以独立的进程存在于系统之中，具有非常好的可移植性以及方便的独立可配置性。每个插件均可以配置为主动和被动模式，可以保证在这个基于流的系统中，事件能够像流一样自动驱动流动。

在步骤101中，预定模式可以为以下之一：以独立执行主体存在的主动模式、被上游流节点或进程作为参数调用的被动模式。

多条的流线路组成了有向图，而这些流线路是大多数情况下共享获取的数据事件源，处理过程，甚至输出。把多个处理流程合并共享，数据的获取处理输出过程实际上就是一条或多条有向路径的流经过程。本发明实施例实现了流驱动引擎自动驱动数据及事件的流动过程。根据有向图的起始节点A和起始节点后驱节点NA的启动模式可以分为四种情况：

情况一，起始节点A为主动模式，起始节点后驱节点NA为主动模式。

在这种情况下，流线路通过起始节点A的事件缓冲池，以独立执行体方式主动获取事件，并将执行处理后的事件缓存于起始节点后驱节点NA的事件缓冲池中，起始节点后驱节点NA接着从起始节点后驱节点NA的事件缓冲池中取得他需要处理的事件进行处理，起始节点后驱节点NA的后驱节点依次类推。

情况二，起始节点A为主动模式，起始节点后驱节点NA为被动模式。

在这种情况下，流线路通过起始节点A的事件缓冲池，以独立执行体方式主动获取事件，执行完成后，将处理后的事件作为起始节点后驱节点NA的处理参数执行起始节点后驱节点NA的处理过程，起始节点后驱节点NA的后驱节点依次类推。

情况三，起始节点A为被动模式，起始节点后驱节点NA为主动模式。

在这种情况下，流线路中起始节点A的事件由主进程提供作为参数调用起始节点A的处理过程，执行后的事件放置于起始节点后驱节点NA的事件缓冲池，起始节点后驱节点NA以独立执行体从起始节点后驱节点NA的事件缓冲池获取事件执行，起始节点后驱节点NA的后驱节点依次类推。

情况四，起始节点A为被动模式，起始节点后驱节点NA为被动模式。

在这种情况下，流线路中起始节点A和起始节点后驱节点NA的事件皆由上游前驱节点作为参数调用，实际上能够简化成为串行插件处理模式。

以上这四种模式可以根据配置需要在任意两个独立流节点间建立并且可以随时根据需要改变，而这种两个节点前后驱动的事件驱动处理过程构成了整个流系统的事件处理过程，也就把整个系统从起始输入到最终输出的流线路的各个节点均驱动起来了，使得整个系统源源不断，有事件输入，整个系统有机组织运行，配合驱动事件从输入到输出的整个处理过程。

步骤102，由一个或多个流线路从系统进程获取数据源，对数据源进行处理，并将处理结果进行输出或丢弃处理。

需要说明的是，一个或多个流线路可以共享数据源、处理过程、和/或处理结果。在本发明实施例中，某些处理过程根据系统需要及效率要求，可能需要并行处理，在本发明实施例中，可以采用并行方式对数据源进行处理，实现了线程池及进程池满足某些处理过程的并行要求，并实现了整个流系统的多条流线路的数据流在驱动并行输入、并行处理、并行输出。

大部分事件及数据，有可能被多个处理节点共享，并且很多情况下需要并行处理，图2是本发明实施例的事件拷贝方式获取数据源的示意图，如图2所示，每个事件都需要拷贝事件数据，在这种情况下每个节点都给这些事件数据重新分配内存空间并拷贝，既浪费内存资源也浪费处理器资源。因此，在本发明实施例中，一个或多个流线路可以通过引用的方式从系统进程获取数据源，其中，引用方式为：在数据使用之间对数据进行引用，在使用完数据后对承载的数据予以释放。使用引用技术可以很大程度上解决这个问题。图3是本发明实施例的通过引用方式获取数据源的示意图，如图3所示，在数据的流转过程中基本上不需要对数据进行拷贝操作，而只在合适时候将承载的数据资源予以引用或释放即可。

目前很多采用串处理方式和插件处理方式由于其自身的局限无法利用引用技术，而是通过线性处理并且反复分配内存空间，浪费了系统资源。通过上述引用技术，真正实现了将事件及数据的处理过程变成了流的处理过程，保证了高可靠的多事件的并行高效处理，减少了大量数据及事件的无谓分配内存空间及拷贝。

步骤102中，在由一个或多个流线路从系统进程获取数据源之后，可以由一个或多个流线路中的流节点通过流过滤器派发数据源，其中，流过滤器的派发策略包括以下至少之一：共享分发、复制分发、匹配独占、丢弃、缓存、私有分发。

具体地，网络或者应用程序的事件以及数据在系统中可以视为流，连接节点对数据流根据一定的系统配置，以及实际情况决定流转方向。派发策略大致可以分为共享分发，复制分发，匹配独占，私有分发，丢弃，缓存。

1、共享分发：此时连接节点是作为主节点存在于系统，每个直接下游数据节点都是被视为从节点。每个下游数据节点都对该数据单元共享引用。所以在大部分情况下，这些数据节点都不会对数据进行再加工，因为很可能影响到别的数据节点甚至是其下游节点的处理和走向，即使是有部分节点需要数据再加工，也必须保证该节点的修改不会对连接节点的其它任何子孙节点的数据处理和流向产生影响。

2、复制分发：此时连接节点是作为主节点存在于系统，在部分情况下，可能有多个从节点对数据读写，可以在连接节点处根据需要，对数据单元复制一份，派发给下游从节点。

3、匹配独占：此时连接节点是作为主节点存在于系统，下游数据节点依次匹配是否本节点有权限执行，如果确定属于该下游数据节点职责范围的，则将该数据直接派发给该下游数据节点。该数据节点在数据处理完成后需要释放引用以及队列引用。

4、丢弃：此时连接节点是作为主节点存在于系统，数据流至此已完成使命，不再向下游数据节点流动，释放引用及队列引用。

5、缓存：此时连接节点可以看作是从节点，队列引用缓存入系统，由下游主节点释放队列引用。

6、私有分发：此时连接节点是作为主节点存在于系统，可以根据一定的配置策略，对特定的下游数据节点采用上面的一种或几种策略的组合。

也就是说，流过滤器能够根据系统配置对过往数据及事件进行匹配、应用策略。

在本发明实施例中，每个流节点均拥有事件流的过滤器，通过多个匹配和对应策略实现有向图路径的选择及派发。在现有技术中，一般都只是在最终输出的时候才有流过滤器，中间处理过程大部分都是已经在编码过程写入程序。而本发明实施例的事件过滤器流系统的每个节点皆安装有事件的流过滤器，随时可以改变事件的下一个输出方向的处理策略，相比之下相当灵活，而且这些流过滤器可以配置决定事件的处理策略是什么，并不需要在编码里面明确。此外，流过滤器和前面的引用技术相结合可以对多个下游后驱节点派发事件并行处理。这是现有技术中其它有流过滤器的系统所做不到的。

步骤102中，在对数据源进行处理之后，一个或多个流线路中的流节点通过位图技术为流经本节点的数据配置标签。

也就是说，在有向图中，可以使用位图技术实现每个数据及事件的“标签”功能。每个事件及数据在有向图的流经途径中都会被流经的节点打上“标签”。这些“标签”是一个数据流的历史，某些时候这些“标签”会在决定数据流向上发挥决定性作用。

在实际部署中，可以根据实际需要，根据配置文件在单台或多台设备构建一个网络事件处理的有向图。以下对进程内部署、进程间部署、分布式部署进行详细的说明。

图4是本发明实施例的进程内部署的结构示意图，如图4所示，进程与两个连接节点相连接，每个连接节点下又连接了多个数据节点和连接节点，流处理系统数据源及目的输出均来自于进程内部。

图5是本发明实施例的进程间部署的结构示意图，如图5所示，在进程1和进程2下部署了多个连接节点和数据节点，实际应用中，在需要使用到多进程获取事件源或者输出到多进程时，可以使用这种方式部署。

图6是本发明实施例的分布式部署的结构示意图，如图6所示，在主机1和主机2下部署了多个连接节点和数据节点，从而实现多台设备的分布式部署。

综上所述，借助于本发明的技术方案，通过将一个或多个流节点以插件形式加载入系统，解决了现有技术在网络事件处理过程中移植性差的问题，能够方便快捷的对计算机进行配置部署及调试，最大效率的对网络事件进行并行处理，并降低系统资源消耗，具有高可靠的移植性。此外，通过节点的配置部署于分布式系统的多台主机及进程中，可以实现整个分布式集群的协同工作。

本发明实施例实现了多事件源、多输出的高效并行事件处理系统，该系统可以根据需要非常灵活方便的以插件系统或者独立的方式构建一个事件处理系统或者分布式事件处理系统，克服了现有技术中在同类产品中对于事件的处理中通用的串行实现及处理方法的缺点，将流技术运用于事件处理，通过模块化的插件配置加载构建，并将有向图融入本发明实施例的技术方案，很大程度提升了系统的并行性能以及模块化，此外，采用的引用技术也很大程度上帮助提升了并行多事件流处理方法的效率。

本发明实施例中的事件处理模块对开发者是透明的，决大部分情况下开发者并不需要了解整个系统的设计以及其它的事件处理过程的设计，也不需要了解系统的部署，而只需要针对当前处理过程按照一定的模板开发即可，从而保证了在大规模的事件处理系统应用开发过程中，模块化能够得到更有效的体现。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims

1.一种网络事件处理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，

所述一个或多个流节点包括：获取并派发所述数据源的主节点、以及对派发的所述数据源进行处理的从节点；

所述主节点或所述从节点为以下之一：对所述数据源进行处理、修改、读取、加工、或丢弃的数据节点、根据规则策略确定所述数据源流向的连接节点。

3.如权利要求1所述的方法，其特征在于，所述一个或多个流节点部署于分布式系统的多台主机和进程中。

4.如权利要求1所述的方法，其特征在于，所述一个或多个流节点在所述系统中的存在方式为以下之一：独立进程方式、过程体方式、线程池方式。

5.如权利要求1所述的方法，其特征在于，所述一个或多个流线路共享所述数据源、处理过程、和/或所述处理结果。

6.如权利要求1所述的方法，其特征在于，所述一个或多个流线路采用并行方式对所述数据源进行处理。

7.如权利要求1所述的方法，其特征在于，所述一个或多个流线路从系统进程获取数据源包括：

所述一个或多个流线路通过引用的方式从系统进程获取数据源，其中，所述引用方式为：在数据使用之前对所述数据进行引用，不重复对所述数据进行拷贝，在使用完所述数据后对承载的所述数据予以释放。

8.如权利要求1所述的方法，其特征在于，所述预定模式为以下之一：以独立执行主体存在的主动模式、被上游流节点或进程作为参数调用的被动模式。

9.如权利要求1所述的方法，其特征在于，在由所述一个或多个流线路从系统进程获取数据源之后，所述方法还包括：

由所述一个或多个流线路中的流节点通过流过滤器派发所述数据源，其中，所述流过滤器的派发策略包括以下至少之一：共享分发、复制分发、匹配独占、丢弃、缓存、私有分发。

10.如权利要求1所述的方法，其特征在于，在由所述一个或多个流线路对所述数据源进行处理之后，所述方法还包括：

所述一个或多个流线路中的流节点通过位图技术为流经本节点的数据配置标签。