CN104573101A - 一种基于规则路由的数据流实时分类方法及系统 - Google Patents

Abstract

本发明涉及一种基于规则路由的数据流实时分类方法，基于数据流特征，灵活配置目标数据流分类特征规则，采用过滤方式，针对来自不同源、不同类型的数据流实现匹配操作，区分获得各类指定进行路由分类处理的数据流，最终针对数据流实现实时高效过滤分类，有效提高了数据流实际应用的工作效率，并且具有很强的可扩展性；发明还涉及基于规则路由的数据流实时分类系统，结构简洁，能够快速实现发明所述基于规则路由的数据流实时分类方法的实际应用，能够显著提高针对数据流进行实时过滤分类操作的工作效率。

Description

一种基于规则路由的数据流实时分类方法及系统

技术领域

本发明涉及一种基于规则路由的数据流实时分类方法及系统。

背景技术

随着互联网的迅猛发展，公司业务数据的种类和数量不断增多。在数据总线中如何对数据流进行高效地识别与分类，是大数据处理中一个亟待解决的问题。

数据流分类是指系统能够按照一定的过滤规则对接收到的数据流进行业务识别及分类，以便系统能够根据不同的数据流类别进行相应的后续业务处理。其中，数据流分类规则一般都是基于数据流中的多个字段特征形成的。分类规则如何进行描述和存储、分类方法流程如何设计是影响数据流分类性能的重要因素。

目前对数据流进行分类的方法主要有以下几种：

1)过滤规则用程序语言实现。这种方法实现比较直接，但由于规则写死在程序中，导致规则无法进行灵活的通用配置。如果出现了具有新特征的数据源，或者规则特征发生变更，通常需要重新编程才能对这些数据流加以识别和分类；

2)使用脚本定制过滤规则。该方法比程序实现更加灵活，但脚本定制风格各异，规则可读性不高，用户在使用该方法定制过滤规则时，仍然有较大的规则学习成本，不利于规则进行扩展。

发明内容

针对上述技术问题，本发明所要解决的技术问题是提供一种基于数据流特征，采用路由方式，能够有效针对数据流实现实时过滤分类的基于规则路由的数据流实时分类方法。

与此相应，针对上述技术问题，本发明还要解决的技术问题是提供一种结构简洁，用于实现本发明设计基于规则路由的数据流实时分类方法的基于规则路由的数据流实时分类系统。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于规则路由的数据流实时分类方法，首先分别获取指定进行路由分类处理的各类数据流的特征，以此分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，用于区分各类目标数据流，同时，分别为各类目标数据流指定路由目标；然后，针对实时获得的各个待处理数据流，分别进行如下步骤操作：

步骤001.将待处理数据流与各类目标数据流分类特征规则分别进行匹配操作，若匹配不成功，则该待处理数据流不属于指定进行路由分类处理的数据流种类，该待处理数据流的操作结束；若匹配成功，则进入步骤002；

步骤002.根据该待处理数据流匹配成功的目标数据流分类特征规则，获取该目标数据流所对应的路由目标，将该待处理数据流根据该路由目标进行分类输出。

作为本发明的一种优选技术方案：根据获得的指定进行路由分类处理的各类数据流的特征，通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则；

在所述针对实时获得的各个待处理数据流分别进行的操作中，步骤001之前还包括步骤000如下：

步骤000.根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。

作为本发明的一种优选技术方案：所述步骤001中，针对待处理数据流与各类目标数据流分类特征规则分别进行的匹配操作，具体包括如下步骤：

步骤00101.根据树的数据结构形式，分别针对各类目标数据流分类特征规则进行构造，获得分别对应各类目标数据流分类特征规则的各个分类树，其中，各个分类树的叶子节点代表目标数据流分类特征规则中的子特征，中间节点代表各子节点的复合特征，根部节点代表了目标数据流分类特征规则所对应的路由目标；进入步骤00102；

步骤00102.将待处理数据流分别与各个分类树进行匹配操作，其中，待处理数据流由叶子节点开始进行匹配操作，若叶子节点匹配成功，则向上与该叶子节点对应的父节点进行匹配，以此类推，直至根节点进行匹配操作，上述过程中，若全部匹配成功，则该待处理数据流符合当前与之进行匹配操作的规则树，进入步骤002；若出现匹配不成功的节点，则该待处理数据流不符合当前与之进行匹配操作的规则树，该待处理数据流与该规则树的匹配操作结束。

本发明所述一种基于规则路由的数据流实时分类方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的基于规则路由的数据流实时分类方法，基于数据流特征，灵活配置目标数据流分类特征规则，采用过滤方式，针对来自不同源、不同类型的数据流实现匹配操作，区分获得各类指定进行路由分类处理的数据流，最终针对数据流实现实时高效过滤分类，有效提高了数据流实际应用的工作效率，并且具有很强的可扩展性。

与此相应，本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种实现本发明所述基于规则路由的数据流实时分类方法的系统，包括规则定义模块、规则库、事件过滤模块和路由分类模块，其中：

规则定义模块，用于根据获得的指定进行路由分类处理的各类数据流的特征，分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，以及分别为各类目标数据流指定路由目标；

规则库，用于存储各类目标数据流分类特征规则，以及其对应的路由目标；

事件过滤模块，用于将待处理数据流与各类目标数据流分类特征规则分别进行匹配操作；

路由分类模块，用于根据事件过滤模块针对待处理数据流的匹配操作结果，执行对应的分类操作。

作为本发明的一种优选技术方案：还包括预处理模块，其中：

规则定义模块，用于根据获得的指定进行路由分类处理的各类数据流的特征，通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，以及分别为各类目标数据流指定路由目标；

预处理模块，用于根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式。

本发明所述一种基于规则路由的数据流实时分类系统采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的基于规则路由的数据流实时分类系统，结构简洁，能够快速实现本发明所述基于规则路由的数据流实时分类方法的实际应用，能够显著提高针对数据流进行实时过滤分类操作的工作效率。

附图说明

图1为本发明设计基于规则路由的数据流实时分类方法的流程示意图；

图2为本发明设计基于规则路由的数据流实时分类系统的模块结构示意图；

图3为本发明设计中目标数据流分类特征规则的树结构示意图；

图4为本发明设计基于规则路由的数据流实时分类的示意图。

具体实施方式

下面结合说明书附图针对本发明的具体实施方式作进一步详细的说明。

如图1和图2所示，本发明设计的一种基于规则路由的数据流实时分类方法及系统在实际应用过程当中，首先分别获取指定进行路由分类处理的各类数据流的特征，规则定义模块以此通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，用于区分各类目标数据流，同时，规则定义模块分别为各类目标数据流指定路由目标，经规则定义模块定义、指定的各类目标数据流分类特征规则及其路由目标存储于规则库当中，上述设计中，采用类SQL语言作为各类目标数据流分类特征规则的定义语言，语言的语法和语义均高层和直观，易于理解，方便用户书写事件处理表达式，语言表达性和机器执行性达到了较好的平衡。

接下来，针对实时获得的各个待处理数据流，分别进行如下步骤操作：

步骤000.预处理模块根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。

步骤001.事件过滤模块针对待处理数据流与各类目标数据流分类特征规则分别进行匹配操作，若匹配不成功，则该待处理数据流不属于指定进行路由分类处理的数据流种类，该待处理数据流的操作结束；若匹配成功，则进入步骤002。

其中，针对待处理数据流与各类目标数据流分类特征规则分别进行的匹配操作，具体包括如下步骤：

步骤00101.根据树的数据结构形式，分别针对各类目标数据流分类特征规则进行构造，获得分别对应各类目标数据流分类特征规则的各个分类树，其中，各个分类树的叶子节点代表目标数据流分类特征规则中的子特征，中间节点代表各子节点的复合特征，根部节点代表了目标数据流分类特征规则的全部分类特征规则；进入步骤00102。

步骤00102.将待处理数据流分别与各个分类树进行匹配操作，其中，待处理数据流由叶子节点开始进行匹配操作，若叶子节点匹配成功，则向上与该叶子节点对应的父节点进行匹配，以此类推，直至根节点进行匹配操作，上述过程中，若全部匹配成功，则该待处理数据流符合当前与之进行匹配操作的规则树，进入步骤002；若出现匹配不成功的节点，则该待处理数据流不符合当前与之进行匹配操作的规则树，该待处理数据流与该规则树的匹配操作结束。

上述设计中，基于树结构形式的数据流过滤方法可以根据各类目标数据流分类特征规则有效区分符合过滤条件的数据流和不符合过滤条件的数据流，并且数据流分类效率很高。

步骤002.路由分类模块根据该待处理数据流匹配成功的目标数据流分类特征规则，获取该目标数据流所对应的路由目标，将该待处理数据流根据该路由目标进行分类输出。

上述技术方案设计的基于规则路由的数据流实时分类方法及系统中，数据流实时分类方法基于数据流特征，灵活配置目标数据流分类特征规则，采用过滤方式，针对来自不同源、不同类型的数据流实现匹配操作，区分获得各类指定进行路由分类处理的数据流，最终针对数据流实现实时高效过滤分类，有效提高了数据流实际应用的工作效率，并且具有很强的可扩展性；数据流实时分类系统，结构简洁，能够快速实现本发明所述基于规则路由的数据流实时分类方法的实际应用，能够显著提高针对数据流进行实时过滤分类操作的工作效率。

本发明设计的基于规则路由的数据流实时分类方法及系统在实际应用实施例过程中，具体可以参见如下方法进行实现：首先分别获取指定进行路由分类处理的各类数据流的特征，规则定义模块以此通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，用于区分各类目标数据流，同时，规则定义模块分别为各类目标数据流指定路由目标，经规则定义模块定义、指定的各类目标数据流分类特征规则及其路由目标存储于规则库当中。

其中，数据流常见特征包括数据源、数据类型、数据相关字段特征等，数据字段特征可以用大于、小于、等于、包含或其他特征函数F(x)表示，字段特征之间的关系则主要包括and、or等，比如可以使用select*from stream where src＝‘suguo’and type＝‘deal’来定义一条数据流特征规则。

规则库，用于存储各类目标数据流分类特征规则，以及其对应的路由目标，实际应用的存储形式包括：规则ID、具体规则、规则说明、规则状态、输出目标等；具体可以参见如下表1：

表1

接下来，针对实时获得的各个待处理数据流，分别进行如下步骤操作：

步骤000.预处理模块根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。

其中，将待处理数据流的格式转化为类SQL语言可以识别的数据格式，通用格式为<key,value>数组，key记录字段名，value记录字段值，即一个键-值对集合。比如一条苏果交易信息“2014年10月21日从a门店卖出苹果10千克，交易号为T667AC1AD”被转换成事件Event＝(<src,“suguo”>,<type,“deal”>,<id,“T667AC1AD”>,<time,“20141021”>,<sender,“a”>,<name,“apple”>,<num,“10”>,<unit,“kilo”>)。

步骤001.事件过滤模块针对待处理数据流与各类目标数据流分类特征规则分别进行匹配操作，若匹配不成功，则该待处理数据流不属于指定进行路由分类处理的数据流种类，该待处理数据流的操作结束；若匹配成功，则进入步骤002。

其中，针对待处理数据流与各类目标数据流分类特征规则分别进行的匹配操作，具体包括如下步骤：

步骤00101.如图3所示，根据树的数据结构形式，分别针对各类目标数据流分类特征规则进行构造，获得分别对应各类目标数据流分类特征规则的各个分类树，其中，各个分类树的叶子节点代表目标数据流分类特征规则中的子特征，如：src＝‘suguo’、type＝‘deal’，中间节点代表各子节点的复合特征，大多为字段特征之间的关系，如and、or等等，根部节点代表了目标数据流分类特征规则所对应的路由目标，其中，根部节点还包括了规则库中对应目标数据流分类特征规则的ID；进入步骤00102。

步骤00102.将待处理数据流分别与各个分类树进行匹配操作，其中，待处理数据流由叶子节点开始进行匹配操作，若叶子节点匹配成功，则向上与该叶子节点对应的父节点进行匹配，以此类推，直至根节点进行匹配操作，上述过程中，若全部匹配成功，则该待处理数据流符合当前与之进行匹配操作的规则树，进入步骤002；若出现匹配不成功的节点，则该待处理数据流不符合当前与之进行匹配操作的规则树，该待处理数据流与该规则树的匹配操作结束。

通过上述设计，如图4所示，实现基于规则路由的数据流实时分类操作。

步骤002.路由分类模块根据该待处理数据流匹配成功的目标数据流分类特征规则，获取该目标数据流所对应的路由目标，将该待处理数据流根据该路由目标进行分类输出。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于规则路由的数据流实时分类方法，其特征在于：首先分别获取指定进行路由分类处理的各类数据流的特征，以此分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，用于区分各类目标数据流，同时，分别为各类目标数据流指定路由目标；然后，针对实时获得的各个待处理数据流，分别进行如下步骤操作：

步骤001. 将待处理数据流与各类目标数据流分类特征规则分别进行匹配操作，若匹配不成功，则该待处理数据流不属于指定进行路由分类处理的数据流种类，该待处理数据流的操作结束；若匹配成功，则进入步骤002；

步骤002. 根据该待处理数据流匹配成功的目标数据流分类特征规则，获取该目标数据流所对应的路由目标，将该待处理数据流根据该路由目标进行分类输出。

2.根据权利要求1所述一种基于规则路由的数据流实时分类方法，其特征在于：根据获得的指定进行路由分类处理的各类数据流的特征，通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则；

在所述针对实时获得的各个待处理数据流分别进行的操作中，步骤001之前还包括步骤000如下：

步骤000. 根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。

3.根据权利要求1所述一种基于规则路由的数据流实时分类方法，其特征在于：所述步骤001中，针对待处理数据流与各类目标数据流分类特征规则分别进行的匹配操作，具体包括如下步骤：

步骤00101. 根据树的数据结构形式，分别针对各类目标数据流分类特征规则进行构造，获得分别对应各类目标数据流分类特征规则的各个分类树，其中，各个分类树的叶子节点代表目标数据流分类特征规则中的子特征，中间节点代表各子节点的复合特征，根部节点代表了目标数据流分类特征规则所对应的路由目标；进入步骤00102；

步骤00102. 将待处理数据流分别与各个分类树进行匹配操作，其中，待处理数据流由叶子节点开始进行匹配操作，若叶子节点匹配成功，则向上与该叶子节点对应的父节点进行匹配，以此类推，直至根节点进行匹配操作，上述过程中，若全部匹配成功，则该待处理数据流符合当前与之进行匹配操作的规则树，进入步骤002；若出现匹配不成功的节点，则该待处理数据流不符合当前与之进行匹配操作的规则树，该待处理数据流与该规则树的匹配操作结束。

4.一种实现权利要求2所述一种基于规则路由的数据流实时分类方法的系统，其特征在于：包括规则定义模块、规则库、事件过滤模块和路由分类模块，其中：

规则定义模块，用于根据获得的指定进行路由分类处理的各类数据流的特征，分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，以及分别为各类目标数据流指定路由目标；

规则库，用于存储各类目标数据流分类特征规则，以及其对应的路由目标；

事件过滤模块，用于将待处理数据流与各类目标数据流分类特征规则分别进行匹配操作；

路由分类模块，用于根据事件过滤模块针对待处理数据流的匹配操作结果，执行对应的分类操作。

5.根据权利要求4所述一种实现基于规则路由的数据流实时分类方法的系统，其特征在于：还包括预处理模块，其中：

规则定义模块，用于根据获得的指定进行路由分类处理的各类数据流的特征，通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，以及分别为各类目标数据流指定路由目标；

预处理模块，用于根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式。