CN113641654A - 一种基于实时事件的营销处置规则引擎方法 - Google Patents

Abstract

本发明提供的一种基于实时事件的营销处置规则引擎方法，所述引擎方法包括：建立元数据管理模型，用于对数据的标准进行统一；根据元数据管理模型和规则引擎建立营销规则；根据事件类型和营销活动类型，扩展补充事件数据；采用开源技术框架计算引擎批量处理进行数据计算引擎；采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；根据业务数据处理结果通知业务系统进行营销服务；批量获取历史数据，顺序写入实时规则引擎中，将历史数据按照指定营销活动规则过滤计算，得到计算结果。能够在高并发情况下对客户行为数据、客户业务数据，高效地进行营销规则计算，缩短数据处理的时间。营销规则更具灵活性。

Description

一种基于实时事件的营销处置规则引擎方法

技术领域

本发明涉及规则引擎领域，尤其涉及一种基于实时事件的营销处置规则引擎方法。

背景技术

传统银行在营销过程缺乏场景化服务，无法找到精准的客户群体，也缺乏有力的营销工具与手段，但传统的营销系统在银行已经发展并使用了多年，也有很多的业务积淀。无论营销系统处于什么样的阶段，其核心过程必然围绕寻找客户、营销客户、分析效果三个阶段。营销系统中的处置规则引擎，就是寻找客户的一种处理方式。

营销处置规则引擎的基本功能，是通过遍历大量业务数据，根据营销规则设置，计算推断出需要营销的客户，并赋予一定的权益奖励的过程。

现有的营销处置规则引擎技术，通常有两种主流实现方式，一种是基于Drools(或QLExpress)规则引擎的应用系统，满足营销处置规则的灵活性要求。另一种是基于数据库存储过程动态SQL进行实现，满足规则引擎大数据量处理性能要求。

营销处置规则引擎是营销系统的核心模块之一，但近些年银行业务系统的技术体系迭代非常迅速，由SOA架构发展到微服务架构、单元化架构，数据库也由传统重量级数据库发展到轻量级分布式数据库，传统的规则引擎实现方式已经无法满足要求；与技术迭代相呼应的是，银行的客户量、业务量也逐年增长，规则引擎需要能够承接住更多的数据请求，更复杂的业务功能。

规则引擎需要解决和处理的以下对两种实现方式存在明显的短板，已经不再适合最新架构下和海量数据的处理效率。

无法满足海量数据下的规则计算要求，传统应用架构无法满足海量数据运算的要求。基于数据库存储过程动态SQL的处理方式无法满足。无法提供足够的灵活规则控制。

发明内容

鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于实时事件的营销处置规则引擎方法。

根据本发明的一个方面，提供了一种基于实时事件的营销处置规则引擎方法，所述引擎方法包括：

建立元数据管理模型，用于对数据的标准进行统一；

根据所述元数据管理模型和规则引擎建立营销规则；

根据事件类型和营销活动类型，扩展补充事件数据；

采用开源技术框架计算引擎批量处理进行数据计算引擎；

采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；

根据所述业务数据处理结果通知业务系统进行营销服务；

批量获取历史数据，顺序写入实时规则引擎中，将所述历史数据按照指定营销活动规则过滤计算，得到计算结果。

可选的，所述建立元数据管理模型，用于对数据的标准进行统一具体包括：

根据运算数据能够准确匹配的规则条件建立统一的数据标准；

根据所述数据标准建立元数据模型管理，所述元数据模型用于定义数据类型。

可选的，所述根据所述元数据管理模型和规则引擎建立营销规则具体包括：

所述营销规则包括决策规则，奖励规则、限制规则和各类规则之间的优先级与有效期控制；

所述决策规则采用决策树模型进行管理，覆盖决策链与决策表的规则控制；

所述奖励规则采用决策链模型进行管理，对奖励数据进行线性分段控制；

所述限制规则根据底层计算引擎提供聚合分类算子实现。

可选的，所述采用开源技术框架计算引擎批量处理进行数据计算引擎具体包括：

所述数据计算引擎采用开源技术框架Flink计算引擎批量处理技术；

将所述数据计算引擎作为数据处理的基础底座，在数据获取、数据过滤、数据聚合、数据排序、数据写入、并行处理、分组处理方面提供基础能力支撑。

可选的，所述采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果具体包括：

提取在数据内容方面组装与处置规则相关的数据内容；

在决策树遍历计算、规则表达式处理，进行规则清洗，获得处理后规则表达式；

对满足清洗规则后的数据进行权益奖励的计算控制；

提供按笔、按标的原值、按标的累计三种数据进行运算，支持按照过滤规则编号分组奖励，每组内再进行数据分段控制，每段内又支持固定和比例计算奖励的形式；

对数据的风险进行处理控制；

对奖励数据进行进一步控制，包括黑名单、白名单、规则优先级、奖励限额；

所述奖励限额采用外部数据获取，将奖励数据集与控制数据集连接实现禁止输入的控制处理；

营销处置引擎将结果写入数据库存储系统。

本发明提供的一种基于实时事件的营销处置规则引擎方法，所述引擎方法包括：建立元数据管理模型，用于对数据的标准进行统一；根据所述元数据管理模型和规则引擎建立营销规则；根据事件类型和营销活动类型，扩展补充事件数据；采用开源技术框架计算引擎批量处理进行数据计算引擎；采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；根据所述业务数据处理结果通知业务系统进行营销服务；批量获取历史数据，顺序写入实时规则引擎中，将所述历史数据按照指定营销活动规则过滤计算，得到计算结果。能够在高并发情况下对客户行为数据、客户业务数据，高效地进行营销规则计算，缩短数据处理的时间。营销规则更具灵活性。营销规则的扩展更简单。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于实时事件的营销处置规则引擎方法的流程图；

图2为本发明建立元数据管理模型，用于对数据的标准进行统一的示意图；

图3为本发明根据所述元数据管理模型和规则引擎建立营销规则示意图；

图4为本发明事件数据扩展示意图；

图5为本发明数据引擎示意图；

图6为本发明处置引擎示意图；

图7为本发明试算处理引擎示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。

下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，一种基于实时事件的营销处置规则引擎方法，所述引擎方法包括：建立元数据管理模型，用于对数据的标准进行统一；根据所述元数据管理模型和规则引擎建立营销规则；采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；采用开源技术框架计算引擎批量处理进行数据计算引擎；采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；根据所述业务数据处理结果通知业务系统进行营销服务。

如图2所示，元数据模型管理：规则引擎的核心是规则计算，规则运行的前提是运算数据能够准确匹配规则条件，需要有统一的数据标准；而数据标准统一的核心是元数据模型的管理，元数据模型定义数据类型。

基于元数据模型管理，才能做到规则引擎所需规则的灵活化配置、动态化扩展，并有效的用于规则引擎运算。

元数据模型管理，类似于数据库DDL对表属性的定义，提供对表名称、表元素的可视化、参数化定义。

元数据模型管理，提供了对模型的定义管理，同时提供了模型创建与维护控制。

如图3所示，营销规则管理：营销规则管理控制，是规则引擎计算与数据模型之前的桥梁。营销规则的设置既要满足数据模型的设计，同时也要满足引擎的需要。而引擎算法的核心依赖于规则与模型的关系。营销规则包括决策规则、奖励规则、限制规则三部分，同时还包括各类规则之间优先级与有效期控制。

决策规则采用决策树模型进行管理，能够覆盖决策链与决策表的规则控制，提供更为丰富的决策控制。

奖励规则采用决策链模型进行管理，对奖励数据进行线性分段控制。

限制规则依托于底层计算引擎提供聚合分类算子实现。

如图4所示，事件数据扩展：实时规则引擎依赖于实时事件中数据丰富度，但通常情况下各个事件生成系统数据标准与数据质量不高，存在一定数据内容缺失。事件数据扩展模块，将根据事件类型与营销活动类型，进行事件数据的扩展补充。例如MGM营销中老带新场景，对于老客户的认定，需要进行额外数据获取进行事件数据完善。事件数据扩展依采用基于微服务体系下的组件方式，以策略模式对事件进行扩展处理，对于MGM营销事件进行老客户认定、新老客户数据拆分处理。

如图5所示，数据计算引擎：数据计算引擎采用开源技术框架Flink计算引擎批量处理技术，该引擎作为数据处理的基础底座，依托其超强的数据处理能力，在数据获取、数据过滤、数据聚合、数据排序、数据写入、并行处理、分组处理方面提供基础能力支撑。

如图6所示，处置引擎：处置规则引擎是本装置最核心功能模块，依托上述元数据管理、规则管理、调度管理、计算引擎提供的基础支撑，通过连续性规则处理运算，实现对海量业务数据营销规则处置，并输出结果通知后端业务系统进行营销服务。

处置规则引擎的核心技术功能包括，数据提取、规则清洗、奖励计算、限制控制、结果输出。

数据提取过程，是处置规则引擎处理起点。重点在IO层面解决数据的高速读取问题，在数据内容方面组装与处置规则相关的数据内容。

高速数据提取处理。业务数据存储在关系型数据库，根据日期分区、关键字索引或规则条件进行数据读取，将依赖于数据库CPU效率。本装置将根据模型类型区分是否通过日期分区获取数据，或全表数据获取。通过数据序列与计算资源，进行分段并行处理。分段数据量算法，获取数据最小序号MIN_SEQ、数据最大MAX_SEQ、Flink任务并行度Slot，取余计算每个Slot读取的数据序号段。

数据内容与规则关联。根据规则管理中关联的元数据类型描述，获取所有数据模型表名称以及属性要素，自动分组读取N(1-N)个模型数据，根据法人编号、客户编号进行左连接，构建完整数据格式。

规则清洗过程，是处置规则引擎处置的核心之一，用于碰撞满足将决策树的数据集。重点在于决策树遍历计算、规则表达式处理。

决策树遍历计算，包括决策树构建、决策树遍历两个部分。决策树采用递归结构，遍历算法采用深度优先算法。

决策树构建过程，对规则进行排序，构建父节点与叶子节点关系，再将决策树从左向右、从顶至底，构建递归存储的决策树结构。即就是每个节点都管理自身规则属性与下级规则列表，而下级规则列表中的每个规则结构与上级规则结构类型完全相同。

遍历计算采用决策树+双端队列实现快速遍历算法，过程如下。

将决策树根节点压队，循环从队列底部出栈遍历处理

获取当前节点中规则属性，寻找模型中数据属性列，进行规则表达式处理，若匹配成功判断当前节点是否是叶子节点，若失败，继续循环出栈处理。

判断当前节点是否是叶子节点，如果是叶子节点，表明数据与某规则链完全匹配，清空队列，跳出返回，记录匹配的叶子节点编号。

如果不是叶子节点，从决策树获取下层结构数据数组，压栈并继续处理。

匹配失败，继续循环出栈处理。

循环遍历结束，若无任何匹配则数据不符合规则要求，抛弃。

循环遍历结束，若存在匹配的叶子节点，标记进入当前业务数据，并继续处理。

规则表达式处理。在决策遍历计算内部使用，用于判断具体规则条件与当前数据的匹配关系，包括支持大于、等于、大于等于、小于、小于等于、不等于、包含、不含包、介于等数据关系运算。

奖励计算过程，是对满足清洗规则后的数据，进行权益奖励的计算控制。提供按笔、按标的原值、按标的累计三种数据进行运算，支持按过滤规则编号分组奖励，每组内再进行数据分段控制，每段内又支持固定和比例计算奖励的形式。该过程重点在于计算数据提取、数据计算处理。

计算数据提取，计算数据分为三种形式，可以是某一客户所有命中数据的合计笔数，也可以是客户命中数据中某一个数字类型的数据，也可以客户所有命中数据中某一个数字类型数据的合计。需要在规则过滤之后，根据奖励选择，进行合计处理。

数据计算处理，将根据客户编号、过滤子节点编号进行分组处理，依据计算数据提取要求进行合并处理。对合并结果，再根据规则编号分组下的数据分段进行循环计算。通过合并后每条数据中的计算标的数据，与分组规则判断命中区间(左开右闭)，再根据区间内算法要求进行计算处理。

限制控制处理。该过程是对风险的处理控制，对奖励数据进行进一步控制，包括黑名单、白名单、规则优先级、奖励限额。限额控制主要采用外部数据获取，将奖励数据集与控制数据集，以左连接实现NOT IN控制处理。

数据输出。营销处置引擎最终将结果写入关系型数据库或其他数据存储系统。为提高性能效率，采用并行数据输出管理，为保证每一个并行线程数据量适中，与全部结果数据中客户号进行Hash排序分组，均匀分配全部线程当中。

如图7所示，试算处理引擎是在以上各个核心处理单元的基础上，提供的批量数据抓取能力，其历史数据管理以元数据模型作为基础，存储在实际物理模型表中。通过批量获取历史数据，顺序写入实时规则引擎当中，将历史数据按照指定营销活动规则过滤计算，并得出试算结果。试算引擎处理是基于Flink批流一体化实现，以流处理过程对批量数据进行运算。

有益效果：

1.实时数据计算，吞吐量大幅提升

本专利基于大数据计算引擎的计算资源优势与算力支撑，能够在高并发情况下对客户行为数据、客户业务数据，高效的进行营销规则计算，缩短数据处理时间，相比传统微服务秒级处理效率，能够提升至毫秒级处理。

2.营销规则更具灵活性

本专利中自行研发了面向权益营销的规则引擎，提供了规则匹配、奖励计算、风险处理等方面控制。在规则匹配方面，比现有技术方案灵活性更具优势，能够实现多模型交叉混合使用，决策树深度优先算法在计算效率上更高。奖励计算在奖励分组、奖励分段、奖励计算、奖励数据匹配方面，比现有系统功能更丰富灵活。

3.营销规则扩展更简单

本专利采用基于元数据管理的模式对营销规则引擎进行数据支撑，在营销规则扩展方面更加简单。相比传统实时营销引擎，该专利提供基于事件的数据扩展模块，能够根据营销事件与业务事件，提供数据扩展补充机制，满足营销规则使用需求。以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于实时事件的营销处置规则引擎方法，其特征在于，所述引擎方法包括：

建立元数据管理模型，用于对数据的标准进行统一；

根据所述元数据管理模型和规则引擎建立营销规则；

根据事件类型和营销活动类型，扩展补充事件数据；

采用开源技术框架计算引擎批量处理进行数据计算引擎；

采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；

根据所述业务数据处理结果通知业务系统进行营销服务；

批量获取历史数据，顺序写入实时规则引擎中，将所述历史数据按照指定营销活动规则过滤计算，得到计算结果。

2.根据权利要求1所述的一种基于实时事件的营销处置规则引擎方法，其特征在于，所述建立元数据管理模型，用于对数据的标准进行统一具体包括：

根据运算数据能够准确匹配的规则条件建立统一的数据标准；

根据所述数据标准建立元数据模型管理，所述元数据模型用于定义数据类型。

3.根据权利要求1所述的一种基于实时事件的营销处置规则引擎方法，其特征在于，所述根据所述元数据管理模型和规则引擎建立营销规则具体包括：

所述营销规则包括决策规则，奖励规则、限制规则和各类规则之间的优先级与有效期控制；

所述决策规则采用决策树模型进行管理，覆盖决策链与决策表的规则控制；

所述奖励规则采用决策链模型进行管理，对奖励数据进行线性分段控制；

所述限制规则根据底层计算引擎提供聚合分类算子实现。

4.根据权利要求1所述的一种基于实时事件的营销处置规则引擎方法，其特征在于，所述采用开源技术框架计算引擎批量处理进行数据计算引擎具体包括：

所述数据计算引擎采用开源技术框架Flink计算引擎批量处理技术；

将所述数据计算引擎作为数据处理的基础底座，在数据获取、数据过滤、数据聚合、数据排序、数据写入、并行处理、分组处理方面提供基础能力支撑。

5.根据权利要求1所述的一种基于实时事件的营销处置规则引擎方法，其特征在于，所述采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果具体包括：

提取在数据内容方面组装与处置规则相关的数据内容；

在决策树遍历计算、规则表达式处理，进行规则清洗，获得处理后规则表达式；

对满足清洗规则后的数据进行权益奖励的计算控制；

提供按笔、按标的原值、按标的累计三种数据进行运算，支持按照过滤规则编号分组奖励，每组内再进行数据分段控制，每段内又支持固定和比例计算奖励的形式；

对数据的风险进行处理控制；

对奖励数据进行进一步控制，包括黑名单、白名单、规则优先级、奖励限额；

所述奖励限额采用外部数据获取，将奖励数据集与控制数据集连接实现禁止输入的控制处理；

营销处置引擎将结果写入数据库存储系统。

Images