CN113641705A - 一种基于计算引擎的营销处置规则引擎方法 - Google Patents

一种基于计算引擎的营销处置规则引擎方法 Download PDF

Info

Publication number
CN113641705A
CN113641705A CN202110936002.1A CN202110936002A CN113641705A CN 113641705 A CN113641705 A CN 113641705A CN 202110936002 A CN202110936002 A CN 202110936002A CN 113641705 A CN113641705 A CN 113641705A
Authority
CN
China
Prior art keywords
data
rule
marketing
engine
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110936002.1A
Other languages
English (en)
Other versions
CN113641705B (zh
Inventor
温涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital China Financial Software Co ltd
Original Assignee
Digital China Financial Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital China Financial Software Co ltd filed Critical Digital China Financial Software Co ltd
Priority to CN202110936002.1A priority Critical patent/CN113641705B/zh
Publication of CN113641705A publication Critical patent/CN113641705A/zh
Application granted granted Critical
Publication of CN113641705B publication Critical patent/CN113641705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0225—Avoiding frauds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的一种基于计算引擎的营销处置规则引擎方法，所述引擎方法包括：建立元数据管理模型，用于对数据的标准进行统一；根据所述元数据管理模型和规则引擎建立营销规则；采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；采用开源技术框架计算引擎批量处理进行数据计算引擎；采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；根据所述业务数据处理结果通知业务系统进行营销服务。规则数据的扩展无需修改源码中数据实体结构，通过扩展元数据管理即可实现自动数据识别、自动数据提取。

Description

一种基于计算引擎的营销处置规则引擎方法
技术领域
本发明涉及规则引擎领域，尤其涉及一种基于计算引擎的营销处置规则引擎方法。
背景技术
传统银行在营销过程缺乏场景化服务，无法找到精准的客户群体，也缺乏有力的营销工具与手段，但传统的营销系统在银行已经发展并使用了多年，也有很多的业务积淀。无论营销系统处于什么样的阶段，其核心过程必然围绕寻找客户、营销客户、分析效果三个阶段。营销系统中的处置规则引擎，就是寻找客户的一种处理方式。
营销处置规则引擎的基本功能，是通过遍历大量业务数据，根据营销规则设置，计算推断出需要营销的客户，并赋予一定的权益奖励的过程。
现有的营销处置规则引擎技术，通常有两种主流实现方式，一种是基于Drools(或QLExpress)规则引擎的应用系统，满足营销处置规则的灵活性要求。另一种是基于数据库存储过程动态SQL进行实现，满足规则引擎大数据量处理性能要求。
营销处置规则引擎是营销系统的核心模块之一，但近些年银行业务系统的技术体系迭代非常迅速，由SOA架构发展到微服务架构、单元化架构，数据库也由传统重量级数据库发展到轻量级分布式数据库，传统的规则引擎实现方式已经无法满足要求；与技术迭代相呼应的是，银行的客户量、业务量也逐年增长，规则引擎需要能够承接住更多的数据请求，更复杂的业务功能。
规则引擎需要解决和处理的以下对两种实现方式存在明显的短板，已经不再适合最新架构下和海量数据的处理效率。
无法满足海量数据下的规则计算要求，传统应用架构无法满足海量数据运算的要求。基于数据库存储过程动态SQL的处理方式无法满足。无法提供足够的灵活规则控制。
发明内容
鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于计算引擎的营销处置规则引擎方法。
根据本发明的一个方面，提供了一种基于计算引擎的营销处置规则引擎方法，所述引擎方法包括：
建立元数据管理模型，用于对数据的标准进行统一；
根据所述元数据管理模型和规则引擎建立营销规则；
采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；
采用开源技术框架计算引擎批量处理进行数据计算引擎；
采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；
根据所述业务数据处理结果通知业务系统进行营销服务。
可选的，所述建立元数据管理模型，用于对数据的标准进行统一具体包括：
根据运算数据能够准确匹配的规则条件建立统一的数据标准；
根据所述数据标准建立元数据模型管理，所述元数据模型用于定义数据类型。
可选的，所述根据所述元数据管理模型和规则引擎建立营销规则具体包括：
所述营销规则包括决策规则，奖励规则、限制规则和各类规则之间的优先级与有效期控制；
所述决策规则采用决策树模型进行管理，覆盖决策链与决策表的规则控制；
所述奖励规则采用决策链模型进行管理，对奖励数据进行线性分段控制；
所述限制规则根据底层计算引擎提供聚合分类算子实现。
可选的，所述采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制具体包括：
在日终进行批量处理，待日终汇聚不同业务系统产生的原始数据，统一根据所述营销规则进行处理；
采用分布式调度算法进行规则调度控制，根据营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；
规则调度控制器在调用计算引擎核心模块处理前，根据规则优先级进行顺序处理控制。
可选的，所述采用开源技术框架计算引擎批量处理进行数据计算引擎具体包括：
所述数据计算引擎采用开源技术框架Flink计算引擎批量处理技术；
将所述数据计算引擎作为数据处理的基础底座，在数据获取、数据过滤、数据聚合、数据排序、数据写入、并行处理、分组处理方面提供基础能力支撑。
可选的，所述采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果具体包括：
提取在数据内容方面组装与处置规则相关的数据内容；
在决策树遍历计算、规则表达式处理，进行规则清洗，获得处理后规则表达式；
对满足清洗规则后的数据进行权益奖励的计算控制；
提供按笔、按标的原值、按标的累计三种数据进行运算，支持按照过滤规则编号分组奖励，每组内再进行数据分段控制，每段内又支持固定和比例计算奖励的形式；对数据的风险进行处理控制；对奖励数据进行进一步控制，包括黑名单、白名单、规则优先级、奖励限额；所述奖励限额采用外部数据获取，将奖励数据集与控制数据集连接实现禁止输入的控制处理；营销处置引擎将结果写入数据库存储系统。
本发明提供的一种基于计算引擎的营销处置规则引擎方法，所述引擎方法包括：建立元数据管理模型，用于对数据的标准进行统一；根据所述元数据管理模型和规则引擎建立营销规则；采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；采用开源技术框架计算引擎批量处理进行数据计算引擎；采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；根据所述业务数据处理结果通知业务系统进行营销服务。规则数据的扩展无需修改源码中数据实体结构，通过扩展元数据管理即可实现自动数据识别、自动数据提取。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于计算引擎的营销处置规则引擎方法的流程图；
图2为本发明建立元数据管理模型，用于对数据的标准进行统一的示意图；
图3为本发明根据所述元数据管理模型和规则引擎建立营销规则示意图；
图4为本发明规则调控控制示意图；
图5为本发明数据引擎示意图；
图6为本发明处置引擎示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
如图1所示，一种基于计算引擎的营销处置规则引擎方法，所述引擎方法包括：建立元数据管理模型，用于对数据的标准进行统一；根据所述元数据管理模型和规则引擎建立营销规则；采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；采用开源技术框架计算引擎批量处理进行数据计算引擎；采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；根据所述业务数据处理结果通知业务系统进行营销服务。
如图2所示，元数据模型管理：规则引擎的核心是规则计算，规则运行的前提是运算数据能够准确匹配规则条件，需要有统一的数据标准；而数据标准统一的核心是元数据模型的管理，元数据模型定义数据类型。
基于元数据模型管理，才能做到规则引擎所需规则的灵活化配置、动态化扩展，并有效的用于规则引擎运算。
元数据模型管理，类似于数据库DDL对表属性的定义，提供对表名称、表元素的可视化、参数化定义。
元数据模型管理，提供了对模型的定义管理，同时提供了模型创建与维护控制。
如图3所示，营销规则管理：营销规则管理控制，是规则引擎计算与数据模型之前的桥梁。营销规则的设置既要满足数据模型的设计，同时也要满足引擎的需要。而引擎算法的核心依赖于规则与模型的关系。营销规则包括决策规则、奖励规则、限制规则三部分，同时还包括各类规则之间优先级与有效期控制。
决策规则采用决策树模型进行管理，能够覆盖决策链与决策表的规则控制，提供更为丰富的决策控制。
奖励规则采用决策链模型进行管理，对奖励数据进行线性分段控制。
限制规则依托于底层计算引擎提供聚合分类算子实现。
如图4所示，规则调度控制：本发明对应的营销处置规则，需要在日终进行批量处理，待日终汇聚不同业务系统产生的原始数据，统一根据营销规则进行处理。
规则调度控制采用分布式调度算法，依据营销规则对应的营销任务进行分段控制，同时在根据计算引擎可用资源进行分组控制。
规则调度控制器在调用计算引擎核心模块处理前，需要根据规则优先级进行顺序处理控制。
如图5所示，数据计算引擎：数据计算引擎采用开源技术框架Flink计算引擎批量处理技术，该引擎作为数据处理的基础底座，依托其超强的数据处理能力，在数据获取、数据过滤、数据聚合、数据排序、数据写入、并行处理、分组处理方面提供基础能力支撑。
如图6所示，处置引擎：处置规则引擎是本装置最核心功能模块，依托上述元数据管理、规则管理、调度管理、计算引擎提供的基础支撑，通过连续性规则处理运算，实现对海量业务数据营销规则处置，并输出结果通知后端业务系统进行营销服务。
处置规则引擎的核心技术功能包括，数据提取、规则清洗、奖励计算、限制控制、结果输出。
数据提取过程，是处置规则引擎处理起点。重点在IO层面解决数据的高速读取问题，在数据内容方面组装与处置规则相关的数据内容。
高速数据提取处理。业务数据存储在关系型数据库，根据日期分区、关键字索引或规则条件进行数据读取，将依赖于数据库CPU效率。本装置将根据模型类型区分是否通过日期分区获取数据，或全表数据获取。通过数据序列与计算资源，进行分段并行处理。分段数据量算法，获取数据最小序号MIN_SEQ、数据最大MAX_SEQ、Flink任务并行度Slot，取余计算每个Slot读取的数据序号段。
数据内容与规则关联。根据规则管理中关联的元数据类型描述，获取所有数据模型表名称以及属性要素，自动分组读取N(1-N)个模型数据，根据法人编号、客户编号进行左连接，构建完整数据格式。
规则清洗过程，是处置规则引擎处置的核心之一，用于碰撞满足将决策树的数据集。重点在于决策树遍历计算、规则表达式处理。
决策树遍历计算，包括决策树构建、决策树遍历两个部分。决策树采用递归结构，遍历算法采用深度优先算法。
决策树构建过程，对规则进行排序，构建父节点与叶子节点关系，再将决策树从左向右、从顶至底，构建递归存储的决策树结构。即就是每个节点都管理自身规则属性与下级规则列表，而下级规则列表中的每个规则结构与上级规则结构类型完全相同。
遍历计算采用决策树+双端队列实现快速遍历算法，过程如下。
将决策树根节点压队，循环从队列底部出栈遍历处理
获取当前节点中规则属性，寻找模型中数据属性列，进行规则表达式处理，若匹配成功判断当前节点是否是叶子节点，若失败，继续循环出栈处理。
判断当前节点是否是叶子节点，如果是叶子节点，表明数据与某规则链完全匹配，清空队列，跳出返回，记录匹配的叶子节点编号。
如果不是叶子节点，从决策树获取下层结构数据数组，压栈并继续处理。
匹配失败，继续循环出栈处理。
循环遍历结束，若无任何匹配则数据不符合规则要求，抛弃。
循环遍历结束，若存在匹配的叶子节点，标记进入当前业务数据，并继续处理。
规则表达式处理。在决策遍历计算内部使用，用于判断具体规则条件与当前数据的匹配关系，包括支持大于、等于、大于等于、小于、小于等于、不等于、包含、不含包、介于等数据关系运算。
奖励计算过程，是对满足清洗规则后的数据，进行权益奖励的计算控制。提供按笔、按标的原值、按标的累计三种数据进行运算，支持按过滤规则编号分组奖励，每组内再进行数据分段控制，每段内又支持固定和比例计算奖励的形式。该过程重点在于计算数据提取、数据计算处理。
计算数据提取，计算数据分为三种形式，可以是某一客户所有命中数据的合计笔数，也可以是客户命中数据中某一个数字类型的数据，也可以客户所有命中数据中某一个数字类型数据的合计。需要在规则过滤之后，根据奖励选择，进行合计处理。
数据计算处理，将根据客户编号、过滤子节点编号进行分组处理，依据计算数据提取要求进行合并处理。对合并结果，再根据规则编号分组下的数据分段进行循环计算。通过合并后每条数据中的计算标的数据，与分组规则判断命中区间(左开右闭)，再根据区间内算法要求进行计算处理。
限制控制处理。该过程是对风险的处理控制，对奖励数据进行进一步控制，包括黑名单、白名单、规则优先级、奖励限额。限额控制主要采用外部数据获取，将奖励数据集与控制数据集，以左连接实现NOT IN控制处理。
数据输出。营销处置引擎最终将结果写入关系型数据库或其他数据存储系统。为提高性能效率，采用并行数据输出管理，为保证每一个并行线程数据量适中，与全部结果数据中客户号进行Hash排序分组，均匀分配全部线程当中。
有益效果：
1.海量数据计算，性能大幅提升
本专利基于大数据计算引擎的计算资源优势与算力支撑，结合分布式调度下并行任务控制能力，大幅度提升数据处理量、缩短数据处理时间。单一任务面对千万级数据量，规则命中率30-40％的情况下，整体处理时间由十几分钟缩短至2-3分钟。
2.营销规则更具灵活性
本专利中自行研发了面向权益营销的规则引擎，提供了规则匹配、奖励计算、风险处理等方面控制。在规则匹配方面，比现有技术方案灵活性更具优势，能够实现多模型交叉混合使用，决策树深度优先算法在计算效率上更高。奖励计算在奖励分组、奖励分段、奖励计算、奖励数据匹配方面，比现有系统功能更丰富灵活。
3.营销规则扩展更简单
本专利采用基于元数据管理的模式对营销规则引擎进行数据支撑，在营销规则扩展方面更加简单。相比传统基于Drools(QLExpress)等规则引擎的系统，规则数据的扩展无需修改源码中数据实体结构，通过扩展元数据管理即可实现自动数据识别、自动数据提取。。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于计算引擎的营销处置规则引擎方法，其特征在于，所述引擎方法包括：
建立元数据管理模型，用于对数据的标准进行统一；
根据所述元数据管理模型和规则引擎建立营销规则；
采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；
采用开源技术框架计算引擎批量处理进行数据计算引擎；
采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果；
根据所述业务数据处理结果通知业务系统进行营销服务。
2.根据权利要求1所述的一种基于计算引擎的营销处置规则引擎方法，其特征在于，所述建立元数据管理模型，用于对数据的标准进行统一具体包括：
根据运算数据能够准确匹配的规则条件建立统一的数据标准；
根据所述数据标准建立元数据模型管理，所述元数据模型用于定义数据类型。
3.根据权利要求1所述的一种基于计算引擎的营销处置规则引擎方法，其特征在于，所述根据所述元数据管理模型和规则引擎建立营销规则具体包括：
所述营销规则包括决策规则，奖励规则、限制规则和各类规则之间的优先级与有效期控制；
所述决策规则采用决策树模型进行管理，覆盖决策链与决策表的规则控制；
所述奖励规则采用决策链模型进行管理，对奖励数据进行线性分段控制；
所述限制规则根据底层计算引擎提供聚合分类算子实现。
4.根据权利要求1所述的一种基于计算引擎的营销处置规则引擎方法，其特征在于，所述采用分布式调度算法，根据所述营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制具体包括：
在日终进行批量处理，待日终汇聚不同业务系统产生的原始数据，统一根据所述营销规则进行处理；
采用分布式调度算法进行规则调度控制，根据营销规则对应的营销任务进行分段控制，根据计算引擎可用资源进行分组控制；
规则调度控制器在调用计算引擎核心模块处理前，根据规则优先级进行顺序处理控制。
5.根据权利要求1所述的一种基于计算引擎的营销处置规则引擎方法，其特征在于，所述采用开源技术框架计算引擎批量处理进行数据计算引擎具体包括：
所述数据计算引擎采用开源技术框架Flink计算引擎批量处理技术；
将所述数据计算引擎作为数据处理的基础底座，在数据获取、数据过滤、数据聚合、数据排序、数据写入、并行处理、分组处理方面提供基础能力支撑。
6.根据权利要求1所述的一种基于计算引擎的营销处置规则引擎方法，其特征在于，所述采用连续性规则处理运算对业务数据营销规则处理，获得业务数据处理结果具体包括：
提取在数据内容方面组装与处置规则相关的数据内容；
在决策树遍历计算、规则表达式处理，进行规则清洗，获得处理后规则表达式；
对满足清洗规则后的数据进行权益奖励的计算控制；
提供按笔、按标的原值、按标的累计三种数据进行运算，支持按照过滤规则编号分组奖励，每组内再进行数据分段控制，每段内又支持固定和比例计算奖励的形式；
对数据的风险进行处理控制；
对奖励数据进行进一步控制，包括黑名单、白名单、规则优先级、奖励限额；
所述奖励限额采用外部数据获取，将奖励数据集与控制数据集连接实现禁止输入的控制处理；
营销处置引擎将结果写入数据库存储系统。
CN202110936002.1A 2021-08-16 2021-08-16 一种基于计算引擎的营销处置规则引擎方法 Active CN113641705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110936002.1A CN113641705B (zh) 2021-08-16 2021-08-16 一种基于计算引擎的营销处置规则引擎方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110936002.1A CN113641705B (zh) 2021-08-16 2021-08-16 一种基于计算引擎的营销处置规则引擎方法

Publications (2)

Publication Number Publication Date
CN113641705A true CN113641705A (zh) 2021-11-12
CN113641705B CN113641705B (zh) 2024-04-26

Family

ID=78422018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110936002.1A Active CN113641705B (zh) 2021-08-16 2021-08-16 一种基于计算引擎的营销处置规则引擎方法

Country Status (1)

Country Link
CN (1) CN113641705B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996319A (zh) * 2022-08-01 2022-09-02 税友软件集团股份有限公司 基于规则引擎的数据处理方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092967A (zh) * 2013-01-22 2013-05-08 交通银行股份有限公司 一种基于规则引擎的业务规则决策方法及装置
CN104463621A (zh) * 2014-11-27 2015-03-25 浪潮通用软件有限公司 一种电商平台促销引擎实现方法
CN105677752A (zh) * 2015-12-30 2016-06-15 深圳先进技术研究院 一种流式计算和批处理计算相结合处理系统及方法
CN106250382A (zh) * 2016-01-28 2016-12-21 新博卓畅技术（北京）有限公司 一种元数据管理引擎系统及实现方法
CN110288406A (zh) * 2019-06-28 2019-09-27 江苏满运软件科技有限公司 营销活动管理平台、开发方法、执行方法、设备及介质
CN110647708A (zh) * 2019-09-05 2020-01-03 达疆网络科技(上海)有限公司 一种促销发布引擎
CN110895486A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 分布式任务调度系统
CN111340562A (zh) * 2020-03-05 2020-06-26 上海启略网络科技有限公司 一种设置商品促销方案的系统及方法
CN112905158A (zh) * 2021-01-28 2021-06-04 广州衣科明夷信息技术有限公司 一种基于层级串联技术的营销中台系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092967A (zh) * 2013-01-22 2013-05-08 交通银行股份有限公司 一种基于规则引擎的业务规则决策方法及装置
CN104463621A (zh) * 2014-11-27 2015-03-25 浪潮通用软件有限公司 一种电商平台促销引擎实现方法
CN105677752A (zh) * 2015-12-30 2016-06-15 深圳先进技术研究院 一种流式计算和批处理计算相结合处理系统及方法
CN106250382A (zh) * 2016-01-28 2016-12-21 新博卓畅技术（北京）有限公司 一种元数据管理引擎系统及实现方法
CN110895486A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 分布式任务调度系统
CN110288406A (zh) * 2019-06-28 2019-09-27 江苏满运软件科技有限公司 营销活动管理平台、开发方法、执行方法、设备及介质
CN110647708A (zh) * 2019-09-05 2020-01-03 达疆网络科技(上海)有限公司 一种促销发布引擎
CN111340562A (zh) * 2020-03-05 2020-06-26 上海启略网络科技有限公司 一种设置商品促销方案的系统及方法
CN112905158A (zh) * 2021-01-28 2021-06-04 广州衣科明夷信息技术有限公司 一种基于层级串联技术的营销中台系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娇: "规则引擎在促销管理系统中的研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》, no. 07 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996319A (zh) * 2022-08-01 2022-09-02 税友软件集团股份有限公司 基于规则引擎的数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113641705B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US20220335338A1 (en) Feature processing tradeoff management
US20210374610A1 (en) Efficient duplicate detection for machine learning data sets
US20200050968A1 (en) Interactive interfaces for machine learning model evaluations
US10318882B2 (en) Optimized training of linear machine learning models
US10339465B2 (en) Optimized decision tree based models
US11182691B1 (en) Category-based sampling of machine learning data
CN110990638B (zh) 基于fpga-cpu异构环境的大规模数据查询加速装置及方法
Ediger et al. Massive streaming data analytics: A case study with clustering coefficients
US20150379428A1 (en) Concurrent binning of machine learning data
CA3198484A1 (en) Feature processing tradeoff management
CN112579586A (zh) 数据处理方法、装置、设备及存储介质
CN113407649A (zh) 数据仓库建模方法、装置、电子设备及存储介质
US20230056760A1 (en) Method and apparatus for processing graph data, device, storage medium, and program product
CN108549696B (zh) 一种基于内存计算的时间序列数据相似性查询方法
CN106980639B (zh) 短文本数据聚合系统及方法
CN113641705A (zh) 一种基于计算引擎的营销处置规则引擎方法
CN113641654A (zh) 一种基于实时事件的营销处置规则引擎方法
CN116243869A (zh) 数据处理方法、装置及电子设备
CN112214494B (zh) 检索方法及装置
CN115114297A (zh) 数据轻量存储及查找方法、装置、电子设备及存储介质
US11328002B2 (en) Dynamic clustering of sparse data utilizing hash partitions
CN114610758A (zh) 基于数据仓库的数据处理方法、装置、可读介质及设备
CN110321435B (zh) 一种数据源划分方法、装置、设备和存储介质
He et al. A parallel Hyper-Surface Classifier for high dimensional data
CN116975052A (zh) 数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant