CN107943482A - 基于规则的流式数据处理方法统一监控平台 - Google Patents

基于规则的流式数据处理方法统一监控平台 Download PDF

Info

Publication number
CN107943482A
CN107943482A CN201711067201.3A CN201711067201A CN107943482A CN 107943482 A CN107943482 A CN 107943482A CN 201711067201 A CN201711067201 A CN 201711067201A CN 107943482 A CN107943482 A CN 107943482A
Authority
CN
China
Prior art keywords
rule
data processing
stream data
processing method
streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711067201.3A
Other languages
English (en)
Inventor
曲洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxun Position Network Co Ltd
Original Assignee
Qianxun Position Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxun Position Network Co Ltd filed Critical Qianxun Position Network Co Ltd
Priority to CN201711067201.3A priority Critical patent/CN107943482A/zh
Publication of CN107943482A publication Critical patent/CN107943482A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

本发明提供了一种基于规则的流式数据处理方法和统一监控平台，本发明能够适应分布流式处理框架，动态识别，加载，编译和下发规则到分布式环境中去，从而动态生成匹配数据。本发明针对复杂的数据和多变的业务需求，提出了一种一次部署，灵活添加规则的数据生成方式，并且提供了一个即分布式，流处理，规则化以及可监控为一体的一站式数据处理平台，减少开发成本，降低学习难度，大大缩减了数据处理的空间复杂度和时间复杂度。

Description

基于规则的流式数据处理方法统一监控平台
技术领域
本发明涉及分布式计算、流式计算、规则引擎技术领域，具体涉及一种基于规则的流式数据处理方法统一监控平台。
背景技术
近年来大数据已逐步成为最受关注的焦点，尤其大数据中的流式数据，由于其低延迟，高性能，高并发等特性，成为了越来越多企业所青睐的一项解决方案。但是由于数据的多样性和业务的复杂性，传统的流式处理框架的开发成本和变更成本非常巨大，已不能满足时下要求。
以公司复杂的业务统计需求为场景，在该场景下，业务需求复杂多变，并且经常需要对现有实时数据的部分异常或者部分关注类别进行单独监控，大多数据处理规则会随业务需求而反复变化。与此同时，数据的数量日益增大，原有Local模式的分析框架已经无法应对现有的数据量。基于传统的流式分析平台虽然能够进行分布式计算从而扩展性能，但是却无法解决业务上频繁变更所带来的巨大开发成本。
现有的技术方案里的规则引擎，如基于Java的规则引擎Drools，此类规则引擎支持的语言单一，并且无法满足现有分布式条件。此类规则引擎无法和流式结构很好的集合。
基于现有技术存在的问题，可以看出需要一个一站式的基于规则的分布式数据流处理平台。
发明内容
本发明提供的一种基于规则的流式数据处理方法统一监控平台，可以兼容多种语言，跨平台完成对于流式数据的规则匹配，规则引擎已经不再是单纯的规则解析者，同时也是规则上下文的管理者，它可以适应多类别的文件系统，根据分布式的特性，完成规则的编译和全局下发，解决了传统规则引擎的适应性窄的技术问题。
本发明采用的技术方案如下：
一种基于规则的流式数据处理方法，其特征在于，包括以下步骤：
步骤1，部署流式数据处理框架，进行流式数据处理；
步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，编译规则模板，下发规则；
步骤3，部署动态编译组件，接收流式规则引擎下发指令，编译流式规则引擎下发的规则；
步骤4，配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；
步骤5，编写规则，并且下发到分布式规则池中。
进一步地，所述流式数据处理框架包括Spark、Flink或者Storm流式数据处理框架。
进一步地，流式规则引擎对规则文件进行管理，同时协调各类数据源完成对于规则的整个生命周期的管理。
进一步地，流式规则引擎对规则文件进行的管理包括监听、搜索、加载、传递和部署。
进一步地，所述规则模板基于原生编程语言，通过编译规则模板完成规则的创建。
进一步地，对基于规则产生的数据进行分流或者实时监控。
进一步地，对基于规则产生的数据通过配置引擎实时监控，监控的指标包括生命周期、调度策略。
一种基于规则的流式数据统一监控平台，包括流式规则引擎、配置引擎、动态编译组件和流式数据处理框架；用户编写规则，并且下发到分布式规则池中，流式规则引擎下发规则给动态编译组件；配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；流式数据处理框架基于动态编译组件编译后的规则对数据流进行处理。
本发明的有益效果在于：
1、基于分布式的规则引擎架构，较传统规则引擎更高可用更易扩展。
2、提高了开发效率，无需再进行业务硬代码的反复迭代，能够灵活应对频繁变更的业务需求。
3、降低了学习成本，基于开发语言原生语法就可以制定规则，下发规则模板。
附图说明
图1是本发明流程示意图。
具体实施方式
本发明应用于任意需要使用流式处理框架的场景，在原有运行框架中加入规则引擎和动态编译组件，同时将所有数据流统一通过规则引擎进行匹配。内存中的规则同时需要一定的更新频率，以便新规则加入的时效性。
本发明面对数据量的爆炸，能够横向扩展来保证任务的完成效率；面对复杂的业务变更，能够通过规则匹配的方式降低开发成本，避免反复的版本变更而带来大量重复劳动；面对实时数据的监控需求，无需单独编写监控平台。本发明只需要在数据规则引擎中增加业务规则，在配置引擎中增加调度规则和输入输出规则，一次部署，多次添加。环境不改变的前提下，完成对于多种业务逻辑的应对。
下文中，结合附图和实施例对本发明作进一步阐述。
图1是本发明流程示意图，本发明一种基于规则的流式数据处理方法包括以下步骤：
步骤1，部署通用流式数据处理框架，例如Spark，Flink，Storm等开源分布式计算框架，支持流式数据处理，由于本发明的高通用性，所以支持在多种平台上的兼容；
步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，快速编译规则模板，下发规则任务，实现低延迟，可配置的规则引擎体系；
步骤3，部署动态编译模块，接收规则引擎下发指令，编译规则引擎下发规则。由于本发明的规则基于开发语言的原生语法，如Java或者Scala，所以支持规定语言格式的类或者方法直接部署；
步骤4，配置引擎，通过动态加载配置文件，实现规则与输入输出的动态绑定，实现规则与布控行为的灵活配对，将输入输出可配，将布控行为可控；
步骤5，满足以上条件之后就可以应用所述流式数据处理方法到流数据的处理过程中去，开发人员(用户)只需按照标准编程语言语法进行规则编写，并且下发到规则池中。
优选地，本发明数据可以兼容多版本流式数据处理框架，通用性高。
优选地，所述方法可以完成对于规则文件的管理，包括监听，搜索，加载，传递和部署，同时协调各类数据源完成对于规则的整个生命周期的管理。
优选地，规则模板基于原生编程语言，通过动态编译完成规则的创建过程。这对于开发人员和业务制定者均是友好的，开发然预案可以使用熟悉的编程语制定规则，业务制定者可以屏蔽掉所有非业务代码进行核对。
优选地，根据规则产生的数据可以进行分流或者实时监控，分流指数据可以存入不同介质或者不同媒介，同时实时监控的各类指标，如生命周期，调度策略，监控指标等均可通过配置引擎统一管理。
基于本发明流式数据处理方法的监控平台，在面对复杂的报表任务、多样性的人力资源、各种业务模式时能发挥出传统分析平台所不具备的便利优势。
需要说明的是，本发明在实施过程中，流式规则引擎、配置引擎和流式数据处理框架的巧妙结合是本发明的一个重要部分，各类别的框架均有较为突出的产品代表，但是目前为止并没有基于规则，支持调度，能够布控的统一分布式流式数据处理框架。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (8)

1.一种基于规则的流式数据处理方法，其特征在于，包括以下步骤：
步骤1，部署流式数据处理框架，进行流式数据处理；
步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，编译规则模板，下发规则；
步骤3，部署动态编译组件，接收流式规则引擎下发指令，编译流式规则引擎下发的规则；
步骤4，配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；
步骤5，编写规则，并且下发到分布式规则池中。
2.如权利要求1所述的一种基于规则的流式数据处理方法，其特征在于，所述流式数据处理框架包括Spark、Flink或者Storm流式数据处理框架。
3.如权利要求1所述的一种基于规则的流式数据处理方法，其特征在于，流式规则引擎对规则文件进行管理，同时协调各类数据源完成对于规则的整个生命周期的管理。
4.如权利要求3所述的一种基于规则的流式数据处理方法，其特征在于，流式规则引擎对规则文件进行的管理包括监听、搜索、加载、传递和部署。
5.如权利要求1所述的一种基于规则的流式数据处理方法，其特征在于，所述规则模板基于原生编程语言，通过编译规则模板完成规则的创建。
6.如权利要求1所述的一种基于规则的流式数据处理方法，其特征在于，对基于规则产生的数据进行分流或者实时监控。
7.如权利要求6所述的一种基于规则的流式数据处理方法，其特征在于，对基于规则产生的数据通过配置引擎实时监控，监控的指标包括生命周期、调度策略。
8.一种基于规则的流式数据统一监控平台，其特征在于，包括流式规则引擎、配置引擎、动态编译组件和流式数据处理框架；用户编写规则，并且下发到分布式规则池中，流式规则引擎下发规则给动态编译组件；配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；流式数据处理框架基于动态编译组件编译后的规则对数据流进行处理。
CN201711067201.3A 2017-11-02 2017-11-02 基于规则的流式数据处理方法统一监控平台 Pending CN107943482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711067201.3A CN107943482A (zh) 2017-11-02 2017-11-02 基于规则的流式数据处理方法统一监控平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711067201.3A CN107943482A (zh) 2017-11-02 2017-11-02 基于规则的流式数据处理方法统一监控平台

Publications (1)

Publication Number Publication Date
CN107943482A true CN107943482A (zh) 2018-04-20

Family

ID=61934253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711067201.3A Pending CN107943482A (zh) 2017-11-02 2017-11-02 基于规则的流式数据处理方法统一监控平台

Country Status (1)

Country Link
CN (1) CN107943482A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656567A (zh) * 2018-12-20 2019-04-19 北京树根互联科技有限公司 异质化业务数据处理逻辑的动态方法和系统
CN111221550A (zh) * 2019-10-24 2020-06-02 支付宝(杭州)信息技术有限公司 用于流式计算的规则更新方法、装置及流式计算系统
CN112269834A (zh) * 2020-11-05 2021-01-26 武汉烽火众智数字技术有限责任公司 一种公安大数据分布式管控系统及方法
CN114327689A (zh) * 2022-03-15 2022-04-12 浙江云针信息科技有限公司 一种面向复杂边缘计算环境的策略调度方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912804B1 (en) * 2007-04-24 2011-03-22 Hewlett-Packard Development Company, L.P. Change management in a distributed system based on triggered policy rules
CN102109984A (zh) * 2009-12-28 2011-06-29 北京大学 状态机的处理方法和系统
CN105138771A (zh) * 2015-08-25 2015-12-09 国网江西省电力公司鹰潭供电分公司 基于电力调度自动化规则引擎的数据建模工具
CN106126388A (zh) * 2009-10-16 2016-11-16 阿里巴巴集团控股有限公司 监控事件的方法、规则引擎装置和规则引擎系统
CN106777029A (zh) * 2016-12-08 2017-05-31 中国科学技术大学 一种分布式规则引擎系统及其构建方法
CN106777101A (zh) * 2016-12-14 2017-05-31 深圳天源迪科信息技术股份有限公司 数据处理引擎

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912804B1 (en) * 2007-04-24 2011-03-22 Hewlett-Packard Development Company, L.P. Change management in a distributed system based on triggered policy rules
CN106126388A (zh) * 2009-10-16 2016-11-16 阿里巴巴集团控股有限公司 监控事件的方法、规则引擎装置和规则引擎系统
CN102109984A (zh) * 2009-12-28 2011-06-29 北京大学 状态机的处理方法和系统
CN105138771A (zh) * 2015-08-25 2015-12-09 国网江西省电力公司鹰潭供电分公司 基于电力调度自动化规则引擎的数据建模工具
CN106777029A (zh) * 2016-12-08 2017-05-31 中国科学技术大学 一种分布式规则引擎系统及其构建方法
CN106777101A (zh) * 2016-12-14 2017-05-31 深圳天源迪科信息技术股份有限公司 数据处理引擎

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨乐: "基于实时流数据平台的车联网数据监控系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656567A (zh) * 2018-12-20 2019-04-19 北京树根互联科技有限公司 异质化业务数据处理逻辑的动态方法和系统
CN109656567B (zh) * 2018-12-20 2022-02-01 北京树根互联科技有限公司 异质化业务数据处理逻辑的动态方法和系统
CN111221550A (zh) * 2019-10-24 2020-06-02 支付宝(杭州)信息技术有限公司 用于流式计算的规则更新方法、装置及流式计算系统
CN111221550B (zh) * 2019-10-24 2022-09-06 支付宝(杭州)信息技术有限公司 用于流式计算的规则更新方法、装置及流式计算系统
CN112269834A (zh) * 2020-11-05 2021-01-26 武汉烽火众智数字技术有限责任公司 一种公安大数据分布式管控系统及方法
CN114327689A (zh) * 2022-03-15 2022-04-12 浙江云针信息科技有限公司 一种面向复杂边缘计算环境的策略调度方法及系统
CN114327689B (zh) * 2022-03-15 2022-07-12 浙江云针信息科技有限公司 一种面向复杂边缘计算环境的策略调度方法及系统

Similar Documents

Publication Publication Date Title
CN107943482A (zh) 基于规则的流式数据处理方法统一监控平台
CN109933306B (zh) 一种基于作业类型识别的自适应混合云计算框架生成方法
CN104216912B (zh) 一种无侵入式的业务表单工作流化的实现方法与装置
JP2021521500A (ja) データ処理方法および関連製品
KR20150092586A (ko) 데이터 플로 기반 대규모 데이터 스트림 처리 방법 및 장치
CN110287097A (zh) 批量测试方法、装置及计算机可读存储介质
CN104020994B (zh) 基于流系统的流过程定义装置和流过程定义方法
CN101950296B (zh) 云数据审计的方法及系统
CN106951305B (zh) 一种基于模型转换由QVT-R语言生成midCore脚本的方法
CN106164867A (zh) 数据的增量并行处理
CN104462121A (zh) 数据处理方法、装置及系统
CN108804630A (zh) 一种面向行业应用的大数据智能分析服务系统
CN103714290A (zh) 一种软件行为获取、监控与验证方法
CN106951231A (zh) 一种计算机软件开发方法及装置
CN108829884A (zh) 数据映射方法及装置
CN113268227A (zh) 一种零代码可视化的软件开发平台及开发方法
KR101877828B1 (ko) 인공지능 기반의 사용자 인터페이스 통합 플랫폼 시스템
CN104133676A (zh) 一种基于脚本的功能执行方法和设备
CN102789450A (zh) 基于规则的可定义式语义解析系统及方法
Liang et al. Dynamic service selection with QoS constraints and inter-service correlations using cooperative coevolution
CN116244367A (zh) 一种基于多模型的自定义算法的可视化大数据分析平台
DE102020108281A1 (de) Verfahren und einrichtungen zum empfehlen von anweisungsanpassungen zum verbessern der rechenleistung
CN110162963A (zh) 一种识别过权应用程序的方法
DE102021129845A1 (de) Verfahren und einrichtung zum konstruieren programmabgeleiteter semantischer graphen
CN105335135B (zh) 数据处理方法和中心节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication