CN106406858B - 一种基于配置文件的流式统计定义及运行方法 - Google Patents

一种基于配置文件的流式统计定义及运行方法 Download PDF

Info

Publication number
CN106406858B
CN106406858B CN201610766876.6A CN201610766876A CN106406858B CN 106406858 B CN106406858 B CN 106406858B CN 201610766876 A CN201610766876 A CN 201610766876A CN 106406858 B CN106406858 B CN 106406858B
Authority
CN
China
Prior art keywords
definition
task
configuration file
statistical
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610766876.6A
Other languages
English (en)
Other versions
CN106406858A (zh
Inventor
季惠英
周坚
葛敏辉
葛朝强
季学纯
王兴志
李�昊
史浩秋
王昌频
王玉军
张瑞
崔伟业
卞月峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Grid Co Ltd
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Original Assignee
East China Grid Co Ltd
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Grid Co Ltd, Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical East China Grid Co Ltd
Priority to CN201610766876.6A priority Critical patent/CN106406858B/zh
Publication of CN106406858A publication Critical patent/CN106406858A/zh
Application granted granted Critical
Publication of CN106406858B publication Critical patent/CN106406858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/73—Program documentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于配置文件的流式统计定义及运行方法，包括以下步骤：创建配置文件，配置文件的内容包括任务信息和计算模型；编辑任务信息，任务信息包括属性：任务名称、任务类型和任务描述；编辑计算模型，计算模型描述统计过程所需组成元素包含：数据源定义、模式定义、统计操作定义和动作定义；验证配置文件合法性；配置文件生效管理，所有流式统计配置文件由单独的任务配置文件统一管理，只有增加到任务配置文件中的合法的流式统计配置文件才能生效；运行流式统计任务，统计服务启动时带启动参数：任务编号；统计任务执行过程中，所有数据均是JSON格式，通过属性名访问。本发明免代码维护、可灵活定义、适用于调度自动化系统。

Description

一种基于配置文件的流式统计定义及运行方法
技术领域
本发明涉及一种基于配置文件的流式统计定义及运行方法，属于电力系统自动化技术领域。
背景技术
随着云计算、大数据技术的发展，运用大数据技术从海量数据中获取潜在的有用信息已得到了各方面的广泛关注。日志数据作为原始大数据，其价值也越来越受到重视。在调度自动化系统中，目前日志数据只停留在事后故障诊断单一用途上，其主要分析方法仍停留在人工配合简单脚本进行日志过滤及检索的阶段。为了充分挖掘调度自动化系统中日志的价值，对调度自动化系统关键指标进行数据统计，为以量化方式考核系统健康状况提供数据基础，需要一种以日志数据为数据源的流式统计框架。
借助开源流式计算框架，实现对日志数据的流式统计是普遍采用的方案，目前业内常用的流式计算框架有Storm和Spark Streaming。无论是Storm还是Spark Streaming，其本身是一个分布式系统，提供了一个编程模型及相应的接口。这种设计方式的灵活度高、适应面广，但是其代价是增加新的统计任务需要调用相应的接口完成代码编辑和编译，使用比较复杂，学习成本高。对于调度自动化系统而言，基于开源流式计算框架实现流式统计功能一方面在部署上对原系统的侵入性大，另一方面不利于用户的使用。
发明内容
针对现有技术存在的不足，本发明目的是提供一种免代码维护的、可灵活定义的、适用于调度自动化系统的基于配置文件的流式统计定义及运行方法。
为了实现上述目的，本发明是通过如下的技术方案来实现：
本发明的一种基于配置文件的流式统计定义及运行方法，包括以下几个步骤：
(1)创建配置文件，所述配置文件的内容包括任务信息和计算模型；所述配置文件的名称格式为：名称_任务编号.conf，所述任务编号按自然顺序递增；
(2)编辑所述任务信息，所述任务信息包括属性：任务名称、任务类型和任务描述；所述任务名称用于标识任务，所述任务类型用于描述任务执行方式，所述任务描述用于说明任务实现功能；
(3)编辑计算模型，所述计算模型描述统计过程所需组成元素包含：数据源定义、模式定义、统计操作定义和动作定义；其中，所述数据源定义用于描述任务需要的数据集；所述模式定义用于描述数据集投影及投影产生的方式；所述统计操作定义用于描述统计过程；所述动作定义用于描述对计算结果的处理；所述模式定义、统计操作定义和动作定义均可省略，省略动作定义表示采取默认动作定义即本地文件存储；所述数据源定义、模式定义、统计操作定义和动作定义在执行过程中具备顺序关系，即数据按如下顺序流转：数据源定义处理、模型定义处理、统计操作定义处理、动作定义处理。
(4)验证所述配置文件合法性：新创建或被修改过的流式统计配置文件，需要通过定义检查工具来确定配置文件的合法性；
(5)配置文件生效管理，所有流式统计配置文件由单独的任务配置文件统一管理，只有增加到任务配置文件中的合法的流式统计配置文件才能生效；所述流式统计配置文件与统计服务一一对应；统计服务监控进程监视任务配置文件的更新，把缓存的任务配置文件内容与新的任务配置文件进行比较生成任务差异，根据任务差异执行任务启动、任务终止、任务重启操作；一个流式统计任务对应一个配置文件；所有的流式统计配置文件由任务配置文件统一管理，由于表明该流式统配置文件生效。
(6)运行流式统计任务，统计服务启动时带启动参数：任务编号；统计服务首先根据任务编号获取流式统计配置文件，根据配置文件解析任务信息和计算模型，最终生成相应的处理逻辑；统计任务执行过程中，所有数据均是JSON格式，通过属性名访问。
步骤(1)中，所述配置文件分段定义，所述配置文件以KeyName＝Value格式定义段内的各种属性。
步骤(2)中，支持两种任务执行方式：普通任务和周期定时任务；所述普通任务在进程启动后即开始计算；所述周期定时任务在设定时间段内或者设定时刻执行计算，可周期执行，可执行一次或者多次。与普通任务相比，周期定时任务具有额外的属性值，包含时段定义、周期定义、次数定义。时段定义描述任务执行的时间，周期定义描述任务执行的周期，次数定义限制任务执行次数。
步骤(3)中，所述计算模型通过数据源定义、模式定义、统计操作定义、动作定义4个组成元素，描述了一种链式数据处理过程：
统计服务以消息总线为数据源，消息总线以通道来划分数据集；统计服务向消息总线订阅数据源定义中配置的通道即完成源数据接入；数据源可配置过滤属性，接收到的数据如果不满足过滤属性条件，数据将被丢弃；数据源过滤属性条件，从数据源接收到的数据。
源数据接入后，根据模式定义描述的数据投影及投影生成方式，对数据进行抽取、转换形成中间数据集；模式定义可配置过滤属性，如果中间数据集数据不满足过滤属性条件，数据将被丢弃；模式定义过滤属性，讲过模式定义计算的中间结果集数据。
统计操作定义包含属性：时间窗口、统计函数、分组、结果属性名以及过滤属性；统计窗口描述统计周期，统计结果按统计周期导出；统计函数支持最大值、最小值、平均值、总加值、排名和计数；分组描述了对中间结果数据的分组条件；结果属性名定义统计结果属性名，用于方便后续通过属性名访问数据；中间数据集按照统计操作定义完成数据计算,执行一个统计周期后，根据过滤属性配置确定统计结果是否导出，只有满足过滤属性条件的结果才是最终的统计结果；
最终统计结果根据动作定义配置确定处理方式，处理方式包含：本地保存、实时告警、数据库存储；一个统计任务中可配置多组处理方式，每种处理方式可以设置过滤属性，根据过滤属性配置，满足过滤属性条件的数据执行对应处理。
步骤(3)中，在数据源定义、模式定义、统计操作定义、动作定义中均可配置过滤属性；所述过滤属性的值为操作表达式；所述操作表达式由操作组成，并由符号||或者&&链接，符号||和&&表示操作间的关系(“或者”和“并且”)，表达式按从左到右的顺序执行；操作是定义表达式的最小单元，不同的数据类型支持不同的操作，具体内容如下表所示：
步骤(4)中，所述配置文件需要经过检查工具检查，通过检查的文件会被打上合法性标签，只有具有合法标签的文件才会被统计服务监控程序调度；合法性检查采用静态验证方式即逐一匹配预定义的规则，只要有一条规则不满足则认为定义文件非法。
步骤(5)中，统计任务由统计服务监控进程统一调度，统计服务监控进程定期读取任务配置文件，根据前后两次任务配置文件差异，使统计任务自动生效；统计服务监控进程接收统计任务心跳报文，对于超过心跳周期的统计任务，统计服务监控进程尝试重新启动。
步骤(6)中，配置文件被解析成一个处理过程，该处理过程对接入的数据逐条处理，每条数据按链式处理方式逐一通过数据源定义处理、模式定义处理、统计操作定义处理和动作定义处理；在每一个处理环节中，数据均以JSON格式封装，均按属性名访问。
本发明所达到的有益效果如下：
(1)本发明以自定义的配置文件描述一个统计过程，通过分段定义和属性定义两级定义实现流式统计定义，保障了配置的灵活性；
(2)本发明具备把流式统计定义文件解析为流式统计任务的能力，实现新增统计任务免代码维护；
(3)本发明采用统一任务调度的方式自动生效统计任务，支持任务全生命周期监控；统计任务与统计配置文件一一对应，避免了任务间的相互影响；
(4)本发明以数据记录为单位，按照数据源定义处理、模式定义处理、统计操作定义处理、动作定义处理的顺序实现对单条数据记录的链式处理；
(5)本发明采用JSON格式封装数据，统一通过属性名访问数据，使得数据处理可支持结构化和半结构化数据；
(6)本发明基于配置文件的流式统计定义及运行方法以最小的侵入代价实现免代码维护的、可灵活定义的、适用于调度自动化系统。
附图说明
图1为本发明的一种基于配置文件的流式统计定义及运行方法工作流程图；
图2为本发明的基于数据记录的链式数据处理示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参见图1，本实施例是一种基于配置文件的流式统计定义及运行方法，包含下列步骤：
(1)创建流式统计配置文件；配置文件名称格式为“测试_1.conf”。
在本实施例中，在相同节点上的配置文件名称中的任务编号不能重复，任务编号按自然顺序递增。
(2)编辑任务信息；定义任务名称、任务类型、任务描述。
在本实施例中，任务名称、任务类型是关键属性；任务描述是可选属性。
(3)编辑计算模型；计算模型包含数据源定义、模式定义、统计操作定义和动作定义。其中数据源定义包含通道定义，过滤属性定义；模式定义包含数据投影定义、数据投影处理过程定义、过滤属性定义；统计操作定义包含时间窗口定义、统计函数定义、分组定义、结果属性名定义、过滤属性定义；动作定义包含行为定义、过滤属性定义。
在本实施例中，除数据源定义外，模式定义、统计操作定义和动作定义都是可选配置定义项。统计操作中的实际窗口定义以秒为单位，支持最小的统计时间窗为60秒。
(4)合法性检查；以配置文件文件名为参数，运行合法性检查工具，确定配置文件的合法性。
在本实施例中，配置文件合法性检查工具采用静态检查方法，对配置在规则库的规则逐条检查。
(5)配置文件生效；在任务配置文件中增加一行记录，该记录描述流式统计配置文件名称、心跳报文周期。
(6)统计任务启动；统计服务监控进程根据前后任务配置文件的差异，启动统计进程。统计进程根据入参“任务编号”读取对应的流式统计配置文件，对配置文件解析后生成对应的处理逻辑。统计进程按照任务类型执行数据统计。
参见图2，计算模型通过数据源定义、模式定义、统计操作定义、动作定义4个组成元素，描述了一种链式数据处理过程：
统计服务以消息总线为数据源，消息总线以通道来划分数据集；统计服务向消息总线订阅数据源定义中配置的通道即完成源数据接入；数据源可配置过滤属性，接收到的数据如果不满足过滤属性条件，数据将被丢弃。
源数据接入后，根据模式定义描述的数据投影及投影生成方式，对数据进行抽取、转换形成中间数据集；模式定义可配置过滤属性，如果中间数据集数据不满足过滤属性条件，数据将被丢弃。
统计操作定义包含属性：时间窗口、统计函数、分组、结果属性名以及过滤属性；统计窗口描述统计周期，统计结果按统计周期导出；统计函数支持最大值、最小值、平均值、总加值、排名和计数；分组描述了对中间结果数据的分组条件；结果属性名定义统计结果属性名，用于方便后续通过属性名访问数据；中间数据集按照统计操作定义完成数据计算,执行一个统计周期后，根据过滤属性配置确定统计结果是否导出，只有满足过滤属性条件的结果才是最终的统计结果。
最终统计结果根据动作定义配置确定处理方式，处理方式包含：本地保存、实时告警、数据库存储；一个统计任务中可配置多组处理方式，每种处理方式可以设置过滤属性，根据过滤属性配置，满足过滤属性条件的数据执行对应处理。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于配置文件的流式统计定义及运行方法，其特征在于，包括以下几个步骤：
(1)创建配置文件，所述配置文件的内容包括任务信息和计算模型；所述配置文件的名称格式为：名称_任务编号.conf，所述任务编号按自然顺序递增；
(2)编辑所述任务信息，所述任务信息包括属性：任务名称、任务类型和任务描述；所述任务名称用于标识任务，所述任务类型用于描述任务执行方式，所述任务描述用于说明任务实现功能；
(3)编辑计算模型，所述计算模型描述统计过程所需组成元素包含：数据源定义、模式定义、统计操作定义和动作定义；其中，所述数据源定义用于描述任务需要的数据集；所述模式定义用于描述数据集投影及投影产生的方式；所述统计操作定义用于描述统计过程；所述动作定义用于描述对计算结果的处理；所述模式定义、统计操作定义和动作定义均可省略，省略动作定义表示采取默认动作定义即本地文件存储；所述数据源定义、模式定义、统计操作定义和动作定义在执行过程中具备顺序关系，即数据按如下顺序流转：数据源定义处理、模型定义处理、统计操作定义处理、动作定义处理；
(4)验证所述配置文件合法性：新创建或被修改过的流式统计配置文件，需要通过定义检查工具来确定配置文件的合法性；
(5)配置文件生效管理，所有流式统计配置文件由单独的任务配置文件统一管理，只有增加到任务配置文件中的合法的流式统计配置文件才能生效；所述流式统计配置文件与统计服务一一对应；统计服务监控进程监视任务配置文件的更新，把缓存的任务配置文件内容与新的任务配置文件进行比较生成任务差异，根据任务差异执行任务启动、任务终止、任务重启操作；
(6)运行流式统计任务，统计服务启动时带启动参数：任务编号；统计服务首先根据任务编号获取流式统计配置文件，根据配置文件解析任务信息和计算模型，最终生成相应的处理逻辑；统计任务执行过程中，所有数据均是JSON格式，通过属性名访问。
2.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(1)中，所述配置文件分段定义，所述配置文件以KeyName＝Value格式定义段内的各种属性。
3.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(2)中，支持两种任务执行方式：普通任务和周期定时任务；所述普通任务在进程启动后即开始计算；所述周期定时任务在设定时间段内或者设定时刻执行计算，可周期执行，可执行一次或者多次。
4.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(3)中，所述计算模型通过数据源定义、模式定义、统计操作定义、动作定义4个组成元素，描述了一种链式数据处理过程：
统计服务以消息总线为数据源，消息总线以通道来划分数据集；统计服务向消息总线订阅数据源定义中配置的通道即完成源数据接入；数据源可配置过滤属性，接收到的数据如果不满足过滤属性条件，数据将被丢弃；
源数据接入后，根据模式定义描述的数据投影及投影生成方式，对数据进行抽取、转换形成中间数据集；模式定义可配置过滤属性，如果中间数据集数据不满足过滤属性条件，数据将被丢弃；
统计操作定义包含属性：时间窗口、统计函数、分组、结果属性名以及过滤属性；统计窗口描述统计周期，统计结果按统计周期导出；统计函数支持最大值、最小值、平均值、总加值、排名和计数；分组描述了对中间结果数据的分组条件；结果属性名定义统计结果属性名，用于方便后续通过属性名访问数据；中间数据集按照统计操作定义完成数据计算,执行一个统计周期后，根据过滤属性配置确定统计结果是否导出，只有满足过滤属性条件的结果才是最终的统计结果；
最终统计结果根据动作定义配置确定处理方式，处理方式包含：本地保存、实时告警、数据库存储；一个统计任务中可配置多组处理方式，每种处理方式可以设置过滤属性，根据过滤属性配置，满足过滤属性条件的数据执行对应处理。
5.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(3)中，在数据源定义、模式定义、统计操作定义、动作定义中均可配置过滤属性；所述过滤属性的值为操作表达式；所述操作表达式由操作组成，并由符号||或者&&链接，符号||和&&表示操作间的关系，表达式按从左到右的顺序执行；操作是定义表达式的最小单元，不同的数据类型支持不同的操作，具体内容如下表所示：
6.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(4)中，所述配置文件需要经过检查工具检查，通过检查的文件会被打上合法性标签，只有具有合法标签的文件才会被统计服务监控程序调度；合法性检查采用静态验证方式即逐一匹配预定义的规则，只要有一条规则不满足则认为定义文件非法。
7.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(5)中，统计任务由统计服务监控进程统一调度，统计服务监控进程定期读取任务配置文件，根据前后两次任务配置文件差异，使统计任务自动生效；统计服务监控进程接收统计服务心跳报文，对于超过心跳周期的统计任务，统计服务监控进程尝试重新启动。
8.根据权利要求1所述的基于配置文件的流式统计定义及运行方法，其特征在于，步骤(6)中，配置文件被解析成一个处理过程，该处理过程对接入的数据逐条处理，每条数据按链式处理方式逐一通过数据源定义处理、模式定义处理、统计操作定义处理和动作定义处理；在每一个处理环节中，数据均以JSON格式封装，均按属性名访问。
CN201610766876.6A 2016-08-30 2016-08-30 一种基于配置文件的流式统计定义及运行方法 Active CN106406858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610766876.6A CN106406858B (zh) 2016-08-30 2016-08-30 一种基于配置文件的流式统计定义及运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610766876.6A CN106406858B (zh) 2016-08-30 2016-08-30 一种基于配置文件的流式统计定义及运行方法

Publications (2)

Publication Number Publication Date
CN106406858A CN106406858A (zh) 2017-02-15
CN106406858B true CN106406858B (zh) 2019-08-16

Family

ID=58002896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610766876.6A Active CN106406858B (zh) 2016-08-30 2016-08-30 一种基于配置文件的流式统计定义及运行方法

Country Status (1)

Country Link
CN (1) CN106406858B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145027A (zh) * 2017-06-19 2019-01-04 中兴通讯股份有限公司 数据统计方法、装置、设备及计算机可读存储介质
CN108256045A (zh) * 2018-01-12 2018-07-06 福建星瑞格软件有限公司 实时流数据的结构化解析、流计算的方法及计算机设备
EP3759698A4 (en) * 2018-04-04 2021-12-08 Schneider Electric USA, Inc. SYSTEM AND PROCEDURE FOR INTELLIGENT ALARM GROUPING
CN108984155B (zh) * 2018-05-17 2021-09-07 创新先进技术有限公司 数据处理流程设定方法和装置
CN108959442A (zh) * 2018-06-13 2018-12-07 福建天晴数码有限公司 基于预定义计算规则的流式实时计算方法、存储介质
CN110704480A (zh) * 2018-06-21 2020-01-17 马上消费金融股份有限公司 一种流式数据处理方法、系统及一种电子设备和存储介质
US11360872B2 (en) * 2018-10-18 2022-06-14 Hewlett-Packard Development Company, L.P. Creating statistical analyses of data for transmission to servers
CN111585809A (zh) * 2020-04-29 2020-08-25 北京润通丰华科技有限公司 一种利用大数据统计分析进行网络设备配置稽核的方法
CN113408889B (zh) * 2021-06-16 2022-09-13 长春工程学院 一种链式结构化巡查方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105512162A (zh) * 2015-09-28 2016-04-20 杭州圆橙科技有限公司 一种基于Storm的流数据实时智能化处理框架
CN105574205A (zh) * 2016-01-18 2016-05-11 国家电网公司 分布式计算环境的日志动态分析系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838867A (zh) * 2014-03-20 2014-06-04 网宿科技股份有限公司 日志处理方法和装置
CN105512162A (zh) * 2015-09-28 2016-04-20 杭州圆橙科技有限公司 一种基于Storm的流数据实时智能化处理框架
CN105574205A (zh) * 2016-01-18 2016-05-11 国家电网公司 分布式计算环境的日志动态分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云计算环境下实时日志分析系统的设计与实现;张之萱;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715(第07期);I138-409

Also Published As

Publication number Publication date
CN106406858A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106406858B (zh) 一种基于配置文件的流式统计定义及运行方法
CN109861844B (zh) 一种基于日志的云服务问题细粒度智能溯源方法
WO2020001642A1 (zh) 一种运维系统及方法
CN111459821B (zh) 一种基于TestNG的软件自动化单元测试方法
CN109344170B (zh) 流数据处理方法、系统、电子设备及可读存储介质
CN103227734A (zh) 一种OpenStack云平台异常的检测方法
CN105141441B (zh) 一种ip网络图形化配置的方法
US11385898B2 (en) Task orchestration method for data processing, orchestrator, device and readable storage medium
CN103246735A (zh) 一种异常数据处理方法及系统
CN114338746B (zh) 一种用于物联网设备数据收集的分析预警方法及系统
US11449488B2 (en) System and method for processing logs
CN114880240B (zh) 一种物联网设备自动化测试系统、方法、存储介质及设备
CN107168844B (zh) 一种性能监控的方法及装置
US20120303625A1 (en) Managing heterogeneous data
CN110245077A (zh) 一种程序异常的响应方法及设备
CN109145027A (zh) 数据统计方法、装置、设备及计算机可读存储介质
CN114090378A (zh) 一种基于Kapacitor的自定义监控告警方法
CN115480748A (zh) 业务编排方法、设备及存储介质
CN113986924A (zh) 智能数据填报方法、装置、设备及存储介质
CN113468239A (zh) 基于规则引擎实现物联网行业用量统计的方法和系统
WO2016201810A1 (zh) 日志生成方法及装置
CN116155689A (zh) 一种基于ClickHouse的高可用Kong网关日志分析方法及系统
CN110971483B (zh) 一种压力测试的方法、装置及计算机系统
CN111737097B (zh) 一种流处理系统的性能测试方法及相关装置
JP7160097B2 (ja) ログ分析装置、ログ分析方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Xingzhi

Inventor after: Wang Yujun

Inventor after: Zhang Rui

Inventor after: Cui Weiye

Inventor after: Bian Yuefeng

Inventor after: Ji Huiying

Inventor after: Zhou Jian

Inventor after: Ge Minhui

Inventor after: Ge Chaoqiang

Inventor after: Ji Xuechun

Inventor after: Li Hao

Inventor after: Shi Haoqiu

Inventor after: Wang Changpin

Inventor before: Ji Huiying

Inventor before: Wang Yujun

Inventor before: Zhang Rui

Inventor before: Cui Weiye

Inventor before: Bian Yuefeng

Inventor before: Zhou Jian

Inventor before: Ge Minhui

Inventor before: Ge Chaoqiang

Inventor before: Ji Xuechun

Inventor before: Wang Xingzhi

Inventor before: Li Hao

Inventor before: Shi Haoqiu

Inventor before: Wang Changpin