CN116542558A - 业务指标计算方法、装置、计算机设备和存储介质 - Google Patents

业务指标计算方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116542558A
CN116542558A CN202310468253.0A CN202310468253A CN116542558A CN 116542558 A CN116542558 A CN 116542558A CN 202310468253 A CN202310468253 A CN 202310468253A CN 116542558 A CN116542558 A CN 116542558A
Authority
CN
China
Prior art keywords
log
data set
index
data
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310468253.0A
Other languages
English (en)
Other versions
CN116542558B (zh
Inventor
黄鑫
邓志
黄宏贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuhe Information Technology Co Ltd
Original Assignee
Shanghai Shuhe Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuhe Information Technology Co Ltd filed Critical Shanghai Shuhe Information Technology Co Ltd
Priority to CN202310468253.0A priority Critical patent/CN116542558B/zh
Priority claimed from CN202310468253.0A external-priority patent/CN116542558B/zh
Publication of CN116542558A publication Critical patent/CN116542558A/zh
Application granted granted Critical
Publication of CN116542558B publication Critical patent/CN116542558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种业务指标计算方法、装置、计算机设备和存储介质。所述方法包括：从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据；根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合；响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标；目标数据集合为包括全部指标计算数据的结构化数据集合。采用本方法能够能够减小代码侵入性、提高数据采集的实时性较低和降低成本。

Description

业务指标计算方法、装置、计算机设备和存储介质
技术领域
本申请涉及大数据处理技术领域，特别是涉及一种业务指标计算方法、装置、计算机设备和存储介质。
背景技术
随着诸多企业有业务指标监控和预警的需求，企业需要及时的对业务指标进行计算和统计，以实时有效地掌握业务的发展情况，以及快速客观的评估业务运营状况。
然而，目前的业务指标计算过程中指标计算数据的数据量较大且无法全部落库，导致传统业务指标计算方法存在代码侵入性较大、数据采集的实时性较低或成本较高等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够减小代码侵入性、提高数据采集的实时性较低和降低成本的业务指标计算方法、装置、计算机设备和存储介质。
第一方面，提供一种业务指标计算方法，所述方法包括：
从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据；业务监控日志用于记录业务数据的日志；
根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合；结构化日志数据集合用于统计指标计算数据；指标计算数据为业务数据中计算业务指标所需的数据；
响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标；目标数据集合为包括全部指标计算数据的结构化数据集合。
在其中一个实施例中，流数据包括业务监控日志的应用名标识；其中，根据流数据匹配对应的日志解析模板，包括：根据应用名标识确定流数据的所属应用；根据所属应用进行模板匹配，得到对应的日志解析模板。
在其中一个实施例中，日志解析模板为Grok模板。
在其中一个实施例中，生成日志解析模板的步骤包括：响应于对解析模板配置界面中各维度列参数所对应的设置框的设置操作，确定对应的维度列参数；其中，维度列参数包括维度编码、与维度编码对应的维度标题和与维度编码对应的维度敏感性；响应于对解析模板配置界面中各值列参数所对应的设置框的设置操作，确定对应的值列参数；其中，值列参数包括值列编码、与值列编码对应的值列标题和与值列编码对应的值列敏感型；根据各维度列参数和各值列参数，生成日志解析模板。
在其中一个实施例中，结构化日志数据集合包括各维度列参数和各值列参数；值列参数为状态参数；状态参数用于表征对应的维度列参数的数据提供状态；其中，判定是否存在目标数据集合的步骤包括：判断各结构化数据集合中各状态参数是否均为正确状态；若存在结构化数据集合中各状态参数均为正确状态，则确定存在目标数据集合；若不存在结构化数据集合中各状态参数均为正确状态，则确定不存在目标数据集合。
在其中一个实施例中，生成业务指标计算逻辑规则的步骤包括：响应于对计算逻辑规则配置界面中指标定义参数的设置框的设置操作，确定指标定义参数；响应于对计算逻辑规则配置界面中统计参数的设置框的设置操作，确定统计参数；响应于对计算逻辑规则配置界面中数据过滤条件的设置框的设置操作，确定数据过滤条件；根据指标定义参数、统计参数和数据过滤条件，生成业务指标计算逻辑规则。
在其中一个实施例中，根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标，包括：响应于目标数据集合符合数据过滤条件，根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标；响应于目标数据集合不符合数据过滤条件，丢弃目标数据集合。
在其中一个实施例中，统计参数包括统计类型、统计数据范围、统计时间窗口和统计实体维度；其中，根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标包括：根据统计类型确定聚合运算算法；响应于统计时间窗口的开始时间，根据统计数据范围和统计实体维度对目标数据集合进行数据提取后得到指标计算数据，并根据指标计算数据和聚合运算算法进行聚合运算后得到聚合运算结果；响应于统计时间窗口的结束时间，根据指标定义参数和聚合运算结构确定业务指标。
在其中一个实施例中，所述方法还包括：响应于不存在目标数据集合，丢弃所述流数据。
在其中一个实施例中，上述方法还包括：根据业务指标计算逻辑规则进行匹配，得到业务指标预警规则；响应于业务指标符合业务指标预警规则，输出业务预警信息；响应于业务指标不符合业务指标预警规则，丢弃业务指标。
在其中一个实施例中，配置业务指标预警规则的步骤包括：响应于对预警规则配置界面中预警定义参数的设置框的设置操作，确定预警定义参数；响应于对预警规则配置界面中预警条件的设置框的设置操作，确定预警条件；响应于对预警规则配置界面中交换机参数的设置框的设置操作，确定交换机参数；响应于对预警规则配置界面中路由键参数的设置框的设置操作，确定路由键参数；根据预警定义参数、预警条件、交换机参数和路由键参数，生成业务指标预警规则。
在其中一个实施例中，所述方法还包括：将业务指标输出至第三方业务监控平台，以使第三方业务监控平台根据业务指标进行业务监控。
第二方面，提供了一种业务指标计算装置，所述装置包括数据过滤模块、日志解析模块和指标计算模块。
其中，数据过滤模块用于从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据；业务监控日志用于记录业务数据的日志；日志解析模块用于根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合；结构化日志数据集合用于统计指标计算数据；指标计算数据为业务数据中计算业务指标所需的数据；指标计算模块用于响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标；目标数据集合为包括全部指标计算数据的结构化数据集合。
第三方面，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现上述方法实施例中任一方法的步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中任一方法的步骤。
上述业务指标计算方法、装置、计算机设备和存储介质，从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据，从而有利于业务数据的实时采集，提高了数据采集的实时性，避免了传统凌晨跑批技术中存在的实时监控业务数据的问题；其中，业务监控日志用于记录业务数据的日志。而后，根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合，从而实现直接根据流数据匹配对应的日志解析模板，提高了数据解析的效率，同时也避免了传统打固定格式的日志技术中存在的人工开发成本较高的问题，降低了整体成本；此外，直接根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合，也减小了代码侵入性，避免了传统代码埋点技术中存在的代码侵入性较大的问题；其中，结构化日志数据集合用于统计指标计算数据；指标计算数据为业务数据中计算业务指标所需的数据。接着，响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标；其中，目标数据集合为包括全部指标计算数据的结构化数据集合；也就提高了业务指标计算的效率、准确性和便利性。
附图说明
图1为一个实施例中业务指标计算方法的应用环境图；
图2为一个实施例中业务指标计算方法的第一流程示意图；
图3为一个实施例中根据流数据匹配对应的日志解析模板的步骤的流程示意图；
图4为一个实施例中生成日志解析模板的步骤的流程示意图；
图5为一个具体示例中解析模板配置界面的示意图；
图6为一个实施例中判定是否存在目标数据集合的步骤的流程示意图；
图7为一个实施例中生成业务指标计算逻辑规则的步骤的流程示意图；
图8为一个实施例中根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标的步骤的流程示意图；
图9为一个实施例中根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标的步骤的流程示意图；
图10为一个实施例中业务指标计算方法的第二流程示意图；
图11为一个实施例中业务指标计算方法的第三流程示意图；
图12为一个实施例中配置业务指标预警规则的步骤的流程示意图；
图13为一个实施例中业务指标计算方法的第四流程示意图；
图14为一个实施例中业务指标计算装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一电阻称为第二电阻，且类似地，可将第二电阻称为第一电阻。第一电阻和第二电阻两者都是电阻，但其不是同一电阻。
可以理解，以下实施例中的“连接”，如果被连接的电路、模块、单元等相互之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。
在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
传统的数据采集技术包括代码埋点、凌晨跑批和打固定格式的日志。第一，代码埋点是一种通过在客户端代码中添加采集数据的代码，将客户端产生的数据上报到服务端的方法。它需要在开发时进行代码修改，通常需要使用专门的埋点工具或SDK。代码埋点能够采集更细粒度的数据，对业务的监控和调优非常有帮助。例如，大众点评的CAT系统，就是一种基于代码埋点的数据采集方案。但代码埋点的主要缺点是代码侵入强，这意味着它需要在业务代码中嵌入采集代码。如果在业务代码中过多地添加埋点，会使代码难以维护和理解。第二，凌晨跑批是指在一定时间段内，将业务数据存储到数据库中，然后在每日凌晨时，对前一天的数据进行统计和分析。这种技术需要在业务系统中添加统计代码，并在凌晨时进行统计。相比于代码埋点，每日凌晨统计的数据粒度较粗，但能够快速地得到一些基本的业务指标。凌晨跑批的主要缺点是无法做到实时监控。因为数据采集是定时进行的，所以在数据产生到数据分析这段时间内，无法实时监控业务状况。第三，打固定格式的日志是指在业务代码中打印出指定格式的日志信息，然后通过大数据的方法对日志进行解析和聚合，得到业务指标。这种方法对业务代码的侵入性最小，但对日志的格式和内容要求较高。需要确保日志信息能够完整、准确地反映业务数据。打固定格式的日志的主要缺点是大部分的业务日志是非结构化的。因此，在使用大数据方法对日志进行解析和聚合之前，需要先将业务日志进行结构化整理。这需要开发人员对业务日志进行仔细的分析，并设计合适的结构化方式。
本申请提供的业务指标计算方法，可以应用于如图1所示的应用环境中。其中，业务平台管理服务器102通过网络与业务平台服务器104通过网络进行通信。其中，业务平台管理服务器102和业务平台服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种业务指标计算方法，以该方法应用于图1中业务平台管理服务器102为例进行说明，包括以下步骤202至步骤206。
步骤202，从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据。
其中，业务监控日志用于记录业务数据的日志。原始非结构化日志的日志格式为非结构化，原始非结构化日志中包括所有的日志数据。具体地，业务平台管理服务器102可以从日志消息队列中获取原始非结构化日志；而后，对原始非结构化日志进行过滤处理，从而得到业务监控日志的流数据。
在一个具体示例中，日志消息队列可以但不限于是原始日志kafka消息队列。可以理解的是，服务器基于预设的过滤规则,对原始日志进行过滤处理后得到监控日志的流数据。其中,预设的过滤规则可以根据监控日志的格式确定；监控日志的格式包括前缀标识、业务key和业务数据。此外,业务key用于区分日志类型。值得注意的是,通过监控日志的格式的设计采用约定大于配置的思想,尽量简化开发者的工作.因此,在过滤处理过程中避免了出现业务key的碰撞。以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。
步骤204，根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合。
其中，结构化日志数据集合用于统计指标计算数据；指标计算数据为业务数据中计算业务指标所需的数据。业务平台管理服务器102中预先配置了日志解析模板数据库，日志解析模板数据库中预先存储了各日志解析模板。
具体地，业务平台管理服务器102可以基于实时流计算平台(Apache Flink)，根据流数据匹配与流数据对应的日志解析模板；而后，根据各日志解析模板对流数据进行解析处理，从而得到与日志解析模板所对应的结构化日志数据集合。
在一个具体示例中，流数据对应的日志解析模板可以是任意的正则表达式模板，流数据对应的日志解析的数量可以是零个，也可以是多个，以上仅为具体示例，具体根据用户需求而灵活设置，在此不进行限制。
在其中一个实施例中，日志解析模板为Grok模板。可以理解的是，Grok模板相对于传统技术中的正则表达式模板具有如下优点：第一，更加简单易学：Grok的语法基于正则表达式和模板字符串，使得其语法更加简洁易懂。相对于繁琐复杂的正则表达式，使用Grok模板可以更加快速地学习和使用。第二，更加高效：Grok模板的语法被优化用于特定类型的日志和数据格式，从而可以更加高效地从非结构化的数据中提取结构化数据。相比于使用正则表达式进行数据提取，使用Grok模板可以更快速地完成任务。第三，更加灵活：Grok模板是基于正则表达式和模板字符串构建的，因此可以方便地扩展和自定义。用户可以根据自己的需求添加新的模板，从而更好地适应不同的数据源。第四，更加可读性强：Grok模板使用模板化的语法，使得模板可以具有可读性更强的名称。例如，用"％{IP}"表示IP地址，用"％{DATESTAMP_ISO8601}"表示ISO8601格式的日期时间。第五，更加易于维护：Grok模板使得数据提取的过程变得更加标准化和可维护。当需要更新或修改提取规则时，只需要修改Grok模板而不需要逐一修改各个正则表达式。综上所述，相比于纯正则表达式，Grok模板更加简单易学、高效、灵活、可读性强和易于维护。这些优势使得Grok模板成为一种广泛应用于日志分析和数据提取的工具。
在其中一个实施例中，流数据包括业务监控日志的应用名标识。其中，如图3所示，根据流数据匹配对应的日志解析模板，包括步骤301和步骤302。
步骤301，根据应用名标识确定流数据的所属应用；
步骤302，根据所属应用进行模板匹配，得到对应的日志解析模板。
其中，业务平台管理服务器102可以根据应用名标识确定流数据的所属应用；而后，根据流数据的所属应用进行模板匹配，得到与流数据对应的日志解析模板，相对于直接根据流数据在整个日志解析模板数据库进行模板匹配而言，缩小了模板匹配的范围，提高了模板匹配的效率。
在本实施例中，根据应用名标识确定流数据的所属应用；而后，根据所属应用进行模板匹配，得到对应的日志解析模板，缩小了模板匹配的范围，提高了模板匹配的效率。
在其中一个实施例中，如图4所示，生成日志解析模板的步骤包括步骤401至步骤403。
步骤401，响应于对解析模板配置界面中各维度列参数所对应的设置框的设置操作，确定对应的维度列参数。
其中，解析模板配置界面为用于对日志解析模板进行配置的界面。维度列参数包括维度编码、与维度编码对应的维度标题和与维度编码对应的维度敏感性。可以理解的是，与维度编码对应的维度标题用于表征维度编码的中文定义；与维度编码对应的维度敏感性用于表征维度编码是否敏感。
具体地，业务平台管理服务器102在识别到对解析模板配置界面中各维度列参数所对应的设置框的设置操作，即可根据设置操作的结果确定对应的维度列参数。
在一个具体示例中，如图5所示，解析模板配置界面中展示了五组维度列参数的设置，第一组维度列参数中维度编码为IP、与维度编码对应的维度标题为IP地址和与维度编码对应的维度敏感性为非敏感；第二组维度列参数中维度编码为timestamp、与维度编码对应的维度标题为时间和与维度编码对应的维度敏感性为非敏感；第三组维度列参数中维度编码为verb、与维度编码对应的维度标题为请求类型和与维度编码对应的维度敏感性为非敏感；第四组维度列参数中维度编码为request、与维度编码对应的维度标题为请求url和与维度编码对应的维度敏感性为敏感。以上设置操作可以是输入参数操作，也可以是勾选操作，以上仅为具体示例，具体根据用户需求而灵活设置，在此不进行限制。
步骤402，响应于对解析模板配置界面中各值列参数所对应的设置框的设置操作，确定对应的值列参数。
其中，值列参数包括值列编码、与值列编码对应的值列标题和与值列编码对应的值列敏感型。可以理解的是，与值列编码对应的值列标题用于表征值列编码的中文定义；与值列编码对应的维度敏感性用于表征值列编码是否敏感。
具体地，业务平台管理服务器102在识别到对解析模板配置界面中各值列参数所对应的设置框的设置操作，即可根据设置操作的结果确定对应的值列参数。
在一个具体示例中，如图5所示，解析模板配置界面中展示了一组维度列参数的设置。其中，值列编码为status、与值列编码对应的值列标题为状态和与值列编码对应的值列敏感性为非敏感。以上设置操作可以是输入参数操作，也可以是勾选操作，以上仅为具体示例，具体根据用户需求而灵活设置，在此不进行限制。
步骤403，根据各维度列参数和各值列参数，生成日志解析模板。
具体地，业务平台管理服务器102根据上述确定的各维度列参数和各值列参数，即可生成日志解析模板。
在一个具体示例中，日志解析模板生成后，会提供查询接口供给实时流计算平台(ApacheFlink)调用，以上仅为具体示例，具体根据用户需求而灵活设置，在此不进行限制。
在本实施例中，响应于对解析模板配置界面中各维度列参数所对应的设置框的设置操作，确定对应的维度列参数；而后，响应于对解析模板配置界面中各值列参数所对应的设置框的设置操作，确定对应的值列参数；接着，根据各维度列参数和各值列参数，即可生成日志解析模板，便于对业务监控日志的数据流进行解析处理，提高了解析处理效率和准确性。
在其中一个实施例中，结构化日志数据集合包括各维度列参数和各值列参数；值列参数为状态参数；状态参数用于表征对应的维度列参数的数据提供状态。可以理解的是，各维度列参数均有对应的状态参数，从而通过该状态参数了解对应的维度列参数的数据提供状态。
其中，如图6所示，判定是否存在目标数据集合的步骤包括步骤601至步骤603。
步骤601，判断各结构化数据集合中各状态参数是否均为正确状态。
步骤602，若存在结构化数据集合中各状态参数均为正确状态，则确定存在目标数据集合；
步骤603，若不存在结构化数据集合中各状态参数均为正确状态，则确定不存在目标数据集合。
其中，业务平台管理服务器102可以判断各结构化数据集合中各状态参数是否均为正确状态；而后，在结构化数据集合中各状态参数均为正确状态，说明此时的结构化数据集合的各维度列参数并非空值，此时的结构化数据集合包括全部指标计算数据，则确定存在目标数据集合，也可以确定此时的结构化数据集合为目标数据集合；同时，在不存在结构化数据集合中各状态参数均为正确状态，说明各结构化数据集合中的各状态参数并非均为正确状态，此时的结构化数据集合并非包括全部指标计算数据，也就是说此时的结构化数据集合仅包括部分指标计算数据，则确定不穿在目标数据集合。
在本实施例中，判断各结构化数据集合中各状态参数是否均为正确状态；而后，若存在结构化数据集合中各状态参数均为正确状态，则确定存在目标数据集合；同时，若不存在结构化数据集合中各状态参数均为正确状态，则确定不存在目标数据集合，从而实现了提高识别是否存在目标数据结合的效率和准确性。
步骤206，响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标。
其中，目标数据集合为包括全部指标计算数据的结构化数据集合。业务平台管理服务器102在识别到存在目标数据结合时，即可根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则；而后，根据目标数据集合和业务指标计算逻辑规则进行计算，从而得到业务指标。此外，根据目标数据集合对应的日志解析模板匹配到的业务指标计算逻辑规则的数量可以是一个，也可以是多个，以上仅为具体示例，具体根据用户需求而灵活设置，在此不进行限制。
在一个具体示例中，从日志消息队列中获取原始非结构化日志为：
128.39.24.23--[25/Dec/2021:12:16:50+0000]"GET/category/electronicsHTTP/1.1"20061"/category/finance""Mozilla/5.0(compatible；MSIE9.0；WindowsNT6.1；Trident/5.0)。
根据所述流数据匹配对应的Grok模板为：
^％{IP:ip}--\[％{HTTPDATE:timestamp}\]
“％{WORD:verb}％{DATA:request}”％{NUMBER:status}％{NUMBER:bytes}
“％{DATA:referrer}”％{DATA}\(％{WORD}；％{DATA}；％{WORD:os}。
根据上述Grok模板对上述原始非结构化日志进行解析处理后得到对应的结构化日志数据集合为：
ip:128.39.24.23
timestamp:25/Dec/2021:12:16:50+0000
verb:GET
request:/category/electronicsHTTP/1.1000000000000
status:200
referrer:/category/finance
os:Windows。以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。
基于此，通过上述业务指标计算方法，从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据，从而有利于业务数据的实时采集，提高了数据采集的实时性，避免了传统凌晨跑批技术中存在的实时监控业务数据的问题；其中，业务监控日志用于记录业务数据的日志。而后，根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合，从而实现直接根据流数据匹配对应的日志解析模板，提高了数据解析的效率，同时也避免了传统打固定格式的日志技术中存在的人工开发成本较高的问题，降低了整体成本；此外，直接根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合，也减小了代码侵入性，避免了传统代码埋点技术中存在的代码侵入性较大的问题；其中，结构化日志数据集合用于统计指标计算数据；指标计算数据为业务数据中计算业务指标所需的数据。接着，响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标；其中，目标数据集合为包括全部指标计算数据的结构化数据集合；也就提高了业务指标计算的效率、准确性和便利性。
在其中一个实施例中，如图7所示，生成业务指标计算逻辑规则的步骤包括步骤701至步骤704。
步骤701，响应于对计算逻辑规则配置界面中指标定义参数的设置框的设置操作，确定指标定义参数；
其中，指标定义参数包括指标定义编码和指标定义标题。具体地，指标定义标题是指与指标定义编码对应的中文含义。可以理解的是，业务平台管理服务器102在对计算逻辑规则配置界面中指标定义参数的设置框的设置操作时，根据设置操作的结果即可确定对应的指标定义参数。
步骤702，响应于对计算逻辑规则配置界面中统计参数的设置框的设置操作，确定统计参数。
其中，统计参数包括统计类型、统计数据范围、统计时间窗口和统计实体维度。具体地，统计类型用于表征聚合运算方式。在一个具体示例中，统计类型包括最大值、最小值、平均值、求和和求数量，以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。统计数据范围用于表征待统计的值列参数范围。在一个具体示例中，统计数据范围为记录价格的值列，以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。统计时间窗口用于表征统计的时间范围。在一个具体示例中，统计时间窗口为最近半小时，以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。统计实体维度用于表征待统计的业务服务器。在一个具体示例中，统计实体维度包括Pod名、集群名和Pod组名，以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。
可以理解的是，业务平台管理服务器102在对计算逻辑规则配置界面中统计参数的设置框的设置操作时，根据设置操作的结果即可确定对应的统计参数。
步骤703，响应于对计算逻辑规则配置界面中数据过滤条件的设置框的设置操作，确定数据过滤条件。
其中，数据过滤条件用于筛选目标数据集合。在一个具体示例中，数据过滤条件可以为上述某维度列参数等于、不等于、在列表或不在列表某个值。以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。
可以理解的是，业务平台管理服务器102在对计算逻辑规则配置界面中数据过滤条件的设置框的设置操作，根据设置操作的结果即可确定数据过滤条件。
步骤704，根据指标定义参数、统计参数和数据过滤条件，生成业务指标计算逻辑规则。
可以理解的是，业务平台管理服务器102根据指标定义参数、统计参数和数据过滤条件，即可生成业务指标计算逻辑规则，从而提高了配置业务指标计算逻辑规则的便利性，也提高了业务指标计算的效率。
在本实施例中，响应于对计算逻辑规则配置界面中指标定义参数的设置框的设置操作，确定指标定义参数；而后，响应于对计算逻辑规则配置界面中统计参数的设置框的设置操作，确定统计参数；接着，响应于对计算逻辑规则配置界面中数据过滤条件的设置框的设置操作，确定数据过滤条件；最后，根据指标定义参数、统计参数和数据过滤条件，生成业务指标计算逻辑规则，提高了配置业务指标计算逻辑规则的便利性，也提高了业务指标计算的效率。
在其中一个实施例中，如图8所示，根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标，包括步骤801和步骤802。
步骤801，响应于目标数据集合符合数据过滤条件，根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标。
步骤802，响应于目标数据集合不符合数据过滤条件，丢弃目标数据集合。
其中，业务平台管理服务器102在目标数据集合符合数据过滤条件时，根据目标数据集合、指标定义参数和统计参数进行统计即可得到业务指标。同时，在目标数据集合不符合数据过滤条件，丢弃目标数据集合，从而便于筛选目标数据集合的范围，提高了业务指标计算的便利性和效率，减小了业务指标计算的计算量。
在本实施例中，响应于目标数据集合符合数据过滤条件，根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标；同时，响应于目标数据集合不符合数据过滤条件，丢弃目标数据集合，从而便于筛选目标数据集合的范围，提高了业务指标计算的便利性和效率，减小了业务指标计算的计算量。
在其中一个实施例中，统计参数包括统计类型、统计数据范围、统计时间窗口和统计实体维度。
其中，如图9所示，根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标包括步骤901至步骤903。
步骤901，根据统计类型确定聚合运算算法。
在一个具体示例中，统计类型包括最大值、最小值、平均值、求和和求数量，所以聚合运算算法包括最大值运算算法、最小值运算算法、平均值运算算法、求和运算算法和求数量运算算法。在进行聚合运算过程中缓存统计时间窗口的开始时间内的聚合值。例如，最大值运算算法：(旧的聚合值，新日志的值)＝>max(旧的聚合值，新日志的值)，新的聚合值等于旧聚合值与新日志里的值中最大的一个。例如，求数量运算算法：(旧的聚合值，新日志的值)＝>旧的聚合值+1，新的聚合值等于旧聚合值加1。例如，求平均值运算算法，作业会缓存两个聚合值：总和与总数量，(旧的总和，新日志的值)＝>旧的总和+新日志的值；(旧的总数量，新日志的值)＝>旧的总数量+1。以上仅为具体示例,在实际应用中根据用户需求而灵活设置,在此不进行限制。
步骤902，响应于统计时间窗口的开始时间，根据统计数据范围和统计实体维度对目标数据集合进行数据提取后得到指标计算数据，并根据指标计算数据和聚合运算算法进行聚合运算后得到聚合运算结果。
步骤903，响应于统计时间窗口的结束时间，根据指标定义参数和聚合运算结构确定业务指标。
其中，业务平台管理服务器102可以根据统计参数中的统计类型确定聚合运算算法；而后，在统计时间窗口的开始时间，根据统计数据范围和统计实体维度对目标数据集合进行数据提取，从而得到指标计算数据；接着，在统计时间窗口的结束时间时，根据指标定义参数和聚合运算结构确定业务指标，从而提高了业务指标计算的便利性和效率，减小了业务指标计算的计算量。
在本实施例中，根据统计参数中的统计类型确定聚合运算算法；而后，在统计时间窗口的开始时间，根据统计数据范围和统计实体维度对目标数据集合进行数据提取，从而得到指标计算数据；接着，在统计时间窗口的结束时间时，根据指标定义参数和聚合运算结构确定业务指标，从而提高了业务指标计算的便利性和效率，减小了业务指标计算的计算量。
在其中一个实施例中，如图10所示，所述方法还包括步骤1001。
步骤1001，响应于不存在目标数据集合，丢弃所述流数据。
其中，业务平台管理服务器102在不存在目标数据集合时，说明此时各结构化数据集合中的各状态参数并非均为正确状态，此时各结构化数据集合并非包括全部指标计算数据，也就是说此时个结构化数据集合仅包括部分指标计算数据，从而无法准确统计出业务指标，即可丢弃该业务监控日志的流数据，从而减小了业务指标计算的计算量，进一步提升了业务指标计算的准确性。
在本实施例中，响应于不存在目标数据集合，丢弃所述流数据，从而减小了业务指标计算的计算量，进一步提升了业务指标计算的准确性。
在其中一个实施例中，如图11所示，上述方法还包括步骤1101至步骤1103。
步骤1101，根据业务指标计算逻辑规则进行匹配，得到业务指标预警规则。
步骤1102，响应于业务指标符合业务指标预警规则，输出业务预警信息。
步骤1103，响应于业务指标不符合业务指标预警规则，丢弃业务指标。
其中，业务平台管理服务器102预先配置有预警规则数据库，预警规则数据库中预先存储有业务指标预警规则。可以理解的是，业务指标计算逻辑规则和业务指标预警规则具有一一对应的关系。业务平台管理服务器102基于预警规则数据库，根据业务指标计算逻辑规则进行匹配，得到业务指标预警规则；而后，在业务指标符合业务指标预警规则时，输出业务预警信息；同时，在业务指标不符合业务指标预警规则时，丢弃业务指标。
在本实施例中，根据业务指标计算逻辑规则进行匹配，得到业务指标预警规则；而后，在业务指标符合业务指标预警规则时，输出业务预警信息；同时，在业务指标不符合业务指标预警规则时，丢弃业务指标；从而提高了业务指标监控和预警的便利性和效率。
在其中一个实施例中，如图12所示，配置业务指标预警规则的步骤包括步骤1201至步骤1205。
步骤1201，响应于对预警规则配置界面中预警定义参数的设置框的设置操作，确定预警定义参数。
其中，预警定义参数包括预定定义编码和预警定义标题。预警定义标题是指与预定定义编码对应的中文含义。具体地，业务平台管理服务器102在预警规则配置界面中预警定义参数的设置框的设置操作，即可根据该设置操作的结果确定预警定义参数。
步骤1202，响应于对预警规则配置界面中预警条件的设置框的设置操作，确定预警条件。
其中，预警条件用于表征业务指标进行预警需符合的条件。具体地，业务平台管理服务器102在对预警规则配置界面中预警条件的设置框的设置操作时，即可根据该设置操作的结果确定预警条件。
步骤1203，响应于对预警规则配置界面中交换机参数的设置框的设置操作，确定交换机参数。
其中，交换机参数用于表征预警信息传输过程中待使用的交换机。具体地，业务平台管理服务器102在对预警规则配置界面中交换机参数的设置框的设置操作时，即可根据该设置操作的结果确定交换机参数。
步骤1204，响应于对预警规则配置界面中路由键参数的设置框的设置操作，确定路由键参数。
其中，业务平台管理服务器102在对预警规则配置界面中路由键参数的设置框的设置操作时，即可根据该设置操作的结果确定路由键参数。
步骤1205，根据预警定义参数、预警条件、交换机参数和路由键参数，生成业务指标预警规则。
具体地，业务平台管理服务器102根据预警定义参数、预警条件、交换机参数和路由键参数，即可生成业务指标预警规则。
在本实施例中，响应于对预警规则配置界面中预警定义参数的设置框的设置操作，确定预警定义参数；而后，响应于对预警规则配置界面中预警条件的设置框的设置操作，确定预警条件；接着，响应于对预警规则配置界面中交换机参数的设置框的设置操作，确定交换机参数；然后，响应于对预警规则配置界面中路由键参数的设置框的设置操作，确定路由键参数；最后，根据预警定义参数、预警条件、交换机参数和路由键参数，生成业务指标预警规则，从而提高了业务指标监控和预警的便利性和效率。
在其中一个实施例中，如图13所示，所述方法还包括步骤1301。
步骤1301，将业务指标输出至第三方业务监控平台，以使第三方业务监控平台根据业务指标进行业务监控。
其中，平台管理服务器102可以将业务指标输出至第三方业务监控平台，从而第三方业务监控平台即可根据业务指标进行业务监控，提高了业务指标监控和预警的便利性和效率。
在本实施例中，将业务指标输出至第三方业务监控平台，以使第三方业务监控平台根据业务指标进行业务监控，提高了业务指标监控和预警的便利性和效率。
应该理解的是，虽然图2至图4和图6至图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图4和图6至图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图14所示，提供了一种业务指标计算装置，所述装置包括数据过滤模块1401、日志解析模块1402和指标计算模块1403。
其中，数据过滤模块1401用于从日志消息队列中获取原始非结构化日志，并对原始非结构化日志进行过滤处理后得到业务监控日志的流数据；业务监控日志用于记录业务数据的日志；日志解析模块1402用于根据流数据匹配对应的日志解析模板，并根据各日志解析模板对流数据进行解析处理后得到对应的结构化日志数据集合；结构化日志数据集合用于统计指标计算数据；指标计算数据为业务数据中计算业务指标所需的数据；指标计算模块1403用于响应于存在目标数据集合，根据目标数据集合对应的日志解析模板匹配业务指标计算逻辑规则，并根据目标数据集合和业务指标计算逻辑规则进行计算后得到业务指标；目标数据集合为包括全部指标计算数据的结构化数据集合。
在其中一个实施例中，流数据包括业务监控日志的应用名标识；日志解析模块1402包括模板匹配单元。
其中，模板匹配单元用于根据应用名标识确定流数据的所属应用；模板匹配单元还用于根据所属应用进行模板匹配，得到对应的日志解析模板。
在其中一个实施例中，日志解析模板为Grok模板。
在其中一个实施例中，所述装置包括生成日志解析模板模块。
其中，生成日志解析模板模块用于响应于对解析模板配置界面中各维度列参数所对应的设置框的设置操作，确定对应的维度列参数；其中，维度列参数包括维度编码、与维度编码对应的维度标题和与维度编码对应的维度敏感性；生成日志解析模板模块用于响应于对解析模板配置界面中各值列参数所对应的设置框的设置操作，确定对应的值列参数；其中，值列参数包括值列编码、与值列编码对应的值列标题和与值列编码对应的值列敏感型；生成日志解析模板模块用于根据各维度列参数和各值列参数，生成日志解析模板。
在其中一个实施例中，结构化日志数据集合包括各维度列参数和各值列参数；值列参数为状态参数；状态参数用于表征对应的维度列参数的数据提供状态；其中，所述装置还包括集合判断模块。
其中，集合判断模块用于判断各结构化数据集合中各状态参数是否均为正确状态；集合判断模块用于若存在结构化数据集合中各状态参数均为正确状态，则确定存在目标数据集合；集合判断模块用于若不存在结构化数据集合中各状态参数均为正确状态，则确定不存在目标数据集合。
在其中一个实施例中，所述装置还包括业务指标计算逻辑规则生成模块。
其中，业务指标计算逻辑规则生成模块用于响应于对计算逻辑规则配置界面中指标定义参数的设置框的设置操作，确定指标定义参数；业务指标计算逻辑规则生成模块用于响应于对计算逻辑规则配置界面中统计参数的设置框的设置操作，确定统计参数；业务指标计算逻辑规则生成模块用于响应于对计算逻辑规则配置界面中数据过滤条件的设置框的设置操作，确定数据过滤条件；业务指标计算逻辑规则生成模块用于根据指标定义参数、统计参数和数据过滤条件，生成业务指标计算逻辑规则。
在其中一个实施例中，指标计算模块1403包括指标计算单元。
其中，指标计算单元用于响应于目标数据集合符合数据过滤条件，根据目标数据集合、指标定义参数和统计参数进行统计，得到业务指标；指标计算单元用于响应于目标数据集合不符合数据过滤条件，丢弃目标数据集合。
在其中一个实施例中，统计参数包括统计类型、统计数据范围、统计时间窗口和统计实体维度；其中，指标计算单元包括算法确定子单元、聚合运算子单元和指标确定子单元。
其中，算法确定子单元用于根据统计类型确定聚合运算算法；聚合运算子单元用于响应于统计时间窗口的开始时间，根据统计数据范围和统计实体维度对目标数据集合进行数据提取后得到指标计算数据，并根据指标计算数据和聚合运算算法进行聚合运算后得到聚合运算结果；指标确定子单元用于响应于统计时间窗口的结束时间，根据指标定义参数和聚合运算结构确定业务指标。
在其中一个实施例中，所述装置还包括数据丢弃模块。
其中，数据丢弃模块用于响应于不存在目标数据集合，丢弃所述流数据。
在其中一个实施例中，上述装置还包括第一预警模块。
其中，第一预警模块用于根据业务指标计算逻辑规则进行匹配，得到业务指标预警规则；第一预警模块用于响应于业务指标符合业务指标预警规则，输出业务预警信息；第一预警模块用于响应于业务指标不符合业务指标预警规则，丢弃业务指标。
在其中一个实施例中，上述装置还包括配置业务指标预警规则模块。
其中，业务指标预警规则模块用于响应于对预警规则配置界面中预警定义参数的设置框的设置操作，确定预警定义参数；业务指标预警规则模块用于响应于对预警规则配置界面中预警条件的设置框的设置操作，确定预警条件；业务指标预警规则模块用于响应于对预警规则配置界面中交换机参数的设置框的设置操作，确定交换机参数；业务指标预警规则模块用于响应于对预警规则配置界面中路由键参数的设置框的设置操作，确定路由键参数；业务指标预警规则模块用于根据预警定义参数、预警条件、交换机参数和路由键参数，生成业务指标预警规则。
在其中一个实施例中，所述装置还包括第二预警模块。
其中，第二预警模块用于将业务指标输出至第三方业务监控平台，以使第三方业务监控平台根据业务指标进行业务监控。
关于业务指标计算装置的具体限定可以参见上文中对于业务指标计算方法的限定，在此不再赘述。上述业务指标计算装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储日志解析模板数据和业务指标计算逻辑规则数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务指标计算方法。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
第三方面，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现上述方法实施例中任一方法的步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中任一方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种业务指标计算方法，所述方法包括：
从日志消息队列中获取原始非结构化日志，并对所述原始非结构化日志进行过滤处理后得到业务监控日志的流数据；所述业务监控日志用于记录业务数据的日志；
根据所述流数据匹配对应的日志解析模板，并根据各所述日志解析模板对所述流数据进行解析处理后得到对应的结构化日志数据集合；所述结构化日志数据集合用于统计指标计算数据；所述指标计算数据为所述业务数据中计算业务指标所需的数据；
响应于存在目标数据集合，根据所述目标数据集合对应的所述日志解析模板匹配业务指标计算逻辑规则，并根据所述目标数据集合和所述业务指标计算逻辑规则进行计算后得到所述业务指标；所述目标数据集合为包括全部所述指标计算数据的所述结构化数据集合。
2.根据权利要求1所述的方法，其特征在于，所述流数据包括所述业务监控日志的应用名标识；其中，所述根据所述流数据匹配对应的日志解析模板，包括：
根据所述应用名标识确定所述流数据的所属应用；
根据所述所属应用进行模板匹配，得到对应的日志解析模板。
3.根据权利要求1所述的方法，其特征在于，所述日志解析模板为Grok模板。
4.根据权利要求1所述的方法，其特征在于，生成所述日志解析模板的步骤包括：
响应于对解析模板配置界面中各维度列参数所对应的设置框的设置操作，确定对应的所述维度列参数；其中，所述维度列参数包括维度编码、与所述维度编码对应的维度标题和与所述维度编码对应的维度敏感性；
响应于对所述解析模板配置界面中各值列参数所对应的设置框的设置操作，确定对应的所述值列参数；其中，所述值列参数包括值列编码、与所述值列编码对应的值列标题和与所述值列编码对应的值列敏感型；
根据各所述维度列参数和各所述值列参数，生成所述日志解析模板。
5.根据权利要求4所述的方法，其特征在于，所述结构化日志数据集合包括各所述维度列参数和各所述值列参数；所述值列参数为状态参数；所述状态参数用于表征对应的所述维度列参数的数据提供状态；其中，判定是否存在所述目标数据集合的步骤包括：
判断各所述结构化数据集合中各所述状态参数是否均为正确状态；
若存在所述结构化数据集合中各所述状态参数均为所述正确状态，则确定存在所述目标数据集合；
若不存在所述结构化数据集合中各所述状态参数均为所述正确状态，则确定不存在所述目标数据集合。
6.根据权利要求1所述的方法，其特征在于，生成所述业务指标计算逻辑规则的步骤包括：
响应于对计算逻辑规则配置界面中指标定义参数的设置框的设置操作，确定所述指标定义参数；
响应于对所述计算逻辑规则配置界面中统计参数的设置框的设置操作，确定所述统计参数；
响应于对所述计算逻辑规则配置界面中数据过滤条件的设置框的设置操作，确定所述数据过滤条件；
根据所述指标定义参数、所述统计参数和所述数据过滤条件，生成所述业务指标计算逻辑规则。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标数据集合和所述业务指标计算逻辑规则进行计算后得到所述业务指标，包括：
响应于所述目标数据集合符合所述数据过滤条件，根据所述目标数据集合、所述指标定义参数和所述统计参数进行统计，得到所述业务指标；
响应于所述目标数据集合不符合所述数据过滤条件，丢弃所述目标数据集合。
8.根据权利要求7所述的方法，其特征在于，所述统计参数包括统计类型、统计数据范围、统计时间窗口和统计实体维度；其中，所述根据所述目标数据集合、所述指标定义参数和所述统计参数进行统计，得到所述业务指标包括：
根据所述统计类型确定聚合运算算法；
响应于所述统计时间窗口的开始时间，根据所述统计数据范围和所述统计实体维度对所述目标数据集合进行数据提取后得到所述指标计算数据，并根据所述指标计算数据和所述聚合运算算法进行聚合运算后得到聚合运算结果；
响应于所述统计时间窗口的结束时间，根据所述指标定义参数和所述聚合运算结构确定所述业务指标。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于不存在所述目标数据集合，丢弃所述流数据。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述业务指标计算逻辑规则进行匹配，得到业务指标预警规则；
响应于所述业务指标符合所述业务指标预警规则，输出业务预警信息；
响应于所述业务指标不符合所述业务指标预警规则，丢弃所述业务指标。
11.根据权利要求10所述的方法，其特征在于，配置所述业务指标预警规则的步骤包括：
响应于对预警规则配置界面中预警定义参数的设置框的设置操作，确定所述预警定义参数；
响应于对所述预警规则配置界面中预警条件的设置框的设置操作，确定所述预警条件；
响应于对所述预警规则配置界面中交换机参数的设置框的设置操作，确定所述交换机参数；
响应于对所述预警规则配置界面中路由键参数的设置框的设置操作，确定所述路由键参数；
根据所述预警定义参数、所述预警条件、所述交换机参数和所述路由键参数，生成所述业务指标预警规则。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述业务指标输出至第三方业务监控平台，以使所述第三方业务监控平台根据所述业务指标进行业务监控。
13.一种业务指标计算装置，其特征在于，所述装置包括：
数据过滤模块，用于从日志消息队列中获取原始非结构化日志，并对所述原始非结构化日志进行过滤处理后得到业务监控日志的流数据；所述业务监控日志用于记录业务数据的日志；
日志解析模块，用于根据所述流数据匹配对应的日志解析模板，并根据各所述日志解析模板对所述流数据进行解析处理后得到对应的结构化日志数据集合；所述结构化日志数据集合用于统计指标计算数据；所述指标计算数据为所述业务数据中计算业务指标所需的数据；
指标计算模块，用于响应于存在目标数据集合，根据所述目标数据集合对应的所述日志解析模板匹配业务指标计算逻辑规则，并根据所述目标数据集合和所述业务指标计算逻辑规则进行计算后得到所述业务指标；所述目标数据集合为包括全部所述指标计算数据的所述结构化数据集合。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202310468253.0A 2023-04-27 业务指标计算方法、装置、计算机设备和存储介质 Active CN116542558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310468253.0A CN116542558B (zh) 2023-04-27 业务指标计算方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310468253.0A CN116542558B (zh) 2023-04-27 业务指标计算方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN116542558A true CN116542558A (zh) 2023-08-04
CN116542558B CN116542558B (zh) 2024-06-04

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194179A (zh) * 2023-11-08 2023-12-08 杭州星锐网讯科技有限公司 一种指标的确定方法、装置、电子设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106656607A (zh) * 2016-12-27 2017-05-10 上海爱数信息技术股份有限公司 设备日志解析方法、系统及具有该系统的服务器端
US20180101423A1 (en) * 2016-10-11 2018-04-12 Oracle International Corporation Cluster-based processing of unstructured log messages
CN108376176A (zh) * 2018-03-14 2018-08-07 深圳日彤大数据有限公司 可拖拽式大数据可视化分析工具系统
WO2018195289A1 (en) * 2017-04-21 2018-10-25 Nec Laboratories America, Inc. An ultra-fast pattern generation algorithm for heterogeneous logs
CN109271349A (zh) * 2018-09-29 2019-01-25 四川长虹电器股份有限公司 一种基于日志通用性规则引擎的规则处理方法
WO2019060326A1 (en) * 2017-09-20 2019-03-28 University Of Utah Research Foundation ANALYSIS OF SYSTEM EVENT LOGS DURING CONTINUOUS TRANSMISSION
CN110647549A (zh) * 2019-09-29 2020-01-03 北京卓信智恒数据科技股份有限公司 基于业务动态建模的数据指标解析与执行方法和装置
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN111526060A (zh) * 2020-06-16 2020-08-11 网易（杭州）网络有限公司 业务日志的处理方法及系统
CN111897788A (zh) * 2020-07-14 2020-11-06 中电福富信息科技有限公司 基于算法选择的日志检索分析及可视化挖掘方法
US20220019588A1 (en) * 2020-07-14 2022-01-20 Vmware, Inc. Methods and systems for constructing expressions that extracts metrics from log messages
CN113986864A (zh) * 2021-11-11 2022-01-28 建信金融科技有限责任公司 日志数据处理方法、装置、电子设备及存储介质
US11243834B1 (en) * 2020-11-16 2022-02-08 International Business Machines Corporation Log parsing template generation
WO2022111158A1 (zh) * 2020-11-26 2022-06-02 北京百度网讯科技有限公司 直播业务的故障检测方法、装置、电子设备及可读存储介质
CN114610316A (zh) * 2022-03-15 2022-06-10 中国银行股份有限公司 一种流水线日志分析控制方法和装置
CN114996335A (zh) * 2022-08-03 2022-09-02 海看网络科技(山东)股份有限公司 一种iptv日志实时聚类分析方法
CN115145623A (zh) * 2021-03-30 2022-10-04 大众问问(北京)信息科技有限公司 软件业务系统的白盒监控方法、装置、设备和存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180101423A1 (en) * 2016-10-11 2018-04-12 Oracle International Corporation Cluster-based processing of unstructured log messages
CN106656607A (zh) * 2016-12-27 2017-05-10 上海爱数信息技术股份有限公司 设备日志解析方法、系统及具有该系统的服务器端
WO2018195289A1 (en) * 2017-04-21 2018-10-25 Nec Laboratories America, Inc. An ultra-fast pattern generation algorithm for heterogeneous logs
WO2019060326A1 (en) * 2017-09-20 2019-03-28 University Of Utah Research Foundation ANALYSIS OF SYSTEM EVENT LOGS DURING CONTINUOUS TRANSMISSION
CN108376176A (zh) * 2018-03-14 2018-08-07 深圳日彤大数据有限公司 可拖拽式大数据可视化分析工具系统
CN109271349A (zh) * 2018-09-29 2019-01-25 四川长虹电器股份有限公司 一种基于日志通用性规则引擎的规则处理方法
CN110647549A (zh) * 2019-09-29 2020-01-03 北京卓信智恒数据科技股份有限公司 基于业务动态建模的数据指标解析与执行方法和装置
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN111526060A (zh) * 2020-06-16 2020-08-11 网易（杭州）网络有限公司 业务日志的处理方法及系统
CN111897788A (zh) * 2020-07-14 2020-11-06 中电福富信息科技有限公司 基于算法选择的日志检索分析及可视化挖掘方法
US20220019588A1 (en) * 2020-07-14 2022-01-20 Vmware, Inc. Methods and systems for constructing expressions that extracts metrics from log messages
US11243834B1 (en) * 2020-11-16 2022-02-08 International Business Machines Corporation Log parsing template generation
WO2022111158A1 (zh) * 2020-11-26 2022-06-02 北京百度网讯科技有限公司 直播业务的故障检测方法、装置、电子设备及可读存储介质
CN115145623A (zh) * 2021-03-30 2022-10-04 大众问问(北京)信息科技有限公司 软件业务系统的白盒监控方法、装置、设备和存储介质
CN113986864A (zh) * 2021-11-11 2022-01-28 建信金融科技有限责任公司 日志数据处理方法、装置、电子设备及存储介质
CN114610316A (zh) * 2022-03-15 2022-06-10 中国银行股份有限公司 一种流水线日志分析控制方法和装置
CN114996335A (zh) * 2022-08-03 2022-09-02 海看网络科技(山东)股份有限公司 一种iptv日志实时聚类分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李洋;吕家恪;: "基于Hadoop与Storm的日志实时处理系统研究", 西南师范大学学报(自然科学版), no. 04, pages 124 - 131 *
颜 冰, 王钟雷: "基于Storm 的大数据指标实时计算方法", 计算机系统应用, vol. 28, no. 4, pages 90 - 94 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194179A (zh) * 2023-11-08 2023-12-08 杭州星锐网讯科技有限公司 一种指标的确定方法、装置、电子设备及存储介质
CN117194179B (zh) * 2023-11-08 2024-04-16 杭州星锐网讯科技有限公司 一种指标的确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2021174694A1 (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
CN111866016B (zh) 日志的分析方法及系统
WO2018103453A1 (zh) 检测网络的方法和装置
CN110830450A (zh) 基于统计的异常流量监测方法、装置、设备及存储介质
CN108011925B (zh) 一种业务审计系统及方法
CN111585837B (zh) 物联网数据链路监控方法、装置、计算机设备和存储介质
CN111078513A (zh) 日志处理方法、装置、设备、存储介质及日志告警系统
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN116542558B (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN113612657A (zh) 一种异常http连接的检测方法
CN116542558A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN110011845B (zh) 日志采集方法及系统
CN111581057A (zh) 一种通用日志解析方法、终端设备及存储介质
CN115409345A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN113535458B (zh) 异常误报的处理方法及装置、存储介质、终端
CN112422333B (zh) 一种配网情况确定方法、系统及相关装置
CN114238024A (zh) 时序图生成方法与系统
CN114115008A (zh) 一种基于5g网络电力设备运行数据传输方法及系统
CN115296976B (zh) 物联网设备故障检测方法、装置、设备及存储介质
CN115361231B (zh) 基于访问基线的主机异常流量检测方法、系统及设备
CN116127149B (zh) 图数据库集群健康度的量化方法和系统
CN112948687B (zh) 一种基于名片文件特征的节点消息推荐方法
CN117055537B (zh) 一种基于物联网的摩托车电控系统故障诊断方法
CN117196547B (zh) 一种基于数字全生命周期的设计施工一体化平台设计系统
CN115481142A (zh) 慢查询语句处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant