CN115409345A - 业务指标计算方法、装置、计算机设备和存储介质 - Google Patents

业务指标计算方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115409345A
CN115409345A CN202211005316.0A CN202211005316A CN115409345A CN 115409345 A CN115409345 A CN 115409345A CN 202211005316 A CN202211005316 A CN 202211005316A CN 115409345 A CN115409345 A CN 115409345A
Authority
CN
China
Prior art keywords
data
index
service
calculation
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211005316.0A
Other languages
English (en)
Inventor
黄成康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuhe Information Technology Co Ltd
Original Assignee
Shanghai Shuhe Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuhe Information Technology Co Ltd filed Critical Shanghai Shuhe Information Technology Co Ltd
Priority to CN202211005316.0A priority Critical patent/CN115409345A/zh
Publication of CN115409345A publication Critical patent/CN115409345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种业务指标计算方法、装置、计算机设备和存储介质。所述方法包括：响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。采用本方法能够防止程序开发工作量大、浪费业务数据库的存储空间和业务指标计算速度慢。

Description

业务指标计算方法、装置、计算机设备和存储介质
技术领域
本申请涉及大数据处理技术领域，特别是涉及一种业务指标计算方法、装置、计算机设备和存储介质。
背景技术
随着互联网的持续发展，企业需要及时的对业务指标进行计算和统计，以实时有效地掌握业务的发展情况，以及快速客观的评估业务运营状况。
然而，传统业务指标计算方法中业务指标的获取方案强依赖业务数据的统计表，从而造成程序开发工作量大、浪费业务数据库的存储空间或者业务指标计算速度慢等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够防止程序开发工作量大、浪费业务数据库的存储空间和业务指标计算速度慢的业务指标计算方法、装置、计算机设备和存储介质。
第一方面，提供一种业务指标计算方法，所述方法包括：
响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；
对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；
调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。
在其中一个实施例中，上述方法还包括：响应于统计表需存储或预测数据量小于预设阈值，从业务数据库中获取业务数据，并根据业务数据生成统计表；将统计表同步至分析数据库，并对同步至分析数据库的统计表进行数据提取，得到指标计算数据；根据计算逻辑规则，对指标计算数据进行计算，得到业务指标。
在其中一个实施例中，上述方法还包括：将业务指标存入至指标结果消息队列；从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎。
在其中一个实施例中，上述方法还包括：调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表。
在其中一个实施例中，上述方法还包括：调用指标分析引擎，对业务指标和业务指标阈值进行比较分析，生成比较分析结果；根据比较分析结果，判断是否进行告警。
在其中一个实施例中，根据指标计算数据生成指标计算流数据，包括：根据指标计算数据生成待处理流数据；对待处理流数据进行数据清洗，得到结构化日志数据；根据结构化日志数据，生成指标计算流数据。
在其中一个实施例中，方法还包括：响应于计算逻辑规则的配置操作，读取计算逻辑规则。
第二方面，提供了一种业务指标计算装置，所述装置包括过滤处理模块、解析处理模块和流式计算模块。
其中，过滤处理模块用于响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；解析处理模块用于对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；流式计算模块用于调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。
第三方面，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现上述方法实施例中任一方法的步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中任一方法的步骤。
上述业务指标计算方法、装置、计算机设备和存储介质，通过响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；而后，对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；接着，调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标，也就避免了程序开发工作量大和浪费业务数据库的存储空间，提高了业务指标计算速度、算力和效率。
附图说明
图1为一个传统技术示例中业务指标计算的流程示意图；
图2为一个实施例中业务指标计算的应用环境图；
图3为一个实施例中业务指标计算方法的第一流程示意图；
图4为一个实施例中根据指标计算数据生成指标计算流数据的步骤的流程示意图；
图5为一个实施例中业务指标计算方法的第二流程示意图；
图6为一个实施例中业务指标计算方法的第三流程示意图；
图7为一个实施例中业务指标计算方法的第四流程示意图；
图8为一个具体示例中业务指标计算的流程示意图；
图9为一个实施例中业务指标计算装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一电阻称为第二电阻，且类似地，可将第二电阻称为第一电阻。第一电阻和第二电阻两者都是电阻，但其不是同一电阻。
可以理解，以下实施例中的“连接”，如果被连接的电路、模块、单元等相互之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。
在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
在传统技术中，如图1所示，服务器仅能直接根据业务数据库中的业务数据生成业务数据的统计表；而后，将业务数据的统计表同步至分析数据库中；接着，指标系统根据同步至分析数据库中业务数据的统计表的指标计算数据计算得到业务指标。然而，传统技术中业务指标的获取方案强依赖业务数据的统计表，从而造成程序开发工作量大、浪费业务数据库的存储空间或者业务指标计算速度慢等问题。
本申请提供的业务指标计算，可以应用于如图2所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
第一方面，如图3所示，提供了一种业务指标计算，以该方法应用于图1中的服务器为例进行说明，包括以下步骤202至步骤206。
步骤202，响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据。
其中，监控日志为用于记录业务数据的日志。业务数据的统计表无需存储说明该类业务数据的统计表程序开发工作量较大和开发成本较高，同时也能说明该类业务数据的统计表的重要性较低。业务数据的统计表的预测数据量大于预设阈值则说明业务数据的统计表所占服务器的存储空间较大，可能浪费服务器的存储资源。此外，预设阈值可以根据客户实际应用需求而灵活设置，在此不进行限制。
服务器在业务数据的统计表无需存储或业务数据的统计表的预测数据量大于预设阈值的情况下，从日志消息队列中获取原始日志；而后，对原始日志进行过滤处理，从而得到用于记录业务数据的日志即监控日志；同时，即可根据监控日志确定监控日志的流数据。
在一个具体示例中，日志消息队列可以但不限于是原始日志kafka消息队列。可以理解的是，服务器基于预设的过滤规则，对原始日志进行过滤处理后得到监控日志的流数据。其中，预设的过滤规则可以根据监控日志的格式确定；监控日志的格式包括前缀标识、业务key和业务数据。此外，业务key用于区分日志类型。值得注意的是，通过监控日志的格式的设计采用约定大于配置的思想，尽量简化开发者的工作。因此，在过滤处理过程中避免了出现业务key的碰撞。以上仅为具体示例，在实际应用中根据用户需求而灵活设置，在此不进行限制。
步骤204，对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据。
其中，指标计算数据为业务数据中计算业务指标所需的数据。服务器可以对监控日志的流数据进行解析处理，从而得到指标计算数据；而后，根据指标计算数据，即可生成指标计算流数据。
在一个具体示例中，监控日志得流数据通过解析得到字符串；而后，对该字符串进行处理，从而得到指标计算数据；接着，即可根据指标计算数据生成指标计算流数据。可以理解的是，对该字符串进行的处理可以但不限于数据提取处理。以上仅为具体示例，在实际应用中根据用户需求而灵活设置，在此不进行限制。
在其中一个实施例中，如图4所示，根据指标计算数据生成指标计算流数据，包括步骤401至步骤403。
步骤401，根据指标计算数据生成待处理流数据.
步骤402，对待处理流数据进行数据清洗，得到结构化日志数据。
步骤403，根据结构化日志数据，生成指标计算流数据。
其中，服务器可以根据指标计算数据生成待处理流数据；而后，对待处理流数据进行数据清洗，从而得到结构化日志数据；接着，根据结构化日志数据，生成指标计算流数据。
在本实施例中，通过根据指标计算数据生成待处理流数据；而后，对待处理流数据进行数据清洗，得到结构化日志数据；最后，根据结构化日志数据，生成指标计算流数据，从而实现待处理流数据的表达结构优化处理，通过对待处理流数据进行数据清洗得到的结构化日志数据也便于后续数据查询、数据分析和数据计算，提高了业务指标计算的效率和便利性。
步骤206，调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。
其中，服务器可以调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，从而得到准确的业务指标。此外，流式计算引擎可以但不限于是flink流式计算引擎。
在其中一个实施例中，如图5所示，上述方法还包括步骤201。
步骤201，响应于计算逻辑规则的配置操作，读取计算逻辑规则。
其中，服务器响应于计算逻辑规则的配置操作，即可读取计算逻辑规则；同时，服务器还可以存储该计算逻辑规则，便于后续的业务指标计算过程。
在一个具体示例中，用户可以在用户终端的业务运营界面上完成计算逻辑规则的配置操作，从而服务器即可响应于计算逻辑规则的配置操作，读取计算逻辑规则。可以理解的是，计算逻辑规则可以但不限于采用SQL语言。以上仅为具体示例，在实际应用中根据用户需求而灵活设置，在此不进行限制。
上述业务指标计算方法，通过响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；而后，对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；接着，调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标，也就避免了程序开发工作量大和浪费业务数据库的存储空间，提高了业务指标计算速度、算力和效率。
在其中一个实施例中，如图6所示，上述方法还包括步骤601至步骤603。
步骤601，响应于统计表需存储或预测数据量小于预设阈值，从业务数据库中获取业务数据，并根据业务数据生成统计表。
步骤602，将统计表同步至分析数据库，并对同步至分析数据库的统计表进行数据提取，得到指标计算数据。
步骤603，根据计算逻辑规则，对指标计算数据进行计算，得到业务指标。
其中，业务数据的统计表需存储说明该类业务数据的统计表程序开发工作量较小和开发成本较低，同时也能说明该类业务数据的统计表的重要性较高。业务数据的统计表的预测数据量小于预设阈值则说明业务数据的统计表所占服务器的存储空间较小，不会浪费服务器的存储资源。此外，预设阈值可以根据客户实际应用需求而灵活设置，在此不进行限制。
可以理解的是，服务器在统计表需存储或预测数据量小于预设阈值的情况下，从业务数据库中获取业务数据，并根据业务数据生成业务数据的统计表；而后，将业务数据的统计表同步至分析数据库，并通过对同步至分析数据库的统计表进行数据提取，得到指标计算数据；接着，根据预先配置的计算逻辑规则，对指标计算数据进行计算，即可得到业务指标。
在本实施例中，通过设置统计表需存储或预测数据量小于预设阈值的条件，从而使服务器在统计表需存储或预测数据量小于预设阈值的情况下，从业务数据库中获取业务数据，并根据业务数据生成业务数据的统计表；而后，将业务数据的统计表同步至分析数据库，并通过对同步至分析数据库的统计表进行数据提取，得到指标计算数据，也就避免了传统技术中服务器仅能直接根据业务数据库中的业务数据生成业务数据的统计表，并强依赖于将业务数据的统计表完成业务指标的计算，从而防止了程序开发工作量大和浪费业务数据库的存储空间，提高了业务指标计算速度、算力和效率。
在其中一个实施例中，如图7所示，上述方法还包括步骤701至步骤702。
步骤701，将业务指标存入至指标结果消息队列。
步骤702，从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎。
其中，指标结果消息队列可以但不限于是指标结果kafka消息队列。服务器可以将业务指标存入至指标结果消息队列；而后，从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎。
在本实施例中，通过将业务指标存入至指标结果消息队列；且，从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎，也就便于后续指标分析引擎对业务指标进行统计分析，提高了业务指标统计的效率和便利性，也提高了业务指标的数据传输稳定性和务指标的数据可追溯性。
在其中一个实施例中，如图7所示，上述方法还包括步骤703.
步骤703，调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表。
其中，服务器可以调用指标分析引擎，对业务指标进行统计分析，生成业务指标统计表；同时，展示业务指标统计表；也就便于工作人员及时了解业务指标的相关情况。
在本实施例中，通过调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表，便于工作人员及时了解业务指标的相关情况，提高了业务指标计算方法的便利性。
在其中一个实施例中，如图7所示，上述方法还包括步骤704和步骤705。
步骤704，调用指标分析引擎，对业务指标和业务指标阈值进行比较分析，生成比较分析结果。
步骤705，根据比较分析结果，判断是否进行告警。
其中，服务器可以调用指标分析引擎，对业务指标和业务指标阈值进行比较分析，生成比较分析结果；而后，根据比较分析结果，判断是否进行告警。
在一个具体示例中，业务指标包括当日坐席登陆数量或当日坐席登陆率。服务器可以调用指标分析引擎，将当日坐席登陆数量和登录数量阈值进行比较分析，从而生成比较分析结果。在比较分析结果表征当日坐席登陆数量小于登录数量阈值，则判定进行告警，以及时提醒业务管理人员当日坐席登陆数量过小；同时，在比较分析结果表征当日坐席登陆数量大于或等于登录数量阈值，则不进行告警。服务器可以调用指标分析引擎，将当日坐席登陆率和登陆率阈值进行比较分析，从而生成比较分析结果。在比较分析结果表征当日坐席登陆率小于登录率阈值，则判定进行告警，以及时提醒业务管理人员当日坐席登陆率过小；同时，在比较分析结果表征当日坐席登陆率大于或等于登录率阈值，则不进行告警。以上仅为具体示例，在实际应用中根据用户需求而灵活设置，在此不进行限制。
在一个具体示例中，如图8所示，用户终端可以通过操作控制服务器端，服务器端在业务数据的统计表无需存储或统计表的预测数据量大于预设阈值的情况下，从原始日志kafka消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；而后，对监控日志的流数据进行解析处理后得到指标计算数据；接着，调用flink流式计算引擎，根据指标计算数据生成待处理流数据，并对待处理流数据进行数据清洗，得到结构化日志数据；然后，根据结构化日志数据生成指标计算流数据，并调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标；且，将业务指标存入至指标结果kafka消息队列，并从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎；最后，调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表；同时，调用指标分析引擎，对业务指标和业务指标阈值进行比较分析后生成比较分析结果，并根据比较分析结果判断是否进行告警。
服务器在统计表需存储或预测数据量小于预设阈值的情况下，从业务数据库中获取业务数据，并根据业务数据生成统计表；而后，将统计表同步至分析数据库，并对同步至分析数据库的统计表进行数据提取，得到指标计算数据；接着，根据计算逻辑规则，对指标计算数据进行计算，得到业务指标；然后，即可将业务指标存入指标分析引擎；最后，调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表；同时，调用指标分析引擎，对业务指标和业务指标阈值进行比较分析后生成比较分析结果，并根据比较分析结果判断是否进行告警。以上仅为具体示例，在实际应用中根据用户需求而灵活设置，在此不进行限制。
应该理解的是，虽然图3-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
第二方面，如图9所示，提供了一种业务指标计算装置，所述装置包括过滤处理模块910、解析处理模块920和流式计算模块930。
其中，过滤处理模块910用于响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；解析处理模块920用于对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；流式计算模块930用于调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。
在其中一个实施例中，上述装置还包括统计表生成模块、数据提取模块和数据计算模块。
其中，统计表生成模块用于响应于统计表需存储或预测数据量小于预设阈值，从业务数据库中获取业务数据，并根据业务数据生成统计表；数据提取模块用于将统计表同步至分析数据库，并对同步至分析数据库的统计表进行数据提取，得到指标计算数据；数据计算模块用于根据计算逻辑规则，对指标计算数据进行计算，得到业务指标。
在其中一个实施例中，上述装置还包括第一消息队列模块。
其中，第一消息队列模块用于将业务指标存入至指标结果消息队列；从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎。
在其中一个实施例中，上述装置还包括第一调用模块。
其中，第一调用模块用于调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表
在其中一个实施例中，第一调用模块还用于调用指标分析引擎，对业务指标和业务指标阈值进行比较分析，生成比较分析结果；第一调用模块还用于根据比较分析结果，判断是否进行告警。
在其中一个实施例中，解析处理模块920包括数据清洗单元。
其中，数据清洗单元用于根据指标计算数据生成待处理流数据；数据清洗单元用于对待处理流数据进行数据清洗，得到结构化日志数据；数据清洗单元用于根据结构化日志数据，生成指标计算流数据。
在其中一个实施例中，上述装置还包括规则读取模块。
其中，规则读取模块用于响应于计算逻辑规则的配置操作，读取计算逻辑规则。
关于业务指标计算装置的具体限定可以参见上文中对于业务指标计算方法的限定，在此不再赘述。上述业务指标计算装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储指标计算流数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务指标计算方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
第三方面，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现上述方法实施例中任一方法的步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中任一方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种业务指标计算方法，其特征在于，所述方法包括：
响应于业务数据的统计表无需存储或所述统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对所述原始日志进行过滤处理后得到监控日志的流数据；其中，所述监控日志为用于记录所述业务数据的日志；
对所述监控日志的流数据进行解析处理后得到指标计算数据，并根据所述指标计算数据生成指标计算流数据；其中，所述指标计算数据为所述业务数据中计算业务指标所需的数据；
调用流式计算引擎，根据预先配置的计算逻辑规则，对所述指标计算流数据进行计算，得到所述业务指标。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述统计表需存储或所述预测数据量小于预设阈值，从业务数据库中获取所述业务数据，并根据所述业务数据生成所述统计表；
将所述统计表同步至所述分析数据库，并对同步至所述分析数据库的所述统计表进行数据提取，得到所述指标计算数据；
根据所述计算逻辑规则，对所述指标计算数据进行计算，得到所述业务指标。
3.根据权利要求1至2任意一项所述的方法，其特征在于，所述方法还包括：
将所述业务指标存入至指标结果消息队列；
从所述指标结果消息队列中读取所述业务指标，并将所述业务指标写入指标分析引擎。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
调用所述指标分析引擎，对所述业务指标进行统计分析，生成并展示业务指标统计表。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
调用所述指标分析引擎，对所述业务指标和业务指标阈值进行比较分析，生成比较分析结果；
根据所述比较分析结果，判断是否进行告警。
6.根据权利要求1所述的方法，其特征在于，所述根据所述指标计算数据生成指标计算流数据，包括：
根据指标计算数据生成待处理流数据；
对所述待处理流数据进行数据清洗，得到结构化日志数据；
根据所述结构化日志数据，生成所述指标计算流数据。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述计算逻辑规则的配置操作，读取所述计算逻辑规则。
8.一种业务指标计算装置，其特征在于，所述装置包括：
过滤处理模块，用于响应于业务数据的统计表无需存储或所述统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对所述原始日志进行过滤处理后得到监控日志的流数据；其中，所述监控日志为用于记录所述业务数据的日志；
解析处理模块，用于对所述监控日志的流数据进行解析处理后得到指标计算数据，并根据所述指标计算数据生成指标计算流数据；其中，所述指标计算数据为所述业务数据中计算业务指标所需的数据；
流式计算模块，用于调用流式计算引擎，根据预先配置的计算逻辑规则，对所述指标计算流数据进行计算，得到所述业务指标。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202211005316.0A 2022-08-22 2022-08-22 业务指标计算方法、装置、计算机设备和存储介质 Pending CN115409345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211005316.0A CN115409345A (zh) 2022-08-22 2022-08-22 业务指标计算方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211005316.0A CN115409345A (zh) 2022-08-22 2022-08-22 业务指标计算方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115409345A true CN115409345A (zh) 2022-11-29

Family

ID=84161097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211005316.0A Pending CN115409345A (zh) 2022-08-22 2022-08-22 业务指标计算方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115409345A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555541A (zh) * 2024-01-11 2024-02-13 南京研利科技有限公司 数据页面展示方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555541A (zh) * 2024-01-11 2024-02-13 南京研利科技有限公司 数据页面展示方法、装置、设备及存储介质
CN117555541B (zh) * 2024-01-11 2024-04-09 南京研利科技有限公司 数据页面展示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109672741B (zh) 微服务监控方法、装置、计算机设备和存储介质
CN112910945B (zh) 请求链路跟踪方法和业务请求处理方法
CN110209652B (zh) 数据表迁移方法、装置、计算机设备和存储介质
CN110309109B (zh) 数据监控方法、装置、计算机设备及存储介质
CN110851159B (zh) 业务规则更新方法、装置、计算机设备和存储介质
CN111400367B (zh) 业务报告生成方法、装置、计算机设备和存储介质
CN111738404B (zh) 模型训练任务处理方法、装置、电子设备和存储介质
CN109389299B (zh) 工作流流程部署方法、装置、计算机设备和存储介质
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
CN109542764B (zh) 网页自动化测试方法、装置、计算机设备和存储介质
CN110750443A (zh) 网页测试的方法、装置、计算机设备及存储介质
CN115409345A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN110807050B (zh) 性能分析方法、装置、计算机设备及存储介质
CN110275703B (zh) 键值对数据的赋值方法、装置、计算机设备和存储介质
CN114090589A (zh) 基于HBase的数据查询方法、装置和计算机设备
CN111224939A (zh) 任务请求的拦截方法、装置、计算机设备和存储介质
CN112051771B (zh) 多云数据采集方法、装置、计算机设备和存储介质
Lee et al. ATMSim: An anomaly teletraffic detection measurement analysis simulator
CN109474386B (zh) 信令跟踪方法、系统、网元设备和存储介质
CN111046240A (zh) 网关流量统计方法、装置、计算机设备和存储介质
CN116542558A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN115576973A (zh) 一种业务部署方法、装置、计算机设备和可读存储介质
CN114090407A (zh) 基于线性回归模型的接口性能预警方法及其相关设备
CN111259050A (zh) 用户操作轨迹记录方法、装置、计算机设备及存储介质
CN111782479A (zh) 日志处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination