CN110990433B - 一种实时业务监控预警方法及预警装置 - Google Patents

一种实时业务监控预警方法及预警装置 Download PDF

Info

Publication number
CN110990433B
CN110990433B CN201911151398.8A CN201911151398A CN110990433B CN 110990433 B CN110990433 B CN 110990433B CN 201911151398 A CN201911151398 A CN 201911151398A CN 110990433 B CN110990433 B CN 110990433B
Authority
CN
China
Prior art keywords
monitoring
early warning
index result
dimension
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911151398.8A
Other languages
English (en)
Other versions
CN110990433A (zh
Inventor
雷森林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marco Polo Travel Technology Co ltd
Original Assignee
Marco Polo Travel Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marco Polo Travel Technology Co ltd filed Critical Marco Polo Travel Technology Co ltd
Priority to CN201911151398.8A priority Critical patent/CN110990433B/zh
Publication of CN110990433A publication Critical patent/CN110990433A/zh
Application granted granted Critical
Publication of CN110990433B publication Critical patent/CN110990433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Debugging And Monitoring (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种实时业务监控预警方法及预警装置，属于数据分析技术领域。本发明的实时业务监控预警方法包括：实时获取前端服务行为数据和/或线上服务日志数据；获取监控维度以及聚合方式；根据监控维度及聚合方式获取对应的监控指标结果；根据监控指标结果以及预设的预警阈值，判断是否执行预警；其中，所述监控维度为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的维度表中的维度，所述聚合方式为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的聚合表中的聚合方式。本发明的实时业务监控预警方法可以根据维度实现业务的实时监控预警。

Description

一种实时业务监控预警方法及预警装置
技术领域
本发明涉及数据监控技术领域，具体涉及一种实时业务监控预警方法及预警装置。
背景技术
在机票搜索领域，需要实时对业务进行监控预警，现有的平台是基于Grafana和ElasticSearch实现配置化预警，其预警能力过于简单，仅支持单一指标与预设的阈值进行比较，来判断是否执行预警，这种方式无法实现多维(如采购、供应等)、复杂计算指标(同比、环比等)的监控预警。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本发明实施例提供了一种实时业务监控预警方法及预警装置，可以实现多维监控预警。
第一方面，本发明实施例提供了一种实时业务监控预警方法，包括：
实时获取前端服务行为数据和/或线上服务日志数据；
获取监控维度以及聚合方式；
根据监控维度及聚合方式获取对应的监控指标结果；
根据监控指标结果以及预设的预警阈值，判断是否执行预警；
其中，所述监控维度为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的维度表中的维度，所述聚合方式为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的聚合表中的聚合方式。
可选的，在所述获取监控维度以及聚合方式之后，所述方法还包括：
根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果；
根据所述监控指标结果、历史指标结果以及预设的预警阈值，判断是否执行预警。
可选的，若所述监控维度包括多个维度，则对所述监控维度进行组合，
在所述获取监控维度以及所述监控维度对应的聚合方式之后，在所述根据监控维度及聚合方式计算获得对应的监控指标结果之前，所述方法还包括：
查询维度表，确认所述监控维度进行组合的有效性，若所述监控维度的组合有效，则执行所述根据监控维度及聚合方式获取对应的监控指标结果。
可选的，所述根据监控维度及聚合方式计算获得对应的监控指标结果与历史指标结果，包括：
根据监控维度及聚合方式生成SQL组合；
根据生成的SQL组合获取监控指标结果；
获取预警时间范围；
根据生成的SQL组合、所述预警时间范围获取历史指标结果。
可选的,所述实时获取前端服务行为数据，包括：
通过Druid数据源实时获取前端服务行为数据。
可选的，所述根据监控维度及聚合方式获取对应的监控指标结果和历史指标结果，包括：
根据监控维度及聚合方式生成JSON组合；
根据生成的JSON组合获取监控指标结果；
获取预警时间范围；
根据JSON组合、预警时间范围获取历史指标结果。
可选的，所述实时获取线上服务日志，包括：
通过ElasticSearch实时获取线上服务日志数据。
可选的，所述根据监控指标结果、历史指标结果，以及预设的预警阈值，判断是否执行预警，包括：
根据监控指标结果与历史指标结果的差值相对历史指标结果的比值的百分比，以及预设的预警阈值相对历史指标结果的比值的百分比，判断是否执行预警，
和/或，
根据监控指标结果与历史指标结果的差值，以及预设的预警阈值，判断是否执行预警。
第二方面，本发明实施例提供一种预警装置，包括：
数据获取模块，用于实时获取前端服务数据和/或服务日志；
维度获取模块，用于获取监控维度；
聚合方式获取模块，用于获取监控维度的聚合方式；
指标结果获取模块，用于根据监控维度及聚合方式获取对应的监控指标结果和历史指标结果；
预警判断模块，用于根据监控指标结果、历史指标结果，结合预设的预警阈值，判断是否执行预警。
可选的，所述数据获取模块包括第一数据获取模块与第二数据获取模块，所述第一数据获取模块用于实时获取前端服务数据，所述第二数据获取模块用于实时获取服务日志数据。
本发明的有益效果：
本发明实施例的实时业务监控预警方法，包括：实时获取前端服务行为数据和/或线上服务日志数据；获取监控维度以及聚合方式；根据监控维度及聚合方式计算获得对应的监控指标结果；根据监控指标结果以及预设的预警阈值，判断是否执行预警；其中，所述监控维度为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的维度表中的维度，所述聚合方式为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的聚合表中的聚合方式。根据本发明实施例的实时业务监控预警方法，可以实现对多维(如采购、供应商)等的监控预警。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的实时业务监控预警方法的流程示意图；
图2是本发明实施例的实时业务监控预警方法的流程示意图；
图3是本发明实施例的获取监控指标结果和历史指标结果的流程示意图；
图4是本发明实施例的获取监控指标结果和历史指标结果的流程示意图；
图5是本发明实施例的实时业务监控预警方法的流程示意图；
图6是本发明实施例的实时业务监控预警方法的具体流程示意图；
图7是本发明实施例的预警装置的结构示意图；
图8是本发明实施例的预警装置的结构示意图；
图9是本发明实施例的数据获取模块的结构示意图；
图10是本发明实施例的预警系统的结构示意图；
图11是本发明实施例的预警系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例的实时业务监控预警方法，如图1，本发明实施例的实时业务监控预警方法包括：
步骤100，实时获取前端服务行为数据和/或线上服务日志数据；
步骤200，获取监控维度以及聚合方式；
步骤300，根据监控维度及聚合方式计算获得对应的监控指标结果；
步骤400，根据监控指标结果以及预设的预警阈值，判断是否执行预警；
其中，所述监控维度为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的维度表中的维度，所述聚合方式为前端服务行为和/或所述线上服务日志数据形成的事实表所对应的聚合表中的聚合方式。
本发明实施例中，通过实时获取的前端服务行为数据和/或线上服务日志数据抽象得到事实表，用于配置SQL或JSON指标，维度表数据由原始业务库表实时同步得到，用于多维告警监测维度范围。
本发明实施例中，聚合方式存储于与事实表连接的聚合表中，聚合方式包括求和、求最大值、求最小值、求平均、求除等基础聚合方式。
本发明实施例的实时业务监控预警方法，通过实时获取前端服务行为数据和/或线上服务日志数据，根据获取的前端服务行为数据和/或线上服务日志数据抽象事实表，用于配置SQL或JSON指标，根据所述事实表对应的维度表及聚合表获取监控维度及聚合方式，根据监控维度及聚合方式获取对应的监控指标结果，然后根据得到的监控指标结果以及预设的预警阈值，判断是否执行预警，根据本发明实施例的实时业务监控预警方法，可以实现多维监控预警，针对采购、供应商等维度进行预警。
本发明实施例中，在步骤200之后，所述方法还包括：
步骤300，根据监控维度及聚合方式计算获得监控指标结果及历史指标结果；
步骤400，根据所述监控指标结果、所述历史指标结果，以及预设的预警指标，判断是否执行预警。
根据本发明实施例的实时业务监控预警方法，还可以获得监控指标结果相对于历史指标结果的变化，并将变化的结果与预警阈值进行比较，以对该变化的结果进行预警监控，可以更加直观地反应监控指标结果相对历史指标结果变化情况。
图2示出了本发明实施例的实时业务监控预警方法的流程示意图，如图2，本发明实施例的实时业务监控预警方法还包括：
若所述监控维度包括多个维度，则对所述监控维度进行组合，在步骤200之后，步骤300之前，执行
步骤210，查询维度表，确认所述监控维度进行组合的有效性，若所述监控维度的组合有效，则执行步骤300。
本发明实施例中，如果所述监控维度为一个维度，则根据所述监控维度、聚合方式计算获得对应的监控指标结果，如果所述监控维度包括多个维度，则在步骤200之后、步骤300之前，验证监控维度的组合的有效性，通过讲监控维度的组合与维度表中的维度的组合进行验证，在确定监控维度的组合有效后，执行步骤300，根据本发明实施例的实时业务监控预警方法，可以避免根据预先被禁用或失效的维度进行预警。
图3示出了本发明实施例的获取监控指标结果和历史指标结果的流程示意图，如图3，在一个实施例中，步骤300的具体流程包括：
步骤310，根据监控维度及聚合方式生成SQL组合；
步骤320，根据生成的SQL组合获取监控指标结果；
步骤330，获取预警时间范围；
步骤340，根据生成的SQL组合、所述预警时间范围获取历史指标结果。
可选的，本发明实施例中，通过Druid数据源实时获取前端服务行为数据。
本发明实施例中，实时采集前端、应用服务行为数据，经过清洗后发送到Kafka，Druid数据源直接对接实时流数据，构建实时数仓，Druid数据源支持SQL指标配置，可以进行SQL化指标，因此，在获取监控指标结果和历史指标结果时，可以先根据监控维度及聚合方式生成SQL组合，利用SQL组合进行查询对应的数据，从而解决了现有的业务预警监控方法中采用SQL配置而无法根据维度属性进行监控预警的问题。
图4示出了本发明实施例的获取监控指标结果和历史指标结果的流程示意图，如图4，在另一个实施例中，步骤300的具体流程包括：
步骤311，根据监控维度及聚合方式生成JSON组合；
步骤321，根据JSON组合获取监控指标结果；
步骤331，获取预警时间范围；
步骤341，根据JSON组合、预警时间范围获取历史指标结果。
可选的，本发明实施例中，所述实时获取线上服务日志数据，包括：通过ElasticSearch数据源实时获取线上服务日志数据。
本发明实施例中，采用ElasticSearch数据源可以实时获取线上服务日志数据，根据实时获取的线上服务日志数据，来实现监控预警，可以实现业务应用异常日志监控预警，提供研发快速定位。
ElasticSearch使用的当前版本暂不支持SQL查询，同时，对于高版本的ElasticSearch SQL查询调研得知，在多维查询条件下会有数据不准确的问题，因此，本发明实施例中，通过实时获取的线上服务日志数据，根据监控维度及聚合方式生成JSON组合；根据JSON组合获取监控指标结果；获取预警时间范围；然后根据JOSN组合、预警时间范围获取历史指标结果，在不使用SQL配置的情况下，实现根据维度属性对业务进行实时监控预警，同时保证数据的准确性。
在本发明实施例中，可以同时采用Druid数据源与ElasticSearch数据源，分别通过Druid数据源实时获取前端、应用服务行为数据、通过ElasticSearch数据源实时获取服务日志数据，从而支持更多维度的业务监控预警，能够满足更多的预警需求。
本发明实施例中，步骤400中，所述根据监控指标结果、历史指标结果，以及预设的预警阈值，判断是否执行预警的具体流程包括：
根据监控指标结果与历史指标结果的差值相对于历史指标结果的比值的百分比，以及预设的预警阈值相对历史指标结果的比值的百分比，判断是否执行预警，
和/或，
根据监控指标结果与历史指标结果的差值，以及预设的预警阈值，判断是否执行预警。
根据本发明实施例中判断是否执行预警的流程中，可以采用百分比预警方法，即根据监控指标结果与历史指标结果的差值相对于历史指标结果的百分比，以及预设的预警阈值相对于历史指标结果的比值的百分比，判断是否执行预警，具体为根据某一时间段内产生的监控指标结果，与一个特定时间段内产生的历史指标结果，按照百分比的方法进行比较，进而监控预警，其中，百分比预警方法包括同比、环比，可以展示该监控指标结果在一段时间内的变化情况；或者，可以采用差值预警方法，即根据监控指标结果与历史指标结果的差值，以及预设的预警阈值，判断是否执行预警，此时的预警阈值表示监控指标结果与历史指标结果的差值的阈值，通过差值预警方法可以更加直观的展示监控指标结果相对历史指标结果在数目上的增减；当然，可以同时采用上述两种方式进行预警。
图5示出了本发明实施例的实时业务监控预警方法的流程示意图，如图5，本发明实施例的实时业务监控预警方法还包括：
步骤010，获取预警配置；
步骤020，判断配置类型；
步骤030，若配置类型为规则化配置，则判断数据源类型；
步骤040，若数据源类型为Druid数据源，则执行所述实时获取前端行为数据，若数据源类型为ElasticSearch数据源，则执行所述实时获取线上服务日志数据。
继续参照图5，本发明实施例的实时业务监控预警方法还包括：
步骤031，若配置类型为SQL配置，则根据SQL配置获取监控指标结果；
步骤041，获取预警时间范围；
步骤051，根据SQL配置、预警时间范围获取历史指标结果；
步骤061，根据监控指标结果、历史指标结果以及预设的预警阈值，判断是否执行预警。
在本发明实施例中，规则化配置为适配Druid数据源与ElasticSearch数据源的配置，可实现求和、求最大值、求最小值、求平均等基础聚合方式，支持时间范围可配，从而支持同比指标预警。
本发明实施例中，SQL配置为常用的预警监控配置，其不具备根据维度进行监控预警的功能，但可以根据事实表中的数据进行监控预警，具备基础的监控预警功能，因此，根据本发明实施例的实时业务监控预警方法，可以根据SQL配置实现基础的业务监控预警，同时，还可以实现根据监控维度进行业务实时监控预警。
图6示出了本发明实施例的实时业务监控预警方法的具体流程示意图，如图6，在步骤030之后，步骤040可以分为两个并列的步骤：步骤042与步骤043。
执行步骤042的具体流程如下：
步骤042，若数据源类型为Druid数据源，则实时获取前端服务行为数据；
步骤052，获取监控维度及聚合方式；
步骤062，根据监控维度及聚合方式生成SQL组合；
在执行完步骤062之后，根据生成的SQL组合，执行步骤031，并按照SQL配置的预警流程实现根据维度的监控预警。
执行步骤043的具体流程如下：
步骤043，若数据源类型为ElasticSearch数据源，则实时获取服务日志数据；
步骤053，获取监控维度及聚合方式；
步骤311，根据监控维度及聚合方式生成JSON组合；
步骤321，根据JSON组合获取监控指标结果；
步骤331，获取预警时间范围；
步骤341，根据JSON组合、预警时间范围获取历史指标结果；
步骤063，根据监控指标结果、历史指标结果以及预设的预警阈值，判断是否执行预警。
图7示出了本发明实施例的预警装置的结构示意图，如图7，本发明实施例还提供一种预警装置，包括：
数据获取模块1000，用于实时获取前端服务数据和/或服务日志；
维度获取模块1100，用于获取监控维度；
聚合方式获取模块1200，用于获取监控维度的聚合方式；
指标结果获取模块1300，用于根据监控维度及聚合方式获取对应的监控指标结果和历史指标结果；
预警判断模块1400，用于根据监控指标结果、历史指标结果，结合预设的预警阈值，判断是否执行预警。
根据本发明实施例的预警装置，能够根据监控维度的属性对业务进行实时监控预警。
图8示出了本发明实施例的预警装置的结构示意图，如图8，本发明实施例的预警装置还包括维度组合有效性查询模块1500，用于在所述监控维度为多个维度的组合时，查询维度表，确认所述监控维度的组合的有效性，并在所述监控维度的组合有效时，向所述指标结果获取模块输出所述监控维度的组合有效的信息。
图9示出了本发明实施例的数据获取模块的结构示意图，参照图9，本发明实施例的数据获取模块包括第一数据获取模块1001与第二数据获取模块1002，所述第一数据获取模块1001用于实时获取前端服务数据，所述第二数据获取模块1002用于实时获取服务日志数据。
图10示出了本发明实施例的预警系统的结构示意图，如图10，本发明实施例还提供一种预警系统，包括：
第一数据源2000，用于实时获取前端服务行为数据；
MySQL数据源2100，用于存储配置信息；
预警装置2200，用于根据第一数据源实时获取的前端服务行为数据获取监控维度及聚合方式，根据所述监控维度及聚合方式生成SQL组合，根据生成的SQL组合，通过MySQL数据源查询监控指标结果及历史指标结果，并根据得到的监控指标结果及历史指标结果，以及预设的监控指标结果，判断是否执行预警。
本发明实施例中，第一数据源可选为Druid数据源。
图11示出了本发明实施例的预警系统的结构示意图，如图11，本发明实施例还提供一种预警系统，包括：
第二数据源3000，用于实时获取服务日志数据；
预警装置3100，用于根据第二数据源实时获取的服务日志数据获取监控维度及聚合方式，根据监控维度及聚合方式生成查询JSON，查询监控指标结果及历史指标结果，并根据得到的监控指标结果及历史指标结果，以及预设的监控指标结果，判断是否执行预警。
本发明实施例中，第二数据源可选为ElasticSearch数据源。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种实时业务监控预警方法，其特征在于，包括：
实时获取前端服务行为数据和/或线上服务日志数据；
获取监控维度以及聚合方式；
根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果；
根据所述监控指标结果、历史指标结果以及预设的预警阈值，判断是否执行预警；
其中，所述监控维度为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的维度表中的维度，所述聚合方式为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的聚合表中的聚合方式；
所述根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果，包括：
根据监控维度及聚合方式生成JSON组合；
根据所述JSON组合获取监控指标结果；
获取预警时间范围；
根据所述JSON组合、所述预警时间范围获取历史指标结果。
2.根据权利要求1所述的实时业务监控预警方法，其特征在于，若所述监控维度包括多个维度，则对所述监控维度进行组合，
在所述获取监控维度以及聚合方式之后，在所述根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果之前，所述方法还包括：
查询维度表，确认所述监控维度进行组合的有效性，若所述监控维度的组合有效，则执行所述根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果。
3.根据权利要求1所述的实时业务监控预警方法，其特征在于，所述根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果，包括：
根据所述监控维度及所述聚合方式生成SQL组合；
根据生成的所述SQL组合获取监控指标结果；
获取预警时间范围；
根据生成的所述SQL组合、所述预警时间范围获取历史指标结果。
4.根据权利要求2所述的实时业务监控预警方法，其特征在于，所述实时获取前端服务行为数据，包括：
通过Druid数据源实时获取前端服务行为数据。
5.根据权利要求1所述的实时业务监控预警方法，其特征在于，所述实时获取线上服务日志，包括：
通过ElasticSearch实时获取线上服务日志数据。
6.根据权利要求1所述的实时业务监控预警方法，其特征在于，所述根据所述监控指标结果、历史指标结果以及预设的预警阈值，判断是否执行预警，包括：
根据所述监控指标结果与所述历史指标结果的差值相对所述历史指标结果的比值的百分比，以及所述预设的预警阈值相对所述历史指标结果的比值的百分比，判断是否执行预警，
和/或，
根据所述监控指标结果与所述历史指标结果的差值，以及所述预设的预警阈值，判断是否执行预警。
7.一种预警装置，其特征在于，包括：
数据获取模块，用于实时获取前端服务行为数据和/或线上服务日志数据；
维度获取模块，用于获取监控维度；
聚合方式获取模块，用于获取监控维度的聚合方式；
指标结果获取模块，用于根据监控维度及聚合方式获取对应的监控指标结果和历史指标结果；
预警判断模块，用于根据监控指标结果、历史指标结果，结合预设的预警阈值，判断是否执行预警；
其中，所述监控维度为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的维度表中的维度，所述聚合方式为根据所述前端服务行为数据和/或所述线上服务日志数据形成的事实表所对应的聚合表中的聚合方式；
所述根据所述监控维度及所述聚合方式计算获得对应的监控指标结果与历史指标结果，包括：
根据监控维度及聚合方式生成JSON组合；
根据所述JSON组合获取监控指标结果；
获取预警时间范围；
根据所述JSON组合、所述预警时间范围获取历史指标结果。
8.根据权利要求7所述的预警装置，其特征在于，所述数据获取模块包括第一数据获取模块与第二数据获取模块，所述第一数据获取模块用于实时获取前端服务数据，所述第二数据获取模块用于实时获取服务日志数据。
CN201911151398.8A 2019-11-21 2019-11-21 一种实时业务监控预警方法及预警装置 Active CN110990433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911151398.8A CN110990433B (zh) 2019-11-21 2019-11-21 一种实时业务监控预警方法及预警装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911151398.8A CN110990433B (zh) 2019-11-21 2019-11-21 一种实时业务监控预警方法及预警装置

Publications (2)

Publication Number Publication Date
CN110990433A CN110990433A (zh) 2020-04-10
CN110990433B true CN110990433B (zh) 2023-06-13

Family

ID=70085548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911151398.8A Active CN110990433B (zh) 2019-11-21 2019-11-21 一种实时业务监控预警方法及预警装置

Country Status (1)

Country Link
CN (1) CN110990433B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582763A (zh) * 2020-06-01 2020-08-25 泰康保险集团股份有限公司 保险业绩数据监控方法及装置
CN113923096B (zh) * 2020-06-22 2023-05-30 中国联合网络通信集团有限公司 网元故障预警方法、装置、电子设备及存储介质
CN112398708B (zh) * 2020-11-09 2022-10-28 上海瀚银信息技术有限公司 一种通用易接入的监控方法及系统
CN113420043A (zh) * 2021-06-22 2021-09-21 康键信息技术（深圳）有限公司 数据实时监控方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812202B (zh) * 2014-12-31 2019-02-22 阿里巴巴集团控股有限公司 日志实时监控预警方法及其装置
CN107451149B (zh) * 2016-05-31 2020-11-24 北京京东尚科信息技术有限公司 流量数据查询任务的监控方法及其装置
CN109726209A (zh) * 2018-09-07 2019-05-07 网联清算有限公司 日志聚合方法及装置
CN109711155A (zh) * 2018-11-13 2019-05-03 同盾控股有限公司 一种预警确定方法和装置
CN109800225A (zh) * 2018-12-24 2019-05-24 北京奇艺世纪科技有限公司 业务指标的获取方法、装置、服务器及计算机可读存储介质
CN110058977B (zh) * 2019-01-14 2020-08-14 阿里巴巴集团控股有限公司 基于流式处理的监控指标异常检测方法、装置及设备
CN110287081A (zh) * 2019-06-21 2019-09-27 腾讯科技(成都)有限公司 一种服务监控系统和方法

Also Published As

Publication number Publication date
CN110990433A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110990433B (zh) 一种实时业务监控预警方法及预警装置
US9529895B2 (en) Method and system for discovering dynamic relations among entities
TW201843611A (zh) 零件信息查詢方法及系統
CN105549580B (zh) 一种基于车载can网络的车辆故障检测系统及检测方法
CN110134659B (zh) 运行程序的日志监控系统、方法、介质及设备
EP3117347A2 (en) Systems and methods for rapid data analysis
CN111881221A (zh) 物流服务里客户画像的方法、装置和设备
CN109947881B (zh) 一种poi判重方法、装置、移动终端及计算机可读存储介质
CN104657437B (zh) 推广情况数据的监测方法及装置
CN109408509A (zh) 数据存储方法、装置及计算机设备
CN110807085A (zh) 故障信息的查询方法及装置、存储介质、电子装置
CN110730419A (zh) 物品定位方法、装置、系统及电子设备
CN106599215A (zh) 一种基于深度学习的问句生成方法和问句生成系统
CN111368154A (zh) 指标信息确定方法及指标信息确定装置
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN102540995B (zh) 产线流程管控系统及方法
CN112087320B (zh) 一种异常定位方法、装置、电子设备和可读存储介质
CN108255955B (zh) 一种数据处理方法及装置
CN109947715B (zh) 日志告警方法及装置
CN110019341A (zh) 一种数据查询方法及装置
CN116737491A (zh) 异常监控方法、装置、设备、介质及产品
CN112860680B (zh) 数据处理方法及系统、数据查询方法及系统
CN111143160B (zh) 一种系统全链路监控方法及装置
CN115577991A (zh) 一种基于大数据的商业智能数据分析系统及分析方法
WO2016082432A1 (zh) 一种查询数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant