CN107463479A - 一种社交数据监控系统 - Google Patents

一种社交数据监控系统 Download PDF

Info

Publication number
CN107463479A
CN107463479A CN201710559491.7A CN201710559491A CN107463479A CN 107463479 A CN107463479 A CN 107463479A CN 201710559491 A CN201710559491 A CN 201710559491A CN 107463479 A CN107463479 A CN 107463479A
Authority
CN
China
Prior art keywords
data
units
sdk
module
grafana
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710559491.7A
Other languages
English (en)
Inventor
杨博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fine Count Mdt Infotech Ltd
Original Assignee
Shanghai Fine Count Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fine Count Mdt Infotech Ltd filed Critical Shanghai Fine Count Mdt Infotech Ltd
Priority to CN201710559491.7A priority Critical patent/CN107463479A/zh
Publication of CN107463479A publication Critical patent/CN107463479A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种社交数据监控系统，其包括：ES单元，数据存储和搜索；收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；Grafana展示单元，通过Grafana显示数据；和Web展示单元，通过网页展示数据。

Description

一种社交数据监控系统
技术领域
本发明涉及互联网安全领域，特别是一种社交数据监控系统。
背景技术
随着社交网络、移动互联网的大规模发展，人们能更方便的通过手机获取资讯、发表言论、沟通交流。特别是在社交网络繁荣之后，每个网民都可以创造信息，使得网络中的信息量出现爆发式的增长，数据来源也呈现出多样化的趋势，逐步分化出微博、微信、电商、论坛、问答等越来越多的来源。
社交数据越来越多，形式和平台越来越丰富，在提供数据给大量的品牌客户进行分析的同时，系统内部如何及时准确地监控这些数据，以及监控系统自身稳定成了一个关键点。
发明内容
现有技术中，系统复杂度较高，搭建和实现难度较大，偏向于瞬时的数据监控与报警。虽然有些技术涉及数据持久化和图表化展现，但并没有技术方案涉及快速分析和展现大规模的历史数据。就目前来看，现有技术不具备快速分析和快速查看历史数据的特点。
有鉴于此，发明人在为不同的数据来源搭建特有的数据获取平台的同时，搭建了社交数据监控系统，用于提高这些平台的稳定性，及早发现问题，帮助排查问题，以及验证问题解决。
根据本发明的第一方面，本发明提供了一种社交数据监控系统，其包括：
ES单元，数据存储和搜索；
收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；
SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；
监控单元，其调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示。
优选地，所述收集器数据采集单元采集的数据包括系统信息和设备信息。
所述设备信息包括但不限于：网卡信息、CPU信息、内存、硬盘等。
优选地，所述SDK数据采集单元采集的数据包括任务信息。
所述任务信息包括但不限于：监控业务的吞吐量、任务队列长度、任务延时等。
优选地，所述SDK数据采集单元包括采样模块，按照调用量采样收集数据。
优选地，所述SDK数据采集单元包括数据整理模块，保证数据格式统一。
优选地，所述SDK数据采集单元包括聚合模块，对采集到的数据进行聚合处理。
优选地，所述监控单元包括报警模块，当所监控的数据超过阈值时，启动报警。
优选地，所述报警模块包括邮件报警和/或电话报警。
优选地，所述Grafana展示单元也可包括报警模块，在报警模块中设定阈值，当数据超过阈值时，通过Grafana展示单元的UI组件渲染展示。
优选地，所述社交数据来自：微博、微信、QQ、BBS、贴吧、论坛、人人网、知乎中的一种或多种。
附图说明
通过阅读参考一下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1是根据本发明的一些实施方式的社交数据监控系统的示意图。
图2是根据本发明的另一些实施方式的社交数据监控系统的示意图。
图3为在本发明的一些具体实施例中利用Web展示单元展示监控数据的示意图。
图4a-图4c在本发明的一些具体实施例中利用Grafana展示单元展示监控数据的示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生/混淆，对于本领域公知的一些技术特征未进行描述。
在本发明中，术语“数据获取平台”是指获取数据的平台，通过程序和接口自动浏览网页数据，整合数据并存储的装置。
本发明中所监控的数据包括但不限于分析数据、跟踪数据和全局数据。
术语“Grafana”是一个开源的可视化监控数据展现平台，具有功能齐全的度量仪表盘和图形编辑器，支持Graphite，InfluxDB、OpenTSDB和ElasticSearch，具有灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式。
术语“API”(Application Programming Interface)，应用程序编程接口，是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。
术语“SDK”(Software Development Kit，软件开发工具包)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
术语“ES”(ElasticSearch)一个由Elastic公司开发的分布式系统搜索架构，能够存储大量数据用于业务搜索。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时联机分析处理(OLAP)，经典的如ELK栈，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上差异较大，在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴，数据量级和集群规模更大，在管理方面也更有挑战。
在本发明应用的场景中，社交数据平台多，需要采集的不同平台也比较多，各个平台原始数据结构不同，需要做适配。有些平台的配置极低，发明人发现使用ELK栈(Elasticsearch、Logstash和Kibana)进行处理时，资源占用太大，时常导致服务器无法工作，系统可靠性降低。由于社交数据对实时性有很高要求，所以监控的时候如果有问题要尽快处理，防止系统问题导致设计数据延迟。
在此情况下，发明人在采集端，利用收集器数据采集单元和SDK数据采集单元适配不同的平台，提高系统健壮性。
收集器数据采集单元提供http接口，存数据很灵活，如果有新的存储内容，直接在请求URL上变动即可。收集器数据采集单元对接各种数据平台，采集系统信息和/或设备信息，所述设备信息包括但不限于：网卡信息、CPU信息、内存、硬盘等。
SDK数据采集单元是将API采集的HTTP请求，按照业务内容进行封装。SDK数据采集单元采集的数据包括任务信息。所述任务信息包括但不限于：监控业务的吞吐量、任务队列长度、任务延时等。所述SDK数据采集单元采集的数据种类根据需要都可以封装在内，因此SDK数据采集单元的采集能力很强，种类多样。所述SDK数据采集单元包括数据整理模块，内部逻辑会对数据进行整理，保证数据格式统一。
在本发明的一些应用场景中，某些过于频繁的采集点拖慢性能，本发明的SDK数据采集单元包括采样模块，按照调用量采样收集数据。本发明的SDK数据采集单元包括聚合模块，数据在采集程序内部聚合处理完之后才发送，这样会减少很多内存。
ElasticSearch单元接收收集器数据收集单元和SDK数据收集单元收集的数据。并在内部进行处理和存储，以待后续分析时候使用。
Elasticsearch是一个基于Lucene的分布式搜索服务器，它存储json格式的文档数据，有基于RESTful的操作接口，利用Elasticsearch可以方便的在任何Web应用中集成搜索应用，另外它有出色的聚合功能(aggregation)能轻松的对数据进行统计分析。
在联机分析处理(OLAP)中，ElasticSearch支持多种聚合统计功能，还和YARN、Hadoop、Hive、Spark、Pig、Flume等大数据框架兼容。比如：可以将ElasticSearch跑在YARN上，还可以在Hive中建立外部表映射到ElasticSearch的Index中，直接在Hive中执行INSERT语句，将数据加载进ElasticSearch。
所谓OLAP，就是从实时表中统计任意组合维度的指标，也就是过滤、分组、聚合，其中，聚合除了一般的SUM、COUNT、AVG、MAX、MIN等，还有一个重要的COUNT(DISTINCT)，看上去这些操作在SQL中是非常简单的统计，但在海量数据、低延迟的要求下，并不是那么容易。在本发明中，在采集端对一些容易出问题的采集点部署SDK数据采集单元，降低了整个系统的数据延迟，并且提高了稳定性。
另外，由于数据展示多样化的要求，Grafana作为展示单元比Kibana灵活得多，对插件的支持更多更好，发明人认为采用Grafana作为展示单元系统更稳定、适应性更强。
在本发明的一些实施方式中，监控单元调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示。
Grafana展示单元主要展示聚合数据。如图4a-图4c，展示的是监控部署在某平台端的爬虫任务的工作状况。
Web展示单元定制化程度更高，主要用于展示Grafana无法展示的非聚合数据，例如跟业务相关的内容。如图3所示，为通过API从某平台上采集的数据。
监视单元、Grafana显示单元和Web展示单元共同完成数据展示和监控的任务。
图1和图2分别示出了本发明系统的不同构建方式，但并不用于限制本发明。本领域技术人员根据图1和图2的提示，可以根据实际需要设置监控单元和报警模块。
所述监控单元包括报警模块，当所监控的数据超过阈值时，启动报警。所述报警模块包括邮件报警和/或电话报警，或其他需要的模式。
所述报警模块也可以设在展示单元内部，例如设置在Grafana显示单元内部。报警模块设置在展示单元内部便于报警的展示，例如颜色变化等。
报警规则可以使用现有的图表控制面板设置，阈值可以通过在用户界面拖拉线控制。Grafana服务器会不断评估设置的规则，在规则条件符合的时候发送出通知。
通过规则配置，可以指定一个名字，规定规则的名字，什么时候评估一次，以及触发报警的条件。
例如条件类型Query，可以指定Query字母，时间跨度和聚合函数。字母指定在Metrics tab里设置的聚合函数。Query的结果和聚合函数会是一个单一的值，用于后面判断是否超过了阈值。
还可以包括其他条件类型，例如Other Alert，允许用户在一个条件中引用另一种报警；还有Time Of Day。
通知支持不同的类型，包括但不限于Slack、PageDuty、Email、Webhook等。
报警状态的改变通过注释存储放在Grafana内部，支持Grafana的内部数据库(例如MySQL、Postgres或SQLite)。Grafana注释存储用于记录存储状态改变，也可以通过注释的形式加入图表评论的功能。
由于展示单元并不一定可以支持所有需要的报警模式，在一些情形下，尤其是应客户的要求，监控单元可以设置独立的报警模块。所述报警模块根据报警规则，在触发报警的条件时，通知相关端口。
通过上述的构造设计，本发明的系统能够支持多平台、实时和历史数据趋势兼顾的社交数据监控。满足每天3000万级别，数据延迟在1分钟以内的监控需求。
本发明的系统实测每日处理3000万以上的监控数据，上线后提高了的平台的稳定性，并为提早发现问题，定位问题和解决问题提供了保障。
额外的考虑因素
下面的额外考虑因素适用于前述讨论。在整个这个说明书中，多个实例可实现被描述为单个实例的部件、操作或结构。虽然一个或多个方法的单独操作被示出和描述为单独的操作，但是单独操作中的一个或多个可被同时执行，且没有事物要求操作以所示顺序执行。在示例配置中被呈现为单独的部件的结构和功能可被实现为组合的结构或部件。类似地，被呈现为单个部件的结构和功能可被实现为单独的部件。这些和其它变形、修改、添加和改进落在本公开的主题的范围内。
此外，某些实施方案在本文被描述为包括逻辑或多个部件、单元或机构。单元可构成软件模块(例如存储在机器可读介质上的代码)或硬件模块。硬件模块是能够执行某些操作并可以以某种方式配置或布置的有形单元。在示例实施方案中，一个或多个计算机系统(例如独立计算机、客户端或服务器计算机系统)或计算机系统(例如处理器或一组处理器)的一个或多个硬件模块可由软件(例如应用或应用部分)配置为操作来执行如在本文描述的某些操作的硬件模块。
在各种实施方案中，可机械或电子地执行硬件模块。例如，硬件模块可包括永久配置(例如作为专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC))成执行某些操作的专用电路或逻辑。硬件模块还可包括临时由软件配置成执行某些操作的可编程逻辑或电路(例如，如包括在通用处理器或其它可编程处理器内的)。将认识到，在专用和永久配置的电路中或在临时配置的电路(例如由软件配置)中机械地实现硬件模块的决定可由成本和时间考虑因素推动。
因此，术语“硬件”应被理解为包括有形实体，是被物理地构造、永久地配置(例如硬连线)或临时配置(例如编程)成以某种方式操作或执行本文描述的某些操作的实体。考虑到硬件模块被临时配置(例如编程)的实施方案，每个硬件模块不需要在任一个时刻被配置或例示。例如，在硬件模块包括使用软件而配置的通用处理器的场合，通用处理器可在不同的时间被配置为相应的不同硬件模块。软件可相应地配置处理器，例如以构成在一个时刻的特定硬件模块并构成在不同的时刻的不同硬件模块。
硬件和软件模块可向其它硬件和/或软件模块提供信息并从其它硬件和/或软件模接收信息。因此，所描述的硬件模块可被视为被通信地耦合。在多个这样的硬件或软件模块同时存在的场合，可通过信号传输(例如在适当的电路和总线上)来实现通信，其连接硬件或软件模块。在多个硬件模块或软件在不同的时间被配置或例示的实施方案中，可例如通过在多个硬件或软件模块访问的存储器结构中的信息的存储和取回来实现在这样的硬件或软件模块之间的通信。例如，一个硬件或软件模块可执行操作并将该操作的输出存储在它通信地耦合到的存储器设备。另一硬件或软件模块可接着在稍后的时间访问存储器设备以取回并处理所存储的输出。硬件和软件模块也可发起与输入或输出设备的通信，并可对资源(例如信息的集合)操作。
本文描述的示例方法的各种操作可至少部分地由临时配置(例如通过软件)或永久配置成执行相关操作的一个或多个处理器执行。不管是临时还是永久地被配置，这样的处理器都可构成操作来执行一个或多个操作或功能的处理器实现的模块。在本文提到的模块可在一些示例实施方案中包括处理器实现的模块。
类似地，本文描述的方法或例程可至少部分地是处理器实现的。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的硬件模块执行。某些操作的执行可分布在一个或多个处理器当中，不仅存在于单个机器内，而且部署在多个机器当中。在一些示例实施方案中，一个或多个处理器可位于单个位置上(例如在家庭环境、办公室环境内或作为服务器农场)，而在其它环境中，处理器可分布在多个位置当中。
一个或多个处理器也可操作来支持在“云计算”环境中的相关操作的执行或作为SaaS。例如，如上面指示的，至少一些操作可由一组计算机(作为包括处理器的机器的例子)执行，这些操作是经由网络(例如互联网)和经由一个或多个适当的接口(例如API)可访问的。
某些操作的执行可分布在一个或多个处理器当中，不仅存在于单个机器内，而且部署在多个机器当中。在一些示例实施方案中，一个或多个处理器或处理器实现的模块可位于单个地理位置中(例如在家庭环境、办公室环境内或作为服务器农场)。在其它示例实施方案中，一个或多个处理器或处理器实现的模块可分布在多个地理位置当中。
本发明不限于上述实施方式，在本发明思想的范围内可以进行各种变更。本发明已通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (10)

1.一种社交数据监控系统，其包括：
ES单元，数据存储和搜索；
收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；
SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；
监控单元，其调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示；
Grafana展示单元，通过Grafana显示数据；
Web展示单元，通过网页展示数据。
2.根据权利要求1所述的系统，其中所述收集器数据采集单元采集的数据包括系统信息和设备信息。
3.根据权利要求1所述的系统，其中所述SDK数据采集单元采集的数据包括任务信息。
4.根据权利要求1所述的系统，其中所述SDK数据采集单元包括采样模块，按照调用量采样收集数据。
5.根据权利要求1所述的系统，其中所述SDK数据采集单元包括数据整理模块，保证数据格式统一。
6.根据权利要求1所述的系统，其中所述SDK数据采集单元包括聚合模块，对采集到的数据进行聚合处理。
7.根据权利要求1所述的系统，其中所述监控单元包括报警模块，当所监控的数据超过阈值时，启动报警。
8.根据权利要求7所述的系统，其中所述报警模块包括邮件报警和/或电话报警。
9.根据权利要求1所述的系统，其中所述Grafana展示单元也可包括报警模块，在报警模块中设定阈值，当数据超过阈值时，通过Grafana展示单元的UI组件渲染展示。
10.根据权利要求3所述的系统，其中所述任务信息包括监控业务的吞吐量、任务队列长度、任务延时中的一种或多种。
CN201710559491.7A 2017-07-11 2017-07-11 一种社交数据监控系统 Pending CN107463479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710559491.7A CN107463479A (zh) 2017-07-11 2017-07-11 一种社交数据监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710559491.7A CN107463479A (zh) 2017-07-11 2017-07-11 一种社交数据监控系统

Publications (1)

Publication Number Publication Date
CN107463479A true CN107463479A (zh) 2017-12-12

Family

ID=60543925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710559491.7A Pending CN107463479A (zh) 2017-07-11 2017-07-11 一种社交数据监控系统

Country Status (1)

Country Link
CN (1) CN107463479A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133017A (zh) * 2017-12-21 2018-06-08 广州市申迪计算机系统有限公司 一种多数据源采集配置方法及装置
CN108512719A (zh) * 2018-03-02 2018-09-07 南京易捷思达软件科技有限公司 一种基于开源云平台的一体化资源监控系统
CN109639472A (zh) * 2018-12-04 2019-04-16 科大国创软件股份有限公司 基于Grafana的容器云平台的集成告警控制方法及系统
CN110442503A (zh) * 2019-07-29 2019-11-12 深圳数位传媒科技有限公司 一种应用日志指标的告警方法与装置
WO2019237533A1 (zh) * 2018-06-12 2019-12-19 平安科技（深圳）有限公司 业务系统调用influxdb数据库的方法、存储介质、终端设备及装置
WO2020024342A1 (zh) * 2018-07-31 2020-02-06 网宿科技股份有限公司 一种数据的解析方法及装置
CN111078721A (zh) * 2018-10-18 2020-04-28 网宿科技股份有限公司 一种查询语句的解析、解析结果的处理方法及系统
CN112835880A (zh) * 2021-01-28 2021-05-25 山东浪潮通软信息科技有限公司 一种基于SaaS的监控预警系统、方法及设备
CN112965718A (zh) * 2021-05-19 2021-06-15 南京视察者智能科技有限公司 web前端错误及性能监控的SDK模块及其调用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077021A (zh) * 2012-12-28 2013-05-01 深圳市彩讯科技有限公司 一种通用的手机软件综合发展数据分析系统及分析方法
CN103856366A (zh) * 2012-12-06 2014-06-11 腾讯科技（深圳）有限公司 一种平台数据监控方法及系统
US20150358391A1 (en) * 2012-12-21 2015-12-10 Bmc Software, Inc. Application Monitoring for Cloud-Based Architectures
CN105933175A (zh) * 2016-07-14 2016-09-07 微额速达（上海）金融信息服务有限公司 实时监控预警系统
CN106027415A (zh) * 2016-05-25 2016-10-12 努比亚技术有限公司 数据上报装置及方法
CN106611345A (zh) * 2015-10-23 2017-05-03 北京国双科技有限公司 一种采集用户行为数据的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856366A (zh) * 2012-12-06 2014-06-11 腾讯科技（深圳）有限公司 一种平台数据监控方法及系统
US20150358391A1 (en) * 2012-12-21 2015-12-10 Bmc Software, Inc. Application Monitoring for Cloud-Based Architectures
CN103077021A (zh) * 2012-12-28 2013-05-01 深圳市彩讯科技有限公司 一种通用的手机软件综合发展数据分析系统及分析方法
CN106611345A (zh) * 2015-10-23 2017-05-03 北京国双科技有限公司 一种采集用户行为数据的方法及装置
CN106027415A (zh) * 2016-05-25 2016-10-12 努比亚技术有限公司 数据上报装置及方法
CN105933175A (zh) * 2016-07-14 2016-09-07 微额速达（上海）金融信息服务有限公司 实时监控预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JX战壕: "Grafana与Elasticsearch", 《HTTPS://BLOG.51CTO.COM/XUJPXM/1940439》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133017A (zh) * 2017-12-21 2018-06-08 广州市申迪计算机系统有限公司 一种多数据源采集配置方法及装置
CN108512719A (zh) * 2018-03-02 2018-09-07 南京易捷思达软件科技有限公司 一种基于开源云平台的一体化资源监控系统
CN108512719B (zh) * 2018-03-02 2021-06-08 南京易捷思达软件科技有限公司 一种基于开源云平台的一体化资源监控系统
WO2019237533A1 (zh) * 2018-06-12 2019-12-19 平安科技（深圳）有限公司 业务系统调用influxdb数据库的方法、存储介质、终端设备及装置
CN110781211A (zh) * 2018-07-31 2020-02-11 网宿科技股份有限公司 一种数据的解析方法及装置
WO2020024342A1 (zh) * 2018-07-31 2020-02-06 网宿科技股份有限公司 一种数据的解析方法及装置
CN110781211B (zh) * 2018-07-31 2022-04-05 网宿科技股份有限公司 一种数据的解析方法及装置
CN111078721A (zh) * 2018-10-18 2020-04-28 网宿科技股份有限公司 一种查询语句的解析、解析结果的处理方法及系统
CN111078721B (zh) * 2018-10-18 2023-06-23 网宿科技股份有限公司 一种查询语句的解析、解析结果的处理方法及系统
CN109639472A (zh) * 2018-12-04 2019-04-16 科大国创软件股份有限公司 基于Grafana的容器云平台的集成告警控制方法及系统
CN110442503A (zh) * 2019-07-29 2019-11-12 深圳数位传媒科技有限公司 一种应用日志指标的告警方法与装置
CN112835880A (zh) * 2021-01-28 2021-05-25 山东浪潮通软信息科技有限公司 一种基于SaaS的监控预警系统、方法及设备
CN112965718A (zh) * 2021-05-19 2021-06-15 南京视察者智能科技有限公司 web前端错误及性能监控的SDK模块及其调用方法

Similar Documents

Publication Publication Date Title
CN107463479A (zh) 一种社交数据监控系统
US10560465B2 (en) Real time anomaly detection for data streams
US11609839B2 (en) Distributed code tracing system
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
US11775501B2 (en) Trace and span sampling and analysis for instrumented software
CN110457190B (zh) 一种基于区块链的全链路监控方法、装置及系统
EP4099170B1 (en) Method and apparatus of auditing log, electronic device, and medium
CN111901192B (zh) 一种页面访问数据的统计方法及装置
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
CN113987074A (zh) 分布式服务全链路监控方法、装置、电子设备及存储介质
CN106815125A (zh) 一种日志审计方法及平台
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
CN109885453B (zh) 基于流数据处理的大数据平台监控系统
CN111352800A (zh) 大数据集群监控方法及相关设备
CN111046022A (zh) 一种基于大数据技术的数据库审计方法
US10657099B1 (en) Systems and methods for transformation and analysis of logfile data
WO2022252512A1 (zh) 根因分析方法、装置、电子设备、介质和程序
CN112182004B (zh) 实时查看数据方法、装置、计算机设备及存储介质
CN106330990A (zh) B/s结构的性能监控分析系统和方法
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
CN111061802A (zh) 一种电力数据管理处理方法、装置及存储介质
CN109271453A (zh) 一种数据库容量的确定方法和装置
CN109614380A (zh) 日志处理方法、系统、计算机设备及可读介质
CN113312321A (zh) 一种业务量的异常监测方法及相关设备
CN110650126A (zh) 一种防网站流量攻击方法、装置以及智能终端、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171212

WD01 Invention patent application deemed withdrawn after publication