CN112416699A - 指标数据收集方法及系统 - Google Patents

指标数据收集方法及系统 Download PDF

Info

Publication number
CN112416699A
CN112416699A CN202010506901.3A CN202010506901A CN112416699A CN 112416699 A CN112416699 A CN 112416699A CN 202010506901 A CN202010506901 A CN 202010506901A CN 112416699 A CN112416699 A CN 112416699A
Authority
CN
China
Prior art keywords
index
data
information
component
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010506901.3A
Other languages
English (en)
Inventor
唐君行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010506901.3A priority Critical patent/CN112416699A/zh
Publication of CN112416699A publication Critical patent/CN112416699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种指标数据收集方法、系统及装置，该方法包括：接收前端发送的指标信息，其中，前端包括多个客户端；获取后端指标及与后端指标对应的指标转换方式；根据后端指标，将指标信息按照指标转换方式进行转换，得到对应的指标数据；将指标数据发送至指标采集组件中，以使指标采集组件将指标数据保存至预设的数据库中。本申请通过根据后端指标，将从前端接收到的指标信息按照所述后端指标对应的指标转换方式，将所述指标信息转换成对应的指标数据，并将指标数据发送至指标采集组件中，能够实现跨用户指标的收集。

Description

指标数据收集方法及系统
技术领域
本申请涉及数据处理技术领域，具体涉及一种指标数据收集方法及系统。
背景技术
在现有的软件架构中，分为前端和后端。前端用于用户的交互，后端则用于业务逻辑处理和数据存储。在软件运行过程中，为了让工程师更好的掌控系统的状态，通常需要记录运行日志，而且日志的数量巨大。现有的日志收集均为前端的日志收集，也即在前端收集日志，然后将收集到的日志发送至后端服务器保存，此种日志收集方法不能实现跨用户指标的收集。
发明内容
本申请的目的在于提供一种指标数据收集方法、系统、计算机设备及可读存储介质，用于解决现有技术中不能实现跨用户指标的收集的缺陷。
根据本申请的一个方面，提供了一种指标数据收集方法，该方法包括如下步骤：
接收前端发送的指标信息，其中，所述前端包括多个客户端；
获取后端指标及与所述后端指标对应的指标转换方式；
根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据；
将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
可选地，所述接收前端发送的指标信息包括：
通过API方式从所述前端接收API请求；
对所述API请求进行解析，得到所述指标信息。
可选地，所述指标信息包括指标和指标值，所述根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据，包括：
根据所述后端指标，从所述指标信息中筛选出与所述后端指标对应的目标指标信息；
将所述目标指标信息中的指标值进行累加，得到所述指标数据。
可选地，所述指标采集组件包括Prometheus指标采集组件。
为实现上述目的，本申请还提供一种指标数据收集系统，包括：前端、指标聚合组件和指标采集组件，其中：
所述前端将指标信息发送至所述指标聚合组件，其中，所述前端包括多个客户端；
所述指标聚合组件接收所述指标信息，将所述指标信息转换成对应的指标数据，并将所述指标数据发送至所述指标采集组件；
所述指标采集组件接收所述指标数据，并将所述指标数据保存至预设的数据库中；
所述数据可视化组件接收所述指标数据，并将所述指标数据显示。
可选地，所述指标信息包括指标、标签和指标值，所述指标聚合组件将所述指标信息转换成对应的指标数据，包括：
所述指标聚合组件获取后端指标及与所述后端指标对应的指标转换方式；
所述指标聚合组件根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到所述指标数据。
可选地，所述指标聚合组件根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到所述指标数据，包括：
根据所述后端指标，从所述指标信息中筛选出目标指标信息；
将所述目标指标信息中的指标值进行累加，得到所述指标数据。
可选地，所述指标数据收集系统还包括数据可视化组件：
所述指标采集组件还将所述指标数据发送至所述数据可视化组件；
所述数据可视化组件接收所述指标数据，并将所述指标数据显示；
其中，所述数据可视化组件将所述指标数据显示，包括：
所述数据可视化组件将所述指标数据进行渲染，得到对应的图表，并将所述图表显示。
为了实现上述目的，本申请还提供一种指标数据收集装置，该系统具体包括以下组成部分：
接收模块，用于接收前端发送的指标信息，其中，所述前端包括多个客户端；
获取模块，用于获取后端指标及与所述后端指标对应的指标转换方式；
转换模块，用于根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据；
保存模块，用于将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
为了实现上述目的，本申请还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的指标数据收集方法的步骤。
为了实现上述目的，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的指标数据收集方法的步骤。
本申请提供的指标数据收集方法、系统、装置、计算机设备及可读存储介质，根据后端指标，将从前端接收到的指标信息按照所述后端指标对应的指标转换方式，将所述指标信息转换成对应的指标数据，并将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。本申请通过将前端(多个客户端)发送的指标信息进行转换，实现了跨用户指标的收集。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本公开实施例提供的指标数据收集法的一种可选的应用环境图；
图2为本公开实施例提供的指标数据收集方法的一种可选的流程示意图；
图3为本公开实施例提供的指标数据收集装置的一种可选的程序模块示意图；
图4为本公开实施例提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
名词解释
Prometheus：一种“指标收集”解决方案，实现指标的筛选、可视化和组合比较等功能。
指标收集：在“日志收集”的解决方案中，往往因为需要收集的日志量过大，无法及时计算出需要的指标，这时需要在每个软件实例的内存中进行一次累加运算，通过某种方式直接输出指标。
日志收集：在软件运行过程中，为了让工程师更好的掌控系统的状态，通常需要记录运行日志，这种日志的数量往往很多，需要一种成熟的方案来进行收集，这种方案称为“日志收集”解决方案。
日志：记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。
指标聚合组件：一种使用后端进行日志中指标聚合的组件。
前端：负责用户的交互，并配合后端进行网页的数据显示和交互。
后端：负责业务逻辑处理，实现与前端的数据交互及数据存储和读取。
下面结合附图对本申请提供的指标数据收集方法进行说明。
图1为本申请指标数据收集方法的一种可选的应用环境图。如图1所示，图1包括前端和后端，其中后端包括：指标聚合组件、指标采集组件和数据可视化组件。图1中所述指标聚合组件简称为Webprom，所述指标采集组件以Prometheus指标采集组件为例进行说明。所述前端将指标信息发送至所述Webprom，所述Webprom对所述指标信息进行处理，并将处理结果发送至所述Prometheus指标采集组件。所述Prometheus指标采集组件接收到处理结果后，将该处理结果保存并发送至所述数据可视化组件。所述数据可视化组件从所述Prometheus指标采集组件获取到所述处理结果后，将所述处理结果显示。需要说明的是，在实际应用中，前端可以包括多个客户端，图1中仅以前端为例进行说明，但不构成对本申请的限定。
图2为本申请指标数据收集方法的一种可选的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定，下面以计算机设备为执行主体进行示例性描述。所述计算机设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便携式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
如图2所示，该方法具体包括以下步骤：
步骤S100：接收前端发送的指标信息，其中，所述前端包括多个客户端。
在实际应用中，在对用户日志进行收集时，均是前端进行日志的收集。现有的做法包括前端日志收集和前端日志聚合。前端日志收集是通过埋点的方式，当前端每侦测到用户的操作信息，则均将该操作信息计入至日志中，并将该日志发送至服务器。示例性地，若用户在时间t执行点击操作，则将时间t执行点击操作的信息计入至日志中，并将该日志发送至服务器。当服务器接收到前端发送的日志时，对该日志进行处理，以统计出各个指标数据。然而，这种方式由于用户操作的频繁性，导致日志的请求次数过多；由于日志的数据量多，导致指标数据的收集不及时，严重降低了系统性能。前端日志聚合是在且仅在触发记录的次数达到预设次数的情况下，前端通过对指标“累加”进行日志的聚合。例如：在预设的时间内，用户对视频B执行了100个操作，则产生了100条日志，其中执行点击操作和播放操作的次数查过预设次数，通过指标“累加”，日志聚合结果为点击操作和播放操作均各10次。然而，这种做法只能将单一用户的日志进行聚合，而并不能实现跨用户的日志收集和聚合，且只能在触发次数达到预设次数的特定场景下进行单一用户日志的聚合。例如：当用户A打开浏览器时，只能在当前网页或客户端中进行单个用户指标的聚合，并不能实现这个地区用户的指标聚合。
在示例性的实施例中，前端的每个客户端通过对日志中各个预设指标进行“累加”，并将“累加”后的指标信息发送至所述计算机设备，极大地减少了日志的请求次数。然后，所述计算机设备接收前端发送的指标信息。所述指标信息包括指标和指标值。所述指标用于反映监控或采集的是什么，所述指标值用于反映所述指标的数值。在实际应用中，所述指标信息还包括标签，所述标签用于反映样本的维度，也即对所述指标的细化。如表1，为一示例性的指标信息，其中，指标名称即为所述指标。
表1
Figure BDA0002526841490000051
在示例性的实施例中，所述步骤S100包括：通过API方式从所述前端接收API请求；对所述API请求进行解析，得到所述指标信息。
具体地，前端通过应用程序接口(Application Programming Interface，API)的方式将API请求发送至所述计算机设备，所述API请求包括请求体。然后，所述计算机设备接收所述API请求，并根据预设规则对所述请求体进行解析，以从所述API请求中解析出指标信息。通过API的方式能够快速地获取前端发送的指标信息。
步骤S102：获取后端指标及与所述后端指标对应的指标转换方式。
具体地，所述后端指标指的是后端需要统计的指标，例如，视频B的播放量，视频B的播放时长。在一示例性的实施例中，所述与所述后端指标对应的指标转换方式可以为将所述后端指标的指标数值进行累加计算。例如，将播放视频B时长的指标数值进行累加计算。在另一示例性的实施例中，所述指标转换方式还可以为将所述后端指标的指标数据进行归一化处理，然后对归一化处理后的数据进行累加；在另一示例性的实施例中，所述指标转换方式还可以先确定与各个所述后端指标的指标数据相对应的权重(如根据每个用户确定与所述用户相对应的权重值)，然后对所述指标数据进行加权处理。在另一示例性的实施例中，所述与所述后端指标对应的指标转换方式还可以为根据用户的相同行为进行累加。例如，根据用户访问页面C的行为进行累加，也即用户每访问一次页面C，则对应的数值加1；将用户拖动进度条的行为进行累加，也即用户每拖动一次进度条，则对应的数值加1。
步骤S104：根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据。
具体地，由于所述前端发送的指标信息中存在多个指标，若所述指标信息中存在所述后端指标，则根据所述后端指标，将所述指标信息按照与所述后端指标对应的指标转换方式进行转换，并将转换后得到的指标数据存储至内存中。示例性地，若后端指标为用户的播放视频B数量的指标，则将从前端接收到的指标信息按照播放视频B数量的指标转换方式进行转换。
在示例性的实施例中，所述步骤S104可以包括：根据所述后端指标，从所述指标信息中筛选出目标指标信息；将所述目标指标信息中的指标值进行累加，得到所述指标数据。
具体地，若所述指标信息中存在后端指标，则从所述指标信息中筛选出目标指标信息，所述目标指标信息的指标为后端指标。然后将所述目标指标信息中的指标值进行累加，进而得到所述指标数据。例如，后端指标为播放视频B数量，则从所述指标信息中筛选出指标为播放视频B数量的目标指标信息，并将所述目标指标信息中的指标值进行累加，得到播放视频B的指标数据。本申请实施例通过将前端的指标信息中的数值进行累加，实现了跨用户指标的聚合，并且极大地提高了指标数据的及时性。
步骤S106：将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
所述计算机设备在将转换后的所述指标数据发送至所述指标采集组件后，所述指标采集组件还将所述指标数据发送至数据可视化组件，数据可视化组件接收到所述指标数据之后，将所述指标数据渲染成对应的图表，并将所述图表显示。所述指标采集组件可以为Prometheus指标采集组件。
本申请实施例提供的指标数据收集方法，根据后端指标，将从前端接收到的指标信息按照所述后端指标对应的指标转换方式，将所述指标信息转换成对应的指标数据，并将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。本申请通过将前端(多个客户端)发送的指标信息进行转换，实现了跨用户指标的收集。
基于上述实施例提供的指标数据收集方法，本实施例还提供一种指标数据收集系统。请参阅图1，所述指标数据收集系统包括前端、指标聚合组件、指标采集组件和数据可视化组件，其中：
所述前端将指标信息发送至所述指标聚合组件，其中，所述前端包括多个客户端。
在实际应用中，在对用户日志进行收集时，均是前端进行日志的收集。现有的做法包括前端日志收集和前端日志聚合。前端日志收集是通过埋点的方式，当前端每侦测到用户的操作信息，则均将该操作信息计入至日志中，并将该日志发送至服务器。示例性地，若用户在时间t执行点击操作，则将时间t执行点击操作的信息计入至日志中，并将该日志发送至服务器。当服务器接收到前端发送的日志时，对该日志进行处理，以统计出各个指标数据。然而，这种方式由于用户操作的频繁性，导致日志的请求次数过多；由于日志的数据量多，导致指标数据的收集不及时，严重降低了系统性能。前端日志聚合是在且仅在触发记录的次数达到预设次数的情况下，前端通过对指标“累加”进行日志的聚合。例如：在预设的时间内，用户对视频B执行了100个操作，则产生了100条日志，其中执行点击操作和播放操作的次数查过预设次数，通过指标“累加”，日志聚合结果为点击操作和播放操作均各10次。然而，这种做法只能将单一用户的日志进行聚合，而并不能实现跨用户的日志收集和聚合，且只能在触发次数达到预设次数的特定场景下进行单一用户日志的聚合。例如：当用户A打开浏览器时，只能在当前网页或客户端中进行单个用户指标的聚合，并不能实现这个地区用户的指标聚合。
在本实施例中，各个前端通过对各个预设指标进行“累加”，并将“累加”后的指标信息发送至所述计算机设备，极大地减少了日志的请求次数。所述指标信息包括指标和指标值。所述指标用于反映监控或采集的是什么，所述指标值用于反映所述指标的数值。在实际应用中，所述指标信息还包括标签，所述标签用于反映样本的维度，也即对所述指标的细化。如表1，为一示例性的指标信息，其中，指标名称即为所述指标。
表1
Figure BDA0002526841490000071
所述指标聚合组件接收所述指标信息，将所述指标信息转换成对应的指标数据，并将所述指标数据发送至所述指标采集组件。
在示例性的实施例中，所述指标聚合组件将所述指标信息转换成对应的指标数据，包括：
所述指标聚合组件获取后端指标及与所述后端指标对应的指标转换方式；所述指标聚合组件根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到所述指标数据。
具体地，所述后端指标指的是后端需要统计的指标，例如，视频B的播放量，视频B的播放时长。在一示例性的实施例中，所述与所述后端指标对应的指标转换方式可以为将所述后端指标的指标数值进行累加计算。例如，将播放视频B时长的指标数值进行累加计算。在另一示例性的实施例中，所述指标转换方式还可以为将所述后端指标的指标数据进行归一化处理，然后对归一化处理后的数据进行累加；在另一示例性的实施例中，所述指标转换方式还可以先确定与各个所述后端指标的指标数据相对应的权重(如根据每个用户确定与所述用户相对应的权重值)，然后对所述指标数据进行加权处理。在另一示例性的实施例中，所述与所述后端指标对应的指标转换方式还可以为根据用户的相同行为进行累加。例如，根据用户访问页面C的行为进行累加，也即用户每访问一次页面C，则对应的数值加1；将用户拖动进度条的行为进行累加，也即用户每拖动一次进度条，则对应的数值加1。
由于所述前端发送的指标信息中存在多个指标，若所述指标信息中存在所述后端指标，则根据所述后端指标，将所述指标信息按照与所述后端指标对应的指标转换方式进行转换。示例性地，若后端指标为用户的播放视频B数量的指标，则将从前端接收到的指标信息按照播放视频B数量的指标转换方式进行转换，并将转换后得到的指标数据存储至内存中。指标聚合组件通过将前端的指标信息转换成指标数据，实现了跨用户指标的收集。
在示例性的实施例中，所述指标聚合组件根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到所述指标数据，包括：
根据所述后端指标，从所述指标信息中筛选出目标指标信息；将所述目标指标信息中的指标值进行累加，得到所述指标数据。
具体地，若所述指标信息中存在后端指标，则从所述指标信息中筛选出目标指标信息，所述目标指标信息的指标为后端指标。然后将所述目标指标信息中的指标值进行累加，进而得到所述指标数据。例如，后端指标为播放视频B数量，则从所述指标信息中筛选出指标为播放视频B数量的目标指标信息，并将所述目标指标信息中的指标值进行累加，得到播放视频B的指标数据。本申请实施例通过将前端的指标信息中的数值进行累加，实现了跨用户指标的聚合，并且极大地提高了指标数据的及时性。
在示例性的实施例中，所述指标聚合组件获取后端指标和与所述后端指标对应的指标转换方式，包括：
通过API方式从所述前端接收API请求；对所述API请求进行解析，得到所述指标信息。
具体地，前端通过应用程序接口(Application Programming Interface，API)的方式将API请求发送至所述计算机设备，所述API请求包括请求体。然后，所述指标聚合组件接收所述API请求，并根据预设规则对所述请求体进行解析，以从所述API请求中解析出指标信息。通过API的方式能够快速地获取前端发送的指标信息。
所述指标采集组件接收所述指标数据，并将所述指标数据保存至预设的数据库中。
在一示例性的实施例中，所述指标数据收集系统还包括数据可视化组件：所述指标采集组件还将所述指标数据发送至所述数据可视化组件；所述数据可视化组件接收所述指标数据，并将所述指标数据显示。所述数据可视化组件将所述指标数据显示，包括：所述数据可视化组件将所述指标数据进行渲染，得到对应的图表，并将所述图表显示。本实施例的数据可视化组件通过将所述指标数据渲染成图表，实现指标数据的直观显示。所述指标采集组件可以为Prometheus指标采集组件。
本申请实施例提供的指标数据收集系统，通过指标聚合组件将前端的指标信息转换成对应的指标数据，然后，指标聚合组件将指标数据发送至指标采集组件，通过指标聚合组件实现了前端和指标采集组件的交互，并实现了跨用户指标的收集。
基于上述实施例中提供的指标数据收集方法，本实施例中提供一种指标数据收集装置。具体地，图3示出了该指标数据收集系统的可选的结构框图，该指标数据收集系统被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请。本申请所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述指标数据收集系统在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图3所示，指标数据收集系统具体包括以下组成部分：
接收模块201，用于接收前端发送的指标信息，其中，所述前端包括多个客户端。
在实际应用中，在对用户日志进行收集时，均是前端进行日志的收集。现有的做法包括前端日志收集和前端日志聚合。前端日志收集是通过埋点的方式，当前端每侦测到用户的操作信息，则均将该操作信息计入至日志中，并将该日志发送至服务器。示例性地，若用户在时间t执行点击操作，则将时间t执行点击操作的信息计入至日志中，并将该日志发送至服务器。当服务器接收到前端发送的日志时，对该日志进行处理，以统计出各个指标数据。然而，这种方式由于用户操作的频繁性，导致日志的请求次数过多；由于日志的数据量多，导致指标数据的收集不及时，严重降低了系统性能。前端日志聚合是在且仅在触发记录的次数达到预设次数的情况下，前端通过对指标“累加”进行日志的聚合。例如：在预设的时间内，用户对视频B执行了100个操作，则产生了100条日志，其中执行点击操作和播放操作的次数查过预设次数，通过指标“累加”，日志聚合结果为点击操作和播放操作均各10次。然而，这种做法只能将单一用户的日志进行聚合，而并不能实现跨用户的日志收集和聚合，且只能在触发次数达到预设次数的特定场景下进行单一用户日志的聚合。例如：当用户A打开浏览器时，只能在当前网页或客户端中进行单个用户指标的聚合，并不能实现这个地区用户的指标聚合。
在本实施例中，各个前端通过对各个预设指标进行“累加”，并将“累加”后的指标信息发送至所述计算机设备，极大地减少了日志的请求次数。然后，所述接收模块201接收个前端发送的指标信息。所述指标信息包括指标和指标值。所述指标用于反映监控或采集的是什么，所述指标值用于反映所述指标的数值。在实际应用中，所述指标信息还包括标签，所述标签用于反映样本的维度，也即对所述指标的细化。如表1，为一示例性的指标信息，其中，指标名称即为所述指标。
表1
Figure BDA0002526841490000091
在示例性的实施例中，所述接收模块201还用于：通过API方式从所述前端接收API请求；对所述API请求进行解析，得到所述指标信息。
具体地，前端通过应用程序接口(Application Programming Interface，API)的方式将API请求发送至所述计算机设备，所述API请求包括请求体。然后，所述接收模块201接收所述API请求，并根据预设规则对所述请求体进行解析，以从所述API请求中解析出指标信息。通过API的方式能够快速地获取前端发送的指标信息。
获取模块202，用于获取后端指标及与所述后端指标对应的指标转换方式。
具体地，所述后端指标指的是后端需要统计的指标，例如，视频B的播放量，视频B的播放时长。在一示例性的实施例中，所述与所述后端指标对应的指标转换方式可以为将所述后端指标的指标数值进行累加计算。例如，将播放视频B时长的指标数值进行累加计算。在另一示例性的实施例中，所述指标转换方式还可以为将所述后端指标的指标数据进行归一化处理，然后对归一化处理后的数据进行累加；在另一示例性的实施例中，所述指标转换方式还可以先确定与各个所述后端指标的指标数据相对应的权重(如根据每个用户确定与所述用户相对应的权重值)，然后对所述指标数据进行加权处理。在另一示例性的实施例中，所述与所述后端指标对应的指标转换方式还可以为根据用户的相同行为进行累加。例如，根据用户访问页面C的行为进行累加，也即用户每访问一次页面C，则对应的数值加1；将用户拖动进度条的行为进行累加，也即用户每拖动一次进度条，则对应的数值加1。
转换模块203，用于根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据。
具体地，由于所述前端发送的指标信息中存在多个指标，若所述指标信息中存在所述后端指标，则所述转换模块203根据所述后端指标，将所述指标信息按照与所述后端指标对应的指标转换方式进行转换，并将转换后得到的指标数据存储至内存中。示例性地，若后端指标为用户的播放视频B数量的指标，则所述转换模块203将从前端接收到的指标信息按照播放视频B数量的指标转换方式进行转换。
在示例性的实施例中，所述转换模块203可以用于：根据所述后端指标，从所述指标信息中筛选出目标指标信息；将所述目标指标信息中的指标值进行累加，得到所述指标数据。
具体地，若所述指标信息中存在后端指标，则从所述指标信息中筛选出目标指标信息，所述目标指标信息的指标为后端指标。然后将所述目标指标信息中的指标值进行累加，进而得到所述指标数据。例如，后端指标为播放视频B数量，则从所述指标信息中筛选出指标为播放视频B数量的目标指标信息，并将所述目标指标信息中的指标值进行累加，得到播放视频B的指标数据。本申请实施例通过将前端的指标信息中的数值进行累加，实现了跨用户指标的聚合，并且极大地提高了指标数据的及时性。
保存模块204，用于将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
在示例性的实施例中，所述指标采集组件接收到所述指标数据后，将所述指标数据发送至数据可视化组件。数据可视化组件接收到所述指标数据之后，将所述指标数据渲染成对应的图表，并将所述图表显示。所述指标采集组件可以为Prometheus指标采集组件。
本申请实施例提供的指标数据收集装置，根据后端指标，将从前端接收到的指标信息按照所述后端指标对应的指标转换方式，将所述指标信息转换成对应的指标数据，并将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。本申请通过将前端(多个客户端)发送的指标信息进行转换，实现了跨用户指标的收集。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图4所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是，图4仅示出了具有组件301-302的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器301可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器301也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器301还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中，存储器301通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如上述实施例的指标数据收集装置的程序代码等。此外，存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制计算机设备30的总体操作。
具体的，在本实施例中，处理器302用于执行处理器302中存储的指标数据收集方法的程序，所述指标数据收集方法的程序被执行时实现如下步骤：
接收前端发送的指标信息，其中，所述前端包括多个客户端；
获取后端指标及与所述后端指标对应的指标转换方式；
根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据；
将所述指标数据发送至指标采集组件中，以使所述指标采集组件通过数据可视化组件将所述指标数据保存至预设的数据库中。
上述方法步骤的具体实施例过程可参见上述实施例，本实施例在此不再重复赘述。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
接收前端发送的指标信息，其中，所述前端包括多个客户端；
获取后端指标及与所述后端指标对应的指标转换方式；
根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据；
将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
上述方法步骤的具体实施例过程可参见上述实施例，本实施例在此不再重复赘述。
本实施例提供的计算机设备及可读存储介质，根据后端指标，将从前端接收到的指标信息按照所述后端指标对应的指标转换方式，将所述指标信息转换成指标数据，实现了跨用户指标的收集。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种指标数据收集方法，其特征在于，所述方法包括：
接收前端发送的指标信息，其中，所述前端包括多个客户端；
获取后端指标及与所述后端指标对应的指标转换方式；
根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据；
将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
2.如权利要求1所述的指标数据收集方法，其特征在于，所述接收前端发送的指标信息包括：
通过API方式从所述前端接收API请求；
对所述API请求进行解析，得到所述指标信息。
3.如权利要求1所述的指标数据收集方法，其特征在于，所述指标信息包括指标和指标值，所述根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据，包括：
根据所述后端指标，从所述指标信息中筛选出与所述后端指标对应的目标指标信息；
将所述目标指标信息中的指标值进行累加，得到所述指标数据。
4.如权利要求1所述指标数据收集方法，其特征在于，所述指标采集组件包括Prometheus指标采集组件。
5.一种指标数据收集系统，其特征在于，所述系统包括前端、指标聚合组件和指标采集组件，其中：
所述前端将指标信息发送至所述指标聚合组件，其中，所述前端包括多个客户端；
所述指标聚合组件接收所述指标信息，将所述指标信息转换成对应的指标数据，并将所述指标数据发送至所述指标采集组件；
所述指标采集组件接收所述指标数据，并将所述指标数据保存至预设的数据库中。
6.如权利要求5所述的指标数据收集系统，其特征在于，所述指标信息包括指标、标签和指标值，所述指标聚合组件将所述指标信息转换成对应的指标数据，包括：
所述指标聚合组件获取后端指标及与所述后端指标对应的指标转换方式；
所述指标聚合组件根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到所述指标数据。
7.如权利要求6所述的指标数据收集系统，其特征在于，所述指标聚合组件根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到所述指标数据，包括：
根据所述后端指标，从所述指标信息中筛选出目标指标信息；
将所述目标指标信息中的指标值进行累加，得到所述指标数据。
8.如权利要求5所述的指标数据收集系统，其特征在于，所述指标数据收集系统还包括数据可视化组件：
所述指标采集组件还将所述指标数据发送至所述数据可视化组件；
所述数据可视化组件接收所述指标数据，并将所述指标数据显示；
其中，所述数据可视化组件将所述指标数据显示，包括：
所述数据可视化组件将所述指标数据进行渲染，得到对应的图表，并将所述图表显示。
9.一种指标数据收集装置，其特征在于，包括：
接收模块，用于接收前端发送的指标信息，其中，所述前端包括多个客户端；
获取模块，用于获取后端指标及与所述后端指标对应的指标转换方式；
转换模块，用于根据所述后端指标，将所述指标信息按照所述指标转换方式进行转换，得到对应的指标数据；
保存模块，用于将所述指标数据发送至指标采集组件中，以使所述指标采集组件将所述指标数据保存至预设的数据库中。
10.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项的所述指标数据收集方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项的所述指标数据收集方法的步骤。
CN202010506901.3A 2020-06-05 2020-06-05 指标数据收集方法及系统 Pending CN112416699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010506901.3A CN112416699A (zh) 2020-06-05 2020-06-05 指标数据收集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010506901.3A CN112416699A (zh) 2020-06-05 2020-06-05 指标数据收集方法及系统

Publications (1)

Publication Number Publication Date
CN112416699A true CN112416699A (zh) 2021-02-26

Family

ID=74844158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010506901.3A Pending CN112416699A (zh) 2020-06-05 2020-06-05 指标数据收集方法及系统

Country Status (1)

Country Link
CN (1) CN112416699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450465A (zh) * 2023-06-14 2023-07-18 建信金融科技有限责任公司 数据处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951517A (zh) * 2015-05-29 2015-09-30 小米科技有限责任公司 行为日志统计方法及装置
CN104969213A (zh) * 2013-01-31 2015-10-07 脸谱公司 用于低延迟数据存取的数据流分割
CN109067862A (zh) * 2018-07-23 2018-12-21 北京邮电大学 API Gateway自动伸缩的方法与装置
CN109726209A (zh) * 2018-09-07 2019-05-07 网联清算有限公司 日志聚合方法及装置
CN109800225A (zh) * 2018-12-24 2019-05-24 北京奇艺世纪科技有限公司 业务指标的获取方法、装置、服务器及计算机可读存储介质
CN110489612A (zh) * 2019-08-26 2019-11-22 秒针信息技术有限公司 一种资讯信息的多指标监控方法及装置
CN111111211A (zh) * 2019-12-25 2020-05-08 上海米哈游天命科技有限公司 游戏数据的上报方法、装置、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969213A (zh) * 2013-01-31 2015-10-07 脸谱公司 用于低延迟数据存取的数据流分割
CN104951517A (zh) * 2015-05-29 2015-09-30 小米科技有限责任公司 行为日志统计方法及装置
CN109067862A (zh) * 2018-07-23 2018-12-21 北京邮电大学 API Gateway自动伸缩的方法与装置
CN109726209A (zh) * 2018-09-07 2019-05-07 网联清算有限公司 日志聚合方法及装置
CN109800225A (zh) * 2018-12-24 2019-05-24 北京奇艺世纪科技有限公司 业务指标的获取方法、装置、服务器及计算机可读存储介质
CN110489612A (zh) * 2019-08-26 2019-11-22 秒针信息技术有限公司 一种资讯信息的多指标监控方法及装置
CN111111211A (zh) * 2019-12-25 2020-05-08 上海米哈游天命科技有限公司 游戏数据的上报方法、装置、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450465A (zh) * 2023-06-14 2023-07-18 建信金融科技有限责任公司 数据处理方法、装置、设备及介质
CN116450465B (zh) * 2023-06-14 2023-09-15 建信金融科技有限责任公司 数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11782989B1 (en) Correlating data based on user-specified search criteria
CN108427705B (zh) 电子装置、分布式系统日志查询方法及存储介质
CN111190888A (zh) 一种管理图数据库集群的方法和装置
CN111198976B (zh) 云上资产关联分析系统、方法、电子设备及介质
CN107133263B (zh) Poi推荐方法、装置、设备及计算机可读存储介质
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN112394908A (zh) 埋点页面自动生成的方法、装置、计算机设备及存储介质
JP2015530666A (ja) データインデックス化方法及び装置
CN110781372B (zh) 一种优化网站的方法、装置、计算机设备及存储介质
US20140317081A1 (en) System and method for session data management
CN103530292A (zh) 网页显示方法和装置
CN110941530B (zh) 监控数据的获取方法、装置、计算机设备和存储介质
CN112486708A (zh) 页面操作数据的处理方法和处理系统
CN111400361A (zh) 数据实时存储方法、装置、计算机设备和存储介质
CN113342619A (zh) 日志监控方法、系统、电子设备及可读介质
CN111258819A (zh) MySQL数据库备份文件的数据获取方法、装置和系统
CN111221711A (zh) 用户行为数据处理方法、服务器及存储介质
CN112416699A (zh) 指标数据收集方法及系统
CN113239251A (zh) 一种埋点数据的处理方法、相关装置及存储介质
CN113688022A (zh) 浏览器性能监控方法、装置、设备和介质
CN117033142A (zh) 用户存储空间的计算方法、装置、物联网平台及介质
CN112416974A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN109684156B (zh) 基于混合模式应用的监控方法、装置、终端及存储介质
CN110737691B (zh) 用于处理访问行为数据的方法和装置
CN116627778A (zh) 业务系统性能监控方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination