CN113672447A - 数据采集方法及装置 - Google Patents

数据采集方法及装置 Download PDF

Info

Publication number
CN113672447A
CN113672447A CN202010413414.2A CN202010413414A CN113672447A CN 113672447 A CN113672447 A CN 113672447A CN 202010413414 A CN202010413414 A CN 202010413414A CN 113672447 A CN113672447 A CN 113672447A
Authority
CN
China
Prior art keywords
monitoring
target
sampling rate
time window
current time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010413414.2A
Other languages
English (en)
Other versions
CN113672447B (zh
Inventor
应金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN202010413414.2A priority Critical patent/CN113672447B/zh
Publication of CN113672447A publication Critical patent/CN113672447A/zh
Application granted granted Critical
Publication of CN113672447B publication Critical patent/CN113672447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3096Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865Monitoring of software
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请提供一种数据采集方法及装置,所述方法包括:在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;当检测到触发事件时,所述触发事件对应目标监控类别,从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率;当依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集时,则基于所述触发事件在当前时间窗内采集所述目标监控类别对应的目标监控数据。应用该方法,可以提高监控数据的保真性,同时有效利用监控系统的资源,降低监控系统的监控压力。

Description

数据采集方法及装置
技术领域
本申请涉及系统监控技术领域,尤其涉及一种数据采集方法及装置。
背景技术
在软件系统中,经常涉及监控软件系统的运行状态、负载压力、服务质量等,这些可以通过采集业务请求次数、系统响应延时等监控数据来进行评判。目前的监控数据采集方式是一种基于固定的采样率进行数据采集的方式,比如每检测到设定数量的触发事件,则在下一次检测到触发事件时基于该触发事件采集监控数据。
然而,这种基于固定的采样率进行数据采集的方式并不能很好地调和监控系统所承受的压力和监控数据保真性之间的矛盾。比如,当设置的采样率较低时,虽然可以有效降低监控系统的监控压力,但是,对于活跃度较低的触发事件而言,以较低的采样率采集到的监控数据很可能失真;再比如,当设置的采样率较高时,对于活跃度较高的触发事件而言,以较高的采样率采集到的监控数据虽然具有很好的保真性,但是也浪费了监控系统的资源,使监控系统承受了不必要的压力。
发明内容
有鉴于此,本申请提供一种数据采集方法,以解决基于固定的采样率进行数据采集的方式并不能很好地调和监控系统所承受的压力和监控数据保真性之间的矛盾的问题。
根据本申请实施例的第一方面,提供一种数据采集方法,所述方法包括:
在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;
当检测到触发事件时,所述触发事件对应目标监控类别,从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率;
当依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集时,则基于所述触发事件在当前时间窗内采集所述目标监控类别对应的目标监控数据。
在一实施例中,所述依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率,包括:
依据之前N个历史时间窗内该监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量;
当所述触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当所述触发事件预估量大于所述设定阈值时,依据所述触发事件预估量和所述设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
在一实施例中,在确定当前时间窗内各监控类别对应的预估采样率之后,所述方法进一步包括:
记录监控类别与当前时间窗内该监控类别对应的预估采样率之间的对应关系;
所述从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率,包括:
以所述目标监控类别为关键字在所述对应关系中查找包含所述该关键字的目标对应关系;
将所述目标对应关系中的预估采样率确定为所述目标监控类别对应的目标预估采样率。
在一实施例中,所述依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集,包括:
按照设定的随机数生成方式生成一个随机数,所述随机数大于等于0且小于等于1;
当所述随机数小于所述目标预估采样率时,确定在当前时间窗内针对所述目标监控类别进行数据采集。
在一实施例中,当检测到触发事件时,所述方法进一步包括:
将当前时间窗口内已记录的与所述目标监控类别对应的触发事件数量增加设定值。
在一实施例中,在采集所述目标监控数据之后,所述方法进一步包括:
按照设定的数据协议将所述目标预估采样率和所述目标监控数据封装成数据报文并将所述数据报文发送至数据中心,以由所述数据中心存储和/或展示所述数据报文。
根据本申请实施例的第二方面,提供一种数据采集装置,所述装置包括:
第一确定模块,用于在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;
第二确定模块,用于当检测到触发事件时,所述触发事件对应目标监控类别,从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率;
采集模块,当依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集时,则基于所述触发事件在当前时间窗内采集所述目标监控类别对应的目标监控数据。
在一实施例中,所述第一确定模块依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率,包括:
依据之前N个历史时间窗内该监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量;
当所述触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当所述触发事件预估量大于所述设定阈值时,依据所述触发事件预估量和所述设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
在一实施例中,所述装置进一步包括:
记录模块,用于记录监控类别与当前时间窗内该监控类别对应的预估采样率之间的对应关系;
所述第二确定模块从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率,包括:
以所述目标监控类别为关键字在所述对应关系中查找包含所述该关键字的目标对应关系;
将所述目标对应关系中的预估采样率确定为所述目标监控类别对应的目标预估采样率。
在一实施例中,所述采集模块依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集,包括:
按照设定的随机数生成方式生成一个随机数,所述随机数大于等于0且小于等于1;
当所述随机数小于所述目标预估采样率时,确定在当前时间窗内针对所述目标监控类别进行数据采集。
在一实施例中,所述装置进一步包括:
统计模块,用于当检测到触发事件时,将当前时间窗口内已记录的与所述目标监控类别对应的触发事件数量增加设定值。
在一实施例中,所述装置进一步包括:
数据上报模块,用于按照设定的数据协议将所述目标预估采样率和所述目标监控数据封装成数据报文并将所述数据报文发送至数据中心,以由所述数据中心存储和/或展示所述数据报文。
根据本申请实施例的第三方面,提供一种电子设备,所述设备包括可读存储介质和处理器;
其中,所述可读存储介质,用于存储机器可执行指令;
所述处理器,用于读取所述可读存储介质上的所述机器可执行指令,并执行所述指令以实现本申请实施例提供的数据采集方法的步骤。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的数据采集方法的步骤。
应用本申请实施例,能实现依据触发事件真实的活跃度动态设置采样率,避免对于活跃度较低的触发事件以较低的采样率采集监控数据无法保证监控数据的保真性,以及避免对于活跃度较高的触发事件以较高的采样率采集监控数据导致监控系统监控压力较大的问题,有效地调和监控系统所承受的压力和监控数据保真性之间的矛盾,即,既可以提高监控数据的保真性,又可以有效利用监控系统的资源,降低监控系统的监控压力。
附图说明
图1为本申请一示例性实施例提供的一种数据采集方法的实施例流程图;
图2为本申请实施例提供的步骤101的实现流程图;
图3为本申请一示例性实施例提供的数据采集装置的实施例框图;
图4为本申请一示例性实施例提供的另一种数据采集装置的实施例框图;
图5为本申请根据一示例性实施例示出的一种电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1,为本申请一示例性实施例提供的一种数据采集方法的实施例流程图,作为一个实施例,该方法可应用于数据采集装置(数据采集装置的具体描述见下文)。如图1所示,包括以下步骤:
步骤101:在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率。
时间窗是周期的一种应用方法,即,在本申请实施例中,可以周期性地执行步骤101以在每一个时间窗的开始时刻即确定该时间窗内每一监控类别对应的预估采样率。
在本申请实施例中,在当前时间窗到达时,针对指定的每一监控类别,并非是随机确定当前时间窗内该监控类别对应的预估采样率,而是依据之前N个历史时间窗内,即之前N个历史周期内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率。由于历史周期内监控类别对应的触发事件数量是真实值,因此通过该种方式确定出的预估采样率比较符合实际需求。这里,一个监控类别可以对应一种或多种触发事件,比如系统在线人数这一监控类别,可以对应客户端登录和网页登录这两种触发事件。
至于是如何依据之前N个历史时间窗内监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率的,在下文中会有描述,这里先不详述。
此外,作为一个实施例,在执行完步骤101确定当前时间窗内各监控类别对应的预估采样率之后,可以记录监控类别与当前时间窗内该监控类别对应的预估采样率之间的对应关系。
作为一个可选的实现方式,可以通过表的形式记录监控类别和预估采样率之间的对应关系,比如下述表1为监控类别和预估采样率之间对应关系的一种示例:
表1
监控类别 当前时间窗内的预估采样率
监控类别1 s<sub>1</sub>
监控类别2 s<sub>2</sub>
监控类别i s<sub>i</sub>
步骤102:当检测到触发事件时,从已确定的各监控类别对应的预估采样率中确定目标监控类别对应的目标预估采样率。
这里,目标监控类别是指检测到的触发事件对应的监控类别。需要说明的是,在应用中,一种触发事件可以对应一种或多种监控类别,比如系统登录事件可以对应系统在线人数和系统响应耗时这两种监控类别,这也就是说,应用本申请提供的方法,可以在检测到触发事件时,依据该触发事件进行多个维度的监控。
在本步骤102中,当检测到触发事件时,则可以从已确定的各监控类别对应的预估采样率中确定各目标监控类别对应的预估采样率(以下称目标预估采样率)。
作为一个实施例,基于上述步骤101的相关描述,针对每一目标监控类别,可以以目标监控类别为关键字在上述表1所示例的对应关系中查找包含该关键字的对应关系(以下称目标对应关系),将目标对应关系中的预估采样率确定为目标监控类别对应的目标预估采样率。
此外,如果在上述表1所示例的对应关系中未查找到目标对应关系,则意味着该关键字所表示的目标监控类别是首次触发,此时则可以使用预设的预估采样率。
步骤103:当依据目标预估采样率确定在当前时间窗内针对目标监控类别进行数据采集时,则基于触发事件在当前时间窗内采集目标监控类别对应的目标监控数据。本步骤103中,首先依据目标预估采样率确定在当前时间窗内是否针对目标监控类别进行数据采集,当确定在当前时间窗内针对目标监控类别进行数据采集时,则基于触发事件采集目标监控类别对应的监控数据(以下称目标监控数据)。需要注意的是,由上述描述可知,触发事件可能对应多种目标监控类别,因此,这里采集的是触发事件对应的各目标监控类别分别对应的监控数据,比如,以触发事件为登录事件为例,针对该触发事件采集的监控数据可以包括:系统当前的在线人数、系统响应该触发事件时的响应延时、该触发事件对应的页面访问时长等。
至于本步骤103中是如何依据目标预估采样率确定在当前时间窗内是否针对目标监控类别进行数据采集的,在下文中会有描述,这里先不详述。
至此,完成图1所示流程的相关描述。
通过图1所示流程,并非是基于固定的采样率进行监控数据的采集,而是先在当前时间窗到达时,依据之前N个历史时间窗内监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率,之后,当检测到触发事件时,从已确定的各监控类别对应的预估采样率中确定该触发事件对应的目标监控类别对应的目标预估采样率,当依据目标预估采样率确定在当前时间窗内针对目标监控类别进行数据采集时,再基于触发事件在当前时间窗内采集目标监控类别对应的目标监控数据,这能实现依据触发事件真实的活跃度动态设置采样率,避免对于活跃度较低的触发事件以较低的采样率采集监控数据无法保证监控数据的保真性,以及避免对于活跃度较高的触发事件以较高的采样率采集监控数据导致监控系统监控压力较大的问题,有效地调和监控系统所承受的压力和监控数据保真性之间的矛盾,即,既提高了监控数据的保真性,又有效利用了监控系统的资源,降低监控系统的监控压力。
在图1所示流程中,数据采集装置在当前时间窗到达时,是依据之前N个历史时间窗内各监控类别对应的触发事件数量确定当前时间窗内各监控类别对应的预估采样率的,但是,在实践中,数据采集装置在初始进行监控数据的采集时,无法统计N个历史时间窗内各监控类别对应的触发事件数量,基于此,作为一个实施例,数据采集装置可在从初始进行监控数据的采集至第N个时间窗的结束时刻这段时间之内,将预先设置的默认值确定为当前时间窗内各监控类别对应的预估采样率。需要说明的是,不同监控类别对应的默认值可以相同,也可以不同,本申请对此不做限制。之后,若后续能够统计出N个历史时间窗内各监控类别对应的触发事件数量,则在当前时间窗到达时,依据之前N个历史时间窗内各监控类别对应的触发事件数量确定当前时间窗内各监控类别对应的预估采样率。
作为一个实施例,可以通过以下方式统计时间窗内各监控类别对应的触发事件数量:
数据采样装置中维护一个如下述表2所示例的监控计数表,作为一个可选的实现方式,为了节省存储空间,该监控记数表中最多记录有当前时间窗和之前N个历史时间窗内各监控类别对应的触发事件数量,即,从第N+2个时间窗开始,每经历一个时间窗,则在表2中将距离当前时间最久的时间窗内的数据删除。
表2
Figure BDA0002494067670000091
上述表2中,
Figure BDA0002494067670000101
表示当前时间窗内监控类别i对应的触发事件数量,
Figure BDA0002494067670000102
表示当前时间窗之前的第1个时间窗内监控类别i对应的触发事件数量,
Figure BDA0002494067670000103
表示当前时间窗之前的第2个时间窗内监控类别i对应的触发事件数量,依次类推,
Figure BDA0002494067670000104
表示当前时间窗之前的第N个时间窗内监控类别i对应的触发事件数量。
基于此,当检测到触发事件时,不论是否基于该触发事件在当前时间窗内针对目标监控类别进行数据采集,均将上述表2中当前时间窗内已记录的与目标监控类别对应的触发事件数量加设定值比如1,由此则可以实现根据实际应用统计出时间窗内各监控类别对应的触发事件数量的目的。
下面对步骤101中依据之前N个历史时间窗内监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率进行描述:
参见图2,图2为本申请实施例提供的步骤101的实现流程图。如图2所示,该流程可包括:
步骤201:依据之前N个历史时间窗内监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量。
这里,当前时间窗内监控类别对应的触发事件预估量是指当前时间窗内监控类别对应的触发事件的预估数量,该预估并非是真实值而是一个预测值。
作为一个实施例,可以计算出之前N个历史时间窗内监控类别对应的触发事件数量的平均值,将该平均值确定为当前时间窗内该监控类别对应的触发事件预估量。
作为一个实施例,可以依据之前N个历史时间窗内监控类别对应的触发事件数量,并按照线性回归预测方法确定当前时间窗内该监控类别对应的触发事件预估量。
应当理解的是,上述仅仅是依据之前N个历史时间窗内监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的触发事件预估量的具体实现方式的举例性说明,在实际应用中还可以存在其他具体实现方式,比如还可以将上述平均值与一个设定系数相乘,将相乘结果确定为当前时间窗内监控类别对应的触发事件预估量,本申请对此不做限制。
步骤202:当触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当触发事件预估量大于设定阈值时,依据触发事件预估量和设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
正常情况下,当触发事件预估量小于等于设定阈值时,则意味着触发事件的活跃度较低,在该种情况下,为了有效提高监控数据的保真性,则可以确定一个较高的预估采样率;反之,当触发事件预估量大于设定阈值时,则意味着触发事件的活跃度较高,在该种情况下,为了有效降低监控系统的压力,节省监控系统的资源,则可以确定一个较低的预估采样率。
基于此,作为一个实施例,可以通过如下公式(一)确定当前时间窗内与监控类别对应的预估采样率si
Figure BDA0002494067670000111
在上述公式(一)中,Ci表示监控类别i对应的触发事件预估量。
也就是说,在步骤202中,当触发事件预估量Ci小于等于设定阈值T时,确定预设值k(比如1)为当前时间窗内与该监控类别对应的预估采样率;当触发事件预估量Ci大于设定阈值T时,依据触发事件预估量和设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
至此,完成图2所示流程的相关描述。
通过图2所示流程,实现了依据之前N个历史时间窗内监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率。
下面对步骤103中依据目标预估采样率确定在当前时间窗内是否针对目标监控类别进行数据采集进行描述:
目前,当检测到触发事件时,可以直接依据步骤102确定出的目标预估采样率,按照每检测到设定数量的触发事件,则在下一次检测到触发事件时基于该触发事件采集目标监控类别对应的目标监控数据的方式进行数据采集,当然,这里的设定数量是依据目标预估采样率确定的,可选地,将目标预估采样率和上述触发事件预估量相乘得到该设定数量,比如目标预估采样率为1%,触发事件预估量为1000,则设定数量为100,即,每检测到100个触发事件则在下一次检测到触发事件时基于该触发事件采集目标监控类别对应的目标监控数据。
但是,通过这种方式采集到的监控数据并不能很好地反应系统的运行状态。举例来说,假设在一类场景下,用户的业务请求具有一定的周期性,比如,在t1时刻之前的一段时间内,共检测到4个触发事件,而在t1时刻发生大并发,同时检测到10个触发事件,之后,在t1时刻之后的一段时间内,共检测到5个触发事件,在t2时刻再次发生大并发,同时检测到20个触发事件,假设是按照每10个触发事件则采集一次目标监控数据,那么将先后在t1时刻和t2时刻各进行一次监控数据的采集,这就导致监控数据的采集都是发生在大并发的情况下,监控数据只能反应出系统在应对业务请求大并发时的运行状态。
据此,本申请提出,依据步骤102确定出的目标预估采样率,采用一种随机采样的方式进行数据采集,通过该种方式,不仅可以使得最终实际的采样率与目标预估采样率相接近,还可以解决因固定间隔地采样而导致采集到的数据并不能很好地反映系统的运行状态的问题。
作为一个实施例,可以按照设定的随机数生成方法生成一个随机数,该随机数满足以下条件:大于等于0且小于等于1。作为一个可选的实现方式,可以通过Random函数生成上述随机数。作为另一个可选的实现方式,可以通过UUID生成方法生成一个纯数字的UUID值,然后将该UUID值转换到0~1的范围内,得到上述随机数。
在该实施例中,当随机数小于等于上述目标预估采样率时,则确定在当前时间窗内针对目标监控类别进行数据采集;当随机数大于上述目标预估采样率时,则确定在当前时间窗内不针对目标监控类别进行数据采集。
由于按照设定的随机数生成方法生成的随机数为0至1之间任一值的概率是相同的,因此,目标预估采样率越高,则随机数小于等于目标预估采样率的概率也就越大,这则意味着确定进行数据采集的概率越大;反之,目标预估采样率越低,则随机数小于等于目标预估采样率的概率也就越小,这则意味着确定进行数据采集的概率越小,由此可见,通过该实施例可以使得最终实际的采样率与目标预估采样率相接近。
作为另一个实施例,预先设置一个预设长度比如100的数组,即,数组中具有100个元素。在应用中,当检测到触发事件时,依据步骤102确定出的预估采样率将该数组中的前N个元素设置为1,其他元素设置为0。可选的,可以计算该预设长度和目标预估采样率的乘积,将该乘积确定为上述N,比如,目标预估采样率为10%,则将数组中的前10个元素设置为1,另外90个元素设置为0。之后,对数组中的元素进行随机打乱。
在该实施例中,当检测到触发事件时,还可以按照上述描述将上述表2中当前时间窗内已记录的与目标监控类别对应的触发事件数量加设定值比如1。然后,基于数组的长度,比如100对当前的触发事件数量进行取模操作,以保证取模结果m在0~99范围之内。后续,则从上述已随机打乱的数组中取第m个元素,如果该第m个元素的值为1,则确定进行数据采样,如果该第m个元素的值为0,则确定不进行数据采样。
由上述描述可见,目标预估采样率越高,则意味着数组中为1的元素个数越多,而数组中为1的元素个数越多,则确定进行数据采样的概率越大;反之,目标预估采样率越低,则意味着数组中为1的元素个数越少,而数组中为1的元素个数越少,则确定进行数据采样的概率越小,由此可见,通过该实施例可以使得最终实际的采样率与目标预估采样率相接近。
此外,在执行完上述步骤103采集到目标监控数据之后,还可以将目标监控数据发送至数据中心,以由数据中心存储和/或展示目标监控数据。
在实际应用中,对于一些监控类别比如系统在线人数、系统响应延时等,该些监控类别对应的监控数据可以直接反应出软件系统当前的状态,而对于另外一些监控类别比如系统访问频次,该些监控类别对应的监控数据并无法直接反应出软件系统的真实状态,此时,则可以对监控数据进行还原。
基于此,作为一个实施例,可以将目标预估采样率和目标监控数据一并发送至数据中心,比如,作为一个可选的实现方式,可以按照设定的数据协议将目标预估采样率和目标监控数据封装成数据报文并将该数据报文发送至数据中心。
据此,数据中心11在展示指定时间内的数据报文时,先从数据报文中解析出预估采样率和监控数据,对于某一监控类别的监控数据,当需要对监控数据进行还原时,则计算对应的预估采样率的倒数,并将所有倒数求和,将求和结果进行展示。
与前述数据采集方法的实施例相对应,本申请还提供了数据采集装置的实施例。
请参见图3,为本申请一示例性实施例提供的数据采集装置的实施例框图,该装置可以包括:第一确定模块31、第二确定模块32,以及采集模块33。
其中,第一确定模块31,用于在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;
第二确定模块32,用于当检测到触发事件时,所述触发事件对应目标监控类别,从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率;
采集模块33,当依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集时,则基于所述触发事件在当前时间窗内采集所述目标监控类别对应的目标监控数据。
在一实施例中,第一确定模块31依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率,包括:
依据之前N个历史时间窗内该监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量;
当所述触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当所述触发事件预估量大于所述设定阈值时,依据所述触发事件预估量和所述设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
在一实施例中,所述装置进一步包括(图3中未示出):
记录模块,用于记录监控类别与当前时间窗内该监控类别对应的预估采样率之间的对应关系;
第二确定模块32从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率,包括:
以所述目标监控类别为关键字在所述对应关系中查找包含所述该关键字的目标对应关系;
将所述目标对应关系中的预估采样率确定为所述目标监控类别对应的目标预估采样率。
在一实施例中,采集模块33依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集,包括:
按照设定的随机数生成方式生成一个随机数,所述随机数大于等于0且小于等于1;
当所述随机数小于所述目标预估采样率时,确定在当前时间窗内针对所述目标监控类别进行数据采集。
在一实施例中,所述装置进一步包括(图3中未示出):
统计模块,用于当检测到触发事件时,将当前时间窗口内已记录的与所述目标监控类别对应的触发事件数量增加设定值。
在一实施例中,所述装置进一步包括(图3中未示出):
数据上报模块,用于按照设定的数据协议将所述目标预估采样率和所述目标监控数据封装成数据报文并将所述数据报文发送至数据中心,以由所述数据中心存储和/或展示所述数据报文。
请参见图4,为本申请一示例性实施例提供的另一种数据采集装置的实施例框图,该装置可以包括:采样器41、控制器42、数据上报模块43。
其中,采样器41,用于进行数据采集;
控制器42,用于在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;还用于当检测到触发事件时,从已确定的各监控类别对应的预估采样率中确定目标监控类别对应的目标预估采样率,并依据目标预估采样率控制采样器41是否在当前时间窗内针对目标监控类别进行数据采集;
数据上报模块43,用于按照设定的数据协议将所述目标预估采样率和所述目标监控数据封装成数据报文并将所述数据报文发送至数据中心,以由所述数据中心存储和/或展示所述数据报文。
在一实施例中,控制器42,具体用于:
依据之前N个历史时间窗内该监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量;
当所述触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当所述触发事件预估量大于所述设定阈值时,依据所述触发事件预估量和所述设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
在一实施例中,控制器42,还用于:记录监控类别与当前时间窗内该监控类别对应的预估采样率之间的对应关系;
在一实施例中,控制器42,具体用于:
以所述目标监控类别为关键字在所述对应关系中查找包含所述该关键字的目标对应关系;
将所述目标对应关系中的预估采样率确定为所述目标监控类别对应的目标预估采样率。
在一实施例中,控制器42,具体用于:按照设定的随机数生成方式生成一个随机数,所述随机数大于等于0且小于等于1;
当所述随机数小于所述目标预估采样率时,确定在当前时间窗内针对所述目标监控类别进行数据采集。
在一实施例中,控制器42,还用于:
当检测到触发事件时,将当前时间窗口内已记录的与所述目标监控类别对应的触发事件数量增加设定值。
请继续参见图5,本申请还提供一种电子设备,包括处理器501、通信接口502、存储器503,以及通信总线504。
其中,处理器501、通信接口502、存储器503通过通信总线504进行相互间的通信;
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的计算机程序,处理器501执行所述计算机程序时实现本申请实施例提供的数据采集方法的步骤。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的数据采集方法的步骤。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种数据采集方法,其特征在于,所述方法包括:
在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;
当检测到触发事件时,所述触发事件对应目标监控类别,从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率;
当依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集时,则基于所述触发事件在当前时间窗内采集所述目标监控类别对应的目标监控数据。
2.根据权利要求1所述的方法,其特征在于,所述依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率,包括:
依据之前N个历史时间窗内该监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量;
当所述触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当所述触发事件预估量大于所述设定阈值时,依据所述触发事件预估量和所述设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
3.根据权利要求1所述的方法,其特征在于,在确定当前时间窗内各监控类别对应的预估采样率之后,所述方法进一步包括:
记录监控类别与当前时间窗内该监控类别对应的预估采样率之间的对应关系;
所述从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率,包括:
以所述目标监控类别为关键字在所述对应关系中查找包含所述该关键字的目标对应关系;
将所述目标对应关系中的预估采样率确定为所述目标监控类别对应的目标预估采样率。
4.根据权利要求1所述的方法,其特征在于,所述依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集,包括:
按照设定的随机数生成方式生成一个随机数,所述随机数大于等于0且小于等于1;
当所述随机数小于所述目标预估采样率时,确定在当前时间窗内针对所述目标监控类别进行数据采集。
5.根据权利要求1所述的方法,其特征在于,当检测到触发事件时,所述方法进一步包括:
将当前时间窗口内已记录的与所述目标监控类别对应的触发事件数量增加设定值。
6.根据权利要求1所述的方法,其特征在于,在采集所述目标监控数据之后,所述方法进一步包括:
按照设定的数据协议将所述目标预估采样率和所述目标监控数据封装成数据报文并将所述数据报文发送至数据中心,以由所述数据中心存储和/或展示所述数据报文。
7.一种数据采集装置,其特征在于,所述装置包括:
第一确定模块,用于在当前时间窗到达时,针对指定的每一监控类别,依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率;
第二确定模块,用于当检测到触发事件时,所述触发事件对应目标监控类别,从已确定的各监控类别对应的预估采样率中确定所述目标监控类别对应的目标预估采样率;
采集模块,当依据所述目标预估采样率确定在当前时间窗内针对所述目标监控类别进行数据采集时,则基于所述触发事件在当前时间窗内采集所述目标监控类别对应的目标监控数据。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块依据之前N个历史时间窗内该监控类别对应的触发事件数量确定当前时间窗内该监控类别对应的预估采样率,包括:
依据之前N个历史时间窗内该监控类别对应的触发事件数量预估当前时间窗内该监控类别对应的触发事件预估量;
当所述触发事件预估量小于等于设定阈值时,确定预设值为当前时间窗内与该监控类别对应的预估采样率;当所述触发事件预估量大于所述设定阈值时,依据所述触发事件预估量和所述设定阈值确定当前时间窗内与该监控类别对应的预估采样率。
9.一种电子设备,其特征在于,所述设备包括可读存储介质和处理器;
其中,所述可读存储介质,用于存储机器可执行指令;
所述处理器,用于读取所述可读存储介质上的所述机器可执行指令,并执行所述指令以实现权利要求1-6任一所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述方法的步骤。
CN202010413414.2A 2020-05-15 2020-05-15 数据采集方法及装置 Active CN113672447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413414.2A CN113672447B (zh) 2020-05-15 2020-05-15 数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413414.2A CN113672447B (zh) 2020-05-15 2020-05-15 数据采集方法及装置

Publications (2)

Publication Number Publication Date
CN113672447A true CN113672447A (zh) 2021-11-19
CN113672447B CN113672447B (zh) 2024-02-27

Family

ID=78537656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413414.2A Active CN113672447B (zh) 2020-05-15 2020-05-15 数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN113672447B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662100A (zh) * 2022-09-27 2023-08-29 荣耀终端有限公司 数据处理方法和电子设备
EP4395259A1 (en) * 2022-12-21 2024-07-03 AO Kaspersky Lab System and method for filtering events for transmission to remote devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379002A (zh) * 2012-04-13 2013-10-30 特克特朗尼克公司 电信网络的自适应监测
CN107133142A (zh) * 2017-04-18 2017-09-05 浙江大学 一种基于关联分析的监控数据智能采样方法
CN107423433A (zh) * 2017-08-03 2017-12-01 聚好看科技股份有限公司 一种数据采样率控制方法及装置
US20180095610A1 (en) * 2016-10-05 2018-04-05 Vmware, Inc. Methods and systems to sample event messages
CN109672579A (zh) * 2017-10-16 2019-04-23 蔚来汽车有限公司 终端设备监测数据采集策略优化方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379002A (zh) * 2012-04-13 2013-10-30 特克特朗尼克公司 电信网络的自适应监测
US20180095610A1 (en) * 2016-10-05 2018-04-05 Vmware, Inc. Methods and systems to sample event messages
CN107133142A (zh) * 2017-04-18 2017-09-05 浙江大学 一种基于关联分析的监控数据智能采样方法
CN107423433A (zh) * 2017-08-03 2017-12-01 聚好看科技股份有限公司 一种数据采样率控制方法及装置
CN109672579A (zh) * 2017-10-16 2019-04-23 蔚来汽车有限公司 终端设备监测数据采集策略优化方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662100A (zh) * 2022-09-27 2023-08-29 荣耀终端有限公司 数据处理方法和电子设备
CN116662100B (zh) * 2022-09-27 2024-03-15 荣耀终端有限公司 数据处理方法和电子设备
EP4395259A1 (en) * 2022-12-21 2024-07-03 AO Kaspersky Lab System and method for filtering events for transmission to remote devices

Also Published As

Publication number Publication date
CN113672447B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN108156006B (zh) 一种埋点数据上报方法、装置及电子设备
US7647323B2 (en) Web-site performance analysis system and method of providing a web-site performance analysis service
US10904112B2 (en) Automatic capture of detailed analysis information based on remote server analysis
WO2020190650A1 (en) Methods and apparatus to estimate population reach from different marginal ratings and/or unions of marginal ratings based on impression data
US20040236757A1 (en) Method and apparatus providing centralized analysis of distributed system performance metrics
US20070214261A1 (en) Analysis method and apparatus
CN113672447B (zh) 数据采集方法及装置
JP2003536162A (ja) ライブエクセプションズ・システム
US8090752B2 (en) Monitoring memory consumption
CN109740089A (zh) 数据采集方法、装置、系统、可读存储介质及电子设备
EP1907934A2 (en) System and method for adaptively collecting performance and event information
CN111585837B (zh) 物联网数据链路监控方法、装置、计算机设备和存储介质
CN103297291A (zh) 网站实时状态监控方法及系统
CN106658381B (zh) 一种基于无线传感器网络的滑坡预警方法
CN110377854A (zh) 用户访问行为信息监控方法及装置、计算机设备
US20160094392A1 (en) Evaluating Configuration Changes Based on Aggregate Activity Level
CN112311629B (zh) 数据处理方法、装置、服务器及计算机可读存储介质
US20180089051A1 (en) Monitoring application operations using user interaction times
US7890473B1 (en) Method and system for evaluating performance of a computer system
CN103916463B (zh) 一种网络访问统计分析方法及系统
CN116566696B (zh) 一种基于云计算的安全性评估系统及方法
CN111078588B (zh) 垃圾回收方法、装置、设备及存储介质
CN109150819B (zh) 一种攻击识别方法及其识别系统
CN112583768A (zh) 一种用户异常行为检测方法及装置
CN111737611A (zh) 统计页面访问时长的方法、装置、客户端及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant