CN117112359A - 数据监控方法、装置、设备及存储介质 - Google Patents

数据监控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117112359A
CN117112359A CN202311118915.8A CN202311118915A CN117112359A CN 117112359 A CN117112359 A CN 117112359A CN 202311118915 A CN202311118915 A CN 202311118915A CN 117112359 A CN117112359 A CN 117112359A
Authority
CN
China
Prior art keywords
current
index
log
sampling
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311118915.8A
Other languages
English (en)
Inventor
张瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202311118915.8A priority Critical patent/CN117112359A/zh
Publication of CN117112359A publication Critical patent/CN117112359A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种数据监控方法、装置、设备及存储介质，可用于大数据领域。该方法包括：响应于确定生成至少一个目标指标的本次全量日志，根据该日志及前一目标抽样比例获取各目标指标的本次辅助抽样日志，并基于该日志计算本次预测值；获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；根据本次真实值计算本次预测值的本次实际准确率，并与预设准确率对比；响应于在对前一目标抽样比例调整小于或等于N次后存在本次预测值的本次实际准确率大于或等于预设准确率，将调整的抽样比例确定为本次抽样比例，并对本次全量日志进行本次抽样，获得各指标对应的最终指标值。本申请的方法，节约存储和计算资源，改善监控效果。

Description

数据监控方法、装置、设备及存储介质
技术领域
本申请涉及大数据领域，尤其涉及一种数据监控方法、装置、设备及存储介质。
背景技术
随着互联网产品以及大数据处理技术的不断发展，互联网产品所产生的数据也越来越多，海量数据的监控成为反映及优化互联网产品运营状态的重要途径。
当前实现海量数据的监控一般是由海量数据实时监控系统对互联网产品的各项指标进行实时监控。在对各项指标进行监控时，一般是采集并存储各项指标对应的全量运行日志，然后对全量运行日志进行处理，以获得各项指标值，从而根据各项指标值监控互联网产品运营状态。
但是这种通过全量运行日志实时监控系统监控互联网产品运营状态的方法，需要存储各项指标的全量运行日志，并需要对各项指标的全量运行日志进行计算，造成存储和计算资源的浪费，并且大量计算会产生计算指标值的延迟，导致监控效果较差。
发明内容
本申请提供一种数据监控方法、装置、设备及存储介质，用以解决浪费存储和计算资源，且大量计算会产生计算指标值的延迟，导致监控效果较差问题。
第一方面，本申请提供一种数据监控方法、装置、设备及存储介质方法，所述方法应用于数据监控服务器，所述方法包括：响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志；所述本次全量日志包括所属目标指标在当前时间产生的全部日志；所述本次辅助抽样日志包括所述全部日志中的多个日志；
根据各目标指标的本次辅助抽样日志计算对应的本次预测值，并获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；
根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率，并将所述本次实际准确率与预设准确率进行对比；
响应于在对所述前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；所述N为抽样比例调整次数阈值；
根据所述本次抽样比例对所述本次全量日志进行本次抽样，以获得本次抽样后的日志，并根据本次抽样后的日志计算各指标对应的最终指标值。
第二方面，本申请提供一种数据监控装置，所述装置位于数据监控服务器，包括：获取模块，用于响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志；所述本次全量日志包括所属目标指标在当前时间产生的全部日志；所述本次辅助抽样日志包括所述全部日志中的多个日志；
计算模块，用于根据各目标指标的本次辅助抽样日志计算对应的本次预测值；
所述获取模块，还用于获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；
所述计算模块，还用于根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率；
对比模块，用于将所述本次实际准确率与预设准确率进行对比；
确定模块，用于响应于在对所述前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；所述N为抽样比例调整次数阈值；
抽样模块，用于根据所述本次抽样比例对所述本次全量日志进行本次抽样，以获得本次抽样后的日志；
所述计算模块，还用于根据本次抽样后的日志计算各指标对应的最终指标值。
第三方面，本申请提供一种数据监控服务器，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
本申请提供的数据监控方法、装置、设备及存储介质，应用于数据监控服务器，响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志；所述本次全量日志包括所属目标指标在当前时间产生的全部日志；所述本次辅助抽样日志包括所述全部日志中的多个日志；根据各目标指标的本次辅助抽样日志计算对应的本次预测值，并获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率，并将所述本次实际准确率与预设准确率进行对比；响应于在对所述前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；所述N为抽样比例调整次数阈值；根据所述本次抽样比例对所述本次全量日志进行本次抽样，以获得本次抽样后的日志，并根据本次抽样后的日志计算各指标对应的最终指标值。由于预先根据至少一个目标指标产生的全部日志确定出了本次全量日志，并根据前一目标抽样比例及本次全量日志在全部日志中确定出了本次辅助抽样日志。所以通过对本次辅助抽样日志进行计算，就可获取到本次全量日志对应的本次预测值，并通过将前一目标抽样比例对应的前一预测值作为本次全量日志对应的本次真实值，就可根据本次真实值计算出本次预测值的本次实际准确率。并通过将本次实际准确率与预设准确率进行对比，就可判断本次实际准确率是否大于或等于预设准确率。从而在对前一目标抽样比例进行小于等于N次调整后，若本次预测值的本次实际准确率大于或等于预设准确率，就可确定调整的抽样比例为本次抽样比例。从而通过获取本次抽样比例，就可依据本次抽样比例对本次全量日志进行本次抽样，从而获取至少一个目标指标对应的抽样后的日志，而不是获取各项指标的全部运行日志，节约存储空间，减少存储资源的浪费。并且在获取到抽样后的日志后，就可根据抽样后的日志对各指标的指数值进行计算，而不是根据全部运行日志进行计算，减少计算资源的浪费，避免因计算量过大造成的计算延迟，改善监控效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请一个实施例提供的数据监控方法的应用场景图；
图2为本申请一实施例提供的数据监控方法的流程图；
图3为本申请另一实施例提供的数据监控方法的流程图；
图4为本申请一实施例提供的数据监控装置的结构示意图；
图5为本申请一实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请数据监控的方法和装置可用于大数据领域，也可用于除大数据领域之外的任意领域，本申请数据监控的方法和装置的应用领域不做限定。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。
目前在监控数据时，一般是通过海量数据实时监控系统对互联网产品包括的各项指标进行监控，具体地，海量数据实时监控系统对应服务器响应于某种互联网产品处于运行状态，根据用户通过海量数据实时监控系统对应操作界面设置的各项指标，采集产品在运行过程中产生的全部指标对应运行日志。并在获取到全部指标对应运行日志后，按照全部运行日志对各项指标的运行结果进行计算，从而获得各项指标对应的指标数据。使得海量数据实时监控系统在采集到全部指标对应运行日志后，需要对全部运行日志进行存储并对全部运行日志进行计算，浪费存储和计算资源，且大量的计算造成的计算延迟会导致监控效果较差。
所以在面对现有技术中的技术问题时，为了节省存储和计算资源，提高监控效果，不是通过海量数据实时监控系统对互联网产品包括的各项指标进行监控，而是预先设定各项指标的抽样比例。当产品的多个指标产生对应的运行日志后，按照各项指标的抽样比例对产生的运行日志进行抽样，仅获取抽样得到的日志，并根据抽样得到的日志计算指标对应的预测指标数据。为了使得预测指标数据和指标的真实指标数据能够最大化地吻合，将预测指标数据与指标的真实指标数据进行对比，确定预测指标数据的准确率。进一步地，将该准确率与预设的准确率进行对比，若能够达到预设的准确率，则说明预测指标数据可以准确反应指标的运行状态，则将抽样比例作为最终的抽样比例，并按照最终的抽样比例对运行日志进行抽样，从而获得最终的指标数据。若不能达到预设的准确率，就对抽样比例进行调整，并再次对比，当在调整次数阈值内的某次达到了预设的准确率时，将该次调整的抽样比例作为最终的抽样比例，从而获得最终的指标数据。
图1为本申请一个实施例提供的数据监控方法的应用场景图，如图1所示，本申请实施例中的数据监控方法对应的系统包括：数据监控服务器1，产品终端对应服务器集群2。其中，数据监控服务器1具有数据监控系统对应的服务端。其中，产品终端对应服务器集群2为多个产品终端对应的服务器，产品终端对应服务器集群2具有产品对应的服务端。其中，数据监控服务器1与产品终端对应服务器集群2之间通信连接。首先，产品终端对应服务器集群响应于正在为至少一个用户提供目标互联网产品对应的服务，生成至少一个目标指标的本次全量日志。那么数据监控服务器1响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志以及前一目标抽样比例获取各目标指标的本次辅助抽样日志。其中，本次全量日志为目标指标生成的全部日志。其中，本次辅助抽样日志为全部日志中的多个日志。然后根据本次辅助抽样日志计算目标指标对应的本次预测值，并同步获取本次真实值。其中，本次真实值为目标指标前一目标抽样比例对应的前一预测值。根据本次真实值计算本次预测值的本次实际准确率，并将其与预先设定的预设准确率进行对比，若在对前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，则将小于或等于N次调整后的抽样比例确定为本次抽样比例，并根据本次抽样比例对本次全量日志进行本次抽样，获得本次抽样后的日志，并基于抽样后的日志计算各指标对应的最终指标值。其中，N为抽样比例调整次数阈值。
本申请提供的数据传输的方法，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请一实施例提供的数据监控方法的流程图，如图2所示，本实施例的执行主体为数据监控装置。该数据监控装置位于电子设备中，具体可位于数据监控服务器中，则本实施例提供的数据监控方法包括以下步骤：
步骤201，响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志。本次全量日志包括所属目标指标在当前时间产生的全部日志。本次辅助抽样日志包括全部日志中的多个日志。
其中，目标互联网产品为已投入使用的任意互联网产品。
其中，目标指标为反映目标互联网产品运行状态的任意指标。
其中，本次全量日志为目标互联网产品在为至少一个用户提供服务时针对目标指标产生的全部日志，具体包括所属目标指标在当前时间产生的全部日志。
示例性地，若目标互联网产品为银行软件产品。那么目标指标可以为目银行软件提供服务时的网络故障率。本次全量日志可以为银行软件在提供服务时针对网络运行情况产生的全部日志。
其中，前一目标抽样比例为前一时间确定出的目标抽样比例。
其中，本次辅助抽样日志为基于从本次全量日志中抽样得到的日志进一步确定出的辅助抽样日志，具体包括全部日志中的多个日志。
具体地，在确定互联网产品运行时生成至少一个目标指标的本次全量日志之前，产品终端对应服务器响应于至少一个用户通过操作界面使用产品，生成至少一个目标指标的本次全量日志。那么数据监控服务器响应于确定产品终端对应服务器生成至少一个目标指标的本次全量日志，获取各目标指标对应的前一目标抽样比例，按照对应的前一目标抽样比例对各目标指标的本次全量日志进行抽样，并基于上述抽样结果得到各目标指标对应的本次辅助抽样日志。
可以理解的是，上述前一时间以及当前时间之间是按照一定时间间隔紧密衔接的，其中，时间间隔可以为1秒或其他时间间隔，本实施例不做限定。
步骤202，根据各目标指标的本次辅助抽样日志计算对应的本次预测值，并获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值。
其中，本次预测值为目标指标在当前时间的预测指标值。
其中，前一预测值为目标指标在前一时间的真实指标值。
其中，本次真实值为可以准确反映目标指标在当前时间的指标值。
需要说明的是，由于前一时间与当前时间紧密衔接，所以各目标指标前一目标抽样比例对应的前一预测值作为前一时间确定出的真实指标值，可以较为准确地反映目标指标在当前时间的指标值。所以将各目标指标前一目标抽样比例对应的前一预测值作为本次真实值。
本实施例中，在获取到各目标指标的本次辅助抽样日志后，进一步获取本次辅助抽样日志包括的全部日志中的多个日志。读取多个日志，确定多个日志的数量，并进一步确定多个日志包括的日志结果。识别多个日志结果所在的字段，并基于各目标指标标识在多个日志结果所在的字段中查找与目标指标标识具有相同字段的日志结果，确定与目标指标标识具有相同字段的日志结果为指标日志结果。获取指标日志结果，计算指标日志结果在多个日志结果中的占比，并将获取到的占比数值确定为目标指标对应本次预测值。那么响应于确定出目标指标对应本次预测值，获取各目标指标前一目标抽样比例对应的前一预测值，并将其作为目标指标对应本次真实值。
其中，目标指标标识为表征目标指标身份的标识。
其中，指标日志结果为日志中直接反映目标指标的结果。
示例性地，若目标指标为网络故障率，本次全量日志为网络运行情况对应的全部日志，则多个日志结果就可以为网络运行情况对应的多个日志包括的日志结果，则指标日志结果为多个日志结果中发生故障的日志结果。
可以理解的是，随着时间延长，需要对本次真实值进行调整，以使其能够更加准确地反映目标指标在当前时间的指标值。具体地，预先设定各目标指标的调整周期，在调整周期直接获取目标指标的本次全量日志，并根据本次全量日志计算本次真实值。
其中，在根据本次全量日志计算本次真实值时，具体可以为：读取本次全量日志的全部日志结果，确定全部日志结果数量，并基于读取结果确定指标日志结果数量。计算指标日志结果数量在全部日志结果数量中的占比，并将获取到的占比数值确定为目标指标对应本次真实值。
步骤203，根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率，并将本次实际准确率与预设准确率进行对比。
其中，本次实际准确率为本次预测值与本次真实值吻合的比例。
可以理解的是，为了使得本次预测值与本次真实值高度吻合，提高抽样的准确度，需要预先为本次预测值的准确率设定一个所需达到的值，即预设准确率。
其中，各目标指标对应的预设准确率可以存储在一个数据表或其他形式的文件中，本实施例对此不做限定。
其中，在根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率时，具体可以按照以下公式进行计算：
本次实际准确率＝本次预测值/本次真实值。
具体地，在计算出各目标指标对应的本次实际准确率后，获取各目标指标对应的预设准确率，将各目标指标对应的本次实际准确率与对应的预设准确率进行一一对比。
可以理解的是，当目标指标的本次实际准确率大于或等于对应的预设准确率时，就可确定本次预测值与本次真实值基本吻合。当目标指标的本次实际准确率小于对应的预设准确率时，说明本次预测值与本次真实值存在差异，需要对前一目标抽样比例进行调整，使得根据调整后的前一目标抽样比例确定出的本次预测值能够与本次真实值基本吻合。
步骤204，响应于在对前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例。N为抽样比例调整次数阈值。
本实施例中，在将各目标指标对应的本次实际准确率与对应的预设准确率进行一一对比后，基于对比结果，获取大于或等于对应的预设准确率的目标指标，确定该目标指标对应本次预测值与对应本次真实值基本吻合，并将该目标指标对应的前一目标抽样比例确定为本次抽样比例。同时，获取小于对应的预设准确率的目标指标，确定该目标指标对应本次预测值与对应本次真实值存在较大差异，并对该目标指标对应的前一目标抽样比例进行调整，形成调整后的抽样比例。
基于此，按照调整后的抽样比例再次对本次全量日志进行抽样，形成再次抽样后的本次辅助抽样日志，从而根据再次抽样后的本次辅助抽样日志计算对应的本次预测值，计算方法与步骤202类似，此处不再赘述。获取通过调整后的前一目标抽样比例确定出的本次预测值以及本次真实值，根据本次真实值计算调整后的前一目标抽样比例确定出的本次预测值对应的本次实际准确率，并将其与预设准确率进行对比，对比方法与步骤203类似，此处不再赘述。
其中，在对前一目标抽样比例进行调整时，具体可以为：获取前一目标抽样比例，按照预设递进范围扩大前一目标抽样比例的数值。其中，预设递进范围为预先设定的每次调整前一目标抽样比例的数值范围。
那么基于上述调整及对比过程，响应于在对前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，获取大于或等于预设准确率时的调整后的抽样比例，并将其确定为本次抽样比例。
步骤205，根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志，并根据本次抽样后的日志计算各指标对应的最终指标值。
其中，最终指标值为最终确定出的目标指标的指标值。
具体地，本实施例基于确定出各目标指标对应的本次抽样比例，按照对应的本次抽样比例对各目标指标对应的本次全量日志进行本次抽样。获取本次抽样后的日志，并读取本次抽样后的日志中的日志结果，并基于日志结果确定本次抽样后的日志中指标日志结果数量。计算指标日志结果数量在全部日志结果数量中的占比，并将获取到的占比数值确定为各指标对应的最终指标值。
本实施例提供的数据监控方法，应用于数据监控服务器，响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志；本次全量日志包括所属目标指标在当前时间产生的全部日志；本次辅助抽样日志包括全部日志中的多个日志；根据各目标指标的本次辅助抽样日志计算对应的本次预测值，并获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率，并将本次实际准确率与预设准确率进行对比；响应于在对前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；N为抽样比例调整次数阈值；根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志，并根据本次抽样后的日志计算各指标对应的最终指标值。由于预先根据至少一个目标指标产生的全部日志确定出了本次全量日志，并根据前一目标抽样比例及本次全量日志在全部日志中确定出了本次辅助抽样日志。所以通过对本次辅助抽样日志进行计算，就可获取到本次全量日志对应的本次预测值，并通过将前一目标抽样比例对应的前一预测值作为本次全量日志对应的本次真实值，就可根据本次真实值计算出本次预测值的本次实际准确率。并通过将本次实际准确率与预设准确率进行对比，就可判断本次实际准确率是否大于或等于预设准确率。从而在对前一目标抽样比例进行小于等于N次调整后，若本次预测值的本次实际准确率大于或等于预设准确率，就可确定调整的抽样比例为本次抽样比例。从而通过获取本次抽样比例，就可依据本次抽样比例对本次全量日志进行本次抽样，从而获取至少一个目标指标对应的抽样后的日志，而不是获取各项指标的全部运行日志，节约存储空间，减少存储资源的浪费。并且在获取到抽样后的日志后，就可根据抽样后的日志对各指标的指数值进行计算，而不是根据全部运行日志进行计算，减少计算资源的浪费，避免因计算量过大造成的计算延迟，改善监控效果。
图3为本申请另一实施例提供的数据监控方法的流程图，如图3所示，对根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志进行进一步地细化，则本实施例在根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志时，具体包括以下步骤：
步骤301，按照前一目标抽样比例对本次全量日志进行抽样，形成基础辅助抽样日志。
其中，基础辅助抽样日志为从本次全量日志中抽样得到的多个日志。
具体地，本实施例基于目标互联网产品运行时生成至少一个目标指标的本次全量日志，获取各目标指标对应的前一目标抽样比例，按照对应的前一目标抽样比例对各目标指标的本次全量日志进行抽样，得到本次全量日志中的多个日志，确定上述多个日志为基础辅助抽样日志。
步骤302，对基础辅助抽样日志进行复制操作，以使基础辅助抽样日志的数量与本次全量日志的数量相同，并将复制后的基础辅助抽样日志确定为本次辅助抽样日志。
可以理解的是，对于从本次全量日志中抽出的基础辅助抽样日志，其数量与本次全量日志不同，所以需要对基础辅助抽样日志进行复制操作，将基础辅助抽样日志放大到与本次全量日志相同的原始量级。
具体地，在确定出基础辅助抽样日志后，对基础辅助抽样日志进行复制操作，使其数量与本次全量日志的数量相同，形成多组基础辅助抽样日志，并将上述多组基础辅助抽样日志确定为本次辅助抽样日志。
本实施例提供的数据监控方法，按照前一目标抽样比例对本次全量日志进行抽样，形成基础辅助抽样日志；对基础辅助抽样日志进行复制操作，以使基础辅助抽样日志的数量与本次全量日志的数量相同，并将复制后的基础辅助抽样日志确定为本次辅助抽样日志。由于本次全量日志为目标指标在当前时间产生的全部日志，所以为了节约存储资源，需要对本次全量日志进行抽样，那么通过获取前一目标抽样比例，就可按照前一目标抽样比例在本次全量日志中获取多个日志，形成基础辅助抽样日志。而针对基础辅助抽样日志与本次全量日志之间的数量差异，通过对基础辅助抽样日志进行复制操作，就可使复制后的基础辅助抽样日志的数量与本次全量日志的数量相同，并将复制后的基础辅助抽样日志确定为本次辅助抽样日志，从而能够顺利获取到本次辅助抽样日志，以在后续的计算中根据本次辅助抽样日志进行计算。
作为一种可选实施例，本实施例在图2对应实施例的基础上，前一目标抽样比例为初始预设抽样比例，在响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志之前，还包括以下步骤：
根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例。
其中，初始预设抽样比例为首次对本次全量日志进行抽样时所用的抽样比例。
其中，深度神经网络DNN模型为可以计算抽样比例的模型。
需要说明的是，在首次按照抽样比例抽样时，需要在确定生成至少一个目标指标对应的本次全量日志之前，预先确定出各目标指标对应的初始预设抽样比例。深度神经网络DNN模型作为一种较为常用的神经网络模型，可快速确定出至少一个目标指标的初始预设抽样比例。
具体地，基于各目标指标及对应本次全量日志形成抽样比例计算信息，并将上述抽样比例计算信息输入至深度神经网络DNN模型中，以由深度神经网络DNN模型输出对应的抽样比例。那么响应于接收到至少一个目标指标对应的抽样比例，将该抽样比例确定为目标指标的初始预设抽样比例，并将各目标指标与对应初始预设抽样比例进行关联存储，以在确定生成全量日志时，按照对应初始预设抽样比例对全量日志进行抽样。
其中，抽样比例计算信息为深度神经网络DNN模型计算抽样比例所需的信息。
本实施例提供的数据监控方法，前一目标抽样比例为初始预设抽样比例，在响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志之前，根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例。由于首次对目标指标的本次全量日志进行抽样不存在前一目标抽样比例，所以需要预先设定初始的抽样比例。所以通过训练深度神经网络DNN模型，就可基于至少一个目标指标及对应本次全量日志，根据深度神经网络DNN模型确定出至少一个目标指标的初始预设抽样比例，从而在首次对目标指标的本次全量日志进行抽样时，能够快速确定出抽样比例，提高抽样效率。
作为一种可选实施例，本实施例在上述实施例的基础上，在根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例时，具体包括以下步骤：
获取至少一个目标指标标识及至少一个目标指标的本次全量日志数量，将至少一个目标指标标识及本次全量日志数量导入至深度神经网络DNN模型，采用深度神经网络DNN模型计算并输出至少一个目标指标的初始预设抽样比例。
可以理解的是，深度神经网络DNN模型为已训练至收敛的模型。其中，对深度神经网络DNN模型的训练具体可以先将多个已设定抽样比例的目标指标标识及各标识对应的全量日志数量作为训练样本，形成训练样本集。在进行训练时，获取训练样本集，并将训练样本集包括的训练样本输入至深度神经网络DNN模型中。按照训练样本对深度神经网络DNN模型进行训练，并调整模型中的训练参数，判断深度神经网络DNN模型是否满足预先设定的收敛条件。若是，则确定满足收敛条件的深度神经网络DNN模型已训练至收敛。
本实施例中，在根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例时，基于已训练至收敛的深度神经网络DNN模型，获取至少一个目标指标对应的目标指标标识，并获取各目标指标对应的本次全量日志。根据获取的本次全量日志确定本次全量日志数量，并将各目标指标标识及对应本次全量日志数量输入至深度神经网络DNN模型中，深度神经网络DNN模型基于所输入的目标指标标识及本次全量日志数量确定对应的初始预设抽样比例，并对初始预设抽样比例进行输出。
本实施例提供的数据监控方法，在根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例时，包括：获取至少一个目标指标标识及至少一个目标指标的本次全量日志数量，将至少一个目标指标标识及本次全量日志数量导入至深度神经网络DNN模型，采用深度神经网络DNN模型计算并输出至少一个目标指标的初始预设抽样比例。由于预先对深度神经网络DNN模型进行了训练，获得已训练至收敛的深度神经网络DNN模型，所以在根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例时，通过获取至少一个目标指标标识及至少一个目标指标的本次全量日志数量，并通过将上述指标标识及日志数量输入至已训练至收敛的深度神经网络DNN模型中，就可使深度神经网络DNN模型输出各目标指标对应的初始预设抽样比例，从而能够准确确定出各目标指标的初始预设抽样比例，减少后续调整抽样比例的次数，进一步提高抽样效率。
作为一种可选实施例，本实施例在图2对应实施例的基础上，在根据本次抽样后的日志计算各指标对应的最终指标值之后，还包括以下步骤：
步骤401，获取各目标指标标识及对应最终指标值。
可以理解的是，在计算出各指标对应的最终指标值之后，需要基于各指标在各时间确定出的最终指标值，形成各指标对应的趋势曲线，以根据各指标对应的趋势曲线形成趋势图形，从而更为直观地对多个指标监控的结果进行展示。
具体地，获取至少一个目标指标标识以及各目标指标对应最终指标值，将各目标指标标识与对应的最终指标值进行关联存储，形成至少一个关联关系。
步骤402，根据各目标指标标识及对应最终指标值更新各目标指标的指标趋势曲线。
其中，指标趋势曲线为反映目标指标在各时间的最终指标值的曲线。
其中，指标趋势曲线的横轴表征为对目标指标进行监测的各个时间点，纵轴表征为目标指标在各个时间点确定出的最终指标值。
具体地，获取各关联关系，并获取各指标趋势曲线，根据各关联关系中的目标指标标识确定出各目标指标对应的指标趋势曲线，并在确定出各目标指标对应的指标趋势曲线后，将目标指标标识关联的最终指标值添加在对应指标趋势曲线的当前时间对应的位置，从而完成对各目标指标的指标趋势曲线的更新。
本实施例提供的数据监控方法，在根据本次抽样后的日志计算各指标对应的最终指标值之后，还包括：获取各目标指标标识及对应最终指标值；根据各目标指标标识及对应最终指标值更新各目标指标的指标趋势曲线。由于产品包括的指标为多个，且各指标在各时间点均具有对应的指标值，所以为了更为直观地展示各指标在各个时间的最终指标值，按照各时间及各指标值建立了各指标的指标趋势曲线，并在获取到当前时间的各指标对应的最终指标值后，通过获取各目标指标标识及对应最终指标值，就可基于各目标指标标识及对应最终指标值更新各目标指标的指标趋势曲线。使得能够基于各目标指标的指标趋势曲线形成对应的趋势图，进而使得后端管理人员可以根据趋势图监测到各目标指标的数值变化趋势并及时对产品进行调整，便于优化产品运营。
作为一种可选实施例，本实施例在上述任一实施例的基础上，在将本次实际准确率与预设准确率进行对比之后，还包括以下步骤：
步骤501，响应于在对前一目标抽样比例进行N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率小于预设准确率，确定对应本次预测值的本次实际准确率小于预设准确率的目标指标为突发指标。
其中，突发指标为产品在特定时间或其他特定条件下出现用户激增或其他反常情况时受到影响的目标指标。
示例性地，若目标指标为网络故障率，且当前时间因节日大促出现用户激增，导致网络故障率受到影响，那么就可确定网络故障率为突发指标。
可以理解的是，由于突发指标对应本次预测值是基于当前时间的反常情况确定出的，所以突发指标前一目标抽样比例对应的前一预测值无法准确反映突发指标在当前时间的指标值，所以在对前一目标抽样比例进行N次调整后，突发指标对应本次预测值的本次实际准确率仍小于预设准确率。
本实施例中，基于对前一目标抽样比例进行调整，响应于在对前一目标抽样比例进行N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率小于预设准确率，确定对应本次预测值的本次实际准确率小于预设准确率的目标指标为突发指标。
步骤502，获取突发指标的本次全量日志，并根据本次全量日志计算突发指标对应本次真实值。
可以理解的是，由于突发指标前一目标抽样比例对应的前一预测值无法准确反映突发指标在当前时间的指标值，所以需要按照突发指标的本次全量日志对突发指标对应本次真实值进行重新计算。
具体地，获取突发指标的本次全量日志，读取本次全量日志的全部日志结果，确定全部日志结果数量，并基于读取结果确定指标日志结果数量。计算指标日志结果数量在全部日志结果数量中的占比，并将获取到的占比数值确定为突发指标对应本次真实值。
步骤503，确定本次真实值为突发指标对应的最终指标值。
可以理解的是，由于重新计算的突发指标对应本次真实值为根据本次全量日志计算出的，所以重新计算的突发指标对应本次真实值可以反映突发指标在当前时间的指标值，所以确定重新计算的突发指标对应本次真实值为突发指标对应的最终指标值。
可以理解的是，在确定生成突发指标的下次全量日志后，根据重新计算的突发指标对应本次真实值以及下次预测值确定突发指标对应的下次最终指标值。
本实施例提供的数据监控方法，在将本次实际准确率与预设准确率进行对比之后，还包括：响应于在对前一目标抽样比例进行N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率小于预设准确率，确定对应本次预测值的本次实际准确率小于预设准确率的目标指标为突发指标；获取突发指标的本次全量日志，并根据本次全量日志计算突发指标对应本次真实值；确定本次真实值为突发指标对应的最终指标值。由于产品在某一时刻用户激增时，突发指标前一目标抽样比例对应的前一预测值无法准确反映突发指标在当前时间的指标值。所以在将本次实际准确率与预设准确率进行对比之后，响应于在对前一目标抽样比例进行N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率小于预设准确率，就可确定对应本次预测值的本次实际准确率小于预设准确率的目标指标即为突发指标。那么通过获取突发指标的本次全量日志，就可基于突发指标的本次全量日志重新计算出突发指标对应本次真实值，从而确定重新计算的本次真实值即为突发指标对应的最终指标值。使得当至少一个目标指标中出现突发指标时，能够准确确定出突发指标的最终指标值。
作为一种可选实施例，本实施例在上述任一实施例的基础上，在根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志之后，还包括以下步骤：
步骤601，响应于存在至少一个目标指标无抽样比例，确定无抽样比例的目标指标为偶然指标。
其中，偶然指标为未设定初始预设抽样比例的新指标。
可以理解的是，由于偶然指标是在确定出各目标指标的初始抽样比例之后新增的目标指标，所以偶然指标无对应的抽样比例。
本实施例中，在根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志之后，获取至少一个目标指标标识以及各目标指标的本次抽样后的日志，将各目标指标标识与各目标指标的本次抽样后的日志进行关联存储，形成各目标指标对应的本次抽样后的日志。获取各目标指标对应的本次抽样后的日志，响应于存在至少一个目标指标无对应的本次抽样后的日志，确定无对应的本次抽样后的日志的目标指标无抽样比例，并进一步确定该目标指标为偶然指标。
步骤602，获取偶然指标的本次全量日志，根据本次全量日志计算偶然指标对应本次真实值，并确定本次真实值为偶然指标对应的最终指标值。
可以理解的是，由于偶然指标为新指标，所以为获取偶然指标在当前时间的最终指标值，需要基于偶然指标的本次全量日志计算偶然指标对应本次真实值。
具体地，获取偶然指标的本次全量日志，根据本次全量日志计算偶然指标对应本次真实值，并确定本次真实值为偶然指标对应的最终指标值。具体的计算及确定方法与步骤502-503类似，此处不再一一赘述。
步骤603，根据深度神经网络DNN模型确定偶然指标的初始预设抽样比例。
可以理解的是，为使得下一时间生成偶然指标的下次全量日志时，能够按照抽样比例对偶然指标进行监测，在确定出偶然指标对应本次真实值后需要根据深度神经网络DNN模型确定偶然指标的初始预设抽样比例。其中，根据深度神经网络DNN模型确定偶然指标的初始预设抽样比例的方法与根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例的方法类似，此处不再赘述。
步骤604，根据下次全量日志和初始预设抽样比例计算偶然指标对应下次预测值，并获取偶然指标对应本次真实值作为下次真实值，以根据下次真实值和下次预测值确定偶然指标对应的下次最终指标值。
可以理解的是，在获取到偶然指标的初始预设抽样比例后，响应于确定生成偶然指标的下次全量日志，根据下次全量日志和初始预设抽样比例计算偶然指标对应下次预测值，并获取偶然指标对应本次真实值作为下次真实值，以根据下次真实值和下次预测值确定偶然指标对应的下次最终指标值。具体的确定方法与步骤201-205类似，此处不再一一赘述。
本实施例提供的数据监控方法，在根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志之后，还包括：响应于存在至少一个目标指标无抽样比例，确定无抽样比例的目标指标为偶然指标；获取偶然指标的本次全量日志，根据本次全量日志计算偶然指标对应本次真实值，并确定本次真实值为偶然指标对应的最终指标值；根据深度神经网络DNN模型确定偶然指标的初始预设抽样比例；根据下次全量日志和初始预设抽样比例计算偶然指标对应下次预测值，并获取偶然指标对应本次真实值作为下次真实值，以根据下次真实值和下次预测值确定偶然指标对应的下次最终指标值。由于至少一个目标指标中可能存在新的偶然指标，所以当存在至少一个目标指标无抽样比例时，就可确定无抽样比例的目标指标为偶然指标。通过获取偶然指标的本次全量日志，就可根据本次全量日志计算出偶然指标对应本次真实值，从而可以确定出偶然指标的最终指标值。并且通过根据深度神经网络DNN模型确定偶然指标的初始预设抽样比例，就可在确定生成偶然指标的下次全量日志时，根据下次全量日志和初始预设抽样比例计算偶然指标对应下次预测值，并通过将偶然指标对应本次真实值作为下次真实值，就可根据下次真实值和下次预测值确定偶然指标对应的下次最终指标值。从而在出现新的指标时，能够顺利确定新指标的指标值，并能够在确定生成下次全量日志时按照抽样比例确定偶然指标的指标值，避免遗漏设定新指标对应抽样比例，进一步减少存储和计算资源的浪费。
作为一种可选实施例，在获取偶然指标的本次全量日志，根据本次全量日志计算偶然指标对应本次真实值，并确定本次真实值为偶然指标对应的最终指标值之后，还可以包括：
获取偶然指标的本次全量日志数量，将本次全量日志数量的一半作为抽样比例，按照上述抽样比例对本次全量日志进行抽样，并对抽样后的日志进行计算，得到对应本次预测值。根据偶然指标对应本次真实值计算对应本次预测值的本次实际准确率，并将本次实际准确率与预设准确率进行对比。响应于在对上述抽样比例进行多次调整后偶然指标对应本次预测值的本次实际准确率等于或近似大于预设准确率，将多次调整后的上述抽样比例确定为偶然指标的初始预设抽样比例。
图4为本申请一实施例提供的数据监控装置的结构示意图，如图4所示，本实施例提供的数据监控装置位于电子设备中，具体可位于数据监控服务器中，则本实施例提供的农作物监测装置70包括：获取模块71，计算模块72，对比模块73，确定模块74，抽样模块75。
其中，获取模块71，用于响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志；本次全量日志包括所属目标指标在当前时间产生的全部日志；本次辅助抽样日志包括全部日志中的多个日志；计算模块72，用于根据各目标指标的本次辅助抽样日志计算对应的本次预测值；获取模块71，还用于获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；计算模块72，还用于根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率；对比模块73，用于将本次实际准确率与预设准确率进行对比；确定模块74，用于响应于在对前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；N为抽样比例调整次数阈值；抽样模块75，用于根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志；计算模块72，还用于根据本次抽样后的日志计算各指标对应的最终指标值。
本实施例提供的数据监控装置可以执行图2所示的方法实施例，具体的实现原理和技术效果类似，此处不再赘述。
可选地，获取模块71，在根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志时，具体用于：
按照前一目标抽样比例对本次全量日志进行抽样，形成基础辅助抽样日志；对基础辅助抽样日志进行复制操作，以使基础辅助抽样日志的数量与本次全量日志的数量相同，并将复制后的基础辅助抽样日志确定为本次辅助抽样日志。
可选地，前一目标抽样比例为初始预设抽样比例。
相应地，确定模块74，还用于在获取模块71响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据本次全量日志及前一目标抽样比例获取至少一个目标指标的本次辅助抽样日志之前，根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例。
可选地，确定模块74，在根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例时，具体用于：
获取至少一个目标指标标识及至少一个目标指标的本次全量日志数量，将至少一个目标指标标识及本次全量日志数量导入至深度神经网络DNN模型，采用深度神经网络DNN模型计算并输出至少一个目标指标的初始预设抽样比例。
可选地，本实施例提供的数据监控装置还包括：更新模块。
其中，获取模块71，还用于在计算模块72根据本次抽样后的日志计算各指标对应的最终指标值之后，获取各目标指标标识及对应最终指标值；更新模块，用于根据各目标指标标识及对应最终指标值更新各目标指标的指标趋势曲线。
可选地，确定模块74，还用于在对比模块73将本次实际准确率与预设准确率进行对比之后，响应于在对前一目标抽样比例进行N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率小于预设准确率，确定对应本次预测值的本次实际准确率小于预设准确率的目标指标为突发指标；获取模块71，还用于获取突发指标的本次全量日志，计算模块72，还用于根据本次全量日志计算突发指标对应本次真实值；确定模块74，还用于确定本次真实值为突发指标对应的最终指标值。
可选地，确定模块74，还用于抽样模块75根据本次抽样比例对本次全量日志进行本次抽样，以获得本次抽样后的日志之后，响应于存在至少一个目标指标无抽样比例，确定无抽样比例的目标指标为偶然指标；获取模块71，还用于获取偶然指标的本次全量日志，计算模块72，还用于根据本次全量日志计算偶然指标对应本次真实值，确定模块74，还用于确定本次真实值为偶然指标对应的最终指标值；确定模块74，还用于根据深度神经网络DNN模型确定偶然指标的初始预设抽样比例；计算模块72，还用于根据下次全量日志和初始预设抽样比例计算偶然指标对应下次预测值，获取模块71，还用于获取偶然指标对应本次真实值作为下次真实值，以根据下次真实值和下次预测值确定偶然指标对应的下次最终指标值。
本实施例提供的数据监控装置可以执行图3所示的方法实施例，具体的实现原理和技术效果类似，此处不再赘述。
图5为本申请一实施例提供的电子设备的结构示意图，如图5所示，本实施例提供的电子设备80包括：处理器81以及与处理器通信连接的存储器82。
其中，存储器82存储计算机执行指令；处理器81，执行存储器存储的计算机执行指令以实现上述任意一个实施例提供的数据监控方法。相关说明可以对应参见附图中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
其中，程序可以包括程序代码，程序代码包括计算机执行指令。存储器82可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，本实施例中，存储器82和处理器81通过总线连接。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent Interconnect，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任意一个实施例提供的数据监控方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任意一个实施例提供的数据监控方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应该理解，上述的装置实施例仅是示意性的，本申请的装置还可通过其它的方式实现。例如，上述实施例中单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
另外，若无特别说明，在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，处理器可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，存储单元可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(ResistiveRandom Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种数据监控方法，其特征在于，所述方法应用于数据监控服务器，所述方法包括：
响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志；所述本次全量日志包括所属目标指标在当前时间产生的全部日志；所述本次辅助抽样日志包括所述全部日志中的多个日志；
根据各目标指标的本次辅助抽样日志计算对应的本次预测值，并获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；
根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率，并将所述本次实际准确率与预设准确率进行对比；
响应于在对所述前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；所述N为抽样比例调整次数阈值；
根据所述本次抽样比例对所述本次全量日志进行本次抽样，以获得本次抽样后的日志，并根据本次抽样后的日志计算各指标对应的最终指标值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志，包括：
按照所述前一目标抽样比例对所述本次全量日志进行抽样，形成基础辅助抽样日志；
对所述基础辅助抽样日志进行复制操作，以使所述基础辅助抽样日志的数量与所述本次全量日志的数量相同，并将复制后的基础辅助抽样日志确定为本次辅助抽样日志。
3.根据权利要求1所述的方法，其特征在于，所述前一目标抽样比例为初始预设抽样比例；
在所述响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志之前，还包括：
根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例。
4.根据权利要求3所述的方法，其特征在于，所述根据深度神经网络DNN模型确定至少一个目标指标的初始预设抽样比例，包括：
获取至少一个目标指标标识及至少一个目标指标的本次全量日志数量，将所述至少一个目标指标标识及本次全量日志数量导入至所述深度神经网络DNN模型，采用所述深度神经网络DNN模型计算并输出至少一个目标指标的初始预设抽样比例。
5.根据权利要求1所述的方法，其特征在于，在所述根据本次抽样后的日志计算各指标对应的最终指标值之后，还包括：
获取各目标指标标识及对应最终指标值；
根据所述各目标指标标识及对应最终指标值更新各目标指标的指标趋势曲线。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述本次实际准确率与预设准确率进行对比之后，还包括：
响应于在对所述前一目标抽样比例进行N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率小于预设准确率，确定所述对应本次预测值的本次实际准确率小于预设准确率的目标指标为突发指标；
获取所述突发指标的本次全量日志，并根据所述本次全量日志计算所述突发指标对应本次真实值；
确定所述本次真实值为所述突发指标对应的最终指标值。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述本次抽样比例对所述本次全量日志进行本次抽样，以获得本次抽样后的日志之后，还包括：
响应于存在至少一个目标指标无抽样比例，确定无抽样比例的目标指标为偶然指标；
获取所述偶然指标的本次全量日志，根据所述本次全量日志计算所述偶然指标对应本次真实值，并确定所述本次真实值为所述偶然指标对应的最终指标值；
根据深度神经网络DNN模型确定所述偶然指标的初始预设抽样比例；
根据下次全量日志和初始预设抽样比例计算所述偶然指标对应下次预测值，并获取所述偶然指标对应本次真实值作为下次真实值，以根据所述下次真实值和所述下次预测值确定偶然指标对应的下次最终指标值。
8.一种数据监控装置，其特征在于，所述装置位于数据监控服务器，包括：
获取模块，用于响应于确定目标互联网产品运行时生成至少一个目标指标的本次全量日志，根据所述本次全量日志及前一目标抽样比例获取所述至少一个目标指标的本次辅助抽样日志；所述本次全量日志包括所属目标指标在当前时间产生的全部日志；所述本次辅助抽样日志包括所述全部日志中的多个日志；
计算模块，用于根据各目标指标的本次辅助抽样日志计算对应的本次预测值；
所述获取模块，还用于获取各目标指标前一目标抽样比例对应的前一预测值作为本次真实值；
所述计算模块，还用于根据各目标指标对应本次真实值计算对应本次预测值的本次实际准确率；
对比模块，用于将所述本次实际准确率与预设准确率进行对比；
确定模块，用于响应于在对所述前一目标抽样比例进行小于等于N次调整后存在至少一个目标指标对应本次预测值的本次实际准确率大于或等于预设准确率，将小于或等于N次调整后的抽样比例确定为本次抽样比例；所述N为抽样比例调整次数阈值；
抽样模块，用于根据所述本次抽样比例对所述本次全量日志进行本次抽样，以获得本次抽样后的日志；
所述计算模块，还用于根据本次抽样后的日志计算各指标对应的最终指标值。
9.一种数据监控服务器，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
CN202311118915.8A 2023-08-31 2023-08-31 数据监控方法、装置、设备及存储介质 Pending CN117112359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311118915.8A CN117112359A (zh) 2023-08-31 2023-08-31 数据监控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311118915.8A CN117112359A (zh) 2023-08-31 2023-08-31 数据监控方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117112359A true CN117112359A (zh) 2023-11-24

Family

ID=88808921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311118915.8A Pending CN117112359A (zh) 2023-08-31 2023-08-31 数据监控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117112359A (zh)

Similar Documents

Publication Publication Date Title
CN107592346B (zh) 基于用户行为分析的用户分类方法
CN104811344A (zh) 网络动态业务监控方法及装置
CN110275878B (zh) 业务数据检测方法、装置、计算机设备及存储介质
CN111860568B (zh) 数据样本的均衡分布方法、装置及存储介质
CN117874653B (zh) 一种基于多源数据的电力系统安全监测方法及系统
US11733308B2 (en) Deterioration state estimation system of secondary battery, deterioration state estimation method of secondary battery, and storage medium
CN112579603A (zh) 基于cdc的数据模型动态信息感知监测方法及装置
CN111858704A (zh) 一种数据监控方法、装置、电子设备以及存储介质
CN110781340A (zh) 一种推荐系统召回策略的离线评估方法、系统、装置及存储介质
CN105306252A (zh) 一种自动判别服务器故障的方法
CN113098912B (zh) 用户账户异常的识别方法、装置、电子设备及存储介质
CN117112359A (zh) 数据监控方法、装置、设备及存储介质
CN108463813B (zh) 一种进行数据处理的方法和装置
CN117092525A (zh) 电池热失控预警模型的训练方法、装置及电子设备
CN112561388A (zh) 一种基于物联网的信息处理方法、装置及设备
CN109471852B (zh) 医疗数据库建立方法、装置、计算机设备和存储介质
CN115982269A (zh) 一种测试数据的提取方法及系统
CN110580265A (zh) Etl任务的处理方法、装置、设备及存储介质
CN115480126A (zh) 基于Fréchet算法的检测装置设置方法、系统、计算机设备及介质
CN113038283B (zh) 视频推荐方法、装置和存储介质
CN113626186A (zh) 一种服务器的负载均衡方法、系统及计算机可读存储介质
CN114595146A (zh) Ab测试方法、装置、系统、电子设备及介质
CN110008269B (zh) 一种数据回流方法、装置、设备及系统
CN111143644A (zh) 物联网设备的识别方法及装置
CN110378754B (zh) 一种数据处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination