CN107423433A - 一种数据采样率控制方法及装置 - Google Patents

一种数据采样率控制方法及装置 Download PDF

Info

Publication number
CN107423433A
CN107423433A CN201710656937.8A CN201710656937A CN107423433A CN 107423433 A CN107423433 A CN 107423433A CN 201710656937 A CN201710656937 A CN 201710656937A CN 107423433 A CN107423433 A CN 107423433A
Authority
CN
China
Prior art keywords
sampling rate
amount
current
estimated
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710656937.8A
Other languages
English (en)
Other versions
CN107423433B (zh
Inventor
张乐
尹正飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Poly Polytron Technologies Inc
Original Assignee
Poly Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Poly Polytron Technologies Inc filed Critical Poly Polytron Technologies Inc
Priority to CN201710656937.8A priority Critical patent/CN107423433B/zh
Publication of CN107423433A publication Critical patent/CN107423433A/zh
Application granted granted Critical
Publication of CN107423433B publication Critical patent/CN107423433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Feedback Control In General (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请公开了一种数据采样率控制方法及控制装置。本申请中，根据记录的多个历史采集量，确定采集量均值；根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率。采用本申请可调整数据采样率。

Description

一种数据采样率控制方法及装置
技术领域
本申请涉及通信领域，尤其涉及一种数据采样率控制方法及装置。
背景技术
在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。
通常采集数据会采取一定的采样率，防止大量的数据一下涌入数据库，造成对数据库的冲击。目前，通常的做法是在终端或客户端进行日志数据上报的采样，大数据采集时采样率的控制都是以固定采样率的方式，采样率设置的较高时，数据库压力过大，可能会遭到冲击；采样率设置的较低时，数据库的性能并未得到充分利用，采用固定采样率的方式不能兼顾数据库的压力问题和性能利用。
发明内容
本申请实施例提供一种数据采样率控制方法及装置，通过控制数据采样率来减少对数据库的冲击。
本申请的一个实施例提供数据收集器的数据采样率控制方法，该方法包括：
根据记录的多个历史采集量，确定采集量均值。
根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率。
根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率。
可以看到，在本申请实施例所提供的多数据收集器的数据采样率控制方法的技术方案中，根据记录的多个历史采集量，确定采集量均值；根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率，使得采样率可根据数据采集情况进行自适应控制，及时更新收集器的采样率，相比于现有技术中采用固定采样率进行数据采集的方案，可以减少对数据库的冲击。
具体地，根据记录的多个历史采集量，确定采集量均值，包括：
根据在当前采集量之前记录的历史采集量与所述历史采集量对应的权重，确定所述历史采集量的总量；其中，按照历史采集量与当前采集量之间的时间间隔，历史采集量对应的权重随着时间间隔的增大而逐渐减小。
根据所述历史采集量的总量以及所述历史采集量对应的权重，确定采集量均值。
上述方案中，根据记录的多个历史采集量，确定采集量均值时，可采用加权平均的方法，这样，针对记录的多个历史采集量统计得到的采集量中的异常值(比如设备重启时对应的采集量历史记录取值较低)可通过相应权重减少该异常值对计算结果的影响，进而可以使得计算得到的采集量均值较为合理。
具体地，按照与当前采集量的时间间隔由小及大的顺序，所述多个历史采集量包括第一采集量到第N采集量，所述多个历史采集量中的第i个采集量对应的权重表示为：discounti-1，其中，discount为设定值，取值范围为(0,1)，i为正整数且1≤i≤N。
上述方案中，按照历史采集量与当前采集量之间的时间间隔，历史采集量对应的权重随着时间间隔的增大而逐渐减小，可以使得距离当前采集量较远的采集量历史记录对计算结果影响较小，而距离当前采集量较近的采集量历史记录对计算结果影响较大，从而使得计算结果能够反映距离当前采集量较近时间段内的数据采集情况，进而可以使得计算得到的采集量均值较为合理。
进一步地，根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率，包括：
若当前采样率与所述比值的乘积小于1，则将所述乘积确定为预估采样率，否则，将预估采样率设置为1。
进一步地，根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，包括：
若当前采样率与所述预估采样率的差值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的。
根据所述预估采样率调整当前采样率，包括：
将当前采样率的取值调整为与所述预估采样率的取值相同；或者，
将当前采样率的取值调整到采样率范围内的一个取值，所述采样率范围内包含预估采样率；其中，所述采样率范围包含在所述预设范围内。
本申请的一个实施例提供的数据采样率控制装置，包括：
采样率均值确定模块，根据记录的多个历史采集量，确定采集量均值。
预估采样率确定模块，根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率。
采样率控制模块，根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率。
其中，所述采样率均值确定模块，具体用于：
根据在当前采集量之前记录的历史采集量与所述历史采集量对应的权重，确定所述历史采集量的总量；其中，按照历史采集量与当前采集量之间的时间间隔，历史采集量对应的权重随着时间间隔的增大而逐渐减小。
根据所述历史采集量的总量以及所述历史采集量对应的权重，确定采集量均值。
进一步地，所述采样率均值确定模块，具体用于：
按照与当前采集量的时间间隔由小及大的顺序，所述多个历史采集量包括第一采集量到第N采集量，所述多个历史采集量中的第i个采集量对应的权重表示为：discounti-1，其中，discount为设定值，取值范围为(0,1)，i为正整数且1≤i≤N。
其中，所述预估采样率确定模块，具体用于：
根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；包括：
若当前采样率与所述比值的乘积小于1，则将所述乘积确定为预估采样率，否则，将预估采样率设置为1。
其中，所述采样率控制模块，具体用于：
根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，包括：
若当前采样率与所述预估采样率的差值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的。
根据所述预估采样率调整当前采样率，包括：
将当前采样率的取值调整为与所述预估采样率的取值相同；或者，
将当前采样率的取值调整到采样率范围内的一个取值，所述采样率范围内包含预估采样率；其中，所述采样率范围包含在所述预设范围内。
附图说明
图1A、图1B分别为本申请实施例适用的系统架构图；
图2为本申请实施例提供的数据采样率控制方法的流程示意图；
图3为本申请实施例提供的权重随时间的变化示意图；
图4为本申请实施例多数据收集器进行采样率更新的流程示意图；
图5为本申请实施例提供的数据采样率控制装置的结构示意图。
具体实施方式
本申请实施例中，可根据数据收集器的数据采集情况，调整数据收集器的采样率，实现对数据采样率的自适应控制，进而可以保证数据的采集，减少数据库遭到的冲击。
本申请实施例中的数据采样率是指数据收集器采集的数据量与实际数据量的比值，数据采样率的取值范围为[0,1]。数据采样率可用百分比表示，比如数据收集器针对设备A生成的数据进行采集且数据采样率为80％，设备A在一时间段内生成100条数据，则数据收集器在该段时间内采集到该100条数据中的80条数据。
下面结合附图对本申请实施例进行详细描述。
图1A和图1B示例性地示出了本申请实施例所适用的系统架构图。
数据收集器采用集群的方式，设置多个数据收集器进行数据的采集，数据收集器将收集到的数据传输给数据库，数据收集器受数据采集率控制装置的控制，更新数据采集率。
基于图1A或图1B所示的系统架构，图2示例性地示出了本申请实施例提供的数据采样率控制方法，该方法可由图1A或图1B中的数据采样率控制装置执行。
基于图1A所示的系统架构，图2所示的流程中描述了数据收集器采样控制装置针对一个数据收集器进行数据采样率控制的流程。基于图1B所示的系统架构，图2所示的流程中描述了一个数据收集器中的数据收集器采样控制装置对该数据收集器的数据采样率进行控制的流程。
如图所示，该方法可包括：
步骤101：根据记录的多个历史采集量，确定采集量均值。
具体地，可按照设定周期对数据收集器采集的数据量进行统计，得到数据采集量历史记录。步骤101中可基于一定时间段内的数据采集量历史记录计算得到该时间段内的采集量均值。
具体地，本申请实施例提供了一种采样率均值计算方法，该方法中，根据连续M个(M为大于1的整数)单位时间内的采集量历史记录，对所述M个单位时间内的采集量进行算数平均值的计算。其中，所述单位时间可以是分钟或小时等，本申请实施例对此不作限制。
本申请实施例还提供了一种采用加权平均算法计算采集量均值的方案。具体地，可规定所述时间段为M个(M为大于1的整数)单位时间的长度，并针对该M个单位时间设置各自对应的权重。其中，M个单位时间设置各自对应的权重之和可以等于1也可以不等于1。所述单位时间可以是分钟或小时等，本申请实施例对此不作限制。在计算采集量均值时，可获取数据收集器在连续M个单位时间内的采集量历史记录，根据所述连续M个单位时间内的采集量历史记录以及所述M个单位时间各自对应的权重，对所述M个单位时间内的采集量进行加权求和；计算所述加权求和的结果与所述M个单位时间各自对应的权重之和之间的比值，得到所述数据采集器的采集量均值。
采用上述加权平均的方法计算采集量均值，这样，针对采集量历史记录中的异常值(比如设备重启时对应的采集量历史记录取值较低)可通过相应权重减少该异常值对计算结果的影响，进而可以使得计算得到的采集量均值较为合理。
可选地，根据与当前时刻之间的距离，所述连续M个单位时间各自对应的权重按照距离当前时刻由近及远的顺序逐渐降低。这样可以使得距离当前时刻较远的采集量历史记录对计算结果影响较小，而距离当前时刻较近的采集量历史记录对计算结果影响较大，从而使得计算结果能够反映距离当前时刻较近时间段内的数据采集情况，进而可以使得计算得到的采集量均值较为合理。
可选地，所述逐渐降低可以是按照指数级降低，按照距离当前时刻由近及远的顺序，所述连续M个单位时间中第i个单位时间对应的权重表示为：discounti-1，其中，discount为设定值，取值范围为(0,1)，i为正整数且1≤i≤N。discount的取值可为经验值或可通过系统仿真确定，在本申请实施例中，discount的优选值为0.08。
如图3所示，按照与当前时刻由近及远的顺序，有N个统计周期，例如0至t0，t0至t1是一个统计周期，以此类推；各个统计周期对应的权重相应表示为discount0，discount1……discountn；历史记录与当前采集量在时间上的距离越近，权重越大；历史记录与当前采集量在时间上的距离越远，权重越小。
通过以上加权平均的方法计算采集量均值，可以有效避免某些特殊情况下，产生的特殊值会对整体平均值产生很大影响。例如运维进行时，数据收集器重启，在重启的时间段内，数据采集量很少甚至无法进行数据采集，这样，若依据该时间段内的数据采集量历史记录计算采集量均值则会导致计算结果不合理，而采用上述加权平均的方法可以将该时间段内的数据采集量历史记录对计算结果的影响尽量降低，从而可以保证计算结果的合理性。
步骤102：根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率。
其中，用于指示对采样数据存储时低于存储压力的正常采集量可预先设置，可根据数据库的性能设置该参数，具体可通过对数据库进行压力测试得出。
具体实施时，可采用以下方式计算预估采样率：计算用于指示对采样数据存储时低于存储压力的正常采集量与所述采集量均值之间的比值，并计算当前采样率与所述比值的乘积；若所述乘积小于1，则将所述乘积确定为预估采样率，否则，将预估采样率设置为1(即100％)。
上述过程可通过以下表达式表示：
newSampleRate＝min(1，sample1*target/average)
其中，newSampleRate是预估采样率，sample1为当前采样率，target为用于指示对采样数据存储时低于存储压力的正常采集量，average为步骤101中计算得到的采集量均值，min()表示取最小值。
步骤103：根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，则转入步骤104，否则转入步骤105。
若当前采样率与所述预估采样率的差值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的.
其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的。比如，以target表示用于指示对采样数据存储时低于存储压力的正常采集量，可通过系统仿真等方式得到以下参数r(r为大于0)：能够保证数据库存储压力达到正常范围内的极限值时的采样率，并将该采样率与target的差值r确定所述预设范围，该预设范围为[-r，r]。
可选地，该步骤中，可计算数据收集器的当前采样率与预估采样率之差的绝对值与所述当前采样率之间的比值；若所述比值大于设定阈值，则判定需要调整数据采集器的采样率。
可根据以下公式计算数据收集器的当前采样率与预估采样率之差的绝对值与所述当前采样率之间的比值：
change＝abs(sample1-newSampleRate)/sample1
其中，change为计算得到的比值，sample1是数据收集器的当前采样率，newSampleRate是预估采样率，abs()表示取绝对值。
可选的，该步骤中，可计算当前采样率与预估采样率之间的比值；若所述比值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的。
步骤104：根据所述预估采样率调整当前采样率。
进一步地，所述预估采样率调整当前采样率，将数据收集器的当前采样率的取值调整为与所述预估采样率的取值相同；或者，
将当前采样率的取值调整到采样率范围内的一个取值，所述采样率范围内包含预估采样率；其中，所述采样率范围包含在所述预设范围内。
当调整完预估采样率之后，可通过采样随机算法进行数据收集，保证按照调整后的数据采样率进行数据采集。
步骤105：保持当前数据采样率不变。
在本申请实施例所提供的采样控制的技术方案中，根据当前采样率、用于指示对采样数据存储时低于存储压力的正常采集量以及所述采集量均值，确定预估采样率，并根据当前采样率与所述预估采样率的差异，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整所述当前采样率，从而可以调整采样率，使得数据收集器的采样率可根据数据采集情况进行自适应控制，及时更新收集器的采样率，相比于现有技术中采用固定采样率进行数据采集的方案，可以减少对数据库的冲击。
为了更清楚地理解本申请实施例，下面结合图3对上述流程进行详细描述。
本例子以单位时间为分钟为例进行描述。可基于zookeeper技术提供的数据结构，实现数据采样率控制。采用zookeeper技术，设置以下节点：
/collector/sample/storeRates，在该节点下针对不同的数据收集器创建各自的子节点，每个子节点用来存储相应数据收集器每分钟采样得到的数据量。每个数据收集器按照设定周期更新相应子节点下属于自己的采样的数据量。
/collector/sample/sampleLimitRate，用来记录用于指示对采样数据存储时低于存储压力的正常采集量。
各收集器监控/collector/sample/storeRates下所有子节点。当子节点发生变化，即数据收集器收集到数据时，计算所有数据收集器采样总量。设定有效收集次数最低值，用num表示，开启一buffer记录num次由前述计算出的数据收集器采样总量，且只保存最近的num次数据。以采集的num次数据进行计算。从所记录的采样数据量中取距离当前时刻最近的num个采样数据量，记为集合measurements＝{sample0,sample1,……,samplenum-1}，该集合中的元素依据时间顺序排列，其中，sample0距离当前时刻最近；
计算num个采样数据量的加权和：
计算num个权重的和：
measurements即收集的num次数据，discount取比较小的值如0.08。
如果change值大于设定的某一阈值，则更新数据收集器的采样率，将采样率更新为newSampleRate。
当更新完采样率之后，我们通过如下方法进行数据收集，保证采样的准确性：在按照更新完的采样率进行采样时，采样点随机分布，根据采样率随机选择数据进行采样，并存入数据库；未被选择的数据可以根据实际情况暂时存储于内存或者消息队列中，待数据库空闲时存入数据库，若采集的数据足够，则丢弃未被选择的数据。
基于相同的技术构思，本申请实施例还提供一种装置，该装置可执行上述方法实施例。该采样控制装置包括：
采样率均值确定模块201，根据记录的多个历史采集量，确定采集量均值；
预估采样率确定模块202，根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；
采样率控制模块203，根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率。
其中，所述采样率均值确定模块201，具体用于：
根据在当前采集量之前记录的历史采集量与所述历史采集量对应的权重，确定所述历史采集量的总量；其中，按照历史采集量与当前采集量之间的时间间隔，历史采集量对应的权重随着时间间隔的增大而逐渐减小；
根据所述历史采集量的总量以及所述历史采集量对应的权重，确定采集量均值。
进一步地，按照与当前采集量的时间间隔由小及大的顺序，所述多个历史采集量包括第一采集量到第N采集量，所述多个历史采集量中的第i个采集量对应的权重表示为：discounti-1，其中，discount为设定值，取值范围为(0,1)，i为正整数且1≤i≤N。
其中，所述预估采样率确定模块202，具体用于：
根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；包括：
若当前采样率与所述比值的乘积小于1，则将所述乘积确定为预估采样率，否则，将预估采样率设置为1。
其中，所述采样率控制模块203，具体用于：
根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，包括：
若当前采样率与所述预估采样率的差值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的。
根据所述预估采样率调整当前采样率，包括：
将当前采样率的取值调整为与所述预估采样率的取值相同；或者，
将当前采样率的取值调整到采样率范围内的一个取值，所述采样率范围内包含预估采样率；其中，所述采样率范围包含在所述预设范围内。
举例说明，数据收集器按一定频率更新采样次数，开启buffer记录收集器的更新数值，当所述buffer记录次数大于一定的数值时，进行采样率的更新计算，根据当前采样率与预估采样率的差异，判断是否需要调整采样率。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据采样率控制方法，其特征在于，包括：
根据记录的多个历史采集量，确定采集量均值；
根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；
根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率。
2.如权利要求1所述的方法，其特征在于，根据记录的多个历史采集量，确定采集量均值，包括：
根据在当前采集量之前记录的历史采集量与所述历史采集量对应的权重，确定所述历史采集量的总量；其中，按照历史采集量与当前采集量之间的时间间隔，历史采集量对应的权重随着时间间隔的增大而逐渐减小；
根据所述历史采集量的总量以及所述历史采集量对应的权重，确定采集量均值。
3.如权利要求1或2所述的方法，其特征在于，按照与当前采集量的时间间隔由小及大的顺序，所述多个历史采集量包括第一采集量到第N采集量，所述多个历史采集量中的第i个采集量对应的权重表示为：discounti-1，其中，discount为设定值，取值范围为(0,1)，i为正整数且1≤i≤N。
4.如权利要求1至2任一项所述的方法，其特征在于，根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；包括：
若当前采样率与所述比值的乘积小于1，则将所述乘积确定为预估采样率，否则，将预估采样率设置为1。
5.如权利要求1至2任一项所述的方法，其特征在于，根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，包括：
若当前采样率与所述预估采样率的差值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的；
根据所述预估采样率调整当前采样率，包括：
将当前采样率的取值调整为与所述预估采样率的取值相同；或者，
将当前采样率的取值调整到采样率范围内的一个取值，所述采样率范围内包含预估采样率；其中，所述采样率范围包含在所述预设范围内。
6.一种数据采样率控制装置，其特征在于，包括：
采样率均值确定模块，根据记录的多个历史采集量，确定采集量均值；
预估采样率确定模块，根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；
采样率控制模块，根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，并在判定为是时，根据所述预估采样率调整当前采样率。
7.如权利要求6所述的装置，其特征在于，所述采样率均值确定模块具体用于：
根据在当前采集量之前记录的历史采集量与所述历史采集量对应的权重，确定所述历史采集量的总量；其中，按照历史采集量与当前采集量之间的时间间隔，历史采集量对应的权重随着时间间隔的增大而逐渐减小；
根据所述历史采集量的总量以及所述历史采集量对应的权重，确定采集量均值。
8.如权利要求6或7所述的装置，其特征在于，按照与当前采集量的时间间隔由小及大的顺序，所述多个历史采集量包括第一采集量到第N采集量，所述多个历史采集量中的第i个采集量对应的权重表示为：discounti-1，其中，discount为设定值，取值范围为(0,1)，i为正整数且1≤i≤N。
9.如权利要求6至7任一项所述的装置，其特征在于，所述预估采样率确定模块具体用于：
根据所述采集量均值与用于指示对采样数据存储时低于存储压力的正常采集量之间的比值，以及当前采样率确定预估采样率；包括：
若当前采样率与所述比值的乘积小于1，则将所述乘积确定为预估采样率，否则，将预估采样率设置为1。
10.如权利要求6至7任一项所述的装置，其特征在于，所述采样率控制模块具体用于：
根据当前采样率与所述预估采样率的差值，判断是否需要调整当前采样率，包括：
若当前采样率与所述预估采样率的差值在预设范围之外，则判定需要调整当前采样率；其中，所述预设范围是根据所述用于指示对采样数据存储时低于存储压力的正常采集量确定的；
根据所述预估采样率调整当前采样率，包括：
将当前采样率的取值调整为与所述预估采样率的取值相同；或者，
将当前采样率的取值调整到采样率范围内的一个取值，所述采样率范围内包含预估采样率；其中，所述采样率范围包含在所述预设范围内。
CN201710656937.8A 2017-08-03 2017-08-03 一种数据采样率控制方法及装置 Active CN107423433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710656937.8A CN107423433B (zh) 2017-08-03 2017-08-03 一种数据采样率控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710656937.8A CN107423433B (zh) 2017-08-03 2017-08-03 一种数据采样率控制方法及装置

Publications (2)

Publication Number Publication Date
CN107423433A true CN107423433A (zh) 2017-12-01
CN107423433B CN107423433B (zh) 2020-07-10

Family

ID=60437419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710656937.8A Active CN107423433B (zh) 2017-08-03 2017-08-03 一种数据采样率控制方法及装置

Country Status (1)

Country Link
CN (1) CN107423433B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271396A (zh) * 2018-09-27 2019-01-25 杭州数梦工场科技有限公司 一种调用链数据的处理方法、装置、设备及存储介质
CN109726707A (zh) * 2019-02-27 2019-05-07 电子科技大学 Ddws系统中信号源的采样率选择方法
WO2019109352A1 (zh) * 2017-12-08 2019-06-13 华为技术有限公司 对设备的性能数据进行采样的方法和装置
CN110174865A (zh) * 2019-05-31 2019-08-27 北京宝兰德软件股份有限公司 一种控制目标信息采集率的方法及装置
CN111478806A (zh) * 2020-04-02 2020-07-31 聚好看科技股份有限公司 一种链路追踪采样方法及系统
CN111768329A (zh) * 2019-04-01 2020-10-13 维塔科技(北京)有限公司 采集内核执行时间的方法、装置、存储介质及电子设备
CN113450900A (zh) * 2020-03-25 2021-09-28 西安理邦科学仪器有限公司 生理数据的采样率确定方法、显示方法、设备及存储装置
CN113672447A (zh) * 2020-05-15 2021-11-19 杭州海康威视系统技术有限公司 数据采集方法及装置
CN113823333A (zh) * 2021-08-27 2021-12-21 深圳市灵镜技术有限公司 一种pcm音频采样率的升降控制方法及系统
CN114357069A (zh) * 2021-12-23 2022-04-15 微梦创科网络科技（中国）有限公司 一种基于分布式存储的大数据采样方法及系统
CN116067433A (zh) * 2023-03-07 2023-05-05 广东智云工程科技有限公司 一种振弦数据采集方法及其采集仪
CN116662100A (zh) * 2022-09-27 2023-08-29 荣耀终端有限公司 数据处理方法和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263556A (zh) * 2010-05-28 2011-11-30 凌阳科技股份有限公司 判断采样率的方法及其装置
CN102420611A (zh) * 2011-01-24 2012-04-18 展讯通信（上海）有限公司 一种数字信号的采样率转换方法及装置
CN102823139A (zh) * 2010-03-30 2012-12-12 高通股份有限公司 不同速率下的高效并发采样
CN103188119A (zh) * 2011-12-27 2013-07-03 特克特朗尼克公司 通信网络中关键性能指标的置信区间
CN103207695A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 控制触摸屏采样率的方法及电子设备
CN104243987A (zh) * 2014-09-29 2014-12-24 刘鹏 基于自适应采样率的图像采样方法
CN104599290A (zh) * 2015-01-19 2015-05-06 苏州经贸职业技术学院 一种面向视频感知节点的目标检测方法
US20160259401A1 (en) * 2013-03-15 2016-09-08 West Virginia University Compressed sampling and memory
CN105959792A (zh) * 2016-04-28 2016-09-21 宇龙计算机通信科技(深圳)有限公司 播放控制方法、装置以及系统
CN106095101A (zh) * 2016-06-16 2016-11-09 福建师范大学 基于节能机制的人体行为识别方法及客户端
CN106506249A (zh) * 2015-09-08 2017-03-15 北京国双科技有限公司 数据采集方法和装置
CN106647435A (zh) * 2016-09-20 2017-05-10 华南理工大学 多通道数据采样方法、系统和装置
WO2017091768A1 (en) * 2015-11-23 2017-06-01 Kespry, Inc. Autonomous mission action alteration

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823139A (zh) * 2010-03-30 2012-12-12 高通股份有限公司 不同速率下的高效并发采样
CN102263556A (zh) * 2010-05-28 2011-11-30 凌阳科技股份有限公司 判断采样率的方法及其装置
CN102420611A (zh) * 2011-01-24 2012-04-18 展讯通信（上海）有限公司 一种数字信号的采样率转换方法及装置
CN103188119A (zh) * 2011-12-27 2013-07-03 特克特朗尼克公司 通信网络中关键性能指标的置信区间
CN103207695A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 控制触摸屏采样率的方法及电子设备
US20160259401A1 (en) * 2013-03-15 2016-09-08 West Virginia University Compressed sampling and memory
CN104243987A (zh) * 2014-09-29 2014-12-24 刘鹏 基于自适应采样率的图像采样方法
CN104599290A (zh) * 2015-01-19 2015-05-06 苏州经贸职业技术学院 一种面向视频感知节点的目标检测方法
CN106506249A (zh) * 2015-09-08 2017-03-15 北京国双科技有限公司 数据采集方法和装置
WO2017091768A1 (en) * 2015-11-23 2017-06-01 Kespry, Inc. Autonomous mission action alteration
CN105959792A (zh) * 2016-04-28 2016-09-21 宇龙计算机通信科技(深圳)有限公司 播放控制方法、装置以及系统
CN106095101A (zh) * 2016-06-16 2016-11-09 福建师范大学 基于节能机制的人体行为识别方法及客户端
CN106647435A (zh) * 2016-09-20 2017-05-10 华南理工大学 多通道数据采样方法、系统和装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109352A1 (zh) * 2017-12-08 2019-06-13 华为技术有限公司 对设备的性能数据进行采样的方法和装置
CN109271396A (zh) * 2018-09-27 2019-01-25 杭州数梦工场科技有限公司 一种调用链数据的处理方法、装置、设备及存储介质
CN109726707B (zh) * 2019-02-27 2022-02-01 电子科技大学 Ddws系统中信号源的采样率选择方法
CN109726707A (zh) * 2019-02-27 2019-05-07 电子科技大学 Ddws系统中信号源的采样率选择方法
CN111768329A (zh) * 2019-04-01 2020-10-13 维塔科技(北京)有限公司 采集内核执行时间的方法、装置、存储介质及电子设备
CN111768329B (zh) * 2019-04-01 2024-03-15 维塔科技(北京)有限公司 采集内核执行时间的方法、装置、存储介质及电子设备
CN110174865A (zh) * 2019-05-31 2019-08-27 北京宝兰德软件股份有限公司 一种控制目标信息采集率的方法及装置
CN110174865B (zh) * 2019-05-31 2020-07-03 北京宝兰德软件股份有限公司 一种控制目标信息采集率的方法及装置
CN113450900A (zh) * 2020-03-25 2021-09-28 西安理邦科学仪器有限公司 生理数据的采样率确定方法、显示方法、设备及存储装置
CN111478806A (zh) * 2020-04-02 2020-07-31 聚好看科技股份有限公司 一种链路追踪采样方法及系统
CN111478806B (zh) * 2020-04-02 2022-10-14 聚好看科技股份有限公司 一种链路追踪采样方法及系统
CN113672447B (zh) * 2020-05-15 2024-02-27 杭州海康威视系统技术有限公司 数据采集方法及装置
CN113672447A (zh) * 2020-05-15 2021-11-19 杭州海康威视系统技术有限公司 数据采集方法及装置
CN113823333A (zh) * 2021-08-27 2021-12-21 深圳市灵镜技术有限公司 一种pcm音频采样率的升降控制方法及系统
CN113823333B (zh) * 2021-08-27 2022-11-15 深圳市灵镜技术有限公司 一种pcm音频采样率的升降控制方法及系统
CN114357069A (zh) * 2021-12-23 2022-04-15 微梦创科网络科技（中国）有限公司 一种基于分布式存储的大数据采样方法及系统
CN114357069B (zh) * 2021-12-23 2024-05-28 微梦创科网络科技（中国）有限公司 一种基于分布式存储的大数据采样方法及系统
CN116662100A (zh) * 2022-09-27 2023-08-29 荣耀终端有限公司 数据处理方法和电子设备
CN116662100B (zh) * 2022-09-27 2024-03-15 荣耀终端有限公司 数据处理方法和电子设备
CN116067433A (zh) * 2023-03-07 2023-05-05 广东智云工程科技有限公司 一种振弦数据采集方法及其采集仪
CN116067433B (zh) * 2023-03-07 2023-06-09 广东智云工程科技有限公司 一种振弦数据采集方法及其采集仪

Also Published As

Publication number Publication date
CN107423433B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN107423433B (zh) 一种数据采样率控制方法及装置
CN107229518B (zh) 一种分布式集群训练方法和装置
CN111984503B (zh) 一种监控指标数据异常数据识别的方法及装置
CN107871190B (zh) 一种业务指标监控方法及装置
US6968292B2 (en) Industrial controller event logging
CN107449156B (zh) 一种电热水器用水情况监测方法及电子设备
US20110161030A1 (en) Method And Device For Monitoring Measurement Data In Semiconductor Process
CN111142942B (zh) 窗口数据的处理方法、装置、服务器及存储介质
CN106502868B (zh) 一种适用于云计算的动态调整监测频率方法
CN110445680B (zh) 网络流量异常检测方法、装置及服务器
CN106161140B (zh) 确定被监控节点工作状态的方法、监控节点和集群系统
CN115902647B (zh) 一种电池状态智能监测方法
CN104905795A (zh) 一种ble联网睡眠监测方法及装置
CN106202280A (zh) 一种信息处理方法及服务器
CN113406523A (zh) 一种储能电池状态评价方法、装置、电子设备及存储系统
CN115931055A (zh) 一种基于大数据分析的农村供水运行诊断方法及系统
CN104572076B (zh) 一种模拟量采集的软滤波算法及滤波系统
CN113835626B (zh) 一种确定磁盘可使用时长的方法及装置
CN117348594A (zh) 一种采样频率的调整方法、装置、设备及存储介质
CN118503928A (zh) 一种轴承剩余寿命预测方法、装置、设备及存储介质
CN111258854B (zh) 模型训练方法、基于预测模型的报警方法和相关装置
CN106357445B (zh) 一种用户体验监控方法及监控服务器
CN110020000B (zh) 判定异常风速数据的方法和装置
CN116771611A (zh) 一种风电机组功率监测方法及装置
CN113486953B (zh) 变频器滤网更换时间的预测方法、装置及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant