CN107864071B - 一种面向主动安全的数据动态采集方法、装置及系统 - Google Patents

一种面向主动安全的数据动态采集方法、装置及系统 Download PDF

Info

Publication number
CN107864071B
CN107864071B CN201711069160.1A CN201711069160A CN107864071B CN 107864071 B CN107864071 B CN 107864071B CN 201711069160 A CN201711069160 A CN 201711069160A CN 107864071 B CN107864071 B CN 107864071B
Authority
CN
China
Prior art keywords
data
ratio sum
target
initial
acquisition frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711069160.1A
Other languages
English (en)
Other versions
CN107864071A (zh
Inventor
翟友钧
赵旦谱
台宪青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu IoT Research and Development Center
Original Assignee
Jiangsu IoT Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu IoT Research and Development Center filed Critical Jiangsu IoT Research and Development Center
Priority to CN201711069160.1A priority Critical patent/CN107864071B/zh
Publication of CN107864071A publication Critical patent/CN107864071A/zh
Application granted granted Critical
Publication of CN107864071B publication Critical patent/CN107864071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种面向主动安全的数据动态采集方法，其中，包括：配置获取原始数据的初始采集频率；根据初始采集频率从监测目标中获取当前周期的原始数据；对原始数据进行处理得到处理数据；将处理数据输出到定向目标；记录目标数据的变化幅度；计算当前时刻至当前时刻之前的m时间内的k个目标数据的变化幅度之和与数据量的第一比值；计算当前时刻至当前时刻之前的n时间内的p个目标数据的变化幅度之和与数据量的第二比值；比较第一比值与所述第二比值的大小；根据比较结果判定是否需要调整初始采集频率。本发明还公开了一种面向主动安全的数据动态采集装置及采集系统。本发明提供的面向主动安全的数据动态采集方法提高了数据采集的精度。

Description

一种面向主动安全的数据动态采集方法、装置及系统
技术领域
本发明涉及网络安全技术领域，尤其涉及一种面向主动安全的数据动态采集方法、一种面向主动安全的数据动态采集装置及包括面向主动安全的数据动态采集装置的面向主动安全的数据动态采集系统。
背景技术
传统的信息安全由于受到技术发展的限制，只能采取被动防御模式，即在入侵行为对信息系统发生影响以后被动地修复造成的破坏。随着大数据分析技术、云计算技术的发展，信息系统安全监测技术对安全态势的分析越来越准确，对安全事件预警越来越及时精准，安全防御逐渐由被动防御向主动防御转变(即主动安全)。
对于大数据分析技术来说，丰富、全面、优质的数据源是使这一技术能够成为决策支持的重要前提。一般来说，数据越多越全面，得出的分析结果也就越准确。但是，如果是在不能保证数据来源准确度的情况下，大量的数据反而会加大分析的难度，反而会降低决策的准确性。
要实现对信息安全的全面的数据采集，需要全面包含信息安全各个方面的数据，而各个方面的数据采集具有不尽相同的特点，需要根据相关特点使用不同的采集方法。本技术主要针对的是信息安全中的网络安全。网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或恶意的原因而遭受的破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。针对网络安全的特点，使用采集软件对计算机系统中各项指标的采集可以实现对主动安全数据分析所需要的数据源的获取。
对于采集频率的控制，现有技术方案是通过配置文件参数来实现的。图1所示是现有技术方案中对于采集频率的控制流程。可以看出，采集频率写在配置文件中，当在采集模块启动、进行初始化的时候，将其作为一个系统中的常量存在，没有成为闭环结构中的一部分，是一种固定间隔的采集策略。传统的采集策略使用固定间隔采集策略，这样产生的数据作为大数据分析的数据源具有数据冗余、精度不足的问题。数据冗余越严重，则需要花费越多的精力进行数据清洗；数据精度越低，则越难以从中发现入侵行为。因此，等间隔采集策略所采集到的数据，不能达到大数据分析对主动安全提供决策支持所需要的丰富、全面、优质的要求，并不适用于作为实现主动安全的大数据数据源。
因此，如何能够提高数据的采集精度成为本领域技术人员亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种面向主动安全的数据动态采集方法、一种面向主动安全的数据动态采集装置及包括面向主动安全的数据动态采集装置的面向主动安全的数据动态采集系统，以解决现有技术中的问题。
作为本发明的第一个方面，提供一种面向主动安全的数据动态采集方法，其中，所述面向主动安全的数据动态采集方法包括：
配置获取原始数据的初始采集频率，其中，所述初始采集频率为固定时间间隔；
根据所述初始采集频率从监测目标中获取当前周期的原始数据；
对所述原始数据进行处理得到处理数据；
将所述处理数据输出到定向目标中得到目标数据；
记录所述目标数据的变化幅度；
计算当前时刻至当前时刻之前的m时间内的k个所述目标数据的变化幅度m(k)之和sum(m(k))与数据量k的第一比值sum(m(k))/k；
计算当前时刻至当前时刻之前的n时间内的p个所述目标数据的变化幅度n(p)之和sum(n(p))与数据量p的第二比值sum(n(p))/p，其中，n＜＜m，p＜＜k；
比较所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的大小，得到比较结果；
根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据。
优选地，所述根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据包括：
若所述第一比值sum(m(k))/k大于/小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的差值大于第一预设阈值，则调整所述初始采集频率；
否则，不调整所述初始采集频率。
优选地，所述若所述第一比值sum(m(k))/k大于/小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的差值大于第一预设阈值，则调整所述初始采集频率包括：
若所述第一比值sum(m(k))/k大于所述第二比值sum(n(p))/p，且所述第一第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的比值大于第一预设阈值，则将所述初始采集频率按照第一步长调低；
若所述第一比值sum(m(k))/k小于所述第二比值sum(n(p))/p，且所述第一第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的比值大于第一预设阈值，则将所述初始采集频率按照第二步长调高，
所述第一步长小于所述第二步长。
优选地，所述根据所述初始采集频率从监测目标中获取当前周期的原始数据包括根据所述初始采集频率从监测目标中获取第一周期的初始数据。
优选地，所述初始数据的数据量的确定包括：
建立预测模型；
获取不同的所述初始数据的数据量；
根据不同的所述初始数据的数据量观察所述预测模型的精确度；
将在阈值范围内的精确度中所对应的最小的所述初始数据的数据量确定为所述初始数据的数据量。
优选地，所述监测目标包括：系统状态、服务信息和第三方应用。
优选地，所述定向目标包括监控数据库。
优选地，所述对所述原始数据进行处理得到处理数据包括：
对所述原始数据转换、加工和过滤得到第一处理数据；
对所述原始数据进行聚合计算得到第二处理数据；
所述处理数据包括第一处理数据和第二处理数据。
作为本发明的第二个方面，提供一种面向主动安全的数据动态采集装置，其中，所述面向主动安全的数据动态采集装置包括：
配置单元，所述配置单元用于配置获取原始数据的初始采集频率，其中，所述初始采集频率为固定时间间隔；
输入单元，所述输入单元用于根据所述初始采集频率从监测目标中获取当前周期的原始数据；
处理单元，所述处理单元用于对所述原始数据进行处理得到处理数据；
输出单元，所述输出单元用于将所述处理数据输出到定向目标中得到目标数据；
缓存单元，所述缓存单元用于记录所述目标数据的变化幅度；
第一计算单元，所述第一计算单元用于计算当前时刻至当前时刻之前的m时间内的k个所述目标数据的变化幅度m(k)之和sum(m(k))与数据量k的第一比值sum(m(k))/k；
第二计算单元，所述第二计算单元用于计算当前时刻至当前时刻之前的n时间内的p个所述目标数据的变化幅度n(p)之和sum(n(p))与数据量p的第二比值sum(n(p))/p，其中，n＜＜m，p＜＜k；
比较单元，所述比较单元用于比较所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的大小，得到比较结果；
调整单元，所述调整单元用于根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据。
作为本发明的第三个方面，提供一种面向主动安全的数据动态采集系统，其中，所述面向主动安全的数据动态采集系统包括监测目标、定向目标和前文所述的面向主动安全的数据动态采集装置，所述监测目标与所述面向主动安全的数据动态采集装置中的输入单元连接，所述定向目标与所述面向主动安全的数据动态采集装置的输出单元连接。
本发明提供的面向主动安全的数据动态采集方法，在采集初始周期时通过配置的固定时间间隔周期进行采集，并对采集到的数据输出后进行变化幅度的统计，计算当前时刻采集对象的变化幅度波动等级，并以此指定合理的采集频率，通过这种动态调整的方式达到系统资源的合理占用，提高了数据的采集精度，且通过不断调整采集频率形成一套闭环的采集方法，降低了采集到的数据的冗余度，使其作为大数据分析的数据源更有分析价值。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为现有技术中的数据采集流程图。
图2为本发明提供的面向主动安全的数据动态采集方法的流程图。
图3为本发明提供的面向主动安全的数据动态采集方法的具体实施方式流程图。
图4为本发明提供的面向主动安全的数据动态采集装置的结构示意图。
图5为本发明提供的面向主动安全的数据动态采集系统的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
作为本发明的第一个方面，提供一种面向主动安全的数据动态采集方法，其中，如图2所示，所述面向主动安全的数据动态采集方法包括：
S110、配置获取原始数据的初始采集频率，其中，所述初始采集频率为固定时间间隔；
S120、根据所述初始采集频率从监测目标中获取当前周期的原始数据；
S130、对所述原始数据进行处理得到处理数据；
S140、将所述处理数据输出到定向目标中得到目标数据；
S150、记录所述目标数据的变化幅度；
S160、计算当前时刻至当前时刻之前的m时间内的k个所述目标数据的变化幅度m(k)之和sum(m(k))与数据量k的第一比值sum(m(k))/k；
S170、计算当前时刻至当前时刻之前的n时间内的p个所述目标数据的变化幅度n(p)之和sum(n(p))与数据量p的第二比值sum(n(p))/p，其中，n＜＜m，p＜＜k；
S180、比较所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的大小，得到比较结果；
S190、根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据。
本发明提供的面向主动安全的数据动态采集方法，在采集初始周期时通过配置的固定时间间隔周期进行采集，并对采集到的数据输出后进行变化幅度的统计，计算当前时刻采集对象的变化幅度波动等级，并以此指定合理的采集频率，通过这种动态调整的方式达到系统资源的合理占用，提高了数据的采集精度，且通过不断调整采集频率形成一套闭环的采集方法，降低了采集到的数据的冗余度，使其作为大数据分析的数据源更有分析价值。
具体地，为了实现采集频率调整，所述根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据包括：
若所述第一比值sum(m(k))/k大于/小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的差值大于第一预设阈值，则调整所述初始采集频率；
否则，不调整所述初始采集频率。
进一步地，所述若所述第一比值sum(m(k))/k大于/小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的差值大于第一预设阈值，则调整所述初始采集频率包括：
若所述第一比值sum(m(k))/k大于所述第二比值sum(n(p))/p，且所述第一第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的比值大于第一预设阈值，则将所述初始采集频率按照第一步长调低；
若所述第一比值sum(m(k))/k小于所述第二比值sum(n(p))/p，且所述第一第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的比值大于第一预设阈值，则将所述初始采集频率按照第二步长调高，
所述第一步长小于所述第二步长。
可以理解的是，采集频率调高的步长大于采集频率调低的步长，这样能够提高采集数据的精度。
应当理解的是，在对数据采集初期，是通过配置得到的初始采集频率进行数据采集的，所述根据所述初始采集频率从监测目标中获取当前周期的原始数据包括根据所述初始采集频率从监测目标中获取第一周期的初始数据。
还应当理解的是，在第一个周期通过初试采集频率采集得到初始数据，若通过对第一个周期的数据进行评估，不需要调整初始采集频率，则第二个周期可以继续通过初始采集频率进行数据采集，后面的周期也是一样，若是需要调整，则采用调整后的采集频率进行数据采集。
具体地，为了避免通过初始采集频率采集的数据量过大造成的数据冗余以及过长的等待时间，所述初始数据的数据量的确定包括：
建立预测模型；
获取不同的所述初始数据的数据量；
根据不同的所述初始数据的数据量观察所述预测模型的精确度；
将在阈值范围内的精确度中所对应的最小的所述初始数据的数据量确定为所述初始数据的数据量。
通过这种方式确定了第一个周期通过初始采集频率采集到的初始数据的数据量，且确定的初始数据的数据量既能够满足采集精度的需求，又不至于数据量过大造成冗余。
作为一种具体地实施方式，如图3所示，当一次采集行为完成将结果输出到定向目标后，同时以本次采集的结果对平滑度分析区间的数据进行更新。
平滑度分析区间中保存了当前时刻以及之前一段时间m内的k个历史采集数据，用于模拟刻画采集对象在当前以及一段时间的平滑程度。同时，再用当前时刻一个时间区间n(n＜＜m)内的p个历史采集数据模拟刻画采集对象在当前时刻的变化幅度。通过两者比值，可以作为判定是否需要改变采集频率的衡量指标。
进行计算之前，需要对采集指标进行初始数据的采集。由前文可知，进行基于时间序列的预测需要一定量的按时间排序的初始数据序列，对预测结果的精确度才有一定保证。而初始数据的数量对预测结果的精确度有比较大的影响。同时若初始数据的数量过大，则导致系统开始工作后很长一段时间内处于等间隔采集的工作状态，而不是进入本技术的核心步骤。
在此引入参数初始数据量(即前文中的k和p)，此参数的意义为，预测模型在尽量不影响预测精度的前提下，所需要的初始数据的最低数量。因此选取初始数据的数量也是影响本技术评价指标的重要因素。由于预测模型往往在初始数据量超过一定级别后，随着初始数据数量的增长，其预测精度逐渐趋向稳定。在本文建立模型的过程中，为了得到更好的预测精确度，在前文参数估计的前提下，将选取不同的初始数据量，观察预测模型的精确度，选择可接受的预测精确度下，最小的取值。
如果判定需要改变采集频率，则改变采集频率后进行下一个周期的采集；如果判定不需要改变采集频率，则直接进行下一个周期的采集。
优选地，所述监测目标包括：系统状态、服务信息和第三方应用。
优选地，所述定向目标包括监控数据库。
作为数据处理的具体实施方式，所述对所述原始数据进行处理得到处理数据包括：
对所述原始数据转换、加工和过滤得到第一处理数据；
对所述原始数据进行聚合计算得到第二处理数据；
所述处理数据包括第一处理数据和第二处理数据。
因此，本发明提供的面向主动安全的数据动态采集方法，通过记录数据平滑度分析区间内的历史采集数据，计算当前时刻采集对象的变化幅度波动等级，并以此指定合理的采集频率；在经过数个采集周期以后系统再次评估变化幅度波动等级，可通过新的评估等级重新指定采集频率，通过这种动态调整的方式达到系统资源的合理占用。通过在变化幅度波动较稳定时降低采集频率，避免了大量冗余数据的产生；通过在变化幅度波动较剧烈是提高采集频率，避免了因数据精度不足而导致的漏判、误判。通过评估采集对象的变化幅度波动等级，并以此为根据改变相应的采集频率，从而形成一套闭环的采集方法，降低了数据的冗余度，使其作为大数据分析的数据。
作为本发明的第二个方面，提供一种面向主动安全的数据动态采集装置，其中，如图4所示，所述面向主动安全的数据动态采集装置10包括：
配置单元110，所述配置单元110用于配置获取原始数据的初始采集频率，其中，所述初始采集频率为固定时间间隔；
输入单元120，所述输入单元120用于根据所述初始采集频率从监测目标中获取当前周期的原始数据；
处理单元130，所述处理单元130用于对所述原始数据进行处理得到处理数据；
输出单元140，所述输出单元140用于将所述处理数据输出到定向目标中得到目标数据；
缓存单元150，所述缓存单元150用于记录所述目标数据的变化幅度；
第一计算单元160，所述第一计算单元160用于计算当前时刻至当前时刻之前的m时间内的k个所述目标数据的变化幅度m(k)之和sum(m(k))与数据量k的第一比值sum(m(k))/k；
第二计算单元170，所述第二计算单元170用于计算当前时刻至当前时刻之前的n时间内的p个所述目标数据的变化幅度n(p)之和sum(n(p))与数据量p的第二比值sum(n(p))/p，其中，n＜＜m，p＜＜k；
比较单元180，所述比较单元180用于比较所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的大小，得到比较结果；
调整单元190，所述调整单元190用于根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据。
本发明提供的面向主动安全的数据动态采集装置，在采集初始周期时通过配置的固定时间间隔周期进行采集，并对采集到的数据输出后进行变化幅度的统计，计算当前时刻采集对象的变化幅度波动等级，并以此指定合理的采集频率，通过这种动态调整的方式达到系统资源的合理占用，提高了数据的采集精度，且通过不断调整采集频率形成一套闭环的采集方法，降低了采集到的数据的冗余度，使其作为大数据分析的数据源更有分析价值。
如图5所示，为面向主动安全的数据动态采集装置的具体实施方式结构示意图，所述处理单元130包括处理模块131和聚合模块132，所述处理模块131用于对所述原始数据转换、加工和过滤得到第一处理数据，所述聚合模块132用于对所述原始数据进行聚合计算得到第二处理数据。当调整单元190判断是否需要改变、以及改变的目标值后，通过一个接口将其传给采集装置的输入单元，采集装置除了在启动初始化的时候需要编译配置文件获得初始采集频率，在完成启动后、每次获取原始数据前，通过接口获取更新后的采集频率，并按照这个采集频率来进行下一个周期的采集。
作为本发明的第三个方面，提供一种面向主动安全的数据动态采集系统，其中，如图5所示，所述面向主动安全的数据动态采集系统1包括监测目标20、定向目标30和前文所述的面向主动安全的数据动态采集装置10，所述监测目标20与所述面向主动安全的数据动态采集装置10中的输入单元120连接，所述定向目标30与所述面向主动安全的数据动态采集装置10的输出单元140连接。
本发明提供的面向主动安全的数据动态采集系统，对于变化幅度平缓的采集目标，通过自适应地降低采集频率，且不会低于最低采集频率，在保证能够体现采集对象的特征的同时，降低了产生的数据量，进而在对采集数据进行存储、传输、处理的过程中，降低了对系统资源的占用和消耗；对于主动安全的实现，低冗余的数据源可以大大降低大数据分析时需要进行数据清洗的工作量，能够有效地提高计算效率。对于变化幅度剧烈的采集目标，通过自适应地提高采集频率，且不会高于最高采集频率，在保证不影响系统正常运行的同时，提高了对采集目标的采集精度，进而在对采集数据数据进行大数据分析时，可以尽可能地挖掘其中隐藏的信息资源；对于主动安全的实现，内容丰富的数据源在不影响计算效率的同时可以尽可能地提高发现潜在威胁的成功率，提高主动安全的防御强度。对于采集频率的调整，采用自适应调节的方法实现；对于实际情况瞬息万变的复杂系统，传统手动调整的方法存在严重的不及时、不智能、效果差的问题；通过采用自适应调节方法，弥补了手动调整不及时、不智能、效果差的缺陷，解决了必须通过重启初始化生效的问题。在大大降低了人工成本的同时，显著提高了调节效果。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种面向主动安全的数据动态采集方法，其特征在于，所述面向主动安全的数据动态采集方法包括：
配置获取原始数据的初始采集频率，其中，所述初始采集频率为固定时间间隔；
根据所述初始采集频率从监测目标中获取当前周期的原始数据；
对所述原始数据进行处理得到处理数据；
将所述处理数据输出到定向目标中得到目标数据；
记录所述目标数据的变化幅度；
计算当前时刻至当前时刻之前的m时间内的k个所述目标数据的变化幅度m(k)之和sum(m(k))与数据量k的第一比值sum(m(k))/k；
计算当前时刻至当前时刻之前的n时间内的p个所述目标数据的变化幅度n(p)之和sum(n(p))与数据量p的第二比值sum(n(p))/p，其中，n<<m，p<<k；
比较所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的大小，得到比较结果；
根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据。
2.根据权利要求1所述的面向主动安全的数据动态采集方法，其特征在于，所述根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据包括：
若所述第一比值sum(m(k))/k大于/小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的差值大于第一预设阈值，则调整所述初始采集频率；
否则，不调整所述初始采集频率。
3.根据权利要求2所述的面向主动安全的数据动态采集方法，其特征在于，所述若所述第一比值sum(m(k))/k大于/小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的差值大于第一预设阈值，则调整所述初始采集频率包括：
若所述第一比值sum(m(k))/k大于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的比值大于第一预设阈值，则将所述初始采集频率按照第一步长调低；
若所述第一比值sum(m(k))/k小于所述第二比值sum(n(p))/p，且所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的比值大于第一预设阈值，则将所述初始采集频率按照第二步长调高，
所述第一步长小于所述第二步长。
4.根据权利要求1所述的面向主动安全的数据动态采集方法，其特征在于，所述根据所述初始采集频率从监测目标中获取当前周期的原始数据包括根据所述初始采集频率从监测目标中获取第一周期的初始数据。
5.根据权利要求4所述的面向主动安全的数据动态采集方法，其特征在于，所述初始数据的数据量的确定包括：
建立预测模型；
获取不同的所述初始数据的数据量；
根据不同的所述初始数据的数据量观察所述预测模型的精确度；
将在阈值范围内的精确度中所对应的最小的所述初始数据的数据量确定为所述初始数据的数据量。
6.根据权利要求1至5中任意一项所述的面向主动安全的数据动态采集方法，其特征在于，所述监测目标包括：系统状态、服务信息和第三方应用。
7.根据权利要求1至5中任意一项所述的面向主动安全的数据动态采集方法，其特征在于，所述定向目标包括监控数据库。
8.根据权利要求1至5中任意一项所述的面向主动安全的数据动态采集方法，其特征在于，所述对所述原始数据进行处理得到处理数据包括：
对所述原始数据转换、加工和过滤得到第一处理数据；
对所述原始数据进行聚合计算得到第二处理数据；
所述处理数据包括第一处理数据和第二处理数据。
9.一种面向主动安全的数据动态采集装置，其特征在于，所述面向主动安全的数据动态采集装置包括：
配置单元，所述配置单元用于配置获取原始数据的初始采集频率，其中，所述初始采集频率为固定时间间隔；
输入单元，所述输入单元用于根据所述初始采集频率从监测目标中获取当前周期的原始数据；
处理单元，所述处理单元用于对所述原始数据进行处理得到处理数据；
输出单元，所述输出单元用于将所述处理数据输出到定向目标中得到目标数据；
缓存单元，所述缓存单元用于记录所述目标数据的变化幅度；
第一计算单元，所述第一计算单元用于计算当前时刻至当前时刻之前的m时间内的k个所述目标数据的变化幅度m(k)之和sum(m(k))与数据量k的第一比值sum(m(k))/k；
第二计算单元，所述第二计算单元用于计算当前时刻至当前时刻之前的n时间内的p个所述目标数据的变化幅度n(p)之和sum(n(p))与数据量p的第二比值sum(n(p))/p，其中，n<<m，p<<k；
比较单元，所述比较单元用于比较所述第一比值sum(m(k))/k与所述第二比值sum(n(p))/p的大小，得到比较结果；
调整单元，所述调整单元用于根据所述比较结果判定是否需要调整所述初始采集频率以获取下一个周期的原始数据。
10.一种面向主动安全的数据动态采集系统，其特征在于，所述面向主动安全的数据动态采集系统包括监测目标、定向目标和权利要求9所述的面向主动安全的数据动态采集装置，所述监测目标与所述面向主动安全的数据动态采集装置中的输入单元连接，所述定向目标与所述面向主动安全的数据动态采集装置的输出单元连接。
CN201711069160.1A 2017-11-02 2017-11-02 一种面向主动安全的数据动态采集方法、装置及系统 Active CN107864071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711069160.1A CN107864071B (zh) 2017-11-02 2017-11-02 一种面向主动安全的数据动态采集方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711069160.1A CN107864071B (zh) 2017-11-02 2017-11-02 一种面向主动安全的数据动态采集方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107864071A CN107864071A (zh) 2018-03-30
CN107864071B true CN107864071B (zh) 2021-06-22

Family

ID=61700510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711069160.1A Active CN107864071B (zh) 2017-11-02 2017-11-02 一种面向主动安全的数据动态采集方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107864071B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549595B (zh) * 2018-04-18 2021-06-08 江苏物联网研究发展中心 一种计算系统状态信息动态采集方法及系统
CN110654399B (zh) * 2018-06-29 2021-09-03 比亚迪股份有限公司 系统监控方法及装置
CN108981069B (zh) * 2018-06-29 2020-01-21 珠海格力电器股份有限公司 数据采集频率的控制方法、装置及空调系统
CN110737727B (zh) 2018-07-19 2023-09-29 华为云计算技术有限公司 一种数据处理的方法及系统
WO2020015453A1 (zh) * 2018-07-19 2020-01-23 华为技术有限公司 一种数据处理的方法及系统
CN110426583A (zh) * 2019-08-13 2019-11-08 南京东博智慧能源研究院有限公司 一种智能插座的数据自适应采集方法
CN111104303A (zh) * 2019-12-13 2020-05-05 苏州浪潮智能科技有限公司 一种服务器指标数据采集方法、装置和介质
CN111046409B (zh) * 2019-12-16 2021-04-13 支付宝(杭州)信息技术有限公司 一种私有数据多方安全计算方法和系统
CN111882382A (zh) * 2020-06-30 2020-11-03 上海万位科技有限公司 基于数据和风险关联模型的共享汽车数据存储管理方法
CN112507208B (zh) * 2020-11-02 2021-07-20 北京迅达云成科技有限公司 一种基于大数据的网络数据采集系统
CN113098963B (zh) * 2021-04-01 2021-11-23 江苏博昊智能科技有限公司 面向物联网云计算的处理分析系统
CN113253499B (zh) * 2021-06-18 2021-09-28 深圳市泰科盛自动化系统有限公司 基于液晶屏检测的液晶屏自调节组装系统
CN113949947B (zh) * 2021-10-15 2022-09-06 中国石油天然气股份有限公司 用于节能监测的无线多功能数据采集器
CN114088066A (zh) * 2021-11-12 2022-02-25 浙江大京生态环境科技有限公司 一种用海动态监测方法及其使用的设备
CN115333964A (zh) * 2022-08-16 2022-11-11 中国银行股份有限公司 一种数据采集方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511099A (zh) * 2009-04-01 2009-08-19 南京邮电大学 基于时间序列预测模型的无线传感器网络数据采集方法
CN104065168A (zh) * 2014-06-30 2014-09-24 江苏华大天益电力科技有限公司 一种风光储联合发电状态监测的动态变频数据采集方法
CN105682121A (zh) * 2016-01-29 2016-06-15 中国联合网络通信集团有限公司 传感器网络的数据采集方法、网关和数据采集系统
CN107222360A (zh) * 2017-05-24 2017-09-29 郑州云海信息技术有限公司 一种基于分布式集群的数据采集系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893865B (zh) * 2009-05-19 2013-12-11 北京时代凌宇科技有限公司 一种工业检测系统的数据传输方法
JP2012049954A (ja) * 2010-08-30 2012-03-08 Yamaha Corp サンプリング周波数変換装置
CN103234624B (zh) * 2012-08-20 2015-01-07 苏州大学 一种高精度的频率估计系统
JP6092727B2 (ja) * 2012-08-30 2017-03-08 株式会社メガチップス 受信装置
CN104460594A (zh) * 2014-10-30 2015-03-25 清华大学 一种基于两层嵌套结构的调度优化方法
CN107124445B (zh) * 2017-03-31 2019-12-13 北京奇艺世纪科技有限公司 一种数据采集方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511099A (zh) * 2009-04-01 2009-08-19 南京邮电大学 基于时间序列预测模型的无线传感器网络数据采集方法
CN104065168A (zh) * 2014-06-30 2014-09-24 江苏华大天益电力科技有限公司 一种风光储联合发电状态监测的动态变频数据采集方法
CN105682121A (zh) * 2016-01-29 2016-06-15 中国联合网络通信集团有限公司 传感器网络的数据采集方法、网关和数据采集系统
CN107222360A (zh) * 2017-05-24 2017-09-29 郑州云海信息技术有限公司 一种基于分布式集群的数据采集系统及方法

Also Published As

Publication number Publication date
CN107864071A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107864071B (zh) 一种面向主动安全的数据动态采集方法、装置及系统
CN109815332B (zh) 损失函数优化方法、装置、计算机设备及存储介质
CN106886485B (zh) 系统容量分析预测方法及装置
CN108683560B (zh) 一种大数据流处理框架的性能基准测试系统及方法
CN112640380A (zh) 用于对事件的输入流进行异常检测的设备和方法
US10250463B2 (en) Methods and systems for online monitoring using a variable data sampling rate
CN102955719A (zh) 疑似内存泄漏的确定方法及装置
CN111767641B (zh) 风力发电机组极限载荷数据的处理方法和系统
CN107402851B (zh) 一种数据恢复控制方法及装置
KR20200052403A (ko) 에지 컴퓨팅 기반 데이터 분석 시스템 및 그 방법
CN106503841B (zh) 指标阈值的确定方法和装置
CN104320285A (zh) 一种网站运行状态监控方法及装置
CN111897700B (zh) 应用指标监控方法及装置、电子设备和可读存储介质
CN110297743B (zh) 一种负载测试方法、装置和存储介质
CN111970205A (zh) 网关接口流量控制方法及系统
CN112148779A (zh) 确定业务指标的方法、装置及存储介质
US9645873B2 (en) Integrated configuration management and monitoring for computer systems
CN114113984A (zh) 基于混沌工程的故障演练方法、装置、终端设备及介质
CN104765648A (zh) 一种基于实时计算系统的问题节点检测方法及装置
CN105224250A (zh) 高性能域名解析处理方法和装置
CN111258863B (zh) 数据异常检测方法、装置、服务器和计算机可读存储介质
CN115509931A (zh) 基于系统的性能测试方法、装置、电子设备及存储介质
CN115544653A (zh) 刚度仿真测试方法、装置、电子设备以及存储介质
KR102418892B1 (ko) 신뢰구간에 기반한 에너지 절감 방법 및 이를 이용한 장치
CN112785000A (zh) 面向大规模机器学习系统的机器学习模型训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant