CN109257952A - 以减少的数据量进行数据传输的方法、系统和程序产品 - Google Patents

以减少的数据量进行数据传输的方法、系统和程序产品 Download PDF

Info

Publication number
CN109257952A
CN109257952A CN201780033488.XA CN201780033488A CN109257952A CN 109257952 A CN109257952 A CN 109257952A CN 201780033488 A CN201780033488 A CN 201780033488A CN 109257952 A CN109257952 A CN 109257952A
Authority
CN
China
Prior art keywords
data
data packet
generated
principal component
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780033488.XA
Other languages
English (en)
Other versions
CN109257952B (zh
Inventor
基兰·阿约迪亚
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN109257952A publication Critical patent/CN109257952A/zh
Application granted granted Critical
Publication of CN109257952B publication Critical patent/CN109257952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3082—Vector coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Complex Calculations (AREA)

Abstract

一种用于以减少的数据量进行数据传输的计算机实现的方法，包括：‑以连续时间间隔对数据流(10)进行采样并生成连续的数据包(P)，每个数据包包含在预定数量的所述连续采样时间间隔的窗口中采样的数据点；‑通过主成分分析为每个数据包(P)计算其数据点到一组主成分上的投影；‑通过动态时间规整对每个新生成的数据包进行对齐，并且对于每个主成分，投影的数据指向较早生成的数据包的相应投影数据点，并计算对齐的数据点之间的距离；‑确定计算出的距离的最大值并将其与阈值进行比较；以及‑如果最大距离超过阈值(Th)，则将新生成的数据包传输到数据接收器(11)，并将新生成的数据包(例如Ph+1)设置为较早生成的数据包，用于下一个对齐步骤，否则禁止传输并保留较早生成的数据包(例如P1)用于下一个对齐步骤。

Description

以减少的数据量进行数据传输的方法、系统和程序产品
技术领域
本发明涉及一种以减少的数据量进行数据传输方法。
其还涉及用于以减少的数据量进行数据传输的相应计算机设备或系统。
此外，本发明涉及一种程序产品，包括用于指示计算机设备或系统执行以减少的数据量进行数据传输的方法的代码。
背景技术
自动收集和处理大量数据的系统越来越多地用于和实施于例如工业、能源、运输和医疗保健的领域。这种数据的示例可以是自动化工厂或任何工业控制和工厂自动化中的测量和/或系统信息，或医疗保健服务中的医疗记录和/或图像数据。对于诊断，错误检测和预测维护目的或能够显示符合内部策略和外部法规，通常需要在很长一段时间内记录此类收集和/或处理的数据，以便可以检索并在需要时进行评估。为此目的，要记录的数据是事件触发的或周期性地传输到数据存储装置，数据存储装置可以是单个设备，或者可以分布在多个存储设备上，例如存储区域网络中。存储设备可以由多个客户端计算设备共享，例如，经由诸如云存储实现中的网络。
在上述应用中，要记录的数据量非常大，并且可能导致高传输和存储成本。降低成本的一种方法是在传输之前执行数据压缩。然而，由于数据不仅大而且通常也非常复杂，因此面临的挑战是设计易于实现的数据压缩方案。另一种方法可能是使用中央数据收集器来收集原始数据。然后，该设备将执行数据操纵，例如平均。这里的挑战是这种操纵数据的质量非常差，因为它很大程度上偏离了实际的原始数据。
从Z.Banko等人：“分段单变量时间序列的PCA驱动相似性”，匈牙利工业化学杂志，37(2009)59-67，已知测量在例如化学过程工业中收集的不同时间序列数据的相似性。最初的多变量时间序列通过主成分分析(PCA)以单维投影。对于每个维度，通过动态时间规整(DTW)对齐获得的单变量时间序列，并且根据对齐的数据点之间的距离计算时间序列的相似性。为了减少DTW计算工作量，每个单变量时间序列由一系列段近似，每个段由其数据点的均值(分段聚合近似(PAA))或线性函数(分段线性近似(PLA))表示，并且DTW算法应用于这些表示。
发明内容
本发明的一个目的是提供以减少的数据量来进行到记录/数据存储装置的数据传输，同时确保高数据传送质量并大大降低成本。
根据本发明，这通过用于一种以减少的数据量进行数据传输的计算机实现的方法来实现，该方法包括：
-接收包含多个数据点的多变量数据流；
-以连续时间间隔对数据流进行采样并生成连续数据包，每个数据包包含在预定数量的连续采样时间间隔的窗口中采样的数据点；
-通过主成分分析为每个数据包计算其数据点到一组主成分上的投影；
-通过动态时间规整对每个新生成的数据包进行对齐，并且对于每个主成分，投影的数据指向较早生成的数据包的相应投影数据点，并计算对齐的数据点之间的距离；
-确定计算出的距离中的最大值并将其与阈值进行比较；以及
-如果最大距离超过阈值，则将新生成的数据包传输到数据接收器并将新生成的数据包设置为较早生成的数据包用于下一个对齐步骤，否则禁止传输并保留较早生成的数据包用于下一个对齐步骤。
根据本发明的方法不是数据操纵或数据压缩，而是基于与较早(旧)数据包相比每个当前(新)数据包中的一些数据变化来生成和选择要传输的数据包。如果检测到数据中的不可忽略或实质的变化，则传输当前数据包以存储在例如云中，因为它显示新信息。否则，即如果没有检测到变化或仅检测到可忽略的变化，则不传输数据包。通过这种方式，传输数据的总量显著减少，而不会改变数据从而影响数据质量。
变化检测方法是基于统计的，发现多变量数据中包含的数据变化。首先，通过主成分分析(PCA)研究多变量数据，并且通过给定数量的k个主成分，优选k个最高主成分(即具有最大特征值的特征向量)捕获数据中的差异。随后，应用动态时间规整(DTW)来比较新数据和旧数据之间的主成分，以便检测数据变化。动态时间规整是众所周知的技术，用于通过对序列进行规整和对齐然后测量它们之间的类似距离的量来确定数据的两个时间序列之间的相似性。
保存并使用用于与当前(新)数据包进行比较的较早(旧)数据包，直到检测到数据变化。一旦检测到数据变化，则用当前(新)数据包替换较早(旧)的数据包，并用于后续比较。
用于与阈值进行比较的最大距离可以是针对每个主成分计算的各个最大距离中最大的一个或是这些各个最大距离的累积值。进而，各个最大距离是根据对齐的数据点之间的距离(各个的或累积的，加权的或直接的)确定的。
阈值可以优选地适应于历史最大距离，以使其对异常值更稳健。例如，可以根据针对预定数量的最近数据包确定的最大值的平均值加上例如5％的边际百分比来计算阈值。
附图说明
根据下面的详细描述和实施例，这些和其它实施例将变得清楚。为此，参考附图，附图通过示例的方式示出了本发明的优选实施例，并且其中：
图1示出了工业自动化系统的一个示例，该系统检索和收集数据以便传输到数据记录系统；
图2是描绘用于以减少的数据量进行数据传输的方法的示例性实施例的步骤的流程图；以及
图3是示例性地示出生成和选择用于传输和存储的数据包的时序图。
具体实施方式
图1是说明工业自动化系统1的简化方框图。控制系统2在受控制的系统5(例如，技术过程或系统)中接收来自感测装置4的测量信号3，并且将致动信号或控制命令6输出到技术过程5的操作装置7(例如，动作器)。控制系统2可以是分散的，其中分布式控制组件8包含并执行用于不同过程区域的自动化功能，而中央组件9包含并执行操作员控制、监测、评估和其他中央协调功能。一个这样的中心功能是自动检索和收集非常大量的数据10，以便在最广泛的意义上进行状态监测目的，其中可以包括故障诊断、预测性维护、产品质量、环境性能、工厂安全、工厂绩效等。可以连续地或周期性地收集数据10，以便生成数据流。数据10通常是多变量和多维的(依赖的和/或独立的)，并且可以包含由自动化系统1收集或生成的所有技术和非技术、原始和处理的数据。所示的自动化系统1仅是示例性的，并代表自动收集大量数据进行记录的任何其他系统。为了上述目的和/或数据保留的法律规定，处理和分析收集的数据10需要长时间记录数据10。为此，并且考虑到要记录的巨大数据量，数据10被传输到自动化系统1外部的适当数据存储装置11，其可以是单个设备，或者如图所示，分布在云存储网络的多个存储设备中。
此外，为了降低传输和存储成本，要传输的数据10的量由计算设备或系统12减少，该计算设备或系统12可以是自动化系统1的一部分，并且特别是中央组件9的一部分。
计算设备或系统12包括多个单元13、14、15、16、17，其功能在下面参考图2详细说明。
图2是示例性地描绘用于在不改变数据10的情况下减少要传输的数据10的量的方法的步骤的流程图。
在步骤18中，接收单元13以多个数据点的输入多变量数据流的形式接收所收集的数据10。假设数据流10是具有n个变量的多变量，则可以将其表示为矩阵：
其中第一个下标表示时间t，并且第二个下标表示第i个变量。因此，V11代表时间1处的第一个变量。当数据连续到达时，矩阵的时间维度为t无穷大。
在步骤19中，采样单元14以连续时间间隔(时隙)对数据流进行采样，并生成连续数据包P，每个数据包包含在预定数量的连续时间间隔中采样的数据点。因此，输入数据流10被划分为相同大小的时间窗w(参见图3)的序列，每个时间窗由预选数量的采样时间间隔组成。
在步骤20中，计算单元15通过主成分分析(PCA)，针对每个新生成的数据包P计算其数据点到一组主成分上的投影。以下将投影的数据标记为Z＝zl,...,zk。主成分的正交性确保数据10中的差异可以由一些成分捕获，其中使用具有最大特征值的前k个主成分将覆盖约90％的数据差异。k的近似值可以是大约30。因此，可以通过在几个维度上投影数据点来执行数据减少。实际上，数据10通常包含缺失值，然而，PCA方法可以处理这些值。
在步骤21中，第一次生成的数据包P的投影数据Z＝zl,...,zk被存储为参考投影数据R＝rl,...,rk。
在步骤22中，计算单元15针对k个主成分中的每一个，将当前(新生成的)数据包P的投影数据Z与相应的参考投影数据R进行比较。为此，投影数据Z和R通过动态时间规整(DTW)对齐。对齐的投影数据点zi和rj(1≤i，j≤k)的每个可能映射表示i x j矩阵中的规整路径。通过Z和R的最佳对齐，规整路径的成本函数最小，成本函数是对齐的数据点zi、rj之间的距离d(zi，rj)＝(zi-rj)2的平方。通常采用动态编程方法来评估规整路径。此外，可以应用窗口来计算跟随其的数据点的距离。最后，累积距离表示为两个序列(投影数据Z和R)之间的距离。因此，类似的序列具有较小的距离，反之亦然。
有关DTW的更多信息，请参阅Ratanamahatana C.A.，Keogh E.：“你所知道的关于动态时间规整的一切都是错误的”，第3次时间和顺序数据挖掘的研讨会会议记录，以及第10届ACM SIGKDD知识发现和数据挖掘国际会议(KDD-2004)，2004年8月22日至25日。
在步骤23中，判断单元16确定与先前(旧)参考数据包相比，当前(新)数据包P的数据是否存在不可忽略的或实质的变化。为此，确定针对k维度(主成分)计算的所有距离中的最大距离dmax，并且在步骤24中，将其与阈值Th进行比较。最大距离dmax被认为是当前数据包的投影数据Z与参考投影数据R之间的总距离。如果这两组数据或多或少相同，则最大距离dmax将为低或为零，这意味着数据保持不变。在这种情况下，最大距离dmax将保持低于阈值Th，并且结果，当前数据包P将不被传输到数据存储装置11。这意味着传输单元17将被禁止传输。相反，如果最大距离dmax超过阈值Th，则认为检测到数据的不可忽略或实质的变化，并且判断单元16在步骤25中启用传输单元17将当前数据包P(从原始数据流10采样)传输到数据存储装置11。
阈值Th可以优选地适应于历史最大距离，以使其对异常值更稳健。例如，阈值可以从针对预定数量的例如10个最近数据包确定的最大值的平均值加上例如5％的边际百分比来计算。
图3示例性地示出了在时间tl、t2、th、th+1、th+2从数据流10生成的数据包P1、P2、Ph、Ph+1、Ph+2的序列。每个数据包P覆盖相同大小的时间窗w，在该时间窗中对数据流10以预选数量的时间间隔进行采样。当前(新)数据包由实线标记，较早(较旧)的数据包由虚线标记。第一数据包包含新信息，因此被传输到存储装置11，其由箭头26指示。
由附图标记27指定的曲线描绘了在时间t上采样的数据10的数据变化。如上所述，为每个新数据包(例如，P2)检测这种变化，通过将其数据点投影到一组主成分上，通过动态时间规整对每个主成分进行对齐，将投影的数据指向较早生成的数据包(例如，P1)的相应投影数据点，并计算两个数据包P1、P2的对齐的投影数据点之间的距离。计算的距离的最大dmax是数据变化的度量，并且与阈值Th进行比较。仅在最大距离dmax超过阈值Th时，才将新数据包P1传输到存储装置11，数据包P2的情况则并非如此。因此，较早的数据包P1被保留作为与下一个新数据包P3进行比较的参考，该参考的功能在此通过数据包P1的阴影表示。
数据包Ph+1是计算出的最大距离dmax超过阈值Th的第一个数据包。结果，数据包Ph+1被传输到数据存储装置11，并且数据包Ph+1替换先前数据包Ph+1作为用于下一次比较的参考。

Claims (8)

1.一种用于以减少的数据量进行数据传输的计算机实现的方法，包括：
-接收包含多个数据点的多变量数据流(10)；
-以连续时间间隔对所述数据流(10)进行采样并且生成连续数据包(P)，每个数据包(P)包含在预定数量的连续采样时间间隔的窗口(w)中采样的数据点；
-通过主成分分析为每个数据包(P)计算其数据点到一组主成分上的投影；
-通过动态时间规整对每个新生成的数据包(例如Ph)进行对齐，并且对于每个主成分，投影的数据指向较早生成的数据包(例如P1)的相应投影数据点，并且计算对齐的数据点之间的距离；
-确定计算出的距离中的最大值(dmax)并且将其与阈值(Th)进行比较；以及
-如果最大距离(dmax)超过所述阈值(Th)，则将所述新生成的数据包(例如Ph+1)传输到数据接收器(11)并且将所述新生成的数据包(例如Ph+1)设置为较早生成的数据包用于下一个对齐步骤，否则禁止传输并且保留较早生成的数据包(例如P1)用于下一个对齐步骤。
2.根据权利要求1所述的方法，其中所述一组主成分被选择为由预定数量的具有最大特征值的特征向量组成。
3.根据权利要求2所述的方法，其中所述特征向量的所述预定数量在20到50之间。
4.根据前述权利要求中任一项所述的方法，其中计算出的距离中的所述最大值(dmax)被确定为为每个主成分计算的各个最大距离中的最大距离，或者被确定为所述各个最大距离的累积值。
5.根据权利要求4所述的方法，其中计算出的距离中的所述最大值(dmax)根据对齐的数据点之间的距离的平方来确定。
6.根据前述权利要求中任一项所述的方法，其中所述阈值根据针对预定数量的最近数据包确定的最大值的平均值来计算。
7.一种用于以减少的数据量进行数据传输的计算设备或系统(12)，包括：
-接收单元(13)，配置用于从数据源(2)接收包含多个数据点的多变量数据流(10)；
-采样单元(14)，配置用于以连续时间间隔对所述数据流(10)进行采样并且生成连续的数据包(P)，每个数据包(P)包含在预定数量的连续采样时间间隔的窗口(w)中采样的数据点；
-计算单元(15)，配置用于
-通过主成分分析为每个数据包(P)计算其数据点到一组主成分上的投影，以及
-通过动态时间规整对每个新生成的数据包(例如Ph)进行对齐，并且对于每个主成分，投影的数据指向较早生成的数据包(例如P1)的相应投影数据点，并且计算对齐的数据点之间的距离；
-判断单元(16)，配置用于确定计算出的距离中的最大值(dmax)并且将其与阈值(Th)进行比较，并且如果最大距离(dmax)超过所述阈值(Th)，则将所述新生成的数据包(例如Ph+1)设置为较早生成的数据包用于下一个对齐步骤，否则保留较早生成的数据包(例如P1)用于下一个对齐步骤；以及
-由所述判断单元(16)控制的传输单元(17)，并且配置用于仅在所述最大距离(dmax)超过所述阈值(Th)时将所述新生成的数据包传输到数据接收器(11)，否则禁止传输。
8.一种程序产品，包括用于指示计算设备或系统执行根据权利要求1至6中任一项所述的方法的代码。
CN201780033488.XA 2016-08-09 2017-08-09 以减少的数据量进行数据传输的方法、系统和存储介质 Active CN109257952B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16183437.9A EP3282588B1 (en) 2016-08-09 2016-08-09 Method, system and program product for data transmission with a reduced data volume
EP16183437.9 2016-08-09
PCT/EP2017/070194 WO2018029250A1 (en) 2016-08-09 2017-08-09 Method, system and program product for data transmission with a reduced data volume

Publications (2)

Publication Number Publication Date
CN109257952A true CN109257952A (zh) 2019-01-22
CN109257952B CN109257952B (zh) 2022-05-27

Family

ID=56979327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033488.XA Active CN109257952B (zh) 2016-08-09 2017-08-09 以减少的数据量进行数据传输的方法、系统和存储介质

Country Status (4)

Country Link
US (1) US10848425B2 (zh)
EP (1) EP3282588B1 (zh)
CN (1) CN109257952B (zh)
WO (1) WO2018029250A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019046265A1 (en) 2017-09-01 2019-03-07 Cook Medical Technologies Llc BALLOON SYSTEM FOR POST-PARTUM HEMORRHAGE
JP6810675B2 (ja) * 2017-11-16 2021-01-06 東京エレクトロンデバイス株式会社 情報処理装置及びプログラム
CN111597225B (zh) * 2020-04-21 2023-10-27 杭州安脉盛智能技术有限公司 一种基于分段瞬态识别的自适应数据缩减方法
CN116257735B (zh) * 2023-05-16 2023-07-25 保定思齐智科信息科技有限公司 用于智慧城市治理的数据处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812367A (zh) * 2005-01-29 2006-08-02 华为技术有限公司 一种多协议标签交换网络的数据传输方法及系统
CN101147174A (zh) * 2004-10-15 2008-03-19 微软公司 用于管理图像数据的传送和/或存储的系统和方法
EP2087418A1 (en) * 2006-12-01 2009-08-12 NEC Laboratories America, Inc. Methods and systems for data management using multiple selection criteria
CN102893327A (zh) * 2010-03-19 2013-01-23 数字标记公司 直觉计算方法和系统
CN103491856A (zh) * 2011-02-24 2014-01-01 透明医疗体系公司 在视力矫正手术中使用的波前数据的测量/显示/记录/回放
WO2015170319A2 (en) * 2014-05-09 2015-11-12 Given Imaging Ltd. System and method for sequential image analysis of an in vivo image stream

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2359267A1 (en) * 2008-11-03 2011-08-24 Telefónica, S.A. Method and system of classification of audiovisual information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147174A (zh) * 2004-10-15 2008-03-19 微软公司 用于管理图像数据的传送和/或存储的系统和方法
CN1812367A (zh) * 2005-01-29 2006-08-02 华为技术有限公司 一种多协议标签交换网络的数据传输方法及系统
EP2087418A1 (en) * 2006-12-01 2009-08-12 NEC Laboratories America, Inc. Methods and systems for data management using multiple selection criteria
CN102893327A (zh) * 2010-03-19 2013-01-23 数字标记公司 直觉计算方法和系统
CN103491856A (zh) * 2011-02-24 2014-01-01 透明医疗体系公司 在视力矫正手术中使用的波前数据的测量/显示/记录/回放
WO2015170319A2 (en) * 2014-05-09 2015-11-12 Given Imaging Ltd. System and method for sequential image analysis of an in vivo image stream

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIWU YIN等: "Logistic Regression for Evolving Data Streams Classification", 《JOURNAL OF SHANGHAI JIAOTONG UNIVERSITY》 *
闫巧梅: "滑动窗口模型下的优化数据流聚类算法", 《计算机应用》 *

Also Published As

Publication number Publication date
EP3282588B1 (en) 2019-09-25
EP3282588A1 (en) 2018-02-14
WO2018029250A1 (en) 2018-02-15
CN109257952B (zh) 2022-05-27
US20190173795A1 (en) 2019-06-06
US10848425B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN109257952A (zh) 以减少的数据量进行数据传输的方法、系统和程序产品
US9386030B2 (en) System and method for correlating historical attacks with diverse indicators to generate indicator profiles for detecting and predicting future network attacks
Žliobaitė et al. Active learning with drifting streaming data
WO2020155756A1 (zh) 基于聚类和sse的异常点比例优化方法及装置
US9852019B2 (en) System and method for abnormality detection
JPH05209821A (ja) 粒子判定装置
US20100046375A1 (en) Congestion Control Using Application Slowdown
CN112334849B (zh) 诊断装置、诊断方法及程序
US20230018908A1 (en) Feedback-based control system for software defined networks
Chandolikar et al. Efficient algorithm for intrusion attack classification by analyzing KDD Cup 99
CN109521725A (zh) 检测异常数据的方法、装置和设备以及机器可读介质
JP2018148350A (ja) 閾値決定装置、閾値決定方法及びプログラム
WO2010083531A1 (en) Methods for automated eddy current non-destructive testing analysis
JP2021022759A (ja) ネットワーク分析プログラム、ネットワーク分析装置及びネットワーク分析方法
Singh et al. An ensemble approach for feature selection of Cyber Attack Dataset
KR102325629B1 (ko) 이상 탐지 방법 및 이상 탐지 장치
US10169364B2 (en) Gauging accuracy of sampling-based distinct element estimation
US20050283511A1 (en) Cross-feature analysis
JP5167596B2 (ja) データセット選択装置および実験計画システム
CN110363223A (zh) 工业流量数据处理方法、检测方法、系统、装置和介质
Kim et al. Concept drift detection on streaming data under limited labeling
CN114577988A (zh) 一种纯蒸汽取样方法及系统
US20060074826A1 (en) Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers
JP2018022305A (ja) 境界値特定プログラム、境界値特定方法および境界値特定装置
Myint et al. Handling the Concept Drifts Based on Ensemble Learning with Adaptive Windows.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant