CN112597425B - 流速测量数据中异常数据的检测方法、装置、设备及介质 - Google Patents
流速测量数据中异常数据的检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112597425B CN112597425B CN202011544974.8A CN202011544974A CN112597425B CN 112597425 B CN112597425 B CN 112597425B CN 202011544974 A CN202011544974 A CN 202011544974A CN 112597425 B CN112597425 B CN 112597425B
- Authority
- CN
- China
- Prior art keywords
- measurement data
- flow velocity
- data
- fitting
- velocity measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 274
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000013213 extrapolation Methods 0.000 claims abstract description 80
- 230000002441 reversible effect Effects 0.000 claims abstract description 57
- 230000003247 decreasing effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 16
- 230000007423 decrease Effects 0.000 claims description 14
- 230000002238 attenuated effect Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000002547 anomalous effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract description 7
- 238000003379 elimination reaction Methods 0.000 abstract description 7
- 239000002609 medium Substances 0.000 description 19
- 230000002457 bidirectional effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Measuring Volume Flow (AREA)
Abstract
本发明实施例公开了一种流速测量数据中异常数据的检测方法、装置、设备及介质。该方法包括：获取流速测量数据以及流速测量数据对应的时间序列；根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；根据正向递推结果和逆向递推结果判断每个流速测量数据是否为异常数据。实现了独立及成片异常数据的有效剔除，降低了数据误判率，提高了异常数据的别除率。
Description
技术领域
本发明实施例涉及水文监测技术领域，尤其涉及一种流速测量数据中异常数据的检测方法、装置、设备及介质。
背景技术
流速在各种水文参数中是非常重要的参数，实现流速的精准测量，对于实现水文技术现代化有着十分重要的意义。在许多复杂系统的测量过程中，由于环境或其它各种条件限制，影响因素较多，各种干扰因素对数据影响较大，导致测量数据中含有大量异常数据。因此，需要通过数据预处理来提高数据处理结果的质量和精度。
针对明渠、河道等的流速测量数据预处理，目前大都通过人工处理进行，即人为判断出现异常的数据，并逐一将坏值剔除并修补。测量过程数据量大，手动处理效率低下，费时费力。另一方面由于测量过程中环境、仪器自身及人为操作等因素影响，测量数据不可避免存在准确性不高，容易剔除正常值。逐渐的，也越来越多的用到诸如中值滤波或小波检测分析法等算法来对数据进行预处理。但是中值滤波方法对小异常值不敏感，对细节有一定的影响，从而在平坦地形中，当异常值分布较密，即呈簇群分布时，异常值的检测效果较差。而小波检测分析法是按照频率高低对信号进行分解的，所以对连续多点异常值的检测效果不佳，加之无法定位异常值，从而对后期判断处理效果产生影响。
发明内容
本发明实施例提供一种流速测量数据中异常数据的检测方法、装置、设备及介质，以有效剔除独立及成片的异常数据，提高异常数据的别除率。
第一方面，本发明实施例提供了一种流速测量数据中异常数据的检测方法，该方法包括：
获取流速测量数据以及所述流速测量数据对应的时间序列；
根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；
根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；
根据所述逆向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；
根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据。
第二方面，本发明实施例还提供了一种流速测量数据中异常数据的检测装置，该装置包括：
测量数据获取模块，用于获取流速测量数据以及所述流速测量数据对应的时间序列；
外推模型建立模块，用于根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；
正向结果确定模块，用于根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；
逆向结果确定模块，用于根据所述逆向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；
异常数据判断模块，用于根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的流速测量数据中异常数据的检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的流速测量数据中异常数据的检测方法。
本发明实施例提供了一种流速测量数据中异常数据的检测方法，首先获取需要检测的流速测量数据及其对应的时间序列，然后可以根据该流速测量数据和时间序列，以及预设拟合点数和预设拟合阶数分别构建正向拟合外推模型和逆向拟合外推模型，构建完成后可以根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果，以及根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果，再根据得到的正向递推结果和逆向递推结果判断每个流量数据是否为异常数据。本发明实施例所提供的流速测量数据中异常数据的检测方法，通过利用变阶多项式拟合的方法对流速测量数据进行双向检验，充分考虑了水的流速在短时间内的变化特性，有效克服了数据丢失和数据阶跃等因素对模型的影响，通过综合考虑双向检测结果来完成异常数据的剔除，大大降低了数据误判率，且能够有效的剔除独立及成片的异常数据，提高了异常数据的别除率，从而提高了流速测量数据的稳定性和可靠性，具有较高的工程应用价值。
附图说明
图1为本发明实施例一提供的流速测量数据中异常数据的检测方法的流程图；
图2为本发明实施例二提供的流速测量数据中异常数据的检测装置的结构示意图；
图3为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的流速测量数据中异常数据的检测方法的流程图。本实施例可适用于对各种水流的流速测量数据中存在的异常数据进行检测以剔除的情况，该方法可以由本发明实施例所提供的流速测量数据中异常数据的检测装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图1所示，具体包括如下步骤：
S11、获取流速测量数据以及流速测量数据对应的时间序列。
具体的，可以采用任意可行的方式来获取流速测量数据，在本实施例中不作具体的限制。示例性的，可以通过各种传感器来获取待测流体的流速测量数据。在获取流速测量数据的同时，还可以确定对应的时间序列，每个流速测量数据均对应该时间序列中的一个采样时间点，同时还可能存在数据丢失的情况，即存在某些采样时间点没有对应的流速测量数据，而时间序列是连续的。
S12、根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型。
首先，根据获取到的流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型，正向递推公式为：
其中，
表示多项式拟合函数的系数，Bf表示时间序列矩阵，Uf表示测量数据矩阵，
表示矩阵Bf的转置，
表示矩阵
的逆，mf表示预设拟合点数，lf表示预设拟合阶数，
表示第i个流速测量数据的lf阶次正向递推结果，ti表示时间序列中的第i个值，yi表示对应ti的第i个流速测量数据，特别的，若数据丢失，可以将对应的yi设置为特殊值或为空。其中，i为正整数，且i大于等于2，当mf＞2和mf＝2时分别提出了两种不同的递推结果计算方式。
同理，可以根据获取到的流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建逆向拟合外推模型，即基于逆向的流速测量数据和对应逆向的时间序列进行构建，构建方法可参考正向，在此将不再累述。
S13、根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果。
由于短时间内数据一般不会出现较大波动，从而波动方程一般不会超过三阶，因此，可以将预设拟合阶数首先设置为3，即针对每个流速测量数据，首先计算三阶正向递推结果，可记为
然后依次降次直至衰减为线性，分别计算得到二阶正向递推结果和一阶正向递推结果，分别记为
和
通过考虑数据的波动设置预设拟合阶数，能够在保证一定准确性的基础上，减少计算量，提高整个检测过程的效率。同时，也可以根据实际情况对预设拟合阶数的值进行调整。
S14、根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果。
具体过程可以参考S13中有关正向递推结果的确定过程，在此将不再累述。
S15、根据正向递推结果和逆向递推结果判断每个流速测量数据是否为异常数据。
在获取了每个流速测量数据的各阶次正向递推结果和各阶次逆向递推结果之后，即可根据各个正向递推结果和逆向递推结果判断对应的流速测量数据是否为异常数据，具体可以根据各个正向递推结果和逆向递推结果与对应的流速测量数据之间的差距来判断。
可选的，根据正向递推结果和逆向递推结果判断每个流速测量数据是否为异常数据，包括：分别将各个正向递推结果以及各个逆向递推结果与对应的流速测量数据作差；将作差结果的绝对值与预设异常门限阈值进行比较；根据比较结果判断每个流速测量数据是否为异常数据。具体的，可以将流速测量数据与其各阶次正向递推结果和逆向递推结果分别作差，然后将作差结果的绝对值与预设异常门限阈值进行比较，然后根据各个比较结果确定对应的流速测量数据是否为异常数据。其中，可选的，上述流速测量数据中异常数据的检测方法还包括：确定流速测量数据的参数残差；根据参数残差确定预设门限阈值。其中的参数残差可以通过如下公式获得：
其中，σ表示参数残差，yi表示第i个流速测量数据，i＝1,2,…,n，n表示流速测量数据的总数，
表示所有流速测量数据的平均值。具体的，当流速测量数据中异常数据较少时，预设门限阈值可以设置为参数残差的3-5倍，当流速测量数据中异常数据较多或者丢点较多时，可以适当的放宽预设门限阈值，具体可以根据判断出的异常数据以及丢点的情况对预设门限阈值及时进行调整。
进一步可选的，根据比较结果判断每个流速测量数据是否为异常数据，包括：若存在目标流速测量数据对应的各阶次正向递推结果与目标流速测量数据的差的绝对值均大于等于预设异常门限阈值，则将目标流速测量数据标记为可能异常，否则，将流速测量数据标记为正常；若目标流速测量数据对应的各阶次逆向递推结果与目标流速测量数据的差的绝对值均大于等于预设异常门限阈值，则将已标记为可能异常的目标流速测量数据确定为异常数据。
具体的，针对某一个流速测量数据，若其各阶次正向递推结果与其之间的差的绝对值均大于等于预设异常门限阈值，则认定该流速测量数据可能异常，并将该流速测量数据确定为目标流速测量数据，此时可以先将目标流速测量数据标记为可能异常，以便进一步根据逆向递推结果的情况作最终的判断。相应的，若在计算各阶次正向递推结果的过程中，出现一个正向递推结果与该流速测量数据之间的差的绝对值小于预设异常门限阈值，则认定该流速测量数据为正常，并可以不再计算后续阶次的正向递推结果以及各阶次的逆向递推结果。同理，进一步判断已标记为可能异常的目标流速测量数据的各阶次逆向递推结果与目标流速测量数据的差的绝对值是否均大于等于预设异常门限阈值，若是，则可以将目标流速测量数据确定为异常数据。特别的，当某个流速测量数据在正向和逆向上只有一个方向被判断为可能异常时，说明该流速测量数据位置可能发生阶跃等运动轨迹异常现象，该流速测量数据是否异常可以采用其他任意方法作进一步判断。
在上述技术方案的基础上，可选的，根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果，包括：若存在目标流速测量数据被标记为可能异常，则继续向后判断，当再次出现被标记为正常的正常流速测量数据时，确定正常流速测量数据的各阶次正向递推结果中最接近正常流速测量数据的正向递推结果所使用的目标拟合点数和目标拟合阶数；使用正常流速测量数据替换正向拟合外推模型的数据序列中的第一点数据，并根据目标拟合点数和目标拟合阶数重构正向拟合外推模型。
具体的，对异常数据的判断可以按照流速测量数据的时间顺序逐个进行，当存在目标流速测量数据被标记为可能异常时，使用该目标流速测量数据进行后续判断则会影响结果的准确性，则此时可以先继续向后判断，直至再次有流速测量数据被判断为正常，则可以在该正常流速测量数据的各阶次正向递推结果中确定最接近该正常流速测量数据的正向递推结果，并记录最接近的正向递推结果所使用的拟合点数作为目标拟合点数，记录所使用的拟合阶数作为目标拟合阶数。然后使用该正常流速测量数据替换正向拟合外推模型的数据序列中的第一点数据，再根据目标拟合点数和目标拟合阶数重构正向拟合外推模型，从而使用新的正向拟合外推模型继续向后进行判断。同理，当再次遇到流速测量数据被标记为可能异常，则可以重复上述重构的过程，直至完成所有流速测量数据的检测。同样的，上述过程也适用于使用逆向拟合外推模型对流速测量数据进行判断的过程，对此不再累述。
在上述技术方案的基础上，可选的，在若存在目标流速测量数据对应的各阶次正向递推结果与目标流速测量数据的差的绝对值均大于等于预设异常门限阈值，则将目标流速测量数据标记为可能异常之后，还包括：判断连续被标记为可能异常的目标流速测量数据的数量是否超过预设允许最多连续异常判断次数；若超过，则将流速测量数据进行分段，并从分段处开始对剩余的流速测量数据通过重构正向拟合外推模型进行检测。
具体的，可以在每次标记了可能异常的目标流速测量数据之后，对目标流速测量数据进行统计，若连续被标记为可能异常的目标流速测量数据的数量超过了预设允许最多连续异常判断次数，则再使用整体流速测量数据构建正向拟合外推模型也会对异常数据判断结果的准确性造成影响，在这种情况下，则可以将整体流速测量数据进行分段，并使用从分段处向后形成的新的数据段重构正向拟合外推模型对后续的流速测量数据进行检测，具体可以在连续被标记为可能异常的目标流速测量数据的数量超过预设允许最多连续异常判断次数之后的第一个正常数据前进行分段。其中，预设允许最多连续异常判断次数的值可以依据具体的应用场合和应用环境来确定，主要可以依据流速测量数据的采集频率和运动稳定性等方面来确定，如当采集频率较高而动态变化较平稳时，可以适当增大预设允许最多连续异常判断次数。同理，当再次遇到连续可能异常数量超过预设允许最多连续异常判断次数的情况，则可以重复上述分段重构的过程，直至完成所有流速测量数据的检测。同时，还可以对流速测量数据中连续丢失的点数是否超过预设允许最多连续丢失数量进行判断，并在超过时对流速测量数据进行分段以及重构正向拟合外推模型对后续的流速测量数据进行检测，具体可参考上述分段重构的过程，预设允许最多连续丢失数量的确定也可以参考上述预设允许最多连续异常判断次数的确定过程，在此不再累述。同样的，上述过程也适用于使用逆向拟合外推模型对流速测量数据进行判断的过程，对此不再累述。
在上述技术方案的基础上，可选的，在根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型之前，还包括：构建滑动窗口，滑动窗口每次获取连续四个流速测量数据；计算连续四个流速测量数据的三阶差分；将三阶差分的绝对值与预设异常门限阈值进行比较；根据比较结果判断连续四个流速测量数据中是否存在异常数据；滑动滑动窗口，直至确定满足拟合递推点数且不存在异常数据的连续流速测量数据。
具体的，可以首先通过滑动窗口预先剔除异常数据，再建立外推模型进行后续异常判断，以避免粗大误差干扰，提高通过外推模型对异常数据判断的效率。在使用外推模型进行异常判断的过程中，首先要保证满足拟合递推点数的连续数据正常。当采样频率足够高时，相邻采样值之间差距很小，因此可以利用三阶差分模型进行连续四点的可用性判断。设连续四个流速测量数据为yi、yi+1、yi+2和yi+3，则计算三阶差分Δi的公式为：
Δi＝yi-3yi+1+3yi+2-yi+3
如果三阶差分的绝对值小于预设异常门限阈值，则可以认为该连续四个流速测量数据中无异常数据，可以作为起始拟合数据，否则选取yi+1、yi+2、yi+3和yi+4继续进行检测，具体即可通过滑动窗口实现连续监测，直至连续正常数据数量满足拟合递推点数，即可开始通过外推模型进行判断的过程。可选的，如上所述，若对流量测量数据进行了分段，则可以重新通过滑动窗口来获取满足拟合递推点数的连续数据。其中，预设异常门限阈值的确定方法可以参照上述过程，在此不再累述。
在上述技术方案的基础上，可选的，在完成判断每个流速测量数据是否为异常数据之后，可以对异常数据进行剔除，并对剔除的异常数据进行修复补偿，具体可以基于总均方误差最小的前提，依据流速测量数据以自适应的方式寻找其对应的最优加权因子Wi，并代入
进而得到最终的补偿数据。
本发明实施例所提供的技术方案，首先获取需要检测的流速测量数据及其对应的时间序列，然后可以根据该流速测量数据和时间序列，以及预设拟合点数和预设拟合阶数分别构建正向拟合外推模型和逆向拟合外推模型，构建完成后可以根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果，以及根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果，再根据得到的正向递推结果和逆向递推结果判断每个流量数据是否为异常数据。通过利用变阶多项式拟合的方法对流速测量数据进行双向检验，充分考虑了水的流速在短时间内的变化特性，有效克服了数据丢失和数据阶跃等因素对模型的影响，通过综合考虑双向检测结果来完成异常数据的剔除，大大降低了数据误判率，且能够有效的剔除独立及成片的异常数据，提高了异常数据的别除率，从而提高了流速测量数据的稳定性和可靠性，具有较高的工程应用价值。
实施例二
图2为本发明实施例二提供的流速测量数据中异常数据的检测装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图2所示，该装置包括：
测量数据获取模块21，用于获取流速测量数据以及流速测量数据对应的时间序列；
外推模型建立模块22，用于根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；
正向结果确定模块23，用于根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；
逆向结果确定模块24，用于根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；
异常数据判断模块25，用于根据正向递推结果和逆向递推结果判断每个流速测量数据是否为异常数据。
本发明实施例所提供的技术方案，首先获取需要检测的流速测量数据及其对应的时间序列，然后可以根据该流速测量数据和时间序列，以及预设拟合点数和预设拟合阶数分别构建正向拟合外推模型和逆向拟合外推模型，构建完成后可以根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果，以及根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果，再根据得到的正向递推结果和逆向递推结果判断每个流量数据是否为异常数据。通过利用变阶多项式拟合的方法对流速测量数据进行双向检验，充分考虑了水的流速在短时间内的变化特性，有效克服了数据丢失和数据阶跃等因素对模型的影响，通过综合考虑双向检测结果来完成异常数据的剔除，大大降低了数据误判率，且能够有效的剔除独立及成片的异常数据，提高了异常数据的别除率，从而提高了流速测量数据的稳定性和可靠性，具有较高的工程应用价值。
在上述技术方案的基础上，可选的，异常数据判断模块25，包括：
作差单元，用于分别将各个正向递推结果以及各个逆向递推结果与对应的流速测量数据作差；
比较单元，用于将作差结果的绝对值与预设异常门限阈值进行比较；
判断单元，用于根据比较结果判断每个流速测量数据是否为异常数据。
在上述技术方案的基础上，可选的，判断单元，包括：
正向标记子单元，用于若存在目标流速测量数据对应的各阶次正向递推结果与目标流速测量数据的差的绝对值均大于等于预设异常门限阈值，则将目标流速测量数据标记为可能异常，否则，将流速测量数据标记为正常；
逆向判断子单元，用于若目标流速测量数据对应的各阶次逆向递推结果与目标流速测量数据的差的绝对值均大于等于预设异常门限阈值，则将已标记为可能异常的目标流速测量数据确定为异常数据。
在上述技术方案的基础上，可选的，正向结果确定模块23，包括：
拟合参数更新单元，用于若存在目标流速测量数据被标记为可能异常，则继续向后判断，当再次出现被标记为正常的正常流速测量数据时，确定正常流速测量数据的各阶次正向递推结果中最接近正常流速测量数据的正向递推结果所使用的目标拟合点数和目标拟合阶数；
外推模型重构单元，用于使用正常流速测量数据替换正向拟合外推模型的数据序列中的第一点数据，并根据目标拟合点数和目标拟合阶数重构正向拟合外推模型。
在上述技术方案的基础上，可选的，该流速测量数据中异常数据的检测装置，还包括：
连续异常判断模块，用于在若存在目标流速测量数据对应的各阶次正向递推结果与目标流速测量数据的差的绝对值均大于等于预设异常门限阈值，则将目标流速测量数据标记为可能异常之后，判断连续被标记为可能异常的目标流速测量数据的数量是否超过预设允许最多连续异常判断次数；
外推模型重构模块，用于若超过，则将流速测量数据进行分段，并从分段处开始对剩余的流速测量数据通过重构正向拟合外推模型进行检测。
在上述技术方案的基础上，可选的，该流速测量数据中异常数据的检测装置，还包括：
滑动窗口构建模块，用于在根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型之前，构建滑动窗口，滑动窗口每次获取连续四个流速测量数据；
三阶差分计算模块，用于计算连续四个流速测量数据的三阶差分；
差分比较模块，用于将三阶差分的绝对值与预设异常门限阈值进行比较；
异常数据剔除模块，用于根据比较结果判断连续四个流速测量数据中是否存在异常数据；
滑动判断模块，用于滑动滑动窗口，直至确定满足拟合递推点数且不存在异常数据的连续流速测量数据。
在上述技术方案的基础上，可选的，该流速测量数据中异常数据的检测装置，还包括：
参数残差确定模块，用于确定流速测量数据的参数残差；
预设门限阈值确定模块，用于根据参数残差确定预设门限阈值。
本发明实施例所提供的流速测量数据中异常数据的检测装置可执行本发明任意实施例所提供的流速测量数据中异常数据的检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述流速测量数据中异常数据的检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的流速测量数据中异常数据的检测方法对应的程序指令/模块(例如，流速测量数据中异常数据的检测装置中的测量数据获取模块21、外推模型建立模块22、正向结果确定模块23、逆向结果确定模块24及异常数据判断模块25)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的流速测量数据中异常数据的检测方法。
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于获取流速测量数据以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34可包括显示屏等设备，可用于向用户展示异常数据的情况以及剔除异常数据后流速测量数据的形式。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种流速测量数据中异常数据的检测方法，该方法包括：
获取流速测量数据以及流速测量数据对应的时间序列；
根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；
根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；
根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；
根据正向递推结果和逆向递推结果判断每个流速测量数据是否为异常数据。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的流速测量数据中异常数据的检测方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种流速测量数据中异常数据的检测方法，其特征在于，包括：
获取流速测量数据以及所述流速测量数据对应的时间序列；
根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；
根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；
根据所述逆向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；
根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据；
其中，所述根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据，包括：
分别将各个所述正向递推结果以及各个所述逆向递推结果与对应的流速测量数据作差；
将作差结果的绝对值与预设异常门限阈值进行比较；
根据比较结果判断每个所述流速测量数据是否为异常数据；
其中，在根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型之前，还包括：
构建滑动窗口，所述滑动窗口每次获取连续四个流速测量数据；
计算所述连续四个流速测量数据的三阶差分；
将所述三阶差分的绝对值与预设异常门限阈值进行比较；
根据比较结果判断所述连续四个流速测量数据中是否存在异常数据；
滑动所述滑动窗口，直至确定满足拟合递推点数且不存在异常数据的连续流速测量数据。
2.根据权利要求1所述的流速测量数据中异常数据的检测方法，其特征在于，所述根据比较结果判断每个所述流速测量数据是否为异常数据，包括：
若存在目标流速测量数据对应的各阶次正向递推结果与所述目标流速测量数据的差的绝对值均大于等于所述预设异常门限阈值，则将所述目标流速测量数据标记为可能异常，否则，将所述流速测量数据标记为正常；
若所述目标流速测量数据对应的各阶次逆向递推结果与所述目标流速测量数据的差的绝对值均大于等于所述预设异常门限阈值，则将已标记为可能异常的所述目标流速测量数据确定为异常数据。
3.根据权利要求2所述的流速测量数据中异常数据的检测方法，其特征在于，所述根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果，包括：
若存在所述目标流速测量数据被标记为可能异常，则继续向后判断，当再次出现被标记为正常的正常流速测量数据时，确定所述正常流速测量数据的各阶次正向递推结果中最接近所述正常流速测量数据的正向递推结果所使用的目标拟合点数和目标拟合阶数；
使用所述正常流速测量数据替换所述正向拟合外推模型的数据序列中的第一点数据，并根据所述目标拟合点数和所述目标拟合阶数重构所述正向拟合外推模型。
4.根据权利要求2所述的流速测量数据中异常数据的检测方法，其特征在于，在所述若存在目标流速测量数据对应的各阶次正向递推结果与所述目标流速测量数据的差的绝对值均大于等于所述预设异常门限阈值，则将所述目标流速测量数据标记为可能异常之后，还包括：
判断连续被标记为可能异常的目标流速测量数据的数量是否超过预设允许最多连续异常判断次数；
若超过，则将所述流速测量数据进行分段，并从分段处开始对剩余的流速测量数据通过重构正向拟合外推模型进行检测。
5.根据权利要求1所述的流速测量数据中异常数据的检测方法，其特征在于，所述方法还包括：
确定所述流速测量数据的参数残差；
根据所述参数残差确定所述预设异常门限阈值。
6.一种流速测量数据中异常数据的检测装置，其特征在于，包括：
测量数据获取模块，用于获取流速测量数据以及所述流速测量数据对应的时间序列；
外推模型建立模块，用于根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型；
正向结果确定模块，用于根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果；
逆向结果确定模块，用于根据所述逆向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果；
异常数据判断模块，用于根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据；
其中，异常数据判断模块，包括：
作差单元，用于分别将各个正向递推结果以及各个逆向递推结果与对应的流速测量数据作差；
比较单元，用于将作差结果的绝对值与预设异常门限阈值进行比较；
所述流速测量数据中异常数据的检测装置，还包括：
滑动窗口构建模块，用于在根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型之前，构建滑动窗口，滑动窗口每次获取连续四个流速测量数据；
三阶差分计算模块，用于计算连续四个流速测量数据的三阶差分；
差分比较模块，用于将三阶差分的绝对值与预设异常门限阈值进行比较；
异常数据剔除模块，用于根据比较结果判断连续四个流速测量数据中是否存在异常数据；
滑动判断模块，用于滑动滑动窗口，直至确定满足拟合递推点数且不存在异常数据的连续流速测量数据。
7.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的流速测量数据中异常数据的检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的流速测量数据中异常数据的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011544974.8A CN112597425B (zh) | 2020-12-23 | 2020-12-23 | 流速测量数据中异常数据的检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011544974.8A CN112597425B (zh) | 2020-12-23 | 2020-12-23 | 流速测量数据中异常数据的检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597425A CN112597425A (zh) | 2021-04-02 |
| CN112597425B true CN112597425B (zh) | 2023-04-11 |
Family
ID=75201012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011544974.8A Active CN112597425B (zh) | 2020-12-23 | 2020-12-23 | 流速测量数据中异常数据的检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597425B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201402343D0 (en) * | 2014-02-11 | 2014-03-26 | Ge Aviat Systems Ltd | Method for identifying anomalies |
| FR3071920A1 (fr) * | 2017-09-29 | 2019-04-05 | Suez Groupe | Detection et caracterisation ameliorees d'anomalies dans un continuum d'eau |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110083803B (zh) * | 2019-04-22 | 2023-09-29 | 水利部信息中心 | 基于时间序列arima模型取水异常检测方法与系统 |
-
2020
- 2020-12-23 CN CN202011544974.8A patent/CN112597425B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201402343D0 (en) * | 2014-02-11 | 2014-03-26 | Ge Aviat Systems Ltd | Method for identifying anomalies |
| FR3071920A1 (fr) * | 2017-09-29 | 2019-04-05 | Suez Groupe | Detection et caracterisation ameliorees d'anomalies dans un continuum d'eau |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112597425A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108667673B (zh) | 基于事件触发机制的非线性网络控制系统故障检测方法 | |
| Sathishkumar et al. | Non-fragile filtering for singular Markovian jump systems with missing measurements | |
| Combastel | Merging Kalman filtering and zonotopic state bounding for robust fault detection under noisy environment | |
| Ingimundarson et al. | Robust fault detection using zonotope‐based set‐membership consistency test | |
| CN111275307A (zh) | 一种水质自动在线站高频连续观测数据质量控制方法 | |
| CN109446189A (zh) | 一种工业参数离群点检测系统及方法 | |
| CN110717472B (zh) | 基于改进的小波阈值去噪的故障诊断方法及系统 | |
| WO2024148884A1 (zh) | 一种多传感器参数相互融合的清管器实时定位方法及装置 | |
| CN113723338A (zh) | 传感器异常检测方法、装置及计算机可读存储介质 | |
| CN103646013A (zh) | 一种基于协方差矩阵范数逼近的多重故障重构方法 | |
| CN112597425B (zh) | 流速测量数据中异常数据的检测方法、装置、设备及介质 | |
| CN111982248B (zh) | 一种改进的传感器动态数据融合方法 | |
| CN117272055B (zh) | 一种基于滤波增强自编码器的电能表异常检测方法及装置 | |
| Chabane et al. | Sensor fault detection and diagnosis using zonotopic set-membership estimation | |
| US6813588B1 (en) | Control system and method for detecting plugging in differential pressure cells | |
| CN116738859B (zh) | 一种铜管在线无损寿命评估方法及系统 | |
| CN118114118A (zh) | 一种基于cndt的典型武器装备故障诊断方法 | |
| CN108181052A (zh) | 一种温度检测信号去噪方法及系统 | |
| CN112013910A (zh) | 一种排水管网流量检测方法、装置、服务器和存储介质 | |
| CN114186583A (zh) | 一种储油罐罐壁腐蚀检测异常信号恢复方法及系统 | |
| CN108613695B (zh) | 基于ica-sprt的冗余传感器故障检测方法 | |
| CN109946096B (zh) | 基于模型空间的高速列车风管故障诊断方法 | |
| CN113465826A (zh) | 一种燃气泄漏检测方法与装置 | |
| Benothman et al. | Diagnosis of uncertain linear systems: an interval approach | |
| CN113218683A (zh) | 一种基于振动信号的石油井下电动套管切割器故障识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518,000 2301, 501, 401, Block A, Hongdian Building, No. 100, Huabao Road, Shansha Community, Pinghu Street, Longgang District, Shenzhen, Guangdong Applicant after: SHENZHEN HONGDIAN TECHNOLOGIES Corp. Address before: 518000 14 / F, 1501, 1502, 1503, 16 / F, building 1, building a, China Hisense science and Technology Park, No. 12, Ganli Road, Ganli Industrial Park, Buji street, Longgang District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN HONGDIAN TECHNOLOGIES Corp. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |