CN104598251B

CN104598251B - 一种数据采集仪器的实时信号处理方法

Info

Publication number: CN104598251B
Application number: CN201510072277.XA
Authority: CN
Inventors: 谢镇; 王亮; 许凤琴; 凌文龙
Original assignee: JIANGSU FEISHANG SAFETY MONITORING CONSULTING Co Ltd
Current assignee: Jiangxi Fashion Technology Co Ltd
Priority date: 2015-02-12
Filing date: 2015-02-12
Publication date: 2017-11-03
Anticipated expiration: 2035-02-12
Also published as: CN104598251A

Abstract

本发明涉及一种数据采集仪器的实时信号处理方法，属于过滤异常数据处理方法。本发明的实现主要包括以下一系列步骤：（1）提供用户进行交互的界面；（2）按照用户反馈的信息返回异常数据过滤的结果，如果结果用户不满意可以在交互的界面修改反馈的信息；（3）获得用户反馈结果后，重新进行数据的异常值过滤；（4）更新异常数据过滤的结果；（5）返回（2）或者结束。此过程可以重复进行直到用户对处理的结果满意。

Description

一种数据采集仪器的实时信号处理方法

技术领域

本发明涉及一种数据采集仪器的实时信号处理方法，属于过滤异常数据处理方法。

背景技术

随着数据采集仪器在不同领域的广泛应用，有效管理和利用这些采集数据，成为一个非常有意义和挑战的工作。数据采集仪采集到的数据通常可看作一个时间上了连续的离散数据序列，设备正常时，数据是平稳的，但设备在受外界环境干扰时，其采集的数据存在异常或失真。如何找到有效的算法削弱外界干扰因素、剔除异常点，保证数据的真实性是一项有意义和挑战的工作。同时，由于每个用户对异常值的认定标准不同，目前的异常数据处理技术还不能非常精确的满足所有用户的要求。因此，需要将算法参数化，从而可通过用户的判断和反馈，对算法效果进行调整。

发明内容

为了克服上述缺陷，本发明的目的在于提供一种数据采集仪器的实时信号处理方法；

对算法实现参数化，让用户可以使用可配置的界面参与异常数据的处理过程，通过用户和处理装置进行交互和反馈，使得过滤结果更加适应个性化要求。具体的，当处理装置向用户呈现处理结果后，用户可以将处理前后的数据进行对比确定异常数据过滤的信息，并把这些信息提交给处理装置。处理装置利用这些获得的信息来提高过滤异常数据的质量，使得数据过滤的结果更加符合用户的要求。这样的过程就叫做反馈，并且可以重复进行直到用户满意；

发现数据流(按时间顺序)里面的异常数据、同时给出标识并处理异常数据。

为了实现上述技术目的，本发明采用如下技术方案：

一种数据采集仪器的实时信号处理方法，其特征在于该处理方法包括如下步骤：

由步骤1开始；

步骤2获得待处理的单个数据data，

步骤3计算窗口的大小WindowSize，并和提供的配置信息WS进行比较；

步骤4在WindowSize< WS时候执行具体的过程；

步骤5在WindowSize= WS时候执行判断窗口里面的R与默认值RintValue的关系；

步骤6在R=RintValue时执行，计算窗口中校验后数据的CV具体的过程；

步骤7比较CV与提供的配置信息K的大小；

在CV>=K时执行步骤8的具体的过程；

步骤9在CV<K时执行,计算窗口中校验后数据的R具体的过程；

步骤10计算data与当前窗口中校验后数据的距离大于R的个数Count；

步骤11比较Count与提供的配置信息D的大小，在Count<=D的时候执行步骤8的具体的过程；

步骤12在Count>D时执行，替换data的值同时把对应的异常值标识设置为false；

步骤8执行的具体的过程；

步骤13计算窗口中异常标识为false的个数Count1 ；

步骤14比较Count1与提供的配置信息ReCalc的大小；

步骤15在Count1>ReCalc时执行，计算窗口中原始数据的R具体的过程；

步骤16计算窗口中原始数据的CV具体的过程；

步骤17比较CV与提供的配置信息K的大小；

步骤18在CV<K的时执行具体的过程，一直到步骤19结束。

所述步骤4在WindowSize< WS时候执行具体的过程为填充窗口的流程：

步骤35开始；

步骤36判断窗口是否存在；

步骤37窗口不存在是建立窗口；

步骤38直接把数据{}，其中=data填充到窗口里面，这里有先后关系的先填充的在前面；

到步骤39结束一次填充窗口的流程。

所述步骤6在R=RintValue时执行，计算窗口中校验后数据的CV具体的过程或者步骤16计算窗口中原始数据的CV具体的过程为计算窗口的变异系数流程：

步骤20为开始动作；

步骤21计算过窗口中对应数据的均值U；

步骤22计算计算过窗口中对应数据的标准偏差Std；步骤23比较U和0的大小；

步骤24在U不等于0时执行，返回变异系数CV=Std/|U|；

步骤25在U=0时执行，返回CV=Std；

到步骤26计算CV的流程结束。

所述在CV>=K时执行步骤8的具体的过程为窗口滑动的流程：

步骤40为开始动作；

步骤41把数据{}其中=data填充到窗口中；

步骤42移除窗口中第一个数据，到步骤43结束一次窗口滑动的流程；

所述在Count<=D的时候执行步骤8的具体的过程为窗口滑动的流程：

步骤40为开始动作；

步骤41把数据{}其中=data填充到窗口中；

步骤42移除窗口中第一个数据，到步骤43结束一次窗口滑动的流程。

所述步骤8在步骤12之后执行具体的过程为窗口滑动的流程：

步骤40为开始动作；

步骤41把数据{}其中 =填充到窗口中；

所述步骤9在CV<K时执行,计算窗口中校验后数据的R具体的过程或者步骤15在Count1>ReCalc时执行，计算窗口中原始数据的R具体的过程为计算窗口的R流程：

步骤30为开始动作；

步骤31计算窗口中对应数据的两两之间的距离，获得距离集合Dlist；

步骤32计算过Dlist的均值R，到步骤33计算R的流程结束。

所述18在CV<K的时执行具体的过程为窗口重置的流程：

从步骤50开始；

步骤51把窗口中校验后数据换成对应的原始数据；

步骤52把窗口中异常标识全部改为true，到步骤53结束窗口重置的流程。

所述步骤10计算data与当前窗口中校验后数据的距离大于R的个数Count的计算公式为：，假设窗口中现有的数据为[,,,],这里的格式为{}

所述步骤12在Count>D时执行，替换data的值计算公式为： =。

注：步骤6和步骤16计算CV的数据源是不一样的，这里以步骤6为例即数据源为校验后数据

所述步骤21计算过窗口中对应数据的均值的计算公式为：。

所述步骤22计算计算过窗口中对应数据的标准偏差Std的计算公式为：

。

所述步骤31计算窗口中对应数据的两两之间的距离，获得距离集合Dlist的计算公式为：

这里，为外循环j为内循环。

本发明的有益效果：

本发明对算法实现参数化，让用户可以使用可配置的界面参与异常数据的处理过程，通过用户和处理装置进行交互和反馈，使得过滤结果更加适应个性化要求。具体的，当处理装置向用户呈现处理结果后，用户可以将处理前后的数据进行对比确定异常数据过滤的信息，并把这些信息提交给处理装置。处理装置利用这些获得的信息来提高过滤异常数据的质量，使得数据过滤的结果更加符合用户的要求。这样的过程就叫做反馈，并且可以重复进行直到用户满意；发现数据流(按时间顺序)里面的异常数据、同时给出标识并处理异常数据。

附图说明

图1是本发明过滤异常数据处理装置工作流程图；

图2是本发明算法的处理流程图；

图3是本发明计算窗口的变异系数流程图；

图4是本发明计算窗口的R流程图；

图5是本发明填充窗口的流程图；

图6是本发明窗口滑动的流程图；

图7是本发明窗口重置的流程图；

图8是本发明窗口结构的介绍图。

具体实施方式

下面结合附图1~8对本发明进行详细描述：

图1所示过滤异常数据处理装置工作流程图。数据流（按时间到达的）就是需要进行异常值过滤的数据的集合，过滤异常数据的配置界面提供本发明算法的参数信息：

WS---窗口的大小(正整数)；

K---判断窗口中的数据是否稳定（非负数）；

D---判断数据是否需要过滤（整数）；

ReCalc---判断窗口中R值是否需要重新计算(整数)；

根据提供的参数信息，进行异常数据的过滤。如果用户对过滤的结果满意了，则过滤过程结束，否则用户根据输出的结果重新提供参数信息，从而进入新一轮的反馈。

图2所示为本发明算法的处理流程图。由步骤1开始，步骤2获得待处理的单个数据data，步骤3计算窗口的大小WindowSize（窗口中数据的个数），并和提供的配置信息WS进行比较，步骤4在WindowSize< WS时候执行具体的过程见图5的说明，步骤5在WindowSize=WS时候执行判断窗口里面的R与默认值RintValue的关系，步骤6在R=RintValue时执行，计算窗口中校验后数据的CV具体的过程见图3的说明，步骤7比较CV与提供的配置信息K的大小，步骤8在CV>=K时执行具体的过程见图6的说明，步骤9在CV<K时执行,计算窗口中校验后数据的R具体的过程见图4的说明,步骤10计算data与当前窗口中校验后数据的距离大于R的个数Count见公式(1)，步骤11比较Count与提供的配置信息D的大小，步骤12在Count>D时执行，替换data的值见公式(2)同时把对应的异常值标识设置为false，步骤13计算窗口中异常标识为false的个数Count1 ，步骤14比较Count1与提供的配置信息ReCalc的大小，步骤15在Count1>ReCalc时执行，计算窗口中原始数据的R具体的过程见图4的说明，步骤16计算窗口中原始数据的CV具体的过程见图3的说明，步骤17比较CV与提供的配置信息K的大小，步骤18在CV<K的时执行具体的过程见图7的说明，一直到步骤19结束。

图3为计算窗口的变异系数流程图。步骤20为开始动作，步骤21计算过窗口中对应数据的均值U见公式（3），步骤22计算计算过窗口中对应数据的标准偏差Std见公式（4），步骤23比较U和0的大小，步骤24在U不等于0时执行，返回变异系数CV=Std/|U|，步骤25在U=0时执行，返回CV=Std，到步骤26计算CV的流程结束。

图4为计算窗口的R流程图。步骤30为开始动作，步骤31计算窗口中对应数据的两两之间的距离，获得距离集合Dlist见公式（5），步骤32计算过Dlist的均值R，到步骤33计算R的流程结束。

图5为填充窗口的流程图。有步骤35开始，步骤36判断窗口是否存在，步骤37窗口不存在是建立窗口，步骤38直接把数据填充到窗口里面（这里有先后关系的先填充的在前面），到步骤39结束一次填充窗口的流程。

图6为窗口滑动的流程图。步骤40为开始动作，步骤41把数据填充到窗口中，步骤42移除窗口中第一个数据，到步骤43结束一次窗口滑动的流程。

图7为窗口重置的流程图。从步骤50开始，步骤51把窗口中校验后数据换成对应的原始数据，步骤52把窗口中异常标识全部改为true，到步骤53结束窗口重置的流程。

图8是窗口结构的介绍图。窗口是滑动的，里面包含三类数据，第一类是原始数据，第二类为原始数据对应的校验后的值（即过滤后的值），第三类是bool值——对校验后的值是否为原始值进行的标识。这里的窗口的意义就是进行数据存储的容器。

下面通过一个具体的实例来解析上述的一些步骤和公式：

假设配置信息分别为：WS=20，D=5，K=0.01，ReCalc=15；

假设窗口中现有的数据有19个，即[,,,],

这里的格式为{}，对应着图8里面的原始数据、校验后数据和异常值标识；

现在向窗口中传入数据，这个时候WindowSize=19<WS需要进行步骤4填充窗口，把对象{ }填充到窗口，这里，然后到步骤19；

现在向窗口中传入数据，这个时候需要进行步骤5判断R=RintValue(至此还没有计算R值) ，进入步骤6计算CV；

1)计算CV的数据源为：……

2)步骤21计算数据源的均值U:

(3)

3)步骤22计算数据源的标准偏差Std：

(4)

4)根据步骤23及步骤24或步骤25返回CV的值。

步骤7这里假定CV<K ，过滤数据 (如果CV>=K, 即把{ }填充到窗口，这里进行步骤8，整个流程结束)进入步骤9计算R；

1)计算R的数据源为：……

2)步骤31获得距离集Dlist：

这里的距离指的是欧式距离，现在我们研究数据是一维的，距离就是我们平时意义上的差的绝对值

这里 i为外循环j为内循环(5)

3)步骤32计算的均值R。

步骤10计算与……之间的距离大于R的个数Count；

i=1…..20 (1)

这里假定Count>D(如果Count<D,把{ }填充到窗口，这里进行步骤8，整个流程结束)，进入步骤12，

= (2)

把{ }填充到窗口，进行步骤8这个时候过滤的数据，然后到步骤13 窗口中数据为{,,,}里面false的个数Count1；

如果Count1<=ReCalc,直接到步骤19；

假设按照上面的步骤进行了多个数据的过滤，WindowDatas={,,}，Count1>ReCalc,进入步骤15，这里的数据源为……计算R过程同上；

步骤16数据源为……计算CV过程同上；

步骤17假定CV<K(如果CV>=K,直接到步骤19)，到步骤18重置窗口：WindowDatas={,,,}

{ } 其中，i=8，…..27

到步骤19结束。

应用场景

1)监控采集仪采集到的信号(数据)是否异常(偏于异常值)，如果有异常可以及时报告异常并进行实时处理；

2)根据需要可以同时建立多个窗口对不同的数据流(按时间顺序到达的)进行过滤；

3)面向通用的数据/信号采集仪进行实时的数据处理。

配置信息

1)通过设置参数控制异常值过滤的质量；

2)在过滤的过程中如果更改了配置信息WS，D，K，ReCalc，本算法会进行自适应的处理；

3)可以不使用配置界面，只要给本算法提供一组(多组)配置信息即可进行数据的处理。

Claims

1.一种数据采集仪器的实时信号处理方法，其特征在于该处理方法包括如下步骤：

由步骤1开始；

步骤2获得待处理的单个数据data，

步骤4在WindowSize< WS时候执行具体的过程为填充窗口的流程；

步骤5在WindowSize= WS时候执行判断窗口里面的Dlist的均值R与默认值RintValue的关系，所述Dlist为距离集合；

步骤6在Dlist的均值R=RintValue时执行，计算窗口中校验后数据的变异系数CV具体的过程；

步骤7比较变异系数CV与提供的配置信息K的大小；

步骤8是为实现窗口滑动的流程；

在变异系数CV>=K时执行步骤8的具体的过程；

步骤9在变异系数CV<K的时候执行,计算窗口中校验后数据的Dlist的均值R具体的过程；

步骤10计算data与当前窗口中校验后数据的距离大于Dlist的均值R的个数Count；

步骤8执行的具体的过程；

步骤13计算窗口中异常标识为false的个数Count1 ；

步骤14比较Count1与提供的配置信息ReCalc的大小；

步骤15在Count1>ReCalc时执行，计算窗口中原始数据的Dlist的均值R具体的过程；

步骤16计算窗口中原始数据的变异系数CV具体的过程；

步骤17比较变异系数CV与提供的配置信息K的大小；

步骤18在变异系数CV<K的时候执行具体的过程：实现窗口重置的流程，一直到步骤19结束；

步骤19结束。

2.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述步骤4在WindowSize< WS时候执行具体的过程为填充窗口的流程：

步骤35开始；

步骤36判断窗口是否存在；

步骤37若窗口不存在则建立窗口；

步骤38直接把数据{X_data，Y_data，true }，其中=data填充到窗口里面，这里有先后关系的先填充的在前面；

到步骤39结束一次填充窗口的流程。

3.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述步骤6在Dlist的均值R=RintValue时执行，计算窗口中校验后数据的变异系数CV具体的过程或者步骤16计算窗口中原始数据的变异系数CV具体的过程为计算窗口的变异系数流程：

步骤20为开始动作；

步骤21计算窗口里面数据的均值U；

步骤22计算窗口里面数据的标准差Std；

步骤23比较U和0的大小；

步骤24在U不等于0时执行，返回变异系数CV=Std/|U|；

步骤25在U=0时执行，返回变异系数CV=Std；

到步骤26计算变异系数CV的流程结束。

4.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述在变异系数CV>=K时执行步骤8的具体的过程为窗口滑动的流程：

步骤40为开始动作；

步骤41把数据{X_data，Y_data，true }其中=data填充到窗口中；

步骤40为开始动作；

步骤41把数据{X_data，Y_data，true }其中=data填充到窗口中；

5.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述步骤8在步骤12之后执行具体的过程为窗口滑动的流程：

步骤40为开始动作；

步骤41把数据{X_data，Y_data，false}其中 =填充到窗口中；

6.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述步骤9在变异系数CV<K时执行,计算窗口中校验后数据的Dlist的均值R具体的过程或者步骤15在Count1>ReCalc时执行，计算窗口中原始数据的Dlist的均值R具体的过程为计算窗口的Dlist的均值R流程：

步骤30为开始动作；

步骤32计算Dlist的均值R，到步骤33计算Dlist的均值R的流程结束。

7.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述步骤18在变异系数CV<K的时候执行具体的过程为窗口重置的流程：

从步骤50开始；

步骤51把窗口中校验后数据换成对应的原始数据；

8.根据权利要求1所述的数据采集仪器的实时信号处理方法，其特征在于：所述步骤10计算data与当前窗口中校验后数据的距离大于Dlist的均值R的个数Count的计算公式为：，窗口中现有的数据为

所述步骤12在Count>D时执行，替换data的值计算公式为：=。

9.根据权利要求3所述的数据采集仪器的实时信号处理方法，其特征在于：步骤6和步骤16计算变异系数CV的数据源是不一样的，步骤6的数据源为校验后数据；

所述步骤21计算过窗口中对应数据的均值的计算公式为：；

所述步骤22计算窗口里面数据的标准差Std的计算公式为：。

10.根据权利要求6所述的数据采集仪器的实时信号处理方法，其特征在于：

这里，为外循环参数、j为内循环参数。