发明内容
发明目的:为了克服现有方案不足,最大程度屏蔽环境在参数信息采集与通信过程中产生的噪声干扰,本发明提供了一种基于3σ法则滤波装置及滤波算法,完成参数信息的滤波处理,从根本上过滤掉可信度不高的数据,具有在不更改现有系统架构的基础上直接使用、计算量小、工作可靠、通用型强等优点。
技术方案:为了实现上述目的,本发明的一种基于3σ法则滤波装置及滤波算法,包括数据接收模块、数据存储模块、滤波参数计算模块、可信区间选择模块、数据滤波模块、数据发送模块、参数信息显示模块,所述数据接收模块支持RS232、RJ45、RS485接口,从以上三种接口中任何一个接口均可接收数据;所述数据存储模块按一定格式将接收模块接收到数据存储在FLASH中;所述滤波参数计算模块用于计算样本平均值、样本方差、总体期望置信区间、总体标准差置信区间、3σ区间;所述可信区间选择模块选择总体期望与总体标准差置信区间的置信水平以及滤波区间的可信度;所述数据滤波模块根据可信区间选择模块选择的置信水平相对应的3σ区间过滤数据;所述数据发送模块包括无线发送子模块同时支持RS232、RJ45、RS485接口,将过滤后数据的按一定格式封装通过以上任何一种方式均可发送出去;所述参数信息显示模块用于显示子模块工作状态信息以及滤波参数的选择与查询。
该基于3σ法则滤波装置的滤波算法,其特征在于包括以下步骤:
利用接收模块与存储模块对要进行过滤的数据源进行采集,完成总体的抽样,得到
(
)条数据记录集,从而获得总体一个容量为
的大样本;
其中为样本的容量;
得到大样本的平均值
与标准差
后,按照公式
、
计算出总体期望一个置信水平为
的置信区间
;
其中
为大样本的平均值,
为样本的标准差,
为样本的容量,
为标准正态分布的上
分位点,
值依赖于
取值,根据
不同取值,可得到不同置信水平的置信区间;
所述的公式
是根据公式
和
推导而出;所述公式
是根据公式
和
推导而出;
其中
为大样本的平均值,
为样本的标准差,
为样本的容量,
为服从自由度为
的
分布的上
分位点;
得到大样本的平均值
与标准差
后,按照公式
、
计算出总体标准差一个置信水平为
的置信区间
;
其中
为样本的标准差,
为样本的容量,
为标准正态分布的上
分位点,
为标准正态分布的上
分位点;
所述公式
是根据公式
和
推导而出;所述公式
是根据公式
和
推导而出;
其中
为样本的标准差,
为样本的容量,
为服从自由度为
的
分布的上
分位点,
为服从自由度为
的
分布的上
分位点;
根据计算得到的总体期望一个置信水平为
的置信区间
与总体标准差的一个置信水平为
的置信区间
,按照公式
、
计算出
区间
;
根据总体期望一个置信区间
的置信水平
、总体标准差一个置信区间的
的置信水平
以及
法则,根据公式
计算出滤波区间的可信度,即
区间的可信度
;
根据得到
可信度选取合适的滤波区间,对数据接收模块接收的数据进行滤波,滤去不在可滤波区间内的数据,得到可信度为
的数据;
将滤波后的可信度高的数据进行封装后,通过发送模块发送出去。
所述的用于确定置信区间置信水平的
值,只取0.1、0.01、0.05三个不同数值,得到对应可信度分别为0.81、0.98、0.90三组不同滤波区间;
所述的滤波区间根据
取值不同有多个,在装置真正工作时,允许使用多个滤波区间对数据进行过滤,但在同一时刻只有一个滤波区间用于数据的滤波;
所述步骤
与
中标准正态分布的上
分为点
,根据
所取的值,结合标准正态分布上
分为点
的性质,通过查询标准正态分布表计算出步骤
与
中
和
值,事先存储于装置中,在计算过程中直接读取参与计算;
所述的3σ法则滤波装置的滤波算法,对于同一数据源的不同可信度3σ区间获得只需要进行一次总体采样与计算。
有益效果:本发明的一种基于3σ法则滤波装置及滤波算法,把概率论与数理统计应用数据处理中,在数据实时处理过程中,能有效的过滤掉可信度不高的数据,使获取到的数据集信息更进一步的接近实际环境。
具体实施方式
下面结合附图和实施例对本发明作更进一步的说明:
如图1所示,本发明的一种基于3σ法则滤波装置,包括数据接收模块、数据存储模块、滤波参数计算模块、可信区间选择模块、数据滤波模块、数据发送模块、参数信息显示模块,数据接收模块支持RS232、RJ45、RS485接口,从以上三种接口中任何一个接口均可接收数据;数据存储模块按一定格式将接收模块接收到数据存储在FLASH中;滤波参数计算模块用于计算样本平均值、样本方差、总体期望置信区间、总体标准差置信区间、3σ区间;可信区间选择模块选择总体期望与总体标准差置信区间的置信水平以及滤波区间的可信度;数据滤波模块根据可信区间选择模块选择的置信水平相对应的3σ区间过滤数据;数据发送模块包括无线发送子模块同时支持RS232、RJ45、RS485接口,将过滤后数据的按一定格式封装通过以上任何一种方式均可发送出去;参数信息显示模块用于显示子模块工作状态信息以及滤波参数的查询。
本发明的一种基于3σ法则滤波装置及滤波算法在实际中是这样的。
如图2所示,将装置集成到当前系统中,本发明装置2与原通信链路1使用相同的通信接口,本发明装置3与原通信链路4使用相同通信接口,数据流经与原通信链路相同协议接口进入本发明装置,经过滤波后,再经与原通信链路相同协议发送出去。
这里需要说明的是,如图3所示,发明装置首次集成到系统后,首先进入的是滤波参数计算工作模式,采集数据源的样本,在此样本的基础上,完成滤波参数的计算,最终得到不同可信度的滤波区间;此后装置直接进入滤波工作模式,根据滤波参数计算模式得到的不同可信度滤波区间,选取一个可信度合适的滤波区间用于滤波,滤去不在滤波区间的数据,得到可信度高的数据后,按照一定格式封装,发送出去。
滤波参数计算模式,包括步骤如图4所示:
步骤1:接收模块与存储模块从通信链路数据流中接收并存储数据,得带一个容量为
(
)的大样本;
步骤2:得到大样本后,滤波参数计算模块按照公式
与
得到大样本的平均值
与标准差
;
步骤:3:得到大样本的平均值
与标准差
后,滤波参数计算模块按照公式
与
,并取
=0.1、0.05、0.01,计算出总体期望置信水平分别为
=0.90、0.95、0.99的置信区间
、
、
;
其中
为大样本的平均值,
为样本的标准差,
为样本的容量,
为标准正态分布的上
分位点;
步骤:4:滤波参数计算模块按照公式
与
,并取
=0.1、0.05、0.01,计算出总体标准差置信水平分别为
=0.90、0.95、0.99的置信区间
、
、
;
其中
为样本的标准差,
为样本的容量,
为标准正态分布的上
分位点;
对于标准正态分布的上
分位点,根据
所取的值,结合标准正态分布上
分为点
的性质,通过查询标准正态分布表计算出值,事先存储于装置中,在计算过程中直接读取计算,存储于装置的标准正态分布上
分位点表,如表1所示;
|
0.1 |
0.05 |
0.95 |
0.01 |
0.005 |
0.995 |
0.025 |
0.975 |
|
1.28 |
1.65 |
-1.65 |
2.33 |
2.58 |
-2.58 |
1.96 |
-1.96 |
步骤5:根据得到的总体期望的置信水平分别为
=0.90、0.95、0.99的置信区间
、
、
以及总体标准差的置信水平分别为
=0.90、0.95、0.99的置信区间
、
、
,以及
法则,滤波参数计算模块按照公式
、
以及
计算出
区间的可信度及其所对应的滤波区间;
最终计算得出的区间的可信度及其所对应的滤波区间,如表2所示;
这里的可信度不会改变,但可信度区间会根据所采集的数据源总体改变而改变;
步骤6:存储模块将滤波参数计算模块将最终得到的
区间的可信度及其区间,保存到装置指定的FLASH区域中。
滤波工作模式,包括步骤如图5所示:
步骤1:装置进入滤波工作模式后,参数信息显示模块显示滤波区间可信度选择界面,以供选择,若无选择,装置会在间隔一段时间后,自行选择可信度最高的滤波区间;
步骤2:滤波区间选择完成后,装置数据接收模块开始接收数据,滤波模块对接收模块所接收的数据进行滤波,过滤掉不在此滤波区间内数据;
步骤3:最后,发送模块对滤波完成后数据按照一定格式封装发送出去,完成数据的滤波。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。