一种基于3σ法则的滤波装置的滤波方法
技术领域
本发明涉及数据处理领域,特别涉及一种基于3σ法则滤波装置的滤波方法。
背景技术
目前,我国煤炭储存形式正在从露天式向封闭式转化,储煤筒仓、圆形煤场等这类封闭式储煤场的应用,实现了储煤的绿色、环保与安全。封闭式储煤场的应用具有方便信息化管理、环境保护等优势,但是它存在安全隐患也是多方面的,特别是因煤自燃引起封闭煤场的爆炸现象时常发生,不仅造成了巨大财产损失,还直接威胁着工人的生命安全。为了有效避免此类现象的发生,封闭式煤场安装了安全监测系统,监测封闭煤场内温度值、可燃气体浓度、烟雾浓度等参数信息的实时变化,当所监测值超限报警时,采取一定措施,阻止与延缓煤炭的自燃。由此可知,从封闭煤场采集到温度值、可燃气体浓度、烟雾浓度等参数值的准确性是决定能否有效避免爆炸发生的关键。
安全监测系统要求能准确地、实时地得到封闭煤场的参数信息,而封闭煤场环境复杂性对参数信息采集与通信带来了一定的噪声干扰,严重影响了参数信息的准确性,大大降低了参数信息的可信度。为了克服噪声干扰,有些安全监测系统采取采集多次取平均值的数据处理方案、采取同一平面内采集多点取平均值方案、采取采集多次并舍去最高与最低值再取平均值方案,这些方案,仅仅对数据进行了一次简单平滑处理,并没有将可信度低、准确性差的数据从根本上有效过滤掉,使得到参数值与实际环境偏差较大,严重影响了安全监测系统的正常工作。
发明内容
发明目的:为了克服现有方案不足,最大程度屏蔽环境在参数信息采集与通信过程中产生的噪声干扰,本发明提供了一种基于3σ法则滤波装置的滤波方法,完成参数信息的滤波处理,从根本上过滤掉可信度不高的数据,具有在不更改现有系统架构的基础上直接使用、计算量小、工作可靠、通用型强等优点。
技术方案:为了实现上述目的,本发明的一种基于3σ法则滤波装置的滤波算法,包括数据接收模块、数据存储模块、滤波参数计算模块、可信区间选择模块、数据滤波模块、数据发送模块、参数信息显示模块,所述数据接收模块支持RS232、RJ45、RS485接口,从以上三种接口中任何一个接口均可接收数据;所述数据存储模块按一定格式将接收模块接收到数据存储在FLASH中;所述滤波参数计算模块用于计算样本平均值、样本方差、总体期望置信区间、总体标准差置信区间、3σ区间;所述可信区间选择模块选择总体期望与总体标准差置信区间的置信水平以及滤波区间的可信度;所述数据滤波模块根据可信区间选择模块选择的置信水平相对应的3σ区间过滤数据;所述数据发送模块包括无线发送子模块同时支持RS232、RJ45、RS485接口,将过滤后数据的按一定格式封装通过以上任何一种方式均可发送出去;所述参数信息显示模块用于显示子模块工作状态信息以及滤波参数的选择与查询。
该基于3σ法则滤波装置的滤波方法,其特征在于包括以下步骤:
①利用接收模块与存储模块对要进行过滤的数据源进行采集,完成总体的抽样,得到Ν(Ν≥10000)条数据记录集,从而获得总体一个容量为Ν的大样本;
②按照公式(1)与(2)得到大样本的平均值与标准差S;
其中n为样本的容量;
③得到大样本的平均值与标准差S后,按照公式(6)、(7)计算出总体期望一个置信水平为(1-α)的置信区间(μ1-αmin,μ1-αmax);
其中为大样本的平均值,S为样本的标准差,n为样本的容量,zα/2为标准正态分布的上α/2分位点,zα/2值依赖于α取值,根据α不同取值,可得到不同置信水平的置信区间;
所述的公式(7)是根据公式(3)和(5)推导而出;所述公式(6)是根据公式(4)和(5)推导而出;
其中为大样本的平均值,S为样本的标准差,n为样本的容量,tα/2(n-1)为服从自由度为(n-1)的t分布的上α/2分位点;
tα/2(n-1)≈zα/2(n>46) (5)
其中zα/2为标准正态分布的上α/2分位点;
④得到大样本的平均值与标准差S后,按照公式(13)、(12)计算出总体标准差一个置信水平为(1-α)的置信区间(σ1-αmin,σ1-αmax);
其中S为样本的标准差,n为样本的容量,z1-α/2为标准正态分布的上(1-α/2)分位点,zα/2为标准正态分布的上α/2分位点;
所述公式(13)是根据公式(11)和(9)推导而出;所述公式(12)是根据公式(10)和(8)推导而出;
其中S为样本的标准差,n为样本的容量,为服从自由度为(n-1)的χ2分布的上(1-α/2)分位点,为服从自由度为(n-1)的χ2分布的上α/2分位点;
其中z1-α/2和zα/2分别为标准正态分布的上(1-α/2)分位点与上α/2分位点;
⑤根据计算得到的总体期望一个置信水平为(1-α)的置信区间(μ1-αmin,μ1-αmax)与总体标准差的一个置信水平为(1-α)的置信区间(σ1-αmin,σ1-αmax),按照公式(15)、(14)计算出3σ区间(DP(α)min,DP(α)max);
DP(α)max=μ1-αmax+3σ1-αmax (15)
DP(α)min=μ1-αmin-3σ1-αmax (14)
⑥根据总体期望一个置信区间(μ1-αmin,μ1-αmax)的置信水平(1-α)、总体标准差一个置信区间的(σ1-αmin,σ1-αmax)的置信水平(1-α)以及3σ法则,根据公式(16)计算出滤波区间的可信度,即3σ区间的可信度P(α);
P(α)=0.997*(1-α)*(1-α) (16)
⑦根据得到P(α)可信度选取合适的滤波区间,对数据接收模块接收的数据进行滤波,滤去不在可滤波区间内的数据,得到可信度为P(α)的数据;
⑧将滤波后的可信度高的数据进行封装后,通过发送模块发送出去。
所述的用于确定置信区间置信水平的α值,只取0.1、0.01、0.05三个不同数值,得到对应可信度分别为0.81、0.98、0.90三组不同滤波区间;
所述的滤波区间根据α取值不同有多个,在装置真正工作时,允许使用多个滤波区间对数据进行过滤,但在同一时刻只有一个滤波区间用于数据的滤波;
所述步骤③与④中标准正态分布的上α分为点zα,根据α所取的值,结合标准正态分布上α分为点z1-α=-zα的性质,通过查询标准正态分布表计算出步骤③与④中zα/2和z1-α/2值,事先存储于装置中,在计算过程中直接读取参与计算;
所述的3σ法则滤波装置的滤波方法,对于同一数据源的不同可信度3σ区间获得只需要进行一次总体采样与计算。
有益效果:本发明的一种基于3σ法则滤波装置的滤波方法,把概率论与数理统计应用数据处理中,在数据实时处理过程中,能有效的过滤掉可信度不高的数据,使获取到的数据集信息更进一步的接近实际环境。
附图说明
图1为本发明装置模块结构示意图
图2为本发明装置连接示意图
图3为本发明装置工作模式示意图
图4为本发明装置滤波参数计算工作模式流程图
图5为本发明装置滤波工作模式流程图
具体实施方式
下面结合附图和实施例对本发明作更进一步的说明。
如图1所示,本发明的一种基于3σ法则滤波装置,包括数据接收模块、数据存储模块、滤波参数计算模块、可信区间选择模块、数据滤波模块、数据发送模块、参数信息显示模块,数据接收模块支持RS232、RJ45、RS485接口,从以上三种接口中任何一个接口均可接收数据;数据存储模块按一定格式将接收模块接收到数据存储在FLASH中;滤波参数计算模块用于计算样本平均值、样本方差、总体期望置信区间、总体标准差置信区间、3σ区间;可信区间选择模块选择总体期望与总体标准差置信区间的置信水平以及滤波区间的可信度;数据滤波模块根据可信区间选择模块选择的置信水平相对应的3σ区间过滤数据;数据发送模块包括无线发送子模块同时支持RS232、RJ45、RS485接口,将过滤后数据的按一定格式封装通过以上任何一种方式均可发送出去;参数信息显示模块用于显示子模块工作状态信息以及滤波参数的查询。
本发明的一种基于3σ法则滤波装置的滤波方法在实际中是这样的:
如图2所示,将装置集成到当前系统中,本发明装置2与原通信链路1使用相同的通信接口,本发明装置3与原通信链路4使用相同通信接口,数据流经与原通信链路相同协议接口进入本发明装置,经过滤波后,再经与原通信链路相同协议发送出去。
这里需要说明的是,如图3所示,发明装置首次集成到系统后,首先进入的是滤波参数计算工作模式,采集数据源的样本,在此样本的基础上,完成滤波参数的计算,最终得到不同可信度的滤波区间;此后装置直接进入滤波工作模式,根据滤波参数计算模式得到的不同可信度滤波区间,选取一个可信度合适的滤波区间用于滤波,滤去不在滤波区间的数据,得到可信度高的数据后,按照一定格式封装,发送出去。
滤波参数计算模式,包括步骤如图4所示:
步骤1:接收模块与存储模块从通信链路数据流中接收并存储数据,得带一个容量为Ν(Ν≥10000)的大样本;
步骤2:得到大样本后,滤波参数计算模块按照公式(1)与(2)得到大样本的平均值与标准差S;
其中n为样本的容量;
步骤:3:得到大样本的平均值与标准差S后,滤波参数计算模块按照公式(3)与(4),并取α=0.1、0.05、0.01,计算出总体期望置信水平分别为(1-α)=0.90、0.95、0.99的置信区间(μ0.9min,μ0.9max)、(μ0.95min,μ0.95max)、(μ0.99min,μ0.99max);
其中为大样本的平均值,S为样本的标准差,n为样本的容量,zα/2为标准正态分布的上α/2分位点;
步骤:4:滤波参数计算模块按照公式(5)与(6),并取α=0.1、0.05、0.01,计算出总体标准差置信水平分别为(1-α)=0.90、0.95、0.99的置信区间(σ0.9min,σ0.9max)、(σ0.95min,σ0.95max)、(σ0.99min,σ0.99max);
其中S为样本的标准差,n为样本的容量,z1-α/2为标准正态分布的上(1-α/2)分位点;
对于标准正态分布的上α分位点,根据α所取的值,结合标准正态分布上α分为点z1-α=-zα的性质,通过查询标准正态分布表计算出值,事先存储于装置中,在计算过程中直接读取计算,存储于装置的标准正态分布上α分位点表,如表1所示;
表1标准正态分布上α分位点表
步骤5:根据得到的总体期望的置信水平分别为(1-α)=0.90、0.95、0.99的置信区间(μ0.9min,μ0.9max)、(μ0.95min,μ0.95max)、(μ0.99min,μ0.99max)以及总体标准差的置信水平分别为(1-α)=0.90、0.95、0.99的置信区间(σ0.9min,σ0.9max)、(σ0.95min,σ0.95max)、(σ0.99min,σ0.99max),以及3σ法则,滤波参数计算模块按照公式(7)、(8)以及(9)计算出3σ区间的可信度及其所对应的滤波区间;
DP(α)max=μ1-αmax+3σ1-αmax (7)
DP(α)min=μ1-αmin-3σ1-αmax (8)
P(α)=0.997*(1-α)*(1-α) (9)
最终计算得出的3σ区间的可信度及其所对应的滤波区间,如表2所示;
表2 3σ区间的可信度及其区间
这里的可信度不会改变,但可信度区间会根据所采集的数据源总体改变而改变;
步骤6:存储模块将滤波参数计算模块将最终得到的3σ区间的可信度及其区间,保存到装置指定的FLASH区域中。
滤波工作模式,包括步骤如图5所示:
步骤1:装置进入滤波工作模式后,参数信息显示模块显示滤波区间可信度选择界面,以供选择,若无选择,装置会在间隔一段时间后,自行选择可信度最高的滤波区间;
步骤2:滤波区间选择完成后,装置数据接收模块开始接收数据,滤波模块对接收模块所接收的数据进行滤波,过滤掉不在此滤波区间内数据;
步骤3:最后,发送模块对滤波完成后数据按照一定格式封装发送出去,完成数据的滤波。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。