CN102945222A - 一种基于灰色理论的乏信息测量数据粗大误差判别方法 - Google Patents
一种基于灰色理论的乏信息测量数据粗大误差判别方法 Download PDFInfo
- Publication number
- CN102945222A CN102945222A CN201210439870XA CN201210439870A CN102945222A CN 102945222 A CN102945222 A CN 102945222A CN 201210439870X A CN201210439870X A CN 201210439870XA CN 201210439870 A CN201210439870 A CN 201210439870A CN 102945222 A CN102945222 A CN 102945222A
- Authority
- CN
- China
- Prior art keywords
- measurement data
- grey
- sequence
- gross error
- information measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
Abstract
本发明提供一种基于灰色理论的乏信息测量数据粗大误差判别方法,该方法的步骤为:一、将采集到的乏信息测量数据序列进行预处理,按由小到大排序;二、利用灰色累加方法得到乏信息测量数据灰色包罗线;三、采用灰色判别法则判定测量数据是否含粗大误差;四、利用灰色GM(1,1)动态模型获取乏信息测量数据预测值;五、重复步骤二、三、四,直至测量数据中粗大误差全部被判别。本发明能实现概率分布未知,小样本量等乏信息特征的测量数据粗大误差的有效判别,测量数据中粗大误差的有效剔除,保证了测量结果的准确性。本方法合理简单,计算简便,大大提高了计算速度,在快速,在线测量方面具有很好的推广应用价值。
Description
技术领域
本发明属于计量测试领域,具体涉及一种基于灰色理论的乏信息测量数据粗大误差判别方法,该方法涉及到数据建模、数据处理、粗大误差剔除等方面,用于测量数据误差处理,适用于数据样本量小,分布不确定的粗大误差判别。
背景技术
在测量过程中,不可避免的存在误差。粗大误差又称粗差,指在同一测量条件下多次测量同一量值时,其中的最大值或最小值等个别数据明显偏离它所属样本的其他数据,超出在规定条件下预期的误差。含有粗大误差的测量值称为异常值,也称离群值和坏值。粗大误差产生的原因可能是人员操作、读数或记录时的过失,以及数据复制和计算处理是所出现的过失和错误,也可能是采样环境的变化的部分数据与原先样本的模型不符合造成的。在进行数据处理过程中,如果将正常数据当作异常值予以剔除,会减少有用的信息,会造成测量精度偏高的假象;反之,如果对混有异常值的数据未加剔除,必然造成测量数据结果与实际不符合。因此在测量过程中,一旦发现异常值就应该在记录中予以剔除,对测量数据中异常值的合理判断和处理,是获得正确测量结果的一个重要前提条件。
通常,异常值剔除多采用以下两类方法:第一类方法是采用统计方法,按一定的准则判别而剔除会歪曲测量结果的异常数据;第二类,则采用可避免或抑制异常值影响的测量结果及其不确定度的稳健估计。基于统计学理论的集中常用粗大误差统计判别准则主要包括奈尔(Nair)准则、格拉布斯(Grubbs)准则、3σ准则、Dixon准则。在实际的测量过程中,粗大误差的判别是非常重要和复杂的。例如,在一些破坏性实验中,不仅测量数据少,而且其概率分布通常是未知的。在这种情况下,用经典统计学的方法研究问题是相当困难的。针对这种小样本数据提出了新的解决方法,如王中宇等提出利用灰色累加方法确定一个包罗区域,王广林在此基础上改进算法。柯宏发提出了基于GM(1,1)精度检验的粗大误差剔除方法。李登辉研究了基于测量信息论的小样本数据粗大误差剔除方法。吴维勇将小波理论应用到了数据粗大误差处理方面。
发明内容
本发明的目的在于:提供一种基于灰色理论的乏信息测量数据粗大误差判别方法,它针对测量数据样本量较少,数据分布不明确的特点,构建了一种描述少数据的模型,根据相应的判定法则,实现粗大误差的判别。
本发明采用的技术方案如下:一种基于灰色理论的乏信息测量数据粗大误差判别方法,其特征在于:该方法包括如下步骤:
步骤一、将采集到的乏信息测量数据序列进行预处理,按由小到大排序;
步骤二、利用灰色累加方法得到乏信息测量数据灰色包罗线;
步骤三、采用灰色判别法则判定测量数据是否含粗大误差;
步骤四、利用灰色GM(1,1)动态模型获取乏信息测量数据预测值;
步骤五、重复步骤二、三、四,直至测量数据中粗大误差全部被判别。
其中,步骤二所述的灰色包罗线的获取,具体实现过程如下:
首先将n个测量数据从小到大排序,其序列为:
x(0)={x(0)(1),x(0)(2),…,x(0)(n),…} (1)
对x(0)作累加生成,得到测得值累加数列x(1):
测得值累加曲线以两条曲线来包罗,由于测量数据的中值最有可能是最大距离值Δmax,取测量次数的中值p作为下包络曲线的转折点;另外考虑测量数据有一定程度的变化,将最大距离值Δmax增加h倍,取常数h为3.75,其中:
下包络曲线方程为:
取通过坐标原点(0,0)和测量列累加终点(n,x(1)(n))的直线为上包络曲线,该参考直线方程为:
其中,步骤三所述的灰色包罗粗大误差判别准则,具体实现过程如下:该测量数列如果都满足条件:
则认定测量数据中不含有粗大误差,反之则含有。
其中,步骤四所述的灰色GM(1,1)动态模型的建立,具体实现过程如下:
设升序排列后的数据序列为x(0)={x(0)(1),x(0)(2),…,x(0)(n),…},以序列的前n项作为系统的零时刻序列,n为时刻序列长度,构建系统零时刻的灰色模型;零时刻数据序列为x0 (0)={x0 (0)(1),x0 (0)(2),…,x0 (0)(n)},则其对应的一次累加生成序列为:
x0 (1)={x0 (1)(1),x0 (1)(2),…,x0 (1)(n)} (7)
式中, k=1,2,…,n,其紧邻均值生成序列为:
z0 (1)={z0 (1)(2),z0 (1)(3),…z0 (1)(n)} (8)
式中, k=2,3,…,n,零时刻灰色微分方程为:
x0 (0)(k)+a0z0 (1)(k)=b0 (9)
由式(9)可得,零时刻灰色微分方程的时间响应序列为:
式中,k=1,2,…,n-1;
其还原值序列为:
式中,k=1,2,…,n-1;
随着时间的推移,原始序列中不断有新的测量数据获得,设第m时刻的数据序列为:
xm (0)={xm (0)(1),xm (0)(2),…,xm (0)(n)}={x(0)(m+1),x(0)(m+2),…,x(0)(m+n)}则有m时刻的时间响应序列为:
式中,k=1,2,…,n;
其还原值序列为:
式中,k=1,2,…,n-1。
本发明具有的优点是:针对概率分布未知的小样本数据提出了基于灰色累加以及灰色GM(1,1)动态模型的粗大误差判别方法,解决了小样本数据粗大误差判别问题并且计算简便,大大简化的计算过程,提高了计算速度,在快速,在线测量方面具有很好的推广应用价值。
附图说明
图1为本发明一种基于灰色理论的乏信息测量数据粗大误差判别方法的流程图;
图2为测量数据粗大误差判别的灰色包罗线。
具体实施方式
下面结合附图和具体实施例进一步说明本发明。
本发明针对数据量少,概率分布未知的乏信息测量数据提出了基于灰色累加以及灰色GM(1,1)动态模型的粗大误差判别方法。
一、见图1,本发明一种基于灰色理论的乏信息测量数据粗大误差判别方法,它包括以下步骤:
步骤一:首先将n个测量数据从小到大排序,其序列为:
x(0)={x(0)(1),x(0)(2),…,x(0)(n)} (14)
步骤二:对x(0)作累加生成,得到测得值累加数列x(1)
首先将n个测量数据从小到大排序,其序列为:
x(0)={x(0)(1),x(0)(2),…,x(0)(n),…} (15)
对x(0)作累加生成,得到测得值累加数列x(1),其累加曲线如图2直线1所示。:
测得值累加曲线可以两条曲线来包罗,由于测量数据的中值最有可能是最大距离值Δmax,取测量次数的中值p作为下包络曲线的转折点。另外考虑测量数据有一定程度的变化,可以将最大距离值Δmax增加h倍,根据大量实验,取常数h为3.75,得到的下包络曲线如图2中曲线2所示。其中:
下包络曲线方程为:
取通过坐标原点(0,0)和测量列累加终点(n,x(1)(n))的直线3为上包络曲线,该参考直线方程为:
式中:为测量数据的均值。
步骤三:该测量数列如果都满足条件:
则认定测量数据中不含有粗大误差。但这个判别方法对升序排列的第n点数据即值最大的那个测量数据是否为粗大误差无法判别。通过步骤四解决此问题。
步骤四:建立灰色GM(1,1)动态模型,增加一个预测值到测量数据序列中。
设原始数据序列为x(0)={x(0)(1),x(0)(2),…,x(0)(n),…},以序列的前n项作为系统的零时刻序列,n为时刻序列长度,构建系统零时刻的灰色模型。零时刻数据序列为x0 (0)={x0 (0)(1),x0 (0)(2),…,x0 (0)(n)},则其对应的一次累加生成序列为:
x0 (1)={x0 (1)(1),x0 (1)(2),…,x0 (1)(n)} (21)
式中, k=1,2,…,n。其紧邻均值生成序列为:
z0 (1)={z0 (1)(2),z0 (1)(3),…z0 (1)(n)} (22)
式中, k=2,3,…,n。零时刻灰色微分方程为:
x0 (0)(k)+a0z0 (1)(k)=b0 (23)
由式(23)可得,零时刻灰色微分方程的时间响应序列为:
式中,k=1,2,…,n-1。
其还原值序列为:
式中,k=1,2,…,n-1。
随着时间的推移,原始序列中不断有新的测量数据获得。设第m时刻的数据序列为:
xm (0)={xm (0)(1),xm (0)(2),…,xm (0)(n)}={x(0)(m+1),x(0)(m+2),…,x(0)(m+n)}则有m时刻的时间响应序列为:
式中,k=1,2,…,n。
其还原值序列为:
式中,k=1,2,…,n-1。
步骤五:将灰色GM(1,1)动态模型的预测值添加到测量序列中,重复步骤二、三、四,直至测量数据中粗大误差全部被判别。
二、下面某粗糙度测量数据作为典型案例,再详细阐述本发明的实施方式简述如下:
1.某测量表面粗糙度过程中一组测量数据为:
x(k)={26.60,19.80,20.30,21.20,20.00,19.10,19.80,19.00,19.20,19.60}
以此数据序列为例说明本文方法的应用过程,已知数据26.60含有粗大误差。
2.将原始数据列从小到大排序得到新的数列,见表1中x(0)(k)。
表1:原灰色包罗曲线数据
5.利用数据列x(0)(k)建立GM(1,1)模型,判断是否含有粗大误差。通过计算,其外推模型参数为a=-0.03,b=17.20,其灰色GM(1,1)模型为:
得预测值为x(1)(n+l)=21.53从而新的数列见表2中x(0)(k)。
6.重复步骤2~4,利用灰色包罗线法则,得表2.
表2:新灰色包罗曲线数据
Claims (4)
1.一种基于灰色理论的乏信息测量数据粗大误差判别方法,其特征在于:该方法包括如下步骤:
步骤一、将采集到的乏信息测量数据序列进行预处理,按由小到大排序;
步骤二、利用灰色累加方法得到乏信息测量数据灰色包罗线;
步骤三、采用灰色判别法则判定测量数据是否含粗大误差;
步骤四、利用灰色GM(1,1)动态模型获取乏信息测量数据预测值;
步骤五、重复步骤二、三、四,直至测量数据中粗大误差全部被判别。
2.根据权利要求1所述的一种基于灰色理论的乏信息测量数据粗大误差判别方法,其特征在于:步骤二所述的灰色包罗线的获取,具体实现过程如下:
首先将n个测量数据从小到大排序,其序列为:
x(0)={x(0)(1),x(0)(2),…,x(0)(n),…} (1)
对x(0)作累加生成,得到测得值累加数列x(1):
测得值累加曲线以两条曲线来包罗,由于测量数据的中值最有可能是最大距离值Δmax,取测量次数的中值p作为下包络曲线的转折点;另外考虑测量数据有一定程度的变化,将最大距离值Δmax增加h倍,取常数h为3.75,其中:
下包络曲线方程为:
取通过坐标原点(0,0)和测量列累加终点(n,x(1)(n))的直线为上包络曲线,该参考直线方程为:
3.根据权利要求1所述的一种基于灰色理论的乏信息测量数据粗大误差判别方法,其特征在于:步骤三所述的灰色包罗粗大误差判别准则,具体实现过程如下:
该测量数列如果都满足条件:
则认定测量数据中不含有粗大误差,反之则含有。
4.根据权利要求1所述的一种基于灰色理论的乏信息测量数据粗大误差判别方法,其特征在于:步骤四所述的灰色GM(1,1)动态模型的建立,具体实现过程如下:
设升序排列后的数据序列为x(0)={x(0)(1),x(0)(2),…,x(0)(n),…},以序列的前n项作为系统的零时刻序列,n为时刻序列长度,构建系统零时刻的灰色模型;零时刻数据序列为x0 (0)={x0 (0)(1),x0 (0)(2),…,x0 (0)(n)},则其对应的一次累加生成序列为:
x0 (1)={x0 (1)(1),x0 (1)(2),…,x0 (1)(n)} (7)
式中, k=1,2,…,n,其紧邻均值生成序列为:
z0 (1)={z0 (1)(2),z0 (1)(3),…z0 (1)(n)} (8)
式中, k=2,3,…,n,零时刻灰色微分方程为:
x0(0)(k)+a0z0(1)(k)=b0 (9)
由式(9)可得,零时刻灰色微分方程的时间响应序列为:
式中,k=1,2,…,n-1;
其还原值序列为:
式中,k=1,2,…,n-1;
随着时间的推移,原始序列中不断有新的测量数据获得,设第m时刻的数据序列为:
xm (0)={xm (0)(1),xm (0)(2),…,xm (0)(n)}={x(0)(m+1),x(0)(m+2),…,x(0)(m+n)}则有m时刻的时间响应序列为:
式中,k=1,2,…,n;
其还原值序列为:
式中,k=1,2,…,n-1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210439870.XA CN102945222B (zh) | 2012-11-06 | 2012-11-06 | 一种基于灰色理论的乏信息测量数据粗大误差判别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210439870.XA CN102945222B (zh) | 2012-11-06 | 2012-11-06 | 一种基于灰色理论的乏信息测量数据粗大误差判别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102945222A true CN102945222A (zh) | 2013-02-27 |
CN102945222B CN102945222B (zh) | 2015-09-09 |
Family
ID=47728169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210439870.XA Expired - Fee Related CN102945222B (zh) | 2012-11-06 | 2012-11-06 | 一种基于灰色理论的乏信息测量数据粗大误差判别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102945222B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345480A (zh) * | 2013-06-19 | 2013-10-09 | 西北工业大学 | 一种基于规则合并的数据流预测方法 |
CN104062054A (zh) * | 2014-06-10 | 2014-09-24 | 北京控制工程研究所 | 一种动量轮低转速贫信息条件下的力矩测量方法 |
CN104899457A (zh) * | 2015-06-15 | 2015-09-09 | 西北工业大学 | 基于改进无偏gm(1,1)模型的卫星数据预测方法 |
CN108376123A (zh) * | 2018-03-01 | 2018-08-07 | 中国地震局地震研究所 | 一种卫星重力观测数据异常值提取方法、装置及电子设备 |
CN109212089A (zh) * | 2018-10-24 | 2019-01-15 | 安徽工业大学 | 基于灰色模型的蔬菜农药残留量不确定度评定方法 |
CN110765406A (zh) * | 2019-10-21 | 2020-02-07 | 长沙理工大学 | 一种用于反演识别分析的多响应信息融合方法 |
CN112907043A (zh) * | 2021-01-29 | 2021-06-04 | 中国航发沈阳发动机研究所 | 一种坏点测量数据辨识方法 |
-
2012
- 2012-11-06 CN CN201210439870.XA patent/CN102945222B/zh not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
尚军亮等: "一种优化的高精度灰色GM(1,1)预测模型", 《电子与信息学报》 * |
缪康鹏等: "基于等维新息GM(1,1)模型的锂电池极片厚度测量粗大误差的判别", 《机械制造》 * |
陈宏林等: "粗大误差的灰色判别方法及其应用", 《大学物理实验》 * |
陈月源等: "灰色误差理论在岩矿测试数据处理中的应用", 《岩矿测试》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345480A (zh) * | 2013-06-19 | 2013-10-09 | 西北工业大学 | 一种基于规则合并的数据流预测方法 |
CN103345480B (zh) * | 2013-06-19 | 2016-08-17 | 西北工业大学 | 一种基于规则合并的数据流预测方法 |
CN104062054A (zh) * | 2014-06-10 | 2014-09-24 | 北京控制工程研究所 | 一种动量轮低转速贫信息条件下的力矩测量方法 |
CN104062054B (zh) * | 2014-06-10 | 2016-08-24 | 北京控制工程研究所 | 一种动量轮低转速贫信息条件下的力矩测量方法 |
CN104899457A (zh) * | 2015-06-15 | 2015-09-09 | 西北工业大学 | 基于改进无偏gm(1,1)模型的卫星数据预测方法 |
CN104899457B (zh) * | 2015-06-15 | 2017-07-25 | 西北工业大学 | 基于改进无偏gm(1,1)模型的卫星数据预测方法 |
CN108376123A (zh) * | 2018-03-01 | 2018-08-07 | 中国地震局地震研究所 | 一种卫星重力观测数据异常值提取方法、装置及电子设备 |
CN109212089A (zh) * | 2018-10-24 | 2019-01-15 | 安徽工业大学 | 基于灰色模型的蔬菜农药残留量不确定度评定方法 |
CN110765406A (zh) * | 2019-10-21 | 2020-02-07 | 长沙理工大学 | 一种用于反演识别分析的多响应信息融合方法 |
CN112907043A (zh) * | 2021-01-29 | 2021-06-04 | 中国航发沈阳发动机研究所 | 一种坏点测量数据辨识方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102945222B (zh) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816031B (zh) | 一种基于数据不均衡度量的变压器状态评估聚类分析方法 | |
CN102945222A (zh) | 一种基于灰色理论的乏信息测量数据粗大误差判别方法 | |
CN105930976B (zh) | 基于加权理想点法的节点电压暂降严重程度综合评估方法 | |
CN106650797B (zh) | 一种基于集成elm的配电网窃电嫌疑用户智能识别方法 | |
WO2017143919A1 (zh) | 一种建立数据识别模型的方法及装置 | |
CN110718908B (zh) | 基于层次聚类法的配电网拓扑结构识别方法及系统 | |
CN107436963B (zh) | 一种基于Copula函数多元退化的O型橡胶密封圈寿命预测方法 | |
CN113344134B (zh) | 一种低压配电监控终端数据采集异常检测方法及系统 | |
CN109193650A (zh) | 一种基于高维随机矩阵理论的电网薄弱点评估方法 | |
CN107563601A (zh) | 一种智能电能表运行状态评价方法 | |
CN102449645B (zh) | 产品检查装置及产品检查方法 | |
CN111343147B (zh) | 一种基于深度学习的网络攻击检测装置及方法 | |
CN104504583B (zh) | 分类器的评价方法 | |
CN110458313A (zh) | 一种基于svm的电力用户信用风险预警方法及系统 | |
CN107358339A (zh) | 一种基于大数据的轨道质量状态评估方法 | |
CN114169424A (zh) | 基于k近邻回归算法和用电数据的排污量预测方法 | |
CN111832955B (zh) | 一种基于可靠度与多元统计的接触网状态评价方法 | |
CN112949735A (zh) | 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法 | |
CN103902798B (zh) | 数据预处理方法 | |
CN105045220B (zh) | 一种用于实验室诊断领域或工业生产领域的基于多变量z分数质量控制图的质量控制方法 | |
CN106056274A (zh) | 基于pca‑dea二维综合评价模型的电力施工主体效益分析方法 | |
CN112260989A (zh) | 电力系统及网络恶意数据攻击检测方法、系统及存储介质 | |
CN116307844A (zh) | 一种低压台区线损评估分析方法 | |
Vermetten et al. | Is there anisotropy in structural bias? | |
CN114597886A (zh) | 基于区间二型模糊聚类分析的配电网运行状态评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150909 Termination date: 20161106 |