CN109507697B - 一种新的gnss时间序列中异常值精确识别方法 - Google Patents

一种新的gnss时间序列中异常值精确识别方法 Download PDF

Info

Publication number
CN109507697B
CN109507697B CN201811287416.0A CN201811287416A CN109507697B CN 109507697 B CN109507697 B CN 109507697B CN 201811287416 A CN201811287416 A CN 201811287416A CN 109507697 B CN109507697 B CN 109507697B
Authority
CN
China
Prior art keywords
cusum
offset
data
statistic
gnss time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811287416.0A
Other languages
English (en)
Other versions
CN109507697A (zh
Inventor
刘超
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201811287416.0A priority Critical patent/CN109507697B/zh
Publication of CN109507697A publication Critical patent/CN109507697A/zh
Application granted granted Critical
Publication of CN109507697B publication Critical patent/CN109507697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/35—Constructional details or hardware or software details of the signal processing chain
    • G01S19/37—Hardware or software details of the signal processing chain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/32—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring the deformation in a solid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种新的GNSS时间序列中异常值精确识别方法，包括以下步骤：(1)采集对构筑物或建筑物进行形变监测的GNSS时间序列，统计其均值和标准差；(2)将步骤1中的数据进行正态性检验，对不服从正态性分布的数据通过Q统计量的方法转换；(3)将步骤1或步骤2的数据通过CUSUM的统计量计算公式，构建CUSUM偏移统计量；(4)将步骤3中的CUSUM统计量作为检验数据，使用BFAST算法，得出趋势项中的断点列表。本发明首次将CU‑BFAST算法用于GNSS监测序列的异常值识别，能够全面的分析数据和识别异常值，具有较好的异常值检验能力和误报率较低的优点。

Description

一种新的GNSS时间序列中异常值精确识别方法
技术领域
本发明涉及测绘变形监测的预警领域，具体是一种新的GNSS时间序列中异常值精确识别方法。
背景技术
构筑物和建筑物作为人类生活和经济发展的主要场所，在世界中占据非常重要的地位。随着全球经济的不断发展，高层建筑，高速铁路，地铁等重大土木水利工程日益增多，且结构越来越复杂。这些构筑物和建筑物在支撑着我们生活，同时也伴随着地表塌陷、公路和铁路变形、建筑物损坏等灾害发生，对人民生命财产安全构成了巨大威胁，有必要研究如何准确识别变形数据和异常值，用于指导灾害控制和防治。目前常用于监测变形的方法为控制图理论，如何准确的进行识别是成为提高精度的关键。
现有的控制图理论方法大体分为传统的休哈特控制图和CUSUM控制图算法。一类是传统的算法，利用的是3倍标准差的原理，虽然大偏移变形数据可以识别，但存在对小偏移变形的数据却不能适用、大偏移数据识别精度较低等问题；一类是基于累积和的算法，虽然可以解决传统算法在小偏移变形方面存在的问题，但是对于大偏移变形数据的误报率较高。因此，建立一种能够有效地识别变形数据且结果稳定的方法具有极其重要的意义。
发明内容
针对现有技术存在的问题，本发明所要解决的是提供一种新的GNSS时间序列中异常值精确识别方法。本发明首次将CU-BFAST算法应用于对GNSS时间序列的异常值识别中，能够全面的分析数据和识别异常值，具有较好地异常值检验能力和误报率较低的优点。
本发明实现发明目的采用如下技术方案：
本发明提供一种新的GNSS时间序列中异常值精确识别方法，步骤如下：
步骤1，采集对构筑物或建筑物进行形变监测的GNSS时间序列，统计其均值和标准差；
步骤2，将步骤1中的数据进行正态性检验，对不服从正态性分布的数据通过Q统计量的方法转换；
步骤3，将步骤1或步骤2的数据通过CUSUM的统计量计算公式，构建CUSUM偏移统计量；
步骤4，将步骤3中的CUSUM统计量作为检验数据，使用BFAST算法，得出趋势项中的断点列表。
作为优选，根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤1中，采集对构筑物或建筑物进行形变监测的GNSS时间序列，统计其均值μ和标准差σ。
作为优选，根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤2中，对于判别监测数据的正态性所构建的公式如下(1)和(2)：
a＝(mTV-1V-1m)-1/2mTV-1 (2)
式(1)和(2)中：是样本均值，其中矩阵V是个协方差矩阵，属于n个标准正态分布的随机变量的顺序统计量，m是这些变量的期望组成的向量。统计量W设定为显著性水平α(默认值为0.05)，然后获得它的临界值Wα。
式(3)中，K(x)为核函数，l为一个平滑参数，Kl(x)为缩放核函数。再通过标准正态分布的逆函数将通过核密度估计得到的概率密度函数Fi转换为Qi，转换后的Qi近似的服从正态分布。
作为优选，根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤3中，求解的CUSUM统计量的参数有6个，GNSS监测序列的均值μ，标准差σ，偏移值Δ，参数k，CUSUM上偏移量初始值CUSUM下偏移量初始值/>
作为优选，根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤3中，根据服从正态分布的GNSS时间序列或转换后的数据，构建CUSUM偏移统计量，其具体思路为：
步骤3.1：给定偏移值Δ，设置参数k，计算均值μ，标准差σ，CUSUM上、下偏移统计量初始值和/>均为0；
步骤3.2：计算累计偏移统计量，上、下偏移统计量分别如公式(4)和(5)所示：
作为优选，根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤4中，根据步骤3中构建的CUSUM偏移统计量，使用BFAST算法得到断点列表，具体步骤如下：
步骤4.1：将CUSUM偏移统计量作为检测序列，转换为时间类型序列，给定频率设置；
步骤4.2：设定检验步长h，季节性参数season，最大迭代次数max.iter，使用方法类型是普通最小二乘的移动平均求和(OLS-MOSUM)。
与现有技术相比，本发明的有益效果是：本发明首次将CU-BFAST算法应用于对GNSS时间序列的异常值识别中，能够全面的分析数据和识别异常值，具有较好地异常值检验能力和误报率较低的优点。
附图说明
图1是本发明一种新的GNSS时间序列中异常值精确识别方法的一较佳实施例的流程图；
图2是本发明的案例中的原始数据及加入不同变形的数据图；
图3是本发明的转换后的数据图；
图4是本发明的不同偏移变形的BFAST检验图；
图5是本发明的不同偏移变形的趋势项断点列表图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种新的GNSS时间序列中异常值精确识别方法，包括以下步骤：
步骤1，采集对构筑物或建筑物进行形变监测的GNSS时间序列，统计其均值和标准差；
步骤2，将步骤1中的数据进行正态性检验，对不服从正态性分布的数据通过Q统计量的方法转换；
步骤3，将步骤1或步骤2的数据通过CUSUM的统计量计算公式，构建CUSUM偏移统计量；
步骤4，将步骤3中的CUSUM统计量作为检验数据，使用BFAST算法，得出趋势项中的断点列表。
以某段建筑物的GNSS监测时间序列为例，具体实施步骤如下：
第一步，本文取实测数据加入变形数据进行验证，取1000个数据。原始监测序列如图2(a)所示，为了充分验证该算法对异常值识别的能力，在原始监测序列的500～600位置处加入1～3倍的标准差作为变形信息，详见图2(b)～(d)。均值和标准差分别为：0.00514和0.00155。
第二步，将第一步中的数据进行正态性检验，对不服从正态性分布的数据通过Q统计量的方法转换。对于判别监测数据的正态性所构建的公式如下(6)和(7)：
a＝(mTV-1V-1m)-1/2mTV-1 (7)
式(6)和(7)中：是样本均值，其中矩阵V是个协方差矩阵，属于n个标准正态分布的随机变量的顺序统计量，m是这些变量的期望组成的向量。统计量W设定为显著性水平α(默认值为0.05)，然后获得它的临界值Wα。
式(8)中，K(x)为核函数，l为一个平滑参数，Kl(x)为缩放核函数。再通过标准正态分布的逆函数将通过核密度估计得到的概率密度函数Fi转换为Qi，转换后的Qi近似的服从正态分布。
转换后的数据如图3所示。
第三步，将第二步中的数据通过CUSUM的统计量计算公式，构建CUSUM偏移统计量；给定偏移值Δ＝1，设置参数k＝0.5，根据第一步中计算的均值和标准差，CUSUM上、下偏移统计量初始值和/>均为0；
累计偏移统计量，上、下偏移统计量的计算公式见(9)和(10)：
所得的统计量详见图4中Yt。
第四步，根据第三步中构建的CUSUM偏移统计量，使用BFAST算法得到断点列表，具体步骤如下：
4.1，将CUSUM偏移统计量作为检测序列，转换为时间类型序列，频率设置为150；
4.2，设定检验步长h＝0.06，季节性参数season为harmonic，最大迭代次数max.iter＝2，使用方法类型是普通最小二乘的移动平均求和(OLS-MOSUM)。
详细结果见图4，趋势项断点列表见图5。
在图5(a)～(c)中，本文所提出的一种新的GNSS时间序列中异常值精确识别方法，对异常值的识别效果较好。图5中，对时间序列中1倍标准差变形的检验结果分别为415、617、839；对于2倍标准差变形的识别结果为495、604、715；对于3倍标准差变形的识别结果为495、609、763。本算法能够较为准确的对异常值进行识别，随着变形的增大，对断点起始位置的检测越来越靠近变形数据的起始位置。
由本发明所要解决的是提供一种新的GNSS时间序列中异常值精确识别方法。本发明首次将CU-BFAST算法应用于对GNSS时间序列的异常值识别中，能够全面的分析数据和识别异常值，具有较好地异常值检验能力和误报率较低的优点。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，对于本技术领域的普通技术人员来说，凡在本发明的精神和原则之内所作的任何修改、等同替换、润饰、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种新的GNSS时间序列中异常值精确识别方法，其特征在于，包括以下步骤：
步骤1，采集对构筑物或建筑物进行形变监测的GNSS时间序列，统计其均值和标准差；
步骤2，将步骤1中的数据进行正态性检验，对不服从正态性分布的数据通过Q统计量的方法转换；
步骤3，将步骤1或步骤2的数据通过CUSUM的统计量计算公式，构建CUSUM偏移统计量；
步骤4，将步骤3中的CUSUM统计量作为检验数据，使用BFAST算法，得出趋势项中的断点列表；
所述步骤2中，对于判别监测数据的正态性所构建的公式如下(1)和(2)：
a＝(mTV-1V-1m)-1/2mTV-1 (2)
式(1)和(2)中：是样本均值，其中矩阵V是个协方差矩阵，属于n个标准正态分布的随机变量的顺序统计量，m是这些变量的期望组成的向量，统计量W设定为显著性水平α，然后获得它的临界值Wα；
式(3)中，K(y)为核函数，l为一个平滑参数，Kl(y)为缩放核函数,再通过标准正态分布的逆函数将通过核密度估计得到的概率密度函数Fl转换为Ql，转换后的Ql近似的服从正态分布；
所述步骤3中，根据服从正态分布的GNSS时间序列或转换后的数据，构建CUSUM偏移统计量，其具体思路为：
步骤3.1：给定偏移值Δ，设置参数k，计算均值μ，标准差σ，CUSUM上、下偏移统计量初始值和/>均为0；
步骤3.2：计算累计偏移统计量，上、下偏移统计量分别如公式(4)和(5)所示：
所述步骤4中，根据步骤3中构建的CUSUM偏移统计量，使用BFAST算法得到断点列表，具体步骤如下：
步骤4.1：将CUSUM偏移统计量作为检测序列，转换为时间类型序列，给定频率设置；
步骤4.2：设定检验步长h，季节性参数season，最大迭代次数max.iter，使用方法类型是普通最小二乘的移动平均求和。
2.根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤1中，采集对构筑物或建筑物进行形变监测的GNSS时间序列，统计其均值μ和标准差σ。
3.根据权利要求1所述的一种新的GNSS时间序列中异常值精确识别方法，其特征在于步骤3中，求解的CUSUM统计量的参数有6个，GNSS监测序列的均值μ，标准差σ，偏移值Δ，参数k，CUSUM上偏移量初始值CUSUM下偏移量初始值/>
CN201811287416.0A 2018-10-31 2018-10-31 一种新的gnss时间序列中异常值精确识别方法 Active CN109507697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811287416.0A CN109507697B (zh) 2018-10-31 2018-10-31 一种新的gnss时间序列中异常值精确识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811287416.0A CN109507697B (zh) 2018-10-31 2018-10-31 一种新的gnss时间序列中异常值精确识别方法

Publications (2)

Publication Number Publication Date
CN109507697A CN109507697A (zh) 2019-03-22
CN109507697B true CN109507697B (zh) 2023-08-18

Family

ID=65747260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811287416.0A Active CN109507697B (zh) 2018-10-31 2018-10-31 一种新的gnss时间序列中异常值精确识别方法

Country Status (1)

Country Link
CN (1) CN109507697B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110173627B (zh) * 2019-06-03 2020-09-25 山东建筑大学 一种太阳能系统
CN110260774B (zh) * 2019-07-22 2022-03-08 安徽理工大学 一种基于Pettitt算法的GNSS变形信息检验与预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425248A (zh) * 2015-11-20 2016-03-23 山东科技大学 单频gnss相位稳定性监测的高频逐历元相位差方法
CN105806208A (zh) * 2016-03-11 2016-07-27 河南理工大学 一种基于gnss网形变化的形变异常检测方法
CN106153045A (zh) * 2016-07-05 2016-11-23 东南大学 一种抑制gnss信息异常的滤波增益动态调整方法
CN106846736A (zh) * 2016-12-28 2017-06-13 中国科学院深圳先进技术研究院 一种山体滑坡地质灾害监测的传感器系统
KR20180060682A (ko) * 2016-11-29 2018-06-07 부산대학교 산학협력단 실시간 지표변형 측정을 위한 gnss 단일 주파수 rtk 측위 기법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425248A (zh) * 2015-11-20 2016-03-23 山东科技大学 单频gnss相位稳定性监测的高频逐历元相位差方法
CN105806208A (zh) * 2016-03-11 2016-07-27 河南理工大学 一种基于gnss网形变化的形变异常检测方法
CN106153045A (zh) * 2016-07-05 2016-11-23 东南大学 一种抑制gnss信息异常的滤波增益动态调整方法
KR20180060682A (ko) * 2016-11-29 2018-06-07 부산대학교 산학협력단 실시간 지표변형 측정을 위한 gnss 단일 주파수 rtk 측위 기법
CN106846736A (zh) * 2016-12-28 2017-06-13 中国科学院深圳先进技术研究院 一种山体滑坡地质灾害监测的传感器系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用BFAST算法分析GPS时间序列;胡东;《中国优秀硕士学位论文全文数据库》;20170115;全文 *

Also Published As

Publication number Publication date
CN109507697A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN112348237B (zh) 一种动态钻井数据异常趋势检测方法
WO2019174142A1 (zh) 一种多模式的退化过程建模及剩余寿命预测方法
CN110260774B (zh) 一种基于Pettitt算法的GNSS变形信息检验与预警方法
CN109583570A (zh) 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN108399277B (zh) 一种基于温度与应变关联性的桥梁损伤识别方法
CN104317681A (zh) 针对计算机系统的行为异常自动检测方法及检测系统
CN103473540B (zh) 智能交通系统车辆轨迹增量式建模与在线异常检测方法
CN109507697B (zh) 一种新的gnss时间序列中异常值精确识别方法
CN107798210B (zh) 一种多模型滑坡位移预测方法及其系统
CN105239608A (zh) 一种基于wt-rs-svr相结合的滑坡位移预测方法
Zhang et al. Phase I analysis of multivariate profiles based on regression adjustment
CN110888186A (zh) 基于gbdt+lr模型的冰雹和短时强降水预报方法
CN108549908A (zh) 基于多采样概率核主成分模型的化工过程故障检测方法
CN108071941B (zh) 一种基于时序向量相似度分析的爆管识别与定位方法
CN116308305B (zh) 一种桥梁健康监测数据管理系统
Zaifoglu et al. Regional frequency analysis of precipitation using time series clustering approaches
Nair et al. Flood water depth estimation—A survey
CN110398775B (zh) 隧道突涌水灾害微震事件信号波动初至拾取方法及系统
CN111400911A (zh) 一种基于ewma控制图的gnss变形信息识别与预警方法
CN103134433A (zh) 一种利用位移监测鉴别边坡失稳致滑因子的方法
CN109902265B (zh) 一种基于隐马尔可夫模型的井下预警方法
CN109242166B (zh) 一种基于多尺度深度神经网络的环境预测防控系统
CN112949735A (zh) 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法
CN115455791B (zh) 一种基于数值模拟技术提高滑坡位移预测准确率的方法
CN110991363A (zh) 不同采煤工序下煤矿安全监控系统co涌出特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant