CN106324583B - 一种矢量阵被动声呐异常数据在线剔除方法 - Google Patents
一种矢量阵被动声呐异常数据在线剔除方法 Download PDFInfo
- Publication number
- CN106324583B CN106324583B CN201610725421.XA CN201610725421A CN106324583B CN 106324583 B CN106324583 B CN 106324583B CN 201610725421 A CN201610725421 A CN 201610725421A CN 106324583 B CN106324583 B CN 106324583B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- abnormal
- vector array
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
Abstract
本发明提供的是一种矢量阵被动声呐异常数据在线剔除方法。通过判断矢量阵被动声呐测量数据序列X(i)的跳动幅度D(i)是否超出设定的门限值T来决定X(i)是否为异常值。这里的测量数据跳动幅度D(i)是由测量值X(i)与其前n个测量值的均值的差值以及测量值X(i)与其后一个测量值X(i+1)的差值的和组成的。在异常值剔除过程中，对所剔除的异常值进行实时监测，如果发现连续n个数据均被判定为异常值，且连续剔除的n个数据方差不超过T2/16，则说明数据序列发生了突变，这时将这n个连续异常值数据恢复为正常值并重新计算均值，然后继续进行后面的异常值剔除过程。本发明的方法可以有效地对矢量阵被动声呐测量数据中的异常值进行剔除，减少了异常值对数据分析的影响。
Description
技术领域
本发明涉及的是一种传感器数据处理方法，具体涉及一种矢量阵被动声呐异常数据的在线剔除方法。
背景技术
矢量阵被动声呐设备在对水下目标进行探测的过程中，由于受到水下环境干扰、随机噪声、以及平台自噪声的影响，矢量阵被动声呐对目标的方位信息的测量中出现不确定性的中断和野值，这些中断点和野值夹杂在正常测量值中间会对目标位置、速度等运动要素的解算带来严重的影响。因此，在数据解算前必须对矢量阵被动声呐探测数据中的中断点和野值等异常值加以剔除。
目前，国内外的相关研究工作多集中于对连续采样序列数据异常值剔除方面。“剔除异常数据的稳健性处理方法”(《中国计量学院学报》，2004年1期)中提出了一种异常数据的剔除方法；“基于双向检验的异常数据剔除与修复方法”(《电光与控制》，2013年6期)中提出了一种利用多项式拟合对测量结果进行双向检验的异常数据剔除方法。以上文献中提到的方法，均是在测量数据连续的情况下对数据异常值进行剔除，未考虑到矢量阵被动声呐数据受水下复杂声环境影响而出现不确定性的数据中断和中断后数据阶跃性突变的特性，这使得以上方法应用于矢量阵被动声呐数据异常值剔除时效果不佳。
发明内容
本发明的目的在于提供一种能够为实现有效的数据分析做好准备的矢量阵被动声呐异常数据在线剔除方法。
本发明的目的是这样实现的,
101：读取矢量阵被动声呐测量数据，将原始数据存入缓冲区；设置两个长度均为n的数据队列L1和L2，第一数据队列L1用来存放最近的n个正常数据，将L1中的n个数据位编号为t1···tn，则存放于L1的数据表示为X(t1)···X(tn)，第二数据队列L2用来存放连续的异常数据，并设定异常数据判别门限值T；
102：求第一数据队列L1中数据的均值
103：根据 公式求出待判断数据X(i)的跳跃幅度D(i)，其中 X(i+1)为X(i)后一时刻的矢量阵被动声呐测量数据；
104：比较D(i)与T的大小，若D(i)小于T则X(i)为正常值，将第一数据队列L1中数据向后移动一个单元，把X(i)装入第一数据队列L1的首端，并执行步骤105；若D(i)大于T则执行步骤106；
105：清零连续异常值个数计数；
106：若D(i)大于T则X(i)为异常值，将第二数据队列L2中数据向后移动一个单元，把X(i)装入数据队列L2首端，并对连续异常值个数计数加1，然后删除X(i)；
107：通过检测连续异常值计数值是否等于n来检测异常值剔除过程是否发生异常；
108：若连续异常值达到n个，则通过进一步计算第二数据队列L2中数据的方差S来判断异常值剔除过程是否发生错误，当S小于T2/16时为发生异常，则执行步骤109；
109：用第二数据队列L2中数据覆盖第一数据队列L1，并清零连续异常值计数器；
重复上述步骤102至109，实现对矢量阵被动声呐数据序列异常值的在线剔除。
n的取值范围为5-15。
本发明提供了一种矢量阵被动声呐数据异常值剔除方法，来实现对矢量阵被动声呐设备采集的原始数据中异常值的剔除和数据中断段的切除处理，从而为实现有效的数据分析做好准备。
本发明的技术方案的要点体现在：通过判断矢量阵被动声呐测量数据序列X(i)的跳动幅度D(i)是否超出设定的门限值T来决定X(i)是否为异常值。这里的测量数据跳动幅度D(i)是由测量值X(i)与其前n个测量值的均值的差值以及测量值X(i)与其后一个测量值 X(i+1)的差值的和组成的。在异常值剔除过程中，对所剔除的异常值进行实时监测，如果发现连续n个数据均被判定为异常值，且连续剔除的n个数据方差不超过T2/16，则说明数据序列发生了突变，这时将这n个连续异常值数据恢复为正常值并重新计算均值然后继续进行后面的异常值剔除过程。
D(i)是由测量值X(i)与正常值数据队列中n个测量值的均值的差值以及测量值 X(i)与其后一个测量值X(i+1)的差值两部分组成的，D(i)的值由以下公式求得，
队列长度为n，数据根据先后顺序存放在队列中，每次更新时，队列中所有数据均向后移动一个单元，将队列中最末端的数据移出队列，并将新的数据填入队列首端。
是由数据队列L1中的n个数值X(t1)···X(tn)求算数平均得到的，其计算公式如下所示：
方差S为异常值数据队列中n个数值X(i-n)···X(i-1)的方差，其计算公式如下所示：
本发明的特色是，结合了矢量阵被动声呐数据不确定性中断的特点，基于一步延时的思想设计了一种新的异常值识别方法并对异常值剔除过程实时监测和矫正，防止了异常值剔除过程在数据间断处和突变段的失效。
附图说明
图1为本发明对异常值识别和剔除流程图。
图2为实验测得的一组矢量阵被动声呐方位测量原始数据曲线。
图3为本发明对矢量阵被动声呐方位测量原始数据进行异常值剔除后的数据曲线。
具体实施方式
下面结合附图举例对本发明进行详细说明。
结合图1，首先执行对矢量阵被动声呐测量数据的读取【101】，将原始数据存入缓冲区。然后执行对数据异常值的剔除。对异常值的剔除过程主要分为两部分，第一部分为对数据序列中的异常值的识别剔除，第二部分为对异常值的检测和对异常值剔除过程的矫正。具体实现如下：
首先设置两个长度均为n的数据队列L1和L2，这里n可以根据数据的离散程度在5-15 内取值。队列L1用来存放最近的n个正常数据，队列L2用来存放连续的异常数据。初始时刻可以令数据队列L1中数据均为0，或将连续的n个原始数据装入L1，而将L2设为空的数据队列，并设定异常数据判别门限值T。
然后求数据队列L1中数据的均值【102】，并根具公式求出待判断别数据X(i)的跳跃幅度D(i)【103】，其中X(i+1)为X(i)后一时刻的矢量阵被动声呐测量数据，比较D(i)与T的大小【104】，若D(i)小于T则X(i)为正常值，可将数据队列L1中数据向后移动一个单元，把X(i)装入数据队列L1的首端，并清零连续异常值个数计数【105】。若D(i)大于T则X(i)为异常值，需将数据队列L2中数据向后移动一个单元，把X(i)装入数据队列L2首端，并对连续异常值个数计数加1，然后删除X(i)【106】。以上便完成了对异常值的判别与剔除的过程。
在异常值剔除过程中，通过检测连续异常值计数值是否等于n来检测异常值剔除过程是否发生异常【107】，若连续异常值达到n个，则需要通过进一步计算数据队列L2中数据的方差S来判断异常值剔除过程是否发生错误，当S小于T2/16时说明过程发生异常【108】，此时用数据队列L2中数据覆盖数据队列L1，并清零连续异常值计数器【109】。重复以上两个过程便可以实现对矢量阵被动声呐数据序列异常值的在线剔除。经实验验证，该算法在初始运行n步以后会收敛到稳定状态。
Claims (5)
1.一种矢量阵被动声呐异常数据在线剔除方法，其特征是包括如下步骤：
101：读取矢量阵被动声呐测量数据，将原始数据存入缓冲区；设置两个长度均为n的数据队列L1和L2，第一数据队列L1用来存放最近的n个正常数据，将L1中的n个数据位编号为t1…tn，则存放于L1的数据表示为X(t1)…X(tn)，第二数据队列L2用来存放连续的异常数据，并设定异常数据判别门限值T；
102：求第一数据队列L1中数据的均值
103：根据 公式求出待判断数据X(i)的跳跃幅度D(i)，其中X(i+1)为X(i)后一时刻的矢量阵被动声呐测量数据；
104：比较D(i)与T的大小，若D(i)小于T则X(i)为正常值，将第一数据队列L1中数据向后移动一个单元，把X(i)装入第一数据队列L1的首端，并执行步骤105；若D(i)大于T则执行步骤106；
105：清零连续异常值个数计数；
106：若D(i)大于T则X(i)为异常值，将第二数据队列L2中数据向后移动一个单元，把X(i)装入数据队列L2首端，并对连续异常值个数计数加1，然后删除X(i)；
107：通过检测连续异常值计数值是否等于n来检测异常值剔除过程是否发生异常；
108：若连续异常值达到n个，则通过进一步计算第二数据队列L2中数据的方差S来判断异常值剔除过程是否发生错误，当S小于T2/16时为发生异常，则执行步骤109；
109：用第二数据队列L2中数据覆盖第一数据队列L1，并清零连续异常值计数器；
重复上述步骤102至109，实现对矢量阵被动声呐数据序列异常值的在线剔除。
2.根据权利要求1所述的矢量阵被动声呐异常数据在线剔除方法，其特征是：n的取值范围为5-15。
3.根据权利要求1或2所述的矢量阵被动声呐异常数据在线剔除方法，其特征是：由数据队列L1中的n个数据X(t1)···X(tn)求算数平均得到的，其计算公式如下所示：
4.根据权利要求1或2所述的矢量阵被动声呐异常数据在线剔除方法，其特征是：方差S为异常值数据队列中n个数值X(i-n)…X(i-1)的方差，其计算公式如下所示：
5.根据权利要求3所述的矢量阵被动声呐异常数据在线剔除方法，其特征是：方差S为异常值数据队列中n个数值X(i-n)…X(i-1)的方差，其计算公式如下所示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610725421.XA CN106324583B (zh) | 2016-08-25 | 2016-08-25 | 一种矢量阵被动声呐异常数据在线剔除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610725421.XA CN106324583B (zh) | 2016-08-25 | 2016-08-25 | 一种矢量阵被动声呐异常数据在线剔除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106324583A CN106324583A (zh) | 2017-01-11 |
| CN106324583B true CN106324583B (zh) | 2018-10-26 |
Family
ID=57790812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610725421.XA Active CN106324583B (zh) | 2016-08-25 | 2016-08-25 | 一种矢量阵被动声呐异常数据在线剔除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106324583B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109116323A (zh) * | 2018-09-10 | 2019-01-01 | 四川九洲空管科技有限责任公司 | 基于多项式曲线拟合的iff系统虚警门限的优化方法及设备 |
| CN109489223A (zh) * | 2018-09-20 | 2019-03-19 | 珠海格力电器股份有限公司 | 数据处理方法、装置、设备和空调 |
| CN111220305B (zh) * | 2020-01-16 | 2021-09-07 | 山东爱拓软件开发有限公司 | 一种煤岩体应力增幅监测方法及系统 |
| CN113936415A (zh) * | 2021-10-18 | 2022-01-14 | 浙江维思无线网络技术有限公司 | 一种架空输电线监测智能报警方法 |
| CN117554966B (zh) * | 2024-01-12 | 2024-03-19 | 哈船通航(三亚)技术服务合伙企业(有限合伙) | 一种用于全水域精准定位的声呐数据智能处理方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7218894B2 (en) * | 2003-05-09 | 2007-05-15 | Texas Instruments Incorporated | Interferer detection and channel estimation for wireless communications networks |
| CN101813759B (zh) * | 2009-02-19 | 2012-05-23 | 中国科学院微电子研究所 | 对全球定位系统原始定位结果进行后续处理的方法 |
| CN101483501B (zh) * | 2009-02-20 | 2011-07-20 | 北京北方烽火科技有限公司 | 一种基于cinr自适应调整调制编码方式的方法 |
| US20130024159A1 (en) * | 2011-07-20 | 2013-01-24 | International Business Machines Corporation | Parallel outlier detection |
| CN102928830B (zh) * | 2012-10-22 | 2014-01-29 | 中国科学院西安光学精密机械研究所 | 激光高度计无效数据剔除方法 |
| CN104679834B (zh) * | 2015-02-06 | 2018-01-16 | 北京工商大学 | 一种时序数据清洗方法及系统 |
| CN105653129A (zh) * | 2015-12-29 | 2016-06-08 | 江苏飞尚安全监测咨询有限公司 | 一种基于经典算法的实时信号甄别和修正的方法 |
-
2016
- 2016-08-25 CN CN201610725421.XA patent/CN106324583B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106324583A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106324583B (zh) | 一种矢量阵被动声呐异常数据在线剔除方法 | |
| JP2013018482A5 (zh) | ||
| JP2012238882A5 (zh) | ||
| JP2016058010A5 (zh) | ||
| JP6637625B2 (ja) | 構造体の余寿命を推定する方法 | |
| CN114492629A (zh) | 异常检测方法、装置、电子设备及存储介质 | |
| CN105627978B (zh) | 一种雨季滑坡变形监测方法及系统 | |
| CN101769900A (zh) | 声发射储罐罐底腐蚀检测中声源的定位方法 | |
| CN109374953A (zh) | 一种基于电压有效值序列的电压暂降波形点检测方法 | |
| CN108712504A (zh) | 基于物联网的机床设备智能监控系统 | |
| CN108519171B (zh) | 一种仓储谷物粮情的判定方法 | |
| US11280771B2 (en) | Liquid chromatograph | |
| JP2020058277A5 (zh) | ||
| JP2018501613A5 (zh) | ||
| US10054620B2 (en) | Method and data processing arrangement for determining the frequency, amplitude and attenuation of at least one output oscillation in an electrical energy supply network | |
| CN111024753A (zh) | 复合绝缘子内部缺陷检测方法、装置、设备及存储介质 | |
| CN104268422A (zh) | 一种采用最近邻算法的超声波距离传感器阵列误差修正方法 | |
| CN101813494B (zh) | 消除传感器自身和外界干扰的方法 | |
| CN110866325B (zh) | 一种基于间接监测数据设备剩余寿命不完美维护预测方法 | |
| RU2584266C1 (ru) | Способ определения расстояния до места повреждения на линии электропередачи | |
| KR101511289B1 (ko) | 서셉터 온도 균일도 평가 방법, 장치 및 시스템 | |
| JP6365146B2 (ja) | 時系列データの解析方法及び時系列データの異常監視装置 | |
| CN105184198A (zh) | 检测保护方法及移动终端 | |
| KR20170123476A (ko) | 이기종 센서를 이용한 고 신뢰 센서 융합 장치 및 그 방법 | |
| JP6949679B2 (ja) | 処理装置、検査装置および処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |