CN108089938B - 异常数据处理方法及装置 - Google Patents
异常数据处理方法及装置 Download PDFInfo
- Publication number
- CN108089938B CN108089938B CN201810014200.0A CN201810014200A CN108089938B CN 108089938 B CN108089938 B CN 108089938B CN 201810014200 A CN201810014200 A CN 201810014200A CN 108089938 B CN108089938 B CN 108089938B
- Authority
- CN
- China
- Prior art keywords
- data
- change
- rate
- abnormal
- abnormal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 114
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
技术领域
本发明涉及自动检测技术领域,特别是涉及一种异常数据处理方法及装置。
背景技术
随着社会的发展,各种智能设备得到广泛发展和应用,例如扫地机器人、无人机以及用于智能制造中的各种自动化设备。为了实现智能设备的智能化,各种传感器必不可少。传感器获取的数据一方面作为智能控制的动作执行依据,另一方面也作为后续各种数据的获得基础,因此传感器数据的准确性十分重要。然而,由于环境等各方面因素的影响,传感器测得的数据不可避免地存在异常数据,这些异常数据不能真实地反应设备的工作情况,为了保证数据的真实性和科学性,有必要将异常数据剔除。由于测量数据的数据量巨大,因此采取人工方式发现异常数据不太现实。
发明内容
本发明的目的是提供一种快速、准确发现异常数据的异常数据处理方法及装置。
一种异常数据处理方法,其包括以下步骤:
将待处理数据分段;
计算各段数据的变化率ki;
通过本异常数据处理方法,可快速、准确地发现异常数据,保证数据的准确性。
在其中一实施例中,所述异常数据处理方法还包括步骤:将所述异常数据剔除。
其中一实施例中,所述异常数据处理方法还包括以下步骤:
重复所述将所述异常数据剔除的步骤、所述计算剔除所述异常数据后的剩余数据的新的数据变化率的算术平均值的步骤和所述设定所述数据变化率的正常阈值范围为:并据此判定各数据变化率是否在正常阈值范围内,判定出异常数据和可信数据的步骤,直到剔除相应异常数据后的所有剩余数据的变化率ki均在范围内。
其中一实施例中,所述各段数据的变化率采用以下公式计算:ki=(yi+1-yi)/(xi+1-xi);
一种异常数据处理装置,其包括:
数据划分模块;用于将待处理数据分段;
变化率计算模块,用于计算各段数据的变化率ki;
通过本异常数据处理装置,可快速、准确地发现异常数据,保证数据的准确性。
其中一实施例中,所述异常数据处理装置还包括:
第二异常数据剔除模块,用于剔除所述第二判定模块判定出的所述异常数据;
其中一实施例中,所述数据划分模块,用于将待处理数据分为n段;所述变化率计算模块用于利用公式ki=(yi+1-yi)/(xi+1-xi)计算各段数据的所述变化率ki;所述第一变化率算术平均值计算模块用于利用公式计算出各段数据的所述变化率的算术平均值所述第一判定模块用于判定所述变化率ki在范围内的数据段为可信数据,判定所述变化率ki大于或者小于的数据段为异常数据。
附图说明
图1为本发明一实施例的异常数据处理方法流程示意图;
图2为图1所示异常数据处理方法处理的传感器输出的数据信号图谱示意图和信号变化率示意图;
图3为本发明一实施例的异常数据处理装置的结构框图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术方式及功效,以下结合附图及实施例,对本发明的具体实施方式、结构、特征及其功效,详细说明如后。
本发明一实施例的异常数据处理方法处理的是一传感器输出的信号,该传感器的信号输出函数为y=f(x),对应地,传感器输出信号变化率为
Δy=f(Δx-x)-f(x)。
本实施例中,以传感器的信号输出函数为y=f(x)=kx+b为例对本发明的异常数据处理方法处理加以说明。
请参阅图1,本发明一实施例的异常数据处理方法包括以下步骤:
S10,将待处理数据分段,具体可分为n段;
S20,计算各段数据的变化率ki,ki=(yi+1-yi)/(xi+1-xi);
S40,设定数据变化率ki的正常阈值范围为:并据此判定各数据变化率ki是否在正常阈值范围内,判定出异常数据和可信数据,具体地,判定变化率ki在范围内的数据段为可信数据,判定变化率ki大于或者小于的数据段为异常数据。
本实施例中,异常数据处理方法还包括以下步骤:
S50,将异常数据剔除,具体地,被剔除的异常数据可为a段。
本实施例中,异常数据处理方法还包括以下步骤:
S70,设定新的数据变化率的正常阈值范围为:并据此判定各数据变化率是否在正常阈值范围内,判定出异常数据和可信数据,具体地,判定变化率ki在范围内的数据段为可信数据,判定变化率ki大于或者小于的数据段为异常数据;
可以理解,函数y=f(x)=kx+b可以是表征速度传感器输出的信号。图2所示为函数y=f(x)=kx+b速度传感器输出的信号以及对应数据变化率ki,其中x为时间t,y为速度v,对应数据变化率ki为加速度。图2中A到B段为正向加速段,B到C段为正向匀速段,C到D段为正向减速,D到E段为反向加速段,E到F段为反向匀速段,F到G段为反向减速段,在B到C段部分变化率ki大于此变化率对应数据段的数据属于异常数据。
通过本异常数据处理方法,可快速、准确地发现异常数据,保证数据的准确性。
如图3所示,本发明还提供一种异常数据处理装置,其包括:
数据划分模块10,用于将待处理数据分段,具体可分为n段;
变化率计算模块20,用于计算各段数据的变化率ki,ki=(yi+1-yi)/(xi+1-xi);
第一判定模块40,用于判定数据变化率是否在正常阈值范围内,从而判定出异常数据和可信数据。具体地,在算术平均值误差为±m范围内为数据变化率的正常阈值范围,判定变化率ki在范围内的数据段为可信数据,判定变化率ki大于或者小于的数据段为异常数据。
本实施例中,异常数据处理装置还包括:
第一异常数据剔除模块50,用于剔除异常数据,被剔除的异常数据可为a段。
本实施例中,异常数据处理装置还包括:
第二判定模块70,用于判定数据变化率ki是否在正常阈值范围内,并判定出异常数据和可信数据,具体地,设定在新的算术平均值误差为±m范围内为数据变化率的正常阈值范围,判定变化率ki在范围内的数据段为可信数据,判定变化率ki大于或者小于的数据段为异常数据。
本实施例中,异常数据处理装置还包括:第二异常数据剔除模块80,用于剔除第二判定模块70判定出的异常数据,具体地,用于剔除b段异常数据。
本实施例中,异常数据处理装置还包括:判断模块90,用于判断剔除相应异常数据后的所有剩余数据段的变化率ki是否均在正常阈值范围内,即均在新的变化率算术平均值误差为±m范围内,亦即范围,其中,第二变化率算术平均值计算模块60、第二判定模块70和第二异常数据剔除模块80可能要重复工作多次,为每次剔除新的异常数据后的剩余数据的最新的数据变化率算术平均值。
通过本异常数据处理方法,可快速、准确地发现异常数据,保证数据的准确性。
本以上仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (7)
2.如权利要求1所述的异常数据处理方法,其特征在于,所述异常数据处理方法还包括步骤:将所述异常数据剔除。
5.一种异常数据处理装置,其特征在于,其包括:
数据划分模块(10);用于将待处理数据分段;
变化率计算模块(20),用于计算各段数据的变化率ki;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810014200.0A CN108089938B (zh) | 2018-01-08 | 2018-01-08 | 异常数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810014200.0A CN108089938B (zh) | 2018-01-08 | 2018-01-08 | 异常数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108089938A CN108089938A (zh) | 2018-05-29 |
CN108089938B true CN108089938B (zh) | 2021-04-09 |
Family
ID=62182227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810014200.0A Active CN108089938B (zh) | 2018-01-08 | 2018-01-08 | 异常数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108089938B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109032913A (zh) * | 2018-08-20 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种设备稳定性检测方法及相关装置 |
CN109259743B (zh) * | 2018-11-06 | 2021-08-06 | 烟台汇通佳仁医疗科技有限公司 | 一种生命体征感知系统 |
CN111942973B (zh) * | 2019-05-16 | 2023-04-11 | 株式会社日立制作所 | 电梯控制装置、机器人故障预兆诊断系统及其方法 |
CN110146055A (zh) * | 2019-05-21 | 2019-08-20 | 深圳市道通智能航空技术有限公司 | 一种超声异常检测方法、装置及电子设备 |
CN110501759B (zh) * | 2019-07-03 | 2022-02-22 | 中国商用飞机有限责任公司 | 飞机的多源大气数据参数的处理方法及处理系统 |
CN110544379B (zh) * | 2019-09-10 | 2021-01-15 | 中交城乡建设规划设计研究院有限公司 | 一种基于云存储的车辆限高架非接触式预警系统及方法 |
CN113723559B (zh) * | 2021-09-08 | 2024-06-28 | 湖北天天数链技术有限公司 | 一种异常值检测方法、装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102457878A (zh) * | 2010-10-18 | 2012-05-16 | 中国移动通信集团四川有限公司 | 一种在关键业务预测中剔除异常数据的方法和装置 |
CN104459637A (zh) * | 2014-12-18 | 2015-03-25 | 湖南纳雷科技有限公司 | 微波对射雷达信号处理方法和系统 |
CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
CN107092654A (zh) * | 2017-03-20 | 2017-08-25 | 山东科技大学 | 基于均值变化检测的报警正常与异常数据检测方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2442803A1 (en) * | 2003-09-26 | 2005-03-26 | Ibm Canada Limited - Ibm Canada Limitee | Structure and method for managing workshares in a parallel region |
-
2018
- 2018-01-08 CN CN201810014200.0A patent/CN108089938B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102457878A (zh) * | 2010-10-18 | 2012-05-16 | 中国移动通信集团四川有限公司 | 一种在关键业务预测中剔除异常数据的方法和装置 |
CN104459637A (zh) * | 2014-12-18 | 2015-03-25 | 湖南纳雷科技有限公司 | 微波对射雷达信号处理方法和系统 |
CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
CN107092654A (zh) * | 2017-03-20 | 2017-08-25 | 山东科技大学 | 基于均值变化检测的报警正常与异常数据检测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108089938A (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108089938B (zh) | 异常数据处理方法及装置 | |
EP3196657B1 (en) | Speed estimation systems | |
EP1256487A3 (en) | System, method, and program for detecting approach to object | |
US12018854B2 (en) | Ventilation device, and constant air volume control method therefor | |
CN109115257B (zh) | 传感器特性曲线的修正方法、装置、设备及存储介质 | |
KR101522385B1 (ko) | 반도체 제조 공정에서의 이상 감지 방법, 장치 및 기록매체 | |
US11107237B2 (en) | Image foreground detection apparatus and method and electronic device | |
CN108180935B (zh) | 传感器的故障检测方法及装置 | |
KR20190081844A (ko) | 가상의 센서 데이터를 생성하는 방법 및 장치 | |
CN110398775B (zh) | 隧道突涌水灾害微震事件信号波动初至拾取方法及系统 | |
WO2019161768A1 (zh) | 异常流量检测 | |
CN108734218A (zh) | 一种多传感器系统的信息融合方法和装置 | |
CN109657329B (zh) | 基于改进自适应粒子滤波的传感器故障和结构损伤识别方法 | |
WO2019181491A1 (ja) | 物体認識装置 | |
JP2019082328A (ja) | 位置推定装置 | |
CN109870404B (zh) | 一种雨棚结构损伤识别方法、装置及终端设备 | |
CN112781556A (zh) | 一种基于多数据融合滤波的井盖异动监测方法和装置 | |
KR101615345B1 (ko) | 반도체 생산 공정에서 센서 데이터들을 이용하여 웨이퍼의 수율을 분석하는 방법 | |
CN109753982B (zh) | 障碍点检测方法、装置和计算机可读存储介质 | |
CN115510998A (zh) | 交易异常值检测方法及装置 | |
EP3665895A1 (en) | Data processing device, data analyzing device, data processing system and method for processing data | |
CN113204411A (zh) | 一种数据处理方法、中间处理设备及存储介质 | |
CN112978532B (zh) | 电梯状态的检测方法、装置及存储介质 | |
CN109655884B (zh) | 一种速度拾取异常点去除方法及系统 | |
JP2004020427A (ja) | ノイズ除去方法及びノイズ除去フィルタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |