CN110134676B - 一种传感器数据质量的监控方法 - Google Patents

一种传感器数据质量的监控方法 Download PDF

Info

Publication number
CN110134676B
CN110134676B CN201910474758.1A CN201910474758A CN110134676B CN 110134676 B CN110134676 B CN 110134676B CN 201910474758 A CN201910474758 A CN 201910474758A CN 110134676 B CN110134676 B CN 110134676B
Authority
CN
China
Prior art keywords
data
abnormal
monitoring
format
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910474758.1A
Other languages
English (en)
Other versions
CN110134676A (zh
Inventor
刘公绪
史凌峰
辛东金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910474758.1A priority Critical patent/CN110134676B/zh
Publication of CN110134676A publication Critical patent/CN110134676A/zh
Application granted granted Critical
Publication of CN110134676B publication Critical patent/CN110134676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries

Abstract

本发明公开了一种传感器数据质量的监控方法,包括:算法理论基础和条件假设、算法初始化、读取传感器数据和时戳、传感器数据异常格式的检测与隔离、传感器数据异常时序的检测与隔离、传感器数据异常格式和异常时序的恢复、传感器数据异常值的检测、隔离和恢复。通过对异常数据的分类和建模,并基于若干规则和双可变长度的数据监控窗口,对异常数据的检测,隔离和恢复进行一体化处理,并搭建相关测试平台和开展一系列实验验证所提出方法的有效性,与已有的传感器数据质量监控方法相比,所提出的方法鲁棒性强、通用性好,能够实现传感器数据质量的在线与可信监控,具有广泛的应用前景。

Description

一种传感器数据质量的监控方法
技术领域
本发明属于传感器数据质量监控技术领域,涉及一种传感器异常数据的检测、隔离和恢复一体化的方法。
背景技术
传感器是一种检测信号的装置,它可以感知物理信息,并按一定规律将其转换为电信号输出或其它形式的输出,以满足信息的处理、控制等要求,已广泛应用于工业自动化、农业现代化、航天技术、军事工程、机器人技术、资源开发、海洋探测、环境监测、安全保卫、医疗诊断、交通运输、家用电器等社会发展和人类生活的各个领域。
传感器数据是传感器系统的基石,数据异常行为会导致相关系统不能正常工作。传感器数据异常是指由误操作,通信故障或环境干扰等诸多因素导致的。当前主要有四种方法用于传感器数据质量监控:1)系统冗余方法,它可以通过构建多个冗余传感器系统来监控原始传感器系统的数据质量。这种方法的一个常见的例子是组合导航,它通过组合多个独立的导航系统,以获得更为可靠的数据,以及更精确的导航解。然而该方法的缺点是增加了硬件成本和计算复杂性。2)滤波方法,即设计相应的滤波器,根据传感器数据的时频特性消除异常数据。例如,时域中的异常值可以被视为一种尖峰并且可以被低通滤波器滤除;时域中的缓慢的偏移可以通过高通滤波器消除。简而言之,滤波方法很有吸引力,因为它们结合了噪声统计特性,并且在参数设计得当时会有不错的结果。然而该方法有以下缺点,一方面异常数据的频谱特性通常分布在整个频带中,难以在不降低数据质量的情况下设计全频带滤波器。此外,数据的噪声特性会受到一定程度的破坏。另一方面,由于时域和频域之间的转换,例如傅里叶变换和小波变换等,计算复杂度通常较高。3)深度学习方法,即通过数据挖掘,卷积神经网络等训练异常数据的特征并获得相应的数据质量监控模型。该方法可得到满意的结果,但需要训练大量异常数据来获取合适的模型。此外模型的可解释性差,难以扩展和移植。4)先验信息方法,即将多传感器数据之间的几何,物理,数学等约束信息作为先验信息,针对常见的数据异常行为,该方法是有效的;但先验信息往往是不完备的,导致该方法的可扩展性较差,不能监控由传感器复杂异常行为引起的数据异常。
综上,目前关于传感器数据质量监控的相关方法研究不足,已有的方法很难解决传感器数据质量监控的实时性、复杂性和可信性等问题。基于上述原因,本发明研究了一种传感器数据质量在线与可信监控方法,其中在线监控是建立在方法的低复杂性和高实时性基础上,而可信监控是对监控结果的准确性进行的评估;通过对异常数据的检测、隔离和恢复进行一体化处理,实现传感器数据的自检验、自校准和自诊断。
发明内容
本发明的主要目的在于提出鲁棒性强、通用性好的传感器数据质量在线与可信监控方法,有效解决背景技术中存在的实时性、复杂性和可信性问题,对传感器数据质量在线与可信监控和其广泛的应用给出了指导。
为实现上述目的,本发明所采用的技术方案为:一种传感器数据质量的监控方法,通过对数据异常的分类与建模、若干规则以及双可变长度的数据监控窗口的条件设定,进而对异常数据的检测,隔离和恢复进行一体化处理。
传感器数据为数字以及能传递信息或有物理意义或人为规定的其它符号。为方便计算机处理或算法实现,总可以通过编码的方式将正常的非数字数据转化为正常的数字数据,将异常的数据进行保留。下面所述的传感器数据是指正常数据为数字数据或编码后为数字数据,而异常数据不变。
首先介绍本发明的算法理论基础和条件假设。
数据异常的分类为将数据异常分为异常格式,异常时序和异常值。其中异常格式是指数据格式不是默认格式;异常时序是指数据丢失或不一致;异常值是指离群值,数据溢出,数据满量程等。
数据异常的建模为假设任意复杂的数据异常均可表示成异常格式,异常时序和异常值的叠加,因此依次对异常数据进行异常格式监控、异常时序监控和异常值监控,可实现对异常数据的监控。
若干规则包括传感器数据的不溢出量程规则、高输出频率下的数据渐进变化规则、多个连续数据不完全相等规则。
其中传感器数据的不溢出量程规则r1:通常传感器会有几个可选量程,人们在测量时会选择合适的量程。该量程确定传感器数据的格式以及值的上、下限。另外,数据范围与数据的输出频率和载体的运动状态有关。以陀螺仪为例:如果量程为±250°/s,且数据输出频率为100Hz,则两个相邻输出数据之间的差值在±2.5°范围内。对于场传感器,它具有低频特性,不能测量高频干扰信号。因此,可以设置适当阈值以消除高频异常数据。
其中高输出频率下的数据渐进变化规则r2:当数据的输出频率不小于100Hz时,两个相邻数据之间的输出间隔很小,并且可以根据先验信息设置阈值,来监控数据的抖动,尖峰或大面积异常现象。规则r2和规则r1之间的区别在于通常规则r1具有更大的阈值,可以监控明显异常的数据;规则r2具有较小的阈值,用于监控不太明显的异常值。
其中多个连续数据不完全相等规则r3:考虑到传感器原始数据包含各种噪声,多个连续数据完全相等是小概率事件。此规则适用于对监控结果进行可信评估或再恢复,以防止出现过度监控问题。过度监控问题是将一堆数据拉回到相同的值,它给出了过于乐观的结果,导致局部数据失真以及噪声损失。
双可变长度的数据监控窗口为在异常格式与异常时序的监控中嵌套一个可变长度的监控窗口,在异常值的监控中嵌套一个可变长度的监控窗口。
传感器数据质量的监控方法,包括如下步骤:
算法初始化;
读取传感器数据和时戳;
对传感器数据异常格式的检测与隔离;
对传感器数据异常时序的检测与隔离;
对传感器数据异常格式和异常时序的恢复;
对传感器数据异常值的检测、隔离和恢复。
进一步地,算法初始化是从若干规则、以及数据质量监控系统对实时性、复杂性与可信性的要求出发得到监控参数,监控参数包括初始监控窗口长度L1、最大监控窗口长度L2、窗口每次调整长度Num、监控阈值Th、前后数据绝对值Var、标志格式、标志格式初始个数Num1;标志格式为不同于正常数据的任意格式;并预先读取两个数据和相应的时戳。
进一步地,传感器数据质量的监控方法,具体包括以下步骤:
算法初始化;
读取传感器数据和时间戳;
若传感器数据被检测为异常格式,则将异常格式的数据转换为标志格式;若传感器数据格式正常,则进行数据异常时序的检测与隔离;根据传感器数据的时戳补充丢失的数据,用标志格式表示;
或者根据传感器数据的时戳补充丢失的数据,用标志格式表示,然后进行数据异常格式的检测与隔离;若传感器数据被检测为异常格式,则将异常格式的数据转换为标志格式;
若当前传感器数据不为标志格式,继续判断当前标志格式个数是否为零,为零则进行数据异常值的检测、隔离和恢复,否则利用插值方法,取标志格式两端数据的平均值并将其填充到标志格式中;若当前传感器数据为标志格式,则记录当前传感器数据与前面相邻标志格式的个数,直到出现第一个不为标志格式的数据,或者达到数据观测窗口的边界为止,若连续标志格式个数小于所允许的最大数据观测窗口,则跳过当前值,重回读取传感器数据和时戳的步骤,进行下一个数据的监控,否则,用标志格式左端的数据装填所有的标志格式并输出,重回算法初始化步骤;
首先计算时戳t与时戳t-1所对应数据差的绝对值Var,如果Var大于Th,则对时戳t,t-1和t-2的数据进行排序,取中间的值赋给data(t),这一过程为中值滤波,可形式化表示为data(t)=median(data(t-2:t)),其中median()表示中值滤波,对括号内的数据执行排序和取中值的操作,时戳中的冒号表示省略,即从冒号左端的时戳遍历到冒号右端的时戳,否则,输出data(t)返回读取传感器数据和时戳的步骤,开始下一个时戳的数据监控;然后判断是否满足多个连续数据不完全相等规则,即判断中值滤波后的数据与其周围的数据是否完全相等,不完全相等则满足此规则,否则不满足此规则,若满足此规则,则输出中值滤波后的数据,并返回读取传感器数据和时戳的步骤,开始下一个时戳的数据监控,否则动态增大监控窗口的长度,即监控长度L1=L1+Num,Num默认为2,表示每次调整,窗口的大小增加为2;最后判断新的监控窗口是否小于最大监控窗口,若是则执行对传感器数据异常格式的检测与隔离、对传感器数据异常时序的检测与隔离、对传感器数据异常格式和异常时序的恢复步骤,进行中值滤波data(t)=median(data(t-L1:t+L1))后,回到对传感器数据异常值的检测、隔离和恢复,若否,为了调节实时性与此规则的矛盾,暂时忽略此规则,即进行中值滤波data(t)=median(data(t-2:t)),输出data(t),返回算法初始化步骤,开始新窗口下的数据监控。
进一步地,监控为传感器数据质量的在线与可信监控,在线的含义为算法实现复杂度低,以及监控最大延时可控,可信的含义为监控结果可由双可变长度数据监控窗口进行检测、隔离和恢复,具有可信性。
本发明的有益效果是:本发明创新性地将异常数据分为异常格式,异常时序和异常值,将复杂的传感器异常数据质量监控问题转化为异常格式、异常时序和异常值的监控问题,有利于对异常数据进行检测、隔离和恢复一体化处理。通过算法理论基础和条件假设,从若干规则、以及数据质量监控系统对实时性、复杂性与可信性的要求出发得到监控参数,为后续流程的顺利执行和算法复位提供了保障;此外,创新性地提出双可变长度监控窗口方法,一个可变监控窗口监控数据的异常格式和异常时序,另一个可变窗口监控数据的异常值,避免了过渡监控问题,保证数据质量监控的可信性;本发明与已有的传感器数据质量监控方法相比,所提出的方法鲁棒性强、通用性好,能够实现传感器数据质量的在线与可信监控,具有广泛的应用前景,如在工业自动化、农业现代化、航天技术、军事工程、机器人技术、资源开发、海洋探测、环境监测、安全保卫、医疗诊断、交通运输、家用电器等社会发展和人类生活所需要的异质传感器数据的实时监控、海量传感器数据的同步/异步监控、多种异常模式下传感器数据的可信监控等等。
附图说明
图1为本发明设计流程图;
图2为本发明算法各步骤具体实现流程图;
图3为传感器异常格式和异常时序的数据监控示例;
图4为传感器异常值的数据监控示例;
图5为基于三轴加速度计、三轴磁力计和三轴陀螺仪搭建的测试平台;
图6为静态仿真实验结果;
图7为转台实验结果-传感器异常数据分布在变加速和匀加速阶段;
图8为转台实验结果-传感器异常数据分布在匀加速和变减速阶段;
图9为转台实验结果-传感器异常数据分布在变加速和变减速阶段;
图10为转台实验结果-传感器异常数据分布在变/匀加速和变减速阶段;
图11为数值仿真实验结果-五种方法的盒须图误差对比。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
本发明旨在提出一种传感器数据质量在线与可信监控方法,该方法基于若干规则和可变长度的数据监控窗口,对异常数据的检测,隔离和恢复进行一体化处理,实现传感器数据质量在线与可信监控。我们首先基于三轴加速度计、三轴磁力计和三轴陀螺仪搭建测试平台,通过静态实验,转台实验,来验证所提出方法的有效性;然后通过一系列数值仿真实验验证所提出方法的通用性,包括可移植性与可扩展性。所提出的方法可以很好的实现传感器数据的在线与可信监控,鲁棒性强、通用性好,具有较大的理论研究价值和工程实践意义。
实施例1
如图1所示,传感器数据质量在线与可信监控方法包括算法初始化、读取传感器数据和时戳、传感器数据异常格式的检测与隔离、传感器数据异常时序的检测与隔离、传感器数据异常格式和异常时序的恢复以及传感器数据异常值的检测、隔离与恢复。
实施例2
如图2所示,对上述6个步骤进行具体实现如下:
步骤1:
根据传感器系统的实时性要求、对计算复杂度的要求以及算法的理论基础和条件假设,确定初始监控窗口长度L1=3,最大监控窗口长度L2=50,窗口大小每次调整的长度为Num=1,监控阈值Th,前后数据绝对值Var,所要监控的数据对应的时戳是t,数据表示为data,标志格式为空格,空格初始个数Num1=0,并预先读取两个数据和相应的时戳。
步骤2:
读取的传感器数据和时戳作为算法的输入,传感器数据和时戳为data(t-2),data(t-1),data(t)。其中data(t)为需要监控的数据。data(t-2),data(t-1)表示预先读取的两个历史数据。
步骤3:
若传感器数据被检测为异常格式,检测方法有多种,如可以判断实际输出数据的ASCII码是否包含在默认数据格式下数据可能所属的ASCII码区间内,若否,则数据被判断为异常格式,然后将所有异常格式的数据转换为标志格式,如空格(假设空格不属于数据默认的输出格式)。若是则数据格式正常,进入步骤4,进行数据异常时序的检测与隔离。
步骤4:
根据数据的时戳(每个输出数据所对应的时间序列)补充丢失的数据,并仍用空格表示。至此,数据的异常格式和异常时序均被检测和隔离。
步骤5:
若当前值不为空格,继续判断当前空格数是否为零,为零则进入步骤中6,否则利用插值方法,取空格两端数据的平均值并将其填充到空格中;若当前值为空格,则记录当前值与前面相邻空格的个数,直到出现第一个不为空格的数据,或者达到数据观测窗口的边界为止。若连续空格个数小于所允许的最大数据观测窗口,则跳过当前值,重回步骤2,进行下一个数据的监控。否则,用空格左端的数据装填所有的空格并输出,重回步骤1。
步骤6:首先计算时戳t与时戳t-1所对应数据差的绝对值Var,如果Var大于Th,则对时戳t,t-1和t-2的数据进行排序,取中间的值赋给data(t),这一过程为中值滤波,可形式化表示为data(t)=median(data(t-2:t)),其中median()表示中值滤波,对括号内的数据执行排序和取中值的操作,时戳中的冒号表示省略,即从冒号左端的时间戳遍历到冒号右端的时戳。否则,输出data(t)返回步骤2,开始下一个时戳的数据监控。
然后判断是否满足规则r3,即判断中值滤波后的数据与其周围的数据是否完全相等(不完全相等则满足规则r3,否则不满足规则r3),若满足规则r3,则输出中值滤波后的数据,并返回步骤2,开始下一个时戳的数据监控。否则动态增大监控窗口的长度,即监控长度L1=L1+Num,Num默认为2,表示每次调整,窗口的大小增加为2。
最后判断新的监控窗口是否小于最大监控窗口,若是则执行步骤3~6,进行中值滤波data(t)=median(data(t-L1:t+L1))后,回到步骤6。若否,为了调节实时性与规则r3的矛盾,暂时忽略规则r3,即进行中值滤波data(t)=median(data(t-2:t)),输出data(t),返回步骤1,重新初始化算法,开始新窗口下的数据监控。
实施例3
如图3所示,传感器异常格式和异常时序的数据监控示例,step1是将所有异常格式转换为空格,并根据数据时戳补充丢失的数据,其时间戳单位取决于数据的输出频率;step2是通过充分利用空格周围的数据将适当的数据填充到这些空格中。这里是利用插值方法取空格两端的数据的平均值并将其填充到空格。
实施例4
如图4所示,传感器异常值的数据监控示例,对以下三种情况进行演示,即case 1,case2,case 3。在算法初始化中,Th=2,L2=MD=50,在case 1中,如果当前数据是正常的,则对该数据不作任何处理,然后监控下一个数据。在case 2中,当前数据是异常的,则通过中值滤波恢复当前数据,并且结果满足启发式规则r3。在case 3中,当前数据是异常的,并且结果不满足规则r3。在这种情况下,它分为两种情况,即case 3.1和case 3.2。在case3.1中,可以通过增加监控窗口的长度来恢复当前数据;在case 3.2中,监视窗口已经达到最大长度并且没有可靠的值来恢复当前数据。此时,暂时忽略规则r3。值得注意的是,我们可以将监控窗口设置得非常大,以便我们始终可以找到一个值来修复当前数据。但它可能会增加计算复杂性并降低实时性。用来恢复的数据可能与被恢复的数据在时间上差距较大,其相关性降低,恢复数据的可信性值得怀疑。因此明智的方法是对实时性、计算复杂性和可信性协同设计和综合考虑,以较小的计算量,较短的延时,找到可信的数据,对异常数据进行恢复。因此需要谨慎地根据实际需求对所用到的参数在算法初始化中进行赋值。
实施例5
如图5所示,表示测试平台的原理示意图。以STM32为主控制芯片,与晶振和外围电路一起构成最小系统,电源管理芯片可以提供测试平台的转换,分配,检测和其他电源管理。主控芯片STM32用来控制三轴加速度计、三轴速率陀螺仪和三轴磁力计的数据采集、传输以及通过串口与PC(主机)的通信。
实施例6
如图6所示,我们基于图5所搭建的物理平台,进行了长达9000多秒的静态实验验证,其中ax、ay、az和wx、wy、wz以及mx、my、mz分别表示加速度计的x轴、y轴、z轴数据,单位米/秒2;陀螺仪的x轴、y轴、z轴数据,单位度/秒以及磁力计的的x轴、y轴、z轴数据,单位高斯。左边三幅子图给出各传感器包含异常数据的结果,右边三幅子图给出了使用本发明所提出的方法处理后的结果。结果表明,针对加速度计和陀螺仪中的异常数据(大小离群值),所提出的方法很好地进行检测、隔离与恢复,而磁力计不包含异常数据,所提出的方法没有监测到异常,则原样输出。
实施例7
如图7~10所示,我们进行了转台实验,各传感器数据物理意义同图6。我们通过对测试平台的数据传输接口进行人为的松动,导致在进行转台实验(先变加速运动,再匀加速运动,最后变减速运动)时,各传感器的各轴数据发生不同程度的数据异常现象,包括异常格式(乱码)、异常时序(数据丢包)和异常值(离群值),因为乱码和数据丢包不便直观显示,我们只给出了对异常值的处理结果。其中图7的数据异常主要分布在变加速和匀加速阶段;图8异常数据分布在匀加速和变减速阶段;图9传感器异常数据分布在变加速和变减速阶段;图10传感器异常数据分布在变/匀加速和变减速阶段。测试结果表明,利用本发明的方法可以很好的对异常数据进行监控。
实施例8
如图11所示,我们进行数值仿真实验,随机生成几十万组测试数据,并人工加入各种异常数据,对比测试了5种方法,得出误差盒须图。盒须图(box-whisker plot)是利用数据中的五个特征值—最小值、第一四分位点、中值、第三四分位点、最大值来描述误差分布,利于对几种方法的比较。这里方法1为系统冗余方法,方法2为滤波方法,方法3位深度学习方法,方法4先验信息方法,方法5为所提出的方法。测试结果表明,相比于其他方法所提出的方法误差分布密集,误差最小,可信性最高。
本发明专利申请为中央高校基本科研业务费专项资金资助和西安电子科技大学研究生创新基金资助。
本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种传感器数据质量的监控方法,其特征在于,通过对数据异常的分类与建模、若干规则以及双可变长度的数据监控窗口的条件设定,进而对异常数据的检测,隔离和恢复进行一体化处理;
所述数据异常的分类为将数据异常分为异常格式,异常时序和异常值;
所述数据异常的建模为任意复杂的数据异常均可表示成异常格式,异常时序和异常值的叠加,可对异常数据进行异常格式、异常时序和异常值进行监控,实现对异常数据的监控;
若干所述规则包括传感器数据的不溢出量程规则、高输出频率下的数据渐进变化规则、多个连续数据不完全相等规则;
所述双可变长度的数据监控窗口为在异常格式与异常时序的监控中嵌套一个可变长度的监控窗口,在异常值的监控中嵌套一个可变长度的监控窗口;
包括如下步骤:
算法初始化;
读取传感器数据和时戳;
对传感器数据异常格式的检测与隔离;
对传感器数据异常时序的检测与隔离;
对传感器数据异常格式和异常时序的恢复;
对传感器数据异常值的检测、隔离和恢复。
2.根据权利要求1所述的传感器数据质量的监控方法,其特征在于,所述传感器数据包括数字以及能传递信息或有物理意义或人为规定的其它符号。
3.根据权利要求1所述的传感器数据质量的监控方法,其特征在于,所述算法初始化是从所述规则以及数据质量监控系统对实时性、复杂性与可信性的要求出发得到监控参数,所述监控参数包括初始监控窗口长度、最大监控窗口长度、窗口每次调整长度、监控阈值、前后数据绝对值、标志格式、标志格式初始个数;所述标志格式为不同于正常数据的任意格式;并预先读取两个数据和相应的时戳。
4.根据权利要求1所述的传感器数据质量的监控方法,其特征在于,具体包括以下步骤:
算法初始化;
读取传感器数据和时戳;
若传感器数据被检测为异常格式,则将异常格式的数据转换为标志格式;若传感器数据格式正常,则进行数据异常时序的检测与隔离;根据传感器数据的时戳补充丢失的数据,用标志格式表示;
或者根据传感器数据的时戳补充丢失的数据,用标志格式表示,然后进行数据异常格式的检测与隔离;若传感器数据被检测为异常格式,则将异常格式的数据转换为标志格式;
若当前传感器数据不为标志格式,继续判断当前标志格式个数是否为零,为零则进行数据异常值的检测、隔离和恢复,否则利用插值方法,取标志格式两端数据的平均值并将其填充到标志格式中;若当前传感器数据为标志格式,则记录当前传感器数据与前面相邻标志格式的个数,直到出现第一个不为标志格式的数据,或者达到数据观测窗口的边界为止,若连续标志格式个数小于所允许的最大数据观测窗口,则跳过当前值,重回读取传感器数据和时戳的步骤,进行下一个数据的监控,否则,用标志格式左端的数据装填所有的标志格式并输出,重回算法初始化步骤;
首先计算时戳t与时戳t-1所对应数据差的绝对值Var,如果Var大于监控阈值Th,则对时戳t,t-1和t-2的数据进行排序,取中间的值赋给data(t),这一过程为中值滤波,可形式化表示为data(t)=median(data(t-2:t)),其中median()表示中值滤波,对括号内的数据执行排序和取中值的操作,时戳中的冒号表示省略,即从冒号左端的时戳遍历到冒号右端的时戳,否则,输出data(t)返回读取传感器数据和时戳的步骤,开始下一个时戳的数据监控;然后判断是否满足多个连续数据不完全相等规则,即判断中值滤波后的数据与其周围的数据是否完全相等,不完全相等则满足此规则,否则不满足此规则,若满足此规则,则输出中值滤波后的数据,并返回读取传感器数据和时戳的步骤,开始下一个时戳的数据监控,否则动态增大监控窗口的长度,即监控长度L1=L1+Num,Num默认为2,表示每次调整,窗口的大小增加为2;最后判断新的监控窗口是否小于最大监控窗口,若是则执行对传感器数据异常格式的检测与隔离、对传感器数据异常时序的检测与隔离、对传感器数据异常格式和异常时序的恢复步骤,进行中值滤波data(t)=median(data(t-L1:t+L1))后,回到对传感器数据异常值的检测、隔离和恢复,若否,为了调节实时性与此规则的矛盾,暂时忽略此规则,即进行中值滤波data(t)=median(data(t-2:t)),输出data(t),返回算法初始化步骤,开始新窗口下的数据监控。
5.根据权利要求1所述的传感器数据质量的监控方法,其特征在于,所述监控为传感器数据质量的在线与可信监控,所述在线的含义为算法实现复杂度低,以及监控最大延时可控,所述可信的含义为监控结果可由双可变长度数据监控窗口进行检测、隔离和恢复,具有可信性。
CN201910474758.1A 2019-06-03 2019-06-03 一种传感器数据质量的监控方法 Active CN110134676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910474758.1A CN110134676B (zh) 2019-06-03 2019-06-03 一种传感器数据质量的监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910474758.1A CN110134676B (zh) 2019-06-03 2019-06-03 一种传感器数据质量的监控方法

Publications (2)

Publication Number Publication Date
CN110134676A CN110134676A (zh) 2019-08-16
CN110134676B true CN110134676B (zh) 2021-01-29

Family

ID=67579684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910474758.1A Active CN110134676B (zh) 2019-06-03 2019-06-03 一种传感器数据质量的监控方法

Country Status (1)

Country Link
CN (1) CN110134676B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208806B (zh) * 2020-03-03 2021-05-25 浙江中控技术股份有限公司 一种仪表设备信号故障的处理方法及装置
CN115184556B (zh) * 2022-07-13 2023-04-21 蔡文斯 空气质量数据的异常值监测方法、系统及报警终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1144434A (zh) * 1994-07-29 1997-03-05 Dva公司 视频解压缩方法和装置
CN103873825A (zh) * 2014-02-28 2014-06-18 北京航科威视光电信息技术有限公司 一种atm智能监控系统及方法
CN104502759A (zh) * 2014-12-19 2015-04-08 国家电网公司 配网开关柜智能监测系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1760779A (zh) * 2005-11-10 2006-04-19 上海交通大学 基于微处理器及gsm/gprs的空气压缩机远程监测系统
CN101763053B (zh) * 2008-12-26 2012-05-02 中海网络科技股份有限公司 一种移动式桥梁安全检测分析管理系统
CN101908065B (zh) * 2010-07-27 2012-05-23 浙江大学 一种支持动态更新的在线属性异常点检测方法
US9019880B2 (en) * 2011-08-11 2015-04-28 Qualcomm Incorporated Methods and apparatus for overload mitigation using uplink transmit power backoff
CN102393666B (zh) * 2011-09-21 2013-05-01 哈尔滨工业大学 一种探测器嵌入式自主故障监测与异常数据记录装置
US9495018B2 (en) * 2011-11-01 2016-11-15 Qualcomm Incorporated System and method for improving orientation data
US20140094965A1 (en) * 2012-10-01 2014-04-03 Silverbrook Research Pty Ltd Method of dispensing a product item
CN103338451B (zh) * 2013-06-24 2016-11-09 西安电子科技大学 一种无线传感器网络中分布式的恶意节点检测方法
CN204376540U (zh) * 2015-02-10 2015-06-03 国家电网公司 基于变电站运行状态的遥控监测装置
CN106960278A (zh) * 2017-03-08 2017-07-18 无锡工艺职业技术学院 一种基于互联网即时通讯服务的巡检养护方法
CN109120632A (zh) * 2018-09-04 2019-01-01 中国人民解放军陆军工程大学 基于在线特征选择的网络流异常检测方法
CN109684320B (zh) * 2018-12-25 2020-09-15 清华大学 监测数据在线清洗的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1144434A (zh) * 1994-07-29 1997-03-05 Dva公司 视频解压缩方法和装置
CN103873825A (zh) * 2014-02-28 2014-06-18 北京航科威视光电信息技术有限公司 一种atm智能监控系统及方法
CN104502759A (zh) * 2014-12-19 2015-04-08 国家电网公司 配网开关柜智能监测系统

Also Published As

Publication number Publication date
CN110134676A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
Khan et al. Unsupervised anomaly detection in unmanned aerial vehicles
CN107657250B (zh) 轴承故障检测及定位方法及检测定位模型实现系统和方法
US10926888B2 (en) Methods and systems for identifying associated events in an aircraft
CN110018670A (zh) 一种基于动态关联规则挖掘的工业过程异常工况预测方法
De Loza et al. Sensor fault diagnosis using a non‐homogeneous high‐order sliding mode observer with application to a transport aircraft
Lefebvre et al. Stochastic Petri net identification for the fault detection and isolation of discrete event systems
CN110134676B (zh) 一种传感器数据质量的监控方法
CN104166787A (zh) 一种基于多阶段信息融合的航空发动机剩余寿命预测方法
CN113670337B (zh) 一种用于gnss/ins组合导航卫星缓变故障检测方法
CN108664603A (zh) 一种修复时序数据的异常聚合值的方法及装置
Gebraeel et al. Prognostics and remaining useful life prediction of machinery: advances, opportunities and challenges
EP3201845A1 (en) Vibration signatures for prognostics and health monitoring of machinery
Kannan et al. Nominal features-based class specific learning model for fault diagnosis in industrial applications
US20170286841A1 (en) Monitoring device and monitoring method thereof, monitoring system, and recording medium in which computer program is stored
CN103364024B (zh) 基于经验模态分解的传感器故障诊断方法
Yusupova et al. Cyber-physical systems and reliability issues
CN116992376A (zh) 用于检测电网中的异常的装置、系统和方法
Gao et al. Graph-based change detection for condition monitoring of industrial machinery: an enhanced framework for non-stationary condition signals
Zhang et al. Application of an improved adaptive chaos prediction model in aero-engine performance parameters
CN112487363A (zh) 一种基于mmd分析的卫星遥测一致性检测方法及系统
Gross et al. AI decision support prognostics for IOT asset health monitoring, failure prediction, time to failure
Maleki et al. A one-class clustering technique for novelty detection and isolation in sensor networks
Saidi et al. Wind turbine drivetrain prognosis approach based on Kalman smoother with confidence bounds
CN116341129B (zh) 风电机组主导运行动态数字孪生模型的模拟方法及装置
Toothman et al. An Adaptive, State-Based Framework for Fault Prediction in Rotating Equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant