CN106792799B - 一种基于贝叶斯网络的移动传感器网络降噪和校准方法 - Google Patents

一种基于贝叶斯网络的移动传感器网络降噪和校准方法 Download PDF

Info

Publication number
CN106792799B
CN106792799B CN201611068921.7A CN201611068921A CN106792799B CN 106792799 B CN106792799 B CN 106792799B CN 201611068921 A CN201611068921 A CN 201611068921A CN 106792799 B CN106792799 B CN 106792799B
Authority
CN
China
Prior art keywords
sensor
bayesian network
network
data
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611068921.7A
Other languages
English (en)
Other versions
CN106792799A (zh
Inventor
翔云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deqing Hao Hao Electronic Technology Co Ltd
Original Assignee
Deqing Hao Hao Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deqing Hao Hao Electronic Technology Co Ltd filed Critical Deqing Hao Hao Electronic Technology Co Ltd
Priority to CN201611068921.7A priority Critical patent/CN106792799B/zh
Publication of CN106792799A publication Critical patent/CN106792799A/zh
Application granted granted Critical
Publication of CN106792799B publication Critical patent/CN106792799B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明提供一种基于贝叶斯网络的移动传感器网络降噪和校准方法，先将数据集分成训练集和验证集，接着对数据预处理(去噪、平滑等)，同时训练贝叶斯网络，将产生的估计真实值通过贝叶斯网络处理，然后通过校验算法校验传感器。本发明解决了传感器数据漂移和功能校准的问题，同时通过不同类型传感器的相关性来检测和纠正异常值。实验对比表明，该发明能使网络中的系统误差有很大程度的降低，传感器的数据恢复速率也有很大程度的提高。

Description

一种基于贝叶斯网络的移动传感器网络降噪和校准方法
技术领域
本发明涉及到移动传感器网络等领域，是一种基于贝叶斯网络的移动传感器网络降噪和校准方法。
背景技术
移动传感器网络是目前IT领域中的研究热点之一，其中实时感知、实时监控各种环境中的对象信息有着广泛的市场需求。传统传感器监控系统存在一些问题，例如传感器的数据漂移等。传感器的漂移会使传感器的许多功能受到影响，导致误差呈指数级的增长；传感器的功能校准和数据校准，如若对漂移后的传感器不做及时处理，会对整个传感器网络的监测造成噪声和干扰；传感器网络中的异常值检测和纠正，对异常值的正确处理能保障整个传感器网络的数据精度更准确。
目前对传感器存在的不足有一些常用的解决方案。例如对于传感器漂移，常用的解决方案是硬件上和软件上的改进来减弱漂移误差；对于传感器去噪，小波变换、BP神经网络等算法能有效的估算漂移并进行补偿，较好的解决去噪问题；对于异常值检测，基于聚类的异常值检测、基于时空关联性的异常值检测、时间序列算法能综合考虑数据间的时空关联性和网络分布特征，从而良好的检测和剔除异常值。这些算法有各自优点，但这些解决方式没有很好考虑到传感器网络内的不同类型传感器之间的关联性。因此针对这个不足，本发明提出了一种有效的改进方法来解决问题。
发明内容
本发明提供一种基于贝叶斯网络的移动传感器网络降噪和校准方法，解决了传感器数据漂移和功能校准的问题，同时通过不同类型传感器的相关性来检测和纠正异常值。实验对比表明，该发明能使网络中的系统误差有很大程度的降低，传感器的数据恢复速率也有很大程度的提高。
本发明主要通过对传感器中的随机以及系统噪声的综合考量，在没有准确参照值的前提下，解决传感器噪声问题。
其中随机噪声是指监测数据在采集，传输的过程中，由于受到环境，仪器，网络，以及人为等因素干扰，会导致随机性的数据失真及异常。这些噪声一般遵守高斯分布，并且在时间跟空间分布上有自相关性。
而系统噪声则是指受到传感器表面物化反应，电气老化，参数漂移等因素作用，随着使用时间推移，传感器敏感度逐渐退化，使数据产生暂时或永久性的偏置的现象。其所造成的失真及异常即定义为系统噪声。与随机噪声相比，系统噪声对数据的影响有全局性，方向性等特点。因此，基于时空局部相关的随机噪声解决方案无法适用于系统噪声。现有解决方案存在参照系稀缺，多元数据融合等诸多问题。
值得注意的是传感器故障可以视为系统噪声的一个特例，因此针对系统噪声的解决方案一般也可应用于传感器网络的故障诊断及处理。而本发明主要解决的是，在没有参照系的前提下，对被观测物理量的最优估计以及对传感器方程的校准。
本发明主要采用一种基于贝叶斯网络的移动传感器网络降噪和校准方法，具体包括以下步骤：
步骤1：将数据集分成训练集与验证集，其中训练集用A表示，验证集用B表示。其中训练集A是根据定义的特征(包括温度，湿度，不同污染物浓度等)，通过随机挑选整个数据集中80％的数据所组成的集合。通过最大似然法，其主要用于估计贝叶斯网络条件概率表中参数的值。而验证集B由剩余的20％数据组成，主要用于评估通过训练获得的贝叶斯网络的有效性跟可靠性；
步骤2：根据传感器网络的结构，构建相应的贝叶斯网络。贝叶斯网络由节点跟连线组成，其中每个节点对应于一个具体的传感器。而本发明的一个创新之处在于，对于每个传感器节点，我们给其增加一个虚拟节点，以表示噪声带来的不确定性。所有有相关性的节点之间都通过无向的连接线相连。并使用训练集A进行训练：其主要通过最大似然性等算法，对验证集B中所有特征数据进行处理，从而获得每个节点上的条件概率表的值；
步骤3：由于我们现在获得的传感器读数跟所测物理量的真实值之间存在噪声引起的差异。因此，我们将多个相关联的传感器读数作为数据，输入贝叶斯网络。从而通过训练过的贝叶斯网络获得估计真实值G，估计真实值是贝叶斯网络通过对已有多个关联传感器观测值的分析，所推断出来的最接近真实污染物浓度的一个估计值，该估计值可以用于最小化传感器的误差；
步骤4：使用估计真实值G，以及传感器读数R对传感器方程F进行非线性校准。其中传感器读数是指从传感器上直接读取的被观测物状态，可以是温度，湿度，电压，电阻等等；而传感器方程是指从被观测到的传感器读数转换到估计真实值的方程。而这一方程会随着传感器的老化而变化，因此需要经常性进行校准；
步骤5：使用验证集B对校准后的贝叶斯网络进行验证。
步骤4中G为估计真实值，F为传感器方程。步骤4中传感器方程进行非线性校准的计算公式为：Log(R)＝a*log(G)+b；
其中a，b为调节参数。调节参数是由经验确定的由传感器读数到估计真实值之间的转换系数，一般由传感器生产厂商提供并假设在使用过程中不会产生变化。而本发明的关键在于通过对多个传感器读数的观测以及处理，动态地调节此参数。
附图说明
图1本发明的步骤流程图。
图2本发明的基于贝叶斯网络的校准算法流程图。
具体实施方式
下面结合说明书附图对本发明的技术方案作进一步说明：
如图1～2所示，本发明提供一种基于贝叶斯网络的移动传感器网络降噪和校准方法的具体实施例，具体包括以下步骤：
步骤1：将数据集分成训练集与验证集，其中训练集用A表示，验证集用B表示。其中训练集A是根据定义的特征(包括温度，湿度，不同污染物浓度等)，通过随机挑选整个数据集中80％的数据所组成的集合。通过最大似然法，其主要用于估计贝叶斯网络条件概率表中参数的值。而验证集B由剩余的20％数据组成，主要用于评估通过训练获得的贝叶斯网络的有效性跟可靠性；
步骤2：根据传感器网络的结构，构建相应的贝叶斯网络。贝叶斯网络由节点跟连线组成，其中每个节点对应于一个具体的传感器。而本发明的一个创新之处在于，对于每个传感器节点，我们给其增加一个虚拟节点，以表示噪声带来的不确定性。所有有相关性的节点之间都通过无向的连接线相连。并使用训练集A进行训练：其主要通过最大似然性等算法，对验证集B中所有特征数据进行处理，从而获得每个节点上的条件概率表的值；
步骤3：由于我们现在获得的传感器读数跟所测物理量的真实值之间存在噪声引起的差异。因此，我们将多个相关联的传感器读数作为数据，输入贝叶斯网络。从而通过训练过的贝叶斯网络获得估计真实值G，估计真实值是贝叶斯网络通过对已有多个关联传感器观测值的分析，所推断出来的最接近真实污染物浓度的一个估计值，该估计值可以用于最小化传感器的误差；
步骤4：使用估计真实值G，以及传感器读数R对传感器方程F进行非线性校准。其中传感器读数是指从传感器上直接读取的被观测物状态，可以是温度，湿度，电压，电阻等等；而传感器方程是指从被观测到的传感器读数转换到估计真实值的方程。而这一方程会随着传感器的老化而变化，因此需要经常性进行校准；
步骤5：使用验证集B对校准后的贝叶斯网络进行验证。
步骤4中G为估计真实值，F为传感器方程。步骤4中传感器方程进行非线性校准的计算公式为：Log(R)＝a*log(G)+b；
其中a，b为调节参数。调节参数是由经验确定的由传感器读数到估计真实值之间的转换系数，一般由传感器生产厂商提供并假设在使用过程中不会产生变化。而本发明的关键在于通过对多个传感器读数的观测以及处理，动态地调节此参数。
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (2)

1.一种基于贝叶斯网络的移动传感器网络降噪和校准方法，其特征在于，包括以下步骤：
步骤(1)：将数据集分成训练集与验证集，其中训练集用A表示，验证集用B表示；训练集A是根据定义的特征，包括温度、湿度、不同污染物浓度，通过随机挑选整个数据集中80％的数据所组成的集合，用于通过最大似然法估计贝叶斯网络条件概率表中参数的值；
而验证集B由剩余的20％数据组成，用于评估通过训练获得的贝叶斯网络的有效性跟可靠性；
步骤(2)：根据传感器网络的结构，构建相应的贝叶斯网络；贝叶斯网络由节点跟连线组成，其中每个节点对应于一个具体的传感器；对于每个传感器节点，增加一个虚拟节点，以表示噪声带来的不确定性；所有有相关性的节点之间都通过无向的连接线相连；并使用训练集A进行训练：即通过最大似然法，对验证集B中所有特征数据进行处理，从而获得每个节点上的条件概率表中参数的值；
步骤(3)：将多个相关联的传感器读数作为数据，输入贝叶斯网络；从而通过训练过的贝叶斯网络获得估计真实值G，估计真实值G是贝叶斯网络通过对已有多个关联传感器观测值的分析，所推断出来的最接近真实污染物浓度的一个估计值，该估计值可以用于最小化传感器的误差；
步骤(4)：使用估计真实值G，以及传感器读数R对传感器方程F进行非线性校准；其中
传感器读数是指从传感器上直接读取的被观测物状态，包括温度、湿度、电压值和电阻值；而传感器方程是指从被观测到的传感器读数转换到估计真实值的方程；而这一方程会随着传感器的老化而变化，需要经常性进行校准；
步骤(5)：使用验证集B对校准后的贝叶斯网络以及传感器方程进行验证。
2.根据权利要求1所述的一种基于贝叶斯网络的移动传感器网络降噪和校准方法，所述步骤(4)中传感器方程的计算公式为：
Log(R)＝a*log(G)+b，
其中：a、b为调节参数；调节参数是由经验确定的由传感器读数到估计真实值之间的转换系数。
CN201611068921.7A 2016-11-29 2016-11-29 一种基于贝叶斯网络的移动传感器网络降噪和校准方法 Expired - Fee Related CN106792799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611068921.7A CN106792799B (zh) 2016-11-29 2016-11-29 一种基于贝叶斯网络的移动传感器网络降噪和校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611068921.7A CN106792799B (zh) 2016-11-29 2016-11-29 一种基于贝叶斯网络的移动传感器网络降噪和校准方法

Publications (2)

Publication Number Publication Date
CN106792799A CN106792799A (zh) 2017-05-31
CN106792799B true CN106792799B (zh) 2020-01-14

Family

ID=58904150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611068921.7A Expired - Fee Related CN106792799B (zh) 2016-11-29 2016-11-29 一种基于贝叶斯网络的移动传感器网络降噪和校准方法

Country Status (1)

Country Link
CN (1) CN106792799B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109343952B (zh) * 2018-08-22 2020-11-27 东软集团股份有限公司 贝叶斯网络确定方法、装置、存储介质和电子设备
CN111884874B (zh) * 2020-07-15 2022-02-01 中国舰船研究设计中心 一种基于可编程数据平面的舰船网络实时异常检测方法
CN115457756B (zh) * 2021-06-09 2024-07-19 中移系统集成有限公司 传感器校准的方法及装置
CN115508511B (zh) * 2022-09-19 2023-05-26 中节能天融科技有限公司 基于网格化设备全参数特征分析的传感器自适应校准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917297A (zh) * 2010-08-30 2010-12-15 烽火通信科技股份有限公司 基于贝叶斯网络的核心网故障诊断方法及系统
CN104865956A (zh) * 2015-03-27 2015-08-26 重庆大学 一种基于贝叶斯网络的复杂系统中传感器故障诊断方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917297A (zh) * 2010-08-30 2010-12-15 烽火通信科技股份有限公司 基于贝叶斯网络的核心网故障诊断方法及系统
CN104865956A (zh) * 2015-03-27 2015-08-26 重庆大学 一种基于贝叶斯网络的复杂系统中传感器故障诊断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hanen Ahmadi,et al..Comparative study of learning-based localization algorithms for Wireless Sensor Networks: Support Vector regression, Neural Network and Naïve Bayes.《2015 International Wireless Communications and Mobile Computing Conference (IWCMC)》.2015, *
基于贝叶斯和层次模型的传感器网络节点故障预测研究;何永强，等;《河南工程学院学报（自然科学版）》;20151231;63-66 *

Also Published As

Publication number Publication date
CN106792799A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106792799B (zh) 一种基于贝叶斯网络的移动传感器网络降噪和校准方法
US20210262981A1 (en) Sensing Systems and Methods for the Estimation of Analyte Concentration
CN105409241B (zh) 麦克风校准
CN102111312B (zh) 基于多尺度主成分分析的网络异常检测方法
CN107332691B (zh) 一种无线传感器网络故障节点检测方法
Kumar et al. Automatic sensor drift detection and correction using spatial kriging and kalman filtering
CN103916896B (zh) 基于多维Epanechnikov核密度估计的异常检测方法
Chan et al. Robust recursive eigendecomposition and subspace-based algorithms with application to fault detection in wireless sensor networks
WO2012128913A2 (en) Degrading sensor detection implemented within a transmitter
JP6729577B2 (ja) 信号検知装置、信号検知方法およびプログラム
JP2010525306A (ja) センサネットワークの較正
CN104794839A (zh) 一种基于potdr光纤入侵识别算法
CN117668684A (zh) 基于大数据分析的电网电能数据异常检测方法
Zhang et al. Cooperative sensor anomaly detection using global information
Ukil et al. Adaptive Sensor Data Compression in IoT systems: Sensor data analytics based approach
JP6909413B2 (ja) 因果関係学習方法、プログラム、装置および異常分析システム
CN116842410B (zh) 一种基于动态感知的智能头盔防盗管理方法以及系统
Poliarus et al. Identification of a nonlinear inertial measuring pressure channel
CN115099280A (zh) 一种Prony迭代分析方法、计算设备、存储介质和电网系统
Wang et al. Moments based blind calibration in mobile sensor networks
Singh et al. Effect of autocorrelation on the performance of EWMA chart
CN118312906B (zh) 一种矿用光纤测温方法及装置
JP2016003975A (ja) 信号処理装置、信号処理方法及びプログラム
CN108959186B (zh) 磁偶极子探测方法、系统及设备
Wang et al. Calibrating nonlinear mobile sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200114

Termination date: 20201129

CF01 Termination of patent right due to non-payment of annual fee