CN116541663B - 一种基于卡尔曼滤波提高双套站传感器数据质量的方法 - Google Patents

一种基于卡尔曼滤波提高双套站传感器数据质量的方法 Download PDF

Info

Publication number
CN116541663B
CN116541663B CN202310735935.3A CN202310735935A CN116541663B CN 116541663 B CN116541663 B CN 116541663B CN 202310735935 A CN202310735935 A CN 202310735935A CN 116541663 B CN116541663 B CN 116541663B
Authority
CN
China
Prior art keywords
data
value
station
sensor
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310735935.3A
Other languages
English (en)
Other versions
CN116541663A (zh
Inventor
宋美蓉
贾正松
李国�
谢伟
梁高丽
雷浩
关浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Hua Microelectronics Technology Co ltd
Sichuan Information Technology College
Original Assignee
Chengdu Hua Microelectronics Technology Co ltd
Sichuan Information Technology College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Hua Microelectronics Technology Co ltd, Sichuan Information Technology College filed Critical Chengdu Hua Microelectronics Technology Co ltd
Priority to CN202310735935.3A priority Critical patent/CN116541663B/zh
Publication of CN116541663A publication Critical patent/CN116541663A/zh
Application granted granted Critical
Publication of CN116541663B publication Critical patent/CN116541663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明公开了一种基于卡尔曼滤波提高双套站传感器数据质量的方法，包括数据准备、通用数据质量控制、建立数据预测模型、数据融合四个步骤，本发明可以在不需要增加硬件设施的基础上将双套站传感器数据由两组变为四组，将这四组数据通过数据融合算法进行融合，择优选取能够达到数据质量最高标准的一组数据作为真值，实验结果证明，该方法以变相提高传感器冗余的方式能够有效的提高传感器数据质量，对基于双套站提高数据质量的研究工作具有非常重要的意义。

Description

一种基于卡尔曼滤波提高双套站传感器数据质量的方法
技术领域
本发明涉及双套站传感器数据质量领域，尤其是一种基于卡尔曼滤波提高双套站传感器数据质量的方法。
背景技术
双套站，即采用双套设备采集数据的站点，其应用目的是为了保障数据的可靠性、稳定性与可用性，应用领域十分广泛，其原理是通过构建两套相同传感器系统来提高原始数据质量，众所周知，通过提升传感器的数量可以从很多方面提升传感器数据质量，但是增加的设备冗余越多其硬件成本与计算复杂度就会越高，因此既要降低成本又要在很大程度上为数据质量保驾护航，就需要在双套站的应用基础上，继续研究数据质量提升的方法。根据调研发现，当前双套站的应用模式主要是一个作为基准站另一个则为备用站，在基准站数据出现问题的时候才使用备用站的数据，这种模式虽然大体解决了如数据缺失、严重失真等问题，同时在不增加数据处理的重复度的基础上大大提高数据质量，但是仍存在些许不足，主要体现在：1）主站出现故障才启用备用站的数据，备用站的数据利用率不高；2）在现实运行中主站的数据判断并不智能且很多时候得不到真实的反馈，固这时候备用站的数据起不到提升数据质量的作用；3）基于双套设备数据，可使用的数据整合算法单一，数据质量提升算法得不到提高。
发明内容
本发明的发明目的在于：提供一种基于卡尔曼滤波提高双套站传感器数据质量的方法，通过卡尔曼滤波，创新双套站数据融合算法，解决双套站数据利用率不高、双套站传感器数据质量提升效果不充分、算法单一、数据错误识别不智能、数据质量稳定度与容错能力不高等问题。
为了解决上述问题，本申请提出了一种基于卡尔曼滤波提高双套站传感器数据质量的方法，本方法采用的技术方案如下：包括数据准备、通用数据质量控制、建立数据预测模型、数据融合四个步骤，具体为：
S1：数据准备：各站点通过上位机软件定时向采集器发送命令获取传感器数据，然后对采集器端传上来的数据进行解析，以此获取传感器测量数据值。
S2：通用数据质量控制：对所述数据准备所获取到的传感器测量数据值进行数据质量控制。
S3：建立数据预测模型：对每个站点同类元素建立数据模型，然后结合实际修改卡尔曼滤波方程，综合建立数据预测模型，经过数据训练得到当前时刻元素的预测值。
S4：数据融合：双套站数据分别依次经过所述数据准备、所述数据质量控制、所述数据预测模型过后所得到的四套数据（A站实测值，A站预测值、B站实测值、B站预测值），根据改进的数据融合算法进行数据融合。
可供选择的，所述S1中，各站点通过上位机软件定时向采集器发送命令通过串口或Zigbee等无线网络获取传感器数据，把采集器发送过来的数据进行处理，或按数据字典进行截取，并将当前传感器各数据值进行存储。
可供选择的，所述S2中，对所述数据准备所获取到的传感器测量数据值进行格式一致性、时间一致性、极值检测等数据质量控制，排除错误与粗差大的值、标记缺测值。
可供选择的，所述S3中，通过对某元素建立数据模型，然后结合元素特点改进卡尔曼滤波方程组，两者相结合，再依据每个站点分别获取依据S1数据准备与S2通用数据质量控制后的分钟数据作为数据建模与卡尔曼滤波方程训练数据源，每个传感器数据经此预测模型获得预测数据值。
可供选择的，所述对某元素建立数据模型为：
当前要素系统描述：
其中代表当前时间当前要素实际值，/>代表上一时刻当前要素实际值，系数A为观测的状态转移矩阵，/>为外部作用（比如蒸发、日照海拔等），T表示温度，为上时刻测量过程误差。
测量值建立模型：
基中代表当前时刻要素的测量值，/>为测量仪器自身误差，H为一系数矩阵。
可供选择的，所述结合元素特点改进卡尔曼滤波方程组为：
上式中为基于上一个温度值的不确定估计，/>为当前时刻确定的估计值，/>为误差协方差估计值，/>为误差协方差，/>为当前时刻测试值，K为卡尔曼增益，Ｑ为测量过程中误差的方差值，Ｒ为测量仪器自身误差方差。
可供选择的，所述数据模型与卡尔曼滤波方程结合后，再依据每个站点分别获取依据所述S1数据准备与S2通用数据质量控制后，取该元素二个小时分钟数据即至少120条数据作为数据预测模型训练数据源，每个传感器数据经此预测模型可获得预测数据值，此时可以获得当前设备的预测值与观测值，双套站就可以分别获得两套设备的预测值与观测值共四组数据。
可供选择的，所述S4数据融合的具体步骤为：
A1、计算两站点实测值与预测值差：
(z=1,2）
其中X代表某传感器元素，z代表不同站点，表示某站点某元素实测值，/>表示某站点某元素实测值，/>表示某站点某元素实测值与预测值的差。
A2、标记怀疑值，数据融合预处理，根据传感器精度确定误差范围Range（i，j），此处定义传感器两两之间的允许误差范围为Range（i，j），i与j表示不同的两个传感器，Range（i，j）下文称为标定域值：
其中Acc为传感器精度，也可近似等价于测量误差，Ti与Tj表示传感器所处温度。
A3、计算某元素两两传感器数据值之差，进行数据融合：
Dij=|Xi-Xj|,其中i与j均可取1、2、3、4，X1与X2表示如前所述A站传感器实测值与预测值，X3与X4表示表示如前所述B站中传感器实测值与预测值，然后根据Dij的值与上述步骤Range(i,j)进行比较，进一步确定传感器数据值，再根据结果分类进行数据融合。
进一步，所述步骤A1中与所述步骤A2中标定域Range(i,j)进行比较，进行数据预处理步骤为：
B1、判定ΔXz与Range(i,j)关系，如果ΔXz>Range(i,j),此时将Z站的数据标记为怀疑值，并对怀疑值进行连续计数NZ加1，并直接进入下一步B2，如果ΔXz≤Range(i,j),则Z站数据作为正常值，直接进入所述步骤A3，求Dij。
B2、判定NZ值，如果NZ=1则与上一步B1步骤中将Z站数据值作为正常值处理相同,直接进入所述步骤A3，求Dij，如果不为1，则进入下一步B3。
B3、判定NZ的值是否在区间[2,5]既（5≥NZ≥2），如果某一个站点数据值被怀疑连续次数超过5次，即NZ>5,则需要判断另一个站点连续计数N值是否大于5，反之另一种情况如果某一个站点数据值被怀疑连续次数区间[2,5]次即（5≥NZ≥2），也需要做进一步判断是两个站都出现问题还是只有一个站出现问题。
进一步的，所述步骤B3对两种情况还需要做进一步处理的步骤为：
情况一：如果NA>5,继续判断是否NB>5步骤为：
C1、如果NB>5,则继续对此元素值进行相关要素、空间一致性等判断，如果判断没有问题，则直接进入所述步骤A3，求Dij；如果判断有此元素数据值有问题，则证明两站数据都出现问题，此时可以进入报警环节请求人工干预；
C2、如果NB≤5,则证明A站数据值出现问题，此时XA=XB。
其中NA表示A站数据存疑连续次数，NB表示B站数据存疑连续次数，XA表示A站数据元素值，XB表示B站数据元素值，其中情况一如果是以B站进行判断，则将如上C1与C2步骤中A与B的顺序互换。
情况二：如果5≥NA≥2，继续判断是否5≥NB≥2步骤为：
D1、如果5≥NB≥2，则直接进入所述步骤A3，求Dij。
D2、如果条件5≥NB≥2不成立，，即/>然后再进入所述步骤A3，求Dij
其中，Z代表A站或者B站,X表示某传感器元素值，XA代表A站某传感器元素值，NA表示A站数据存疑连续次数，NB表示B站数据存疑连续次数，K代表卡尔曼增益，代表某站某元素预测值，如XAp代表A站某元素预测值，M代表此时刻前M条数据，i为变量，其值从1开始到M。
可供选择的，所述步骤A3计算某元素两两传感器数据值之差，进行数据融合，其按情况分为：
E1、如果Dij≤Range（i，j）此时把传感器实测值与预测值都作为真实值，取其加权平均值为此站元素值：，其中p与q是两个任意数，但必须满足：p+q=2，其值可以根据经验值进行调节。
E2、当D12、D13、D14、D23、D24、D34任意一个大于标定域值，A站或B站数据存疑，此时要进一步分情况进行数据融合。
E3、如果Dij≥Range（i，j），则此时融合数据值X标为缺测。
其中X1，X2为A站实测值与预测值，X3，X4为B站实测值与预测值，Dij表示第i个传感器数据与第j个传感器数据之间的误差，如D12表示X1与X2之差。
进一步的，在E2情况下，当D12、D13、D14、D23、D24、D34任意一个大于标定域值，A站或B站数据存疑，此时要进一步分情况进行数据融合，其分类情况为：
F1、当D12大于等于D34，初步认为A站数据存疑，则通常情况下D13，D14，D23，D24也会出现问题，即超出标定域值，此时融合数据值按如下公式计算
虽然A站观测值出现问题，但是预测值在一定范围可以起到稳定作用，所以此时如果D23，D24小于标定域值，则认为模拟站点即预测值有效，所以此时融合数据经上式获得；如果D23，D24大于标定域值，则认为预测值偏差太大与属于失效状态，没有起到稳定性作用，此时A站的传感器数据值存疑确定次数加1，当前A站传感器弃用，所以此时融合数据由/>获得。
F2、当D34大于D12，初步认为B站出现问题，则通常情况下D13，D14，D23，D24也会出现问题，即超出标定域值，此时融合数据X按如下公式计算
虽然B站观测值出现问题，但是预测值在一定范围可以起到稳定作用，所以此时如果D24，D14小于标定域值，则认为模拟站点即预测值有效，所以此时融合数据X可经上式获得；如果D24，D14大于标定域值，则认为预测值偏差太大与属于失效状态，没有起到稳定性作用，此时B站的传感器数据值存疑确定次数加1，当前B站传感器数据弃用，所以此时融合数据X经上式/>获得。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明通过对两个站点不分主次获取数据，然后进行一系列通用数据质量控制，再通过预测数据模型获取预测值，此时两套站点的两套数据就会变为四套数据，最后将双套站数据通过数据融合算法，将四套数据融合为一套可用性强、稳定度高的一组数据供后续业务使用，经实验证明从稳定性、准确性，可靠性等方面提升了双套站数据的质量。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的整体流程示意图。
图2是本发明的数据预处理流程示意图。
图3是实验结果说明的每分钟温度与融合后温度示意图。
图4是各温度误差示意图。
图5是实验结果说明的融合温度容错示意图。
图6是实验结果说明的融合方法排错示意图。
具体实施方式
本方法就以双套站中的温度传感器为例，下面结合附图，对本发明作详细的说明。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
一种基于卡尔曼滤波提高双套站传感器数据质量的方法，如图1所示，包括数据准备、通用数据质量控制、建立数据预测模型、数据融合四个步骤，具体为：
S1：数据准备：各站点通过上位机软件定时向采集器发送命令获取传感器数据，然后对采集器端传上来的数据进行解析，以此获取传感器测量数据值。
S2：通用数据质量控制：对所述数据准备所获取到的传感器测量数据值进行数据质量控制。
S3：建立数据预测模型：对每个站点同类元素建立数据模型，然后结合实际修改卡尔曼滤波方程，综合建立数据预测模型，经过数据训练得到当前时刻元素的预测值。
S4：数据融合：双套站数据分别依次经过所述数据准备、所述数据质量控制、所述数据预测模型过后所得到的四套数据（A站实测值，A站预测值、B站实测值、B站预测值），根据改进的数据融合算法进行数据融合。
本发明可以在不需要增加硬件设施的基础上将双套站传感器数据由两组变为四组，将这四组数据通过数据融合算法进行融合，择优选取能够达到数据质量最高标准的一组数据作为真值，实验结果证明，该方法以变相提高传感器冗余的方式能够有效的提高传感器数据质量，对基于双套站提高数据质量的研究工作具有非常重要的意义。
数据质量的提升研究工作主要集中在数据统计规律、算法本地适用性、数据迁移、数据融合算法等方面，其研究方法包括范围检查、极值检查、公式检查、统计学检查、内部一致性、空间一致性等，在算法上面研究颇多的是空间一致性，而且可用于研究的方法很多，如正常比率法、最佳内插法等等，双套站数据质量研究方法最能够突破的点在数据融合方面，其主要使用方法有加权平均、选举决策法、卡尔曼滤波法、数据统计法、神经网络、D—S等，每种方法都有其优缺点，但是传感器数据质量提升本就是一个全域全过程，一种方法解决一种问题也可能会带来另一种问题。
由于双套站其原理是通过构建两套相同传感器系统来提高原始数据质量，其传感器数据之间存在高度相关关系，代表同一系统的多个传感器之间的信息会有冗余，可以互相补充。这时，卡尔曼滤波可以利用传感器之间的相关关系，来融合数据，从而得到更加准确的状态估计。具体来说，卡尔曼滤波算法利用系统状态空间方程模型和传感器观测方程，对各个传感器的观测数据进行权值调整，通过动态更新系统状态估计值，最终得到更加准确的状态估计值。在卡尔曼滤波算法中，相关性信息可以通过协方差矩阵来体现。协方差矩阵描述了不同传感器之间的相关性，可以在估计系统状态时，作为权值矩阵来权衡不同传感器的观测数据。如果两个传感器之间的协方差越大，则它们之间的相关性越高，权值也就越大；反之，协方差越小，相关性越低，权值也就越小。在这种情况下，系统状态的估计更加准确。
相比之下，其他数据融合方法可能无法直接利用相关性信息，或者需要进行复杂的处理方法。例如，加权平均法和选举决策法通常是根据传感器之间距离或准确性等直觉指标来确定权重，而无法考虑到它们之间的相关性。数据统计法需要较大的数据量，才能得到精确的分布模型，而神经网络和D-S证据论证方法等需要大量的训练和计算资源，并且对于多传感器相关性信息的处理也相对较为困难。
请参阅图1，以上四个步骤，在实际应用中，以温度传感器为例，首先进行数据准备，从采集器或者分钟数据文件中读取温度数据，每套站点独自收集数据，然后在单站内进行如格式一致性、时间一致性、极值检测等容易实现的通用数据质量控制，排除错误与粗差大的值、标记缺测值。为了建立基于卡尔曼滤波的数据预测模型，获取当前时刻之前的二个小时的分钟数据作为数据建模资源，每个传感器数据经此预测模型形成两套数据，即A站的预测数据TAP与实测数据TA，B站的预测数据TBP与实测数据TB，双套站则可以形成四组温度数据，最后将双套站这四组温度数据通过数据融合算法，形成一套可用性强、稳定度高的一组数据供后续业务使用。
作为另一具体的实施方式，所述S1中，各站点通过上位机软件定时向采集器发送命令通过串口或Zigbee等无线网络获取温度传感器数据，把采集器发送过来的温度数据读取存储，或是按数据字典进行截取处理，并将当前温度传感器数据值进行存储。
作为另一具体的实施方式，所述S2中，对所述数据准备所获取到的温度传感器数据值进行格式一致性、时间一致性、极值检测等数据质量控制，排除错误与粗差大的值、标记缺测值。
作为另一具体的实施方式，所述S3中，通过对某元素建立数据模型，然后结合元素特点改进卡尔曼滤波方程组，两者相结合，再依据每个站点分别获取依据S1数据准备与S2通用数据质量控制后的分钟数据作为数据建模与卡尔曼滤波方程训练数据源，每个传感器数据经此预测模型获得预测数据值。
作为另一具体的实施方式，所述对某元素建立数据模型为：
当前要素系统描述：
其中代表当前时间当前要素实际值，/>代表上一时刻当前要素实际值，系数A为观测的状态转移矩阵，/>为外部作用（比如蒸发、日照海拔等），T表示温度,为上时刻测量过程误差。
测量值建立模型：
基中代表当前时刻要素的测量值，/>为测量仪器自身误差，H为一系数矩阵，因为温度值预测的状态变量是一维的，因此A=1，T=1，H=1，/>为零，则上述两公式转换为：
系统描述：
测量值：
作为另一具体的实施方式，所述结合元素特点改进卡尔曼滤波方程组为：
上式中为基于上一个温度值的不确定估计，/>为当前时刻确定的估计值，/>为误差协方差估计值，/>为误差协方差，/>为当前时刻测试值，K为卡尔曼增益，Ｑ为测量过程中误差的方差值，Ｒ为测量仪器自身误差方差，在实际应用中使用误差为正负0.1℃温度传感器,因此R=0.01,设定Q=0.01即更相信测量值一些。
作为另一具体的实施方式，所述数据模型与卡尔曼滤波方程结合后，再依据每个站点分别获取依据所述S1数据准备与S2通用数据质量控制后，取该元素二个小时分钟数据即至少120条数据作为数据预测模型训练数据源，利用120条数据进行卡尔曼滤波，调节超参数，获取当前可信温度预测值，每个传感器数据经此预测模型可获得预测数据值，此时可以获得当前设备的预测值与观测值，双套站就可以分别获得两套设备的预测值与观测值共四组数据，即A站预测值、A站观测值、B站预测值、B站观测值。
请参阅图2，所述数据融合，在实际温度数据融合的具体步骤为：
A1、计算两站点温度实测值与预测值差：
（z=A,B）可描述为/>；/>
其中与/>表示A站的温度预测值与实测值，/>为A站预测与实测温度差，同理/>与/>表示B站的温度预测值与实测值，/>为B站预测与实测温度差。
A2、标记怀疑值，数据融合预处理，根据传感器精度确定误差范围Range（i，j），此处定义传感器两两之间的允许误差范围为Range（i，j），i与j表示不同的两个传感器，Range（i，j）下文称为标定域值：
其中Acc为传感器精度，也可近似等价于测量误差，Ti与Tj表示传感器所处温度。在本实例中温度传感器精度通常为±0.2℃或±0.1℃，因此Acc可取0.2,则标定域值为：
请参阅图2，所述步骤A1中与所述步骤A2中标定域Rang(i,j)进行比较，进行数据预处理步骤为：
B1、判定ΔXz与Range(i,j)关系，如果ΔXz>Range(i,j),此时将Z站的数据标记为怀疑值，并对怀疑值进行连续计数NZ加1，并直接进入下一步B2，如果ΔXz≤Range(i,j),则Z站数据作为正常值，直接进入所述步骤A3，求Dij。在实际应用中，如温度传感器，这一步主要是分别将ΔTA、ΔTB与所述A2中标定域值进行对比，如果连续ΔTA>Range(i,j),则NA加1（如果连续ΔTB>Range(i,j),则NB加1），如果ΔTA、ΔTB≤Range(i,j),则认为是正常范围，直接进入所述步骤A3，求温度两两差值。
B2、判定NZ值，如果NZ=1则与上一步B1步骤中将Z站数据值作为正常值处理相同,直接进入所述步骤A3，求温度两两差值Dij，如果不为1，则进入下一步B3。在实际应用中，请参阅图2，如果NA=1或者NB=1，则与B1步骤中把温度传感器标为正常值处理方式一样，直接下入到所述步骤A3，求温度两两差值；但是如果不是1，那么根据步骤过来就是大于2，在本步骤中，NZ值其实是设定的一个监控门值，可以根据实际情况动态调整，本实施例中以连续5次作为门值，超过5次则认定此传温度传感器数据有误，某站了现故障，因此如果NZ不等于1，则需要进入到下一步B3。
B3、判定NZ的值是否在区间[2,5]既（5≥NZ≥2），如果某一个站点数据值被怀疑连续次数超过5次，即NZ>5,则需要判断另一个站点连续计数N值是否大于5，反之另一种情况如果某一个站点数据值被怀疑连续次数区间[2,5]次即（5≥NZ≥2），也需要做进一步判断是两个站都出现问题还是只有一个站出现问题。在本实施例中，请参阅图2，判断条件5≥NA≥2（5≥NB≥2）是否成立分为了两种情况，一种是NA>5(NB>5)；另一种是5≥NA≥2（5≥NB≥2），然后根据这两种情况做进一步处理，进入到下一步
请参阅图2，所述步骤B3对两种情况还需要做进一步处理的步骤为：
情况一：如果NA>5（NB>5）,继续判断是否NB>5（NA>5）步骤为：
C1、如果NB>5（NA>5）,则继续对此温度数据进行相关要素、空间一致性等判断，如果判断没有问题，则直接进入所述步骤A3，求温度两两差值Dij；如果判断有此元素数据值有问题，则证明两站数据都出现问题，此时可以进入报警环节请求人工干预；
C2、如果NB≤5（NA≤5）,则证明A（B）站数据值出现问题，此时XA=XB（XB=XA）。
其中NA表示A站数据存疑连续次数，NB表示B站数据存疑连续次数，TA表示A站温度，TB表示B站温度，条件背后的括号，如NA>5（NB>5），括号前面表示以A站数据判断，括号里面表示以B站为例经过上面所有步骤。
情况二：如果5≥NA≥2（5≥NB≥2），继续判断是否5≥NB≥2（5≥NA≥2）步骤为：
D1、如果5≥NB≥2（5≥NA≥2），则直接进入所述步骤A3，求温度两两差值Dij。
D2、如果条件5≥NB≥2（5≥NA≥2）不成立，，即（/>）然后再进入所述步骤A3，求温度两两差值Dij。
其中，Z代表A站或者B站,X表示某传感器元素值，代表某站某元素预测值，NA表示A站数据存疑连续次数，NB表示B站数据存疑连续次数，K代表卡尔曼增益，/>代表A站温度预测值，/>代表B站温度预测值，M代表此时刻前M条数据，此M也可以根据实际情况动态指定，条件背后的括号，括号前面表示以A站为例判断，括号里面表示以B站为例所需要判断的条件。
A3、计算某元素两两传感器数据值之差，进行数据融合：
Dij=|Xi-Xj|,其中i与j均可取1、2、3、4，X1与X2表示如前所述A站传感器实测值与预测值，X3与X4表示表示如前所述B站中传感器实测值与预测值，然后根据Dij的值与上述步骤Rang(i,j)进行比较，进一步确定传感器数据值，再根据结果分类进行数据融合。在本实施例中，本步骤相当于求D12=|T1-T2|，D13=|T1-T3|，D14=|T1-T4|，D23=|T2-T3|，D24=|T2-T4|，D34=|T3-T4|,两两温度差值，然后再将这两两温度差值，与步骤A1中标定域值进行进行比较，分情况进行数据融合处理，其中T1，T2为A站温度实测值与预测值，T3，T4为B站温度实测值与预测值，Dij表示第i个传感器与第j个传感器之间的误差，比如T1与T2之间的误用D12表示。
请参阅图1，所述步骤A3计算某元素两两传感器数据值之差，进行数据融合，其按情况进行数据融合分为：
E1、如果Dij≤Range（i，j）此时把传感器实测值与预测值都作为真实值，取其加权平均值为此站温度值：，其中p与q是两随机数表示权重，但需要满足：p+q=2，其值可以根据经验值进行调节。
E2、当D12、D13、D14、D23、D24、D34任意一个大于标定域值，A站或B站数据存疑，此时要进一步分情况进行数据融合。
E3、如果Dij≥Range（i，j），则此时融合温度T标为缺测。
在如上所述步骤E2情况下，当D12、D13、D14、D23、D24、D34任意一个大于标定域值，A站或B站数据存疑，此时要进一步分情况进行数据融合，其分类情况为：
F1、当D12大于等于D34，初步认为A站数据存疑，则通常情况下D13，D14，D23，D24也会出现问题，即超出标定域值，此时融合温度值按如下公式计算
虽然A站观测值出现问题，但是预测值在一定范围可以起到稳定作用，所以此时如果D23，D24小于标定域值，则认为模拟站点即预测值有效，所以此时融合数据经上式获得；如果D23，D24大于标定域值，则认为预测值偏差太大与属于失效状态，没有起到稳定性作用，此时A站的温度传感器数据值存疑确定次数加1，当前A站温度弃用，所以此时融合数据由/>获得。
F2、当D34大于D12，初步认为B站出现问题，则通常情况下D13，D14，D23，D24也会出现问题，即超出标定域值，此时融合温度按如下公式计算
虽然B站观测值出现问题，但是预测值在一定范围可以起到稳定作用，所以此时如果D24，D14小于标定域值，则认为模拟站点即预测值有效，所以此时融合温度T可经上式获得；如果D24，D14大于标定域值，则认为预测值偏差太大与属于失效状态，没有起到稳定性作用，此时B站的温度传感器数据值存疑确定次数加1，当前B站温度弃用，所以此时融合温度T经上式/>获得。
实验结果说明
根据实验设计，该方法需要两套设备上相同传感器在相同时刻所采集的数据，因为本文验证没有实时性要求，所以验证数据来源于北京某双套站5月份历史数据，获取某时刻之前两个小时数据通过预测模型进行预测，基于python的Matplotlib绘图，将分别对该方法的稳定性、准确性，可靠性进行分析。
稳定度分析：
请参阅图3，根据数据流方向，A站与B站的温度数据先进行简单质控，然后经预测模型得到预测数据，最后再根据本文数据融合算法将温度值进行融合形成一套温度数据，首先A站与B站的观测值与预测值图形如图3所示，在传感器数据正常的情况下，预测值与观测值走向趋势相同且稳定，两者之间偏差也不大，都在有效围之内，且预测值更平稳。
准确度分析：
请参阅图4，取两个小时的A站数据与B站数据，经过本文中预测模型与数据整合算法，从图4中可以看出，在使用了本文中的算法后，融合后温度数据与其它温度误差相比，范围更小，意味着精准度更高，可见在某种程度上，本文中算法有益于提高双套站数据精准度。
可靠性分析：
请参阅图5，图6，为验证本方法的容错性，将A站数据与B站数据不连续修改两个值，如图5所示，A站数据在原来基础上下调，B站数据在原来的基础上上调，最终合成的温度如图5所示，融合后的温度依然很稳定很平滑，通过图6也可以看出，本融合算法的排错能力，当B站如果出现不稳定情况或是其它外界的影响，比如将B站数据从第100分钟开始连续6分钟将原始数据上调，融合温度此时会智能判断A站数据趋于正常值，但是当双站连续数据失误超过5次以上，比如将从第20分钟开始将A站与B站温度从原始值连续下调6次，此时融合温度会出现波动，这时就断定两站数据有误，会报警或请求人工等操作。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (4)

1.一种基于卡尔曼滤波提高双套站传感器数据质量的方法，其特征在于：包括数据准备、通用数据质量控制、建立数据预测模型、数据融合四个步骤，具体为：
S1：数据准备：各站点通过上位机软件定时向采集器发送命令获取传感器数据，然后对采集器端传上来的数据进行解析，以此获取传感器测量数据值；
S2：通用数据质量控制：对所述数据准备所获取到的传感器测量数据值进行数据质量控制；
S3：建立数据预测模型：通过对某元素建立数据模型，然后结合元素特点改进卡尔曼滤波方程组，两者相结合，再依据每个站点分别获取依据S1数据准备与S2通用数据质量控制后的分钟数据作为数据建模与卡尔曼滤波方程训练数据源，每个传感器数据经此预测模型获得预测数据值；
其中，对某元素建立数据模型为：
当前要素系统描述：X(k)=AX(k-1)+BU(k)+TW(k-1）
其中X(k)代表当前时间当前要素实际值，X(k-1)代表上一时刻当前要素实际值，系数A为观测的状态转移矩阵，BU(k)为外部作用，T表示温度，W(k-1)为上一时刻测量过程误差；
测量值建立模型：Z(k)=H*X(k)+V(k)
基中Z(k)代表当前时刻要素的测量值，V(k)为测量仪器自身误差，H为一系数矩阵；
所述结合元素特点改进卡尔曼滤波方程组为：
上式中为基于上一个温度值的不确定估计，/>为当前时刻确定的估计值，为误差协方差估计值，/>为上一时刻的误差协方差，/>为当前时刻测试值，K为卡尔曼增益，Ｑ为测量过程中误差的方差值，Ｒ为测量仪器自身误差方差；
S4：数据融合：双套站数据分别依次经过所述数据准备、所述数据质量控制、所述数据预测模型过后所得到的A站实测值，A站预测值、B站实测值、B站预测值四套数据，根据改进的数据融合算法进行数据融合，具体步骤为：
A1、计算两站点实测值与预测值差：
，z=1,2
其中X代表某传感器元素，z代表不同站点，Xz表示某站点某元素实测值，表示某站点某元素预测值，ΔXz表示某站点某元素实测值与预测值的差；
A2、标记怀疑值，数据融合预处理，根据传感器精度确定误差范围Range（i，j），此处定义传感器两两之间的允许误差范围为Range（i，j），i与j表示不同的两个传感器，Range（i，j）下文称为标定域值：
其中Acc为传感器精度，Ti与Tj表示传感器所处温度；
所述步骤A1中ΔXz与所述步骤A2中标定域值Range(i,j)进行比较，进行数据融合预处理，步骤为：
B1、判定ΔXz与Range(i,j)关系，如果ΔXz>Range(i,j),此时将Z站的数据标记为怀疑值，并对怀疑值进行连续计数NZ加1，并直接进入下一步B2，如果ΔXz≤Range(i,j),则Z站数据作为正常值，直接进入步骤A3，求Dij；
B2、判定NZ值，如果NZ=1则与上一步B1步骤中将Z站数据值作为正常值处理相同,直接进入步骤A3，求Dij，如果不为1，则进入下一步B3；
B3、判定NZ的值是否在区间[2,5]，如果某一个站点数据值被怀疑连续次数超过5次，即NZ>5,则需要判断另一个站点连续计数N值是否大于5，反之另一种情况如果某一个站点数据值被怀疑连续次数区间[2,5]次，也需要做进一步判断是两个站都出现问题还是只有一个站出现问题，进一步处理的步骤为：
情况一：如果NA>5,继续判断是否NB>5步骤为：
C1、如果NB>5,则继续对此元素值进行相关要素、空间一致性判断，如果判断没有问题，则直接进入步骤A3，求Dij；如果判断有此元素数据值有问题，则证明两站数据都出现问题，此时进入报警环节请求人工干预；
C2、如果NB≤5,则证明A站数据值出现问题，此时XA=XB；
其中NA表示A站数据存疑连续次数，NB表示B站数据存疑连续次数，XA表示A站数据元素值，XB表示B站数据元素值，其中情况一如果是以B站进行判断，则将如上C1与C2步骤中A与B的顺序互换；
情况二：如果5≥NA≥2，继续判断是否5≥NB≥2步骤为：
D1、如果5≥NB≥2，则直接进入步骤A3，求Dij；
D2、如果条件5≥NB≥2不成立，，即/>，然后再进入步骤A3，求Dij；
其中，Z代表A站或者B站,X表示某传感器元素值，NA表示A站数据存疑连续次数，NB表示B站数据存疑连续次数，K代表卡尔曼增益，Xzp代表某站某元素预测值，M代表此时刻前M条数据；
A3、计算某元素两两传感器数据值之差，进行数据融合：
Dij=|Xi-Xj|
其中i与j均可取1、2、3、4，X1表示A站实测值，X2表示A站预测值，X3表示B站实测值，X4表示B站预测值；
根据步骤A3中得到的Dij的值与上述步骤A2中得到的Range(i,j)进行比较，进一步确定传感器数据值，再根据结果分类进行数据融合，其按情况分为：
E1、如果Dij≤Range（i，j）此时把传感器实测值与预测值都作为真实值，取其加权平均值为融合数据值：，其中p与q为权重值，但需要满足：p+q=2，其值根据经验值进行调节；
E2、当D12、D13、D14、D23、D24、D34任意一个大于标定域值，A站或B站数据存疑，此时要进一步分情况进行数据融合，其分类情况为：
F1、当D12大于等于D34，此时融合数据值按如下公式计算：
，D23,D24≤Range（i，j）
，D23,D24>Range（i，j）
F2、当D34大于D12，此时融合数据X按如下公式计算：
，D24,D14≤Range（i，j）
D24,D14>Range（i，j）
E3、如果Dij≥Range（i，j），则此时融合数据值X标为缺测；
其中X1为A站实测值，X2为A站预测值，X3为B站实测值，X4为B站预测值，Dij表示第i个传感器数据与第j个传感器数据之间的误差。
2.根据权利要求1所述的一种基于卡尔曼滤波提高双套站传感器数据质量的方法，其特征在于：所述S1中，各站点通过上位机软件定时向采集器发送命令通过串口或Zigbee无线网络获取传感器数据，把采集器发送过来的数据进行处理，或按数据字典进行截取，并将当前传感器各数据值进行存储。
3.根据权利要求1所述的一种基于卡尔曼滤波提高双套站传感器数据质量的方法，其特征在于：所述S2中，对所述数据准备所获取到的传感器测量数据值进行格式一致性、时间一致性、极值检测数据质量控制，排除错误与粗差大的值、标记缺测值。
4.根据权利要求1所述的一种基于卡尔曼滤波提高双套站传感器数据质量的方法，其特征在于：所述数据模型与卡尔曼滤波方程结合后，再依据每个站点分别获取依据所述S1数据准备与S2通用数据质量控制后，取该元素二个小时分钟数据即至少120条数据作为数据预测模型训练数据源，每个传感器数据经此预测模型可获得预测数据值。
CN202310735935.3A 2023-06-21 2023-06-21 一种基于卡尔曼滤波提高双套站传感器数据质量的方法 Active CN116541663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310735935.3A CN116541663B (zh) 2023-06-21 2023-06-21 一种基于卡尔曼滤波提高双套站传感器数据质量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310735935.3A CN116541663B (zh) 2023-06-21 2023-06-21 一种基于卡尔曼滤波提高双套站传感器数据质量的方法

Publications (2)

Publication Number Publication Date
CN116541663A CN116541663A (zh) 2023-08-04
CN116541663B true CN116541663B (zh) 2023-09-19

Family

ID=87448967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310735935.3A Active CN116541663B (zh) 2023-06-21 2023-06-21 一种基于卡尔曼滤波提高双套站传感器数据质量的方法

Country Status (1)

Country Link
CN (1) CN116541663B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105611A (zh) * 2013-01-16 2013-05-15 广东工业大学 一种分布式多传感器智能信息融合方法
CN105094168A (zh) * 2014-05-23 2015-11-25 西卡西伯特博士及屈恩有限及两合公司 对比较式地校准温度传感器的装置的校准容积的温度进行调节的方法和设备
CN106815591A (zh) * 2015-11-29 2017-06-09 西南技术物理研究所 多传感器系统数据融合精度的提高方法
CN110132257A (zh) * 2019-05-15 2019-08-16 吉林大学 基于多传感器数据融合的人体行为预测方法
WO2019215473A1 (en) * 2018-05-10 2019-11-14 Olympus Corporation Multisensor data fusion systems and methods
CN111539475A (zh) * 2020-04-24 2020-08-14 广西电网有限责任公司电力科学研究院 一种基于卡尔曼滤波的多源温度数据融合方法
CN111881955A (zh) * 2020-07-15 2020-11-03 北京经纬恒润科技有限公司 多源传感器信息融合方法及装置
CN115034324A (zh) * 2022-06-21 2022-09-09 同济大学 一种多传感器融合感知效能增强方法
CN115435775A (zh) * 2022-09-23 2022-12-06 福州大学 基于拓展卡尔曼滤波的多传感器融合slam方法
CN115756045A (zh) * 2022-12-12 2023-03-07 安徽大学 基于信息融合补偿的冷链储运环境温湿度控制方法、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676284B2 (en) * 2019-03-22 2023-06-13 Nvidia Corporation Shape fusion for image analysis

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105611A (zh) * 2013-01-16 2013-05-15 广东工业大学 一种分布式多传感器智能信息融合方法
CN105094168A (zh) * 2014-05-23 2015-11-25 西卡西伯特博士及屈恩有限及两合公司 对比较式地校准温度传感器的装置的校准容积的温度进行调节的方法和设备
CN106815591A (zh) * 2015-11-29 2017-06-09 西南技术物理研究所 多传感器系统数据融合精度的提高方法
WO2019215473A1 (en) * 2018-05-10 2019-11-14 Olympus Corporation Multisensor data fusion systems and methods
CN110132257A (zh) * 2019-05-15 2019-08-16 吉林大学 基于多传感器数据融合的人体行为预测方法
CN111539475A (zh) * 2020-04-24 2020-08-14 广西电网有限责任公司电力科学研究院 一种基于卡尔曼滤波的多源温度数据融合方法
CN111881955A (zh) * 2020-07-15 2020-11-03 北京经纬恒润科技有限公司 多源传感器信息融合方法及装置
CN115034324A (zh) * 2022-06-21 2022-09-09 同济大学 一种多传感器融合感知效能增强方法
CN115435775A (zh) * 2022-09-23 2022-12-06 福州大学 基于拓展卡尔曼滤波的多传感器融合slam方法
CN115756045A (zh) * 2022-12-12 2023-03-07 安徽大学 基于信息融合补偿的冷链储运环境温湿度控制方法、装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"双套站"气象数据评估及融合方法的探索;刘静;《中国优秀硕士学位论文全文数据库 (基础科学辑)》(第05期);A009-27 *
Ad-hoc Kalman Filter Based Fusion Algorithm for Real-Time Wireless Sensor Data Integration;Alexander Alexandrov;《 Flexible Query Answering Systems 2015》;151-159 *
Review on UWB-based and multi-sensor fusion positioning algorithms in indoor environment;Hao Zhang等;《2021 IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC)》;1594-1598 *
基于Thevenin模型和自适应卡尔曼的SOC估算研究;李欢等;《自动化仪表》;第42卷(第01期);46-51 *
基于卡尔曼滤波的多温度传感器数据融合系统;卢胜利等;《现代科学仪器》(第01期);65-68 *
基于卡尔曼滤波的数据融合算法与应用研究;徐恩松等;《计算机技术与发展》;第30卷(第05期);143-147 *
多传感器信息源的无人机目标检测及定位研究;彭淦;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第01期);C031-843 *
气象数据融合性统计比较分析;费强等;《无线互联科技》;第17卷(第02期);9-12 *

Also Published As

Publication number Publication date
CN116541663A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN102393881B (zh) 一种实时多传感温度数据融合的高精度检测方法
CN115687983B (zh) 一种桥梁健康状态监测方法、系统及电子设备
CN112434359B (zh) 一种高铁桥墩沉降曲线预测方法及系统
EP1630635A2 (en) Method and apparatus for improved fault detection in power generation equipment
CN108985373B (zh) 一种多传感器数据加权融合方法
CN108199891B (zh) 一种基于人工神经网络多角度综合决策的cps网络攻击辨识方法
CN106932337B (zh) 多光纤光栅钢筋腐蚀传感器系统的数据处理方法
CN113239132A (zh) 一种电压互感器的超差在线辨识方法
TW201316266A (zh) 偵測異常之發生的方法、設備及電腦程式
CN106353722A (zh) 基于代价参考粒子滤波的rssi测距方法
CN115063017A (zh) 一种中小跨径桥梁结构监测和评估系统及方法
WO2020177706A1 (zh) 配电网故障区段与故障时刻的判定方法
CN113657644A (zh) 智能电网中虚假数据检测方法、装置、设备及存储介质
CN116541663B (zh) 一种基于卡尔曼滤波提高双套站传感器数据质量的方法
CN109901022B (zh) 基于同步量测数据的配电网区域定位方法
CN113721182B (zh) 一种电力互感器性能在线监测结果可靠度评估方法及系统
CN111797545A (zh) 一种基于实测数据的风电机组偏航折减系数计算方法
CN111327630B (zh) 基于全对称多胞形理论的攻击检测与修正方法
CN114189047A (zh) 面向有源配电网状态估计的虚假数据检测与修正方法
CN116299015B (zh) 电池状态评估方法、装置、电子设备及存储介质
CN106202926B (zh) 基于多节点协同探测的空间系统偏差配准优化方法
CN114184211B (zh) 一种惯导可靠性试验中性能变化机理一致性判定方法
CN111966966B (zh) 一种传感器测量误差模型参数可行域分析方法及系统
CN114666525A (zh) 一种基于asic结构的音视频切换校验系统
CN113124871A (zh) 一种基于数据质量评估的自适应航迹关联方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant