CN109270898B - 一种具有数据质量诊断与修复功能的建筑能耗数据采集器 - Google Patents

Abstract

本发明提供了一种具有数据质量诊断与修复功能的建筑能耗数据采集器，属于物联网数据采集技术领域。该数据采集器包括核心控制模块、液晶显示模块、RS485通信模块、以太网通信模块、近距离无线网络通信模块、4G无线通信模块、电源模块、数据质量诊断模块、存储模块。与现有技术相比，本发明的有益效果是提供了一种建筑能耗数据采集过程中的数据质量诊断方法，通过数据质量诊断模块能够实时诊断上传数据是否异常，并对异常数据进行修复，极大地提升建筑能耗数据采集质量和提高数据处理分析效率。

Description

一种具有数据质量诊断与修复功能的建筑能耗数据采集器

技术领域

本发明涉及数据采集器，具体涉及一种具有数据质量诊断与修复功能的建筑能耗数据采集器，特别适用于建筑能耗监测系统，属于物联网数据采集技术领域。

背景技术

建筑能耗约占我国能源总消耗量的30％，从世界范围看，多个国家开展了针对建筑能耗的数据统计，为详细了解我国大型公共建筑的各类建筑能耗数据，从“十一五”开始，各级政府和建筑业主建设了大量的建筑能耗监测系统，对建筑用能进行网络化和信息化管理，以实现节能减排的目标。在建筑能耗监测系统中，通过数据采集器采集建筑能耗数据并将能耗数据上传至数据中心是该系统的一个关键环节。在多数情况下，建筑能耗数据采集器都放置在配电间中，由于受电磁干扰、网络结构复杂等原因影响，同时，现有的建筑能耗数据采集器往往采集周期与上传周期一致，这为数据采集器在数据采集过程中受电磁干扰影响的概率加大，若采集的数据出现异常数据，如数据突变、数据缺失等，这些数据也就上传到了能耗监测系统的数据库中。据统计既有能耗监测平台的异常数据比例普遍高达20％，这些异常数据最终导致能耗监测数据与建筑真实能耗相差甚远，因此获得的建筑能耗数据无法充分利用、无法指导下一步的建筑节能改造工作，也给建筑能耗监测技术的发展带来了困扰。随着我国绿色建筑的不断发展，人们对建筑能耗监测平台的数据质量要求越来越高，因此对建筑能耗数据采集器的要求也越来越高，一方面不仅要实现各类建筑能耗数据的采集，而且要保证采集过程中的数据质量。当前阶段，现有的建筑能耗数据采集器一般不具备采集数据质量分析、异常数据识别与标识和异常数据修复的功能，因此，发明一套具有数据质量诊断和修复功能的建筑能耗数据采集器对提高建筑能耗数据质量、进一步推进建筑节能改造工作具有重要意义。

为实现故障数据的识别，发明专利公开了一种基于物联网的数据采集故障预警系统及其控制方法(专利申请号为201610066093.7)和一种基于工业物联网的数据管理平台以及其数据管理方法(专利申请号为201610068483.8)，通过先记录设备故障时产生的数据作为数据库数据存储规则，之后用该数据存储规则对新采集的设备数据进行分析，该方法必须先建立异常状态数据存储规则，不能基于采集数据的特征变化时时进行数据异常状态的分析。实用新型专利公开了一种中央空调能耗监测及节能诊断系统(专利申请号为201120012794.5)，该系统的数据异常处理模块仅用于记录采集的异常信息，保存异常信息点，实现数据断点续传，异常信息的判别是根据所存储的设备运行策略和规则的比较分析得出的，也无法实现异常信息的修复。本发明针对建筑能耗数据采集器仅能实现数据的采集、存储和上传功能，在此基础之上，基于上传周期内实现高频采集，利用在上传周期内采集的数据重点解决能耗数据的数据质量分析和异常数据的修复，进而对上传数据的质量类别进行标识，以提高建筑能耗监测系统的数据质量和数据中心数据分析效率。

发明内容

本发明要解决的技术问题是提供一种上传周期内高频采集、具有上传数据质量诊断、异常数据修复和数据质量类别标识功能的建筑能耗数据采集器。

本发明的技术方案：

一种具有数据质量诊断与修复功能的建筑能耗数据采集器，包括核心控制器、液晶显示模块、RS485通信模块、以太网通信模块、近距离WiFi无线网络通信模块、4G无线通信模块、电源模块、数据质量诊断和修复模块、存储模块；系统示意图和工作流程如附图1～2所示。RS485通信模块负责通过总线采集建筑末端的能耗数据，近距离WiFi无线网络通信模块负责组建建筑末端无线局域网，以太网通信模块和4G无线通信模块负责将能耗数据传输至数据中心服务器，液晶显示模块负责显示采集的能耗数据以及数据采集器的配置信息，存储模块负责临时存储建筑末端能耗数据，电源模块负责与各个模块连接，为各个模块提供电源供给，数据质量诊断和修复模块负责对采集到的能耗数据进行动态数据质量诊断、修复和标识，核心控制器负责与各模块相连接，负责各个模块之间的任务调度；

数据质量诊断和修复模块与RS485通信模块、核心控制器连接，数据质量诊断和修复流程如附图3所示，数据质量诊断和修复的具体步骤如下：

S1、数据类型分类：假设采集周期内，数据采集对象是一个稳定的过程，将采集到的数据按性质分为瞬时数据和累计数据，瞬时数据如电压、电流、功率因素等，累计数据如电量、热量等。

S2、数据质量诊断：分别针对瞬时数据和累计数据，利用上传周期内高频采集的一系列数据识别出上传周期内最后一个采集数据中的异常数据；

瞬时数据质量诊断的具体包括以下步骤：

S211、对异常数据进行分类，包括非零缺失数据和非零突变数据；

S212、计算上传周期内所有采集数据中非零和非空瞬时数据I_i的数学期望π_I和方差Δ_I；

S213、上传周期内最后一个非零采集数据I_m质量识别，建立非零缺失数据的识别公式和非零突变数据的识别公式：

非零缺失数据的识别公式：

I_m为空式(1)

非零突变数据的识别公式：

I_m≤π_I+3Δ_I且I_m≥π_I-3Δ_I式(2)、

其中，π_I为瞬时数据I_i的数学期望，Δ_I为瞬时数据I_i的方差；

累计数据质量诊断的具体包括以下步骤：

S221、对异常数据进行分类，包括缺失数据和突变数据；

S222、计算采集周期内的能耗值；

E_i＝S_i-S_i-1式(3)

其中，S_i为第i时刻计量表累计示数，S_i-1为第i-1时刻计量表累计示数；

S223、计算上传周期内所有E_i的数学期望π_s和方差Δ_s；

S224、上传周期内最后一个采集数据S_m质量识别，建立缺失数据的识别公式和突变数据的识别公式：

缺失数据的识别公式：

S_m＝0或S_m为空式(4)

突变数据的识别公式：

S_m<0式(5)

或

E_m≤π_s+3Δ_s且E_m≥π_s-3Δ_s式(6)

其中，E_m为上传周期内最后一个采集周期的能耗值，π_s为上传周期内所有采集周期内能耗值E_i的数学期望，Δ_s为上传周期内所有采集周期内能耗值E_i的方差；

S3、异常数据修复：利用上传周期内高频采集的一系列数据修复上传周期内最后一个采集数据中异常数据；

异常数据修复具体包括以下步骤：

S31、寻找上传周期内最后一个采集数据S_m为异常的采集数据；

S32、识别异常数据相邻的上一个采集周期内的采集数据S_i是否为异常数据，如不是异常数据，利用该数据修复异常数据；若为异常数据，继续识别该数据相邻的上一个采集周期内的采集数据S_i是否为异常数据，直到识别出无异常的采集数据；

S33、异常数据修复公式：

S_m＝S_i式(7)

S4、数据质量类别标识：利用特征字符标识无异常数据、修复数据及其它数据；

S41、0表示数据无异常；

S42、1表示上传数据时当前读取数据为空，返回数据是利用采集周期内的数据的修复结果；

S43、2表示上传数据时当前读取数据为突变数据，返回数据是利用采集周期内的数据的修复结果；

S44、3表示上传数据时读取数据有异常，且无法利用上传周期内的数据进行修复，但之前上传过正确数据，保留最后一次上传的正确结果。

与现有技术相比，本发明的有益效果是提供了一种建筑能耗数据采集过程中的数据质量诊断方法，通过数据质量诊断模块能够实时诊断上传数据是否异常，并对异常数据进行修复，极大地提升建筑能耗数据采集质量和提高数据处理分析效率。

附图说明

图1为本发明建筑能耗数据采集器系统示意图。

图2为建筑能耗数据采集器工作流程示意图。

图3为数据质量诊断和修复流程图。

图4为瞬时数据质量诊断流程图。

图5为累计数据质量诊断流程图。

图6为异常数据修复流程图。

具体实施方式

以下结合发明内容和说明书附图详细说明本发明的具体实施方式。

参照附图1和附图2，本发明一种具有数据质量诊断与修复功能的建筑能耗数据采集器主要包括核心控制模块、液晶显示模块、RS485通信模块、以太网通信模块、近距离WiFi无线网络通信模块、4G无线通信模块、电源模块、数据质量诊断和修复模块、存储模块；核心控制模块采用基于Cotex-M3内核的32位ARM芯片STM32F407VGT6作为数据采集、数据处理、各个模块之间协调调度的核心；液晶显示模块采用型号为LCD12864液晶显示器，支持汉字、英文字符和数字显示；电源模块采用开关电压调节器LM2575S-5.0输出5V电压，为液晶显示模块、近距离无线通信模块、4G无线通信模块供电，采用三端稳压器LM1117DT-3.3输出3.3V电压，为ARM核心控制模块、以太网模块、存储模块供电，采用B0505S-1WR2隔离电源模块输出5V电压，为RS485通信模块供电；RS485通信模块采用具有隔离功能的高性能收发器ADM2483；以太网通信模块采用带有硬件TCP/IP协议栈的高性能以太网接口芯片W5500，4G无线通信模块采用五模十二频高性能4G接口模块USR-G402tf；近距离无线网络通信模块采用双向透明传输的USR-WIFI232-B2；存储模块采用4Gb容量的mini-SD卡。

本发明一种具有数据质量诊断与修复功能的建筑能耗数据采集器数据质量诊断和修复模块工作流程如附图3，包括以下步骤：

S1、数据类型分类：假设采集周期内，数据采集对象是一个稳定的过程，将采集数据按性质分为瞬时数据和累计数据，瞬时数据如电压、电流、功率因素等，累计数据如电量、热量等。

S2、数据质量诊断：分别针对瞬时数据和累计数据，利用上传周期内高频采集的一系列数据识别出上传周期内最后一个采集数据中的异常数据。

参照附图4，瞬时数据质量诊断的具体包括以下步骤：

S211、对异常数据进行分类，包括非零缺失数据和非零突变数据；

S212、计算上传周期内所有采集数据中非零和非空瞬时数据I_i的数学期望π_I和方差Δ_I；

S213、上传周期内最后一个非零采集数据I_m质量识别，建立非零缺失数据的识别公式和非零突变数据的识别公式：

非零缺失数据的识别公式：

I_m为空式(1)

非零突变数据的识别公式：

I_m≤π_I+3Δ_I且I_m≥π_I-3Δ_I式(2)、

其中，π_I为瞬时数据I_i的数学期望，Δ_I为瞬时数据I_i的方差；

参照附图5，累计数据质量诊断的具体包括以下步骤：

S221、对异常数据进行分类，包括缺失数据和突变数据；

S222、计算采集周期内的能耗值；

E_i＝S_i-S_i-1式(3)

其中，S_i为第i时刻计量表累计示数，S_i-1为第i-1时刻计量表累计示数；

S223、计算上传周期内所有E_i的数学期望π_s和方差Δ_s；

S224、上传周期内最后一个采集数据S_m质量识别，建立缺失数据的识别公式和突变数据的识别公式：

缺失数据的识别公式：

S_m＝0或S_m为空式(4)

突变数据的识别公式：

S_m<0式(5)

或

E_m≤π_s+3Δ_s且E_m≥π_s-3Δ_s式(6)

其中，E_m为上传周期内最后一个采集周期的能耗值，π_s为上传周期内所有采集周期内能耗值E_i的数学期望，Δ_s为上传周期内所有采集周期内能耗值E_i的方差；

S3、异常数据修复：利用上传周期内高频采集的一系列数据修复上传周期内最后一个采集数据中异常数据。

参照附图6，异常数据修复具体包括以下步骤：

S31、寻找上传周期内最后一个采集数据S_m为异常的采集数据；

S32、识别异常数据相邻的上一个采集周期内的采集数据S_i是否为异常数据，如不是异常数据，利用该数据修复异常数据；

S33、异常数据修复公式：

S_m＝S_i式(7)

S4、数据特征标识：利用特征字符标识无异常数据、修复数据及其它数据。

S41、0表示数据无异常；

S42、1表示上传数据时当前读取数据为空，返回数据是利用采集周期内的数据的修复结果；

S43、2表示上传数据时当前读取数据为突变数据，返回数据是利用采集周期内的数据的修复结果；

S44、3表示上传数据时读取数据有异常，且无法利用上传周期内的数据进行修复，但之前上传过正确数据，保留最后一次上传的正确结果。

Claims (1)

1.一种具有数据质量诊断与修复功能的建筑能耗数据采集器，其特征在于，所述的具有数据质量诊断与修复功能的建筑能耗数据采集器包括核心控制器、液晶显示模块、RS485通信模块、以太网通信模块、近距离WiFi无线网络通信模块、4G无线通信模块、电源模块、数据质量诊断和修复模块、存储模块；RS485通信模块负责通过总线采集建筑末端的能耗数据，近距离WiFi无线网络通信模块负责组建建筑末端无线局域网，以太网通信模块和4G无线通信模块负责将能耗数据传输至数据中心服务器，液晶显示模块负责显示采集的能耗数据以及数据采集器的配置信息，存储模块负责临时存储建筑末端能耗数据，电源模块负责与各个模块连接，为各个模块提供电源供给，数据质量诊断和修复模块负责对采集到的能耗数据进行动态数据质量诊断、修复和标识，核心控制器负责与各模块相连接，负责各个模块之间的任务调度；

数据质量诊断和修复模块与RS485通信模块、核心控制器连接，数据质量诊断和修复的具体步骤如下：

S1、数据类型分类：假设采集周期内，数据采集对象是一个稳定的过程，将采集到的数据按性质分为瞬时数据和累计数据；

S2、数据质量诊断：分别针对瞬时数据和累计数据，利用上传周期内高频采集的一系列数据识别出上传周期内最后一个采集数据中的异常数据；

瞬时数据质量诊断的具体包括以下步骤：

S211、对异常数据进行分类，包括非零缺失数据和非零突变数据；

S212、计算上传周期内所有采集数据中非零-瞬时数据I_i的数学期望π_I和方差Δ_I；

S213、上传周期内最后一个非零采集数据I_m质量识别，建立非零缺失数据的识别公式和非零突变数据的识别公式：

非零缺失数据的识别公式：

I_m为空式(1)

非零突变数据的识别公式：

I_m≤π_I+3Δ_I且I_m≥π_I-3Δ_I 式(2)、

其中，π_I为非零-瞬时数据I_i的数学期望，Δ_I为非零-瞬时数据I_i的方差；

累计数据质量诊断的具体包括以下步骤：

S221、对异常数据进行分类，包括缺失数据和突变数据；

S222、计算采集周期内的能耗值；

E_i＝S_i-S_i-1 式(3)

其中，S_i为第i时刻计量表累计示数，S_i-1为第i-1时刻计量表累计示数；

S223、计算上传周期内所有E_i的数学期望π_s和方差Δ_s；

S224、上传周期内最后一个采集数据S_m质量识别，建立缺失数据的识别公式和突变数据的识别公式：

缺失数据的识别公式：

S_m＝0或S_m为空式(4)

突变数据的识别公式：

S_m<0 式(5)

或

E_m≤π_s+3Δ_s且E_m≥π_s-3Δ_s 式(6)

其中，E_m为上传周期内最后一个采集周期的能耗值，π_s为上传周期内所有采集周期内能耗值E_i的数学期望，Δ_s为上传周期内所有采集周期内能耗值E_i的方差；

S3、异常数据修复：利用上传周期内高频采集的一系列数据修复上传周期内最后一个采集数据中异常数据；

异常数据修复具体包括以下步骤：

S31、寻找上传周期内最后一个采集数据S_m为异常的采集数据；

S32、识别异常数据相邻的上一个采集周期内的累计数据S_i是否为异常数据，如不是异常数据，利用该数据修复异常数据；若为异常数据，继续识别该数据相邻的上一个采集周期内的累计数据S_i是否为异常数据，直到识别出无异常的采集数据；

S33、异常数据修复公式：

S_m＝S_i 式(7)

S4、数据质量类别标识：利用特征字符标识无异常数据和修复数据；

S41、0表示数据无异常；

S42、1表示上传数据时当前读取数据为空，返回数据是利用采集周期内的数据的修复结果；

S43、2表示上传数据时当前读取数据为突变数据，返回数据是利用采集周期内的数据的修复结果；

S44、3表示上传数据时读取数据有异常，且无法利用上传周期内的数据进行修复，但之前上传过正确数据，保留最后一次上传的正确结果。

Images