CN115292393A - 一种用于智慧网关的数据管理系统 - Google Patents

一种用于智慧网关的数据管理系统 Download PDF

Info

Publication number
CN115292393A
CN115292393A CN202211231405.7A CN202211231405A CN115292393A CN 115292393 A CN115292393 A CN 115292393A CN 202211231405 A CN202211231405 A CN 202211231405A CN 115292393 A CN115292393 A CN 115292393A
Authority
CN
China
Prior art keywords
data
time
real
intelligent gateway
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211231405.7A
Other languages
English (en)
Other versions
CN115292393B (zh
Inventor
李廷定
王俞炳
罗栋梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Goldman Sachs Electric Co ltd
Original Assignee
Ningbo Goldman Sachs Electric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Goldman Sachs Electric Co ltd filed Critical Ningbo Goldman Sachs Electric Co ltd
Priority to CN202211231405.7A priority Critical patent/CN115292393B/zh
Publication of CN115292393A publication Critical patent/CN115292393A/zh
Application granted granted Critical
Publication of CN115292393B publication Critical patent/CN115292393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及数字通信传输处理技术领域，具体涉及一种用于智慧网关的数据管理系统。该系统通过智慧网关对用电数据进行采集，在云端服务器中构建三维数据模型。在三维数据模型中，根据一个采样时刻下对应的多个数据点提取数据冗余程度。以数据冗余程度作为样本距离的权重，根据获得的样本距离对一维空间中的数据点进行聚类并时序展开，获得历史基础数据。将历史数据存储至云端服务器和智慧网关中，使得智慧网关仅向云端服务器传输实时增量数据，云端服务器将实时增量重新还原至实时数据传输至用户端。本发明通过对数据结构的构建与分析，根据家庭内的个性化用电特征优化智慧网关的数据传输，提高了数据传输效率，保证了用户体验。

Description

一种用于智慧网关的数据管理系统
技术领域
本发明涉及数字通信传输处理技术领域，具体涉及一种用于智慧网关的数据管理系统。
背景技术
在现有的智慧家居系统中，智慧网关负责控制家庭中各个电器及统筹各个电器的使用数据并反馈至用户端，智慧网关通过无线协议将各个电器实时用电数据传输至云端服务器，云端服务器再将用电数据传输至用户端，用户端可利用软硬件实现数据可视化。
目前的网关系统仅是固定的把原始输入协议的数据转换为输出数据的协议，然后进行传输，不能根据家庭用户的个性化数据对每项用电数据进行智能的调控，导致在传输过程中数据量较大且传输速度较慢，容易造成一定的通信时延，影响用户体验。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种用于智慧网关的数据管理系统，所采用的技术方案具体如下：
本发明提出了一种用于智慧网关的数据管理系统，所述系统包括：
数据采集模块，用于通过智慧网关在预设采样频率下采集一个用电季度中每日的用电数据并上传至云端服务器；用电数据由采样时刻、用电测量值和采样日期三部分组成，将一个用电季度下的连续多天的用电数据整合至坐标系中，获得三维数据模型；
数据冗余特征提取模块，用于在三维数据模型中，以一个采样时刻下对应的多个数据点作为一组分析数据点组；获得分析数据点组中的参考测量值；分析数据点组中每个用电测量值与参考测量值的差异，获得对应采样时刻下的数据冗余程度；
数据聚类模块，用于在三维数据模型中将一日内每个采样时刻下的参考测量值映射至一维空间中；以一维空间中数据点之间的数据冗余程度作为权重，获得样本距离；根据样本距离对一维空间中的数据点进行聚类，将一维空间的聚类结果展开至时序上，获得对应用电季度一日内的历史基础数据，将历史基础数据存储至云端服务器和智慧网关中；
实时数据可视化模块，用于对比实时数据与对应的历史基础数据，获得实时增量数据；智慧网关将实时增量数据上传至云端服务器，云端服务器结合实时增量数据和对应的历史基础数据，将实时数据还原并传输至用户端，用户端将接收的实时数据可视化展示。
进一步地，所述获得分析数据点组中的参考测量值包括：
统计分析数据点组中的用电测量值，将相同的用电测量值作为一类，获得多个用电测量值类别；以每个用电测量值类别中的数据点数量与分析数据点组中总数据点数量的比值作为参考权重；将分析数据点组中的所有用电测量值与对应的参考权重相乘，将乘积累加，获得参考测量值。
进一步地，所述分析数据点组中每个用电测量值与参考测量值的差异，获得对应采样时刻下的数据冗余程度包括：
根据数据分布密度公式获得数据分布密度，数据分布密度公式包括：
Figure 398693DEST_PATH_IMAGE001
其中，
Figure 112571DEST_PATH_IMAGE002
为数据分布密度，
Figure 423467DEST_PATH_IMAGE003
为分析数据点组中的数据点数量，
Figure 851300DEST_PATH_IMAGE004
为第一权重，
Figure 196830DEST_PATH_IMAGE005
为第二权重，
Figure 550451DEST_PATH_IMAGE006
为分析数据点组中第
Figure 614222DEST_PATH_IMAGE007
个数据点的用电测量值的近似整数，
Figure 344281DEST_PATH_IMAGE008
为参考测量值的整数部分，
Figure 544318DEST_PATH_IMAGE009
为分析数据点组中第
Figure 334419DEST_PATH_IMAGE007
个数据点的用电测量值，
Figure 118442DEST_PATH_IMAGE010
为参考测量值；
将数据分布密度归一化并进行负相关映射，获得数据冗余程度。
进一步地，所述以一维空间中数据点之间的数据冗余程度作为权重，获得样本距离包括：
将一维空间中每个数据点对应的参考测量值归一化，获得对应的距离权重；获得一维空间中两个数据点之间的欧氏距离，将欧式距离与两个数据点对应的距离权重和值相乘，获得样本距离。
进一步地，所述根据样本距离对一维空间中的数据点进行聚类包括：
根据样本距离利用k-means聚类算法对一维空间中的数据点进行聚类。
进一步地，所述云端服务器将实时数据还原并传输至移动端包括：
将每个采样时刻下的实时增量数据的绝对值归一化，获得每个采样时刻对应的异常程度；将异常程度大于预设异常程度阈值的采样时刻作为异常时刻，其他为正常时刻；将正常时刻的整数部分传输至移动端，将异常时刻的完整数据传输至移动端。
本发明具有如下有益效果：
本发明实施例通过智慧网关统计用电数据，构建一个用电季度下的三维数据模型。进一步考虑到一个用电季度下不同日的用电数据应是相似且每日用电数据是呈规律分布的，因此将采样时刻固定，分析不同日的数据点构成的分析数据点组的数据冗余度。数据冗余程度为一个家庭在一个用电季度下某个采样时刻用电数据的个性化特征，相似的数据点分布的越多，越紧密，则数据冗余程度越高，数据越重要。在后续聚类过程中根据数据冗余程度作为样本距离的权重可使得聚类过程中更关注较为重要的数据，避免了过分类的问题。根据聚类结果在时序上的展开即可获得历史基础数据。将历史基础数据作为对应家庭在该用电季度的参考数据，获得每个采样时刻的实时数据的实时增量数据，将实时增量数据作为网关传输数据，相对于现有技术将网关传输的数据量减小，提高了数据传输的效率，根据云端服务器中的强大算力还原出实时数据，并传输至用户端，提高了数据传输的速度和效率，保证了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于智慧网关的数据管理系统框图；
图2为本发明一个实施例所提供的第一日用电数据散点图；
图3为本发明一个实施例所提供的第二日用电数据散点图；
图4为本发明一个实施例所提供的第三日用电数据散点图；
图5为本发明一个实施例所提供的多日用电数据合并散点图；
图6位本发明一个实施例所提供的一种聚类结果时序展开效果图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于智慧网关的数据管理系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于智慧网关的数据管理系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种用于智慧网关的数据管理系统框图，该系统包括：数据采集模块101、数据冗余特征提取模块102、数据聚类模块103和实时数据可视化模块104。
数据采集模块101用于通过智慧网关在预设采样频率下采集一个用电季度中每日的用电数据，并上传至云端服务器以构建数据库。在本发明实施例中，智慧网关通过各个智能断路器反馈出的数据帧提取各个智能断路器的用电测量值，需要说明的是，每个用电季度且每种用电测量值的数据分析方法相同，在此仅以一个用电季度下一种用电数据的分析方法进行表述说明。
在本发明实施例中，智能断路器的数据帧包括通信地址、命令、数据长度、数据信息和校验码，例如:
[01H,03H,04H,00H,00H,C1H,48H,ABH,95H]
其中，通信地址为01H，读取命令字为03H，04H表示数据长度为四个字节，00H,00H,C1H,48H表示电压、电流等用电数据的测量值，ABH,95H表示校验码信息。智慧网关将00H,00H,C1H,48H进行解析，将高、低位寄存器位置交换后，通过IEEE-754标准计算可得知表示的数值为12.5，即该采样时刻下对应的用电测量值为12.5。
对于一个家庭内的用电数据而言，在一个用电季度下，以天为单位的用电数据总是呈现一定规律性，即昨天所有采样时刻下的用电数据的规律变化与今天所有采样时刻下的 用电数据变化规律是相似的，因此一个采样时刻下的不同日的用电信息存在冗余。在传输过程中，信息的去冗余化在信息汇总、信息传输等过程中是非常重要的操作，可以减少传输成本。并且本发明旨在根据家庭内的个性化用电数据变化减少智慧网关的传输数据量，因此将用电数据进行重构，使得用电数据由三部分组成：采样时刻、用电测量值和采样日期。例如（600.3.7,1），在本发明实施例中采样频率为每分钟一次，即该用电数据是第一日在第600分钟对应的采样时刻下，用电测量值为3.7的数据。
进一步为了便于冗余特征的提取，将一个用电季度下的连续多天的用电数据整合至坐标系中，获得三维数据模型。即三维数据模型的三个坐标轴分别为采样时刻、用电测量值和采样日期。在本发明实施例中，将用电测量值信息作为z轴数据，将采样时刻和采样日期分别作为x轴或y轴数据。
请参阅图2，其示出了本发明一个实施例所提供的第一日用电数据散点图；请参阅图3，其示出了本发明一个实施例所提供的第二日用电数据散点图；请参阅图4，其示出了本发明一个实施例所提供的第三日用电数据散点图。由连续三日的用点数据散点图可知，在一个用电季度下，不同日的用电信息分布是一致的。因此在本发明实施例中为了方便数据冗余特征提取模块102的冗余特征提取，将三维数据模型映射至由采样时刻坐标轴和用电数据坐标轴组成的二维坐标系下，请参阅图5，其示出了本发明一个实施例所提供的多日用电数据合并散点图，即图5是由图2、图3和图4叠加合并而成，由图5可知，在一个采样时刻下会存在多个数据点纵向排列，根据纵向排列的数据点之间的分布即可分析获得冗余特征。需要说明的是，图2、图3、图4和图5的纵坐标均为用电测量值，横坐标均为每日的采样时刻。
数据冗余特征提取模块102用于在三维数据模型中，以一个采样时刻下对应的多个数据点作为一组分析数据点组，即在对应的二维坐标系下，以一个采样时刻下的纵向排列的多个数据构成一组分析数据点组。对于一组分析数据点组而言，其存在多个用电测量值，因此在分析组内分布时需要首先确定一个基准并且可作为参考的参考测量值，具体获得参考测量值的方法包括：
统计分析数据点组中的用电测量值，将相同的用电测量值作为一类，获得多个用电测量值类别；以每个用电测量值类别中的数据点数量与分析数据点组中总数据点数量的比值作为参考权重；将分析数据点组中的所有用电测量值与对应的参考权重相乘，将乘积累加，获得参考测量值。即参考测量值
Figure 652192DEST_PATH_IMAGE010
的表达式为：
Figure 441156DEST_PATH_IMAGE011
，其中，
Figure 667738DEST_PATH_IMAGE003
为分析数据点组中总数据点数量，
Figure 440522DEST_PATH_IMAGE009
为分析数据点组中第
Figure 246804DEST_PATH_IMAGE007
个数据点的用电测量值，
Figure 687013DEST_PATH_IMAGE012
为分析数据点组中第
Figure 54803DEST_PATH_IMAGE007
个数据点对应的的用电测量值类别中的数据点数量。
获得参考测量值后，根据分析数据点组中每个用电测量值与参考测量值的差异即可获得对应采样时刻下的数据冗余程度，即差异越小说明分布越集中，数据的冗余程度越大，具体获取方法包括：
根据数据分布密度公式获得数据分布密度，数据分布密度公式包括：
Figure 314883DEST_PATH_IMAGE001
其中，
Figure 924855DEST_PATH_IMAGE002
为数据分布密度，
Figure 953991DEST_PATH_IMAGE003
为分析数据点组中的数据点数量，
Figure 256797DEST_PATH_IMAGE004
为第一权重，
Figure 4173DEST_PATH_IMAGE005
为第二权重，
Figure 417837DEST_PATH_IMAGE006
为分析数据点组中第
Figure 823452DEST_PATH_IMAGE007
个数据点的用电测量值的近似整数，
Figure 562738DEST_PATH_IMAGE008
为参考测量值的整数部分，
Figure 859727DEST_PATH_IMAGE009
为分析数据点组中第
Figure 77081DEST_PATH_IMAGE007
个数据点的用电测量值，
Figure 80810DEST_PATH_IMAGE010
为参考测量值。
在数据分布密度公式中，将参考数据分为整数类型数据和浮点型数据，根据先验知识可知，在数据存储过程中浮点型数据相较于整数型数据而言，存储较为复杂，传输效率较低。因此将分布密度分为整数类型差异和浮点型差异，并且设置不同的权重，在本发明实施例中考虑到整数类型数据传输优于浮点型数据，因此设置的第一权重大于第二权重，需要说明的是，具体权重数值可根据用点数据类型自行设置，即如电流、电压、功率等不同类型的权重是不同的，在此不做限定，可根据具体实施场景自行设置。
数据之间的差异越小，说明数据冗余程度越高，数据分布密度越小，因此将数据分布密度归一化并进行负相关映射，获得数据冗余程度。在本发明实施例中，通过最大最小值归一化方法对数据分布密度归一化的同时进行负相关映射，具体表达式为：
Figure 758041DEST_PATH_IMAGE013
其中，
Figure 480009DEST_PATH_IMAGE014
为数据冗余程度，
Figure 235476DEST_PATH_IMAGE015
为所有历史数据中所获得的最大数据分布密度，
Figure 828131DEST_PATH_IMAGE002
为求得的数据分布密度，
Figure 643640DEST_PATH_IMAGE016
所有历史数据中所获得的最小数据分布密度。
数据聚类模块103用于根据数据冗余特征提取模块102所获得的参考测量值将每个采样时刻下的数据点映射至一维空间中，即将采样时刻-参考用电测量值对应的二维坐标中的数据点向纵轴进行投影，将所有数据点投影至纵轴之上，完成一维空间的映射。
进一步为了分析每个采样时刻下的数据特征，考虑到用电测量值应当存在波动性，即在一日内可能存在多个用电测量值的波动范围，在一个波动范围内的数据可认为是一类数据，因此以一维空间中数据点之间的数据冗余程度作为权重，获得样本距离，根据样本距离对一维空间中的数据点进行聚类，具体包括：
将一维空间中每个数据点对应的参考测量值归一化，获得对应的距离权重；获得一维空间中两个数据点之间的欧氏距离，将欧式距离与两个数据点对应的距离权重和值相乘，获得样本距离。即样本距离
Figure 617019DEST_PATH_IMAGE017
的表达式为：
Figure 176176DEST_PATH_IMAGE018
，其中，
Figure 888917DEST_PATH_IMAGE019
为数据点
Figure 875328DEST_PATH_IMAGE020
对应的数据冗余程度，
Figure 306309DEST_PATH_IMAGE021
为数据点
Figure 669158DEST_PATH_IMAGE022
对应的数据冗余程度，
Figure 501984DEST_PATH_IMAGE023
为数据点
Figure 160761DEST_PATH_IMAGE020
的参考测量值，
Figure 79038DEST_PATH_IMAGE024
为数据点
Figure 979998DEST_PATH_IMAGE022
的参考测量值，
Figure 667332DEST_PATH_IMAGE025
为两个参考测量值的欧式距离。
在样本距离中，以数据冗余程度作为权重，数据冗余程度越大则说明数据越重要，为了保证用电数据的个性化特征，两个重要数据不能分到同一个聚类簇中。
优选的，根据样本距离利用k-means聚类算法对一维空间中的数据点进行聚类，需要说明的是，k-means聚类算法为本领域技术人员熟知的技术手段，具体算法内容不再赘述，在此仅简述本发明实施例中的聚类过程：
（1）预先设置K值，即经过聚类后需要分为三种聚类簇，在本发明实施例中K设置为3，分别代表正常使用值类别、过度使用值类别和轻度使用值类别。
（2）在一维空间的数据点集合中随机选择K个数据点作为初始质心。
（3）计算每个数据点与初始质心的样本距离，样本距离满足设定的数值范围则将其划分到对应初始质心所属的集合。
（4）将所有数据划分好集合后，重新计算每个集合的质心。若新计算出的质心与初始质心之间的距离小于预设距离阈值，则说明聚类已经达到期望的结果，聚类结果趋于稳定，算法终止；否则需要继续以新质心为基础继续进行划分，直至算法终止。
需要说明的是，在k-means聚类算法的（4）步骤中，重新计算每个集合的质心是获得每个目标点与其他点的样本距离累加和，样本距离累加和最小的目标点即为新的质心点。
聚类算法终止后即可在一维空间中获得多个数据簇，将一维空间的聚类结果展开至时序上，即将一维数据重新转换至采样时刻-参考测量值的二维坐标系下，获得对应用电季度一日内的历史基础数据，并将历史基础数据在云端服务器和智慧网关内进行存储。
在本发明实施例中，以每个数据簇的质心点对应的参考测量值作为该数据簇的基础数据，经过时序展开后，在二维坐标系中呈现多个线段的分布，请参阅图6，其示出了本发明一个实施例所提供的一种聚类结果时序展开效果图，在图6的纵轴上，三角形、正方形和圆形分别代表三个数据簇类别，经过时序展开后，在二维坐标系下呈现多个间断式的线段分布。
需要说明的是，本发明实施例依据与云端服务器的强大算力进行历史基础数据的提取，云端服务器获得历史基础数据后，将其传输至智慧网关并在智慧网关中存储，方便后续实时增量数据的计算。
实时数据可视化模块104用于通过对比实时数据与对应的历史基础数据，获得实时增量数据。智慧网关仅将实时增量数据上传至云端服务器，即可实现减少传输数据量的目的，例如某个实时采样时刻的用电测量值为4.5，对应的历史基础数据的参考测量值为4.2，则实时增量数据为0.3,在数据传输过程中，0.3对应的字符串相较于4.5对应的字符串更短，包含的数据量更少，因此能够实现提高智慧网关数据传输效率的目的。并且因为云端服务器存储有历史基础数据，云端服务器可根据实时增量数据和对应的历史基础数据对实时数据进行还原，将实时数据还原并传输至用户端，用户端将接收的实时数据可视化展示，优化了用户的体验。
优选的，考虑到尽管云端服务器拥有强大的算力，但是在向用户端进行数据传输过程中仍需要进一步提高传输效率，具体方法包括：
将每个采样时刻下的实时增量数据的绝对值归一化，获得每个采样时刻对应的异常程度；将异常程度大于预设异常程度阈值的采样时刻作为异常时刻，其他为正常时刻；将正常时刻的整数部分传输至移动端，将异常时刻的完整数据传输至移动端，整数类型的数据相对于完整的浮点型的数据传输更方便，所对应的协议也更简单，因此能够实现云端服务器向用户端传输数据的效率优化。在本发明实施例中，归一化方法使用最大最小值归一化方法，异常程度阈值可根据具体云端服务器的传输能力进行设置，异常程度阈值设置的越小，则说明云端服务器对异常数据的容忍度越小，需要传输更多更完整的数据。
在本发明实施例中，用户端主要为移动端，通过移动端的APP、小程序、公众号等软件应用即可实现数据的可视化。
因为历史基础数据是通过大量的历史数据进行分析获得的，因此可通过更新历史数据库实现对历史基础数据的更新，在本发明实施例中，在每日的0点，智慧网关将前一日每个采样时刻下的实时增量数据上传至云端服务器，在云端服务器中将实时增量数据存储并还原，更新历史数据库，通过历史数据库的更新可同步实现历史基础数据的更新，使得云端服务器能够不断学习到家庭内的个性化用电特征。
需要说明的是，在本发明实施例的实施初期阶段，为了构建历史数据库需要将完整的用电数据上传至云端服务器，待数据库构建完成且获得历史基础数据，智慧网关仅传输实时增量数据即可。
综上所述，本发明实施例通过智慧网关对用电数据进行采集，在云端服务器中构建三维数据模型。在三维数据模型中，根据一个采样时刻下对应的多个数据点提取数据冗余程度。以数据冗余程度作为样本距离的权重，根据获得的样本距离对一维空间中的数据点进行聚类并时序展开，获得历史基础数据。将历史数据存储至云端服务器和智慧网关中，使得智慧网关仅向云端服务器传输实时增量数据，云端服务器将实时增量重新还原至实时数据传输至用户端。本发明实施例通过对数据结构的构建与分析，根据家庭内的个性化用电特征优化智慧网关的数据传输，提高了数据传输效率，保证了用户体验。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于智慧网关的数据管理系统，其特征在于，所述系统包括：
数据采集模块，用于通过智慧网关在预设采样频率下采集一个用电季度中每日的用电数据并上传至云端服务器；用电数据由采样时刻、用电测量值和采样日期三部分组成，将一个用电季度下的连续多天的用电数据整合至坐标系中，获得三维数据模型；
数据冗余特征提取模块，用于在三维数据模型中，以一个采样时刻下对应的多个数据点作为一组分析数据点组；获得分析数据点组中的参考测量值；分析数据点组中每个用电测量值与参考测量值的差异，获得对应采样时刻下的数据冗余程度；
数据聚类模块，用于在三维数据模型中将一日内每个采样时刻下的参考测量值映射至一维空间中；以一维空间中数据点之间的数据冗余程度作为权重，获得样本距离；根据样本距离对一维空间中的数据点进行聚类，将一维空间的聚类结果展开至时序上，获得对应用电季度一日内的历史基础数据，将历史基础数据存储至云端服务器和智慧网关中；
实时数据可视化模块，用于对比实时数据与对应的历史基础数据，获得实时增量数据；智慧网关将实时增量数据上传至云端服务器，云端服务器结合实时增量数据和对应的历史基础数据，将实时数据还原并传输至用户端，用户端将接收的实时数据可视化展示。
2.根据权利要求1所述的一种用于智慧网关的数据管理系统，其特征在于，所述获得分析数据点组中的参考测量值包括：
统计分析数据点组中的用电测量值，将相同的用电测量值作为一类，获得多个用电测量值类别；以每个用电测量值类别中的数据点数量与分析数据点组中总数据点数量的比值作为参考权重；将分析数据点组中的所有用电测量值与对应的参考权重相乘，将乘积累加，获得参考测量值。
3.根据权利要求1所述的一种用于智慧网关的数据管理系统，其特征在于，所述分析数据点组中每个用电测量值与参考测量值的差异，获得对应采样时刻下的数据冗余程度包括：
根据数据分布密度公式获得数据分布密度，数据分布密度公式包括：
Figure DEST_PATH_IMAGE001
其中，
Figure 538081DEST_PATH_IMAGE002
为数据分布密度，
Figure 716121DEST_PATH_IMAGE003
为分析数据点组中的数据点数量，
Figure 916421DEST_PATH_IMAGE004
为第一权重，
Figure 193818DEST_PATH_IMAGE005
为第二权重，
Figure 17418DEST_PATH_IMAGE006
为分析数据点组中第
Figure 405674DEST_PATH_IMAGE007
个数据点的用电测量值的近似整数，
Figure 631119DEST_PATH_IMAGE008
为参考测量值的整数部分，
Figure 846462DEST_PATH_IMAGE009
为分析数据点组中第
Figure 422937DEST_PATH_IMAGE007
个数据点的用电测量值，
Figure 614884DEST_PATH_IMAGE010
为参考测量值；
将数据分布密度归一化并进行负相关映射，获得数据冗余程度。
4.根据权利要求1所述的一种用于智慧网关的数据管理系统，其特征在于，所述以一维空间中数据点之间的数据冗余程度作为权重，获得样本距离包括：
将一维空间中每个数据点对应的参考测量值归一化，获得对应的距离权重；获得一维空间中两个数据点之间的欧氏距离，将欧式距离与两个数据点对应的距离权重和值相乘，获得样本距离。
5.根据权利要求1所述的一种用于智慧网关的数据管理系统，其特征在于，所述根据样本距离对一维空间中的数据点进行聚类包括：
根据样本距离利用k-means聚类算法对一维空间中的数据点进行聚类。
6.根据权利要求1所述的一种用于智慧网关的数据管理系统，其特征在于，所述云端服务器将实时数据还原并传输至移动端包括：
将每个采样时刻下的实时增量数据的绝对值归一化，获得每个采样时刻对应的异常程度；将异常程度大于预设异常程度阈值的采样时刻作为异常时刻，其他为正常时刻；将正常时刻的整数部分传输至移动端，将异常时刻的完整数据传输至移动端。
CN202211231405.7A 2022-10-10 2022-10-10 一种用于智慧网关的数据管理系统 Active CN115292393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211231405.7A CN115292393B (zh) 2022-10-10 2022-10-10 一种用于智慧网关的数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211231405.7A CN115292393B (zh) 2022-10-10 2022-10-10 一种用于智慧网关的数据管理系统

Publications (2)

Publication Number Publication Date
CN115292393A true CN115292393A (zh) 2022-11-04
CN115292393B CN115292393B (zh) 2023-01-17

Family

ID=83819238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211231405.7A Active CN115292393B (zh) 2022-10-10 2022-10-10 一种用于智慧网关的数据管理系统

Country Status (1)

Country Link
CN (1) CN115292393B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648647A (zh) * 2024-01-29 2024-03-05 国网山东省电力公司经济技术研究院 一种多能源配电网用户数据优化分类方法
CN117648647B (zh) * 2024-01-29 2024-04-23 国网山东省电力公司经济技术研究院 一种多能源配电网用户数据优化分类方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130173218A1 (en) * 2010-09-07 2013-07-04 Hitachi, Ltd. Malfunction Detection Method and System Thereof
CN106022664A (zh) * 2016-07-08 2016-10-12 大连大学 基于大数据分析的网络智慧节电监控方法
US20170176033A1 (en) * 2015-12-18 2017-06-22 Archimedes Controls Corp. Intelligent mission critical environmental monitoring and energy management system
CN106910017A (zh) * 2017-02-21 2017-06-30 深圳供电局有限公司 一种基于用户行为数据挖掘的电能体验分析方法和系统
CN108268595A (zh) * 2017-12-14 2018-07-10 特斯联（北京）科技有限公司 一种基于物联网的楼宇运营设备状态监测与可视化分析系统
WO2020248274A1 (zh) * 2019-06-14 2020-12-17 胡永生 智慧物联网信息采集传输系统
CN112488398A (zh) * 2020-12-03 2021-03-12 广东电力通信科技有限公司 一种基于mec边缘智能网关的用电管理方法及系统
CN114119917A (zh) * 2021-10-27 2022-03-01 国网浙江省电力有限公司温州供电公司 基于输电线路高精度三维模型的可视化隐患测距方法
WO2022061945A1 (zh) * 2020-09-27 2022-03-31 广东电网有限责任公司 一种电力线路安全距离检测方法
CN114358555A (zh) * 2021-12-28 2022-04-15 天津凯发电气股份有限公司 一种轨道交通智慧能源管理系统
CN114358152A (zh) * 2021-12-21 2022-04-15 国网江苏省电力有限公司苏州供电分公司 一种智能电力数据异常检测方法及系统
CN114722081A (zh) * 2022-06-09 2022-07-08 杭银消费金融股份有限公司 一种基于中转库模式的流式数据时间序列传输方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130173218A1 (en) * 2010-09-07 2013-07-04 Hitachi, Ltd. Malfunction Detection Method and System Thereof
US20170176033A1 (en) * 2015-12-18 2017-06-22 Archimedes Controls Corp. Intelligent mission critical environmental monitoring and energy management system
CN106022664A (zh) * 2016-07-08 2016-10-12 大连大学 基于大数据分析的网络智慧节电监控方法
CN106910017A (zh) * 2017-02-21 2017-06-30 深圳供电局有限公司 一种基于用户行为数据挖掘的电能体验分析方法和系统
CN108268595A (zh) * 2017-12-14 2018-07-10 特斯联（北京）科技有限公司 一种基于物联网的楼宇运营设备状态监测与可视化分析系统
WO2020248274A1 (zh) * 2019-06-14 2020-12-17 胡永生 智慧物联网信息采集传输系统
WO2022061945A1 (zh) * 2020-09-27 2022-03-31 广东电网有限责任公司 一种电力线路安全距离检测方法
CN112488398A (zh) * 2020-12-03 2021-03-12 广东电力通信科技有限公司 一种基于mec边缘智能网关的用电管理方法及系统
CN114119917A (zh) * 2021-10-27 2022-03-01 国网浙江省电力有限公司温州供电公司 基于输电线路高精度三维模型的可视化隐患测距方法
CN114358152A (zh) * 2021-12-21 2022-04-15 国网江苏省电力有限公司苏州供电分公司 一种智能电力数据异常检测方法及系统
CN114358555A (zh) * 2021-12-28 2022-04-15 天津凯发电气股份有限公司 一种轨道交通智慧能源管理系统
CN114722081A (zh) * 2022-06-09 2022-07-08 杭银消费金融股份有限公司 一种基于中转库模式的流式数据时间序列传输方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WANG CHONG ET AL.: "An adaptive electric power management system for the transmission line intelligent gateway", 《2022 IEEE 5TH INTERNATIONAL ELECTRICAL AND ENERGY CONFERENCE (CIEEC)》 *
张素香等: "基于云计算的居民用电行为分析模型研究", 《电网技术》 *
郑炜楠等: "家庭智能用电管理系统软件设计", 《电测与仪表》 *
黄智: "基于LBS的智能网关管理系统的设计与实现", 《湖南城市学院学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648647A (zh) * 2024-01-29 2024-03-05 国网山东省电力公司经济技术研究院 一种多能源配电网用户数据优化分类方法
CN117648647B (zh) * 2024-01-29 2024-04-23 国网山东省电力公司经济技术研究院 一种多能源配电网用户数据优化分类方法

Also Published As

Publication number Publication date
CN115292393B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN109524993B (zh) 用于中长期优化调度的风电光伏典型周出力场景生成方法
Šikšnys et al. Aggregating and disaggregating flexibility objects
CN102750406B (zh) 一种基于模型集和差异模型的电网模型多版本管理方法
JP2023502543A (ja) 時系列データを保存および照会するための方法および装置、並びにそれらのサーバーおよび記憶媒体
CN113853623A (zh) 电力负荷的预测方法、装置及存储介质
CN104599032A (zh) 一种面向资源管理的分布式内存电网构建方法及系统
CN108615089A (zh) 一种基于递归量化分析的短期风速混合预测方法
CN108108517A (zh) 一种基于大数据的电网规划智能辅助分析方法
CN115796393B (zh) 基于多能互动的能源网管理优化方法、系统及存储介质
CN109960612B (zh) 一种确定数据存储占比的方法、装置及服务器
CN113660113B (zh) 面向分布式机器学习的自适应稀疏参数模型设计与量化传输方法
CN111523819B (zh) 一种计及分布式电源出力不确定性的节能潜力评估方法
CN112613720A (zh) 考虑多不确定性的水库灌溉优化调度方法
CN115292393B (zh) 一种用于智慧网关的数据管理系统
CN111654392A (zh) 基于互信息的低压配电网拓扑识别方法及系统
CN105574074A (zh) 一种基于智能电网wams的时序大数据存储方法
CN114461594A (zh) 数据压缩方法、边缘设备及计算机存储介质
CN116610731B (zh) 一种大数据分布式存储方法、装置、电子设备及存储介质
CN113298569A (zh) 一种基于人工智能的电力需求侧管理方法及系统
Liu Precision marketing scheme based on integrating spatio-temporal data clustering and neural network
CN115964347A (zh) 一种市场监管监测中心数据的智能存储方法
CN112990797A (zh) 基于云计算技术的灾害风险预警管理方法、装置
CN113177725A (zh) 一种可配置树型结构的能源统计方法
CN105553625A (zh) 一种用电信息采集系统远程信道报文压缩方法及系统
CN111371460B (zh) 一种适用于智能电表的高低频匹配数据压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A data management system for smart gateways

Effective date of registration: 20231206

Granted publication date: 20230117

Pledgee: Rainbow sub branch of Ningbo Yinzhou Rural Commercial Bank Co.,Ltd.

Pledgor: Ningbo Goldman Sachs Electric Co.,Ltd.

Registration number: Y2023980069460