CN110297951A - 一种物联网数据的时间同步处理方法及系统、终端 - Google Patents
一种物联网数据的时间同步处理方法及系统、终端 Download PDFInfo
- Publication number
- CN110297951A CN110297951A CN201910589345.8A CN201910589345A CN110297951A CN 110297951 A CN110297951 A CN 110297951A CN 201910589345 A CN201910589345 A CN 201910589345A CN 110297951 A CN110297951 A CN 110297951A
- Authority
- CN
- China
- Prior art keywords
- end data
- edge end
- data
- acquisition
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Abstract
本发明公开了一种物联网数据的时间同步处理方法及系统、终端，属于物联网数据同步处理领域，要解决的技术问题为如何基于统计分析的方法把物联网采集的数据进行统一的标准化。方法包括：判断采集的边缘端数据中同一频率的变量是否少于两个；如果上述判断结果为否，基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵；判断上述矩阵是否为行向量或者列向量；如果上述判断结果为否，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度。系统包括输入模块、判断模块和计算模块。终端包括处理器、输入设备、输出设备和存储器，处理器被配置用于调用程序指令执行如上述的一种物联网数据的时间同步处理方法。
Description
技术领域
本发明涉及物联网数据同步处理领域，具体地说是一种物联网数据的时间同步处理方法及系统、终端。
背景技术
在物联网时代，边缘端收集到越来越多的数据，这些数据或者被直接发送到云端，或者在本地进行处理和分析。边缘端的数据来源可能是加装的传感器所产生的数据，也可能是边缘端设备自身产生的数据。这些数据往往是多个维度的，即包含多个变量。变量本身的数据采集频率不一致是一个普遍问题，例如电流可能每一秒钟产生一个数据，电压可能每一分钟产生一个数据。如果要采用传统的数据分析方法对数据进行建模分析，我们需要把数据的频率统一到一个维度。所以我们提出基于统计分析的方法把物联网采集的数据进行统一的标准化，以便于后续的数据分析。
基于上述分析，如何基于统计分析的方法把物联网采集的数据进行统一的标准化，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种物联网数据的时间同步处理方法及系统、终端，来解决如何基于统计分析的方法把物联网采集的数据进行统一的标准化的问题。
第一方面，本发明提供一种物联网数据的时间同步处理方法，用于对定期采集的的边缘端数据进行标准化处理，实现边缘端数据的频率对齐，所述方法包括：
判断采集的边缘端数据中同一频率的变量是否少于两个；
如果上述判断结果为否，基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵；
判断上述矩阵是否为行向量或者列向量；
如果上述判断结果为否，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度。
对采集的边缘端数据进行标准化处理，即频率对齐处理。假定有两个变量，一个变量的采集频率是每秒钟一条数据第二个变量是每分钟一条数据，则需要将第一个变量的60条数据压缩成一条数据，以便于和第二个变量进行时间维度上的对齐。上述实施方式中，将采集的边缘端数据进行构造，然后基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度。
作为优选，基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵，所述矩阵格式为：
N×M；
N表示边缘端数据的时间，M表示边缘端数据的个数。
作为优选，如果采集的边缘端数据中同一频率的变量少于两个，或者，如果矩阵为行向量或列向量，计算上述采集的边缘端数据的平均值。
作为优选，如果采集的边缘端数据中同一频率的变量少于两个，如果矩阵为行向量或列向量，计算上述采集的边缘端数据的均值。
作为优选，计算上述采集的边缘端数据的均值，包括如下步骤：
基于数值大小将上述采集的边缘端数据升序排序或降序排序形成一个数列；
选取上述数列中间位置的边缘端数据。
第二方面，本发明提供一种物联网数据的时间同步处理系统，包括：
输入模块，所述输入模块用于获取边缘端的数据；
判断模块，所述判断模块用于判断采集的边缘端数据中同一频率的变量是否少于两个，用于在上述判断结果为否时基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵，并用于判断所述矩阵是否为行向量或列向量；
计算模块，所述计算模块用于在矩阵为非行向量且非列向量时，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度，并用于在采集的边缘端数据中同一频率的变量少于两个、或者所述矩阵为行向量或列向量时，计算上述采集的边缘端数据的中间值或均值。
作为优选，计算模块用于通过如下步骤计算上述采集的边缘端数据的均值：
基于数值大小将上述采集的边缘端数据升序排序或降序排序形成一个数列；
选取上述数列中间位置的边缘端数据。
第三方面，本发明提供一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如上述任一项所述的一种物联网数据的时间同步处理方法。
本发明的一种物联网数据的时间同步处理方法及系统、终端具有以下优点：针对数据采集频率不一致的问题，基于统计分析的方法把数据进行标准化，该方法具有可行性的易用、简单、高效的优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为实施例1一种物联网数据的时间同步处理方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供一种物联网数据的时间同步处理方法及系统、终端，用于解决的技术问题。
实施例1：
如附图1所示，本发明的一种物联网数据的时间同步处理方法，用于对定期采集的的边缘端数据进行标准化处理，实现边缘端数据的频率对齐，该方法包括如下步骤：
S100、判断采集的边缘端数据中同一频率的变量是否少于两个；
S200、如果上述判断结果为否，基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵；
S300、判断上述矩阵是否为行向量或者列向量；
S400、如果上述判断结果为否，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度。
其中，步骤S100中，基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵，矩阵的格式为：
N×M；
N表示边缘端数据的时间，M表示边缘端数据的个数。
本实施例中采集了两个变量，一个变量的采集频率是每秒钟一条数据，另一个变量是每分钟一条数据，需要将第一个变量的60条数据压缩为一条数据，以便于和第二个变量进行时间维度上的对齐。采集了5分钟的数据，每一分钟60个数据点，则构造一个5×60的矩阵，该矩阵既不是行向量也不是列向量，则基于PCA压缩方法进行降维，将60维数据降维为1维，最终得到5×1的数据，因此，得到5条代表5分钟的数据。
如果采集的边缘端数据中同一频率的变量少于两个，或者，如果矩阵为行向量或列向量，计算上述采集的边缘端数据的平均值。平均值计算公式为：
其中，M表示平均值，Xi表示第i个数据，n表示数据总数。
作为另一种实施方式，如果采集的边缘端数据中同一频率的变量少于两个，或者，如果矩阵为行向量或列向量，计算上述采集的边缘端数据的均值。计算上述采集的边缘端数据的均值，包括如下步骤：
(1)基于数值大小将上述采集的边缘端数据升序排序或降序排序形成一个数列；
(2)选取上述数列中间位置的边缘端数据。
本发明的一种物联网数据的时间同步处理方法实现了对数据进行标准化处理，即频率对齐处理。
实施例2：
本发明的一种物联网数据的时间同步处理系统，包括输入模块、判断模块和计算模块。
输入模块用于获取边缘端的数据；
判断模块用于判断采集的边缘端数据中同一频率的变量是否少于两个，用于在上述判断结果为否时基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵，并用于判断所述矩阵是否为行向量或列向量。
计算模块用于在矩阵为非行向量且非列向量时，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度，并用于在采集的边缘端数据中同一频率的变量少于两个、或者所述矩阵为行向量或列向量时，计算上述采集的边缘端数据的中间值或均值。
计算模块中平均值计算公式为：
其中，M表示平均值，Xi表示第i个数据，n表示数据总数。
计算模块通过如下步骤计算上述采集的边缘端数据的均值：
(1)基于数值大小将上述采集的边缘端数据升序排序或降序排序形成一个数列；
(2)选取上述数列中间位置的边缘端数据。
本发明的一种物联网数据的时间同步处理系统可实现实施例1公开的一种物联网数据的时间同步处理方法。
实施例3：
本发明的一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用所述程序指令执行实施例公开的一种物联网数据的时间同步处理方法。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (8)
1.一种物联网数据的时间同步处理方法，其特征在于用于对定期采集的的边缘端数据进行标准化处理，实现边缘端数据的频率对齐，所述方法包括：
判断采集的边缘端数据中同一频率的变量是否少于两个；
如果上述判断结果为否，基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵；
判断上述矩阵是否为行向量或者列向量；
如果上述判断结果为否，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度。
2.根据权利要求1所述的一种物联网数据的时间同步处理方法，其特征在于基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵，所述矩阵格式为：
N×M；
N表示边缘端数据的时间，M表示边缘端数据的个数。
3.根据权利要求1或2所述的一种物联网数据的时间同步处理方法，其特征在于如果采集的边缘端数据中同一频率的变量少于两个，或者，如果矩阵为行向量或列向量，计算上述采集的边缘端数据的平均值。
4.根据权利要求1或2所述的一种物联网数据的时间同步处理方法，其特征在于如果采集的边缘端数据中同一频率的变量少于两个，如果矩阵为行向量或列向量，计算上述采集的边缘端数据的均值。
5.根据权利要求4所述的一种物联网数据的时间同步处理方法，其特征在于计算上述采集的边缘端数据的均值，包括如下步骤：
基于数值大小将上述采集的边缘端数据升序排序或降序排序形成一个数列；
选取上述数列中间位置的边缘端数据。
6.一种物联网数据的时间同步处理系统，其特征在于包括：
输入模块，所述输入模块用于获取边缘端的数据；
判断模块，所述判断模块用于判断采集的边缘端数据中同一频率的变量是否少于两个，用于在上述判断结果为否时基于边缘端数据的个数和时间将采集的边缘端数据构造为矩阵，并用于判断所述矩阵是否为行向量或列向量；
计算模块，所述计算模块用于在矩阵为非行向量且非列向量时，基于PCA压缩方法对定期采集的边缘端数据进行压缩，降低边缘端数据的维度，并用于在采集的边缘端数据中同一频率的变量少于两个、或者所述矩阵为行向量或列向量时，计算上述采集的边缘端数据的中间值或均值。
7.根据权利要求6所述的一种物联网数据的时间同步处理系统，其特征在于计算模块用于通过如下步骤计算上述采集的边缘端数据的均值：
基于数值大小将上述采集的边缘端数据升序排序或降序排序形成一个数列；
选取上述数列中间位置的边缘端数据。
8.一种终端，其特征在于包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如权利要求1-5任一项所述的一种物联网数据的时间同步处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910589345.8A CN110297951A (zh) | 2019-07-02 | 2019-07-02 | 一种物联网数据的时间同步处理方法及系统、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910589345.8A CN110297951A (zh) | 2019-07-02 | 2019-07-02 | 一种物联网数据的时间同步处理方法及系统、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110297951A true CN110297951A (zh) | 2019-10-01 |
Family
ID=68029874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910589345.8A Pending CN110297951A (zh) | 2019-07-02 | 2019-07-02 | 一种物联网数据的时间同步处理方法及系统、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110297951A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812220A (zh) * | 2014-02-18 | 2014-05-21 | 国家电网公司 | 一种基于标准化处理技术的故障全息系统及其方法 |
| CN103996077A (zh) * | 2014-05-22 | 2014-08-20 | 中国南方电网有限责任公司电网技术研究中心 | 一种基于多维时间序列的电气设备故障预测方法 |
| CN108021871A (zh) * | 2017-11-22 | 2018-05-11 | 华南理工大学 | 一种基于主成分分析的特征频率提取方法 |
| US20180293758A1 (en) * | 2017-04-08 | 2018-10-11 | Intel Corporation | Low rank matrix compression |
-
2019
- 2019-07-02 CN CN201910589345.8A patent/CN110297951A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103812220A (zh) * | 2014-02-18 | 2014-05-21 | 国家电网公司 | 一种基于标准化处理技术的故障全息系统及其方法 |
| CN103996077A (zh) * | 2014-05-22 | 2014-08-20 | 中国南方电网有限责任公司电网技术研究中心 | 一种基于多维时间序列的电气设备故障预测方法 |
| US20180293758A1 (en) * | 2017-04-08 | 2018-10-11 | Intel Corporation | Low rank matrix compression |
| CN108021871A (zh) * | 2017-11-22 | 2018-05-11 | 华南理工大学 | 一种基于主成分分析的特征频率提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
| CN108932217A (zh) | 能耗统计的方法及装置 | |
| CN112383891A (zh) | 一种基于物模型自动匹配的设备注册方法和装置 | |
| CN111638690A (zh) | 基于通用信息模型的数据采集方法、装置、系统和设备 | |
| CN113393211B (zh) | 一种智能化提高自动化生产效率的方法及系统 | |
| CN112381010A (zh) | 表格结构的还原方法、系统、计算机设备及存储介质 | |
| CN111310052A (zh) | 用户画像构建方法、装置及计算机可读存储介质 | |
| CN111159897B (zh) | 基于系统建模应用的目标优化方法和装置 | |
| CN111626360A (zh) | 用于检测锅炉故障类型的方法、装置、设备和存储介质 | |
| CN110297951A (zh) | 一种物联网数据的时间同步处理方法及系统、终端 | |
| CN109597826B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113032225B (zh) | 数据中心的监控数据处理方法、装置、设备及存储介质 | |
| CN114581360B (zh) | 光伏组件标签检测方法、装置、设备和计算机存储介质 | |
| CN111401796A (zh) | 一种建立设备能效模型的方法及装置 | |
| CN111866924B (zh) | 性能指标监控方法、装置、计算设备及计算机存储介质 | |
| US20140201339A1 (en) | Method of conditioning communication network data relating to a distribution of network entities across a space | |
| CN111506409A (zh) | 一种数据处理方法及系统 | |
| CN109344210B (zh) | 一种网格校正方法、装置及终端设备 | |
| CN116389181B (zh) | 一种全屋智能设备的连接管理方法及系统 | |
| CN109885384A (zh) | 任务并行度优化方法、装置、计算机设备及存储介质 | |
| CN112650971B (zh) | 一种公式计算的实现方法、装置、设备及存储介质 | |
| CN117115749A (zh) | 一种建筑质量全局检测方法及系统 | |
| CN109286798A (zh) | 一种投影屏幕的边框位置识别方法、系统及终端设备 | |
| CN115550151A (zh) | 一种电力能源互联网数据处理方法及系统 | |
| CN110290165B (zh) | 网络主机间通信负载调控方法、电子装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |