CN116232935A - 一种物联网监测大数据传输方法 - Google Patents
一种物联网监测大数据传输方法 Download PDFInfo
- Publication number
- CN116232935A CN116232935A CN202310075099.0A CN202310075099A CN116232935A CN 116232935 A CN116232935 A CN 116232935A CN 202310075099 A CN202310075099 A CN 202310075099A CN 116232935 A CN116232935 A CN 116232935A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- monitoring
- trend
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 215
- 230000005540 biological transmission Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 238000007405 data analysis Methods 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Selective Calling Equipment (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及数据传输技术领域,具体涉及一种物联网监测大数据传输方法。该方法包括:获取至少两个物联网数据服务器监测点所采集的时序监测数据,分析时序监测数据获得时序拟合直线,分析时序监测数据和时序拟合直线得到时序拟合特征;根据时序拟合特征,确定时序监测数据的趋势变化程度,根据趋势变化程度获得时序监测数据的数据优先级;获取时序监测数据的数据均值,根据数据优先级,分别对时序拟合直线的斜率和数据均值进行编码,生成相同周期不同物联网数据服务器监测点的数据变化趋势编码,根据数据优先级传输数据变化趋势编码。本发明能够在提升物联网监测大数据传输效率的同时增强传输可靠性。
Description
技术领域
本发明涉及数据传输技术领域,具体涉及一种物联网监测大数据传输方法。
背景技术
数据中心是目前物联网存储大数据的主要场所,它实现物联网大数据的集中存储、传输、交换、处理和管理,对数据中心的服务器性能要求极高,而服务器在不同的环境条件下会拥有不同的性能,使得服务器环境条件需保持在一定的数值范围内,以有效提升服务器的运行速率并降低设备损坏的概率,因此对于物联网服务器环境中的温度、湿度、通风量等监测数据的实时监测并及时调控极为重要。
相关技术中,通常设置物联网数据服务器监测点实时记录物联网服务器环境的监测数据,并使用霍夫曼编码方式对监测数据进行编码传输,这种方式下,由于霍夫曼编码通常是针对监测数据差值出现的频率进行编码,数据中心周围的监测数据变化精度较高,其监测数据差值变化情况较多,对于相对频率中间或者偏小的数据,编码长度远远大于原有数据长度,使得待传输的编码过长,极大降低了数据传输效率,且环境变化异常的监测数据由于频率过低可能导致过长的编码,在传输过程中易发生数据损坏,数据传输的可靠性不足。
发明内容
为了解决数据传输效率较低且数据传输可靠性不足的技术问题,本发明提供一种物联网监测大数据传输方法,所采用的技术方案具体如下:
本发明提出了一种物联网监测大数据传输方法,方法包括:
获取至少两个物联网数据服务器监测点所采集的时序监测数据,对所述时序监测数据进行数据分析处理,分别获得相同周期不同物联网数据服务器监测点所采集的所述时序监测数据的时序拟合直线,分析所述时序监测数据和所述时序拟合直线得到时序拟合特征;
根据所述时序拟合特征,确定所述时序监测数据的趋势变化程度,根据所述趋势变化程度获得相同周期不同物联网数据服务器监测点的所述时序监测数据的数据优先级;
获取所述时序监测数据的数据均值,根据所述数据优先级,分别对相同周期不同物联网数据服务器监测点的所述时序拟合直线的斜率和所述数据均值进行编码处理,生成相同周期不同物联网数据服务器监测点的数据变化趋势编码,根据所述数据优先级由高至低的顺序传输所述数据变化趋势编码。
进一步地,所述对所述时序监测数据进行数据分析处理,分别获得相同周期不同物联网数据服务器监测点所采集的所述时序监测数据的时序拟合直线,包括:
将所述时序监测数据映射至坐标系中,对所述时序监测数据进行一元线性回归拟合处理,得到所述时序拟合直线。
进一步地,所述分析所述时序监测数据和所述时序拟合直线得到时序拟合特征,包括:
根据时序顺序连接所述坐标系中的所述时序监测数据,得到数据分布曲线,获得所述时序监测数据在所述数据分布曲线中的波峰点和波谷点作为数据转折点,计算所有所述数据转折点距所述时序拟合直线的距离值的和值作为距离特征和值;
确定超出预设数值范围的所述时序监测数据的数量为第一数量,将所述第一数量与所述数据分布曲线中所有所述时序监测数据的数量的比值作为数量特征比值;
将所述距离特征和值、所述数量特征比值和所述时序拟合直线的斜率作为所述时序拟合特征。
进一步地,所述根据所述时序拟合特征,确定所述时序监测数据的趋势变化程度,包括:
确定所述时序拟合直线的斜率的绝对值和第一预设权重值的乘积为第一趋势变化因子;
确定所述数量特征比值和第二预设权重值的乘积为第二趋势变化因子;
确定所述距离特征和值和第三预设权重值的乘积为第三趋势变化因子;
将所述第一趋势变化因子和所述第二趋势变化因子的和值与所述第三趋势变化因子的比值作为所述趋势变化程度。
进一步地,所述根据所述趋势变化程度获得相同周期不同物联网数据服务器监测点的所述时序监测数据的数据优先级,包括:
按照数值由大到小的顺序,对相同周期不同物联网数据服务器监测点的所述时序监测数据的所述趋势变化程度进行排序,得到排序序列,将所述排序序列中所述趋势变化程度的索引作为所述时序监测数据的所述数据优先级。
进一步地,所述根据所述数据优先级,分别对相同周期不同物联网数据服务器监测点的所述时序拟合直线的斜率和所述数据均值进行编码处理,生成数据变化趋势编码,包括:
根据所述数据优先级,对所述时序拟合直线的斜率进行霍夫曼编码得到第一编码;
根据所述数据优先级,对所述数据均值进行霍夫曼编码得到第二编码;
组合所述第一编码和所述第二编码得到所述数据变化趋势编码。
本发明具有如下有益效果:
本发明通过对时序监测数据进行数据分析处理,获得相同周期不同物联网数据服务器监测点所采集的时序监测数据的时序拟合直线,分析时序监测数据和时序拟合直线得到时序拟合特征,能够有效分析物联网数据服务器监测点所采集得到的时序监测数据和时序拟合直线得到时序拟合特征,便于后续根据时序拟合特征对不同物联网数据服务器监测点的时序监测数据的趋势变化进行分析,由于是根据时序拟合特征,确定时序监测数据的趋势变化程度,能够根据不同物联网数据服务器监测点的时序拟合特征准确确定数据优先级,由于是根据数据优先级对时序拟合直线的斜率和数据均值进行编码处理,生成数据变化趋势编码,并根据数据优先级由高至低的顺序传输数据变化趋势编码,能够有效分析数据中心监测数据变化的趋势变化程度,并根据趋势变化程度获得数据优先级,根据数据优先级对时序拟合直线的斜率和所对应的时序监测数据的数据均值进行规划性编码,在保证监测数据的变化特征传输准确性的同时,有效减少数据传输量,增强传输效率,同时规划性编码,以及根据数据优先级由高至低的顺序传输数据变化趋势编码,保证监测数据变化异常的时序监测数据所对应的数据变化趋势编码能够优先传输,有效提升数据传输可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种物联网监测大数据传输方法流程图;
图2为本发明一个实施例所提供的温度数据分布曲线示意图;
图3为本发明一个实施例所提供的霍夫曼编码树示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种物联网监测大数据传输方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种物联网监测大数据传输方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供所的一种物联网监测大数据传输方法流程图,该方法包括:
S101:获取至少两个物联网数据服务器监测点所采集的时序监测数据,对时序监测数据进行数据分析处理,分别获得相同周期不同物联网数据服务器监测点所采集的时序监测数据的时序拟合直线,分析时序监测数据和时序拟合直线得到时序拟合特征。
其中,监测数据,为物联网数据服务器监测点周围的环境数据,监测数据可以具体例如为温度数据、湿度数据、风力数据,以及噪声数据等,对此不作限制。
本发明实施例中,可以在数据中心设置物联网数据服务器监测点,使用相应的传感器和监测仪等监测设备实时采集监测数据,可以理解的是,监测设备可以按照预设的周期和频率采集监测数据,举例而言,可以设置采集周期为60秒,采集频率为1秒,则监测设备每隔1秒采集一次监测数据,采集60秒的监测数据整理作为该周期的时序监测数据,当然,预设的周期与频率可以根据数据中心的具体情况进行调整,对此不做限制。
可以理解的是,由于数据中心的监测数据具有数据变化慢,数据跳变概率较低,数据变化整体成趋势等特征,数据中心的温度、湿度、风力以及噪声等监测数据的变化情况趋势更趋近于一条直线,本发明可以使用一元线性拟合曲线用于拟合物联网数据服务器监测点在一个周期内所采集到的监测数据。
进一步地,本发明实施例中,对时序监测数据进行数据分析处理,分别获得相同周期不同物联网数据服务器监测点所采集的时序监测数据的时序拟合直线,包括:将时序监测数据映射至坐标系中,对时序监测数据进行一元线性回归拟合处理,得到时序拟合直线。
由于数据中心的数据变化情况趋势更趋近于一条直线,本发明实施例中,可以将时序监测数据映射至坐标系中,在坐标系中对时序监测数据进行一元线性回归拟合处理,得到时序监测数据的拟合直线,并将该拟合直线作为时序拟合直线。
本发明实施例中,因数据中心的数据变化情况趋势更趋近于一条直线,可以对时序监测数据进行一元线性回归拟合处理,则可以使用一元直线方程表达该时序拟合直线,该时序拟合直线的斜率在该周期内保持一致。
本发明实施例中,分析时序监测数据和时序拟合直线得到时序拟合特征,包括:根据时序顺序连接坐标系中的时序监测数据,得到数据分布曲线,获得时序监测数据在数据分布曲线中的波峰点和波谷点作为数据转折点,计算所有数据转折点距时序拟合直线的距离值的和值作为距离特征和值;确定超出预设数值范围的时序监测数据的数量为第一数量,将第一数量与数据分布曲线中所有时序监测数据的数量的比值作为数量特征比值;将距离特征和值、数量特征比值和时序拟合直线的斜率作为时序拟合特征。
可以理解的是,由于监测数据的种类多样,则可以分别统计不同种类的监测数据。
其中,数据分布曲线,为时序监测数据于坐标系中映射所得到的曲线,本发明可以以时间为x坐标,监测数据为y坐标建立坐标系,将时序监测数据映射至坐标系中得到数据分布曲线,
以温度数据为监测数据示例,如图2所示,图2为本发明一个实施例所提供的温度数据分布曲线示意图,由图2所示,其温度数据变化整体程下降趋势,当然,湿度、风速等数据变化同样具有数据变化慢,数据跳变概率较低,数据变化整体成趋势等特征,因此,可以使用同种方式进行处理。
如图2所示,监测数据在变化过程中会出现相应的波峰点与波谷点,部分波峰点与波谷点包含监测数据跳变等信息,则可以逐一标记数据分布曲线中的波峰点和波谷点作为数据转折点,并计算所有数据转折点距时序拟合直线的距离值的和值作为距离特征和值,通过标记波峰点与波谷点得到距离特征和值,能够在保留数据变化趋势的情况下有效减少统计所有时序监测数据所使用的时间,从而有效提升监测数据的变化分析的分析效率。
本发明实施例中,可以预设数据中心在正常运行情况下的数值范围,则可以统计超过该数值范围的时序监测数据的数量作为第一数量,确定第一数量与数据分布曲线中所有时序监测数据的数量的比值作为数量特征比值,由于是统计时序监测数据不属于预设数值范围的数据得到第一数量,能够有效提取异常的时序监测数据,进一步提升时序拟合直线的分析效果。
其中,时序拟合直线的斜率,表示该周期的时序监测数据的变化趋势,可以理解的是,斜率具有正值与负值,在斜率为正值时,表示该周期内时序监测数据呈上升趋势,在斜率为负值时,表示该周期内时序监测数据呈下降趋势,而斜率的绝对值越大,则可以表示监测数据变化越强,对应物联网数据服务器监测点在周期内的监测数据变化趋势越大,则可以表示物联网数据服务器监测点所处区域在对应的周期内监测数据变化越异常。
由此,可以将距离特征和值、数量特征比值和时序拟合直线的斜率作为时序拟合特征,执行后续根据时序拟合特征,确定时序监测数据的趋势变化程度的步骤。
S102:根据时序拟合特征,确定时序监测数据的趋势变化程度,根据趋势变化程度获得相同周期不同物联网数据服务器监测点的时序监测数据的数据优先级。
进一步地,根据时序拟合特征,确定时序监测数据的趋势变化程度,包括:确定时序拟合直线的斜率的绝对值和第一预设权重值的乘积为第一趋势变化因子;确定数量特征比值和第二预设权重值的乘积为第二趋势变化因子;确定距离特征和值和第三预设权重值的乘积为第三趋势变化因子;将第一趋势变化因子和第二趋势变化因子的和值与第三趋势变化因子的比值作为趋势变化程度。
其中,可以根据距离特征和值、数量特征比值和时序拟合直线的斜率确定时序监测数据的趋势变化程度,根据实际情况分别对时序拟合直线的斜率的绝对值赋予第一权重值,对数量特征比值赋予第二预设权重值,以及对距离特征和值赋予第三预设权重值,可以理解的是,第一预设权重值、第二预设权重值,以及第三预设权重值可以根据实际情况进行调整,优选地,第一预设权重值为0.4,第二预设权重值为0.5,第三预设权重值为0.1,对此不做限制。
本发明实施例中,可以使用趋势变化程度公式获得趋势变化程度,其中,趋势变化程度公式如下式所示:
式中,Dtc表示时序监测数据的趋势变化程度,W1表示第一预设权重值,k表示时序拟合直线的斜率,||表示求绝对值,W1*|k|表示第一趋势变化因子,t表示第一数量,T表示数据分布曲线中所有时序监测数据的数量,表示数量特征比值,W2表示第二预设权重值,表示第二趋势变化因子,W3表示第三预设权重值,n表示时序监测数据在数据分布曲线中数据转折点的总数量,i表示数据转折点的索引,li表示第i个数据转折点距时序拟合直线的距离值,/>表示距离特征和值,/>表示第三趋势变化因子。
由趋势变化程度公式可知,在时序拟合直线的斜率的绝对值越大时,可以表示该时序拟合直线越倾斜,也即是说,该时序拟合直线所对应采集点的周期内,其监测数据变化越大,则其趋势变化程度越大,同理,在第一数量与数据分布曲线中所有时序监测数据的数量的比值越大时,可以表示超出预设数值范围的时序监测数据的数量越多,也即是说,异常监测数据的时间占比越大,趋势变化程度越大。
本发明实施例中,可以理解的是,数据中心服务器的环境的监测数据发生突然骤变的情况并不常见,其监测数据变化整体呈现趋势性的变化,也即监测数据整体呈上升趋势或下降趋势,则距离特征和值越小,可以表示时序监测数据越贴合时序拟合直线,则其趋势变化越明显,距离特征和值越大,可以表示时序监测数据变化越远离时序拟合直线,则其趋势变化越复杂,如在前半周期呈现监测数据趋势下降,而在后半周期呈现监测数据趋势上升等情况,该变化情况属于正常的监测数据自适应调整情况,因此,距离特征和值越大,趋势变化程度越小,可以表示其监测数据已自适应调整,重要程度降低。由此计算得到趋势变化程度。
本发明实施例中,由于趋势变化程度的数值越大,越可以表示该物联网数据服务器监测点在该周期内的数据变化越强,且异常数据出现频率越高,越需要重点关注该物联网数据服务器监测点在该周期内的数据变化情况,以及时做出调整,则可以根据该趋势变化程度确定时序监测数据的数据优先级。
本发明实施例中,根据趋势变化程度获得相同周期不同物联网数据服务器监测点的时序监测数据的数据优先级,包括:按照数值由大到小的顺序,对相同周期不同物联网数据服务器监测点的时序监测数据的趋势变化程度进行排序,得到排序序列,将排序序列中趋势变化程度的索引作为时序监测数据的数据优先级。
本发明实施例中,在得到趋势变化程度之后,可以按照数值由大到小的顺序对相同周期不同物联网数据服务器监测点的时序监测数据所对应的趋势变化程度进行排序,得到排序序列,趋势变化程度越大的在排序序列中越靠前,以将排序序列中趋势变化程度的索引作为时序监测数据的数据优先级,排序的先后顺序对应数据优先级的高低顺序,也即是说,相同周期内,某一物联网数据服务器监测点的趋势变化程度在在排序序列中越靠前,则该物联网数据服务器监测点的时序监测数据的数据优先级越高,在排序序列中越靠后,则该物联网数据服务器监测点的时序监测数据的数据优先级越低,在得到数据优先级之后,可以执行后续根据数据优先级进行编码和传输的过程。
S103:获取时序监测数据的数据均值,根据数据优先级,分别对相同周期不同物联网数据服务器监测点的时序拟合直线的斜率和数据均值进行编码处理,生成相同周期不同物联网数据服务器监测点的数据变化趋势编码,根据数据优先级由高至低的顺序传输数据变化趋势编码。
其中,数据均值,为物联网数据服务器监测点在采集周期内所有时序监测数据的均值。
本发明实施例中,可以使用霍夫曼编码树对相同周期不同物联网数据服务器监测点的时序拟合直线的斜率和数据均值进行编码处理,进一步地,根据数据优先级,对时序拟合直线的斜率进行霍夫曼编码得到第一编码;根据数据优先级,对数据均值进行霍夫曼编码得到第二编码;组合第一编码和第二编码得到数据变化趋势编码。
本发明实施例中,根据数据优先级进行霍夫曼编码,可以使用霍夫曼编码树,根据数据优先级从低至高进行遍历,将数据优先级最低所对应的时序拟合直线的斜率和数据均值作为最远离霍夫曼编码树的叶子节点,从而能够在霍夫曼编码的过程中,数据优先级越高的数据越靠近霍夫曼编码树的根节点,其编码长度越短,则根据数据优先级进行霍夫曼编码,可以将越重要的数据赋予更短的编码值。
其中,第一编码为时序拟合直线的斜率的编码,第二编码为数据均值的编码,通过将时序拟合直线的斜率的编码和数据均值的编码组合得到数据变化趋势编码,能够有效表述对应物联网数据服务器监测点在周期内的数据变化趋势,从而能够根据时序拟合直线的斜率的编码和数据均值有效表示该物联网数据服务器监测点在对应周期的数据变化状态,相较于直接传输监测数据,通过传输拟合曲线的斜率和数据均值的方式能够有效减少传输的数据量,增强数据传输的直观性,提高传输速率,同时,数据优先级越高的数据编码长度越短,能够在数据传输过程中增强其传输的稳定性,降低数据损坏的概率,进而增强传输可靠性。
举例而言,如图3所示,图3为本发明一个实施例所提供的霍夫曼编码树示意图,在霍夫曼编码树种,A1、A2、A3分别表示不同物联网数据服务器监测点在同一周期内所采集的时序监测数据对应的时序拟合直线的斜率或数据均值,对应的数据优先级为A1>A2>A3,则将A2与A3作为霍夫曼树种最远离根节点的叶子节点,A2的编码为“10”,A3的编码为“11”,而作为最靠近根节点的叶子节点,A1的编码为“0”,可知,数据优先级越高的数据其编码值越短,便于在传输过程中降低数据损坏的概率,由此,分别对时序拟合直线的斜率进行霍夫曼编码得到第一编码,对数据均值进行霍夫曼编码得到第二编码,并组合得到数据变化趋势编码。
其中,第一编码和第二编码的组合过程,可以预设编码模板,将第一编码与第二编码带入至预设的编码模板中,生成数据变化趋势编码,或者,也可以直接将第一编码的尾部和第二编码的首部相连,生成数据变化趋势编码,或者,还可以使用其他任意可能的实现方式组合第一编码和第二编码得到数据变化趋势编码,对此不做限制。
可以理解的是,时序拟合直线的斜率有正值与负值,在时序拟合直线的斜率为正值时表示该数据变化处于上升趋势,在时序拟合直线的斜率为负值时表示该数据变化处于下降趋势,可以对正负符号分别进行符号编码,以便于对斜率的正负值进行有效区分。
当然,本发明实施例中还支持使用多种其他任意可能的编码方式,以保证数据优先级越高的第一编码或第二编码,其编码长度越短,对此不做限制。
本发明实施例中,因数据优先级越高的数据变化趋势编码越优先编码完成,也即可以对优先编码的数据变化趋势编码进行优先传输,以便于及时进行处理与调整,便于相关人员或系统及时对趋势变化程度较大的物联网数据服务器监测点采取针对性调整,及时有效地维持服务器的性能,利于数据中心的稳定运行。
综上,本发明通过对时序监测数据进行数据分析处理,获得相同周期不同物联网数据服务器监测点所采集的时序监测数据的时序拟合直线,分析时序监测数据和时序拟合直线得到时序拟合特征,能够有效分析物联网数据服务器监测点所采集得到的时序监测数据和时序拟合直线得到时序拟合特征,便于后续根据时序拟合特征对不同物联网数据服务器监测点的时序监测数据的趋势变化进行分析,由于是根据时序拟合特征,确定时序监测数据的趋势变化程度,能够根据不同物联网数据服务器监测点的时序拟合特征准确确定数据优先级,由于是根据数据优先级对时序拟合直线的斜率和数据均值进行编码处理,生成数据变化趋势编码,并根据数据优先级由高至低的顺序传输数据变化趋势编码,能够有效分析数据中心数据变化的趋势变化程度,并根据趋势变化程度获得数据优先级,根据数据优先级对时序拟合直线的斜率和所对应的时序监测数据的数据均值进行规划性编码,在保证数据变化特征传输准确性的同时,有效减少数据传输量,增强传输效率,同时规划性编码,以及根据数据优先级由高至低的顺序传输数据变化趋势编码,保证数据变化异常的时序监测数据所对应的数据变化趋势编码能够优先传输,有效提升数据传输可靠性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (6)
1.一种物联网监测大数据传输方法,其特征在于,所述方法包括:
获取至少两个物联网数据服务器监测点所采集的时序监测数据,对所述时序监测数据进行数据分析处理,分别获得相同周期不同物联网数据服务器监测点所采集的所述时序监测数据的时序拟合直线,分析所述时序监测数据和所述时序拟合直线得到时序拟合特征;
根据所述时序拟合特征,确定所述时序监测数据的趋势变化程度,根据所述趋势变化程度获得相同周期不同物联网数据服务器监测点的所述时序监测数据的数据优先级;
获取所述时序监测数据的数据均值,根据所述数据优先级,分别对相同周期不同物联网数据服务器监测点的所述时序拟合直线的斜率和所述数据均值进行编码处理,生成相同周期不同物联网数据服务器监测点的数据变化趋势编码,根据所述数据优先级由高至低的顺序传输所述数据变化趋势编码。
2.如权利要求1所述的方法,其特征在于,所述对所述时序监测数据进行数据分析处理,分别获得相同周期不同物联网数据服务器监测点所采集的所述时序监测数据的时序拟合直线,包括:
将所述时序监测数据映射至坐标系中,对所述时序监测数据进行一元线性回归拟合处理,得到所述时序拟合直线。
3.如权利要求2所述的方法,其特征在于,所述分析所述时序监测数据和所述时序拟合直线得到时序拟合特征,包括:
根据时序顺序连接所述坐标系中的所述时序监测数据,得到数据分布曲线,获得所述时序监测数据在所述数据分布曲线中的波峰点和波谷点作为数据转折点,计算所有所述数据转折点距所述时序拟合直线的距离值的和值作为距离特征和值;
确定超出预设数值范围的所述时序监测数据的数量为第一数量,将所述第一数量与所述数据分布曲线中所有所述时序监测数据的数量的比值作为数量特征比值;
将所述距离特征和值、所述数量特征比值和所述时序拟合直线的斜率作为所述时序拟合特征。
4.如权利要求3所述的方法,其特征在于,所述根据所述时序拟合特征,确定所述时序监测数据的趋势变化程度,包括:
确定所述时序拟合直线的斜率的绝对值和第一预设权重值的乘积为第一趋势变化因子;
确定所述数量特征比值和第二预设权重值的乘积为第二趋势变化因子;
确定所述距离特征和值和第三预设权重值的乘积为第三趋势变化因子;
将所述第一趋势变化因子和所述第二趋势变化因子的和值与所述第三趋势变化因子的比值作为所述趋势变化程度。
5.如权利要求4所述的方法,其特征在于,所述根据所述趋势变化程度获得相同周期不同物联网数据服务器监测点的所述时序监测数据的数据优先级,包括:
按照数值由大到小的顺序,对相同周期不同物联网数据服务器监测点的所述时序监测数据的所述趋势变化程度进行排序,得到排序序列,将所述排序序列中所述趋势变化程度的索引作为所述时序监测数据的所述数据优先级。
6.如权利要求1所述的方法,其特征在于,所述根据所述数据优先级,分别对相同周期不同物联网数据服务器监测点的所述时序拟合直线的斜率和所述数据均值进行编码处理,生成数据变化趋势编码,包括:
根据所述数据优先级,对所述时序拟合直线的斜率进行霍夫曼编码得到第一编码;
根据所述数据优先级,对所述数据均值进行霍夫曼编码得到第二编码;
组合所述第一编码和所述第二编码得到所述数据变化趋势编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310075099.0A CN116232935B (zh) | 2023-02-07 | 2023-02-07 | 一种物联网监测大数据传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310075099.0A CN116232935B (zh) | 2023-02-07 | 2023-02-07 | 一种物联网监测大数据传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116232935A true CN116232935A (zh) | 2023-06-06 |
CN116232935B CN116232935B (zh) | 2023-12-15 |
Family
ID=86579946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310075099.0A Active CN116232935B (zh) | 2023-02-07 | 2023-02-07 | 一种物联网监测大数据传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116232935B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116913057A (zh) * | 2023-09-12 | 2023-10-20 | 西安中创博远网络科技有限公司 | 基于物联网的畜牧养殖异常预警系统 |
CN118118367A (zh) * | 2024-04-30 | 2024-05-31 | 浪潮通用软件有限公司 | 一种物联网时序数据的凝时回放方法、设备及介质 |
CN118152740A (zh) * | 2024-05-11 | 2024-06-07 | 山东未来集团有限公司 | 一种基于绿色能源支撑的算网数据可视化方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923569A (zh) * | 2010-07-09 | 2010-12-22 | 南京朗坤软件有限公司 | 一种实时数据库的结构类型数据的存储方法 |
CN106296343A (zh) * | 2016-08-01 | 2017-01-04 | 王四春 | 一种基于互联网和大数据的电子商务交易监测方法 |
CN114564676A (zh) * | 2022-01-25 | 2022-05-31 | 浙江数秦科技有限公司 | 一种提高区块链网络数据传输效率的方法 |
CN115219067A (zh) * | 2022-09-20 | 2022-10-21 | 金乡县成启仓储服务有限公司 | 一种用于大蒜仓储实时状态监测方法 |
-
2023
- 2023-02-07 CN CN202310075099.0A patent/CN116232935B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923569A (zh) * | 2010-07-09 | 2010-12-22 | 南京朗坤软件有限公司 | 一种实时数据库的结构类型数据的存储方法 |
CN106296343A (zh) * | 2016-08-01 | 2017-01-04 | 王四春 | 一种基于互联网和大数据的电子商务交易监测方法 |
CN114564676A (zh) * | 2022-01-25 | 2022-05-31 | 浙江数秦科技有限公司 | 一种提高区块链网络数据传输效率的方法 |
CN115219067A (zh) * | 2022-09-20 | 2022-10-21 | 金乡县成启仓储服务有限公司 | 一种用于大蒜仓储实时状态监测方法 |
Non-Patent Citations (1)
Title |
---|
罗亮;闫慧敏;牛忠恩;: "农田生产力监测中3种多源遥感数据融合方法的对比分析", 地球信息科学学报, no. 02 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116913057A (zh) * | 2023-09-12 | 2023-10-20 | 西安中创博远网络科技有限公司 | 基于物联网的畜牧养殖异常预警系统 |
CN116913057B (zh) * | 2023-09-12 | 2023-12-01 | 西安中创博远网络科技有限公司 | 基于物联网的畜牧养殖异常预警系统 |
CN118118367A (zh) * | 2024-04-30 | 2024-05-31 | 浪潮通用软件有限公司 | 一种物联网时序数据的凝时回放方法、设备及介质 |
CN118152740A (zh) * | 2024-05-11 | 2024-06-07 | 山东未来集团有限公司 | 一种基于绿色能源支撑的算网数据可视化方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116232935B (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116232935B (zh) | 一种物联网监测大数据传输方法 | |
CN112734128B (zh) | 一种基于优化rbf的7日电力负荷峰值预测方法 | |
CN112186761B (zh) | 一种基于概率分布的风电功率场景生成方法及系统 | |
CN113537649B (zh) | 基于神经网络与动态模式分解的电网负荷预测方法及系统 | |
CN110728320A (zh) | 一种基于自编码和聚类结合的水质监测预警方法及系统 | |
CN116827350B (zh) | 基于云边协同的灵活用工平台智能监管方法及系统 | |
CN115968088A (zh) | 隧道智慧调光方法、系统及计算机储存介质 | |
CN112352523A (zh) | 一种基于智能决策的茶园水肥灌溉控制方法和系统 | |
CN117273284A (zh) | 一种面向企业用电平衡的异常数据监测系统 | |
CN114971005A (zh) | 基于lstm与差分回归模型动态加权的海湾水温组合预测方法 | |
CN113127464B (zh) | 农业大数据环境特征处理方法、装置及电子设备 | |
CN114186733A (zh) | 一种短期负荷预测方法和装置 | |
CN113139698A (zh) | 负荷预测方法、装置及设备 | |
CN115034422A (zh) | 基于波动识别和误差修正的风电短期功率预测方法和系统 | |
CN117350161A (zh) | 一种基于条件生成对抗网络的风电功率极端场景生成方法 | |
CN109886538B (zh) | 基于动态监测数据的铁路信号设备质量评价方法及装置 | |
CN116975744A (zh) | 基于Scikit-learn隔离森林算法的建筑碳排放异常检测方法及系统 | |
CN106897771B (zh) | 一种基于混沌遗传算法的新能源样板机选择方法及系统 | |
CN112803403B (zh) | 基于时频特征的海上风电集群效应多层级评估方法 | |
CN115034128A (zh) | 一种智慧风电场智慧风电场风电机组评价方法 | |
CN115564093A (zh) | 一种面向化工区工业的用水预测、预警方法 | |
CN113988685A (zh) | 一种基于电力大数据的数字产业发展指数测算方法 | |
CN112232678A (zh) | 一种基于云模型的地区级源网荷系统评估方法 | |
CN115114983B (zh) | 基于大数据设备电量数据采集分析方法、计算机系统 | |
CN117053619B (zh) | 一种冷却塔运行监测系统及控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231121 Address after: 518000 World Trade Plaza 101-1, Funan Community, Futian Street, Futian District, Shenzhen, Guangdong Province Applicant after: SHENZHEN XINGHAI IOT TECHNOLOGY Co.,Ltd. Address before: 450000 no.379, north section of Mingli Road, Zhengdong New District, Zhengzhou City, Henan Province Applicant before: Henan University |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |