CN116455941B - 基于物联网的室内环境多源数据传输方法及系统 - Google Patents

Abstract

本发明涉及数据传输技术领域，提出了基于物联网的室内环境多源数据传输方法及系统，包括：获取源数据和监测数据，根据检测数据和相邻检测数据的差异得到波动变化参数和趋势变化参数；基于此得到归一特征并获得波动区间；获得偏度，根据波动区间与相邻两个波动区间的均值和偏度的差异得到局部相似性，根据波动区间的熵值和源数据熵值以及局部相似性得到每个波动区间的传输重要性；根据传输重要性将源数据的所有波动区间分类，基于此进行编码压缩得到压缩数据；将压缩数据进行传输，完成对室内环境的监测。本发明解决了正常数据与异常数据结合压缩在数据分析时对算力要求较大。

Description

基于物联网的室内环境多源数据传输方法及系统

技术领域

本发明涉及数据传输技术领域，具体涉及基于物联网的室内环境多源数据传输方法及系统。

背景技术

随着物联网技术的发展，使用基于物联网的多源头设施、感应器对于室内环境的实时监测带来极大的便利性。工业生产中的园区内多种设备接入物联网，如配电房、水泵房、电梯等重要设施，通常设置有电力、供水、温度等传感器和监控摄像头，用于对重点区域监控以及管理。

园区设备较多使得采集的数据为多源或多维度的数据，导致监测到的数据量极大，在多源数据的传输过程中通常需要对数据压缩。现有的压缩方法多是根据数据中各个字符、字符组的重复性对数据压缩，并不考虑多源数据的之间的关联性，使得数据在后续根据数据对设备监控管理时需要将所有数据解压缩分析，造成系统资源的浪费，且正常数据与异常数据结合压缩在数据分析时对算力要求较大。

发明内容

本发明提供基于物联网的室内环境多源数据传输方法，以解决正常数据与异常数据结合压缩在数据分析时对算力要求较大的问题，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了基于物联网的室内环境多源数据传输方法，该方法包括以下步骤：

获取源数据，所述源数据为时序序列；

将源数据中的每个数据记为监测数据，根据监测数据与其相邻靠前的监测数据的差异表示为监测数据的波动变化参数；获得每个监测数据的一阶导数，以一个监测数据为中点得到局部范围，根据监测数据与相邻靠前监测数据的一阶导数的差异与局部范围内所有监测数据的一阶导数差异的均值得到监测数据的趋势变化参数；

根据监测数据的波动变化参数和趋势变化参数获得分段点，根据分段点将源数据分为若干个波动区间；

根据波动区间的均值和方差得到偏度，将任意一个波动区间为第一波动区间，根据第一波动区间与其相邻两个波动区间的均值和偏度的差异得到第一波动区间和相邻区间的局部相似性，计算每个源数据对应的熵值和源数据中波动区间的熵值，根据第一波动区间的熵值和源数据熵值的比值得到第一比值，根据第一比值、第一波动区间的局部相似性得到每个波动区间的传输重要性；

根据传输重要性将源数据的所有波动区间分类得到若干区间类，对每个区间类构建一个编码字典进行编码压缩得到压缩数据；

将压缩数据进行传输，完成对室内环境的监测。

优选的，所述源数据中的第一个监测数据的波动变化参数与第二个监测数据的波动变化参数相同。

优选的，所述根据监测数据与相邻靠前监测数据的一阶导数的差异与局部范围内所有监测数据的一阶导数差异的均值得到监测数据的趋势变化参数的方法为：

式中，f_i,j为第i个源数据中第j个监测数据的一阶导数，f_i,j-1为第i个源数据中第j-1个监测数据的一阶导数，f_i,j-a为第i个源数据中第j-a个监测数据的一阶导数，f_i,j-a-1为第i个源数据中第j-a-1个监测数据一阶导数，n为局部范围的半区间的大小，2n+1为局部范围的大小，γ_i,j为第i个源数据中第j个监测数据的趋势变化参数。

优选的，所述根据监测数据的波动变化参数和趋势变化参数获得分段点，根据分段点将源数据分为若干个波动区间的方法为：

将波动变化参数和趋势变化参数乘积归一化后记为归一特征，将监测数据的归一特征大于先验分段阈值的检测数据记为分段点，将相邻两个分段点之间的检测数据作为一个波动区间，每个波动区间只存在一个分段点，分段点在波动区间的最后一位。

优选的，所述根据第一波动区间与其相邻两个波动区间的均值和偏度的差异得到第一波动区间和相邻区间的局部相似性的方法为：

式中，表示第i个数据源中第k个波动区间的监测数据的均值，/>表示第i个数据源中第k-1个波动区间的监测数据的均值，/>表示第i个数据源中第k+1个波动区间的监测数据的均值，-为平均标识符，/>为第i个数据源中第k个波动区间的偏度，/>为第i个数据源中第k-1个波动区间的偏度，/>为第i个数据源中第k+1个波动区间的偏度，exp()为以自然常数为底的指数函数，/>为波动区间与相邻区间的局部相似性。

优选的，所述根据第一波动区间的熵值和源数据熵值的比值得到第一比值，根据第一比值、第一波动区间的局部相似性得到每个波动区间的传输重要性的方法为：

式中，为第i个源数据中第k个波动区间的局部相似性，/>为第i个源数据的第k个波动区间的熵值，h_i为第i个源数据的熵值，K_i为第i个源数据的波动区间的数量，exp()为以自然常数为底的指数函数，/>为第i个源数据中第k个波动区间的传输重要性，/>为第一比值。

第二方面，本发明实施例还提供了基于物联网的室内环境多源数据传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。

本发明的有益效果是：本发明相较于现有技术中对数据压缩并不考虑多源数据在数据分析过程中仅针对数据中波动程度较大的数据，而重要的波动数据存在于多源数据内部，使得在数据分析过程中需要将所有数据解压缩，造成算力与存储性能的浪费问题，本方法通过对多源数据自适应分区，分析数据内区间的局部相似性和区间内字符的随机分布得到数据区间的传输必要性，通过必要性对数据聚类得到基于传输重要性的分类，数据分类中的数据属于近似数据或重要性近似的数据，对数据分类构建编码字典压缩，达到将近似的数据或重要的数据使用同一编码归类，解决数据分析过程中对所有数据解压缩、浪费系统算力的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于物联网的室内环境多源数据传输方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例提供的基于物联网的室内环境多源数据传输方法流程图，该方法包括以下步骤：

步骤S001，采集每个源数据对应的时序序列。

通过物联网监控模块对室内环境中的物联网设备采集多源监控数据，包括环境温度、电源温度、用电设备的电压电流、监控视频等多源数据，由于数据来源不同且数据中存在字符、文字、视频、图像等多格式数据，对于每一个格式数据，将每个源数据作为一个时序序列，例如环境温度时序序列、电源温度时序序列、用电设备的电压电流时序序列、监控视频中的图像帧序列，采集数据时的时间间隔为1s，即每过1s采集一次数据；特殊需要说明的是由于监控视频中的图像帧序列中的每个时序数据是一张图像，本实施例为例方便后续叙述，本实施例将监控视频中每个图像的所有像素点的灰度值均值随时间的变化的时序序列作为一个源数据，并参与后续的计算分析。

至此，获得了源数据，源数据为时序序列。

步骤S002，获得监测数据的波动变化参数和趋势变化参数，得到归一特征，根据归一特征和监测数据的值将源数据分为若干波动区间。

将源数据中的每个数据记为监测数据，监测数据存在一定的趋势区间，即在一定区间内监测数据呈现正常波动，而监测数据的剧烈波动会造成监测数据波动的改变，异常监测数据会改变正常监测数据的波动，使得监测数据存在突变或分布范围发生变化，造成监测数据的趋势发生变化，因此通过监测数据波动的变化对源数据划分区间。

具体的，将采集到的第i个源数据记为A_i，A_i是一个连续的是时序序列，计算源数据A_i中每个监测数据的波动变化参数，公式如下：

d_i,j＝|g_i,j-g_i,j-1|

式中，d_i,j为第i个源数据中第j个监测数据的波动变化参数，g_i,j为第i个源数据中第j个监测数据的值，g_i,j-1为第i个源数据中第j-1个监测数据的值，相邻两个监测数据的值差异越大，表示数据在该时序的波动变化参数越大，值得说明的是，j≥2，且令第一个监测数据的波动变化参数和第二个监测数据的波动变化参数相同。

监测数据中不仅存在数值的波动变化，还存在趋势的变化，可能存在一段监测数据内波动变化频繁且较大，但实际波动存在正负抵消，实际数据的趋势并未发生改变，因此设定局部范围的半区间大小为n，在本实施例中n为3，其中局部范围为以一个监测数据为中点的一段监测数据，半区间n表示监测局部范围中检测数据一侧的大小，例如以一个监测数据为中点，得到大小为7的局部范围，其中监测数据点左侧半区间为3，右侧半区间为3，即n为3。因为监测数据在一个序列中，求监测数据的一阶导数可以表示趋势变化，序列求导为公知技术，在此不做赘述，因此可以根据每个监测数据的局部范围内的趋势变化得到每个监测数据的趋势变化参数，公式如下：

式中，f_i,j为第i个源数据中第j个监测数据的一阶导数，f_i,j-1为第i个源数据中第j-1个监测数据的一阶导数，f_i,j-a为第i个源数据中第j-a个监测数据的一阶导数，f_i,j-a-1为第i个源数据中第j-a-1个监测数据一阶导数，n为局部范围的半区间的大小，γ_i,j为第i个源数据中第j个监测数据的趋势变化参数，当前趋势即分子相较于局部趋势即分母越大，监测数据的趋势变化参数越大。

表示在第j个监测数据前后2n+1个时序范围内，所有相邻的监测数据之间差异的均值，(f_i,j-f_i,j-1)表示第j个监测数据与相邻监测数据的差异。γ_i,j越大时，即(f_i,j-f_i,j-1)与/>的差别越大时，说明第j个监测数据的差异与局部范围内平均的监测数据差异相比两者差别较大，说明第j个监测数据趋势相较于局部趋势变化越大。

需要说明的是，本实施例中对上述时序序列中的数据进行分析计算时，可能会超出序列的边界，此时本实施例利用二次线性插值的方法将序列超出边界的部分进行插值填充数据，避免不可实施的情况；令X_i,j＝γ_i,j*d_i,j表示第i个源数据中第j个监测数据的第一特征，将第i个源数据中第j个监测数据的第一特征进行归一化处理，本实施例以线性归一化处理为例进行叙述，实施时可采用其他归一化方法，本实施例不进行具体限定，归一化后记为归一特征X_i,j′。

根据每个监测数据的波动变化参数和每个监测数据的归一特征将每个源数据进行分段得到波动区间：

B_i,k＝countifs{g_i,j,X_i,j′<T}

式中，X_i,j′为第i个源数据中的j个监测数据的归一特征，g_i,j为第i个源数据中第j个监测数据的值，countifs()为区间选取函数，B_i,k为第i个源数据的第k个波动区间。T为先验分段阈值，在本实施例中默认值取T＝0.7。

值得说明的是，countifs()为以X_i,j′≥T的监测数据为分段点，将分段点和X_i,j′<T的监测数据分为一个波动区间，每个波动区间只存在一个分段点，以下举例说明，例如：源数据A_i为：

A_i＝{0.5,0.6,0.7,0.8,0.4,0.2,0.5,0.9,0.6,0.4,0.1,0.8,0.9}；

A_i分为多个波动区间后，每个波动区间分别为：

B_i,1＝{0.5,0.6,0.7}；

B_i,2＝{0.8}；

B_i,3＝{0.4,0.2,0.5,0.9}；

B_i,4＝{0.6,0.4,0.1,0.8}；

B_i,5＝{0.9}；

式中，B_i,1为第i个源数据的第1个波动区间，B_i,2为第i个源数据的第2个波动区间，B_i,3为第i个源数据的第3个波动区间，B_i,4为第i个源数据的第4个波动区间，B_i,5为第i个源数据的第5个波动区间。

对于第i个源数据，在采集的监测数据中，存在趋势变化的监测数据或存在突变的监测数据被认为是监测数据的波动区间的分段数据点，相邻两个分段数据点间的波动区间中的监测数据近似且波动程度近似。

至此，得到了每个源数据的若干个波动区间。

步骤S003，根据波动空间的均值和偏度的差异得到波动区间的局部相似性，根据局部相似性和波动区间的熵值、源数据的熵值得到波动空间的传输重要性，根据传输重要性完成压缩。

根据监测数据分析方式可知，相较于平稳、趋势接近的监测数据，波动的监测数据对监测数据分析更重要，在一个源数据内相较于相邻区间中监测数据波动较大的监测数据属于异常监测数据的可能性更大；在源数据内相较于其他监测数据的差异越大则监测数据为异常监测数据的可能性更大。但传输过程中需要对所有监测数据压缩，不同数量的监测数据构成的数据区间使用相同的编码字典对数据编码，容易造成编码字典过长从而降低监测数据的压缩效率。

具体的，计算第i个源数据中第k个波动区间B_i,k的所有监测数据的均值和所有监测数据的方差/>并通过均值和方差计算波动区间的偏度/>偏度的计算方法是公知的，本实施例不再具体赘述，构建波动区间与相邻区间的局部相似性模型，具体如下：

式中，表示第i个数据源中第k个波动区间的监测数据的均值，/>表示第i个数据源中第k-1个波动区间的监测数据的均值，/>表示第i个数据源中第k+1个波动区间的监测数据的均值，-为平均标识符，/>为第i个数据源中第k个波动区间的偏度，/>为第i个数据源中第k-1个波动区间的偏度，/>为第i个数据源中第k+1个波动区间的偏度，exp()为以自然常数为底的指数函数，/>为波动区间与相邻区间的局部相似性。

监测数据的均值为波动区间内监测数据的整体趋势，相邻区间的整体趋势差异越大，则表示该区间相较于相邻区间的相似程度越小；波动区间的偏度表示相较于监测数据的均值，波动区间内监测数据主要分布的位置，即波动区间的监测数据的主体分布，主体分布越近似，则越趋近于1。通过波动区间的整体趋势和主体分布计算波动区间相较于相邻区间的局部相似性/> 越大表示波动区间与相邻的两个其他波动区间近似，当且仅当波动区间与相邻区间完全相同时，数据的趋势、主体分布相同时/>通过波动区间与相邻区间的监测数据计算得到局部相似性，局部相似性为监测数据的重要异常程度，相似性越小，表示波动区间之间的波动程度越大，即波动区间内的监测数据越重要。

现有技术对数据压缩主要根据数据的重复性构建编码字典，因此数据的压缩效率取决于数据中字符的重复率与分布，计算第i个源数据的熵值和第i个源数据中第k个波动区间的熵值，基于此构建每个波动区间的传输重要性，公式如下：

式中，为第i个源数据中第k个波动区间的局部相似性，/>为第i个源数据的第k个波动区间的熵值，h_i为第i个源数据的熵值，K_i为第i个源数据的波动区间的数量，exp()为以自然常数为底的指数函数，/>为第i个源数据中第k个波动区间的传输重要性。

熵值表示源数据中监测数据的随机程度，源数据的熵值与其内部波动区间的熵值差异越大，即越大，说明波动区间的监测数据与源数据的随机程度差异越大，波动区间的数量K_i越多即源数据内突变或异常的数据点越多，源数据整体的熵值占比越小；局部相似性/>取值越小，则波动区间k与邻接波动区间差异越大，则传输重要性/>越大。当波动区间的监测数据的局部相似性/>越趋近于1，熵值差异/>越小，区间个数K_i＝1时，传输重要性/>取到最小值e^-2。

至此，通过对监测数据的局部相似性分析和第i个源数据的监测数据随机分布分析得到每个波动区间的传输重要性。

对于第i个源数据，将所有波动区间的传输重要性构成一个序列，利用区域生长法对波动区间的传输重要性进行区间分类得到区间类，在分类时，将每一个序列看作一个图像进行运算，利用LZW对每个区间类构建一个编码字典，利用编码字典对每个区间类内的所有波动区间的所有监测数据进行编码压缩，获得每个区间类对应的压缩后的数据，所有区间类对应的压缩后的数据作为所有源数据的压缩结果，进行传输。

值得说明的是，对于图像源数据，分类后是将所有图像进行编码加密。

至此完成对源数据的加密，得到压缩数据。

步骤S004，将压缩数据传输完成对室内环境的监测。

通过上述步骤得到压缩后的多源数据，通过本地物联网设备对数据分析压缩后，使用物联网传输优先传输重要性强的数据分类至互联网监测系统，用于对室内环境设备的监测监控与数据分析。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于物联网的室内环境多源数据传输方法，其特征在于，该方法包括以下步骤：

获取源数据，所述源数据为时序序列；

将源数据中的每个数据记为监测数据，根据监测数据与其相邻靠前的监测数据的差异表示为监测数据的波动变化参数；获得每个监测数据的一阶导数，以一个监测数据为中点得到局部范围，根据监测数据与相邻靠前监测数据的一阶导数的差异与局部范围内所有监测数据的一阶导数差异的均值得到监测数据的趋势变化参数；

根据监测数据的波动变化参数和趋势变化参数获得分段点，根据分段点将源数据分为若干个波动区间；

根据波动区间的均值和方差得到偏度，将任意一个波动区间为第一波动区间，根据第一波动区间与其相邻两个波动区间的均值和偏度的差异得到第一波动区间和相邻区间的局部相似性，计算每个源数据对应的熵值和源数据中波动区间的熵值，根据第一波动区间的熵值和源数据熵值的比值得到第一比值，根据第一比值、第一波动区间的局部相似性得到每个波动区间的传输重要性；

根据传输重要性将源数据的所有波动区间分类得到若干区间类，对每个区间类构建一个编码字典进行编码压缩得到压缩数据；

将压缩数据进行传输，完成对室内环境的监测；

所述根据监测数据与相邻靠前监测数据的一阶导数的差异与局部范围内所有监测数据的一阶导数差异的均值得到监测数据的趋势变化参数的方法为：

式中，f_i,j为第i个源数据中第j个监测数据的一阶导数，f_i,j-1为第i个源数据中第j-1个监测数据的一阶导数，f_i,j-a为第i个源数据中第j-a个监测数据的一阶导数，f_i,j-a-1为第i个源数据中第j-a-1个监测数据一阶导数，n为局部范围的半区间的大小，2n+1为局部范围的大小，γ_i,j为第i个源数据中第j个监测数据的趋势变化参数。

2.根据权利要求1所述的基于物联网的室内环境多源数据传输方法，其特征在于，所述源数据中的第一个监测数据的波动变化参数与第二个监测数据的波动变化参数相同。

3.根据权利要求1所述的基于物联网的室内环境多源数据传输方法，其特征在于，所述根据监测数据的波动变化参数和趋势变化参数获得分段点，根据分段点将源数据分为若干个波动区间的方法为：

将波动变化参数和趋势变化参数乘积归一化后记为归一特征，将监测数据的归一特征大于先验分段阈值的检测数据记为分段点，将相邻两个分段点之间的检测数据作为一个波动区间，每个波动区间只存在一个分段点，分段点在波动区间的最后一位。

4.根据权利要求1所述的基于物联网的室内环境多源数据传输方法，其特征在于，所述根据第一波动区间与其相邻两个波动区间的均值和偏度的差异得到第一波动区间和相邻区间的局部相似性的方法为：

式中，表示第i个数据源中第k个波动区间的监测数据的均值，/>表示第i个数据源中第k-1个波动区间的监测数据的均值，/>表示第i个数据源中第k+1个波动区间的监测数据的均值，^-为平均标识符，/>为第i个数据源中第k个波动区间的偏度，/>为第i个数据源中第k-1个波动区间的偏度，/>为第i个数据源中第k+1个波动区间的偏度，exp()为以自然常数为底的指数函数，/>为波动区间与相邻区间的局部相似性。

5.根据权利要求1所述的基于物联网的室内环境多源数据传输方法，其特征在于，所述根据第一波动区间的熵值和源数据熵值的比值得到第一比值，根据第一比值、第一波动区间的局部相似性得到每个波动区间的传输重要性的方法为：

式中，为第i个源数据中第k个波动区间的局部相似性，/>为第i个源数据的第k个波动区间的熵值，h_i为第i个源数据的熵值，K_i为第i个源数据的波动区间的数量，exp()为以自然常数为底的指数函数，/>为第i个源数据中第k个波动区间的传输重要性，/>为第一比值。

6.基于物联网的室内环境多源数据传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任意一项所述传输方法的步骤。