CN116910285B - 基于物联网的智慧交通数据优化存储方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及基于物联网的智慧交通数据优化存储方法，包括：获取不同类型的智慧交通数据；根据智慧交通数据的各个灰度级出现的频率构建霍夫曼树获取智慧交通数据的各个灰度级的编码长度；根据数据调整必要性获取所有需要拆分的灰度级；对所有需要拆分的灰度级进行自适应拆分得到最终拆分组合；根据最终拆分组合对智慧交通数据进行编码得到最终拆分后的霍夫曼树对智慧交通数据进行编码压缩存储。本发明对数据进行自适应拆分，通过将数据拆分为数据组合增大某种数据出现的频率，同时减小数据类型，增大数据的冗余程度，对拆分后的数据进行统计编码压缩，令最终的压缩率尽可能大，减小存储空间的占用率。

Description

基于物联网的智慧交通数据优化存储方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于物联网的智慧交通数据优化存储方法。

背景技术

随着物联网技术的不断发展，智慧交通系统已经成为了城市管理的重要组成部分。智慧交通系统通过采集和分析交通数据，可以为城市交通管理提供更加精准和有效的决策支持，从而提高城市交通的效率和安全性。

然而目前，传统的数据存储方式存在一些问题，如存储容量不足、数据安全性差、数据处理效率低等。即在利用霍夫曼编码对智慧交通数据进行存储时，最终的压缩率取决于智慧交通数据的数据分布频率，对于数据种类较多且分布较为均匀的数据时，压缩效率较差，同时在对数据进行压缩时，均是针对原始数据进行处理的，压缩后数据的安全性较低。

发明内容

本发明提供基于物联网的智慧交通数据优化存储方法，以解决现有的问题。

本发明的基于物联网的智慧交通数据优化存储方法采用如下技术方案：

本发明一个实施例提供了基于物联网的智慧交通数据优化存储方法，该方法包括以下步骤：

获取不同类型的智慧交通数据；

获取图像类型的智慧交通数据的各个灰度级出现的频率，根据智慧交通数据的各个灰度级出现的频率构建霍夫曼树获取智慧交通数据的各个灰度级的编码长度；

根据智慧交通数据的各个灰度级出现的频率得到各个灰度级的必要性系数；根据各个灰度级的必要性系数获取智慧交通数据中每个灰度级的数据调整必要性；根据数据调整必要性获取智慧交通数据中所有需要拆分的灰度级；对所有需要拆分的灰度级进行自适应拆分得到各个灰度级的多种拆分组合；根据所有需要拆分的灰度级的编码长度得到所有拆分组合的优选程度；根据所有拆分组合与智慧交通数据的各个灰度级比较得到拆分组合的可行性；根据各个拆分组合的优选程度和各个拆分组合的可行性得到所有需要拆分的灰度级的最终拆分组合；根据最终拆分组合对智慧交通数据进行编码得到最终拆分后的霍夫曼树；

根据最终拆分后的霍夫曼树对图像类型的智慧交通数据进行编码压缩，得到压缩结果，将压缩结果存储。

优选的，所述获取图像类型的智慧交通数据的各个灰度级出现的频率，根据智慧交通数据的各个灰度级出现的频率构建霍夫曼树获取智慧交通数据的各个灰度级的编码长度，包括的具体步骤如下：

根据图像类型的智慧交通数据中的灰度级出现的频率进行霍夫曼编码构建的霍夫曼树；通过分析霍夫曼树得到智慧交通数据的各个灰度级的编码长度。

优选的，所述根据智慧交通数据的各个灰度级出现的频率得到各个灰度级的必要性系数，包括的具体步骤如下：

将图像类型的智慧交通数据按照灰度级出现频率从大到小进行排列，则各个灰度级的必要性系数的获取方式为：

式中，表示从大到小第/>类灰度级出现的频率；/>表示从大到小第/>类灰度级出现的频率；/>表示第k个灰度级的必要性系数。

优选的，所述根据各个灰度级的必要性系数获取智慧交通数据中每个灰度级的数据调整必要性的具体公式如下：

式中，表示智慧交通数据中第/>个灰度级的数据调整必要性；/>表示智慧交通数据中出现的灰度级的总个数；/>表示第k个灰度级的必要性系数。

优选的，所述对所有需要拆分的灰度级进行自适应拆分得到各个灰度级的多种拆分组合，包括的具体步骤如下：

对于霍夫曼树最深层的任意一个叶子节点，获取该叶子节点的灰度级，将该灰度级/>，拆分为若干个拆分组合，其中的任意一种拆分组合记为/>，其中/>。

优选的，所述根据所有需要拆分的灰度级的编码长度得到所有拆分组合的优选程度的具体公式如下：

式中,表示拆分组合为/>的优选程度，/>表示被拆分的灰度级/>的编码长度；/>分别表示拆分后的灰度级/>所对应的编码长度。

优选的，所述根据所有拆分组合与智慧交通数据的各个灰度级比较得到拆分组合的可行性的具体公式如下：

式中，表示拆分组合的可行性；/>表示滑窗个数；/>表示第/>个滑窗中灰度级与拆分组合的汉明距离。

优选的，获取滑窗，包括的具体步骤如下：

预设两个参数，建立大小为/>，步长为/>的滑窗，在图像类型的智慧交通数据上进行滑窗操作，每滑动一次得到一个滑窗。

优选的，所述根据最终拆分组合对智慧交通数据进行编码得到最终拆分后的霍夫曼树，包括的具体步骤如下：

获取霍夫曼树最深层叶子节点，将该叶子节点对应的灰度级的最终拆分组合记为（X,Y），获取灰度级为X对应的编码，记为第一编码，再获取灰度级为Y对应的编码，记为第二编码，那么将第一编码与第二编码作为该叶子节点对应的灰度级的编码，并且将该叶子节点删除，获得第一次拆分后的霍夫曼树；对拆分后的霍夫曼树进行迭代拆分，直至最深层叶子节点不存在最终拆分组合，进而停止操作，得到最终拆分后的霍夫曼树。

优选的，所述根据最终拆分后的霍夫曼树对图像类型的智慧交通数据进行编码压缩，得到压缩结果，将压缩结果存储，包括的具体步骤如下：

遍历图像类型的智慧交通数据中每个像素点的灰度级，获取该灰度级在最终拆分后的霍夫曼树上对应的编码，遍历完成后获得整个图像类型的智慧交通数据的编码结果，该编码结果就是图像类型的智慧交通数据的压缩结果，将该压缩结果进行存储，解压缩时可利用编码在霍夫曼树上对应的灰度级将编码结果还原为图像类型的智慧交通数据。

本发明的技术方案的有益效果是：通过对采集得到的智慧交通数据进行分析，对数据进行不同程度的拆分，通过拆分增大部分类型数据的频率，从而缩短整体的编码位数，同时还可以破坏原始数据的分布类型，增大数据的安全性。对数据进行自适应拆分，通过将数据拆分为数据组合增大某种数据出现的频率，同时减小字符类型，增大数据的冗余程度，对拆分后的数据进行统计编码压缩，得到最终的压缩数据，令最终的压缩率尽可能大，减小存储空间的占用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于物联网的智慧交通数据优化存储方法的步骤流程图；

图2为本发明基于物联网的智慧交通数据优化存储方法的霍夫曼树示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于物联网的智慧交通数据优化存储方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于物联网的智慧交通数据优化存储方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于物联网的智慧交通数据优化存储方法的步骤流程图，该方法包括以下步骤：

步骤S001:采集智慧交通数据，对采集的数据进行预处理。

需要说明的是，智慧交通是一种以信息化技术为基础，以实现交通系统智能化、高效化、安全化为目标的交通系统。物联网技术在智慧交通系统中的应用可以实现对交通流量、车辆位置、路况、交通信号灯等数据的实时采集和处理，为交通管理提供更准确、及时、全面的数据支持，其中智慧交通数据分为以下类型：

1、车辆位置监控：通过物联网设备采集车辆的GPS位置信息，实现对车辆位置的实时监控和追踪。

2、交通流量监测：通过物联网设备采集路段上通过车辆的数量和速度等信息，实现对交通流量的实时监测和分析。

3、路况监测：通过物联网设备采集路面的温度、湿度、路面状况等信息，实现对路况的实时监测和预测。

4、交通信号灯控制：通过物联网设备采集交通信号灯的状态和交通流量信息，实现对交通信号灯的自适应控制，提高交通流畅度和安全性。

5、交通事故预警：通过物联网设备采集车辆碰撞、急刹车等信息，实现对交通事故的实时监测和预警，以便及时采取救援措施。

进一步需要说明的是，采集对应的智慧交通数据，采集的智慧交通数据类型是不同的，因此在对采集的数据进行处理时，需要进行分类，对不同类型的数据进行相同处理。

具体的，本实施例是以采集的图像数据为例，对于其余类型的数据的处理方式相同。

至此，完成采集智慧交通数据操作，获取不同类型的智慧交通数据。

步骤S002:获取图像数据中各个灰度级出现的频率，并采用传统霍夫曼编码进行编码。

需要说明的是，本实施例是以图像数据为例，图像中像素点的灰度级为0-255，共256个灰度级，采用霍夫曼进行编码统计时，叶子节点数即为灰度级总数，而图像的灰度统计直方图中，部分灰度级的统计频率较低，因此通过霍夫曼编码后对应的编码长度较长，若将出现频率较小的字符拆分为出现频率较大的字符组合，可令最终的编码长度变短，但拆分后会破坏原始字符的分布，若拆分后的灰度级组合与原始灰度级组合相同时，会导致难以还原数据，故在进行字符拆分时需要保证拆分后的字符组合在原始数据中不存在且拆分后令编码字符变短，从而保证原始数据可还原的情况下大大增大数据的压缩率。进而在对重复数据进行处理时，对每一个字符的处理方式均相同，因此可根据重复性进行融合，对于重复部分仅处理一个字符，其他字符的处理方法相同，以达到简化算法、增大压缩率的目的。

具体的，根据图像类型的智慧交通数据中的灰度级出现的频率进行霍夫曼编码，霍夫曼编码过程为：

1、统计灰度级频率：统计图像中每个灰度级出现的频率。

2、构建霍夫曼树：将灰度级频率作为权值，构建一棵霍夫曼树。构建方法为，将所有灰度级频率作为叶子节点，每次取出频率最小的两个节点作为左右子树，将它们的频率相加作为父节点的频率，直到所有节点都被合并。

3、分配编码：从根节点开始，对每个叶子节点分配一个唯一的编码。从根节点开始，每次走到左子树就在编码的末尾添加0，每次走到右子树就在编码的末尾添加1。最终，每个灰度级都有一个唯一的编码。

4、压缩数据：使用分配的编码将原始数据压缩。将每个灰度级用其对应的编码替换，得到压缩后的数据。

根据上述方法对图像类型的智慧交通数据进行霍夫曼编码构建的霍夫曼树如图2所示；

通过分析霍夫曼树得到智慧交通数据的各个灰度级的编码长度；

至此，获取到智慧交通数据的各个灰度级出现的频率和各个灰度级的编码长度。

步骤S003:获取智慧交通数据的数据调整必要性；根据数据调整必要性获取智慧交通数据中所有需要拆分的灰度级；对所有需要拆分的灰度级进行自适应拆分得到最终拆分组合；根据最终拆分组合对智慧交通数据进行编码得到最终拆分后的霍夫曼树。

1. 获取智慧交通数据中所有需要拆分的灰度级。

需要说明的是，本实施例所针对的是图像类型的智慧交通数据；进而可以根据智慧交通数据的各个灰度级出现的频率构建霍夫曼树；发现霍夫曼树的层深越深，调整后压缩率的增益越大，因此需要对图像类型的智慧交通数据进行判断，计算图像类型的智慧交通数据中的数据的数据调整必要性。

预设一个参数阈值，其中本实施例以/>例进行叙述，本实施例不进行具体限定，其中/>根据具体实施情况而定。

具体的，若当图像类型的智慧交通数据中灰度级为：,其中 />是按照灰度级出现频率从大到小进行排列的，其中/>表示对应灰度级出现的最小频率，其中/>表示出现的灰度级个数，则智慧交通数据的数据调整必要性的计算表达式为：

式中，表示智慧交通数据的中第/>个灰度级的数据调整必要性；/>表示智慧交通数据中出现的灰度级的总个数；/>表示从大到小第/>类灰度级出现的频率；/>表示从大到小第/>类灰度级出现的频率；/>表示第k个灰度级的必要性系数；若所有小于第/>个灰度级频率和小于/>，则霍夫曼树的深度会越深，霍夫曼树的层深越深，采用本实施例优化方法所增加的压缩率越大。

遍历智慧交通数据中的所有灰度级，计算其数据调整必要性，将所有大于等于阈值的灰度级记为需要拆分的灰度级，小于阈值/>的灰度级不予处理。

至此，得到智慧交通数据中所有需要拆分的灰度级。

2. 获取最终拆分后的智慧交通数据。

需要说明的是，出现频率小的灰度级其编码长度会较长，若将出现频率较小的灰度级进行灰度级拆分，拆分为灰度级出现频率较大的灰度级组合，此时较长的灰度级编码会变为较短的灰度级编码组合，进而由此可以减小最终的编码位数；因为在霍夫曼树中，层深越深编码长度越长，故从层深最深处的编码开始。

本实施例的具体实例为：以上述图2霍夫曼树为例，霍夫曼树一共有5层，最深处的编码位数有6位，其中对应的灰度级分别为7、8，以7为例，7可以拆分为1+6、2+5、3+4、4+3、5+2、6+1等6种组合，拆分的目的是要令整体编码变短，即用更短的编码组合表示7的编码，即组合后的编码需要比7本身的编码短，且组合后的编码总长越短，优选程度越大。

具体的，获取霍夫曼树总层数, 霍夫曼树最深处的叶子节点的编码位数记为/>。

对于霍夫曼树最深层的叶子节点，获取该叶子节点的灰度级，将该灰度级/>拆分为若干个拆分组合，其中的任意一种拆分组合记为/>，其中/>。

则对于拆分组合的优选程度计算表达式为：

式中,表示拆分组合为/>的优选程度，/>表示被拆分的灰度级/>的原始编码长度；/>分别表示拆分后的灰度级/>所对应的编码长度；

当时，说明拆分对最终的压缩率没有增益。

时，说明拆分对最终的压缩率是具有增益，所以将该拆分组合的优选程度/>作为阈值，若其他拆分组合的优选程度小于阈值，则不予以考虑该拆分组合。

获取任意一种拆分组合的优选程度，将大于阈值的拆分组合记为目标拆分组合。

需要说明的是，通过上述计算获取需要拆分的灰度级所拆分的每种组合的优选程度，因为拆分后的灰度值最终需要进行还原，故所选组合在原始的图像类型的智慧交通数据中不能存在。

预设两个参，其中本实施例以/>例进行叙述，本实施例不进行具体限定，其中/>根据具体实施情况而定。

具体的，建立大小为，步长为/>的滑窗，在图像类型的智慧交通数据上进行滑窗操作，每滑动一次得到一个滑窗，计算所有滑窗中的灰度级与目标拆分组合的灰度级的汉明距离(用于比较两个二进制数字的差异)，由此获取目标拆分组合的可行性的计算表达式为：

式中，表示目标拆分组合的可行性；/>表示滑窗个数；/>表示第/>个滑窗中灰度级与目标拆分组合的汉明距离；当/>的值大于0时，则说明目标拆分组合在图像类型的智慧交通数据中不存在，则；此时将目标拆分组合记为可选拆分组合；若/>等于0，则说明该组合在原始的图像类型的智慧交通数据中存在，即目标拆分组合不合适，可行性为0，此时将目标拆分组合记为不可选拆分组合。

本实施例将优选程度最大的可选拆分组合中记为灰度级的最终拆分组合；

至此获取霍夫曼树最深层的叶子节点所对应的最终拆分组合；

对于霍夫曼树最深层的叶子节点，该叶子节点的最终拆分组合记为（X,Y），其中X>=Y，那么将该叶子节点对应的灰度级的编码方法如下：

获取霍夫曼树最深层叶子节点，将该叶子节点对应的灰度级的最终拆分组合记为X,Y，获取灰度级为X对应的编码，记为第一编码，再获取灰度级为Y对应的编码，记为第二编码，那么将第一编码与第二编码作为该叶子节点对应的灰度级的编码，并且将该叶子节点删除，获得第一次拆分后的霍夫曼树；对拆分后的霍夫曼树根据步骤S003进行迭代拆分，直至最深层叶子节点不存在最终拆分组合，进而停止操作，得到最终拆分后的霍夫曼树。

值得注意的是，上述组合拆分调整完成后每层的编码长度是不变的，改变的只是对于灰度级的编码，概率分布不同时，也会存在调整后的编码长度发生变化；也存在一种情况导致部分字符的编码变长，但由于频率最大的灰度级的编码长度是减小的，此时减小量是大于增加量的，故该种部分编码变长的情况不会导致最终压缩率变大。

至此，获取到最终拆分后的霍夫曼树。

步骤S004:根据最终拆分后的霍夫曼树对图像类型的智慧交通数据进行编码压缩，得到压缩结果，将压缩结果存储。

通过上述方法对图像类型的智慧交通数据中所有需要拆分的灰度级进行调整，根据最终拆分后的霍夫曼树对图像类型的智慧交通数据进行编码压缩得到压缩结果，将压缩结果存储。

遍历图像类型的智慧交通数据中每个像素点的灰度级，获取该灰度级在霍夫曼树上对应的编码，遍历完成后获得整个图像类型的智慧交通数据的编码结果，该编码结果就是图像类型的智慧交通数据的压缩结果，将该压缩结果进行存储，解压缩时可利用编码在霍夫曼树上对应的灰度级将编码结果还原为图像类型的智慧交通数据。

需要说明的是，在上述编码过程中，如果灰度级所对应节点存在最终拆分组合，那么说明该灰度级是需要拆分的，此时需要将该灰度级对应的编码前面加上标识符，本实施例添加的标识符为“+”；例如如图2所示，灰度级7所对应节点存在最终拆分组合（4，3），4对应的编码为001，3对应的编码为01，那么灰度级7对应的编码为+001 01。在解码是只需将标识符后面的两个编码对应的灰度级相加即可得到被拆分的灰度级。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于物联网的智慧交通数据优化存储方法，其特征在于，该方法包括以下步骤：

获取不同类型的智慧交通数据；

获取图像类型的智慧交通数据的各个灰度级出现的频率，根据智慧交通数据的各个灰度级出现的频率构建霍夫曼树获取智慧交通数据的各个灰度级的编码长度；

根据智慧交通数据的各个灰度级出现的频率得到各个灰度级的必要性系数；根据各个灰度级的必要性系数获取智慧交通数据中每个灰度级的数据调整必要性；根据数据调整必要性获取智慧交通数据中所有需要拆分的灰度级；对所有需要拆分的灰度级进行自适应拆分得到各个灰度级的多种拆分组合；根据所有需要拆分的灰度级的编码长度得到所有拆分组合的优选程度；根据所有拆分组合与智慧交通数据的各个灰度级比较得到拆分组合的可行性；根据各个拆分组合的优选程度和各个拆分组合的可行性得到所有需要拆分的灰度级的最终拆分组合；根据最终拆分组合对智慧交通数据进行编码得到最终拆分后的霍夫曼树；

根据最终拆分后的霍夫曼树对图像类型的智慧交通数据进行编码压缩，得到压缩结果，将压缩结果存储；

所述根据智慧交通数据的各个灰度级出现的频率得到各个灰度级的必要性系数，包括的具体步骤如下：

将图像类型的智慧交通数据按照灰度级出现频率从大到小进行排列，则各个灰度级的必要性系数的获取方式为：

式中，表示从大到小第/>类灰度级出现的频率；/>表示从大到小第/>类灰度级出现的频率；/>表示第k个灰度级的必要性系数；

所述根据各个灰度级的必要性系数获取智慧交通数据中每个灰度级的数据调整必要性的具体公式如下：

式中，表示智慧交通数据中第/>个灰度级的数据调整必要性；/>表示智慧交通数据中出现的灰度级的总个数；/>表示第k个灰度级的必要性系数；

所述根据所有需要拆分的灰度级的编码长度得到所有拆分组合的优选程度的具体公式如下：

式中,表示拆分组合为/>的优选程度，/>表示被拆分的灰度级/>的编码长度；/>分别表示拆分后的灰度级/>所对应的编码长度；

所述根据最终拆分组合对智慧交通数据进行编码得到最终拆分后的霍夫曼树，包括的具体步骤如下：

获取霍夫曼树最深层叶子节点，将该叶子节点对应的灰度级的最终拆分组合记为（X,Y），获取灰度级为X对应的编码，记为第一编码，再获取灰度级为Y对应的编码，记为第二编码，那么将第一编码与第二编码作为该叶子节点对应的灰度级的编码，并且将该叶子节点删除，获得第一次拆分后的霍夫曼树；对拆分后的霍夫曼树进行迭代拆分，直至最深层叶子节点不存在最终拆分组合，进而停止操作，得到最终拆分后的霍夫曼树。

2.根据权利要求1所述基于物联网的智慧交通数据优化存储方法，其特征在于，所述获取图像类型的智慧交通数据的各个灰度级出现的频率，根据智慧交通数据的各个灰度级出现的频率构建霍夫曼树获取智慧交通数据的各个灰度级的编码长度，包括的具体步骤如下：

根据图像类型的智慧交通数据中的灰度级出现的频率进行霍夫曼编码构建的霍夫曼树；通过分析霍夫曼树得到智慧交通数据的各个灰度级的编码长度。

3.根据权利要求1所述基于物联网的智慧交通数据优化存储方法，其特征在于，所述对所有需要拆分的灰度级进行自适应拆分得到各个灰度级的多种拆分组合，包括的具体步骤如下：

对于霍夫曼树最深层的任意一个叶子节点，获取该叶子节点的灰度级，将该灰度级/>，拆分为若干个拆分组合，其中的任意一种拆分组合记为/>，其中/>。

4.根据权利要求1所述基于物联网的智慧交通数据优化存储方法，其特征在于，所述根据所有拆分组合与智慧交通数据的各个灰度级比较得到拆分组合的可行性的具体公式如下：

式中，表示拆分组合的可行性；/>表示滑窗个数；/>表示第/>个滑窗中灰度级与拆分组合的汉明距离。

5.根据权利要求4所述基于物联网的智慧交通数据优化存储方法，其特征在于，获取滑窗，包括的具体步骤如下：

预设两个参数，建立大小为/>，步长为/>的滑窗，在图像类型的智慧交通数据上进行滑窗操作，每滑动一次得到一个滑窗。

6.根据权利要求1所述基于物联网的智慧交通数据优化存储方法，其特征在于，所述根据最终拆分后的霍夫曼树对图像类型的智慧交通数据进行编码压缩，得到压缩结果，将压缩结果存储，包括的具体步骤如下：

遍历图像类型的智慧交通数据中每个像素点的灰度级，获取该灰度级在最终拆分后的霍夫曼树上对应的编码，遍历完成后获得整个图像类型的智慧交通数据的编码结果，该编码结果就是图像类型的智慧交通数据的压缩结果，将该压缩结果进行存储，解压缩时可利用编码在霍夫曼树上对应的灰度级将编码结果还原为图像类型的智慧交通数据。