CN112948639A - 一种高速公路数据中台数据统一存储管理方法及系统 - Google Patents

Abstract

本发明公开了一种高速公路数据中台数据统一存储管理方法及系统。方法包括：根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；根据确定的条件，描述码序列压缩次数达到条件，将得到的描述码压缩加密序列存储至高速公路数据中台统一存储单元。利用本发明，实现了高速公路数据的统一存储，提高了高速公路数据的传输效率、存储系统的空间利用率、数据的隐私保护性能。

Description

一种高速公路数据中台数据统一存储管理方法及系统

技术领域

本发明涉及高速公路数据分析、数据中台技术领域，具体涉及一种高速公路数据中台数据统一存储管理方法及系统。

背景技术

高速公路在日常运营过程中，产生了大量的、异构的数据，同时高速公路里程在不断增加，大数据的生成也在快速增长，需要处理的数据越来越多。大规模产生的数据给数据的存储以及分析带来的巨大的挑战，如何高效科学的存储这些大数据，并且能够对其进行快捷的访问和分析，更好的服务于交通，是一个至关重要的问题。本发明针对数据压缩存储能力不足问题，提出了一种统一存储管理方法与系统，构建数据压缩模型对数据进行压缩，提高数据压缩能力，加快数据在磁盘和网络中的传输速度，可以方便的管理不同类型交通数据，加强了数据的服务化，提高了系统的弹性伸缩能力。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种高速公路数据中台数据统一存储管理方法及系统。

一种高速公路数据中台数据统一存储管理方法，该方法包括：

步骤1，根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；

步骤2，迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动；

步骤3，若预选记录条数不为零，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据；

步骤4，重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠；

步骤5，根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则转至步骤2，否则转至步骤6；

步骤6，重复步骤2-5直至循环次数达到压缩次数，将得到的描述码压缩加密序列存储至高速公路数据中台统一存储单元。

进一步的，所述步骤1还包括：若描述码序列的重要程度满足重要程度分割阈值条件，则转至步骤2，否则，执行以下操作：

步骤7a，根据第一滑动窗口尺寸确定第二滑动窗口尺寸；查询加密压缩表中是否存在预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；若存在，则结合预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，用第一置换数、第二置换数替换两个滑动窗口内的数据，第一滑动窗口向序列末尾滑动至与第二滑动窗口相邻且不重叠；若不存在，则第一滑动窗口根据步长向序列末尾滑动；

步骤7b，循环执行步骤7a直至第二滑动窗口滑动至描述码序列末尾，得到一条压缩描述码序列；

步骤7c，循环执行步骤7a-7b直至第一滑动窗口尺寸满足第一截止条件，得到若干条压缩描述码序列；

步骤7d，从若干条压缩描述码序列中选取压缩比例最大的作为新的描述码序列，循环执行步骤7a-7c直至循环次数满足压缩次数，将得到的描述码压缩加密序列并存储至高速公路数据中台统一存储单元。

进一步的，所述第一动态数、第二动态数、第一置换数、第二置换数需满足以下约束：结合第一动态数、第二动态数才能推算出第一置换数、第二置换数，且结合第一置换数、第二置换数才能推算出第一动态数、第二动态数。

进一步的，所述加密压缩表通过如下方式生成：根据第一动态数s、第二动态数v构建一元二次方程x²-s*x+v＝0，第一动态数取值范围为[10,10^a-1]，a为预设位数；约束条件：一元二次方程具有两正整数根，且两正整数根的位数之和不大于s、v的位数之和；将满足约束条件的第一动态数、第二动态数存储至加密压缩表的第一动态数列、第二动态数列。

进一步的，所述描述码序列包括车辆描述码序列，车辆描述码序列包括高速公路行驶过程中各阶段的行驶状态码，行驶状态码包括行为码、程度码，行为码可以表征该类行为在所有车辆行为中的严重级别，程度码表征车辆实施该类行为的异常程度；根据车辆描述码序列中所有行为的严重级别、异常程度计算车辆描述码序列的重要程度。

进一步的，所述描述码序列包括视频帧描述码序列，根据视频帧中所有车辆的行驶状态生成；视频帧描述码序列包括视频帧中所有车辆行为的描述码，描述码包括行为码、数量码以及程度码；数量码可以表征实施相应行为的车辆数量；根据视频帧中所有车辆行为的严重级别、异常程度计算视频帧描述码序列的重要程度。

进一步的，所述根据描述码序列的重要程度确定步长包括：根据高速公路数据中台统一存储单元的剩余存储空间，确定描述码序列的重要程度分割阈值；若描述码序列的重要程度小于重要程度分割阈值，步长为第一设定值；若描述码序列的重要程度大于等于重要程度分割阈值，步长为第二设定值；第一设定值不大于第二设定值。

进一步的，所述根据描述码序列的重要程度确定截止条件、第二截止条件、压缩次数须满足以下约束：第一截止条件基于第一截止值确定，第一截止值与描述码序列的重要程度呈负相关关系；第二截止条件基于第二截止值确定，第二截止值不大于第一截止值的两倍；压缩次数与描述码序列的重要程度呈负相关。

进一步的，所述车辆描述码序列的重要程度：

J为车辆描述码序列中行驶状态码个数，w_j为行驶状态码j的程度码数值，g_j为行驶状态码j的行为码数值，C为常数。

一种高速公路数据中台数据统一存储管理系统，该系统包括：

编码模块，用于根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；

压缩预选模块，用于从压缩控制模块获取第一滑动窗口位置，使第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动；

局部压缩模块，用于从压缩预选模块获取预选记录，若预选记录条数不为零，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据；

压缩控制模块，用于重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠；还用于根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则将第一滑动窗口位置传输至压缩预选模块；还用于判断描述码序列是否完成压缩次数次压缩，若是则描述码压缩加密序列传输至高速公路数据中台统一存储单元，否则第一滑动窗口滑动至描述码序列开头。

本发明与现有技术相比，具有以下有益效果：

本发明将海量高速公路非结构化数据均统一转化为描述码序列进行存储，不仅降低了数据存储量，而且由于描述码是对视频数据的状态浓缩，无需人工对海量的视频数据进行筛选分析，方便监管人员查看并从整体上了解车辆信息以及路段信息。设计了一种数据分级压缩方法，根据描述码序列的重要程度进行不同策略的压缩和存储，相比于传统压缩方法仅根据数据重复性进行压缩的方式，更适用于本发明的描述码，使数据压缩更充分，节省磁盘空间，提高了高速公路系统数据的传输效率，加快了数据在磁盘和网络中的传输速度，同时能够有效保护数据的隐私，加强数据管理。

附图说明

图1为本发明的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种高速公路数据中台数据统一存储管理方法及系统。主要对高速公路数据中台数据进行统一存储与管理，可以解决高速公路数据种类繁多、压缩不充分、存储困难等问题，同时提高了数据共享能力，且实现了异构资源整合，能保证数据库高可用性。图1为本发明方法的流程图。下面通过具体实施例来进行说明。

实施例1：

一种高速公路数据中台数据统一存储管理方法：

步骤1，根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数。设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠。

描述码序列包括车辆描述码序列。根据车辆在高速公路上的行驶状态构建车辆描述码序列。车辆描述码序列包括高速公路行驶过程中各阶段的行驶状态码，行驶状态码包括行为码、程度码，行为码可以表征该类行为在所有车辆行为中的严重级别，程度码表征车辆实施该类行为的异常程度；根据车辆描述码序列中所有行为的严重级别、异常程度计算车辆描述码序列的重要程度。描述码序列包括视频帧描述码序列，根据视频帧中所有车辆的行驶状态生成；视频帧描述码序列包括视频帧中所有车辆行为的描述码，描述码包括行为码、数量码以及程度码；数量码可以表征实施相应行为的车辆数量；根据视频帧中所有车辆行为的严重级别、异常程度计算视频帧描述码序列的重要程度。

为实现高速公路数据中台的数据统一存储管理，首先需要对海量高速公路视频数据进行分析，以获得便于存储管理和分析的摘要数据。

首先，通过高速公路部署的传感器、监控摄像头、测速仪等设备来获取车辆信息及公路路况信息。由交管部门安装的道路监控设备，可以准确记录车辆类型、车辆号牌、车辆速度、等详细车辆信息及车辆是否存在违章等信息，另外还包含道路传感器称重车辆信息及测速仪测得的汽车信息，实时的路况信息等。所述信息包含图像、视频、传感器感知数据、监控检测结果、文本等。

然后，对高速公路数据进行分类分析，数据采集模块是高速公路中大数据的主要来源，高速公路数据主要包括结构化数据以及非结构化数据两类。其中高速公路联网收费、各应用系统及传感器等检测数据均为结构化数据，这些数据主要存储在关系数据库中；视频监控数据、图像数据文本数据等为非结构化数据。其中，非结构化数据占据80％以上。

考虑到高速公路多数数据为非结构化数据，且传统的关系数据库处理非结构化数据十分困难，但结构化数据相对来说更加便于计算机进行处理搜索，因此，本发明首先将非结构化数据转换为结构化数据，然后再对其进行处理存储，降低数据处理难度，提高系统处理速度。

在进行数据结构化过程中，由于高速公路数据较大，为减少系统对无关数据的处理，本发明将首先对数据采集模块获取的图像数据进行分析，针对无关数据、无关因素进行初步筛选过滤。目的是为了对目标物体进行筛选，保证系统仅对重要数据进行处理压缩，降低系统处理时间，提高数据处理精度。本发明首先采用目标检测方法对图像中的目标物体进行识别，针对高速公路数据，本发明将车辆作为目标。通过高速公路道路摄像头采集连续多帧图像，并结合该路段中的所有摄像头采集的图像进行车辆状态分析，然后利用背景建模算法将图像中的前景背景进行分离，后续仅对目标图像信息进行数据结构化处理，降低无关数据的影响。在此需要说明背景建模前景提取方法有很多，本发明中不做一一阐述。本发明采用高斯背景建模方法实现对前景背景进行分类。至此，即可将图像中的背景数据进行滤除，根据车牌识别系统可实现对车辆的跟踪，结合该高速路段的各个摄像头采集的图像数据，得到各车辆在该高速路段的图像信息。对图像中的背景数据进行分割，可将无关数据滤除，便于系统仅对车辆数据进行处理分析，提高数据的处理速度以及系统的数据处理能力。

将数据采集模块获取的图像数据，通过上述目标检测算法将车辆进行分离，然后采用光流法分析车辆的状态，为将车辆图像数据转换为易于处理的结构化数据，本发明提出设置车辆描述码序列，分别代表不同的行驶状况。所述车辆描述码序列由L位的车辆行为码和N位的程度码组成，且状态码和程度码位数的长度均可由实际情况选择确定，结合光流算法根据车辆关键点间的相互关系体现其行驶状态。

本发明对高速公路视频进行结构化处理，可以得到两类数据，一类为单个车辆全程状态的数据，即车辆描述码序列，一类为视频帧中多车行为数据，即视频帧描述码序列。两类数据中都需要使用车辆行为表示，车辆行为码可体现车辆行为，提高车辆数据的隐私程度。

本发明中所构建的车辆描述码序列共需要L+N位数字进行表示，其中L位为行为码，N位为程度码。车辆的行为码也分为两类，一类为单个车辆的行为，一类为车辆间的交互行为。例如：车辆直行、变道、转弯、超速、慢速等行为是单车行为。车辆追尾前车、被后车追尾等属于车辆间行为。L位行为码由实际情况而定，按照重要性由小到大进行排列，例如，若采用1位行为码，行为码1表示正常行驶，行为码9表示事故，行为码9的严重级别高于行为码。

程度码由对应行为经过大数据分析统计获得，表征对应行为的异常程度。以超速行为为例，超速行为的程度码可以通过如下方式获得：首先，获得该处限定速度范围以及车辆在该阶段路程的速度。基于大数据分析，获得归一化后的标准程度：

其中，CV为车辆速度，CV_min为最低限速，CV_max为最高限速。得到指标对应的N位的程度码。如果设置了多位程度码，相应地，替换算式中的10即可，例如，两位程度码时，算式右边的10替换为20即可。变道、转弯、超速、慢速、紧急停车带占用、紧急停车带停留等车辆行为，也可根据上述方法进行标准化。例如，变道行为根据变道过程的时间进行异常程度的量化，变道过程时间过短或过长，异常程度均较大；转弯行为根据车辆轨迹的稳定性、车辆转弯所需时间进行异常程度的衡量；紧急停车带占用指车辆行驶过程中对紧急停车带的占用，根据占用时间进行衡量；紧急停车带停留指车辆或因事故等原因停留在紧急停车带，同样根据停留时间进行异常程度的确定。单车行为中还包括单车事故行为，根据单车的事故严重程度进行异常程度的衡量。多车交互行为，例如追尾可根据追尾车辆数、车体损坏情况进行异常程度的衡量，剐蹭可根据剐蹭面积等进行异常程度的衡量。

本发明中视频信息的描述采用车辆行为码+数量码+程度码的方式构成，得到视频帧描述码序列。获得视频帧图像中各车辆的行为，获取每种行为对应的数量，而后结合各车辆行为的程度整合得到视频帧描述码序列。例如，视频帧中若有3辆车有超速行为，且程度分别为2、6、5，则视频帧描述码序列为00603256。006表征超速行为，03表征超速车辆个数，256表征超速程度。

至此，即可将高速公路视频图像数据转换成可计算机便于搜索处理的结构化数据。为保证数据的完整性，描述码序列还可以将传感器数据等与车辆图像结构化后的数据进行结合，获取更加准确的车辆描述数据、视频帧描述数据。根据车牌信息对同一辆车在高速公路上的全程状态进行整合，得到对应的车辆描述码序列。由于视频数据体量很大，因此，对于视频帧描述数据，采用有针对性的存储策略，可以仅存储有异常事件的视频帧及其相邻视频帧的描述数据。

以上获得车辆描述码序列、视频帧描述码序列后，需要进行加密压缩准备。本发明设计了双滑动窗口进行加密压缩的探索，两个滑动窗口相邻且不重叠，其中第二滑动窗口比第一滑动窗口更加靠近序列末尾。首先要确定两个滑动窗口的滑动策略：两滑动窗口的截止尺寸即截止条件、两滑动窗口的滑动步长。由于两滑动窗口始终相邻，因此，仅需确定第一滑动窗口的滑动步长即可。本发明中，滑动策略均根据描述码序列的重要程度确定，因此，首先需要对描述码序列的重要程度进行量化。

下面对描述码序列包含的两种类型的重要程度进行分析。为体现数据的不同重要程度，本发明将根据车辆描述码序列进行数据重要程度的分析。对不同类的数据进行拆分，例如车辆状态数据，确定前L位为行为码，后N为程度码，进行拆分。车辆描述码序列的重要程度：

J为车辆描述码序列中行驶状态码个数，w_j为行驶状态码j的程度码数值，g_j为行驶状态码j的行为码数值，C为常数。C为设定的正整数，K为设定正常行为和异常行为的界限。对于K，当行为码包括9种时，一种优选的实施方式为：K＝1，C＝3。g_j为归一化后的行为码。为了便于统一判断，需要对得到的所有车辆描述码序列的重要程度τ进行归一化处理，使其值得范围为[0,1]。视频帧描述码序列的重要程度：

其中，u为视频帧描述码序列的重要程度，τ_r为第r辆车的重要程度，R为车辆数量。τ_r的计算方式与车辆描述码序列重要程度的计算方式相同。为了便于统一判断，需要对得到的重要程度u进行归一化处理，使其值得范围为[0,1]。α为调整影响的超参数，优选地，取值为0.1。当视频图像帧对应的重要程度大于设定阈值时，认为该帧图像具有价值，需要保存信息。该帧图像前后扩张的帧数量与重要程度相关联。该帧越重要，则前后越多的图像帧需要一起保存。

获得描述码序列的重要程度后，需要进行滑动策略的指定。根据描述码序列的重要程度确定步长包括：根据高速公路数据中台统一存储单元的剩余存储空间，确定描述码序列的重要程度分割阈值；若描述码序列的重要程度小于重要程度分割阈值，步长为第一设定值；若描述码序列的重要程度大于等于重要程度分割阈值，步长为第二设定值；第一设定值不大于第二设定值。

不同重要程度的压缩策略不同，先获得重要程度分割阈值e1来粗糙分类信息为重要信息和不重要信息，e1的值需要根据当前磁盘的存储信息进行获得，当磁盘空闲空间多时，应降低阈值e1，当磁盘空闲空间少时，应提高阈值e1的值，即重要程度分割阈值e1与磁盘的整体使用程度成正比：e1＝ε*CAP，其中，e1为重要程度分割阈值，CAP为当前时刻磁盘的使用程度，已用空间占总空间的百分比。ε为对应关系参数，优选地，经验值为1，特殊地，在磁盘空间未利用或利用率较低时，实施者也可根据对应关系参数进行自行调整，以使重要程度分割阈值处于较为合理的范围，一般情况下不小于0.15。根据重要程度分割阈值，设置了两种步长策略。第一设定值不大于第二设定值。优选地，第一设定值为1，第二设定值为3。

根据描述码序列的重要程度确定第一截止条件、第二截止条件、压缩次数须满足以下约束：第一截止条件基于第一截止值确定，第一截止值与描述码序列的重要程度呈负相关关系；第二截止条件基于第二截止值确定，第二截止值不大于第一截止值的两倍；压缩次数与描述码序列的重要程度呈负相关。优选地，对于描述码序列，第一截止值为：f(τ)＝b+10*(e1-τ)，其中，b为最大窗口参数，τ为描述码序列的重要程度，e1为重要程度分割阈值，f(τ)为第一截止值，截止条件为第一滑动窗口尺寸大于截止值。

需要说明的是，以上给出了一种重要程度分割阈值，实施者也可以为不同类型的数据设置不同的重要程度分割阈值，进而设置不同的步长策略、不同的截止条件、不同的压缩次数。

经过上述处理，可得到各车辆的数据信息、各视频帧的描述信息，每辆车均有其对应的一组状态序列数据，通过重要程度分析模型得到车辆数据、视频数据的重要程度，并根据车辆数据、视频帧重要程度对后续数据的压缩控制。

高速公路数据规模大且具有多样性，数据存储时将占用大量的空间，以及大数据量将会造成数据传输量非常大，这对通信道及网络都造成很大压力。因此，在进行数据存储之前，需要先进行压缩，通过所构建的数据压缩模型对高速公路数据进行压缩处理，减少存储空间及网络传输带宽，便于数据的传输、管理。

考虑到传统数据压缩具有压缩范围有限、仅可压缩数据重复内容、数据信息损失等缺点，本发明提出一种结构化数据压缩方法，通过步骤2-6实现，该方法根据判定模型将数据进行分解，并对分解后的数据压缩，同时根据信息的重要程度对压缩方式进行自适应调节，能够保证数据最大化压缩，减少数据所占内存。

本发明的压缩方法基于加密压缩表实现。加密压缩表通过如下方式生成：根据第一动态数s、第二动态数v构建一元二次方程x²-s*x+v＝0，第一动态数取值范围为[10,10^a-1]，a为预设位数；约束条件：一元二次方程具有两正整数根，且两正整数根的位数之和不大于s、v的位数之和；将所有满足约束条件的第一动态数、第二动态数分别存储至加密压缩表的第一动态数列、第二动态数列，并根据s、v的位数之和、两正整数根的位数之和计算压缩位数。可以将压缩位数关联存储至加密压缩表，也可单独存储。

需要注意的是，由于不是所有的数据均能满足加密压缩要求，因此需要对加密压缩过的数据进行标记，例如使用标识符#来表征标识符前的数据经过压缩，以便于后续恢复。由于需要添加标识符，因此，实施者在加密压缩表生成过程中可以采用以下策略：若两正整数根的位数之和小于s、v的位数之和，则将第一动态数、第二动态数存储至加密压缩表。

以上是根据韦达定理设计的数据压缩方法，一方面能够实现对描述码序列数据的无损压缩，还能够同时实现加密。针对数据的压缩，本发明以高速公路一组车辆数据为例，用于说明本发明数据压缩的构思。将车辆图像数据进行结构化之后，获取能够记录车辆行驶状态的车辆描述码序列，对车辆描述码序列进行分析，得到对应的重要程度。首先建立判定模型，用于分析序列数据是否满足压缩条件。对获取的序列数据，数据的数字组合满足判定模型时，认为两个数字可以组合进行位数的压缩，所述判定模型表达式为：D＝s²-4*v≥0，按照顺序在车辆描述码序列中选取m个连续数字组成为第一动态数s(m≥2)，然后相邻选取第二动态数v，判断判定模型是否成立。

例如，若车辆描述码序列为abcdef，其中a、b、c、d、e、f是表征描述码的参数，而非该参数字母自身的含义。按照本发明，第一动态数s为ab时，第二动态数v可以为cd、cde、cdef。对于s、v的数值组合，计算D会出现如下情况：D<0，则s、v的值不满足拆分压缩的条件；D≥0，但是

不为整数，则s、v的值不满足拆分压缩的条件；D≥0，且

为整数，但

为奇数，则s、v的值不满足拆分压缩的条件；D≥0，且

为整数，

为偶数，此时s、v满足拆分压缩的条件。

对s、v进行置换处理的公式：

其中l₁、l₂即为s、v拆分后的置换数据，即第一置换数、第二置换数。基于先验知识，l₁,l₂定小于s、v的数值。本发明中s、v的数值经过自适应滑窗获得，拆分后由数据l₁、l₂进行替代。当s≥100，v≥1000时，压缩效果能够减少2位，压缩比为2/7。通过在s的取值范围[10,10^a-1]内遍历，即可得到所有满足约束条件的s、v组合，得到加密压缩表。根据s、v的值可在加密压缩表中查询是否有相应记录，若有则表明可压缩，记录中的压缩位数表征压缩效果。选取压缩效果最大的s、v的组合为最终的压缩组合。

针对本发明所述数据压缩方法，为方便实施者进一步理解，本发明将通过一列序列数据进行举例说明。例如：某序列数据为972352，对其进行压缩过程如下：首先令s＝97，v＝2352，通过判定模型进行分析判断，满足压缩条件。分解计算得到替代数据为48、49。添加标识符即为48490(0为此次压缩标识符)，此时压缩效果为减少了1位数。

本发明基于双滑动窗口进行数据压缩，因此，设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠。

步骤2，迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动。步骤2筛选出的预选记录即为备选压缩组合，需要经过步骤3确定到底如何压缩，即确定压缩记录。

步骤3，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据。

本实施例中，压缩位数已提前计算出，因此，若预选记录条数不为零，则从所有预选记录中选出压缩位数最大的预选记录作为压缩记录。

常规的压缩表通常包括原始数据、压缩数据，在压缩过程中，只需查询压缩表中是否包含相应原始数据即可得到原始数据对应的压缩数据。本发明的加密压缩表包括两列原始数据，即第一动态数、第二动态数，而且第一动态数、第二动态数应当满足一定约束关系。第一动态数、第二动态数、第一置换数、第二置换数需满足以下约束关系：结合第一动态数、第二动态数才能推算出第一置换数、第二置换数，结合第一置换数、第二置换数才能推算出第一动态数、第二动态数。本发明的约束关系通过上述基于韦达定理的判定模型实现。

本发明加密压缩表包括两列原始数据，且两列数据满足相应约束关系，如此设计的有益效果包括：基于前述的描述码序列生成方法，本发明实质上已经实现了对海量高速公路数据的初步压缩，描述码中仅包含0-9的数字。传统的数据压缩方法通过统计原始数据中字符的出现频次，对高频词出现的字符采用低比特代码编码，对于低频次出现的字符采用高比特代码编码，需要对原始数据进行统计。而且高速公路数据体量大而且变化莫测，车辆在行驶过程中只有直行行为出现频次较多，利用传统的数据压缩方法压缩效果不佳。通过本发明设计的加密压缩表，无需对海量原始数据进行统计，而且能够同时对两段相邻的原始数据进行压缩，提高压缩效率；并且加密压缩表中无需存储置换数，根据第一动态数、第二动态数、第一置换数、第二置换数之间的约束关系即可实现动态数与置换数之间的相互转换。

若加密压缩表中未存储第一置换数、第二置换数，则结合第一动态数、第二动态数以及约束关系，推算出第一置换数、第二置换数。若加密压缩表中存储了第一置换数、第二置换数，则利用压缩记录的第一置换数置换第一滑动窗口内数据，第二置换数置换第二滑动窗口内数据，或利用压缩记录的第二置换数替换第一滑动窗口内数据，第一置换数置换第二滑动窗口内数据。

步骤4，重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠。

步骤5，根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则转至步骤2，否则转至步骤6。实施者应当知道，当第一滑动窗口滑动到序列末尾，或第二滑动窗口滑动到序列末尾且序列末尾的数据不能满足初始的第二滑动窗口尺寸(即m-1位)时，已经到达序列末尾，无需进行序列内的迭代，转至步骤6判断压缩次数是否满足条件，否则转至步骤2继续进行描述码序列内的迭代。

步骤4-5的目的是实现滑动窗口在序列上的遍历，若不满足压缩条件，则滑动窗口向序列末尾滑动，若满足，则根据压缩记录的窗口位置，控制第一滑动窗口向序列末尾滑动。

步骤6，重复步骤2-5直至循环次数达到压缩次数，将得到的描述码压缩加密序列存储至高速公路数据中台统一存储单元。步骤6的目的是实现压缩次数次循环。

本发明压缩方式能够进行多次反复压缩。即滑窗遍历整个序列后，完成一次压缩。而后可对压缩后的数字序列再进行压缩，实现反复压缩。对于数据的压缩，本发明提出根据描述码序列的重要程度对压缩次数以及窗口大小进行自适应调节，能够将数据压缩程度达到最佳。

下面以车辆描述码序列为例，对步骤2-6的过程进行详细说明。当描述码序列的重要程度小于分割阈值，即τ<e1时，此时描述码序列的数据重要程度低，缓存一定时间后会被新数据替代，且小几率需要进行恢复，且因为高速公路视频信息的价值密度较低，该类重要程度低的数据占的比例较大，所以采用高压缩比的策略。设第一滑动窗口内数据的位数数量为m，m的取值范围为[2,f(τ)]位，m的值根据数据重要程度进行抉择，成反比，重要程度越小，m的值越大。一种实施方式是：f(τ)为由描述码序列重要程度求得的最大位数。f(τ)＝b+10*(e1-τ)，其中，b是最大窗口尺寸参数，优选地，取值9，乘10是为了统一量纲，对f(τ)向上取整，即可得到最大窗口位数，即第一截止值。第二滑动窗口的窗口遍历位数为(m-1)至2*m位，第二截止值即2*m。因此，在本实施例中，第一截止条件为第一滑动窗口尺寸大于f(τ)，第二截止条件为第二滑动窗口尺寸大于2*m。按照步骤2进行迭代，若可以压缩则使用加密压缩表查询获得压缩效果，最后使用效果最优的组合进行压缩。若不可以则第一滑动窗口向序列末尾滑动，本实施例中滑动步长为1位，逐位。此外，本实施例中所使用的数据为数字数据，而本申请的压缩方法需要进行s、v进行转换，因此，若第一滑动窗口内的数据、第二滑动窗口内的数据高位数为零，则两滑动窗口向序列末尾滑动，直至两滑动窗口内数据的最高位均不为零。

压缩次数分为可压缩最大次数和设定最大次数。其中设定最大次数同样根据数据的重要程度以及当前可用储存空间进行判断。每压缩一次标志符[0,9]加1，即最大可压缩10次，同时，在数据的最前方添加压缩标志符信息，便于识别压缩的次数，从而确定反向解压缩的次数。压缩次数与描述码序列的重要程度成反比，与对应存储空间成反比。压缩次数可以根据以下算式获得：

CP表示内圈磁盘可用空间比例，d为平衡系数，优选地，取值为2，对C取整即可得到压缩次数。重复步骤2-5进行压缩即可。

本发明为了便于数据恢复，存储时需要切分磁盘为两个同心区域，外圈存储重要数据，数据变化次数较小。内圈存储价值低的数据，需要频繁更新。重要程度低的数据都存储在内圈。

τ≥e1时，此时车辆的数据重要程度高，需要保存较长时间，且大几率需要进行数据的快速恢复，所以采用适合快速恢复的压缩存储策略(高压缩比，能快速恢复)。第一滑动窗口的位数数量为m，m的取值范围为[2,f(τ)]位，其中f(τ)为由描述码序列的重要程度求得的最大位数。f(τ)＝b-10*(τ-e1)，其中，b是最大窗口尺寸参数，优选地，取值9，乘10是为了统一量纲，对f(τ)向上取整，即可得到最大窗口位数。第二滑动窗口遍历位数为m至2m位，即第二滑动窗口的初始值为m，截止值为2m，截止值2m还可以调整到更低，以降低重要数据的压缩率，提高重要数据的压缩速度。具体地，可以设置调节系数，优选地，调节系数为0.8，向上取值即可使截止值为整数。若可以压缩则使用加密压缩表查询获得压缩位数，最后使用效果最优的组合进行压缩。若不可以则第一滑动窗口向序列末尾滑动，滑动步长为第二设定值3，实施者也可自行调整该滑动步长。为了快速恢复，压缩次数应由重要程度、可用存储位置进行综合判断。重要程度越高，压缩次数需越少。压缩次数标志位可全部使用0，外圈可分为MA层，每层即便是数据的压缩次数，即仅按所在存储位置来识别数据的压缩次数。

此外，为了进一步提高重要数据的压缩效率，降低压缩时长和压缩率，可以对第一滑动窗口的第一初始值进行限定。第一滑动窗口位数的初始值应大于等于2。优选地，第二初始值为MAX

c为不小于2的整数常数。

以上，即完成了对描述码序列数据的压缩。对数据进行压缩之后，需要对高速公路数据进行存储，便于本发明对于不同策略压缩程度的数据存储在磁盘的不同区域。较以往的磁盘，本发明采用同心区域来划分不同的储存区间。采用同心区域的存储方式是把存放磁盘区域分为几个同心圆，数据可以按照一定的规则存储在磁盘中不同的圆区域，通过提升磁盘I/O能力来提升查询速度，不会更改数据库表的结构，提高存储空间利用率，提高存取效率。在此需要说明，在同心区域存储磁盘中，最外层的数据读取处理速度最快，最里层的圆区域数据处理速度最慢。对于数据的存储，根据数据的重要等级以及数据的压缩程度对数据存储进行不同区域的存储，本发明设置将重要程度最高的数据存储在磁盘的最外层，以保证能够最重要的数据进行快速读取处理。

对数据进行存储之后，后续需要对数据进行读取、挖掘以及分析。具体过程为：首先根据需求从对应磁盘扇区读取出数据，而后进行解压缩操作，恢复数据，实现数据的快速检索。然后通过数据挖掘模块，从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识，并进行相应的应用。最后根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。

数据恢复的过程为数据加密压缩过程的逆过程。根据需求从磁盘对应位置读取出数据，根据所处内外圈位置得到数据的重要类型，重要数据根据其所处层数，得到其压缩次数，即可确定需要反向解压缩的次数。不重要数据根据压缩符确定压缩次数。解压缩的过程为：确定压缩标识符，本实施例中为#。读取压缩标识符中间的数据串。滑动窗口的操作与压缩时相同，获得两个数据的组合，判断对应的第一滑动窗口数据、第二滑动窗口数据是否在解密解压表内有对应数据记录，若没有，则认为该组合为错误组合。遍历所有组合后，其中压缩效果最大的组合即为反向解压的组合。根据一元二次方程根与系数的关系以及第一滑动窗口数据、第二滑动窗口数据计算原始的两个数字(即两窗口内数据加和作为第一个数字，两窗口内数据相乘作为第二个数字)，即可实现解压缩。若两窗口滑动所得的所有组合，都没有可以满足压缩条件的，则认为该段数字串即为原始数据，未经过压缩。

实施例2：

本实施例提供一种高速公路数据中台数据统一存储管理方法，与实施例1的区别在于，步骤1还包括：若描述码序列的重要程度满足重要程度分割阈值条件，则转至步骤2，否则，执行以下操作：步骤7a，根据第一滑动窗口尺寸确定第二滑动窗口尺寸；查询加密压缩表中是否存在预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；若存在，则结合预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，用第一置换数、第二置换数替换两个滑动窗口内的数据，第一滑动窗口向序列末尾滑动至与第二滑动窗口相邻且不重叠；若不存在，则第一滑动窗口根据步长向序列末尾滑动；步骤7b，循环执行步骤7a直至第二滑动窗口滑动至描述码序列末尾，得到一条压缩描述码序列；步骤7c，循环执行步骤7a-7b直至第一滑动窗口尺寸满足第一截止条件，得到若干条压缩描述码序列；步骤7d，从若干条压缩描述码序列中选取压缩比例最大的作为新的描述码序列，循环执行步骤7a-7c直至循环次数满足压缩次数，将得到的描述码压缩加密序列并存储至高速公路数据中台统一存储单元。

本实施例设计了两种滑动窗口压缩加密方法，分别适用于不同重要程度类型的描述码序列。若描述码序列的重要程度小于重要程度分割阈值，则采取与实施例1相同的压缩加密方式。若描述码序列的重要程度大于等于重要程度分割阈值，则采取本实施例的压缩加密方式。优选地，第二滑动窗口尺寸以及步长均相同，等于第一滑动窗口尺寸。采用窗口跳动的方式进行数据的选取组合，其中第一滑动窗口尺寸、第二滑动窗口尺寸以及跳动步长统一长度为f位，即s的位数为f，v的位数为f，步长也为f。整个数据压缩完成后，可以求得压缩比YP。f的区间为[2,f(τ)]，例如，若f的区间为[2,5]，则整个数据串分别用1*2、1*3、1*4、1*5的窗口进行压缩，得到4个压缩描述码序列以及对应的压缩比。选其中最大压缩比对应的窗口进行压缩，并在数字串起始位标记出压缩次数。

实施例3：

本实施例提供一种高速公路数据中台数据统一存储管理系统，系统包括：

编码模块，用于根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；

压缩预选模块，用于从压缩控制模块获取第一滑动窗口位置，使第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动；

局部压缩模块，用于从压缩预选模块获取预选记录，若预选记录条数不为零，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据；

压缩控制模块，用于重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠；还用于根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则将第一滑动窗口位置传输至压缩预选模块；还用于判断描述码序列是否完成压缩次数次压缩，若是则描述码压缩加密序列传输至高速公路数据中台统一存储单元，否则第一滑动窗口滑动至描述码序列开头。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高速公路数据中台数据统一存储管理方法，其特征在于，该方法包括：

步骤1，根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；

步骤2，迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动；

步骤3，若预选记录条数不为零，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据；

步骤4，重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠；

步骤5，根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则转至步骤2，否则转至步骤6；

步骤6，重复步骤2-5直至循环次数达到压缩次数，将得到的描述码压缩加密序列存储至高速公路数据中台统一存储单元。

2.如权利要求1所述的方法，其特征在于，所述步骤1还包括：若描述码序列的重要程度满足重要程度分割阈值条件，则转至步骤2，否则，执行以下操作：

步骤7a，根据第一滑动窗口尺寸确定第二滑动窗口尺寸；查询加密压缩表中是否存在预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；若存在，则结合预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，用第一置换数、第二置换数替换两个滑动窗口内的数据，第一滑动窗口向序列末尾滑动至与第二滑动窗口相邻且不重叠；若不存在，则第一滑动窗口根据步长向序列末尾滑动；

步骤7b，循环执行步骤7a直至第二滑动窗口滑动至描述码序列末尾，得到一条压缩描述码序列；

步骤7c，循环执行步骤7a-7b直至第一滑动窗口尺寸满足第一截止条件，得到若干条压缩描述码序列；

步骤7d，从若干条压缩描述码序列中选取压缩比例最大的作为新的描述码序列，循环执行步骤7a-7c直至循环次数满足压缩次数，将得到的描述码压缩加密序列并存储至高速公路数据中台数据统一存储单元。

3.如权利要求1或2所述的方法，其特征在于，所述第一动态数、第二动态数、第一置换数、第二置换数需满足以下约束：结合第一动态数、第二动态数才能推算出第一置换数、第二置换数，且结合第一置换数、第二置换数才能推算出第一动态数、第二动态数。

4.如权利要求3所述的方法，其特征在于，所述加密压缩表通过如下方式生成：根据第一动态数s、第二动态数v构建一元二次方程x²-s*x+v＝0，第一动态数取值范围为[10,10^a-1]，a为预设位数；约束条件：一元二次方程具有两正整数根，且两正整数根的位数之和不大于s、v的位数之和；将满足约束条件的第一动态数、第二动态数存储至加密压缩表的第一动态数列、第二动态数列。

5.如权利要求1或2所述的方法，其特征在于，所述描述码序列包括车辆描述码序列，车辆描述码序列包括高速公路行驶过程中各阶段的行驶状态码，行驶状态码包括行为码、程度码，行为码可以表征该类行为在所有车辆行为中的严重级别，程度码表征车辆实施该类行为的异常程度；根据车辆描述码序列中所有行为的严重级别、异常程度计算车辆描述码序列的重要程度。

6.如权利要求1或2所述的方法，其特征在于，所述描述码序列包括视频帧描述码序列，根据视频帧中所有车辆的行驶状态生成；视频帧描述码序列包括视频帧中所有车辆行为的描述码，描述码包括行为码、数量码以及程度码；数量码可以表征实施相应行为的车辆数量；根据视频帧中所有车辆行为的严重级别、异常程度计算视频帧描述码序列的重要程度。

7.如权利要求1或2所述的方法，其特征在于，所述根据描述码序列的重要程度确定步长包括：根据高速公路数据中台统一存储单元的剩余存储空间，确定描述码序列的重要程度分割阈值；若描述码序列的重要程度小于重要程度分割阈值，步长为第一设定值；若描述码序列的重要程度大于等于重要程度分割阈值，步长为第二设定值；第一设定值不大于第二设定值。

8.如权利要求1或2所述的方法，其特征在于，所述根据描述码序列的重要程度确定截止条件、第二截止条件、压缩次数须满足以下约束：第一截止条件基于第一截止值确定，第一截止值与描述码序列的重要程度呈负相关关系；第二截止条件基于第二截止值确定，第二截止值不大于第一截止值的两倍；压缩次数与描述码序列的重要程度呈负相关。

9.如权利要求5所述的方法，其特征在于，所述车辆描述码序列的重要程度：

J为车辆描述码序列中行驶状态码个数，w_j为行驶状态码j的程度码数值，g_j为行驶状态码j的行为码数值，C为常数。

10.一种高速公路数据中台数据统一存储管理系统，其特征在于，该系统包括：

编码模块，用于根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；

压缩预选模块，用于从压缩控制模块获取第一滑动窗口位置，使第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动；

局部压缩模块，用于从压缩预选模块获取预选记录，若预选记录条数不为零，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据；

压缩控制模块，用于重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠；还用于根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则将第一滑动窗口位置传输至压缩预选模块；还用于判断描述码序列是否完成压缩次数次压缩，若是则描述码压缩加密序列传输至高速公路数据中台统一存储单元，否则第一滑动窗口滑动至描述码序列开头。

Images