CN105469601A - 一种基于lzw编码的道路交通空间数据压缩方法 - Google Patents
一种基于lzw编码的道路交通空间数据压缩方法 Download PDFInfo
- Publication number
- CN105469601A CN105469601A CN201510901435.8A CN201510901435A CN105469601A CN 105469601 A CN105469601 A CN 105469601A CN 201510901435 A CN201510901435 A CN 201510901435A CN 105469601 A CN105469601 A CN 105469601A
- Authority
- CN
- China
- Prior art keywords
- data
- section
- road traffic
- mode
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种基于LZW编码的道路交通空间数据压缩方法,首先,获取同一模态下、空间上的不同路段的道路交通数据建立道路交通特征参考序列,基于空间相关性分析,选择基准路段,并将其数据作为空间上的道路交通基准数据;其次,提取同一模态下、空间上其它路段的历史数据,作为训练数据,基于同一模态下、空间上的道路交通基准数据,确定空间道路交通差值数据的最优阈值;然后,获取同一模态下、空间上其它路段的实时数据,作为实验数据,基于同一模态下、空间上的道路交通基准数据,获取空间上的道路交通差值数据;最后,通过LZW编码及解码,实现道路交通差值数据压缩及重构。本发明能简化算法、提升处理速度。
Description
技术领域
本发明属于道路交通数据处理领域,涉及道路交通数据的分析与压缩,是一种道路交通数据的压缩方法。
背景技术
随着智能交通系统数据采集技术的不断发展,基于连续采集得到的智能交通数据,交通领域即将面临海量数据问题,必须对其进行有效的数据压缩,才能进行处理、分析和存储。
交通流数据的内在特征主要包括:周期性、相似性、相关性等。邻近路段的交通流之间存在着复杂的时空关联关系,往往相似性较高,同一交通流在时间上表现出极强的相关性与周期性。这些相似性表明数据中存在大量的冗余信息。
基于交通流相似性的特征,目前已有多种方法应用到道路交通数据压缩领域中。主要包括:主成分分析法(PCA)、独立成分分析(ICA)、预测编码与字典编码串联法、基于小波(包)变换方法、人工神经网络、压缩感知等方法。其主要利用变换域的思想,将道路交通数据进行多尺度变换并进行相关处理,实现数据的压缩,并且取得较好的效果。但是算法实现较为复杂。
发明内容
为了克服已有道路交通数据压缩方法的算法复杂、处理速度较低的不足,本发明提供一种简化算法、有效的提高处理速度的基于LZW编码的道路交通空间数据压缩方法。
本发明解决其技术问题所采用的技术方案是:
一种基于LZW编码的道路交通空间数据压缩方法,所述方法包括如下步骤:
1)获取同一模态下、空间上的不同路段的道路交通数据建立道路交通特征参考序列,基于空间相关性分析,选择基准路段,并将其数据作为空间上的道路交通基准数据;
2)提取同一模态下、空间上其它路段的历史数据,作为训练数据,基于同一模态下、空间上的道路交通基准数据,确定空间道路交通差值数据的最优阈值;
3)获取同一模态下、空间上其它路段的实时数据,作为实验数据,基于同一模态下、空间上的道路交通基准数据,获取空间上的道路交通差值数据;
4)基于LZW编码实现空间道路交通差值数据的压缩;
5)基于LZW解码实现空间道路交通实时数据的重构。
进一步,所述步骤1)包括如下步骤:
1.1)道路交通运行模态的划分
道路交通运行模态的划分分为两个层次:路网层和路段层,设定路网层的交通运行模态的划分标识将道路的交通运行模态划分为g种子模态,路段层的交通运行模态的划分标识将道路的交通运行模态划分为h种子模态,则道路的交通运行模态一共划分为g×h种,记为集合Mode={M11,M12,…,Mgh},其中g和h的取值根据所选交通运行模态的划分标识确定;
1.2)设计道路交通特征参考序列的结构
设定道路交通状态数据的采集周期是Δt;
道路交通特征参考序列的表格式如表1和表2所示:
表1.道路交通特征参考序列信息表
表2.道路交通特征参考序列描述表
设定共选定p条具有空间相关特性的路段,记为:
L=[L1L2…Lp](1)
其中,p表示道路空间上的路段条数;Li(1≤i≤p)表示第i条路段;L表示选择的具有空间相关特性路段的集合;
1.3)道路交通空间基准数据的获取
空间路段的道路交通流之间存在空间关联关系,基于道路交通空间数据的相关性,选择基准路段,提取基准路段的数据作为道路交通基准数据。
再进一步,所述步骤2)中,提取空间上其它路段的数据,作为训练数据;模态Mgh下、基于空间上的道路交通基准数据,获取同一模态Mgh下、空间上的道路交通差值数据并进行阈值处理,通过LZW编码训练最优阈值,其一般表达式如下:
Si(m*Δt,Mgh)=STi(m*Δt,Mgh)-SB(m*Δt,Mgh)(2)
ei(m,Mgh)=[Si(Δt,Mgh)Si(2*Δt,Mgh)…Si(m*Δt,Mgh)](3)
pei(n,Mgh)=w(hei(m,Mgh))(5)
pei(n,Mgh)=[Si’(1,Mgh)Si’(2,Mgh)…Si’(n,Mgh)](6)
其中,Δt为道路交通状态数据的采集周期;(m*Δt)为第m个道路交通状态数据采集周期,0≤m≤N,N表示每天采集的交通信息的数量;i(1≤i≤p)表示选取第i条路段;STi(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的道路交通数据;SB(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻基准路段的基准数据;Si(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的训练数据与基准路段的基准数据的差值数据;ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段的训练数据与基准路段的基准数据的差值数据;hei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段阈值处理的i路段的训练数据与基准路段的基准数据的差值数据;Ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段选取的阈值;pei(n,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果;Si’(n,Mgh)为模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果中第n个数据;m表示在模态Mgh下、Δt到(m*Δt)时段压缩前的i路段与基准路段的差值数据的数量;n表示在模态Mgh下、Δt到(m*Δt)时段压缩后的道路交通数量;w表示LZW编码;压缩比为
更进一步,所述步骤3)中,提取空间上其它路段的数据,作为实时数据;模态Mgh下、基于空间上的道路交通基准数据,获取道路交通差值数据,其一般表达式如下:
MSj(m*Δt,Mgh)=SMj(m*Δt,Mgh)-SB(m*Δt,Mgh)(7)
errj(m,Mgh)=[MSj(Δt,Mgh)MSj(2*Δt,Mgh)…MSj(m*Δt,Mgh)](8)
其中,j(1≤i≤p)表示第j条路段;SMj(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻j路段的实时数据;MSj(m*Δt,Mgh)为模态Mgh下、(m*Δt)时刻j路段的实时数据与基准路段的基准数据的差值数据;errj(m,Mgh)为模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据。
所述步骤4)中,基于LZW编码实现道路交通空间数据的压缩,将i路段与基准路段的差值数据训练的最佳阈值引入到同一模态Mgh、j路段与基准路段的差值数据中,结合LZW编码,实现j路段与基准路段差值数据的压缩,其一般表达式如下:
perrj(Tn,Mgh)=w(herrj(m,Mgh))(10)
perrj(Tn,Mgh)=[MSj’(1,Mgh)MSj’(2,Mgh)…MSj’(Tn,Mgh)](11)
其中,Eopt(Mgh)表示训练的最优阈值;herrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据;m表示模态Mgh下、Δt到(m*Δt)时段压缩前j路段与基准路段的差值数据的数量;perrj(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段压缩后j路段与基准路段的差值数据的数量;Tn表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩后的数量;MSj’(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩结果的第Tn个数据;压缩比为
所述步骤5)中,基于LZW解码技术,对j路段与基准路段的差值数据进行重构,结合基准数据,实现j路段实时数据的解压缩,其一般表达式如下:
dperrj(m,Mgh)=w’(perrj(Tn,Mgh))(12)
CSMj(m,Mgh)=SB(m,Mgh)+dperrj(m,Mgh)(13)
其中,w’表示LZW的反解码;dperrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段解码后的j路段与基准路段的差值数据;CSMj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段重构的j路段的道路交通实时数据。
本发明的技术构思为:提出了一种基于LZW编码的道路交通空间数据压缩方法,充分利用了空间上不同路段具有的空间相关特性。提取空间上不同路段的道路交通数据,并将之分别作为为基准数据、训练数据和实时数据。对训练数据和基准数据的差值数据进行阈值化处理,将处理后的差值数据进行LZW编码实现道路交通数据压缩。基于压缩比,选取最佳阈值。利用最佳阈值对道路交通实时数据和基准数据的差值数据进行最佳阈值处理,将处理后的差值数据进行LZW编码实现数据压缩。通过LZW解码实现差值数据的重构,结合基准数据,实现道路交通空间实时数据的重构。
本方法仅在数据之间作减法处理,实现简单,不需要进行大量复杂的数据计算,可以有效的提高处理速度。
本发明的有益效果主要表现在:通过将同一模态Mgh下道路交通空间训练数据和基准数据的差值数据进行阈值化处理,结合LZW编码技术,实现道路交通空间差值数据的压缩,根据差值数据的压缩比,确定最佳阈值。通过将最佳阈值引入到同一模态Mgh下道路交通空间实时数据和基准数据的差值数据当中,实现差值数据的阈值化处理,结合LZW编码技术,实现道路交通空间差值数据的压缩,间接实现道路交通空间实时数据的压缩。通过对压缩后的差值数据进行LZW解码,获得重构的差值数据,结合基准数据,实现道路交通空间实时数据的重构。
附图说明
图1是道路交通运行模态划分示意图。
图2是道路交通信息模板的时间格式的示意图。
图3是基于LZW编码的道路交通空间数据压缩方法的流程图。
图4是基于LZW解码的道路交通空间数据重构方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图4,一种基于LZW编码的道路交通空间数据压缩方法,包括以下步骤:
1)获取同一模态下、空间上的不同路段的道路交通数据建立道路交通特征参考序列,基于空间相关性分析,选择基准路段,并将其数据作为空间上的道路交通基准数据,包括如下步骤:
1.1)道路交通运行模态的划分
道路交通运行模态的划分分为两个层次:路网层和路段层,设定路网层的交通运行模态的划分标识将道路的交通运行模态划分为g种子模态,路段层的交通运行模态的划分标识将道路的交通运行模态划分为h种子模态,则道路的交通运行模态一共划分为g×h种,记为集合Mode={M11,M12,…,Mgh},其中g和h的取值根据所选交通运行模态的划分标识确定。路网层的交通运行模态的划分标识,主要是指不同日期对道路交通运行模态的影响因素。路段层的交通运行模态的划分标识,主要是指路段所处具体的外界环境对具体路段交通运行模态的影响因素。其示意图如图1所示。
1.2)设计道路交通特征参考序列的结构
设定道路交通状态数据的采集周期是Δt,则道路交通信息模板的时间格式如图2所示。
道路交通特征参考序列的表格式如表1和表2所示。
表1.道路交通特征参考序列信息表
表2.道路交通特征参考序列描述表
设定共选定p条具有空间相关特性的路段,记为:
L=[L1L2…Lp](1)
其中,p表示道路空间上的路段条数;Li(1≤i≤p)表示第i条路段;L表示选择的具有空间相关特性路段的集合。
1.3)基于相关性分析,选取基准路段,获得空间上的基准数据
道路交通流具有周期性、相似性、相关性等特征。空间路段的道路交通流之间存在空间关联关系,具有很高的相关性。故基于道路交通空间数据的相关性,选择基准路段,提取基准路段的数据作为基准数据。
2)提取空间上其它路段的数据,作为训练数据;模态Mgh下、基于空间上的道路交通基准数据,获取道路交通差值数据并进行阈值处理,通过LZW编码训练最优阈值,其一般表达式如下:
Si(m*Δt,Mgh)=STi(m*Δt,Mgh)-SB(m*Δt,Mgh)(2)
ei(m,Mgh)=[Si(Δt,Mgh)Si(2*Δt,Mgh)…Si(m*Δt,Mgh)](3)
pei(n,Mgh)=w(hei(m,Mgh))(5)
pei(n,Mgh)=[Si’(1,Mgh)Si’(2,Mgh)…Si’(n,Mgh)](6)
其中,Δt为道路交通状态数据的采集周期;(m*Δt)为第m个道路交通状态数据采集周期,0≤m≤N,N表示每天采集的交通信息的数量;i(1≤i≤p)表示选取第i条路段;STi(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的道路交通数据;SB(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻基准路段的基准数据;Si(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的训练数据与基准路段的基准数据的差值数据;ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段的训练数据与基准路段的基准数据的差值数据;hei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段阈值处理的i路段的训练数据与基准路段的基准数据的差值数据;Ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段选取的阈值;pei(n,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果;Si’(n,Mgh)为模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果中第n个数据;m表示在模态Mgh下、Δt到(m*Δt)时段压缩前的i路段与基准路段的差值数据的数量;n表示在模态Mgh下、Δt到(m*Δt)时段压缩后的道路交通数量;w表示LZW编码;压缩比为
3)提取空间上的其它路段的数据,作为实时数据;模态Mgh下、基于空间上的道路交通基准数据,,获取道路交通差值数据,其一般表达式如下:
MSj(m*Δt,Mgh)=SMj(m*Δt,Mgh)-SB(m*Δt,Mgh)(7)
errj(m,Mgh)=[MSj(Δt,Mgh)MSj(2*Δt,Mgh)…MSj(m*Δt,Mgh)](8)
其中,j(1≤i≤p)表示第j条路段;SMj(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻j路段的实时数据;MSj(m*Δt,Mgh)为模态Mgh下、(m*Δt)时刻j路段的实时数据与基准路段的基准数据的差值数据;errj(m,Mgh)为模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据。
4)基于LZW编码实现道路交通空间数据的压缩,将i路段与基准路段的差值数据训练的最佳阈值引入到同一模态Mgh、j路段与基准路段的差值数据中,结合LZW编码,实现j路段与基准路段差值数据的压缩,一般表达式如下:
perrj(Tn,Mgh)=w(herrj(m,Mgh))(10)
perrj(Tn,Mgh)=[MSj’(1,Mgh)MSj’(2,Mgh)…MSj’(Tn,Mgh)](11)
其中,Eopt(Mgh)表示训练的最优阈值;herrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据;m表示模态Mgh下、Δt到(m*Δt)时段压缩前j路段与基准路段的差值数据的数量;perrj(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段压缩后j路段与基准路段的差值数据的数量;Tn表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩后的数量;MSj’(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩结果的第Tn个数据;压缩比为
参照图4,基于LZW解码的道路交通空间数据重构步骤:
基于LZW解码技术实现道路交通空间数据重构,针对压缩后的差值数据进行LZW解码,获取道路交通空间上的实时数据和基准数据的差值数据,结合基准数据,实现道路交通空间数据的解压缩,其一般表达式如下:
dperrj(m,Mgh)=w’(perrj(Tn,Mgh))(12)
CSMj(m,Mgh)=SB(m,Mgh)+dperrj(m,Mgh)(13)
其中,w’表示LZW的反解码;dperrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段解码后的j路段与基准路段的差值数据;CSMj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段重构的j路段的道路交通实时数据。
实例:一种基于LZW编码的道路交通空间数据压缩方法,包括以下步骤:
1)获取同一模态下、空间上不同路段的道路交通数据建立道路交通特征参考序列,基于空间相关性分析,选择基准路段,并将其数据作为空间上的道路交通基准数据
由于空间上不同路段存在空间相关特性,则空间上不同路段的道路交通流具有相似性,故选择北京经典二环路段的相邻两条道路交通数据进行算法应用及验证,具体路段如表3所示。
表3
提取2011年6月份6天(11、14、18、19、25、26)的道路交通数据建立道路交通特征参考序列。道路交通状态数据的获取间隔Δt为2min。
将HI7057b路段作为基准路段,采集的道路交通数据作为基准数据;将HI7036b路段在2011.06.11日采集的同一模态的道路交通数据作为训练数据,进行算法参数设定。将HI7036b路段在其它5日采集的同一模态的道路交通数据作为实时数据,进行算法验证。
2)提取HI7036b路段在11日采集的道路交通数据作为训练数据,模态Mgh下、基于HI7057b路段的道路交通基准数据,获取道路交通差值数据,选取道路交通差值数据的最优阈值
对训练数据和基准数据的差值数据进行阈值化处理,分别选取基准数据的不同百分比作为阈值,训练道路交通差值数据的最优阈值,其一般步骤如下:
Si(m*Δt,Mgh)=STi(m*Δt,Mgh)-SB(m*Δt,Mgh)(2)
ei(m,Mgh)=[Si(Δt,Mgh)Si(2*Δt,Mgh)…Si(m*Δt,Mgh)](3)
pei(n,Mgh)=w(hei(m,Mgh))(5)
pei(n,Mgh)=[Si’(1,Mgh)Si’(2,Mgh)…Si’(n,Mgh)](6)
其中,Δt为道路交通状态数据的采集周期;(m*Δt)为第m个道路交通状态数据采集周期,0≤m≤N,N表示每天采集的交通信息的数量;i(1≤i≤p)表示选取第i条路段;STi(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的道路交通数据;SB(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻基准路段的基准数据;Si(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的训练数据与基准路段的基准数据的差值数据;ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段的训练数据与基准路段的基准数据的差值数据;hei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段阈值处理的i路段的训练数据与基准路段的基准数据的差值数据;Ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段选取的阈值;pei(n,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果;Si’(n,Mgh)为模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果中第n个数据;m表示在模态Mgh下、Δt到(m*Δt)时段压缩前的i路段与基准路段的差值数据的数量;n表示在模态Mgh下、Δt到(m*Δt)时段压缩后的道路交通数量;w表示LZW编码;压缩比为
3)提取HI7036b路段在其它5日的数据,作为实时数据,基于同一模态Mgh空间上HI7057b路段的基准数据,获取道路交通差值数据,其一般表达式如下:
MSj(m*Δt,Mgh)=SMj(m*Δt,Mgh)-SB(m*Δt,Mgh)(7)
errj(m,Mgh)=[MSj(Δt,Mgh)MSj(2*Δt,Mgh)…MSj(m*Δt,Mgh)](8)
其中,j(1≤i≤p)表示第j条路段;SMj(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻j路段的实时数据;MSj(m*Δt,Mgh)为模态Mgh下、(m*Δt)时刻j路段的实时数据与基准路段的基准数据的差值数据;errj(m,Mgh)为模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据。
4)基于LZW编码实现具有空间相关性的相邻路段的道路交通差值数据压缩
LZW编码是一种基于字典编码的无损数据压缩方法。通过建立一个字符串表,用较短的码字表示较长的码字,实现数据压缩的目的。在动态的建立串表的同时,字符串和码字之间逐渐建立关系。在后续的字符串与串表进行比较,不断完善和壮大串表。生成的串表不需要随着数据一块进行存储,在解压缩的过程中,仍然能够重建一个完整相同的串表,从而进一步提高压缩效率。
将训练的最佳阈值引入到同一模态Mgh下实时数据和基准数据的差值数据中,进行LZW编码,间接实现实时数据的压缩,其一般步骤如下:
perrj(Tn,Mgh)=w(herrj(m,Mgh))(10)
perrj(Tn,Mgh)=[MSj’(1,Mgh)MSj’(2,Mgh)…MSj’(Tn,Mgh)](11)
其中,Eopt(Mgh)表示训练的最优阈值;herrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据;m表示模态Mgh下、Δt到(m*Δt)时段压缩前j路段与基准路段的差值数据的数量;perrj(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段压缩后j路段与基准路段的差值数据的数量;Tn表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩后的数量;MSj’(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩结果的第Tn个数据;压缩比为
5)基于LZW解码实现道路交通数据重构
针对压缩后的差值数据进行LZW解码,获取同一模态Mgh下HI7036b路段的道路交通实时数据和HI7057b路段的道路交通基准数据的差值数据,结合HI7057b路段的道路交通基准数据,实现HI7036b路段的道路交通实时数据解压缩,其一般表达式如下:
dperrj(m,Mgh)=w’(perrj(Tn,Mgh))(12)
CSMj(m,Mgh)=SB(m,Mgh)+dperrj(m,Mgh)(13)
其中,w’表示LZW的反解码;dperrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段解码后的j路段与基准路段的差值数据;CSMj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段重构的j路段的道路交通实时数据。
6)基于LZW编码的道路交通数据压缩的参数确定
在基于LZW编码的道路交通空间数据压缩过程中,设计到有以下几个参数:SB(m)、STi(m)、Ei(m)、per,erri(m),其中,Ei(m)可以由SB(m)和per获取,erri(m)可以由Ei(m)决定,这里所做的参数设定只是对基于LZW编码的道路交通空间数据压缩的大概影响分析。
由于这些参数对算法的精度各有影响,单独分析每个参数对算法精度的影响并不能确保算法的最优,因此在进行算法分析时应该同时考虑所有参数对该道路交通数据压缩的影响。
引入重构数据的绝对平均相对误差、对参数对算法精度的影响进行分析:
其中,CSMj(m,Mgh)表示在模态Mgh下、Δt到(m*Δt)时段重构的j路段的道路交通实时数据;SMj(m,Mgh)为在模态Mgh下、Δt到(m*Δt)时段j路段的道路交通实时数据;NAME为重构数据的绝对平均相对误差。
即对于不同的(SB(m,Mgh)、STj(m,Mgh)、Per),存在与之对应的NMAE。故存在如下等式:
NMAE=f(SB(m,Mgh)、STj(m,Mgh)、Per)
即(SB(m,Mgh)、STj(m,Mgh)、Per)与NMAE存在某种分布关系f,寻找NMAE最小时对应的(SB(m,Mgh)、STj(m,Mgh)、Per),即为最优参数设定过程。故可以得到如下模型:
Minf(SB(m,Mgh)、STj(m,Mgh)、Per)
Where
最终(SB(m,Mgh)、STj(m,Mgh)、Per)的取值可以通过道路交通基准数据和训练数据的训练确定。
7)实验结果
基于同一模态的道路交通空间基准数据和训练数据,获取最优参数(SB(m)、STj(m)、Per)。本实验结果主要针对路段的车量速度值进行压缩。提取道路交通空间实时数据,基于LZW编码,实现道路交通空间实时数据的压缩。
选取压缩比(CR)、绝对误差(AE)、对误差百分比(marerr)、误差标准差(σ)作为道路交通流预测精度的指标,其计算公式分别如下所示:
其中,
yj(m,Mgh)=CSMj(m,Mgh)-SMj(m,Mgh)
其中,CRj(Mgh)为模态Mgh下、Δt到(m*Δt)时段j路段的压缩比;CMa(Mgh)为模态Mgh下、压缩前数据数量,CMb(Mgh)为模态Mgh下、压缩后的数据数量,yj(m,Mgh)为模态Mgh下、Δt到(m*Δt)时段j路段实时数据与重构后的实时数据的误差值,为平均误差。
实验路段2011年6月14、18、19、25、26日速度值的压缩结果统计分析如下表4所示。
14 | 18 | 19 | 25 | 26 | |
压缩百分比 | 6.85 | 8.00 | 7.83 | 6.86 | 6.86 |
绝对平均误差 | 3.64 | 4.02 | 3.57 | 3.61 | 3.51 |
平均相对百分比误差 | 8.47 | 6.83 | 6.14 | 6.87 | 5.66 |
误差的标准差 | 5.96 | 6.21 | 5.93 | 5.84 | 5.76 |
表4。
Claims (6)
1.一种基于LZW编码的道路交通空间数据压缩方法,其特征在于所述方法包括如下步骤:
1)获取同一模态下、空间上的不同路段的道路交通数据建立道路交通特征参考序列,基于空间相关性分析,选择基准路段,并将其数据作为空间上的道路交通基准数据;
2)提取同一模态下、空间上其它路段的历史数据,作为训练数据,基于同一模态下、空间上的道路交通基准数据,确定空间道路交通差值数据的最优阈值;
3)获取同一模态下、空间上其它路段的实时数据,作为实验数据,基于同一模态下、空间上的道路交通基准数据,获取空间上的道路交通差值数据;
4)基于LZW编码实现空间道路交通差值数据的压缩;
5)基于LZW解码实现空间道路交通实时数据的重构。
2.如权利要求1所述的一种基于LZW编码的道路交通空间数据压缩方法,其特征在于:所述步骤1)包括如下步骤:
1.1)道路交通运行模态的划分
道路交通运行模态的划分分为两个层次:路网层和路段层,设定路网层的交通运行模态的划分标识将道路的交通运行模态划分为g种子模态,路段层的交通运行模态的划分标识将道路的交通运行模态划分为h种子模态,则道路的交通运行模态一共划分为g×h种,记为集合Mode={M11,M12,…,Mgh},其中g和h的取值根据所选交通运行模态的划分标识确定;
1.2)设计道路交通特征参考序列的结构
设定道路交通状态数据的采集周期是Δt;
道路交通特征参考序列的表格式如表1和表2所示:
表1.道路交通特征参考序列信息表
设定共选定p条具有空间相关特性的路段,记为:
L=[L1L2…Lp](1)
其中,p表示道路空间上的路段条数;Li(1≤i≤p)表示第i条路段;L表示选择的具有空间相关特性路段的集合;
1.3)道路交通空间基准数据的获取
空间路段的道路交通流之间存在空间关联关系,具有很高的相关性,基于道路交通空间数据的相关性,选择基准路段,提取基准路段的数据作为道路交通基准数据。
3.如权利要求1或2所述的一种基于LZW编码的道路交通空间数据压缩方法,其特征在于:所述步骤2)中,提取空间上其它路段的数据,作为训练数据;模态Mgh下、基于空间上的道路交通基准数据,获取同一模态Mgh下、空间上的道路交通差值数据并进行阈值处理,通过LZW编码训练最优阈值,其一般表达式如下:
Si(m*Δt,Mgh)=STi(m*Δt,Mgh)-SB(m*Δt,Mgh)(2)
ei(m,Mgh)=[Si(Δt,Mgh)Si(2*Δt,Mgh)…Si(m*Δt,Mgh)](3)
pei(n,Mgh)=w(hei(m,Mgh))(5)
pei(n,Mgh)=[Si’(1,Mgh)Si’(2,Mgh)…Si’(n,Mgh)](6)
其中,Δt为道路交通状态数据的采集周期;(m*Δt)为第m个道路交通状态数据采集周期,0≤m≤N,N表示每天采集的交通信息的数量;i(1≤i≤p)表示选取第i条路段;STi(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的道路交通数据;SB(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻基准路段的基准数据;Si(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻i路段的训练数据与基准路段的基准数据的差值数据;ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段的训练数据与基准路段的基准数据的差值数据;hei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段阈值处理的i路段的训练数据与基准路段的基准数据的差值数据;Ei(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段选取的阈值;pei(n,Mgh)表示模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果;Si’(n,Mgh)为模态Mgh下、Δt到(m*Δt)时段i路段与基准路段的差值数据经LZW编码后的结果中第n个数据;m表示在模态Mgh下、Δt到(m*Δt)时段压缩前的i路段与基准路段的差值数据的数量;n表示在模态Mgh下、Δt到(m*Δt)时段压缩后的道路交通数量;w表示LZW编码;压缩比为
4.如权利要求3所述的一种基于LZW编码的道路交通空间数据压缩方法,其特征在于:所述步骤3)中,提取空间上其它路段的数据,作为实时数据;模态Mgh下、基于空间上的道路交通基准数据,获取道路交通差值数据,其一般表达式如下:
MSj(m*Δt,Mgh)=SMj(m*Δt,Mgh)-SB(m*Δt,Mgh)(7)
errj(m,Mgh)=[MSj(Δt,Mgh)MSj(2*Δt,Mgh)…MSj(m*Δt,Mgh)](8)
其中,j(1≤i≤p)表示第j条路段;SMj(m*Δt,Mgh)表示模态Mgh下、(m*Δt)时刻j路段的实时数据;MSj(m*Δt,Mgh)为模态Mgh下、(m*Δt)时刻j路段的实时数据与基准路段的基准数据的差值数据;errj(m,Mgh)为模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据。
5.如权利要求4所述的一种基于LZW编码的道路交通空间数据压缩方法,其特征在于:所述步骤4)中,基于LZW编码实现道路交通空间数据的压缩,将i路段与基准路段的差值数据训练的最佳阈值引入到同一模态Mgh、j路段与基准路段的差值数据中,结合LZW编码,实现j路段与基准路段差值数据的压缩,其一般表达式如下:
perrj(Tn,Mgh)=w(herrj(m,Mgh))(10)
perrj(Tn,Mgh)=[MSj’(1,Mgh)MSj’(2,Mgh)…MSj’(Tn,Mgh)](11)
其中,Eopt(Mgh)表示训练的最优阈值;herrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段的实时数据与基准路段的基准数据的差值数据;m表示模态Mgh下、Δt到(m*Δt)时段压缩前j路段与基准路段的差值数据的数量;perrj(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段压缩后j路段与基准路段的差值数据的数量;Tn表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩后的数量;MSj’(Tn,Mgh)表示模态Mgh下、Δt到(m*Δt)时段j路段与基准路段的差值数据压缩结果的第Tn个数据;压缩比为
6.如权利要求5所述的一种基于LZW编码的道路交通空间数据压缩方法,其特征在于:所述步骤5)中,基于LZW解码技术,对j路段与基准路段的差值数据进行重构,结合基准数据,实现j路段实时数据的解压缩,其一般表达式如下:
dperrj(m,Mgh)=w’(perrj(Tn,Mgh))(12)
CSMj(m,Mgh)=SB(m,Mgh)+dperrj(m,Mgh)(13)
其中,w’表示LZW的反解码;dperrj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段解码后的j路段与基准路段的差值数据;CSMj(m,Mgh)表示模态Mgh下、Δt到(m*Δt)时段重构的j路段的道路交通实时数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510901435.8A CN105469601B (zh) | 2015-12-09 | 2015-12-09 | 一种基于lzw编码的道路交通空间数据压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510901435.8A CN105469601B (zh) | 2015-12-09 | 2015-12-09 | 一种基于lzw编码的道路交通空间数据压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105469601A true CN105469601A (zh) | 2016-04-06 |
CN105469601B CN105469601B (zh) | 2017-12-05 |
Family
ID=55607246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510901435.8A Active CN105469601B (zh) | 2015-12-09 | 2015-12-09 | 一种基于lzw编码的道路交通空间数据压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105469601B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105788261A (zh) * | 2016-04-15 | 2016-07-20 | 浙江工业大学 | 一种基于pca和lzw编码的道路交通空间数据压缩方法 |
CN109286399A (zh) * | 2018-08-14 | 2019-01-29 | 同济大学 | 基于lzw算法的gps轨迹数据的压缩方法 |
CN115964347A (zh) * | 2023-03-16 | 2023-04-14 | 菏泽市产品检验检测研究院 | 一种市场监管监测中心数据的智能存储方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079521A (ja) * | 2008-09-25 | 2010-04-08 | Mitsubishi Electric Corp | 交通統計情報生成装置、車載交通情報処理装置、および、交通情報処理システム |
CN102762957A (zh) * | 2009-12-17 | 2012-10-31 | 佳明瑞士有限责任公司 | 历史交通数据压缩 |
US20130108048A1 (en) * | 2011-06-06 | 2013-05-02 | Cleversafe, Inc. | Wirelessly Communicating a Data File |
-
2015
- 2015-12-09 CN CN201510901435.8A patent/CN105469601B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079521A (ja) * | 2008-09-25 | 2010-04-08 | Mitsubishi Electric Corp | 交通統計情報生成装置、車載交通情報処理装置、および、交通情報処理システム |
CN102762957A (zh) * | 2009-12-17 | 2012-10-31 | 佳明瑞士有限责任公司 | 历史交通数据压缩 |
US20130108048A1 (en) * | 2011-06-06 | 2013-05-02 | Cleversafe, Inc. | Wirelessly Communicating a Data File |
Non-Patent Citations (3)
Title |
---|
JUN DING,等: "A Method for Urban Traffic Data Compression Based on Wavelet-PCA", 《2011 FOURTH INTERNATIONAL JOINT CONFERENCE ON COMPUTATIONAL SCIENCES AND OPTIMIZATION》 * |
李清泉,等: "基于压缩传感的交通流量数据压缩方法", 《交通运输工程学报》 * |
耿彦斌,等: "基于信号处理技术的ITS数据压缩方法与应用", 《土木工程学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105788261A (zh) * | 2016-04-15 | 2016-07-20 | 浙江工业大学 | 一种基于pca和lzw编码的道路交通空间数据压缩方法 |
CN105788261B (zh) * | 2016-04-15 | 2018-09-21 | 浙江工业大学 | 一种基于pca和lzw编码的道路交通空间数据压缩方法 |
CN109286399A (zh) * | 2018-08-14 | 2019-01-29 | 同济大学 | 基于lzw算法的gps轨迹数据的压缩方法 |
CN109286399B (zh) * | 2018-08-14 | 2022-04-15 | 同济大学 | 基于lzw算法的gps轨迹数据的压缩方法 |
CN115964347A (zh) * | 2023-03-16 | 2023-04-14 | 菏泽市产品检验检测研究院 | 一种市场监管监测中心数据的智能存储方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105469601B (zh) | 2017-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105788261A (zh) | 一种基于pca和lzw编码的道路交通空间数据压缩方法 | |
JP2021060992A (ja) | マシンラーニングシステム及び方法 | |
CN104536983A (zh) | 一种预测广告点击率的方法和装置 | |
CN103970873A (zh) | 一种音乐推荐方法和系统 | |
CN105279964A (zh) | 一种基于低秩算法的路网交通数据的补全方法 | |
CN105469611A (zh) | 一种短时交通流预测模型方法 | |
CN113806587A (zh) | 一种多模态特征融合的视频描述文本生成方法 | |
CN103208032B (zh) | 一种基于小波和混沌优化lssvm的周期来压预测方法 | |
CN111861756B (zh) | 一种基于金融交易网络的团伙检测方法及其实现装置 | |
CN105469601A (zh) | 一种基于lzw编码的道路交通空间数据压缩方法 | |
CN114611792A (zh) | 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法 | |
CN109086926A (zh) | 一种基于组合神经网络结构的短时轨道交通客流预测方法 | |
CN104881563A (zh) | 径流的混沌特性分析及非线性预测方法 | |
CN102708871A (zh) | 基于条件高斯混合模型的线谱对参数降维量化方法 | |
CN105427583A (zh) | 一种基于lzw编码的道路交通数据压缩方法 | |
CN106295690A (zh) | 基于非负矩阵分解的时间序列数据聚类方法及系统 | |
CN105184297A (zh) | 基于张量和稀疏自编码器的极化sar图像分类方法 | |
CN110260914B (zh) | 一种基于测点时空特征的工程安全监测系统区域划分方法 | |
CN115471008A (zh) | 一种基于长短期记忆神经网络的燃气短期负荷预测方法 | |
CN115841119A (zh) | 一种基于图结构的情绪原因提取方法 | |
CN105893331A (zh) | 一种基于主成分分析算法的道路交通时间序列上数据压缩方法 | |
CN105406872A (zh) | 一种基于eemd的压缩感知方法 | |
CN107067096A (zh) | 基于分形与混沌理论相结合的金融时间序列短期预测 | |
CN111914060B (zh) | 一种基于在线点评数据的商户多视图特征提取及模型构建方法 | |
CN117852686A (zh) | 基于多元自编码器的电力负荷预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |