CN104467870A - 一种结构化数据的传输方法、装置及高速铁路系统 - Google Patents
一种结构化数据的传输方法、装置及高速铁路系统 Download PDFInfo
- Publication number
- CN104467870A CN104467870A CN201410787420.9A CN201410787420A CN104467870A CN 104467870 A CN104467870 A CN 104467870A CN 201410787420 A CN201410787420 A CN 201410787420A CN 104467870 A CN104467870 A CN 104467870A
- Authority
- CN
- China
- Prior art keywords
- data
- subsequence
- data subsequence
- described basic
- numbering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本申请公开了一种结构化数据的传输方法、装置以及高速铁路系统。本发明以一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，从而得到与所述基础数据子序列不相同的数据的数据信息，并将该数据信息和基础数据子序列进行压缩传输。由此可见，本发明得到的压缩数据比使用常用压缩方法得到的压缩数据小，从而提高了高速铁路系统的数据传输效率。
Description
技术领域
本申请涉及数据传输领域，更具体地说，涉及一种结构化数据的传输方法、装置及高速铁路系统。
背景技术
目前，在高速铁路系统中，列车需要向地面控制中心传输大量的结构化实时数据。但由于网络覆盖与传输能力的限制，实时数据传输的效率受到了极大的影响，因此在对数据进行传输前对数据进行数据压缩。
然而，由于高速铁路系统中的结构化数据是由一种或多种数据结构的结构化数据顺序连接而成的，因而传统的数据压缩方法在对高速铁路系统的结构化数据进行压缩时，压缩效果差，导致当前的高速铁路系统的数据传输效率低。
发明内容
有鉴于此，本申请提供一种结构化数据的传输方法和装置，以提高高速铁路系统的数据传输效率。
为了实现上述目的，现提出的方案如下：
一种结构化数据传输方法，包括：
获取所述结构化数据序列，所述结构化数据序列至少包括一种数据结构的数据子序列；
以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息，所述数据信息包括数据起始位置、数据长度和数据内容；
将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
优选的，所述获取所属结构化数据序列，之后还包括：
按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列。
优选的，所述按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列，之后还包括：
赋予具有相同数据结构的数据子序列相同的特征值。
优选的，所述以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，包括：
对于具有相同特征值的数据子序列，将编号最小的数据子序列作为基础数据子序列；
按照编号依次比较所述基础数据子序列和与其他数据子序列。
优选的，所述以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，包括：
对于具有相同特征值的数据子序列，以与待比较数据子序列相似度最高的数据子序列为基础数据子序列；
比较所述基础数据子序列和所述待比较数据子序列。
优选的，所述将所述基础数据子序列和所述数据信息进行压缩，包括：
采用Deflate压缩方法和/或LZSS压缩方法对所述基础数据子序列和所述数据信息进行压缩。
一种结构化数据的传输装置，包括：
信息采集单元，用于获取所述结构化数据序列，所述结构化数据序列至少包括一种数据结构的数据子序列；
比较单元，用于以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息，所述数据信息包括数据起始位置、数据长度和数据内容；
压缩传输单元，用于将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
优选的，还包括：
与所述信息采集单元相连的编号配置单元，用于按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列。
优选的，还包括：与所述编号配置单元相连的特征值配置单元，用于赋予具有相同数据结构的数据子序列相同的特征值。
一种高速铁路系统，包括以上内容中所述的传输装置。
经由上述技术方案可知，本申请公开了一种结构化数据的传输方法、装置以及高速铁路系统。本发明以一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，从而得到与所述基础数据子序列不相同的数据的数据信息，并将该数据信息和基础数据子序列进行压缩传输。由此可见，本发明得到的压缩数据比使用常用压缩方法得到的压缩数据小，从而提高了高速铁路系统的数据传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明一种结构化数据的传输方法的一个实施例的流程示意图；
图2示出了本发明一种结构化数据的传输方法的另一个实施例的结构示意图；
图3示出了本发明一种结构化数据的传输装置的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现在，成熟的数据压缩方法有很多，如：Deflate、LZSS、LZMA等，但这些压缩方法在对高速铁路系统结构化实时数据进行压缩的过程中会遇到一些问题：
(1)上述的这些压缩方法适用范围广，对不同数据结构、不同类型的数据都有一定的压缩效果，但针对特定的数据结构的设计压缩算法较少，因此使用常见的压缩方法无法到达理想的压缩效果；
(2)对于特定数据结构和类型的数据，如果想要获得更高的压缩率，可以选择特定的方法对这种数据进行压缩，但由于实时数据的特点，相同数据结构的数据很难连续的排列，使得压缩数据量过小，并最终导致压缩效率下降的情况，有时甚至会出现压缩后的数据反而比原始数据还大的现象。
综上所述，目前还没有一种压缩率高、适用于高速铁路系统的结构化数据序列的压缩方法可供采用。
实施例一
参见图1示出了本发明一种结构化数据的传输方法的一个实施例的流程示意图。
由图1可知，在本实施例中，该方法包括：
101：获取结构化数据序列。
高速铁路系统中的结构化数据序列是由一种或多种结构化数据子序列顺利连接而成的。其中，每一个结构化数据子序列称为一个帧，具有相同数据结构的帧(数据子序列)的长度相等或相近。
102：以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息。
比如：在对数据子序列A和数据子序列B进行压缩时(数据子序列A与数据子序列B的数据结构相同)，以数据子序列A为基础数据子序列，比较数据子序列A和数据子序列B，并用与数据子序列A不同的数据的数据信息表示数据子序列B。需要说明的是，在数据信息包括：数据起始位置、数据长度和数据内容。
103：将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
由实施例一可知，由于用与数据子序列A不同的数据的数据信息代替了数据子序列B，因而本发明得到的压缩数据比使用常用压缩方法得到的压缩数据小，从而提高了高速铁路系统的数据传输效率。
实施例二
参见图2示出了本发明一种结构化数据的传输方法的另一个实施例的结构示意图。
由图2可知，在本实施例中，该方法包括：
201：获取结构化数据序列。
高速铁路系统中的结构化数据序列是由一种或多种结构化数据子序列顺利连接而成的。其中，每一个结构化数据子序列称为一个帧，具有相同数据结构的帧(数据子序列)的长度相等或相近。
202：按照所述数据子序列的顺序，对所述数据子序列进行编号。
为了操作方便，在本实施例总将高速铁路系统中结构化数据序列中的结构化数据子序列(帧)进行编号。
可选的，通常按照顺序增加的方式为帧进行编号，编号是表示帧的唯一编号，这样在压缩和解压缩时就可以通过帧的编号代表整个帧的数据。如：该结构化数据序列依次为帧0、帧1、帧2……。
203：赋予具有相同数据结构的数据子序列相同的特征值。
帧的特征值用于区分不同的数据结构。对于数据结构相同的帧，具有相同的特征值；而对于数据结构不同的帧，特征值则不相同。一般来说，帧的特征值可以是帧中的一段数据或人工设定的一个字段。如可以用帧的首个字节表示该帧的特征值。
204：以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息。
需要说明的是，该过程可采用以下两种方式实现：
(一)首先获取所有特征值相同的帧，如果该组中，帧0的编号最小则以帧0为基础数据子序列，其他所有帧与帧0依次进行比较，得到与帧0不同的数据的数据信息。该数据信息包括：数据起始位置、数据长度、数据内容。
(二)按照帧编号依次进行比较。其比较规则如下：仅与比该帧编号小的帧进行比较；
若帧的编号小于所有其他帧的编号，则不对帧的内容做任何处理；
在进行比较时，若编号小于自身编号的帧中不存在与自身特征相同的帧，则与比自身编号小一的帧进行比较；
对帧A，从特征值相同的帧中选择相似度最高的帧B，用帧A与帧B之间不相同的数据表示帧A的数据；
存储预处理的差分结果时，首先存储帧B的编号；
接下来依次存储不相同数据的内容，按照数据的起始位置、数据的长度、数据的内容的顺序进行存放。
参见表1示出了采用第二中比较方法的处理结果示意图。
表1
由表1可知，该结构化数据序列包括帧0至帧8，其中帧0、帧1、帧4和帧8的具有相同的特征值(即数据结构相同)，帧2、帧3、帧5、帧6和帧7具有相同的特征值。
在对帧进行处理时，帧0的编号最小不作处理，帧1与帧0具有相同的特征值，比较结果为00 16 02 15 16。其中，00表示与帧0进行比较，16表示数据的起始位置，02表示数据的长度，1516表示数据内容。由表1可知，在对帧处理后，数据的大小从216字节变为了93字节。
205：将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
使用的常规压缩方法包括Deflate压缩方法、LZSS压缩方法及其他现有的压缩方法和未来新出现的压缩方法，以及多种方法的组合。
实施例三
需要说明的是，与本发明一种结构化数据的传输方法相适用，本发明还公开了一种结构化数据的传输装置。
参见图3示出了本发明一种结构化数据的传输装置的一个实施例的结构示意图。
由图1可知，在本实施例中，该装置包括：
信息采集单元1，用于获取所述结构化数据序列，所述结构化数据序列至少包括一种数据结构的数据子序列；
与所述信息采集单元相连的编号配置单元2，用于按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列。
与所述编号配置单元相连的特征值配置单元3，用于赋予具有相同数据结构的数据子序列相同的特征值。
比较单元4，用于以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息，所述数据信息包括数据起始位置、数据长度和数据内容；
压缩传输单元5，用于将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
需要说明的的是，本发明还公开了一种高速铁路系统，该系统包括上述所述的结构化数据的传输装置。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种结构化数据传输方法，其特征在于，包括：
获取所述结构化数据序列，所述结构化数据序列至少包括一种数据结构的数据子序列；
以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息，所述数据信息包括数据起始位置、数据长度和数据内容；
将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
2.根据权利要求1所述的方法，其特征在于，所述获取所属结构化数据序列，之后还包括：
按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列。
3.根据权利要求2所述的方法，其特征在于，所述按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列，之后还包括：
赋予具有相同数据结构的数据子序列相同的特征值。
4.根据权利要求3所述的方法，其特征在于，所述以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，包括：
对于具有相同特征值的数据子序列，将编号最小的数据子序列作为基础数据子序列；
按照编号依次比较所述基础数据子序列和与其他数据子序列。
5.根据权利要求3所述的方法，其特征在于，所述以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，包括：
对于具有相同特征值的数据子序列，以与待比较数据子序列相似度最高的数据子序列为基础数据子序列；
比较所述基础数据子序列和所述待比较数据子序列。
6.根据权利要求1所述的方法，其特征在于，所述将所述基础数据子序列和所述数据信息进行压缩，包括：
采用Deflate压缩方法和/或LZSS压缩方法对所述基础数据子序列和所述数据信息进行压缩。
7.一种结构化数据的传输装置，其特征在于，包括：
信息采集单元，用于获取所述结构化数据序列，所述结构化数据序列至少包括一种数据结构的数据子序列；
比较单元，用于以其中一个数据子序列为基础数据子序列，比较所述基础数据子序列和与所述基础数据子序列具有相同数据结构的数据子序列，得到与所述基础数据子序列不相同的数据的数据信息，所述数据信息包括数据起始位置、数据长度和数据内容；
压缩传输单元，用于将所述基础数据子序列和所述数据信息进行压缩，对压缩后的数据进行传输。
8.根据权利要求7所述的装置，其特征在于，还包括：
与所述信息采集单元相连的编号配置单元，用于按照所述数据子序列的顺序，对所述数据子序列进行编号，以所述编号表示所述数据子序列。
9.根据权利要求8所述的装置，其特征在于，还包括：与所述编号配置单元相连的特征值配置单元，用于赋予具有相同数据结构的数据子序列相同的特征值。
10.一种高速铁路系统，其特征在于，包括权利要求7至权利要求9任意一项权利要求所述的传输装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410787420.9A CN104467870A (zh) | 2014-12-17 | 2014-12-17 | 一种结构化数据的传输方法、装置及高速铁路系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410787420.9A CN104467870A (zh) | 2014-12-17 | 2014-12-17 | 一种结构化数据的传输方法、装置及高速铁路系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104467870A true CN104467870A (zh) | 2015-03-25 |
Family
ID=52913335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410787420.9A Pending CN104467870A (zh) | 2014-12-17 | 2014-12-17 | 一种结构化数据的传输方法、装置及高速铁路系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104467870A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105022631A (zh) * | 2015-07-08 | 2015-11-04 | 西安理工大学 | 一种面向科学计算的浮点型数据并行无损压缩方法 |
| CN105049055A (zh) * | 2015-06-30 | 2015-11-11 | 郑州宇通客车股份有限公司 | 一种数据压缩方法和数据解压方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7342580B1 (en) * | 2004-04-02 | 2008-03-11 | Pacific Data Images Llc | Surface compression based on reference geometry in animation models |
| CN101241508A (zh) * | 2007-08-01 | 2008-08-13 | 金立 | 结构化数据序列的压缩方法 |
| CN101751440A (zh) * | 2008-12-19 | 2010-06-23 | 高德软件有限公司 | 一种数据压缩/解压缩方法及其装置 |
| CN102103630A (zh) * | 2010-12-08 | 2011-06-22 | 中国联合网络通信集团有限公司 | 数据压缩方法和装置以及数据解压缩方法和装置 |
-
2014
- 2014-12-17 CN CN201410787420.9A patent/CN104467870A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7342580B1 (en) * | 2004-04-02 | 2008-03-11 | Pacific Data Images Llc | Surface compression based on reference geometry in animation models |
| CN101241508A (zh) * | 2007-08-01 | 2008-08-13 | 金立 | 结构化数据序列的压缩方法 |
| CN101751440A (zh) * | 2008-12-19 | 2010-06-23 | 高德软件有限公司 | 一种数据压缩/解压缩方法及其装置 |
| CN102103630A (zh) * | 2010-12-08 | 2011-06-22 | 中国联合网络通信集团有限公司 | 数据压缩方法和装置以及数据解压缩方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049055A (zh) * | 2015-06-30 | 2015-11-11 | 郑州宇通客车股份有限公司 | 一种数据压缩方法和数据解压方法 |
| CN105022631A (zh) * | 2015-07-08 | 2015-11-04 | 西安理工大学 | 一种面向科学计算的浮点型数据并行无损压缩方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109194337B (zh) | 一种Polar码编码方法、装置 | |
| CN102122960B (zh) | 一种针对二进制数据的多字符组合无损数据压缩方法 | |
| CN107566842B (zh) | 图像编解码压缩的方法、装置和系统 | |
| CN102694554B (zh) | 数据压缩设备、其操作方法以及包括该设备的数据处理装置 | |
| CN110520909A (zh) | 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 | |
| CN102970043B (zh) | 一种基于gzip的压缩硬件系统及其加速方法 | |
| CN104918046B (zh) | 一种局部描述子压缩方法和装置 | |
| CN105868305A (zh) | 一种支持模糊匹配的云存储数据去重复方法 | |
| CN102075430B (zh) | 深度报文检测dfa状态转移表的压缩与报文匹配方法 | |
| CN103778248A (zh) | 高效自描述的复杂数据对象序列化方法 | |
| CN104618361B (zh) | 一种网络流数据重排序方法 | |
| CN103428494A (zh) | 基于云计算平台的图像序列编码及恢复方法 | |
| CN106202213A (zh) | 一种fpga二进制文件压缩、解压方法及压缩、解压装置 | |
| Bedruz et al. | Comparison of Huffman Algorithm and Lempel-Ziv Algorithm for audio, image and text compression | |
| CN109101504A (zh) | 一种高效的日志压缩和索引方法 | |
| CN104467870A (zh) | 一种结构化数据的传输方法、装置及高速铁路系统 | |
| CN103840871B (zh) | 无线网络中三维模型拓扑数据鲁棒传输的编码和重构方法 | |
| CN103795490B (zh) | 一种数据传输加速的方法及系统 | |
| CN101540061B (zh) | 基于模拟退火的无序图像拓扑有序化匹配方法 | |
| CN103209328A (zh) | 多源卫星图像实时在线处理技术方法及装置 | |
| CN104639606B (zh) | 一种差异化对比分块的优化方法 | |
| CN105844214B (zh) | 一种基于比特空间的多路径深度编码的信息指纹提取方法 | |
| CN103138766A (zh) | 数据压缩与解压缩的方法及装置 | |
| CN106202503B (zh) | 数据处理方法及装置 | |
| CN109491807A (zh) | 一种数据交换方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 100073, Huayuan 18, Fengtai District, Beijing Applicant after: BEIJING NATIONAL RAILWAY RESEARCH & DESIGN INSTITUTE OF SIGNAL & COMMUNICATION GROUP LTD. Address before: 100073, Huayuan 18, Fengtai District, Beijing Applicant before: Beijing Quanlu Communication Signals Research and Design Institute Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: BEIJING QUANLU COMMUNICATION SIGNALS RESEARCH AND DESIGN INSTITUTE CO., LTD. TO: BEIJING NATIONAL RAILWAY RESEARCH + DESIGN INSTITUTE OF SIGNAL + COMMUNICATION GROUP CO., LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150325 |