CN102571966B - 一种大型xml文件的网络传输方法 - Google Patents

Abstract

本发明公开了一种大型XML文件的网络传输方法，包括：S1读取XML文档。S2对XML文档的所有节点标签进行生成索引值的预处理。S3删除XML文档中的节点的冗余右标签。S4根据当前网络负载状况，动态调整XML文档分片文件的大小，完成XML文档的压缩处理和分片传输，进一步包括：S41设置分片的初始大小为Initial_Size；S42取出若干个数据作为一个数据包进行压缩处理，并进行网络传输，其中该数据包的大小为Initial_Size；S43根据所述数据包的传输时间，判断当前网络负载状况，并得出最大传输单元的值；S44根据当前网络负载状况和最大传输单元的值以及数据的传输时间重新确定分片大小为New_Size；S45重新取大小为New_Size的数据包进行压缩处理，网络传输；S46重复步骤S43至步骤S45。

Description

一种大型XML文件的网络传输方法

技术领域

本发明涉及XML文件的传输，特别涉及一种大型XML文件的网络传输方法。

背景技术

XML(可扩展标记文件)是一种标记语言，其具有如下优点：(1)自描述性；(2)支持文档内容的验证；(3)允许不同领域的标记语言的存在；(4)支持高级搜集，故而，XML格式的文件在现今的互联网应用中被大量使用。由于现今Internet网络带宽容量的限制，使得系统在进行大型XML文件传输时，对XML进行有效的压缩及传输机制的设计显得尤为重要。

大型XML文件传输现有如下的两种方式：(1)文件结构感知；(2)非文件结构感知两种方式；而在文件结构感知方式中又分为：基于schema方式和非schema方式两种。

考虑到XML文件是以文本方式进行存储，在非结构感知方式下现行系统多采用传统的文本压缩方式进行XML文件的压缩，例如：采用bzip2,gzip等方式。虽然该种方式在对文本文件压缩时具有较大的压缩率，但同时此种方式缺点也较为明显：(1)压缩需占用较多计算资源(CPU，内存，IO等)；(2)需要在发送端和接收端，同时具有相同的压缩/解压缩算法；(3)无法对压缩后的文件进行在线查询。

结构感知方式的压缩方式，其旨在利用对XML文档结构的感知来实现压缩的一种压缩方式，相对XML文档进行一般文本压缩处理的方式来说，该方法进一步提供了压缩率，但其依赖于其后端的压缩/解压算法和相应的XML文档的格式或XML文档的Schema，而没有对于XML文档中的一些冗余信息进行相应的处理。

基于对上述问题的讨论我们提出一种新的基于压缩和分批传输的大型ＸＭＬ文件网络传输方法，该方法具有较高的压缩率，较低的压缩/解压资源消耗，以及较快的传输速率等优点从而以较低的资源需求来完成海量数据的传输。

在进行大型ＸＭＬ文件网络传输时，首要考虑的问题是网络带宽，其次是要考虑尽可能地减少所需要传输文档的大小，最后要考虑的是传输过程所造成文档误差的检查和修复能力。在此，我们主要关注前面两点，即如何在有限的网络带宽下，提高系统的吞吐量。

现有对于大型ＸＭＬ文档进行网络传输时所采用的方法有上述提及的基于XML文档结构感知和非结构感知的两种主要方法，他们的重点均侧重于对于XML文档的压缩处理，而对于压缩后的文件的传输问题则没有过多的讨论。

下面就主要讨论一下上述各个方案。首先，对于非结构感知，其主要侧重于对于XML文档进行相关的压缩，其所采用的方法是将XML文档作为文本文件进行压缩/解压处理，从而达到减少相应所需传输文件大小的目的。如在进行XML文档传输之前对相关文档使用文本压缩算法进行压缩，在接收端使用相应的解压算法对所接收的压缩文件进行解压并还原出源文件。该方案主要使用基于LZ77和Huffman编码，Burrows-Wheeler转换和自适应统计数据压缩技术的gzip,bzip2,PPM等算法对XML文档进行相关压缩。

结构感知的压缩算法主要利用了XML文档的高度结构化的特点，对XML文档进行结构分析，将XML文档的结构和数据分开，将XML文档结构使用树型数据结构来表示，然后将各个节点的数据保存至该树的各个叶子节点上的同质的容器中。XMill作为独立模式的结构感知的压缩算法现在已经广泛的应用在大型ＸＭＬ文档压缩中。例如对于如下的ＸＭＬ文档：

XMill首先根据文档中的所有元素节点构造相应的元素容器，下表表示上述的XML文档所对应的元素容器及属性容器和数据容器的情况。

元素表

属性表

/books/book/title

Discovery in deep ocean.
	Anonymous

对于基于Schema结构感知的压缩算法，算法主要根据系统中XML文档的schema对相应的XML文件进行编码和压缩。XML Schema作为XML文档结构的描述，已经得到越来越广泛的应用。在XML所满足的XML Schema中包括所有XML中元素类型的定义。故而在数据处理之前，可以先分析XMLSchema，获取XML数据流中出现的结构事件序列，进而确定元素事件序列的编码，完成XML数据流的压缩。例如：XAUST XML压缩算法将DTD的模式信息转换成一组确定性有限自动机(DFA)，每个DFA对应于DTD中的一个元素。然后将每个状态的转换都用一个元素标记，与此相关的转换行为是调用DFA模拟器，并将该行为用于标记该转换的元素。而后，XAUST将同一元素的所有数据都归入单一容器，然后使用算order-4压缩器的单个模型以递增方式压缩该容器。使用DTD模式信息，XAUST能够跟踪文档的结构，并能够准确预测预期符号。只要预测到符号是独特的，就不需要对其进行编码，因为解码器从DTD生成相同的模型，从而可以生成独特的预期符号。

对于非结构感知的文档压缩由于其所采用的压缩算法自身的缺陷使得该种方案在实际的应用中也存在着诸多的缺点。例如对于上述的gzip压缩算法，LZ77算法使用对匹配数据的引用来取代数据部分。匹配数据已经通过编码器和解码器传递。这使得算法在应用的过程中首先在系统中传送相应的匹配数据，在大型XML文档中可能会有大量的匹配数据，从而进一步加剧了网络的负载。而Huffman编码使用一种特定方法选择每个符号的表示，使用当时短位字符串中的最常见的字符，而不使用不常见的源符号。而对于bzip2所使用的Burrows-Wheeler转换对于源文档中经常出现的字符串具有较高的压缩率，但对于连续情况较为松散的字符串其压缩率不甚理想，总体性能上较低。对于PPM算法其是基于上下文建模和预测的一种技术，算法在进行建模和预测时必然会消耗大量的计算资源，虽然其PPM具有简单，压缩率高等特点，但其也是一种相对昂贵的压缩算法。虽然从理论上来讲依赖模式的压缩方法可以实现比非依赖模式的方式具有较高的压缩率，但其也存在着相应的缺点：首先，XML文档的schema文件并不是总可以获得，一旦无法获得XML文档的schema，那么算法就无法获得较高的压缩率。

最大传输单元(Maximum Transmission Unit，MTU)是指一种通信协议的某一层上面所能通过的最大数据包大小(以字节为单位)。最大传输单元这个参数通常与通信接口有关(网络接口卡、串口等)。

从上述分析可以看出，现有方案均将其重点放在发送和接收端对相应XML文档的压缩处理上，而忽略其对于压缩文档的网络传输问题。而此问题对于大型文档在网络中传输至关重要，由于在大文件传输的过程中会出现对网络资源使用的竞争问题。同时由于存在MTU的限制，在网络协议层会将大数据报文进行分割传输，同时网络负载的状况也会影响到网络的吞吐量，因为如果网络负载严重，网络会出现拥塞，数据包重传，虽然协议会对这些情况进行处理，但是如果在应用层减少该种情况发生的概率也会从另一个方面提高网络的吞吐量从而减少网络的拥塞。

因此，针对上述现有方案所存在的缺点，需要提出一个基于压缩技术的大型XML文件传输方法。

发明内容

针对上述方案所存在的不足，我们提出一种大型XML文件的网络传输方法，且在对XML文档进行压缩的基础上，在进行网络传输时，根据当前网络的负载状况对XML文档进行分片处理，分片文件的大小会随着网络负载状况的变化进行动态调整，从而保证网络负载在合理的范围内。

本发明的技术方案如下：

一种大型XML文件的网络传输方法，包括以下步骤：

S1：读取XML文档；

S2：对XML文档的所有节点标签进行生成索引值的预处理；

S3：删除XML文档中的节点的冗余右标签；

S4：根据当前网络负载状况，动态调整XML文档分片文件的大小，完成XML文档的压缩处理和分片传输。

较佳地，所述步骤S2进一步包括：

S21：寻找出XML文档中所有节点标签信息，并将所述节点标签信息保存至一张节点数据表中，并对所述节点数据表中的每一项赋予唯一编号作为该项在表中的索引值；

S22：在完成所述节点数据表的建立后，使用节点所对应的索引号对所述XML文档进行相应的处理，对于所述节点在文档中的出现的位置使用其对应的节点索引号进行代替。

较佳地，所述步骤S4进一步包括：

S41：设置分片的初始大小为Initial_Size；

S42：取出若干个数据作为一个数据包进行压缩处理，并进行网络传输；其中所述数据包的大小为Initial_Size；

S43：根据数据包的传输时间，判断当前网络负载状况，并得到网络自动生成的最大传输单元的值；

S44：根据当前网络负载状况和最大传输单元的值以及数据的传输时间重新确定分片大小为New_Size；

S45：重新取大小为New_Size的数据包进行压缩处理，并进行网络传输；

S46：重复步骤S43至步骤S45，直至XML文档全部传输完成。

较佳地，所述步骤S43中，根据所述数据包的传输时间，判断当前网络负载状况，具体包括：

A431：步骤S42中数据包传输后，计算得到所述数据包的数据传输时间TT，其中，所述数据传输时间TT为所述数据包发送时间与响应时间之间的差值；

A432：设定所述数据传输时间TT的初始上限值TT_MAX，用以描述数据在该网络中的传输所需的最大时间，即在网络异常拥堵的情况下，数据由发送端传输到接收端所需的最大传输时间；

A433：判断网络负载状况：

若所述数据传输时间TT在区间(0,TT_MAX]内，则认为该网络负载较为正常；若所述数据传输时间TT在区间(TT_MAX,+∞)内则表明该段网络状况较差。

较佳地，所述步骤S44进一步包括：

S441：在时间T内随机抽取T₁、T₂、….、T_N-1、T_N、…、T_m个数据传输时间，这里的T指的是采样时间；

S442：计算所述m个数据传输时间的统计算术平均值,即统计平均传输时间：

AT_m＝m/(1/T₁+1/T₂+……+1/T_m)   (4.1)

S443：设定一个阈值，用以描述所述AT_m的最大值；

S444：比较T_N-1、T_N两段时间内数据报文的统计平均传输时间AT_N和AT_N-1的差值；检查所述AT_N和所述AT_N-1的关系是否满足如公式(4.2)，如满足，则可以进一步按照公式(4.3)来增加发送分片的大小，否则执行S445；

1-((AT_N-AT_N-1)/AT_N-1)≤阙值   (4.2)

New_Size＝Initial_Size*(1+a)^N   (4.3)

其中:Initial_Size为初始分片大小，New_Size为调整后的数据分片大小，a为数据分片的增幅大小，N为增幅指数，其初始值可以设置为1，每次执行所述算法时候将N设置为N＝N±1；

S445：将a设置为-a，N设置为N-1(N≥1)，并用公式(4.3)来重新调整数据分片的大小。

较佳地，步骤S42中取出的数据同时包括该数据在整个文档中的节点数据表。

与现有技术相比，本发明的有益效果如下：

第一，本发明实现了根据网络状况对XML文档实行实时的动态分片，保证最大程度利用网络带宽，减少传输次数，提高传输效率。

第二，本发明实现了对XML文档极大程度的压缩，而将XML文档压缩后再进行网络传输可以减少传输时间，提高传输效率。

第三，本发明可提供在线查询功能；且因为本发明中每个压缩分片中系统会提供该分片中数据所对应的节点数据表，用来标示该数据在整个XML文档中所处于的节点关系，故即使在没有将文档传输完整的情况下也可以借助节点数据表为用户提供查询功能。

附图说明

图1为本发明具体实施例一种大型XML文件的网络传输方法的流程图；

图2为本发明具体实施例步骤S4的流程图。

具体实施方式

下方结合附图和具体实施例对本发明做进一步的描述。

如图1，一种大型XML文件的网络传输方法，包括以下步骤：

S1：读取XML文档；

S2：对XML文档的所有节点标签进行生成索引值的预处理；

S3：删除XML文档中的节点的冗余右标签；

S4：根据当前网络负载状况，动态调整XML文档分片文件的大小，完成XML文档的压缩处理和分片传输。

其中，步骤S2进一步包括：

S21：寻找出XML文档中所有节点标签信息，例如：节点的名称、节点的属性值等信息，并将这些信息保存至一张节点数据表中，并对表中的每一项赋予唯一编号作为该项在表中的索引值；

S22：在完成节点数据表的建立后，使用节点所对应的索引号对XML文档进行相应的处理，对于该节点在文档中的出现的位置使用其对应的节点索引号进行代替。通过此项处理后，可以预期大大的减少文档中的冗余信息。例如：对于出现的一对标签<Name>Brad.Pitt</Name>，可将其简化成<1>Brad.Pitt</1>。

在完成上述步骤S1-S2后，可以发现现有的文档已被大大的简化，在此基础上我们对简化的XML进行进一步的处理：删除所有节点的右标签，因为我们可以发现在删除该标签后，其XML文档并没用减少相关结构的信息，节点的右标签属于冗余信息，其标识了某节点的结束位置，而该位置我们可以从下一节点的开始标签获得其上一节点的右标签。

虽然经过上述两步处理后XML文档大小会得到相应的减少，但对于大型XML文档其大小仍然是一个非常大的数值，如果将该XML文件压缩成为一个单独的压缩文件传输，会造出以下几个问题：首先在传输大文件时候，会给网络带来非常大的负载压力；(2)对于单个文件来说，如果在传输过程中发生异常，导致接收端接收的文件为错误文件，使得接收端无法正确的解压，使得相应的发送端的压缩工作和发送工作变为无用功，消耗了发送端的计算资源和公共的网络带宽资源；(3)无法进行有效的在线查询功能。由于单个压缩文件巨大使得在线查询需要消耗大量的计算资源。为解决上述三个问题，我们在对处理后的大型XML文档进行分片压缩和传输。为了尽可能的提高网络传输能力和TCP/IP协议的利用率，在系统发送时会自动调整分片大小。我们知道网络的MTU大小决定了是否对传输数据进行分片处理，如果过大的数据会导致在传输过程中进行较多的数据分割，从而造成一定的资源消耗(因为每个分片会增加40字节的消耗，20字节TCP报文头+20字节IP报文头)，故而我们在对XML文档进行分片压缩时，每个压缩分片的大小会根据当前网络负载状况和网络中MTU的情况进行动态调整以保证网络。同时，为了提供在线查询功能，在每个压缩分片中系统会提供该分片中数据所对应的节点数据表，用来标示该数据在整个XML文档中所处于的节点关系，这样在进行在线查询是可提供准确的查询。再者，对应分片压缩传输，如在传输过程中某一分片初始出现异常，只需将该分片重传即可，而无需重传整个压缩文件。

故，步骤S4是非常关键的步骤。

如图2，步骤S4进一步包括：

S41：设置分片的初始大小为Initial_Size；

S42：取出若干个数据作为一个数据包进行压缩处理，并进行网络传输；其中该数据包的大小为Initial_Size；步骤S42中取出的数据同时包括该数据在整个文档中的节点数据表。

S43：根据所述数据包的传输时间，判断当前网络负载状况，并得到网络自动生成的最大传输单元MTU的值；

S44：根据当前网络负载状况和最大传输单元的值以及数据的传输时间重新确定分片大小为New_Size；

S45：重新取大小为New_Size的数据包进行压缩处理，并进行网络传输；

S46：重复步骤S43至步骤S45，直至XML文档全部传输完成。

步骤S43中，根据所述数据包的传输时间，判断当前网络负载状况，具体包括：

A431：步骤S42中数据包传输后，计算得到该数据包的数据传输时间TT，其中，数据传输时间TT为该数据包发送时间与响应时间之间的差值；

A432：设定数据传输时间TT的初始上限值TT_MAX，用以描述数据在该网络中的传输所需的最大时间，即在网络异常拥堵的情况下，数据由发送端传输到接收端所需的最大传输时间；

A433：判断网络负载状况：

若所述数据传输时间TT在区间(0,TT_MAX]内，则认为该网络负载较为正常；若所述数据传输时间TT在区间(TT_MAX,+∞)内则表明该段网络状况较差。

其中，所述步骤S44进一步包括：

S441：在时间T内随机抽取T₁、T₂、….、T_N-1、T_N、…、T_m个数据传输时间，这里的T指的是采样时间；例如在60Mins内，我们收集m个数据传输时间，就是上面的T₁、T₂、….、T_N-1、T_N、…、T_m。

S442：计算该m个数据传输时间的统计算术平均值,即统计平均传输时间：

AT_m＝m/(1/T₁+1/T₂+……+1/T_m)   (4.1)

S443：设定一个阈值，用以描述所述AT_m的最大值；这里的阈值一般是按照经验值来选值。例如可以按照网络空闲时间的3-5倍来设置。

S444：比较T_N，T_N-1两段时间内数据报文的统计平均传输时间AT_N和AT_N-1的差值；

检查AT_N和AT_N-1的关系是否满足如公式(4.2)，如满足，则可以进一步按照公式(4.3)来增加发送分片的大小，否则执行S445；

1-((AT_N-AT_N-1)/AT_N-1)≤阙值   (4.2)

New_Size＝Initial_Size*(1+a)^N   (4.3)

其中:Initial_Size为初始分片大小，初始为1K Bytes。New_Size为调整后的数据分片大小，a为数据分片的增幅大小，N为增幅指数，其初始值可以设置为1，每次执行该算法时将N设置为N＝N±1。

a的值也是由经验来设置大小，比如a＝0.3或者0.8。比如说我们取a＝0.3则当N＝1的时候，新的分片大小则为:Initial_Size*(1+0.3)^1)，N为增幅指数，N可以按照每次加/减一的方式来，这样可以在很快的时间内增加或者降低一个初始状态。

S445：将a设置为-a，N设置为N-1(N≥1)，并公式(4.3)来重新调整数据分片的大小。

同时，为了提供在线查询功能，在每个压缩分片中系统会提供该分片中数据所对应的节点数据表，用来标示该数据在整个XML文档中所处于的节点关系，这样在进行在线查询是可提供准确的查询。

例如，虽然有些系统提供分片传输，但是由于在分片中不提供该分片的关系信息，使得我们在数据传输过程中无法查询该分片中的信息，如：存在分片信息English<1>100<2>200这样的分片，我们无法在线查询，因为我们无法知道分片中的English,1,2以及100,200所代表的含义，基于上述原因我们在分片中加入该分片的节点关系信息，这样就使得系统支持在线查询。例如，这样的分片0:name,1:price,2:quantity|<0>English<1>100<2>200就可以实现在线查询的支持。再者，对应分片压缩传输，如在传输过程中某一分片初始出现异常，只需将该分片重传即可，而无需重传整个压缩文件。

本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种大型XML文件的网络传输方法，其特征在于，包括以下步骤：

S1：读取XML文档；

S2：对XML文档的所有节点标签进行生成索引值的预处理，包括：

S21：寻找出XML文档中所有节点标签信息，并将所述节点标签信息保存至一张节点数据表中，并对所述节点数据表中的每一项赋予唯一编号作为该项在表中的索引值；

S22：在完成所述节点数据表的建立后，使用节点所对应的索引号对所述XML文档进行相应的处理，对于所述节点在文档中的出现的位置使用其对应的节点索引号进行代替；

S3：删除XML文档中的节点的冗余右标签；

S4：根据当前网络负载状况，动态调整XML文档分片文件的大小，完成XML文档的压缩处理和分片传输，包括：

S41：设置分片的初始大小为Initial_Size；

S42：取出若干个数据作为一个数据包进行压缩处理，并进行网络传输；其中所述数据包的大小为Initial_Size；

S43：根据所述数据包的传输时间，判断当前网络负载状况，并得到网络自动生成的最大传输单元的值；

S44：根据当前网络负载状况和最大传输单元的值以及数据的传输时间重新确定分片大小为New_Size；

S45：重新取大小为New_Size的数据包进行压缩处理，并进行网络传输；

S46：重复步骤S43至步骤S45，直至XML文档全部传输完成。

2.根据权利要求1所述的方法，其特征在于，所述步骤S43中，根据所述数据包的传输时间，判断当前网络负载状况，具体包括：

A431：步骤S42中数据包传输后，计算得到所述数据包的数据传输时间TT，其中，所述数据传输时间TT为所述数据包发送时间与响应时间之间的差值；

A432：设定所述数据传输时间TT的初始上限值TT_MAX，用以描述数据在该网络中的传输所需的最大时间，即在网络异常拥堵的情况下，数据由发送端传输到接收端所需的最大传输时间；

A433：判断网络负载状况：

若所述数据传输时间TT在区间(0,TT_MAX]内，则认为该网络负载较为正常；若所述数据传输时间TT在区间(TT_MAX,+∞)内则表明该段网络状况较差。

3.根据权利要求1所述的方法，其特征在于，所述步骤S44进一步包括：

S441：在时间T内随机抽取T₁、T₂、….、T_N-1、T_N、…、T_m个数据传输时间，这里的T指的是采样时间；

S442：计算所述m个数据传输时间的统计算术平均值,即统计平均传输时间：

AT_m＝m/(1/T₁+1/T₂+……+1/T_m)     (4.1)

S443：设定一个阈值，用以描述所述AT_m的最大值；

S444：比较T_N-1、T_N两段时间内数据报文的统计平均传输时间AT_N和AT_N-1的差值；检查所述AT_N和所述AT_N-1的关系是否满足如公式(4.2)，如满足，则可以进一步按照公式(4.3)来增加发送分片的大小，否则执行S445；

1-((AT_N-AT_N-1)/AT_N-1)≤阙值   (4.2)

New_Size＝Initial_Size*(1+a)^N  (4.3)

其中:Initial_Size为初始分片大小，New_Size为调整后的数据分片大小，a为数据分片的增幅大小，N为增幅指数，其初始值可以设置为1，每次执行所述步骤S444时候将N设置为N＝N±1；

S445：将a设置为-a，N设置为N-1(N≥1)，并用公式(4.3)来重新调整数据分片的大小。

4.根据权利要求1所述的方法，其特征在于，步骤S42中取出的数据同时包括该数据在整个文档中的节点数据表。