CN102821040A - 网络传输流量压缩装置和网络传输流量压缩方法 - Google Patents

Abstract

本发明提供了一种网络传输流量压缩装置，包括：缓存单元，位于客户端，缓存服务端返回的原始单据数据并对所述原始单据数据进行更新，得到提交单据数据；第一比较单元，将所述提交单据数据与所述原始单据数据进行比较，获取差异数据；第一压缩单元，连接至所述第一比较单元，压缩所述差异数据并将压缩后的所述差异数据传输至所述服务端。根据本发明的又一方面，还提出了一种网络传输流量压缩方法。通过本发明的技术方案，能够对传输数据处理并进行压缩，提高传输性能，减轻对网络的负担。

Description

网络传输流量压缩装置和网络传输流量压缩方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种网络传输流量压缩装置和一种网络传输流量压缩方法。

背景技术

目前大型的联机事务处理系统（OLTP）中，特别是ERP（EnterpriseResource Planning）相关的信息系统中，衡量其好坏的一个重要指标就是系统性能，即系统响应时间，用户在客户端录入数据提交后，一直到系统响应这个请求并给出答复并刷新客户端界面所需要的时间。

一个信息系统对数据的综合处理能力、响应速度取决于：客户端处理速度、网络传输速度和服务器端处理速度，现在大部分的性能优化方法都集中在客户端处理速度和服务器端处理速度上，大都忽视网络传输速度，认为只要网络带宽足够大就没有问题，但现实生产环境中网络传输速度并不十分理想，并且不能完全依赖网络传输速度，一是无法控制网络传输速度、二是不能因为无限地增大网络传输流量而加重网络传输负担、三是很多用户都是在窄带的网络环境中运行系统，所以必须找到压缩远程传输流量的方法。

目前的信息系统，远程传输主要通过序列化（serialization）、反序列化或者WebService调用。序列化、反序列化都是对对象和流之间的相互转化，用于网络传输，WebService利用XML格式进行网络传输。而压缩远程传输流量的方法都是集中在对序列化的流或者XML数据进行压缩，比如压缩转换为zip或者rar格式，来达到减少网络传输流量的方法。虽然这种方式能够起到一定数网络流量压缩的效果，但实际上原始的传输数据并没有精简，倘若原始数据异常庞大，那即使再如何压缩，效果也不理想。

因此，需要一种新的压缩方法，能够对原始传输数据进行精简压缩，提高压缩效果。

发明内容

本发明正是基于上述问题，提出了一种网络传输流量压缩装置，能够对原始传输数据进行精简并压缩，提高压缩效果。

有鉴于此，本发明提出了一种网络传输流量压缩装置，包括：缓存单元，位于客户端，缓存服务端返回的原始单据数据并对所述原始单据数据进行更新，得到提交单据数据；第一比较单元，将所述提交单据数据与所述原始单据数据进行比较，获取差异数据；第一压缩单元，连接至所述第一比较单元，压缩所述差异数据并将压缩后的所述差异数据传输至所述服务端。

在该技术方案中，通过将实时数据（即经过修改操作后的单据数据，可称之为提交单据数据）与原始单数据进行对比，可以仅对存在差异的数据进行传输，从而减少了需要压缩的数据，提高压缩效果。

在上述技术方案中，优选地，还包括：标识单元，为所述原始单据数据中的明细信息创建标识信息，所述差异数据包括差异明细信息以及所述差异明细信息对应的标识信息。

在该技术方案中，由于单据是有明细信息的，既然有明细信息就有顺序，如果这些明细信息的顺序在服务器后台被改变了，则当信息返回客户端时便无法进行刷新，因为明细信息的顺序错乱了。所以根据明细信息创建标识信息，而标识信息在后台不会发生错乱，这样就可以在客户端根据标识信息来准确刷新明细信息。

在上述技术方案中，优选地，所述第一比较单元包括：属性获取子单元，获取所述原始单据数据和所述提交单据数据的属性；清除子单元，循环比较每一属性下的所述原始单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述提交单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述提交单据数据中的不同属性值，以得到所述差异数据。

在上述技术方案中，优选地，还可以包括：还原单元，位于所述服务端，为接收到的所述差异数据中缺少属性值的属性补充相应的属性值，还原得到所述提交单据数据；业务处理单元，根据所述差异数据进行业务处理得到待返回的单据数据；第二比较单元，循环比较每一属性下的所述待返回的单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述待返回的单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述待返回的单据数据中的不同属性值，以得到发送给所述客户端的返回单据数据；第二压缩单元，将所述返回单据数据进行压缩后发送给所述客户端。

在该技术方案中，在单据数据在服务端经过处理返回客户端之前，需将经过业务处理后的单据数据与提交单据数据进行对比，然后将差异数据进行压缩和传输，进一步提高了压缩效果。

在上述技术方案中，优选地，还包括更新单元，位于所述客户端，根据所述标识信息和所述返回单据数据更新所述原始单据数据。

根据本发明的又一方面，还提出了一种网络传输流量压缩方法，包括以下步骤：在客户端缓存服务端返回的原始单据数据并对所述原始单据数据进行更新，得到提交单据数据；将所述提交单据数据与所述原始单据数据进行比较，获取差异数据；压缩所述差异数据并将压缩后的所述差异数据传输至所述服务端。

在该技术方案中，通过将实时数据（即经过修改操作后的单据数据，可称之为提交单据数据）与原始单数据进行对比，可以仅对存在差异的数据进行传输，从而减少了需要压缩的数据，提高压缩效果。

在上述技术方案中，优选地，还包括：在所述客户端为所述原始单据数据中的明细信息创建标识信息，所述差异数据包括差异明细信息以及所述差异明细信息对应的标识信息。

在该技术方案中，由于单据是有明细信息的，既然有明细信息就有顺序，如果这些明细信息的顺序在服务器后台被改变了，则当信息返回客户端时便无法进行刷新，因为明细信息的顺序错乱了。所以根据明细信息创建标识信息，而标识信息在后台不会发生错乱，这样就可以在客户端根据标识信息来准确刷新明细信息。

在上述技术方案中，优选地，所述获取差异数据的步骤包括：获取所述原始单据数据和所述提交单据数据的属性；循环比较每一属性下的所述原始单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述提交单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述提交单据数据中的不同属性值，以得到所述差异数据。

在上述技术方案中，优选地，所述服务端为接收到的所述差异数据中缺少属性值的属性补充相应的属性值，还原得到所述提交单据数据；根据所述差异数据进行业务处理得到待返回的单据数据；循环比较每一属性下的所述待返回的单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述待返回的单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述待返回的单据数据中的不同属性值，以得到发送给所述客户端的返回单据数据；将所述返回单据数据进行压缩后发送给所述客户端。

在该技术方案中，在单据数据在服务端经过处理返回客户端之前，需将经过业务处理后的单据数据与提交单据数据进行对比，然后将差异数据进行压缩和传输，进一步提高了压缩效果。

在上述技术方案中，优选地，所述客户端根据所述标识信息和所述返回单据数据更新所述原始单据数据。

通过以上技术方案，能够对原始传输数据进行压缩，提高压缩效果。

附图说明

图1示出了根据本发明的实施例的网络传输流量压缩装置的框图；

图2示出了根据本发明的实施例的网络传输流量压缩方法的流程图；

图3A至图3G示出了根据本发明的实施例的数据流量压缩过程的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的网络传输流量压缩装置的框图。

如图1所示，网络传输流量压缩装置100包括：缓存单元102，位于客户端，缓存服务端返回的原始单据数据并对原始单据数据进行更新，得到提交单据数据；第一比较单元104，将提交单据数据与原始单据数据进行比较，获取差异数据；第一压缩单元106，连接至第一比较单元，压缩差异数据并将压缩后的差异数据传输至服务端。

在该技术方案中，通过将实时数据（即经过修改操作后的单据数据，可称之为提交单据数据）与原始单数据进行对比，可以仅对存在差异的数据进行传输，从而减少了需要压缩的数据，提高压缩效果。

在上述技术方案中，还可以包括：标识单元108，为原始单据数据中的明细信息创建标识信息，差异数据包括差异明细信息以及差异明细信息对应的标识信息。

在该技术方案中，由于单据是有明细信息的，既然有明细信息就有顺序，如果这些明细信息的顺序在服务器后台被改变了，则当信息返回客户端时便无法进行刷新，因为明细信息的顺序错乱了。所以根据明细信息创建标识信息，而标识信息在后台不会发生错乱，这样就可以在客户端根据标识信息来准确刷新明细信息。

在上述技术方案中，第一比较单元104包括：属性获取子单元1042，获取原始单据数据和提交单据数据的属性；清除子单元1044，循环比较每一属性下的原始单据数据的属性值和提交单据数据的属性值，若同一属性下的属性值相同，则清除提交单据数据中的相同属性值，若同一属性下的属性值不相同，则保留提交单据数据中的不同属性值，以得到差异数据。

在上述技术方案中，还包括：还原单元110，位于服务端，为接收到的差异数据中缺少属性值的属性补充相应的属性值，还原得到更新后的原始数据；业务处理单元112，根据差异数据进行业务处理得到待返回的单据数据；第二比较单元114，循环比较每一属性下的待返回的单据数据的属性值和更新后的原始数据的属性值，若同一属性下的属性值相同，则清除待返回的单据数据中的相同属性值，若同一属性下的属性值不相同，则保留待返回的单据数据中的不同属性值，以得到发送给客户端的返回单据数据；第二压缩单元116，将返回单据数据进行压缩后发送给客户端。

在该技术方案中，在单据数据在服务端经过处理返回客户端之前，需将经过业务处理后的单据数据与提交单据数据进行对比，找出差异数据，然后将差异数据进行压缩和传输，同样提高了上行传输的网络传输量的压缩效果。

在上述技术方案中，还包括更新单元120，位于客户端，根据标识信息和返回单据数据更新原始单据数据。

图2示出了根据本发明的实施例的网络传输流量压缩方法的流程图。

如图2所示，网络传输流量压缩方法，包括：步骤202，在客户端缓存服务端返回的原始单据数据并对原始单据数据进行更新，得到提交单据数据；步骤204，将提交单据数据与原始单据数据进行比较，获取差异数据；步骤206，压缩差异数据并将压缩后的差异数据传输至服务端。

在该技术方案中，通过将实时数据与原始单数据进行对比，可以仅对存在差异的数据进行传输，从而减少了需要压缩的数据，提高压缩效果。

在上述技术方案中，还包括：在客户端为原始单据数据中的明细信息创建标识信息，差异数据包括差异明细信息以及差异明细信息对应的标识信息。

在该技术方案中，由于单据是有明细信息的，既然有明细信息就有顺序，如果这些明细信息的顺序在服务器后台被改变了，则当信息返回客户端时便无法进行刷新，因为明细信息的顺序错乱了。所以根据明细信息创建标识信息，而标识信息在后台不会发生错乱，这样就可以使系统在客户端方便的刷新明细数据信息。

在上述技术方案中，步骤204具体包括：获取原始单据数据和提交单据数据的属性；循环比较每一属性下的原始单据数据的属性值和提交单据数据的属性值，若同一属性下的属性值相同，则清除提交单据数据中的相同属性值，若同一属性下的属性值不相同，则保留提交单据数据中的不同属性值，以得到差异数据。

在上述技术方案中，服务端为接收到的差异数据中缺少属性值的属性补充相应的属性值，还原得到更新后的原始数据；根据差异数据进行业务处理得到待返回的单据数据；循环比较每一属性下的待返回的单据数据的属性值和更新后的原始数据的属性值，若同一属性下的属性值相同，则清除待返回的单据数据中的相同属性值，若同一属性下的属性值不相同，则保留待返回的单据数据中的不同属性值，以得到发送给所述客户端的返回单据数据；将返回单据数据进行压缩后发送给客户端。

在该技术方案中，在单据数据在服务端经过处理返回客户端之前，需将经过业务处理后的单据数据与提交单据数据进行对比，找出差异数据，然后将差异数据进行压缩和传输，同样提高了上行传输的网络传输量的压缩效果

在上述技术方案中，客户端根据标识信息和返回单据数据更新原始单据数据。

图3A至图3D示出了根据本发明的实施例的数据流量压缩过程的示意图。

如图3A所示，以往的分布式网络信息系统中，客户端程序利用网路直接和服务器程序通信，在将数据送入网络之前没有经过特殊处理，无法减轻网络的传输负担。而如何减少网络信息传输量，特别是减少ERP系统中单据传输信息量尤为关键。因此，本发明采用了如图3B所示的技术方案。

如图3B所示，本发明在客户端发送信息到网络之前和服务器返回结果到网络之前增加流量压缩控制处理。

如图3C所示，整个数据流量压缩过程，可以分为两个过程：单据发送阶段的上行数据压缩、服务器响应结果的下行数据压缩。

如图3D所示，数据流量压缩的具体过程包括：

一、基于元数据进行单据建模

首先利用元数据进行单据建模，这样任何单据都可以记录下其属性信息，比如属性总个数、属性的名称、属性的数据类型、每个属性的公共信息结构、属性在未来实体类中是显示声明还是隐形声明等。因为元数据是对单据数据的通用描述，所以可以通过设计通用的公共处理结构来访问各种单据。主要获取单据上的各种属性信息比如单据号、客户等，不必明确具体是客户还是单据号字段，可以通过统一的接口访问这些信息。

二、单据远程调用上行环节

1、数据拦截装置

在前台发起远程调用之前，设置统一的数据拦截装置，用于单据的数据压缩，此装置主要完成两个功能：一是创建数据索引用于标记识别数据；二是对数据进行压缩。

2、创建单据数据索引

ERP中的单据是有明细信息的，为了压缩数据，必定不是整体传递单据信息，而是有选择性的挑选那些发生变化的明细信息进行网络传输。既然有明细信息就有顺序，如果这些明细信息的顺序在服务器后台被改变了，则当信息返回客户端时便无法进行刷新，因为明细信息的顺序错乱了。所以需要一种表示单据明细信息的方法，而这种标识在后台又不会被打乱，这样就可以使系统在客户端方便的刷新明细数据信息。

如图3E所示，在远程调用上行环节，系统的自动拦截装置会自动拦截单据数据，并在单据的明细信息最后动态加入索引列，并自动创建索引值1、2、3等用于标识明细行数据，此过程系统自动完成。这样无论商品A、B、C等在后台顺序如何变化（如变为B、C、A），当将单据数据返回前台的时候，系统都可以通过该索引进行明细信息定位并进行更新。

3、比较数据变化，进行数据压缩

已经有了索引列标识了明细信息，压缩数据减少数据流量的具体方法是：（1）单据表头信息，只选取信息发生变化的属性，没有变化的属性清空该属性对应的属性值。

（2）单据表体信息，首先选择信息变化的行，任何信息没有变化的行不进行传递，另外信息发上生过变化的明细行，也不是整体进行传递，仍然选择选择信息变化的属性进行传输，针对没有变化的属性，清空其属性值。

而获取差异数据的流程如图3F所示，比较数据差异，分析信息变化的过程，主要依靠一种通用的属性信息访问方法。首先基于单据的元数据信息得到单据所有的属性列，然后进入步骤302，循环所有的属性列；在步骤304，通过统一的读取属性列接口循环取得每个属性值；在步骤306，比较属性值是否相同，相同则不需要传递该属性值，清空该属性值，不相同说明属性值发生变化，需要传递相应属性值。这样便获取了需要传输的单据数据。

三、单据远程调用下行环节

如图3G所示，此过程同上行过程，在步骤402，首先将前台传入数据从数据库补充缺失的属性信息，然后进入步骤404，形成完成的前台数据并缓存起来，在步骤406，当数据返回前进入系统拦截装置，通过索引列比较已经缓存的前台数据和最后数据库查询出的最新数据，获取差异数据，在步骤408，同样循环逐个比较属性列信息，对于没有变化的属性值，清空该属性值，保留有变化的属性值，然后进入步骤410，返回前台。前台在根据索引信息刷新前台数据。

以上结合附图详细说明了本发明的技术方案，考虑到相关技术中，在进行远程传输时，原始的传输数据并没有精简的情况下压缩效果不理想，本发明提出了一种网络传输流量压缩装置，能够对原始传输数据进行压缩，提高压缩效果。

特别的，其能够大大减少ERP单据新增、修改、删除、审批、弃审等典型操作的网络传输流量，最大程度的减轻网络带宽给系统性能带来的瓶颈。无论是宽带还是窄带都能够带来传输性能提升的最大化。因此，该根据本发明的技术方案使得信息系统能够更好的适应更多、条件更苛刻的网络环境，能够使客户在更多的网络环境下运行系统。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网络传输流量压缩装置，其特征在于，包括：

缓存单元，位于客户端，缓存服务端返回的原始单据数据并对所述原始单据数据进行更新，得到提交单据数据；

第一比较单元，将所述提交单据数据与所述原始单据数据进行比较，获取差异数据；

第一压缩单元，连接至所述第一比较单元，压缩所述差异数据并将压缩后的所述差异数据传输至所述服务端。

2.根据权利要求1所述的网络传输流量压缩装置，其特征在于，还包括：

标识单元，为所述原始单据数据中的明细信息创建标识信息，所述差异数据包括差异明细信息以及所述差异明细信息对应的标识信息。

3.根据权利要求2所述的网络传输流量压缩装置，其特征在于，所述第一比较单元包括：属性获取子单元，获取所述原始单据数据和所述提交单据数据的属性；

清除子单元，循环比较每一属性下的所述原始单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述提交单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述提交单据数据中的不同属性值，以得到所述差异数据。

4.根据权利要求3所述的网络传输流量压缩装置，其特征在于，还包括：

还原单元，位于所述服务端，为接收到的所述差异数据中缺少属性值的属性补充相应的属性值，还原得到所述提交单据数据；

业务处理单元，根据所述差异数据进行业务处理得到待返回的单据数据；

第二比较单元，循环比较每一属性下的所述待返回的单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述待返回的单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述待返回的单据数据中的不同属性值，以得到发送给所述客户端的返回单据数据；

第二压缩单元，将所述返回单据数据进行压缩后发送给所述客户端。

5.根据权利要求4所述的网络传输流量压缩装置，其特征在于，还包括更新单元，位于所述客户端，根据所述标识信息和所述返回单据数据更新所述原始单据数据。

6.一种网络传输流量压缩方法，其特征在于，包括以下步骤：

在客户端缓存服务端返回的原始单据数据并对所述原始单据数据进行更新，得到提交单据数据；

将所述提交单据数据与所述原始单据数据进行比较，获取差异数据；

压缩所述差异数据并将压缩后的所述差异数据传输至所述服务端。

7.根据权利要求6所述的网络传输流量压缩方法，其特征在于，还包括：

在所述客户端为所述原始单据数据中的明细信息创建标识信息，所述差异数据包括差异明细信息以及所述差异明细信息对应的标识信息。

8.根据权利要求7所述的网络传输流量压缩方法，其特征在于，所述获取差异数据的步骤包括：

获取所述原始单据数据和所述提交单据数据的属性；

循环比较每一属性下的所述原始单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述提交单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述提交单据数据中的不同属性值，以得到所述差异数据。

9.根据权利要求8所述的网络传输流量压缩方法，其特征在于，所述服务端为接收到的所述差异数据中缺少属性值的属性补充相应的属性值，还原得到所述提交单据数据；

根据所述差异数据进行业务处理得到待返回的单据数据；

循环比较每一属性下的所述待返回的单据数据的属性值和所述提交单据数据的属性值，若同一属性下的属性值相同，则清除所述待返回的单据数据中的相同属性值，若同一属性下的属性值不相同，则保留所述待返回的单据数据中的不同属性值，以得到发送给所述客户端的返回单据数据；

将所述返回单据数据进行压缩后发送给所述客户端。

10.根据权利要求9所述的网络传输流量压缩方法，其特征在于，所述客户端根据所述标识信息和所述返回单据数据更新所述原始单据数据。

Images