CN102638579B - 一种基于移动设备数据传输的数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于移动设备数据传输的数据处理方法及系统，通过对数据进行分析，根据数据的数据类型采用不同的压缩算法对数据进行压缩处理，并在数据的头部标识本次传输数据的数据大小、数据变更量、所采用的数据压缩算法等信息，而客户端在接收到服务器传输的数据后首先提取数据的头部信息，根据提取的数据头部的压缩算法对数据进行解压缩处理，并且在解压缩过程中，比对接收到的数据的实际数据大小、变更量等信息与数据头部标识的数据大小及数据变更量等信息，判断数据传输是否发生异常，通过上述处理能够大大减小待传输数据包的大小，提升传输的速度，而且通过数据的头部标识，方便了数据的解压缩，保证了数据传输的完整性和准确性。

Description

一种基于移动设备数据传输的数据处理方法及系统

技术领域

本发明涉及人口信息数据处理领域，尤其涉及的是一种基于移动设备数据传输的数据处理方法及系统。

背景技术

随着互联网的发展，用户之间的数据传输的需求也越来越大，而在目前的移动终端运用项目中，大多基于移动网络GPRS,3G等方式接入网络，此类网络都是共享网络，受带宽的限制，在大数据量传输时，通常用户需要等待相当长的时间，而且数据的传输很慢，使用户之间的数据传输效率非常低。

特别是在人口信息数据处理领域，在工作人员对人口信息进行采集时，需要通过客户端从服务器下载人口信息数据，并对人口信息数据进行实时更新并回传给服务器系统，而这种采集到的人口信息包括了文字、图片及视频等等，其数据量非常大，如果不对数据进行特殊的处理，传输速度会非常慢，不仅效率低下，而且还耗费大量的时间和精力。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于移动设备数据传输的数据处理方法及系统，在传输人口信息数据时对数据进行智能压缩，以便提高人口信息数据的的传输速度。

本发明解决技术问题所采用的技术方案如下：

一种基于移动设备数据传输的数据处理方法，其中，包括步骤：

A、服务器根据待传输数据的数据类型，使用预定压缩算法对所述待传输数据进行压缩处理；

B、在经压缩处理后的数据的头部标识出数据的数据大小、数据变更量以及所使用的压缩算法，并发送到客户端；

C、客户端接收服务器传输的数据，提取数据的头部标识的数据大小、数据变更量以及所使用的压缩算法，对数据进行解压处理。

所述的基于移动设备数据传输的数据处理方法，其中，所述步骤A还包括，如果待传输数据为图片流，则对所述待传输数据进行缩放压缩，转换为文本形式，并按文本进行压缩。

所述的基于移动设备数据传输的数据处理方法，其中，所述步骤A还包括，根据数据类型使用的所述预定压缩算法为第一预定压缩算法，在根据待传输数据的数据类型使用第一预定压缩算法进行压缩处理后，再根据待传输数据的数据量的大小使用不同于所述第一预定压缩算法的第二预定压缩算法进行压缩处理。

所述的基于移动设备数据传输的数据处理方法，其中，所述步骤C还包括：

客户端接收到服务器传输的数据后，对比接收到的数据的实际大小和数据的头部标识的数据大小是否匹配，如果不匹配则向服务器发送异常；

如果匹配则根据数据的头部标识压缩算法，对接收到的数据进行解压处理。

所述的局域基于移动设备数据传输的数据处理方法，其中，所述步骤C还包括：

客户端对接收到的数据进行解压处理后，比对数据的实际变更量和接收到的数据的头部标识的变更量，如果不匹配则向服务器发送异常，如果匹配则执行数据的变更操作。

所述的基于移动设备数据传输的数据处理方法，其中，在步骤B和步骤C之间还包括，在数据由服务器传输给客户端的过程中，如果由于网络原因造成数据传输异常，则对数据同步操作进行回滚，回滚至同步前的状态，待网络信号稳定后，对数据进行同步操作，继续数据传输。

一种基于移动设备数据传输的数据处理系统，包括服务器和接收服务器传输数据的客户端，其中，所述服务器包括：

判断压缩模块，用于对待传输数据进行分析，根据待传输数据的数据类型，使用第一预定压缩算法对所述待传输数据进行压缩处理；

标识模块，用于对经判断压缩模块压缩处理后的数据的头部标识出数据的数据大小、数据变更量以及所使用的压缩算法；

发送模块，用于将标识模块标识后的数据发送给客户端；

所述客户端包括：

接收模块，用于接收服务器传输的数据；

提取模块，用于根据接收模块接收的数据，提取提取数据的头部标识的数据大小、数据变更量以及所使用的压缩算法;

解压缩模块，用于根据提取模块提取的服务器对待传输数据所使用的压缩算法，对数据进行解压处理。

所述的基于移动设备数据传输的数据处理系统，其中，所述服务器还包括：

二次压缩模块，用于根据待传输数据的数据量的大小使用第二预定压缩算法进行压缩处理。

所述的基于移动设备数据传输的数据处理系统，其中，所述客户端还包括：

第一判断模块，用于比对所述客户端接收到的数据的实际大小和数据的头部标识的数据大小是否匹配，如果不匹配则向服务器发送异常，如果匹配则向解压缩模块发送解压缩请求对数据进行解压处理；

第二判断模块，用于比对数据的实际变更量和所述客户端接收到的数据的头部标识的变更量是否匹配，如果不匹配则像服务器发送异常，如果匹配则执行数据的变更操作。

所述的基于移动设备数据传输的数据处理系统，其中，所述服务器还包括：

同步模块，用于在数据由服务器传输给客户端的过程中，如果由于网络原因造成数据传输异常，对数据同步操作进行回滚，回滚至同步前的状态，待网络信号稳定后，对数据进行同步操作，继续数据传输。

本发明所提供的基于移动设备数据传输的数据处理方法及系统，通过在数据传输时根据数据类型对数据进行智能压缩，减少了数据包的大小，提升了数据的传输速度，而服务器通过对数据的头部进行标识，方便客户端对数据的解压缩，保证了数据传输的完整性和准确性。

附图说明

图1是本发明实施例的基于移动设备数据传输的数据处理方法流程图。

图2是本发明实施例的基于移动设备数据传输的数据处理系统的系统示意图。

图3是本发明实施例的基于移动设备数据传输的数据处理系统优选的系统示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的主要思想是：为了提高人口统计时人口信息数据的传输效率及质量，在人口统计服务器向工作人员手持客户端传输人口信息数据之前，首先对数据进行分析，根据数据的数据类型采用不同的压缩算法对数据进行压缩处理，并在数据的头部标识本次传输数据的数据大小、数据变更量、所采用的数据压缩算法等信息，而客户端在接收到服务器传输的数据后首先提取数据的头部信息，根据提取的数据头部的压缩算法对数据进行解压缩处理，并且在解压缩过程中，比对接收到的数据的实际数据大小、变更量等信息与数据头部标识的数据大小及数据变更量等信息，判断数据传输是否发生异常，通过上述处理能够大大减小待传输数据包的大小，提升传输的速度，而且通过数据的头部标识，方便了数据的解压缩，保证了数据传输的完整性和准确性。

本发明主要是针对人口统计时服务器和客户端传输的人口信息数据，本发明下述实施例中传输的数据也主要为人口信息数据，当然也可以为其他的数据。

请参见图1，图1是本发明实施例的基于移动设备数据传输的数据处理方法流程图，主要包括以下步骤：

步骤S10、服务器根据待传输数据的数据类型，使用预定压缩算法对所述待传输数据进行压缩处理。

具体地，如果待传输数据为图片流，则先将其转换为文本，再选择最优的压缩算法对其进行压缩，算法中根据不同图片格式和大小，预先设定相应的压缩处理算法；如果待传输数据为视频，则根据视频数据的大小进行具体的处理，如视频数据较小，则根据视频格式进行压缩，如传输的数据量较大，则先将数据进行分段，再按段进行数据的压缩，客户端在获取视频数据时，每次请求获取相应的数据段，再将获取的数据段进行整合，使其成为一个完整的视频数据；如待传输数据为文本，则先对文件进行编码，然后在根据文本的大小，选择最优的压缩算法进行压缩处理。而在实际应用中多为文本和图片两种数据共存的情况，此时先对文本进行编码，图片转换为文本，然后在对其进行整体压缩，压缩时设定标示符，以便客户端对接收到的数据进行相应的解码。在实际应用中，文本数据的压缩能达到50-100倍的缩放比，图片与文本数据能到到20-50倍的缩放比。

如果待传输数据为图片流，则对所述待传输数据进行缩放压缩，转换为文本形式，并按文本进行压缩；如果是文本则直接进行文本压缩处理。

进一步地，根据数据类型使用的所述预定压缩算法为第一预定压缩算法，在根据待传输数据的数据类型使用缩放压缩进行压缩处理后，再根据待传输数据的数据量的大小使用不同于所述第一预定压缩算法的第二预定压缩算法进行压缩处理。

目前，文本数据是进行的无损压缩，图片数据是进行的有损压缩。文本先进行编码转换，图片数据先进行有损压缩处理，然后将其转换为文本，之后再与文本一起进行压缩。

数据压缩算法总的来说可以分为无损数据压缩和有损数据压缩。有损数据压缩方法是经过压缩、解压的数据与原始数据不同但是非常接近的压缩方法，而无损压缩指数据经过压缩后，信息不受损失，还能完全恢复到压缩前的原样。“无损”一词是相对于有损数据压缩，有损数据压缩只允许一个近似原始数据进行重建，以换取更好的压缩率。

本发明的第一预定压缩算法主要是针对数据类型的不同采用不同的压缩算法，所使用的压缩算法一般是采用无损数据压缩，而第二预定压缩算法采用有损数据压缩。

步骤S20、在经压缩处理后的数据的头部标识出数据的数据大小、数据变更量以及所使用的压缩算法，并发送到客户端。

步骤S30、客户端接收服务器传输的数据，提取数据的头部标识的数据大小、数据变更量以及所使用的压缩算法，对数据进行解压处理。

进一步地、在客户端接收到服务器传输的数据后，客户端首先对比接收到的数据的实际大小和数据的头部标识的数据大小是否匹配，如果不匹配则向服务器发送异常；如果匹配则根据数据的头部标识压缩算法，对接收到的数据进行相应的解压处理。

在客户端比对数据大小不匹配后，向服务器发送数据异常，以便服务器知晓本次数据传输未成功，服务器可以根据该异常重新发送数据，或者对数据进行重新的压缩，并再次发送数据给客户端。

进一步地、客户端对接收到的数据进行解压处理后，比对数据的实际变更量和接收到的数据的头部标识的变更量，如果不匹配则向服务器发送异常，如果匹配则执行数据的变更操作。

优选地，在数据传输时，先对数据进行数字签名，客户端获取数据后，先比对数字签名，确保数据未被篡改。然后将接收的数据进行解压处理。在实际传输过程中，由于网络的原因，造成数据传输的中断，如传输数据为文本，则抛弃已接收的数据，如传输数据为图片或视频则支持数据的断点续传。该情况主要针对基于移动终端的数据采集，而数据在后台业务系统中也可进行修改，为保证数据的一致性，数据传输都是增量变更数据，在业务数据成功接收时，则丢去已接收的数据;同时，在数据由服务器传输给客户端的过程中，如果由于网络原因造成数据传输异常，则对数据同步操作进行回滚，回滚至同步前的状态，待网络信号稳定后，对数据进行同步操作，继续数据传输。

基于本发明上述数据处理的方法，在数据传输时对数据进行智能压缩，可以帮助减少如硬盘空间与连接带宽这样的昂贵资源的消耗，很好的提升了数据的传输速度。

基于上述移动设备数据传输的数据处理方法，本发明还提供了一种基于移动设备数据传输的数据处理系统，请参见图2，包括服务器21和接收服务器21传输数据的客户端22，其中，所述服务器21包括：

判断压缩模块211，用于对待传输数据进行分析，根据待传输数据的数据类型，使用第一预定压缩算法对所述待传输数据进行压缩处理；

标识模块212，用于对经判断压缩模块211压缩处理后的数据的头部标识出数据的数据大小、数据变更量以及所使用的压缩算法；

发送模块213，用于将标识模块212标识后的数据发送给客户端22；

所述客户端22包括：

接收模块221，用于接收服务器21传输的数据；

提取模块222，用于根据接收模块221接收的数据，提取提取数据的头部标识的数据大小、数据变更量以及所使用的压缩算法;

解压缩模块223，用于根据提取模块222提取的服务器21对待传输数据所使用的压缩算法，对数据进行解压处理。

进一步地，如图3所示，所述服务器21还包括：

二次压缩模块214，用于根据待传输数据的数据量的大小使用第二预定压缩算法进行压缩处理。

同步模块215，用于在数据由服务器21传输给客户端22的过程中，如果由于网络原因造成数据传输异常，对数据同步操作进行回滚，回滚至同步前的状态，待网络信号稳定后，对数据进行同步操作，继续数据传输。

进一步地，如图3所示，所述客户端22还包括：

第一判断模块224，用于比对所述客户端22接收到的数据的实际大小和数据的头部标识的数据大小是否匹配，如果不匹配则向服务器21发送异常，如果匹配则向解压缩模块223发送解压缩请求对数据进行解压处理；

第二判断模块225，用于比对数据的实际变更量和所述客户端22接收到的数据的头部标识的变更量是否匹配，如果不匹配则向服务器21发送异常，如果匹配则执行数据的变更操作。

本发明所提供的基于移动设备数据传输的数据处理方法及系统，通过在数据传输时根据数据类型对数据进行智能压缩，减少了数据包的大小，提升了数据的传输速度，而服务器通过在数据的头部标识数据大小、数据变更量及所采用的数据压缩算法等信息，方便客户端对数据的解压缩，保证了数据传输的完整性和准确性。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于移动设备数据传输的数据处理方法，其特征在于，包括步骤：

A、服务器根据待传输数据的数据类型，使用预定压缩算法对所述待传输数据进行压缩处理；

B、在经压缩处理后的数据的头部标识出数据的数据大小、数据变更量以及所使用的压缩算法，并发送到客户端；

C、客户端接收服务器传输的数据，提取数据的头部标识的数据大小、数据变更量以及所使用的压缩算法，对数据进行解压处理；

所述步骤A还包括，如果待传输数据为图片流，则对所述待传输数据进行缩放压缩，转换为文本形式，并按文本进行压缩；

如果待传输数据为视频，则根据视频数据的大小直接对视频格式进行压缩，或先将数据进行分段，再按段进行数据的压缩；

所述步骤A还包括，根据数据类型使用的所述预定压缩算法为第一预定压缩算法，在根据待传输数据的数据类型使用第一预定压缩算法进行压缩处理后，再根据待传输数据的数据量的大小使用不同于所述第一预定压缩算法的第二预定压缩算法进行压缩处理；

所述步骤C还包括：

客户端接收到服务器传输的数据后，对比接收到的数据的实际大小和数据的头部标识的数据大小是否匹配，如果不匹配则向服务器发送异常；

如果匹配则根据数据的头部标识压缩算法，对接收到的数据进行解压处理；

所述步骤C还包括：

客户端对接收到的数据进行解压处理后，比对数据的实际变更量和接收到的数据的头部标识的变更量，如果不匹配则向服务器发送异常，如果匹配则执行数据的变更操作；

文本数据的压缩能达到50-100倍的缩放比，图片与文本数据能达到20-50倍的缩放比；

所述步骤B和所述步骤C之间还包括：在数据传输时，先对数据进行数字签名，客户端获取数据后，先比对数字签名，确保数据未被篡改；然后将接收的数据进行解压处理；在传输过程中，由于网络的原因，造成数据传输的中断，如传输数据为文本，则抛弃已接收的数据，如传输数据为图片或视频则支持数据的断点续传。

2.根据权利要求1所述的基于移动设备数据传输的数据处理方法，其特征在于，在步骤B和步骤C之间还包括，在数据由服务器传输给客户端的过程中，如果由于网络原因造成数据传输异常，则对数据同步操作进行回滚，回滚至同步前的状态，待网络信号稳定后，对数据进行同步操作，继续数据传输。

3.一种基于移动设备数据传输的数据处理系统，包括服务器和接收服务器传输数据的客户端，其特征在于，所述服务器包括：

判断压缩模块，用于对待传输数据进行分析，根据待传输数据的数据类型，使用第一预定压缩算法对所述待传输数据进行压缩处理；

标识模块，用于对经判断压缩模块压缩处理后的数据的头部标识出数据的数据大小、数据变更量以及所使用的压缩算法；

发送模块，用于将标识模块标识后的数据发送给客户端；

所述客户端包括：

接收模块，用于接收服务器传输的数据；

提取模块，用于根据接收模块接收的数据，提取数据的头部标识的数据大小、数据变更量以及所使用的压缩算法;

解压缩模块，用于根据提取模块提取的服务器对待传输数据所使用的压缩算法，对数据进行解压处理；

如果待传输数据为图片流，则对所述待传输数据进行缩放压缩，转换为文本形式，并按文本进行压缩；

如果待传输数据为视频，则根据视频数据的大小直接对视频格式进行压缩，或先将数据进行分段，再按段进行数据的压缩；

所述服务器还包括：

二次压缩模块，用于根据待传输数据的数据量的大小使用第二预定压缩算法进行压缩处理；

所述客户端还包括：

第一判断模块，用于比对所述客户端接收到的数据的实际大小和数据的头部标识的数据大小是否匹配，如果不匹配则向服务器发送异常，如果匹配则向解压缩模块发送解压缩请求对数据进行解压处理；

第二判断模块，用于比对数据的实际变更量和所述客户端接收到的数据的头部标识的变更量是否匹配，如果不匹配则像服务器发送异常，如果匹配则执行数据的变更操作；

文本数据的压缩能达到50-100倍的缩放比，图片与文本数据能到到20-50倍的缩放比；

发送模块，还用于在数据传输时，先对数据进行数字签名，客户端获取数据后，先比对数字签名，确保数据未被篡改；然后将接收的数据进行解压处理；在传输过程中，由于网络的原因，造成数据传输的中断，如传输数据为文本，则抛弃已接收的数据，如传输数据为图片或视频则支持数据的断点续传。

4.根据权利要求3所述的基于移动设备数据传输的数据处理系统，其特征在于，所述服务器还包括：

同步模块，用于在数据由服务器传输给客户端的过程中，如果由于网络原因造成数据传输异常，对数据同步操作进行回滚，回滚至同步前的状态，待网络信号稳定后，对数据进行同步操作，继续数据传输。