CN101072172A

CN101072172A - 一种实现网络数据高效传递的方法及其装置

Info

Publication number: CN101072172A
Application number: CNA2006100787135A
Authority: CN
Inventors: 李晓耕
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-05-10
Filing date: 2006-05-10
Publication date: 2007-11-14

Abstract

本发明提供一种实现网络数据高效传递的方法，包括步骤：分发客户端对预分发的完整数据结构化处理，分离为即时数据和可滞后数据后，并将即时数据传递至网络中心，将可滞后数据暂存到缓存中；所述网络中心将即时数据分发至接收客户端，将接收的可滞后数据分发至接收客户端；所述接收客户端将即时数据和可滞后数据合成为完整数据。本发明通过数据结构化处理和分离技术，以达到最高的数据分析和预处理效率；通过动态数据缓冲技术，以保证可滞后数据在不影响整体网络性能和CPU处理效率的情况下高效稳定传递数据。数据动态分离技术既满足绝大多数用户对数据表现或预处理的需求，又能够有效地降低CPU和网络负载，从而提高系统的稳定性和高效率。

Description

一种实现网络数据高效传递的方法及其装置

技术领域

本发明涉及数据传输技术，尤其是提供一种在网络中将数据分离并按不同优先级进行高效传递的方法及其装置。

背景技术

如今的计算机网络，很多应用都是基于客户端/服务器模式。具体而言，多个客户端程序需要通过一个中心服务器的协调同步完成一个特定的软件应用，比如：MSN，视频会议等软件应用。

有些类似的软件应用需要一个客户端将大量的数据在瞬间同步传递到其它多个客户端上。例如：在远程教学中，教师端的计算机要将一个教学图片同步分发到每一个学生端的计算机上，然后图片的内容进行讲解。因为学生端的计算机很多，并且教师端要发送图片的数据量又很大，所以整个图片完全传送到每个学生端的计算机至少需要10秒钟或者是更长的时间，因此每个学生端计算机要想在瞬间得到教师端发送的图片很难实现。此外，教师端传递图片后无法得知何时所有学生端的计算机才能接收完完整的图片，因此教师也就无法进行后续的其他操作，从而影响教学进度。

由此看来，在一些应用中瞬间同步传递大量数据不仅必要，也是非常重要的。尤其是对于前后相互关联的数据而言：后面的数据量可能很小，能够被很快的传递到各个客户端，但是由于后面的数据和前面的大量数据相关联，即后面的数据需要在前面的数据传送完毕后才能做出整体完整的表现。这时，如果前面的数据没有同步传递过来，直接表现后面的数据就很可能造成数据展示的不完整，严重情况下，直接表现后面的数据甚至会造成整个系统的崩溃。

发明内容

本发明为解决现有技术中难以实现网络数据的瞬间同步传递的技术问题，提供了一种将数据分离并按不同优先级进行高效传递的方法和装置，从而满足大规模的客户端/服务器架构下对大批量数据同步的高实时性以及更加合理有效的使用网络带宽的需求。

为了达到上述目的，本发明提供如下技术方案：

一种实现网络数据高效传递的方法，包括步骤：

A、分发客户端对预分发的完整数据结构化处理，分离为即时数据和可滞后数据后，并将即时数据传递至网络中心，将可滞后数据暂存到缓存中；

B、所述网络中心将即时数据分发至接收客户端，将接收的可滞后数据分发至接收客户端；

C、所述接收客户端将即时数据和可滞后数据合成为完整数据。

其中，所述步骤A还包括系统自动检测网络和分发客户端的状态后，将缓存中的可滞后数据发送至网络中心。

其中，所述即时数据包括根据数据归类后对其相同或相近部分进行抽象化描述的共同信息数据，及需要补充的关键数据；所述可滞后数据包括完整数据中除去即时数据剩下的数据。

其中，所述步骤A中分发客户端将可滞后数据分别暂存到多个异步数据缓冲队列中。

其中，所述步骤B中网络中心将接收的可滞后数据根据系统检测情况依次暂存到本地的多个异步数据缓冲队列中。

此外，本发明还提供了一种用于实现网络数据高效传递的装置，包括：

分发客户端预处理模块，用于将分发客户端预分发的完整数据结构化处理，分离为即时数据和可滞后数据；

分发客户端接收和发送模块，用于接收即时数据直接分发至网络中心，及接收可滞后数据，并将其发送至缓存中；

网络中心接收和发送模块，用于接收即时数据直接分发至接收客户端，及接收可滞后数据，并将其发送至缓存中；

接收客户端处理模块，用于将即时数据和可滞后数据合成为完整数据。

其中，还包括系统自动检测模块，用于自动检测网络和分发客户端的状态。

其中，所述分发客户端包括多个异步数据缓冲队列，用于暂存可滞后数据。

其中，所述网络中心包括多个异步数据缓冲队列，用于根据系统检测情况依次暂存接收的可滞后数据。

本发明通过上述方案实现了为多点客户端软件通过服务器向各个节点同步传递大批量数据的目的。通过以滞后形式传递非实时性数据，能够在网络空闲而且/或者是用于传递数据的计算机的CPU处于空闲阶段时传递数据。这样可以有效地利用网络带宽资源，从而避免造成网络拥塞；同时也能够合理的利用计算机的CPU资源，以避免系统过载造成的系统崩溃。

本发明由于采用了高效合理的数据分析分离机制，能够将大批量数据高效合理的分离为即时数据和可滞后数据，用于实现数据的同步传递；此外，为了避免数据分析分离以及可滞后数据的缓冲过程中造成的内存分配过于频繁而导致的内存空洞过多、内存使用效率降低等问题，本发明还提供了专门用于存储、发送可滞后数据的异步缓冲机制，从而保障了数据在分析、分离过程和可滞后数据的延时发送过程中的内存使用更加合理和高效。同时也能够使用户的操作连续进行，无须等待发送结束。

本发明与现有技术相比较，更具有如下有益效果：

1、本发明的模块能够自动的分析分离数据，并且缓冲那些可滞后数据；可滞后数据在网络状况好的间隙条件下顺序的被推送到中心服务器，从而被传递到各个客户端；

2、而即时数据会被优先地传递到服务器，从而被优先地传递到各个客户端；客户端在收到即时数据后，可以做数据的非完整表现或是预处理；

3，客户端将所有可滞后数据接收完整后，结合之前收到的即时数据做整个数据的完整表现或处理。

下面结合附图和具体实施例来详细描述本发明。

附图说明

图1是本发明整个软件工作结构示意图；

图2是本发明所述方法的流程图；

图3是本发明的数据流向示意图；

图4是本发明数据存储的异步缓冲示意图；

图5是本发明实施例的结构示意图；

图6是本发明实施例在电子白板中使用过程的数据示意图。

具体实施方式

下面，参考附图对本发明进行详细说明。

如图1所示，其为本发明整个软件工作结构(客户端/服务器模式)的示意图。由一个分发客户端及多个被分发客户端通过网络中心服务器相连。如图2所示，其为本发明所述方法的流程图，包含步骤：

首先，详细说明本发明分析并分离数据的过程和方法。

一、数据结构化处理(数据分析)

结构化需要同步的数据是实现分离数据的基础部分，其主要工作分为以下三个部分，即：

1、将数据做抽象化描述：

将所有数据所表现的内容进行归类，找出其中相同或相近的部分做统一的数据描述。例如，对于一个对图像的修改，任何的修改步骤总是包含一些共同信息：修改位置、修改区域大小、修改人的名称等，这些共同信息就可以作为被抽象出来的部分，并进行合理的描述。

2、确认数据关键部分：

有些被描述后的数据可能仍然不能在其他客户端做任何表现或者是不满足预处理要求，所以需要补充部分关键数据，以达到部分数据表现或者是数据预处理的要求。例如，在一个需要用第三方软件才能表现的应用中，虽然对于数据本身的抽象已经完成，但是因为第三方软件的不同版本对于数据的表现有不同的要求或限制，所以对于这种类型的数据，需要将对第三方软件的版本号也同时作为关键性的数据，以达到统一的效果。

3、可滞后的数据部分：

一个完整数据经过抽象化和补充关键部分后，剩余的部分就是可滞后的数据部分。例如：一个图片的具体内容，或者是一个对象的详细描述都属于可滞后数据。这样的数据部分对于实时性的数据表现不是非常必须的。

二、分离数据

经过上述数据结构化处理后，一个大批量的数据将被分为两个部分：①抽象化描述部分和关键数据；②可滞后的数据。

如图3所示，通过不同的数据流程，本发明对这两个部分的数据采用不同的处理流程模块进行操作：

1、抽象化描述部分和关键数据：

此类数据将立刻处理，即：将此类数据经过最短的过程调用，在最短的时间内通过Socket传送到服务器；

2、可滞后类型的数据

此类数据将不会马上通过Socket发送，而是先被压入到异步数据缓冲队列中，异步数据缓冲队列中的数据被缓冲注入后，本发明的系统检测模块将自动检测网络状态和本地计算机的CPU使用状况，在确认可滞后数据(大批量数据)的发送不会影响抽象化描述部分和关键数据的发送后，才将可滞后类型的数据通过Socket发送到服务器。

三、异步数据缓冲队列

为了提高数据的发送效率同时不影响用户对于数据的操作，可滞后类型数据的发送首先是被放入异步数据缓冲队列中的。异步数据缓冲队列工作原理如图4所示。

异步数据缓冲队列由以下四个模块组成，分别是：

1、系统检测模块

该模块的主要功能是对目前的网络状况和本地CPU的使用情况进行实时的动态检测，并分析检测结果，把分析结果提交给数据发送模块。

2、数据接收模块

该模块的主要功能是收集分离后的可滞后数据，并且将数据放入数据容器列表中合适的数据容器中。

3、数据容器和数据容器集合

一个数据容器是一个经过标识的内存区域，该内存区域随着数据容器对象的创建而自动进行系统的内存提交，即：数据容器创建随即分配内存，直至容器本身销毁才释放内存，期间内存将不会释放。这样的做法主要避免内存的重复分配释放操作带来的内存空洞，从而提高了内存的使用率，进而提高了系统CPU的使用率。

而数据容器集合包含一组数据容器，数据容器的数量可以根据硬件安装内存的数量来动态确定，也可以在数据量极大的情况下自动增加数量。数据容器集合包含两个数据指针位置，即：数据写入位置和数据读取位置。当数据接收模块将数据写入时会先确定数据写入位置，这时的数据写入位置应该在数据读取位置后，这样就避免了写入的数据覆盖还没有发送出去的数据，当数据的写入位置到达数据的读取位置时(即到达数据量的极大值)，数据容器集合将自动增加数据容器的数量来完成继续缓冲数据的功能。此外，如果数据读取位置和数据写入位置重合，即所有数据都已经发送完毕，系统将停止发送并等待数据的写入。

4、数据发送模块和数据发送器

数据发送模块的主要功能是从数据容器集合中读取可滞后发送数据，并且通过网络将数据发送到服务器。数据的发送模块可以(也能够)包含一组数据发送器，将数据发送到多个目标(常规模式下只有一个发送目标)，每一个数据发送器是一个数据发送的具体实现。当系统检测模块检测到数据可以被发送时，数据发送模块将从数据容器集合取得的数据依次交给每一个数据发送器，数据发送器将数据发送到指定位置。

四、中心网络(服务器)端数据处理

即时数据和可滞后数据到达中心网络(服务器)后，也会做不同的处理。整个处理过程中的数据流向见图2所示。

1、中心网络对即时数据的处理

与在同步客户端一样，中心网络(服务器)对即时数据处理的策略为：在最短时间内将数据转发到同步数据客户端以外的每一个与中心网络连接的客户端。从而确保每一个被同步的客户端能够在最短的时间内收到同步的即时数据，并在第一时间内做数据的非完整表现或预处理。

2、中心网络对可滞后数据的处理

与同步客户端类似，中心网络(服务器)也有一个异步数据缓冲队列，不同的是，中心网络的异步数据缓冲队列比客户端的异步数据缓冲队列更大，占用的内存也更多，因为不用在此处做数据的分析和分离，所有中心网络的CPU损耗都在迅速的进行即时数据的同步传递。由于能够并发同步多个客户端相互同步的多组数据，所以中心网络对于内存的需求是很大的。与在同步客户端的异步数据缓冲队列工作原理相同，中心网络也通过异步的方式将可滞后数据同步到每个客户端。

五、被同步客户端的数据处理

受到不同级别转发策略的影响，被同步客户端收到即时数据和可滞后数据的时间是不同的，对于不同批次的数据而言，同样存在很大的差异，比如：有两个大批量的数据做同步时，第二批数据的即时数据到达被同步客户端后，第一批数据的可滞后数据仍然有可能还没有被同步过来。一般情况下：被同步客户端首先收到即时数据，然后被同步客户端马上可以做此即时数据的非完整表现或者是预处理；过一段时间后(具体时间主要取决于网络状况)被同步客户端收到可滞后数据，就可以做整体数据的完整表现或者整体处理了。

对于不同批次的数据而言，本发明采用唯一ID标识的方式标识每一批次的数据，以保障一个批次的即时数据和可滞后数据的唯一对应关系。更具体是：一个批次的数据有一个唯一数据号，经过数据分离后，即时数据和可滞后数据为同一个数据号。当可滞后数据到达后，本发明会根据可滞后数据的数据号去查找与之相同的即时数据，从而保证了一个批次的数据被准确无误的由分发客户端传递到被分发客户端。

此外，本发明还提供了一种用于实现网络数据高效传递的装置，如图5所示，其包括：

1、分发客户端，其具有：

预处理模块，将分发客户端预分发的完整数据结构化处理，分离为即时数据和可滞后数据；

接收和发送模块，接收即时数据直接分发至网络中心；接收可滞后数据，并将其发送至缓存中；

2、网络中心服务器，其具有：

接收和发送模块，接收即时数据直接分发至接收客户端；接收可滞后数据，并将其发送至缓存中；

3、接收客户端，其具有：

数据完整处理模块，将即时数据和可滞后数据合成为完整数据。

最后，结合图1、图5及图6具体说明采用本发明的方法和装置用以实现基于Web管理的视频会议(WebVision)中电子白板应用(WV白板)的数据分析、分离、缓冲、传输、还原的整个过程。

WV白板是一个基于客户端/服务器模式的软件，用户只要能够接入Internet，就可以使用它。WV白板服务器能够同时接入几百个客户端，每个客户端的用户可以在白板上画各种的图形，如：直线、折线、矩形等，还可以向白板上贴图片和Flash对象等。WV白板要求用户的任何操作都是连续、无需等待的，也就是任何用户都可以在任何时刻做任意操作。具体而言，就是用户可以在创建一个对象后，马上对其进行其他操作，甚至是将这个对象删除。

首先，分析所有用户的操作，并将其操作产生的数据分离。即：对于一般图形和对象的操作，将其矢量化为位置、大小、操作人等作为即时数据处理；而对于图像、Flash对象的操作，将其位置、大小、创建人等信息矢量化为即时数据，而具体的图像、Flash内容则作为可滞后信息传递。

当用户的即时数据被同步到其他客户端后，其他客户端能够直接看到直线、折线、矩形等的矢量图形，而且能够直观地看到对于图形的操作(如改变形状、移动、删除等)。对于图像、Flash对象，其他客户端会立刻看到图形的非完整显示(如位置、大小、创建者等)，这时，客户端同样可以直观地看到对于图像、Flash对象的操作(如改变形状、移动甚至是删除等)。

对于同步数据的客户端来说，同步者在贴完一张很大的图像后，马上可以进行其他操作，而无需等待整个图像数据全部同步到其他客户端以后。因为整个图像的可滞后数据都被压入本地的异步数据缓冲队列，数据的发送是在条件允许的情况下自动进行的，无须用户的再次干预，用户只需要继续进行他的操作即可。

综上所述，本发明由于采用了高效合理的数据分析分离机制，能够将大批量数据高效合理的分离为即时数据和可滞后数据后进行数据同步，同时为了避免数据分析分离以及可滞后数据的缓冲过程中造成内存使用效率降低等的问题，本发明还提供了专门用于存储发送可滞后数据的异步缓冲方案，从而保障在数据的分析、分离过程和可滞后数据的延时发送过程中，内存使用的更加合理和高效，同时也能够使用户的操作连续进行，无须等待发送结束。

对于本领域的普通技术人员来说可显而易见的得出其他优点和修改。因此，具有更广方面的本发明并不局限于这里所示出的并且所描述的具体说明及示例性实施例。因此，在不脱离权利要求及其等价体所定义的一般发明构思的精神和范围的情况下，可对其做出相应的修改。

Claims

1、一种实现网络数据高效传递的方法，其特征在于，包括步骤：

2、如权利要求1所述的方法，其中，所述步骤A还包括系统自动检测网络和分发客户端的状态后，将缓存中的可滞后数据发送至网络中心。

3、如权利要求1所述的方法，其中，所述即时数据包括根据数据归类后对其相同或相近部分进行抽象化描述的共同信息数据，及需要补充的关键数据；所述可滞后数据包括完整数据中除去即时数据剩下的数据。

4、如权利要求1或2所述的方法，其中，所述步骤A中分发客户端将可滞后数据分别暂存到多个异步数据缓冲队列中。

5、如权利要求1或2所述的方法，其中，所述步骤B中网络中心将接收的可滞后数据根据系统检测情况依次暂存到本地的多个异步数据缓冲队列中。

6、一种实现网络数据高效传递的装置，其特征在于，包括：

7、如权利要求6所述的装置，其中，还包括系统自动检测模块，用于自动检测网络和分发客户端的状态。

8、如权利要求6所述的装置，其中，所述即时数据包括根据数据归类后对其相同或相近部分进行抽象化描述的共同信息数据，及需要补充的关键数据；所述可滞后数据包括完整数据中除去即时数据剩下的数据。

9、如权利要求6或7所述的装置，其中，所述分发客户端包括多个异步数据缓冲队列，用于暂存可滞后数据。

10、如权利要求6或7所述的装置，其中，所述网络中心包括多个异步数据缓冲队列，用于根据系统检测情况依次暂存接收的可滞后数据。