CN102185841A - 一种分类数据传输方法及系统 - Google Patents

Abstract

本发明公开了一种分类数据传输方法，该方法包括：客户端向服务器发送数据传输请求；所述传输请求中携带该客户端待发送数据的类别信息；服务器接收到所述数据传输请求后，记录所述客户端待发送数据的类别信息；根据所述类别信息及预设的基于类别信息的带宽使用规则，计算允许使用的传输速度；所述客户端与服务器以所述传输速度传输数据；服务器在数据传输结束后，删除所述记录的客户端的待发送数据的类别信息。本发明还公开了一种分类数据传输系统，该方法和系统能够实现数据分类传输，使关键数据可以优先传输，从而减少关键数据的传输时间，提高其数据安全性。

Description

一种分类数据传输方法及系统

技术领域

本发明涉及数据传输技术领域，特别涉及一种分类数据传输方法及系统。

背景技术

目前，随着我国信息化程度的提高，企事业单位产生的数据内容越来越多，通过建立专用服务器采用备份、容灾等技术保护工作过程中产生的数据内容，成为了越来越重要的一个应用领域。

图1为现有的典型备份、容灾系统结构示意图，如图1所示，备份/容灾服务器(为方便描述，下文中将备份/容灾服务器简称为服务器)通过网络与多个客户端相连，备份数据时，由客户端将数据发送到服务器进行备份，当恢复数据时，由服务器将数据发送到客户端进行恢复。

对于上述的备份/容灾等应用来说，数据传输是其中一个必不可少的过程，传统技术进行数据传输的方法是在产生数据的客户端与备份数据的服务器之间创建网络连接，然后将数据划分为不同大小的块，通过建立的连接顺序发送，在不限制速度时用最快的速度发送数据，限制速度时所有发送数据的设备(客户端或服务器)采用统一配置的传输速度发送数据。

然而在网络带宽有限的情况下，同时传输大量数据，无论限制速度还是不限制速度都会发生数据排队和网络阻塞现象。

我们知道，不同的数据内容所具有的价值是不一样的，一般来说，企业只有20％的关键数据，而80％都是非关键的数据。比如某报社，财务部门每天产生的财务数据与记者每天收集的大量新图片，财务数据的价值远远大于收集的图片，而图片占用的容量远远大于财务数据容量。

因此80％的非关键数据占据大量带宽导致关键数据传输延误会经常发生。比如上例的某报社，网络管理员将财务数据定在每天17点下班后开始备份，而记者也将自己的图片数据定在17点下班后开始备份，这时大量图片数据与财务数据将同时通过网络传输到服务器，假设图片数据完全传输完毕需要花费5小时，而财务数据仅仅需要30分钟，但由于现有技术中，数据在传输过程中被平等对待，因此在发生数据排队和网络阻塞的情况下财务数据可能最终传输完成的总花费时间也会达到5小时，即现有技术在客观上将关键的财务数据的传输时间拉长了，无疑这增加了备份失败，数据损坏或丢失等意外发生的机率，使关键数据的安全性降低。

发明内容

本发明实施例提供一种分类数据传输方法，能够实现数据分类传输，使关键数据可以优先传输，从而减少关键数据的传输时间，提高其数据安全性。

本发明实施例提供一种分类数据传输系统，能够实现数据分类传输，使关键数据可以优先传输，从而减少关键数据的传输时间，提高其数据安全性。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种分类数据传输方法，该方法包括：

客户端向服务器发送数据传输请求；所述传输请求中携带该客户端待发送数据的类别信息；

服务器接收到所述数据传输请求后，记录所述客户端待发送数据的类别信息；根据所述类别信息及预设的基于类别信息的带宽使用规则，计算允许使用的传输速度；

所述客户端与服务器以所述传输速度传输数据；

服务器在数据传输结束后，删除所述记录的客户端的待发送数据的类别信息。

较佳地，所述类别信息根据数据文件后缀名，客户端IP地址，数据标识或数据内容关键字得到。

较佳地，所述计算允许使用的传输速度，包括：

根据已记录的所述类别信息，确定当前正在进行的与待发送数据的类别相同的数据传输连接的个数；将该数据的类别在当前时间段允许使用的带宽除以所述个数，得到所述允许使用的传输速度。

较佳地，所述客户端与服务器以所述传输速度传输数据，包括：

客户端或服务器发送数据之前，以及客户端或服务器接收数据之后，根据所述类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工；客户端与服务器以所述传输速度传输加工后的数据。

较佳地，该方法进一步包括：

当服务器删除所述记录的待发送数据的类别信息时，重新计算当前正在与服务器进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端允许使用的传输速度；

服务器与所述相同的客户端按照重新计算的传输速度传输数据。

一种分类数据传输系统，包括服务器与客户端，其中：

所述客户端发送数据传输请求；所述传输请求中携带待发送数据的类别信息；

服务器接收到所述数据传输请求后，记录所述待发送数据的类别信息；根据所述类别信息及预设的基于类别信息的带宽使用规则，计算允许使用的传输速度；

客户端与服务器以所述传输速度传输数据；

服务器在数据传输结束后，删除所述待发送数据的类别信息。

较佳地，所述客户端包括：

请求发送模块，用于根据数据文件后缀名，客户端IP地址，数据标识或数据内容关键字得到待发送数据的类别信息，并向服务器发送数据传输请求；所述传输请求中携带待发送数据的类别信息及；

数据传输模块，根据服务器发送的所述速度控制消息，与服务器以服务器计算出的传输速度传输数据；

较佳地，所述客户端进一步包括：

数据加工模块，与所述数据传输模块相连，用于在所述数据传输模块向服务器发送数据之前，或接收到服务器发送的数据之后，根据数据的类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工。

较佳地，所述服务器包括：

记录模块，用于接收客户端发送的数据传输请求，并记录数据传输请求中携带的所述待发送数据的类别信息；并在与客户端的数据传输结束后，删除该客户端待发送数据的类别信息；

计算模块，用于根据已记录的所述类别信息，确定当前正在与服务器进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端的个数；将该数据类别在当前时间段允许使用的带宽除以所述个数，得到所述允许使用的传输速度；当服务器删除所述记录的待发送数据的类别信息时，重新计算当前正在与服务器进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端允许使用的传输速度；

传输模块，用于与客户端以所述传输速度传输数据。

较佳地，所述服务器进一步包括：

数据加工模块，与所述传输模块相连，用于在所述传输模块向客户端发送数据之前，或接收到客户端发送的数据之后，根据数据的类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工。

由上述的技术方案可见，本发明的这种分类数据传输方法可以将数据划分为不同类别，并在传输前后根据类别自动进行数据加工(压缩、加密等操作)，并由服务器统一控制整个网络中所有传输对象的实际传输速度，服务器能够根据网络状态以及数据分类即时调整任意传输对象的传输速度(传输对象是指发送数据的对象，如复制时由客户端发送数据给服务器，则客户端是传输对象，恢复时由服务器发送数据给客户端，则服务器是传输对象)。从而保障重要类别数据先于非重要类别数据传输使重要数据得到有效保护，避免发生网络排队和网络阻塞，降低重要数据损坏或丢失带来的损失。另外，服务器统一管理网络中所有传输对象的传输速度，可以简化管理操作，使网络带宽最大化使用，减少人工成本。

附图说明

图1为典型的备份、容灾系统结构示意图；

图2为本发明实施例的分类数据传输方法流程图；

图3为本发明实施例的带宽限制规则接口示意图；

图4为本发明实施例的带宽控制规则接口示意图；

图5为本发明实施例的智能调优算法流程图；

图6为本发明实施例的分类数据传输系统中客户端的具体结构示意图；

图7为本发明实施例的分类数据传输系统中服务器的具体结构示意图；。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明主要是将数据划分为不同类别，服务器根据数据的类别，对不同类别的数据，在数据传输过程中采用不同的控制参数，且在数据传输过程中，服务器还可以根据预先确定的带宽使用规则、数据类别、连接对象数量等信息，随时调整数据发送速度。通过对不同类别的数据采用不同的传输速度，服务器可以控制降低非关键数据发送的速度，以降低其带宽使用率，空闲出来的网络带宽可以为关键数据的发送使用，从而避免关键数据的传输发生网络排队和网络阻塞，降低关键数据在传输过程中发生损坏或丢失等意外的可能性，提高了关键数据的安全性。

本发明的数据传输过程(以数据备份时，客户端向服务器发送数据为例)如图2所示，主要包括以下几个步骤：

步骤201，发送数据传输请求

在传输数据前，发起数据传输的对象，即客户端，需要向服务器发出数据传输请求，请求中携带待发送数据的类别信息；如果是数据恢复，则请求中还要携带期望获得的数据内容信息。

其中，数据的分类信息是根据预先定义的分类规则识别出的，本发明可以通过提供分类定义的接口来实现数据分类规则的定义，且不限制数据分类的个数。当然，数据分类不必每次传输数据前都重新定义，只需要在第一次传输数据前定义，或者在需要改变分类的时候重新定义即可。数据分类规则定义及识别的具体方法将在后文详述。

步骤202，计算数据传输速度

服务器接收到数据传输请求后，登记数据传输请求中携带的信息，如数据的类别信息，服务器根据数据的类别信息以及预先定义的带宽使用规则，作为调控整个网络中数据传输的依据，计算出针对该传输对象(客户端或者服务器)允许使用的传输速度。本发明中，将该传输速度的计算方法称为智能调优传输算法，具体算法将在下文中详述。

步骤203，发送速度控制消息

服务器向客户端发送速度控制消息，该消息中携带用于指示传输速度的信息；如果是数据恢复，则不需要这一步，服务器直接根据计算出的速度向客户端发送数据即可。

步骤204，数据加工

客户端将待传输的数据读取到内存后，并向服务器发送待传输数据之前，还可以进一步根据待传输数据的类别信息和预先确定的数据加工规则对数据进行判断，如果规则中需要对该类别的数据进行加工，则对待传输的数据进行相应加工后再进行传输，例如加密、压缩等，否则不进行加工，直接进入数据传输步骤，服务器接收到客户端发送的数据后，也可以进行同样的判断，如果需要加工，则进行相应的加工后再保存数据，例如解密、解压缩等。如果是数据恢复过程，同样的，服务器在发送数据之前，或者客户端接收到服务器发送的数据后，也将根据数据的类别信息和预先制定的数据加工规则对数据进行判断，如果需要加工，则进行相应的加工后再保存数据，例如加/解密、压缩/解压缩等。当然，这个步骤并不是必须的。

步骤205，数据传输

客户端根据服务器发送的速度控制消息，调整传输速度并向服务器发送数据，如果是数据恢复，则服务器直接根据步骤202计算出的数据传输速度向客户端发送数据。

步骤206，发送传输结束消息

数据传输完成后，客户端向服务器发送传输结束消息，以通知服务器传输结束；如果是数据恢复，则是由服务器向客户端发送传输结束消息。

收到数据传输结束消息后，服务器和客户端可以各自清理各自用于传输调用的资源，如内存空间，CPU线程等，服务器还需要将登记的连接对象注销，即删除记录的数据类别信息。

上述流程是在不考虑服务器当前与其他传输对象(客户端)进行数据传输的情况下的实施例，如果在建立数据传输过程中，服务器还与其它传输对象正在进行数据传输，则当有新的传输对象登记时，服务器还可以根据当时登记的信息重新调控已登记的传输对象的数据传输速度，并实时向传输对象发送速度控制消息，传输对象也将根据速度控制消息实时调整数据传输的速度；同样的，当现有的传输对象的数据传输完毕，登记的传输对象注销时，也可以触发重新调控，服务器将重新计算与其他相关传输对象之间的传输速度，并以重新计算的传输速度进行数据传输。另外，为了避免频繁调控，服务器也可以设置一个触发调控的阈值，例如该传输对象允许使用的带宽，服务器仅对超过该阈值的带宽较大的传输对象登记或注销时，才进行调控。具体计算速度时，服务器可以先检查当前时间段是否有带宽限制，如果没有限制即不限速，则直接将与该客户端的传输速度配置为不限速，如果限速则使用智能调优算法获取传输速度。

具体地，上述步骤中，数据类别的定义是数据传输控制的基础，以下介绍几种数据类型的划分方法：

1、根据信息种类划分，如Office文档、电子邮件、源代码、数据库等。这种划分方法可以采用文件后缀名进行识别，从而识别出待发送数据是文档类型还是源代码类型等。

2、根据物理位置和逻辑位置划分，如服务器数据、普通PC数据、经常出差的笔记本数据等，可以根据请求发送数据的客户端的IP地址信息识别出数据的类型。

3、根据数据重要程度划分，如财务数据、普通数据等。可以根据数据重要程度，由管理员手工配置，。

4、根据数据产生频率和数量划分，如某服务器每天产生500GB数据、某服务器每星期产生10GB数据等。这种划分方法，可以通过待发送数据的数据大小来识别。

5、根据文件内容划分，这是一种非常高级并且很智能的划分信息级别的方式，它是根据内容来判断信息的重要性，如文本、文档、邮件类的文字数据中存在“秘密”，“机密”，“财务”等内容则表示数据重要。预先配置与信息级别相关的关键字，通过检测是否包含相应关键字来获取类别信息。

6、根据文件元数据划分，可根据文件的元数据来划分信息的级别，元数据包括基本属性如文件的最后修改日期、以及一些存放在NTFS命名流中的扩展信息，或者多媒体文件包含的自描述信息等，通过识别这些信息，即可得到数据的类别信息。

7、根据数据存放的设备和介质划分，可以根据具体的设备型号，如IBM的DS8000、EMC的Symmetrix DMX-3、HP StorageWorks XP12000、HDSTagmaStore等，或者配置某一类型的介质池，如根据指定的介质类型进行划分，通过获取设备型号，得到类别信息。

8、用户自定义，提供可扩展的方式来划分信息级别，用户根据实际应用环境二次开发，实现对信息级别的定义。

另外，步骤202中，服务器计算传输对象的传输速度时，所依据的带宽使用规则具体可以包括带宽的限制规则和控制规则；

带宽的限制规则可以根据时间来定义，例如8:00至18:00允许使用带宽50MB/S，其它时间不限制。

具体实现如图3所示：本发明提供相应的接口，Add接口可用于添加指定时间段允许使用的带宽大小，Delete接口可用于删除已添加的带宽限制，GetCurrentLimit接口可用于获得当前时间段允许使用的带宽大小。通过上述接口设计，用户即可自定义需要的带宽使用规则。

带宽的控制规则可以根据数据分类来定义，例如分类A可以占用100％带宽，分类B可以占用80％带宽。

具体实现如图4所示：本发明提供相应的接口，Add接口可用于添加指定的数据分类占用可用带宽的百分比，Delete接口可用于删除已添加的带宽使用率，GetRate接口可用于获得指定数据分类的带宽使用率。

具体地，在通过智能调优算法计算传输速度时，服务器将根据上述带宽使用规则以及与该连接对象所要传输的数据类别相同的连接对象的个数计算出每个连接对象允许的传输速度。

具体计算方法如图5所示，包括如下步骤：

步骤501，获取传输请求的数据分类；

步骤502，获取带宽使用规则，如当前时间段允许使用的带宽大小，如100MB/S；该数据分类允许使用的带宽，如允许占用80％带宽；

步骤503，获取所有与当前数据分类相同的连接数；例如当前有4个相同数据分类的连接；

步骤504，计算传输速度。

根据以上各步骤获取的参数进行综合运算得出指定数据分类允许使用的平均速度；例如100*80％/4，得到新建连接以及其它当前连接允许占用20MB/S的带宽。此时，可以向新建连接以及其它当前连接的连接对象发送速度控制消息，调整它们的传输速度。

另外，本发明还提供了一种分类数据传输系统，如图1所示，包括服务器101与客户端102，其中：

所述客户端102发送数据传输请求；所述传输请求中携带待发送数据的类别信息；

服务器101接收到所述数据传输请求后，记录所述待发送数据的类别信息；根据所述类别信息及预设的基于类别信息的带宽使用规则，计算允许使用的传输速度；

客户端102与服务器101以所述传输速度传输数据；

服务器101在数据传输结束后，删除所述待发送数据的类别信息。

其中，所述客户端102的具体结构如图6所示，包括：

请求发送模块601，用于根据数据文件后缀名，客户端IP地址，数据标识或数据内容关键字得到待发送数据的类别信息，并向服务器101发送数据传输请求；所述传输请求中携带待发送数据的类别信息及客户端的标识信息；

数据传输模块602，根据101服务器发送的所述速度控制消息，与服务器101以服务器101计算出的传输速度传输数据；

较佳地，所述客户端102进一步包括：

数据加工模块603，与所述数据传输模块602相连，用于在所述数据传输模块602向服务器101发送数据之前，或接收到服务器101发送的数据之后，根据数据的类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工。

较佳地，所述服务器101的具体结构如图7所示，包括：

记录模块701，用于接收客户端102发送的数据传输请求，并记录数据传输请求中携带的所述待发送数据的类别信息；并在与客户端102的数据传输结束后，删除该客户端102待发送数据的类别信息；

计算模块702，用于根据已记录的所述类别信息，确定当前正在与服务器101进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端102的个数；将该数据类别在当前时间段允许使用的带宽除以所述个数，得到所述允许使用的传输速度；当服务器101删除所述记录的待发送数据的类别信息时，重新计算当前正在与服务器101进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端102允许使用的传输速度；

传输模块703，用于与客户端以所述传输速度传输数据。

较佳地，所述服务器101进一步包括：

数据加工模块704，与所述传输模块703相连，用于在所述传输模块703向客户端102发送数据之前，或接收到客户端102发送的数据之后，根据数据的类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工。

由上述的实施例可见，本发明的这种分类数据传输方法可以将数据划分为不同类别，并在传输前后根据类别自动进行数据加工(压缩、加密等操作)，并由服务器统一控制整个网络中所有传输对象的实际传输速度，服务器能够根据网络状态以及数据分类即时调整任意传输对象的传输速度(传输对象是指发送数据的对象，如复制时由客户端发送数据给服务器，则客户端是传输对象，恢复时由服务器发送数据给客户端，则服务器是传输对象)。从而保障重要类别数据先于非重要类别数据传输使重要数据得到有效保护，避免发生网络排队和网络阻塞，降低重要数据损坏或丢失带来的损失。另外，服务器统一管理网络中所有传输对象的传输速度，可以简化管理操作，使网络带宽最大化使用，减少人工成本。

Claims (10)

1.一种分类数据传输方法，其特征在于，该方法包括：

客户端向服务器发送数据传输请求；所述传输请求中携带该客户端待发送数据的类别信息；

服务器接收到所述数据传输请求后，记录所述客户端待发送数据的类别信息；根据所述类别信息及预设的基于类别信息的带宽使用规则，计算允许使用的传输速度；

所述客户端与服务器以所述传输速度传输数据；

服务器在数据传输结束后，删除所述记录的客户端的待发送数据的类别信息。

2.如权利要求1所述的分类数据传输方法，其特征在于，所述类别信息根据数据文件后缀名，客户端IP地址，数据标识或数据内容关键字得到。

3.如权利要求1所述的分类数据传输方法，其特征在于，所述计算允许使用的传输速度，包括：

根据已记录的所述类别信息，确定当前正在进行的与待发送数据的类别相同的数据传输连接的个数；将该数据的类别在当前时间段允许使用的带宽除以所述个数，得到所述允许使用的传输速度。

4.如权利要求1所述的分类数据传输方法，其特征在于，所述客户端与服务器以所述传输速度传输数据，包括：

客户端或服务器发送数据之前，以及客户端或服务器接收数据之后，根据所述类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工；客户端与服务器以所述传输速度传输加工后的数据。

5.如权利要求1所述的分类数据传输方法，其特征在于，该方法进一步包括：

当服务器删除所述记录的待发送数据的类别信息时，重新计算当前正在与服务器进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端允许使用的传输速度；

服务器与所述相同的客户端按照重新计算的传输速度传输数据。

6.一种分类数据传输系统，包括服务器与客户端，其特征在于：

所述客户端发送数据传输请求；所述传输请求中携带待发送数据的类别信息；

服务器接收到所述数据传输请求后，记录所述待发送数据的类别信息；根据所述类别信息及预设的基于类别信息的带宽使用规则，计算允许使用的传输速度；

客户端与服务器以所述传输速度传输数据；

服务器在数据传输结束后，删除所述待发送数据的类别信息。

7.如权利要求6所述的分类数据传输系统，其特征在于，所述客户端包括：

请求发送模块，用于根据数据文件后缀名，客户端IP地址，数据标识或数据内容关键字得到待发送数据的类别信息，并向服务器发送数据传输请求；所述传输请求中携带待发送数据的类别信息；

数据传输模块，根据服务器发送的所述速度控制消息，与服务器以服务器

计算出的传输速度传输数据。

8.如权利要求6所述的分类数据传输系统，其特征在于：所述客户端进一步包括：

数据加工模块，与所述数据传输模块相连，用于在所述数据传输模块向服务器发送数据之前，或接收到服务器发送的数据之后，根据数据的类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工。

9.如权利要求6所述的分类数据传输系统，其特征在于：所述服务器包括：

记录模块，用于接收客户端发送的数据传输请求，并记录数据传输请求中携带的所述待发送数据的类别信息；并在与客户端的数据传输结束后，删除该客户端待发送数据的类别信息；

计算模块，用于根据已记录的所述类别信息，确定当前正在与服务器进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端的个数；将该数据类别在当前时间段允许使用的带宽除以所述个数，得到所述允许使用的传输速度；当服务器删除所述记录的待发送数据的类别信息时，重新计算当前正在与服务器进行数据传输的，且传输的数据类别与所述删除的类别信息相同的客户端允许使用的传输速度；

传输模块，用于与客户端以所述传输速度传输数据。

10.如权利要求6所述的分类数据传输系统，其特征在于：所述服务器进一步包括：

数据加工模块，与所述传输模块相连，用于在所述传输模块向客户端发送数据之前，或接收到客户端发送的数据之后，根据数据的类别信息，判断是否需要对待发送的数据进行加工，如果需要，按照预设的加工规则，对所述待发送的数据进行加工。

Images