CN103079116A - 一种应用于对等网络的数据被动校验系统及方法 - Google Patents

Abstract

本发明提供一种应用于对等网络的数据被动校验的系统及方法。数据校验服务器将流媒体数据源服务器的流媒体文件按固定大小分为若干单位段，计算出每一单位段的校验值并存储于校验表。当客户端在收到其它客户端发送的数据时利用从校验服务器请求来的校验表对收到的数据进行校验，如果校验合格则接收该数据，否则，不接收。本发明解决了对等网络中的数据校验问题，数据校验过程简单有效。

Description

一种应用于对等网络的数据被动校验系统及方法

技术领域

本发明涉及一种应用于对等网络的数据被动校验系统及方法，属于计算机网络、流媒体、视频处理等多个交叉领域。

背景技术

随着对等网络(Peer-to-Peer Network；以下简称P2P网络)通信技术的发展，P2P网络流媒体技术得到了广泛应用。P2P网络的共享和快速的选路机制为观众提供了良好的流媒体视频观看体验。

但是在P2P网络中，数据在节点之间的分发过程中很容易遭受数据伪造，这为某些网络病毒提供了更好的入侵机会。此外，由于参与P2P的节点数量非常大，网络中逻辑相邻的节点地理位置可能相隔很远，每个节点防御病毒的能力又不同，因此通过P2P系统传播的病毒波及范围大，覆盖面广，造成的损失也会很大。要保障流媒体数据在P2P网络中传输的完整和正确，可以加入数据校验手段。

流媒体在P2P网络中常用的校验方法是CRC32校验法。所述CRC即循环冗余校验码（Cyclic Redundancy Check）：是数据通信领域中最常用的一种差错校验码，其特征是信息字段和校验字段的长度可以任意选定。循环冗余校验码（CRC）的基本原理是：在K位信息码后再拼接R位的校验码，整个编码长度为N位，因此，这种编码又叫（N，K）码。对于一个给定的（N，K）码，可以证明存在一个最高次幂为N-K=R的多项式G(x)。根据G(x)可以生成K位信息的校验码，而G(x)叫做这个CRC码的生成多项式。 校验码的具体生成过程为：假设发送信息用信息多项式C(X)表示，将C(x)左移R位，则可表示成C(x)*2的R次方，这样C(x)的右边就会空出R位，这就是校验码的位置。通过C(x)*2的R次方除以生成多项式G(x)得到的余数就是校验码。

下表中列出了一些标准的CRC32资料：

名称	生成多项式	简记式*	应用举例
				CRC-32c	x32+x28+x27+...+x8+x6+1	1EDC6F41	SCTP（STREAM CONTROL TRANSMISSION PROTOCOL 流控制传输协议）

这里主要讨论如何加入校验手段保障流媒体数据在P2P网络中传输的完整和正确。

发明内容

本申请提出一种应用于对等网络的数据被动校验的系统，该系统设置成当客户端在收到其它客户端发送的数据时，对收到的数据进行校验。为此，本发明提出了以下技术方案：

一种应用于对等网络的数据被动校验系统至少包括：一台流媒体数据源服务器、一台或多台客户端、一台数据校验服务器，其中，

流媒体数据源服务器的功能是用于存储流媒体数据；

数据校验服务器具有两个功能：

a1、用于将所述流媒体数据源服务器的流媒体文件按固定大小分为若干单位段，计算出每一单位段的CRC32校验值并存储于校验表；

a2、用于在接收到所述客户端请求后将该客户端所需校验表发送给该客户端；

客户端具有三个功能：

b1、用于播放流媒体文件；

b2、用于向所述数据校验服务器发送一个欲得到该客户端正在播放的流媒体文件的校验表的请求并接收所述校验表；

b3、用于接收来自其它客户端的流媒体文件的某一单位段，计算所收到的该段流媒体文件的CRC32校验值并和所述校验表中同一流媒体文件单位段的校验值相比对。

本发明进一步提供一种应用于对等网络的数据被动校验方法包括以下优选步骤:

A、当客户端在播放某流媒体文件时，该客户端向数据校验服务器发送一个欲得到该客户端正在播放的流媒体文件的校验表的请求；

B、数据校验服务器在接收到所述客户端请求后将该客户端所需校验表发送给该客户端；

C、所述客户端在接收来自其它客户端的流媒体文件的某一单位段时，计算所收到的该段流媒体文件的校验值并和所述校验表中同一流媒体文件单位段的校验值相比对。

优选的是，上述客户端为智能手机、台式机（Desktop）、电脑一体机、笔记本电脑、掌上电脑（PAD）、平板电脑、嵌入式计算机中的一种或组合

优选的是，上述校验表为XML文件，该校验表元素包括：单位段编号、单位段开始位置、单位段结束位置、单位段CRC32校验码。

优选的是，所述单位段大小优选为1048576字节（即1M）。当然该值也可根据实际的网络和服务器情况自行设置已达到最优效果，例如：可设置为128k、256k、512k、2M等。

优选的是，上述客户端在接收来自其它客户端的流媒体文件的某一单位段时，先计算该段流媒体文件的CRC32值并和上述校验表中同一流媒体文件单位段的校验值相比对，若所述两值相等则接收该段流媒体文件，否则，不接收。

优选的是，所述客户端请求以http格式发送，请求内容包括数据校验服务器上保存的用于记录所述流媒体文件所有单位段CRC32值的xml文件名；以及保存该流媒体文件的视频地址，即视频文件的调度地址。

优选的是，所述数据校验服务器收到客户端发来的请求后，若该服务器本地存在生成好的校验表，则立即发送给客户端，否则，则开启一条根据客户端提供的视频文件调度地址去CDN取数据的连接，当获取第一个流媒体文件单位段时会计算此单位段的校验值然后发送给客户端。

优选的是，所述数据校验服务器从CDN获取的数据时也包含一数据校验过程，在数据校验服务器向CDN服务器发送的数据中增加一CRC32数据校验层，用于对CDN流出的数据进行单向校验。

附图说明

附图1为按照本发明的一优选实施例的应用于对等网络的数据被动校验系统。

附图2为按照本发明的另一优选实施例的应用于对等网络的数据被动校验系统。

附图3为按照本发明的应用于对等网络的数据被动校验系统的客户端通过负载均衡器与数据校验服务器相连接的示意图。

具体实施方式

下面结合附图和优选的实施方式对本发明作进一步详细描述。权利要求中构成要件和实施例中具体实例之间的对应关系可以如下例证。这里的描述意图在于确认在实施例中描述了用来支持在权利要求中陈述的主题的具体实例，由于在实施例中描述了实例，不意味着该具体实例不表示构成要件。相反地，即使在此包含了具体实例作为对应一个构成要件的要素特征，也不意味着该具体实例不表示任何其它构成要件。

此外，这里的描述不意味着对应于实施例中陈述的具体实例的所有主题都在权利要求中引用了。换句话说，这里的描述不否认这种实体，即对应实施例包含的具体实例，但不包含在其任何一项权利要求中，即，能够在以后的修正被分案并申请、或增加的可能发明的实体。

应当注意的是“系统”在此意味着由两个或更多设备构成的处理。

显而易见地，用户终端可以由个人计算机构成。此外，所述用户终端还可以由例如蜂窝电话、任何其它PDA（个人数字助理）工具、AV（音频视频）装置、诸如家用电气（家庭用电气化）设备的CE（消费电子设备）等构成。

“网络”意味着至少连接了两个设备的机构，并且在其中，一条信息能够从一个设备发送到另一个设备。经由网络建立通信的设备可以是彼此分离的，也可以是构成一个机器的内部模块。

“通信”可表示无线通信和有线通信。然而，还可以是混合无线和有线通信的通信，更具体地，在某个区段采取无线通信而在另一个区段采取有线通信的通信。同样，它也可以是这样的通信：从一个设备向另一设备的通信是有线的，且相反方向的通信是无线的。

实施例1

如图—1所示，在P2P网络平台中，本发明涉及到跟此有关的构件是：流媒体数据源服务器、客户端、数据校验服务器。

数据校验服务器为双机互备服务器且互为主从。流媒体数据源服务器为用于存储FLV格式电影的服务器。客户端为一台式机和一台笔记本电脑。本实施例中，存在三类实体连接，分别是台式机与笔记本电脑通过Internet的连接、台式机和/或笔记本通过Internet到数据校验服务器的连接、数据校验服务器通过机房内部网络设备到流媒体数据源服务器的连接。

数据校验服务器用于将上述流媒体数据源服务器存储的FLV格式电影按固定大小分为若干单位段，计算出每一单位段的CRC32校验值并存储于校验表。所述单位段大小经过发明人多次测试，将每单位段设置为 1M时，验证以及传输的效率最高。在本实施例中，《变形金刚3预告片》电影大小为20M，数据校验服务器以每段1M大小将该电影分为若干单位段，之后数据校验服务器将所述若干单位段进行编号，并根据所述单位段的数据信息码求出该单位段的CRC32码，因此，《变形金刚3预告片》电影被分为20段，节目数据编号为1-20。之后数据校验服务器根据所述单位段编号和所述单位段校验码组成校验表，校验表元素包括：单位段编号、单位段开始位置、单位段结束位置、单位段CRC32校验码，校验表形式如下：

<clips>

<clip>

<id>1</id>

<begin>0</ begin>

<end>1048576</end>

< CRC32>0x77073096</ CRC32>

</clip>

<clip>

<id>2</id>

<begin>1048577</ begin>

<end>2091753</end>

< CRC32>0xee0e612c</ CRC32>

</clip>

………………………

< /clips >

在本实施例中，上述台式机和笔记本都在观看《变形金刚3预告片》，那么所述台式机和/或笔记本向数据校验服务器发送一个欲得到《变形金刚3预告片》校验表的请求。该请求以http格式发送，请求内容包括数据校验服务器上保存的用于记录所述《变形金刚3预告片》所有单位段CRC32值的xml文件名；以及保存该《变形金刚3预告片》的视频地址，即视频文件的调度地址，其优选格式如下：

Get /{$name}.xml&url={$URL}，其中{$name}.xml为校验表文件名，{$URL}是视频文件调度地址。

上述数据校验服务器收到上述笔记本和/或台式机发来的请求后，若该服务器本地存在生成好的校验表，则立即发送给笔记本和/或台式机，否则，则开启一条根据笔记本和/或台式机提供的视频文件调度地址去CDN取数据的连接，当获取第一个流媒体文件单位段时会计算此单位段的校验值然后发送给笔记本和/或台式机。所述CDN（Content Delivery Network，即互联网内容发布网络）通过WEB服务器群采取预先定义好的策略（例如：根据地理情况、网络负载情况、内容类型中的一项或结合制定的策略）使得数据能在服务器级别实时透明分发，这样客户端可以向CDN网络中的任意一个数据源请求自己需要的数据，并且都能快速的获取到。

同时在P2P网络中，上述台式机和笔记本势必相互发送共同观看电影的所需单位段，当台式机接收来自笔记本的某一单位段时，先计算该单位段的CRC32值并和上述校验表中同一单位段的校验值相比对，若所述两值相等则接收该段数据，否则，不接收。例如，上述笔记本向台式机发来了单位段编号为1的单位段数据，台式机根据所述单位段数据的数据信息码计算该单位段的CRC32校验码为0xee0e612c，而台式机遍历校验表中对应编号为1的单位段数据的校验码为0x2d02ef8d，此时台式机认定该单位段数据可能被篡改而不接受该数据；而当上述台式机向笔记本发来了单位段编号为2的单位段数据，笔记本根据所述单位段数据的数据信息码计算该单位段的CRC32校验码为0x2d02ef8d，且笔记本遍历校验表中对应编号为2的单位段数据的校验码为0x2d02ef8d，此时笔记本认定该单位段数据是完整的、未被篡改的从而接收该单位段数据。

上述笔记本在向台式机发送某单位段数据前，该笔记本可通过CRC32查表校验方式对欲发送的单位段数据进行校验，校验合格后才向台式机发送；同样，上述台式机在向笔记本发送某单位段数据前，该台式机亦可通过CRC32查表校验方式对欲发送的单位段数据进行校验，校验合格后才向笔记本发送。

实施例2

如图—2所示，在P2P网络平台中，本发明涉及到跟此有关的构件是：流媒体数据源服务器、客户端、数据校验服务器。

数据校验服务器为双机互备服务器并配置一台备机。流媒体数据源服务器为用于存储流媒体文件的服务器。客户端为一台式机和一部智能手机。本实施例中，存在三类实体连接，分别是台式机与智能手机通过Internet的连接、台式机和/或智能手机通过Internet到数据校验服务器的连接、数据校验服务器通过机房内部网络设备到流媒体数据源服务器的连接。

数据校验服务器用于将上述流媒体数据源服务器存储的流媒体文件按固定大小分为若干单位段，计算出每一单位段的CRC32校验值并存储于校验表。所述单位段大小经过发明人多次测试，将每单位段设置为 1M时，验证以及传输的效率最高。在本实施例中，《功夫熊猫3预告片》电影大小为20M，数据校验服务器以每段2M大小将该电影分为若干单位段，之后数据校验服务器将所述若干单位段进行编号，并根据所述单位段的数据信息码求出该单位段的CRC32码，因此，《功夫熊猫3预告片》电影被分为10段，节目数据编号为1-10。之后数据校验服务器根据所述单位段编号和所述单位段校验码组成校验表，校验表元素包括：单位段编号、单位段开始位置、单位段结束位置、单位段CRC32校验码，校验表形式如下：

<clips>

<clip>

<id>1</id>

<begin>0</ begin>

<end>1048576</end>

< CRC32>0x77073096</ CRC32>

</clip>

<clip>

<id>2</id>

<begin>1048577</ begin>

<end>2091753</end>

< CRC32>0x2d02ef8d </ CRC32>

</clip>

………………………

< /clips >

在本实施例中，上述台式机和智能手机都在观看《功夫熊猫3预告片》，那么所述台式机和/或智能手机向数据校验服务器发送一个欲得到《功夫熊猫3预告片》校验表的请求。该请求以http格式发送，请求内容包括数据校验服务器上保存的用于记录所述《功夫熊猫3预告片》所有单位段CRC32值的xml文件名；以及保存该《功夫熊猫3预告片》的视频地址，即视频文件的调度地址，其优选格式如下：

Get /{$name}.xml&url={$URL}，其中{$name}.xml为校验表文件名，{$URL}是视频文件调度地址。

上述数据校验服务器收到上述台式机和/或智能手机发来的请求后，若该服务器本地存在生成好的校验表，则立即发送给台式机和/或智能手机，否则，则开启一条根据台式机和/或智能手机提供的视频文件调度地址去CDN取数据的连接，当获取第一个流媒体文件单位段时会计算此单位段的校验值然后发送给台式机和/或智能手机。所述CDN（Content Delivery Network，即互联网内容发布网络）通过WEB服务器群采取预先定义好的策略（例如：根据地理情况、网络负载情况、内容类型中的一项或结合制定的策略）使得数据能在服务器级别实时透明分发，这样客户端可以向CDN网络中的任意一个数据源请求自己需要的数据，并且都能快速的获取到。

同时在P2P网络中，上述台式机和智能手机势必相互发送共同观看电影的所需单位段，当台式机接收来自智能手机的某一单位段时，先计算该单位段的CRC32值并和上述校验表中同一单位段的校验值相比对，若所述两值相等则接收该段数据，否则，不接收。例如，上述智能手机向台式机发来了单位段编号为1的单位段数据，台式机根据所述单位段数据的数据信息码计算该单位段的CRC32校验码为0x77073096，而台式机遍历校验表中对应编号为1的单位段数据的校验码为0x2d02ef8d，此时台式机认定该单位段数据可能被篡改、不完整而不接收该数据；而当上述台式机向智能手机发来了单位段编号为2的单位段数据，智能手机根据所述单位段数据的数据信息码计算该单位段的CRC32校验码为0x2d02ef8d，且智能手机遍历校验表中对应编号为2的单位段数据的校验码为0x2d02ef8d，此时笔记本认定该单位段数据是完整的、未被篡改的从而接收该单位段数据。

上述智能手机在向台式机发送某单位段数据前，该智能手机可通过CRC32查表校验方式对欲发送的单位段数据进行校验，校验合格后才向台式机发送；同样，上述台式机在向智能手机发送某单位段数据前，该台式机亦可通过CRC32查表校验方式对欲发送的单位段数据进行校验，校验合格后才向智能手机发送。

在上述两实施例中，所述数据校验服务器从CDN获取的数据时也包含一数据校验过程，在数据校验服务器向CDN服务器发送的数据中增加一CRC32数据校验层，用于对CDN流出的数据进行单向校验。

另外，如图—3，在上述两实施例中，可在客户端到数据校验服务器的连接中可加入F5负载均衡器，所述F5负载据衡器是一种采用各种分配算法把网络请求分散到一个服务器集群中的可用服务器上去，通过管理进入的Web数据流量和增加有效的网络带宽，从而使客户端获得尽可能最佳的联网体验的硬件设备。 　　

上述负载均衡器有多种多样的形式，除了作为独立意义上的负载均衡器外，有些负载均衡器集成在交换设备中，置于服务器与Internet链接之间，有些则以两块网络适配器将这一功能集成到PC中，一块连接到Internet上，一块连接到后端服务器群的内部网络上。

在上述两实施例中，当需要进行校验服务器升级或系统维护时，F5负载据衡器保证稳定的服务器退出服务以避免服务中断。当选定某台服务器要退出服务后，将不会将任何新的客户端分配到该服务器。但是，它可以要该服务器完成对当前客户端的服务。从而保证了无中断的优质服务，并且简化了服务器群的管理。智能的服务器服务恢复将重新启动的服务器应用到服务中时，避免新服务器因突然出现的流量冲击导致系统故障是非常重要的。所以，在将新的校验服务器引入校验服务器群时，将逐渐地增加分配到该服务器的流量，直至达到其完全的处理能力。从而不仅保证客户端在服务器退出服务时，同时还保证服务器在启动期间以及应用程序开始时，均能获得不间断服务。

应该理解的是，本发明的附图和阐述被精简化，只描述了对于清楚地了解本发明所必不可少的要素，为了清楚简明起见，省略了一些在通常的计算装置、系统和方法中采用的要素，在阅读了本说明书后，本领域技术人员不难看出这些省略的要素及其在本发明中的作用。而本领域普通技术人员可以理解，这些省略的要素对于实现本发明也是希望和/或需要的。本领域技术人员可以理解，本发明包括了在说明书中直接描述的各技术方案，也包括了由这些已经直接描述的各技术方案的结合构成的衍生方案，甚至包括由构成这些已经描述了的各方案的各特征的结合构成的衍生方案。基于本发明的宗旨的一切改进都落入本发明的保护范围之内。

本领域技术人员同样不难看出，本发明是对现有技术的改进，是为解决现有技术中存在的技术问题而将这些现有技术中的要素进行的结合，这种结合凝结了大量的创造性劳动，是发明人大量理论研究和科学实验的结晶。在没有阅读本发明之前，本领域技术人员显然是不容易想到本发明的各个方案的，而在阅读了本说明书后，本领域技术人员不必再付出创造性劳动即可实现本发明的基本技术方案。

Claims (10)

1.一种应用于对等网络的数据被动校验系统，其特征在于，包括：流媒体数据源服务器、客户端、数据校验服务器，其中，

流媒体数据源服务器用于存储流媒体数据；

数据校验服务器具有两个功能：

b1、用于将所述流媒体数据源服务器的流媒体文件按固定大小分为若干单位段，计算出每一单位段的校验值并存储于校验表；

b2、用于在接收到所述客户端请求后将该客户端所需校验表发送给该客户端；

客户端具有三个功能：

a1、用于播放流媒体文件；

a2、用于向所述数据校验服务器发送一个欲得到该客户端正在播放的流媒体文件的校验表的请求并接收所述校验表；

a3、用于接收来自其它客户端的流媒体文件的某一单位段，计算所收到的该段流媒体文件的校验值并和所述校验表中同一流媒体文件单位段的校验值相比对。

2.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述客户端为手机、PC。

3.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述校验表为XML文件。

4.如权利要求1、3所述的应用于对等网络的数据被动校验系统，其特征在于，所述校验表元素包括：单位段编号、单位段开始位置、单位段结束位置、单位段CRC32校验码。

5.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述校验值为CRC32校验值。

6.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述单位段大小为1048576字节。

7.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述客户端在接收来自其它客户端的流媒体文件的某一单位段时，先计算该段流媒体文件的CRC32值并和所述校验表中同一流媒体文件单位段的校验值相比对，若所述两值相等则接收该段流媒体文件，否则，不接收。

8.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述客户端请求以http格式发送，请求内容包括数据校验服务器上保存的用于记录所述流媒体文件所有单位段CRC32值的xml文件名；以及保存该流媒体文件的视频地址，即视频文件的调度地址。

9.如权利要求1所述的应用于对等网络的数据被动校验系统，其特征在于，所述数据校验服务器收到客户端发来的请求后，若该服务器本地存在生成好的校验表，则立即发送给客户端，否则，则开启一条根据客户端提供的视频文件调度地址去CDN取数据的连接，当获取第一个流媒体文件单位段时会计算此单位段的校验值然后发送给客户端。

10.如权利要求9所述的应用于对等网络的数据被动校验系统，其特征在于，所述数据校验服务器从CDN获取的数据时也包含一数据校验过程，在数据校验服务器向CDN服务器发送的数据中增加一CRC32数据校验层，用于对CDN流出的数据进行单向校验。

Images