CN101030866A - 分布式网络可控传输方法及硬件装置 - Google Patents

Abstract

本发明公开了一种分布式网络可控传输方法，和现有的对等传输网络不同，所述传输方法能明显降低对互联网骨干网络的传输压力。网络内只有骨干节点可以和所有节点传输数据，不同区域内的两个普通节点之间是不能传输数据的，某区域内的普通节点只能和同区域的普通节点传输数据，或和所有的骨干节点传输数据。这样就有效防止了跨区域的低效率连接和占用主干网的情况。该方法可以跨平台应用，将会带来大范围的互联网革命，并且能够良性发展。本发明还公开了一种实现分布式网络可控传输方法的网络接口芯片，一种实现分布式网络可控传输方法的网卡，以及一种分布式网络终端。

Description

分布式网络可控传输方法及硬件装置

技术领域

本发明涉及一种网络传输方法，特别涉及一种分布式网络可控传输方法，还涉及该传输方法的网络接口芯片实现以及硬件装置，包括包含分布式网络可控传输方法的网络接口芯片和网络终端。

背景技术

现有的网络传输方法，都是通过直接访问所需资源所在的地址，尤其是传统的CLIENT-SERVER模式，受固定网络链路影响特别大，经常由于局部阻塞造成无法连接或传输缓慢。所以电信公司在推广网络增殖服务时经常需要耗费巨大资金来实施CDN(内容分发网络)，即投入大量的缓冲服务器设备来缓解访问压力。

而现有的互联网上的P2P(英文称PEER TO PEER，中文称端到端技术)，这样的分布式技术的使用相当于充分利用了网络资源，即每个用户既是使用者，同时也提供中继器和服务器的功能给其它用户，这样就解决了传统服务器的集中访问和局部阻塞造成的传输缓慢问题。但是目前的端对端的通信方式处于无序状态，完全是个体行为的端对端的传输状况；且各用户之间的传输控制很复杂，缺乏有效管理，所以端对端的信息传输主要在功能较为强大的计算机之间进行，而对于数字信息家电、机顶盒、手机、等嵌入式网络设备，由于其处理、搜索能力有限，很难依靠本机的装配来实现有效地端对端的连接。

而且，现有的端对端的多媒体通信、传输方式，会带来不受控制的版权问题，因为如果大家都相互自由地传输文件，节目可以在网络上免费下载播放，这样就会扰乱整个市场的运行，对于节目开发者，经营者会造成巨大的损失。因此目前P2P这样的用于多媒体服务的分布式技术只是在一般的计算机上使用，并且由于运营商的抵制，被控制在较窄的范围内应用。

对于使用嵌入式系统的数字信息家电，由于缺乏硬件的网络处理器件，仅靠有限的嵌入式CPU的处理能力很难调度和管理网络传输和有效数据获取。因此需要特殊的分布式网络接口芯片来辅助实现分布式网络终端。最大效率的利用网络传输与共享数据。

发明内容

本发明针对现有技术中存在的效率和安全问题，提供了一种可跨平台的分布式网络可控传输方法，还进一步提供了实现该方法的装置，如带有所述分布式网络可控传输方法的网络接口芯片、网卡和数字信息家电。为了更好的实现与电信网络的同步良性发展，本发明还可以与CDN系统结合应用。

本发明的分布式网络可控传输方法，可以基于如图1所示的典型的分布式网络，以上接入网络的所有设备统称为客户端，一种或多种客户端可以同时接入互联网。

基于以上网络，本实施例提出的分布式网络可控传输方法的关系图之一如图2所示的索引服务器与所有节点的关系图：

①客户端节点登录：联网的用户设备(也称客户节点)向设置于互联网中的索引服务器登录，索引服务器接收到其登录请求，索引服务器经分析判断，如可以登录，则向该用户设备发送登录确认消息，在该确认消息内包含对该用户的唯一识别码ID的确认信息，索引服务器则存储该用户信息于数据库中，该用户信息可以包括：节目表，用户ID，链接地址，还可以包括用于计费的计时器，以及设备种类，比如：是计算机、机顶盒还是手机等特征，以便用于对该用户身份的认证及管理，登录后的客户端成为客户节点；其中ID号可以是MAC地址，也可以是其它可管理存储区上具有的唯一性数据。

②骨干节点登录：联网的服务性骨干节点向设置于互联网中的索引服务器登录，索引服务器接收到其登录请求，索引服务器经分析判断，如可以登录，则向该节点发送登录确认消息，在该确认消息内包含对该节点的唯一识别码ID的确认信息，索引服务器则存储该节点信息于数据库中，该节点信息可以包括：节目表，节点ID，链接地址，还可以

包括用于计费的计时器。

③节目服务器登录：联网的节目服务器向设置于互联网中的索引服务器登录，索引服务器接收到其登录请求，索引服务器经分析判断，如可以登录，则向该节点发送登录确认消息，在该确认消息内包含对该节点的唯一识别码ID的确认信息，索引服务器则存储该节点信息于数据库中，该节点信息可以包括：节目表，节点ID，链接地址，还可以包括用于计费的计时器。

④索引服务器检查各节点节目表：每个登录节点均向索引服务器发送自已有的文件或节目的节目表的变化情况，该节目表至少包括文件名称，及相关链接信息，索引服务器将检查节目表中节目是否包含在节目服务器向索引服务器提交的节目表中，如果是则存储在索引数据库中，如果不是则舍弃。

以上是本传输方法的基础，索引服务器掌握了有关客户的参数，比如：网络地址、基本地点、已有的节目等，生成一个强大的数据库，使得通过索引服务器对各类不同种类的、希望获得多媒体数据的客户提供有效地端对端的地址分配。

接下来，举例说明：当某一个客户节点A希望获得某一节目或文件时，采用以下基本的传输方法：

⑤客户节点A(请求客户节点)向索引服务器发送节目申请信息，希望查找与一定的输入模式相匹配的节目；

⑥索引服务器根据客户节点A的申请在其数据库内搜索与输入模式相匹配的节目，并将搜索到的结果发送给客户节点A；搜索的结果包括：

可以提供该文件的一个或多个客户节点，例如客户节点B等；该客户节点的IP地址或穿透NAT(The IP Address/Port Translator，即：多台私有IP地址的计算机可以同时通过一个公网IP地址来访问Internet的功能的目的地址和目的端口)后的地址；搜索到的节目名；还可以包括要提供网络服务的种类的待选项，如：下载、广播接收或点播等；如果没有搜索到相应的客户节点，则也会将相应信息发送给客户节点A；

⑦客户节点A与目标客户节点(客户节点B)建立端对端连接，接收数据，如果上一步的返回信息包括要提供网络服务的种类的待选项，在建立连接之前，客户节点A还需要选择网络服务的种类，连接建立之后，就可以通知对方开始发送数据了，该目标客户节点可以为一个或多个；

⑧在文件传输过程中和/或传输完毕后，客户节点A需向索引服务器发送不断更新的节目表；

⑨索引服务器在数据库中更新客户节点A及B的最新信息，比如上传、下载量、计时器、以及节目表等信息。

这样的分布式传输方法可以用来传输任何类型的节目流或文件。

上述传输方法可以采用软件实现，也可以采用硬件实现，或采用软硬件结合的方式实现。

和现有的对等传输网络不同，本发明的分布式网络可控传输方法能明显降低对互联网骨干网络的传输压力。

普通节点之间的关系图及骨干节点与所有节点的关系图如图3所示，网络内只有骨干节点可以和所有节点传输数据，不同区域内的两个普通节点之间是不能传输数据的，某区域内的普通节点只能和同区域的普通节点传输数据，或和所有的骨干节点传输数据。这样就有效防止了跨区域的低效率连接和占用主干网的情况。

以下分情况说明数据传输的路径和方法：

(1)当某区域用户普通节点A申请的数据只存在同区域普通节点B上时，索引服务器会提供节点B的数据传输路径；当同区域其它普通节点上也有节点A所需的数据时，索引服务器会根据统计情况提供各节点数据传输路径；节点A同时保持和几个传输路径的有效连接，定时刷新，不断淘汰掉连接速度最慢的路径，引入新的路径，如此循环直至所有数据传输完毕；

(2)当某区域用户普通节点A申请的数据在同区域骨干节点C上时，索引服务器会优先提供节点C的数据传输路径；当其它骨干节点和普通节点上也有节点A所需的数据时，索引服务器会根据统计情况提供各节点数据传输路径；节点A保持几个有效连接，定时刷新，不断淘汰掉连接速度最慢的路径，引入新的路径，如此循环直至所有数据传输完毕；

(3)当某区域用户普通节点A申请的数据不在本区域，存在于其它区域的普通节点和骨干节点D上时，索引服务器会优先提供节点D的数据传输路径；并根据统计情况(如果该数据需求超过最低限度)让和节点A同区域的骨干节点C也接收节点D的数据传输路径进行数据传输，并把骨干节点C的数据传输路径也发送给节点A，根据连接速度，节点A通过循环淘汰方法，如果骨干节点C没有满负荷运转，很快节点C就会成为节点A的首要数据提供者。满足了我们对于最大利用区域传输网络的设计原则；

(4)当某区域用户普通节点A申请的数据只存在其它区域的普通节点E上时，索引服务器会提供节点E的数据传输路径；并根据统计情况(如果该数据需求超过最低限度)让和节点E同区域的骨干节点F以及和节点A同区域的骨干节点C也接收节点E的数据传输路径进行数据传输，并把骨干节点C和F的数据传输路径也发送给节点A，根据连接速度，节点A通过循环淘汰方法，很快节点C和F就会成为节点A的主要数据提供者，如果骨干节点C没有满负荷运转，最终节点C就会成为节点A的首要数据提供者。满足了我们对于最大利用区域传输网络的设计原则；

(5)当和某区域用户普通节点A同区域的骨干节点C已经满负荷运转，而节点A申请的数据还没有传输完，节点A通过循环淘汰方法，那些连接和传输速度快的节点就成为节点A的主要数据提供者；

(6)当某区域用户普通节点A申请的数据只存在节目服务器上时，索引服务器会让和节点A同区域的骨干节点C接收数据，并把骨干节点C的数据传输路径发送给节点A，很快节点C就会成为节点A的首要数据提供者。图4所示节目服务器及所有骨干节点之间关系图。

为了验证数据完整性和真实性，每一段节目数据中包含摘要信息和校验信息。

为了保护数据安全性，每一段数据可以选择是否压缩和/或加密传送。

附图说明

图1表示本发明分布式网络的典型结构示意图；

图2表示本发明索引服务器与所有节点的关系图；

图3表示本发明普通节点之间的关系图及骨干节点与所有节点的关系图；

图4表示本发明节目服务器及所有骨干节点之间关系图；

图5表示本发明实施例1中分布式网络接口芯片典型结构示意图。

具体实施方式

参照附图，将详细叙述本发明的具体实施方式。

实施例1

本实施例的包含分布式网络可控传输方法网络接口芯片，结构图如图5所示。其基本组成结构为：

(1)收发单元(可以是以太网有线收发单元和/或无线网收发单元)；

(2)管理控制单元(包含网络通讯协议，分布式网络可控传输方法管理控制单元以及所需的接口、唯一ID，通讯协议；也可包含校验和等网络加速运算单元)；

(3)数据接口(包括收发单元数据接口，管理控制单元控制数据接口和存储数据接口，安全组件接口，辅助组件接口)；

(4)可选的安全组件(如智能卡等CA单元)；

(5)可选的辅助组件(如存储器等辅助单元)。

实施例2

实施例1中分布式网络可控传输方法网络接口芯片用于连接计算机总线的接口板时，就成为包含分布式网络可控传输方法的网卡。如果该网卡包含完整的客户端和服务端功能，就和计算机一起可以共同组成索引服务器，节目服务器，骨干节点和普通节点。

实施例3

实施例1中分布式网络可控传输方法网络接口芯片用于嵌入式系统或家电设备时，就可以实现包含分布式网络可控传输方法的网络终端和数字信息家电。

Claims (10)

1、一种分布式网络可控传输方法，包括至少一个区域，一个索引服务器，一个节目服务器，零或多个骨干节点，一个或多个客户节点。包括步骤：

①客户节点以唯一的识别码登录索引服务器，索引服务器存储有客户节点的信息及节目服务器和各骨干节点、客户节点的节目信息；

②有节目需求的客户节点向索引服务器发送节目申请信息；

③索引服务器根据客户节点的申请信息，在其数据库内搜索具有与所述申请信息相匹配的文件的一个或多个目标节点，并根据区域划分原则将搜索到的结果发送给申请节目的客户节点；

④客户节点与所述一个或多个目标节点建立端对端连接，接收文件。

所述传输方法：其特征在于，还包括步骤：客户节点在登录后、和/或与目标节点的数据传输过程中、和/或传输完毕后，客户节点按时间和/或按任务向索引服务器发送更新的文件表。

所述传输方法：其特征还在于，在客户节点与目标节点的数据传输过程中和/或传输完毕后，索引服务器在数据库中更新上述申请节目的客户节点与目标节点的节目表和统计数据等相关信息。

所述区域划分原则为：

根据各节点接入的地理位置划分，如同一个局域网，或同一个城市区域或同一个高速连接的大区域都可以做为一个区域，区域内的节点可以互相以较高速度传输数据。与此区域大部分节点连接速度较慢的节点将划入其它区域。

2、根据权利要求1所述的传输方法：其特征在于，还包括步骤：将文件或节目源数据存储在节目服务器上，在所述第④步中，索引服务器在搜索可提供该文件的目标客户节点后，各节点按以下原则进行数据传输：

(1)当某区域用户普通节点A申请的数据只存在同区域普通节点B上时，索引服务器会提供节点B的数据传输路径；当同区域其它普通节点上也有节点A所需的数据时，索引服务器会根据统计情况提供各节点数据传输路径；节点A同时保持和几个传输路径的有效连接，定时刷新，不断淘汰掉连接速度最慢的路径，引入新的路径，如此循环直至所有数据传输完毕；

(2)当某区域用户普通节点A申请的数据在同区域骨干节点C上时，索引服务器会优先提供节点C的数据传输路径；当其它骨干节点和普通节点上也有节点A所需的数据时，索引服务器会根据统计情况提供各节点数据传输路径；节点A保持几个有效连接，定时刷新，不断淘汰掉连接速度最慢的路径，引入新的路径，如此循环直至所有数据传输完毕；

(3)当某区域用户普通节点A申请的数据不在本区域，存在于其它区域的普通节点和骨干节点D上时，索引服务器会优先提供节点D的数据传输路径；并根据统计情况(如果该数据需求超过最低限度)让和节点A同区域的骨干节点C也接收节点D的数据传输路径进行数据传输，并把骨干节点C的数据传输路径也发送给节点A，根据连接速度，节点A通过循环淘汰方法，如果骨干节点C没有满负荷运转，很快节点C就会成为节点A的首要数据提供者。满足了最大利用区域内传输网络的设计原则；

(4)当某区域用户普通节点A申请的数据只存在其它区域的普通节点E上时，索引服务器会提供节点E的数据传输路径；并根据统计情况(如果该数据需求超过最低限度)让和节点E同区域的骨干节点F以及和节点A同区域的骨干节点C也接收节点E的数据传输路径进行数据传输，并把骨干节点C和F的数据传输路径也发送给节点A，根据连接速度，节点A通过循环淘汰方法，很快节点C和F就会成为节点A的主要数据提供者，如果骨干节点C没有满负荷运转，最终节点C就会成为节点A的首要数据提供者。满足最大利用区域传输网络的设计原则；

(5)当和某区域用户普通节点A同区域的骨干节点C已经满负荷运转，而节点A申请的数据还没有传输完，节点A通过循环淘汰方法，那些连接和传输速度快的节点就成为节点A的主要数据提供者；

(6)当某区域用户普通节点A申请的数据只存在节目服务器上时，索引服务器会让和节点A同区域的骨干节点C接收数据，并把骨干节点C的数据传输路径发送给节点A，很快节点C就会成为节点A的首要数据提供者。

3、根据权利要求2所述的传输方法：其特征在于，还包括步骤：索引服务器上有关节目服务器的节目信息，与节目服务器保持同步更新。所述索引服务器中包含用户登录、管理的功能，也可以把这部分功能分离出来做为登录服务器。

根据权利要求2所述的传输方法：其特征在于，将一个或多个区域设置为一个广域，每个广域内至少设置一个所述索引服务器和节目服务器，多个广域再统一设置用于管理所述索引服务器和节目服务器的总索引服务器。

4、根据权利要求1至3任一所述的播放方法：

其特征在于，所有传输的数据是经加密的加密数据。

其特征在于，中心系统通过智能钥匙与客户节点进行身份认证。所述智能钥匙是至少设置有一个不可完整复制的安全组件。

其特征在于，在所传输的节目中设置认证信息，各节点根据认证信息对其合法性进行认证。

其特征在于，所述节点包括相互连接的计算机、机顶盒、数字信息家电、手机中的一种或多种。

5、一种实现分布式网络可控传输方法的网络接口芯片，设置：

收发单元，用于和以太网和/或无线网连接时进行物理信号收发；

管理控制单元，管理控制收发单元转换物理信号为数据包，按照通讯协议，经由控制数据接口设置，将数据包通过存储数据接口传送给外部电路；所述管理控制单元包含网络通讯协议，分布式网络可控传输方法以及所需的接口、唯一ID，协议；也可包含校验和等网络加速运算单元；

数据接口，用于和外部设备连接，包括收发单元数据接口，管理控制单元控制数据接口和存储数据接口，安全组件接口，辅助组件接口；

可选的安全组件(如智能卡等CA单元)；

可选的辅助组件(如存储器等辅助单元)。

6、一种实现分布式网络可控传输方法的网卡，其特征在于，包含权利要求5所述的网络接口芯片，并且具备和计算机总线连接的接口。

7、根据权利要求6所述的实现分布式网络可控传输方法的网卡，其特征在于，兼容现有的以太网和/或无线网网卡。

8、一种分布式网络终端，其特征在于，包含权利要求5所述的网络接口芯片，并且具备机顶盒、数字信息家电、手机和嵌入式设备中的一种或多种应用功能。

9、根据权利要求1至3所述的分布式网络可控传输方法中的各服务器和各节点，其特征在于，所述各服务器和各节点中的一个或多个是设置有实现分布式网络可控传输方法的网卡的计算机。

10、根据权利要求1至3所述的分布式网络可控传输方法中的各节点，其特征在于，各节点中的一个或多个是权利要求7所述的分布式网络终端。

Images