CN101005370A - 一种非对称跨网段多路数据流动态复制分发设备 - Google Patents

Abstract

一种非对称跨网段多路数据流动态复制分发设备，涉及一种在互联网中数据流复制及分发的方法及设备。该设备包括一台储存程序的计算机，所述的计算机带有一块或多块网络适配器，并配有一个或多个IP地址，通过运行程序，将数据流在网络的每一层进行复制和从新分发，将一路数据流复制成多路数据流，最终使得用户可以在网络最底层通过选择即可获得相应的数据流服务，而不必再从数据源直接获取，使网络中的数据流量大大减少，这样，不但可以解决当前视频服务的问题，而且可以解决其他形式的数据流服务。从而有效的解决网络的堵塞问题，大大降低了服务器的投资成本和网络的负载，同时解决了当前组播无法在互联网传输的问题。

Description

一种非对称跨网段多路数据流动态复制分发设备

技术领域

本发明涉及一种在互联网中数据流分发及传输的方法及设备，属于数据传播技术领域。

背景技术

随着宽带互联网的发展，在互联网上观看电视或其他视频节目的需求越来越大。目前的视频服务采用的都是B/S或C/S模式，使用这种模式在提供视频服务不但投资巨大，而且经常会产生网络拥塞或服务器不能承受的现象。组播技术可以解决这个问题，但是由于互联网本身构架的特点，无法对组播进行很好的支持，尤其是ADSL构成的网络，对组播的支持更加不理想。因此，要想改变目前的状况，必须采用新的数据传输方式，同时又符合互联网本身的特点，还不能给网络带来大的变化。目前的互联网由多个骨干节点和城域网构成，数据的拥塞主要发生在城域网的出口。因为城域网本身属于金字塔型的构架，由一级级的汇聚设备和交换设备组成层状网，该结构的特点在底层的总带宽远大于上层的总带宽，而用户大都位于网络底层，大多数的服务都处在网络上层，这就会使得大量的用户在寻找服务的时候全部拥往上层网络，从而导致网络的堵塞。而目前提供服务的模式大都是B/S或C/S模式，所有的服务都是由服务器来提供，大量的服务使得服务器本身的容量越来越大，投资也越来越大。见附图1。

视频服务是数据服务中最特殊的服务，它数据量极大，而且实时性又高，并具有持久性，金字塔型的网络构架及B/S，C/S的服务模式恰恰无法提供很好的视频服务。要想提供此类服务，必须使得服务模式符合网络构架。如果让视频流也同样能够形成金字塔型分布，使得用户可以在金字塔底层就可以得到视频流，而不必涌向网络的顶端去获取服务，那么网络拥塞问题和服务器容量问题就都可以得到解决。

发明内容

本发明的目的是提供一种非对称跨网段多路数据流动态复制分发方法，将数据流在网络的每一层进行复制和从新分发，使得数据流能够成为金字塔型分布，也就是在每层网络上就将一路数据流复制成多路数据流，逐级分发，最终使得用户可以在网络最底层通过选择即可获得相应的数据流服务，而不必再从数据源直接获取，使网络中的数据流量大大减少，这样，不但可以解决当前视频服务的问题，而且可以解决其他数据流服务。从而有效的解决网络的堵塞问题，同时降低服务器的投资成本。

本发明的目的是通过如下技术方案实现的：

一种非对称跨网段多路数据流动态复制分发设备，该设备包括一台储存程序的计算机，所述的计算机带有一块或多块网络适配器，并配有一个或多个IP地址，所述的储存程序的计算机执行如下步骤：

1)设备启动后，读取系统配置，创建逻辑输入端口，根据逻辑输入端口的数量建立一个或多个用于接收或申请数据源发来数据的SOCKET，并创建接收线程、发送线程及接收缓冲队列；

2)建立静态逻辑输出端口，与所述逻辑输入端口建立映射关系，并创建发送队列及发送SOCKET池，所述接收线程将逻辑输入端口接收到的数据复制到发送队列，通知发送线程调用发送SOCKET将数据发出；若逻辑输出端口要求的数据输出方式为组播，而所对应的逻辑输入端口的数据输入方式是单播，则发送数据时，发送SOCKET将单播数据转换为组播方式输出；若逻辑输出端口要求的数据输出方式为单播，而所对应的逻辑输入端口的数据输入方式是组播，则发送数据时，发送SOCKET将组播数据转换为单播方式输出；

3)完成静态逻辑输出端口的创建后，程序为动态逻辑输出端口创建发送SOCKET池及发送线程池，等待动态用户的申请；

4)当有用户申请某个逻辑输入端口的数据时，程序会分配一个SOCKET与用户建立链接，并创建发送队列，建立动态逻辑输出端口，动态逻辑输出端口与所申请的逻辑输入端口形成映射；

5)接收线程收到该逻辑输入端口的数据后，将数据复制到发送队列，通知发送线程池，调用一个相对空闲的线程用SOCKET将数据发出，等待新的数据；若逻辑输出端口要求的数据输出方式为组播，而所对应的逻辑输入端口的数据输入方式是单播，则发送数据时，发送SOCKET将单播数据转换为组播方式输出；若逻辑输出端口要求的数据输出方式为单播，而所对应的逻辑输入端口的数据输入方式是组播，则发送数据时，发送SOCKET将组播数据转换为单播方式输出；此过程不断重复，从而完成同一IP之间或不同IP之间的数据流复制分发；

6)如有新的用户申请到来，则重复步骤4至步骤5；

7)当用户退出时，程序关闭当前逻辑输出端口，关闭SOCKET链接，清除发送队列，停止复制过程。

本发明的技术特征还在于：采用多个数据流动态复制分发设备形成级联，形成数据流分发系统；每一级设备作为下一级设备的数据源或直接作为用户的数据源。所述的数据流分发系统构成星型网络、环型网络或金字塔型层状网络。

本发明的技术方案中，不同IP之间的逻辑输入端口和逻辑输出端口采用内存数据交换的方式形成映射关系。所述的逻辑输入端口所接收的数据为组播数据或单播数据；所述的逻辑输出端口所发送的数据为组播数据或单播数据。逻辑输入端口和逻辑输出端口所接收和发送的数据流为视频数据流、音频数据流、文件流。

本发明与现有技术相比，具有以下优点及突出性进步：①将一路数据流复制成多路数据流，并可以直接为客户提供服务，大大降低了服务器的负载，解决C/S，B/S模式的服务瓶颈问题，尤其是解决了视频流的传输问题。②设有动态逻辑输出端口，在没有用户申请的时候不发送数据，大大节省了网络资源。③单播和组播可以任意的互相转换，解决了当前组播无法在互联网传输的问题，适用于任何形态的网络结构，可以分别发挥单播和组播的优势。④可以进行跨网段的数据流复制，而不必通过交换机或路由器，大大降低了网络负载。

附图说明

图1为现有技术中数据流服务的状况图。

图2为本发明中某个IP的逻辑输入端口与逻辑输出端口的映射关系图。

图3为本发明的主要流程框图。

图4为本发明实现跨网段数据流复制的流程示意图。

图5为网络中利用本发明所提供的数据流动态复制分发设备进行流复制分发的示意图。

具体实施方式

下面结合附图对本发明作进一步的说明。

本发明的工作原理：该设备包括一台储存程序的计算机，所述的计算机硬件是基于X86的设备，操作系统可以是LINUX或者WINDOWS；该计算机带有一块或多块网络适配器，并配有一个或多个IP地址。每一个IP拥有一个或多个逻辑输入端口及一个或多个逻辑输出端口，逻辑输入端口包括组播输入和单播输入；逻辑输出端口包括静态组播输出、静态单播输出、动态单播输出和动态组播输出；根据系统配置或请求，逻辑输入端口和逻辑输出端口之间可以建立相应的映射关系。设备中任何一个逻辑输入端口可以以单播的形式接收数据，也可以组播的形式接收数据；逻辑输出端口可以以单播的形式输出数据流，也可以组播的形式输出数据流。程序负责将逻辑输入端口接收到的数据进行复制，并通过逻辑输出端口发出，一个逻辑输入端口的数据可以被复制多路从多个逻辑输出端口同时发出。逻辑输出端口分为动态逻辑输出端口和静态逻辑输出端口。所谓动态逻辑输出端口是接收到用户申请并建立链接后临时创建的端口，该端口与逻辑输入端口之间的映射关系也是临时创建的，当用户退出、中断或选择其他逻辑输入端口时，该端口被关闭，映射关系解除，动态逻辑输出端口主要是为用户申请提供服务的；所为静态逻辑输出端口，是在设备启动时指定的逻辑输出端口，它不需要用户申请就存在。静态逻辑输出端口与某个逻辑输入端口形成固定的映射关系，程序根据此映射进行数据流复制，并将数据从静态逻辑输出端口发出。如果用户知道静态逻辑输出端口的地址即可直接接收，无须向设备发送申请或与设备建立链接，静态逻辑输出端口一般用于组播数据的输出，也可以用于单播数据的输出，它主要用于为下一个数据流复制设备的逻辑输入端口提供数据源，同时也可以直接为用户服务。逻辑输入端口及逻辑输出端口均是以IP地址+端口号作为标志的。(见附图2)。

图3为本发明程序的主要流程框图，储存程序的计算机执行如下步骤：

1)设备启动后，读取系统配置，创建逻辑输入端口，根据逻辑输入端口的数量建立一个或多个用于接收或申请数据源发来数据的SOCKET，并创建接收线程、发送线程及接收缓冲队列；

2)建立静态逻辑输出端口，与所述逻辑输入端口建立映射关系，并创建发送队列及发送SOCKET池，所述接收线程将逻辑输入端口接收到的数据复制到发送队列，通知发送线程调用发送SOCKET将数据发出；若逻辑输出端口要求的数据输出方式为组播，而所对应的输入端口的数据输入方式是单播，则发送数据时，发送SOCKET将单播数据转换为组播方式输出；若逻辑输出端口要求的数据输出方式为单播，而所对应的逻辑输入端口的数据输入方式是组播，则发送数据时，发送SOCKET将组播数据转换为单播方式输出；

3)完成静态逻辑输出端口的创建后，程序为动态逻辑输出端口创建发送SOCKET池及发送线程池，等待动态用户的申请；

4)当有用户申请某个逻辑输入端口的数据时，程序会分配一个SOCKET与用户建立链接，并创建发送队列，建立动态逻辑输出端口，动态逻辑输出端口与所申请的逻辑输入端口形成映射；

5)接收线程收到该逻辑输入端口的数据后，将数据复制到发送队列，通知发送线程池，调用一个相对空闲的线程用SOCKET将数据发出，等待新的数据；若逻辑输出端口要求的数据输出方式为组播，而所对应的逻辑输入端口的数据输入方式是单播，则发送数据时，发送SOCKET将单播数据转换为组播方式输出；若逻辑输出端口要求的数据输出方式为单播，而所对应的逻辑输入端口的数据输入方式是组播，则发送数据时，发送SOCKET将组播数据转换为单播方式输出；此过程不断重复，从而完成同一IP之间或不同IP之间的数据流复制分发；

6)如有新的用户申请到来，则重复步骤4至步骤5；

7)当用户退出时，程序关闭当前逻辑输出端口，关闭SOCKET链接，清除发送队列，停止复制过程。

该设备具有跨网段进行数据流复制的功能。因为设备中可以有一个或多个IP地址，这些IP可以属于同一个网段，也可属于不同的网段。不同IP的逻辑输出端口和逻辑输入端口可以任意形成映射关系，这样，数据的交换及复制就由设备的内存完成，不需要通过网络(见附图4)。逻辑端口的接收和发送与数据格式没有关系，可以接收和发送视频流，音频数据流、文件流或其他形式的数据流。

多个流复制设备可以形成级联，也就是说一个流复制设备可以作为另一个流复制设备的数据源，设备通过组合即构成了流分发系统。整个系统可以根据实际的需求构成各种不同的网络结构，可以组成星型网络，环型网络，金字塔型层状网络。网络中的流复制设备可以通过统一的负载均衡系统管理起来，用户先访问负载均衡系统，获取节目列表(数据流列表)，负载均衡系统会根据负载最轻原则和节点最近原则，选择一个离用户距离最近，负载最轻的流复制系统并告知用户，用户根据负载均衡返回的信息，向离自己最近并且负载最轻的设备发出请求，该设备就会向用户传送用户所选择的数据流。(见附图5)

Claims (5)

1.一种非对称跨网段多路数据流动态复制分发设备，其特征在于：该设备包括一台储存程序的计算机，所述的计算机带有一块或多块网络适配器，并配有一个或多个IP地址，所述的储存程序的计算机执行如下步骤：

1)设备启动后，读取系统配置，创建逻辑输入端口，根据逻辑输入端口的数量建立一个或多个用于接收或申请数据源发来数据的SOCKET，并创建接收线程、发送线程及接收缓冲队列；

2)建立静态逻辑输出端口，与所述逻辑输入端口建立映射关系，并创建发送队列及发送SOCKET池，所述接收线程将逻辑输入端口接收到的数据复制到发送队列，通知发送线程调用发送SOCKET将数据发出；若逻辑输出端口要求的数据输出方式为组播，而所对应的输入端口的数据输入方式是单播，则发送数据时，发送SOCKET将单播数据转换为组播方式输出；若逻辑输出端口要求的数据输出方式为单播，而所对应的逻辑输入端口的数据输入方式是组播，则发送数据时，发送SOCKET将组播数据转换为单播方式输出；

3)完成静态逻辑输出端口的创建后，程序为动态逻辑输出端口创建发送SOCKET池及发送线程池，等待动态用户的申请；

4)当有用户申请某个逻辑输入端口的数据时，程序会分配一个SOCKET与用户建立链接，并创建发送队列，建立动态逻辑输出端口，动态逻辑输出端口与所申请的逻辑输入端口形成映射；

5)接收线程收到该逻辑输入端口的数据后，将数据复制到发送队列，通知发送线程池，调用一个相对空闲的线程用SOCKET将数据发出，等待新的数据；若逻辑输出端口要求的数据输出方式为组播，而所对应的逻辑输入端口的数据输入方式是单播，则发送数据时，发送SOCKET将单播数据转换为组播方式输出；若逻辑输出端口要求的数据输出方式为单播，而所对应的逻辑输入端口的数据输入方式是组播，则发送数据时，发送SOCKET将组播数据转换为单播方式输出；此过程不断重复，从而完成同一IP之间或不同IP之间的数据流复制分发；

6)如有新的用户申请到来，则重复步骤4至步骤5；

7)当用户退出时，程序关闭当前逻辑输出端口，关闭SOCKET链接，清除发送队列，停止复制过程。

2.按照权利要求1所述的非对称跨网段多路数据流动态复制分发设备，其特征在于：采用多个数据流动态复制分发设备形成级联，形成数据流分发系统；每一级设备作为下一级设备的数据源或直接作为用户的数据源。

3.按照权利要求2所述的非对称跨网段多路数据流动态复制分发设备，其特征在于：所述的数据流分发系统构成星型网络、环型网络或金字塔型层状网络。

4.按照权利要求1所述的非对称跨网段多路数据流动态复制分发设备，其特征在于：不同IP之间的逻辑输入端口和逻辑输出端口采用内存数据交换的方式形成映射关系。

5.按照权利要求1所述的非对称跨网段多路数据流动态复制分发设备，其特征在于：所述的逻辑输入端口所接受的数据为组播数据或单播数据；所述的逻辑输出端口所发送的数据为组播数据或单播数据，所述逻辑输入端口和逻辑输出端口所接收和发送的数据流为视频数据流、音频数据流或文件流。

Images