CN103747054A - 网络数据分配装置及具有该网络数据分配装置的系统 - Google Patents

Abstract

本发明提供一种网络数据分配装置，包括第一端口、第二端口、监听网卡和处理器。处理器分析监听网卡监听到的资源访问请求以确定相应的应用服务器处理资源访问请求，以触发确定的应用服务器分批次地从一数据库服务器中下载相应的资源并将资源存储至一文件服务器中，以及反馈资源的存储地址。发送应用服务器反馈的资源的存储地址至相应的客户端以通知客户端发起相应的资源下载请求，传送客户端发起的资源下载请求至相应的应用服务器以触发应用服务器从文件服务器中下载资源以及传送至相应的客户端。本发明还提供一种系统，利用本发明，降低内存使用分配，解决高并发问题。

Description

网络数据分配装置及具有该网络数据分配装置的系统

技术领域

本发明涉及计算机网络数据通信技术领域，尤其涉及一种网络数据分配装置及具有该网络数据分配装置的系统。

背景技术

随着互联网的不断开展，互联网企业的业务需求量暴增，企业对网站运营的性能、吞吐量、反应能力要求更高，大数据量、高并发是互联网企业急需解决的难题。导出数据到特定文件，是互联网企业提供给用户的一个重要功能，传统方式是将数据从数据库提取到内存，然后以数据流的方式输出到客户端，但在大数据量和高并发的情况下，容易产生内存飙升，最终导致服务器宕机。

发明内容

本发明实施例所要解决的技术问题在于，提供一种网络数据分配装置及具有该网络数据分配装置的系统，以在网络数据传输过程中降低内存使用的分配以及解决高并发的技术问题。

为解决上述技术问题，本发明提供一种网络数据分配装置，用于连接在至少一客户端与至少一应用服务器之间，该网络数据分配装置包括：

第一端口，用于与该至少一客户端进行连接。

第二端口，用于与该至少一应用服务器进行连接。

监听网卡，通过该第一端口与该至少一客户端进行连接，用于通过该第一端口对该客户端发起的资源访问请求进行监听。以及

处理器，与该监听网卡进行连接，用于：

分析该监听网卡监听到的资源访问请求以确定相应的应用服务器处理该资源访问请求，以触发该确定的应用服务器分批次地从一数据库服务器中下载相应的资源并将该资源存储至一文件服务器中，以及反馈该资源的存储地址。

发送该应用服务器反馈的资源的存储地址至相应的客户端以通知该客户端发起相应的资源下载请求。以及

传送该客户端发起的资源下载请求至相应的应用服务器以触发该应用服务器从该文件服务器中下载该资源以及传送至相应的客户端。

进一步地，本发明还提供一种网络数据分配系统，包括至少一客户端、至少一应用服务器、数据库服务器以及文件服务器，该网络数据分配系统还包括网络数据分配装置，该网络数据分配装置包括：

第一端口，用于与该至少一客户端进行连接。

第二端口，用于与该至少一应用服务器进行连接。

监听网卡，通过该第一端口与该至少一客户端进行连接，用于通过该第一端口对该客户端发起的资源访问请求进行监听。以及

处理器，与该监听网卡进行连接，用于分析该监听网卡监听到的资源访问请求以确定相应的应用服务器处理该资源访问请求，该被选择的应用服务器分批次地从该数据库服务器中下载相应的资源并将该资源存储至该文件服务器中，以及反馈该资源的存储地址。发送该应用服务器反馈的资源的存储地址至相应的客户端以通知该客户端发起相应的资源下载请求。以及传送该客户端发起的资源下载请求至相应的应用服务器以触发该应用服务器从该文件服务器中下载该资源以及传送至相应的客户端。

本发明提供的一种网络数据分配装置及具有该网络数据分配装置的系统，利用指定的应用服务器分批次获取资源数据，并将获取的资源数据存储至文件服务器中，及时回收应用服务器的内存，然后再以下载的方式提供给用户，同时通过负载均衡，降低内存使用分配，解决高并发问题。

附图说明

图1为本发明实施方式中的具有网络数据分配的系统的硬件架构示意图；

图2为本发明实施方式中的网络数据分配装置的功能模块示意图。

标号说明：

网络数据分配系统          10

客户端                    11

网络数据分配装置          12

第一端口                  120

监听网卡                  121

处理器                    122

第二端口                  123

存储器                    124

标识存放区                125

应用服务器                13

数据库服务器              14

文件服务器                15

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参考图1，为本发明实施方式中的具有网络数据分配的系统硬件架构示意图，该系统10包括多个客户端11、网络数据分配装置12、至少两个应用服务器13、数据库服务器14文件服务器15。其中，每个客户端11可以是个人计算机、便携式电脑等电子设备，并与该网络数据分配装置12通信连接。每个应用服务器13均与该网络数据分配装置12、数据库服务器14以及文件服务器15通信连接。

该网络数据分配装置12包第一端口120、监听网卡121、处理器122、第二端口123以及存储器124。其中，该第一端口120和第二端口123的数量均为多个，每个第一端口120用于与一客户端11进行连接，每个第二端口123用于一应用服务器13进行连接。第一端口120与客户端11进行连接，第二端口123与应用服务器13进行连接，该监听网卡121与第一端口120连接，处理器122与该监听网卡121以及该第二端口123进行连接。

该系统10的工作原理具体为：当一客户端11请求导出数据时，该客户端11发起一资源访问请求并通过第一端口120传送至该网络数据分配装置12。该监听网卡121通过第一端口120对用户发起的资源访问请求进行监听，并由处理器122对该监听到的资源访问请求进行分析以确定相应的应用服务器13处理该资源访问请求。其中，每个应用服务器13具有一设备标识，该处理器122将与该网络数据分配装置10连接的应用服务器13的设备标识注册至该存储器124的标识存放区125中。该设备标识用于标识应用服务器13的属性，包括内存、数据处理速度等。在本实施方式中，该处理器122分析该资源访问请求以确定相应的数据量，并根据应用服务器13的设备标识选择合适的应用服务器13处理该资源访问请求。

被指定的应用服务器13根据该资源访问请求分批次地从该数据库服务器14中提取相应的资源数据以将相应的资源缓存至该应用服务器13的内存中，进一步地将内存中的数据以文件的形式保存至文件服务器15中。

例如，用户所需获取的资源为一个xml文件，该xml文件包括25条新闻内容，每页只能显示10条新闻内容，不同的网络服务提供商的xml文件中包含的新闻数目可能不同，并且每页也并一定非要显示10条新闻。当应用服务器13接收到资源访问请求时，从数据库服务器14一次获取当前页、上一页和下一页3个页面的内容（共30条新闻），然后将获取到的新闻数据依次存储到缓存中，如此直至该xml文件的全部内容获取完毕后，该应用服务器13的缓存中存储了完整的xml文件。

在本实施方式中，该应用服务器13分批次获取该资源失败时还产生一反馈信号，并通过网络数据分配装置12反馈至相应的客户端11，以提示客户端11的用户资源提取失败。该应用服务器13在缓存该资源失败时还产生另一反馈信号，并通过网络数据分配装置12反馈至相应的客户端11，以提示客户端11的用户资源存储失败完成。其中，该资源的下载和缓存失败的原因可以包括原始资源损坏、网络连接失败而导致的资源下载中断以及获取资源的丢失而导致缓存失败等。

该应用服务器13还将该资源的存储地址反馈至网络数据分配装置12，由该网络数据分配装置12的处理器122发送该资源的存储地址至相应的用户，即发送该资源请求的客户端11。当该客户端11接收到资源得存储地址时发起资源下载请求，并通过第一端口120传送至网络数据分配装置12中。该监听网卡121监听到该资源下载请求时，该处理器122通过对该资源下载请求的识别确定相应的应用服务器13，并通过第二端口123将该资源下载请求发送至该确定的应用服务器13。当应用服务器13接收到该资源下载请求时向文件服务器15请求获取相应的资源，并将该资源下载以及缓存至应用服务器13中。

在本实施方式中，该应用服务器13下载该资源失败时还产生一反馈信号，并通过网络数据分配装置12反馈至相应的客户端11，以提示客户端11的用户资源下载失败。该应用服务器13下载该资源完成时还产生另一反馈信号，并通过网络数据分配装置12反馈至相应的客户端11，以提示客户端11的用户资源下载完成。

当完成资源下载后该应用服务器13通过网络数据分配装置12将该缓存的资源传送至相应的客户端11以完成资源下载请求，同时该应用服务器13清除缓存的资源。

本发明提供的一种网络数据分配装置及具有该网络数据分配装置的系统，利用指定的应用服务器分批次获取资源数据，并将获取的资源数据存储至文件服务器中，及时回收应用服务器的内存，然后再以下载的方式提供给用户，同时通过负载均衡，降低内存使用分配，解决高并发问题。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种网络数据分配装置，用于连接在至少一客户端与至少一应用服务器之间，其特征在于，所述网络数据分配装置包括：

第一端口，用于与所述至少一客户端进行连接；

第二端口，用于与所述至少一应用服务器进行连接；

监听网卡，通过所述第一端口与所述至少一客户端进行连接，用于通过所述第一端口对所述客户端发起的资源访问请求进行监听；以及

处理器，与所述监听网卡进行连接，用于：

分析所述监听网卡监听到的资源访问请求以确定相应的应用服务器处理所述资源访问请求，以触发所述确定的应用服务器分批次地从一数据库服务器中下载相应的资源并将所述资源存储至一文件服务器中，以及反馈所述资源的存储地址；

发送所述应用服务器反馈的资源的存储地址至相应的客户端以通知所述客户端发起相应的资源下载请求；以及

传送所述客户端发起的资源下载请求至相应的应用服务器以触发所述应用服务器从所述文件服务器中下载所述资源以及传送至相应的客户端。

2.如权利要求1所述的网络数据分配装置，其特征在于，所述网络数据分配装置还包括存储器，所述处理器将所述至少一个应用服务器的设备标识注册至所述存储器的标识存放区中，并分析所述资源访问请求以确定相应的数据量，以及根据所述应用服务器的设备标识选择合适的应用服务器处理所述资源访问请求。

3.如权利要求1所述的网络数据分配装置，其特征在于，所述处理器还用于传送一反馈信号至相应的客户端以提示所述客户端的用户资源提取失败，所述反馈信号为所述应用服务器分批次获取所述资源失败时产生。

4.如权利要求1所述的网络数据分配装置，其特征在于，所述处理器还用于传送一反馈信号至相应的客户端以提示所述客户端的用户资源缓存失败，所述反馈信号为所述应用服务器缓存所述资源失败时产生。

5.如权利要求1所述的网络数据分配装置，其特征在于，所述处理器还用于传送一反馈信号至相应的客户端以提示所述客户端的用户资源下载失败，所述反馈信号为所述应用服务器从所述文件服务器中下载所述资源失败时产生。

6.一种网络数据分配系统，包括至少一客户端、至少一应用服务器、数据库服务器以及文件服务器，其特征在于，所述网络数据分配系统还包括网络数据分配装置，所述网络数据分配装置包括：

第一端口，用于与所述至少一客户端进行连接；

第二端口，用于与所述至少一应用服务器进行连接；

监听网卡，通过所述第一端口与所述至少一客户端进行连接，用于通过所述第一端口对所述客户端发起的资源访问请求进行监听；以及

处理器，与所述监听网卡进行连接，用于分析所述监听网卡监听到的资源访问请求以确定相应的应用服务器处理所述资源访问请求，所述被选择的应用服务器分批次地从所述数据库服务器中下载相应的资源并将所述资源存储至所述文件服务器中，以及反馈所述资源的存储地址；发送所述应用服务器反馈的资源的存储地址至相应的客户端以通知所述客户端发起相应的资源下载请求；以及传送所述客户端发起的资源下载请求至相应的应用服务器以触发所述应用服务器从所述文件服务器中下载所述资源以及传送至相应的客户端。

7.如权利要求6所述的网络数据分配系统，其特征在于，所述网络数据分配装置还包括存储器，所述处理器将所述至少一个应用服务器的设备标识注册至所述存储器的标识存放区中，并分析所述资源访问请求以确定相应的数据量，以及根据所述应用服务器的设备标识选择合适的应用服务器处理所述资源访问请求。

8.如权利要求6所述的网络数据分配系统，其特征在于，所述应用服务器分批次获取所述资源失败时产生一反馈信号，所述处理器还用于传送所述反馈信号至相应的客户端以提示所述客户端的用户资源提取失败。

9.如权利要求6所述的网络数据分配系统，其特征在于，所述反馈信号为所述应用服务器缓存所述资源失败时产生一反馈信号，所述处理器还用于传送所述反馈信号至相应的客户端以提示所述客户端的用户资源缓存失败。

10.如权利要求6所述的网络数据分配系统，其特征在于，所述反馈信号为所述应用服务器从所述文件服务器中下载所述资源失败时产生一反馈信号，所述处理器还用于传送所述反馈信号至相应的客户端以提示所述客户端的用户资源下载失败。

Images