CN101184109B - 计算机硬盘数据网络传输加速层装置 - Google Patents

Abstract

本发明提供一种计算机硬盘数据网络传输加速层，它可加在现有网络结构的数据链路层、网络层、传输层、应用层任意层次之间，它由前端、智能分析引擎、智能处理引擎和后端构成，在发送端智能分析引擎经过前端采样数据，对数据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切相关的参数，智能处理引擎对智能分析引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵。本发明可有效的利用硬软件配置资源，尽可能的利用有效带宽，提高传输数据的速度和数据量；经过处理对于原有网络结构各层上下透明，在提高效率的基础上不影响原网络结构，高效、安全、可靠。

Description

计算机硬盘数据网络传输加速层装置

技术领域

本发明涉及计算机数据网络传输装置，特别涉及一种计算机硬盘数据网络传输加速层。 

背景技术

在当前计算机网络环境下，由于硬软件配置的限制，网络传输速度并不理想，尽可能的利用有效带宽，提高传输数据的信息熵，这是任何网络应用所不断追求的。TCP/IP作为事实上的工业标准，被各个现代操作系统所支持。一般，TCP/IP分成四层，从底向上分别是数据链路层(data link layer)，网络层(internet layer)，传输层(transport layer)，应用层(application layer)。其中前三层一般都由操作系统内核所直接支持，对上层网络应用层是透明的。上层网络应用层被屏蔽了硬软件细节和具体网络环境，这就使应用层在针对性上降低，很难进行特定的优化使硬软件发挥全部的潜能。 

发明内容

在目前这样一种普遍的情况下，本发明提供一种可加在现有网络结构的数据链路层、网络层、传输层、应用层的任意层次之间的计算机硬盘数据网络传输加速层，而且它不管是对上层还是下层，都是透明的、高效的。 

本发明的技术解决方案是：一种计算机硬盘数据网络传输加速层，它可加在现有网络结构的数据链路层、网络层、传输层、应用层的任意层次之间，它由前端、智能分析引擎、智能处理引擎和后端构成，所述的前端是在与上层网络进行通信时，在发送端截获上层网络应用层的请求，为网络加速层内部的智能分析引擎和智能处理引擎的工作准备数据缓冲的模块，作为发送端时，其输出端与智能分析引擎和智能处理引擎的输入端连接，作为接收端时，其输入端与智能处理 引擎输出端连接，智能分析引擎是在发送端经过前端采样数据，对数据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切相关的参数的模块，作为发送端时，其输入端连接前端和智能处理引擎的输出端，接收前端采样数据和智能处理引擎的实时信息，其输出端连接智能处理引擎的输入端，作为接收端时，其输出端连接智能处理引擎的输入端，智能处理引擎是在发送端对智能分析引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵的模块，作为发送端时，其输入端连接前端和智能分析引擎的输出端，其输出端连接后端和智能分析引擎的输入端，作为接收端时，其输入端连接后端的输出端，其输出端连接前端的输入端，所述的后端是在与下层网络进行通信时，在接收端截获下层网络传输层提交的请求，为网络加速层内部的处理引擎的工作准备数据缓冲的模块，作为发送端时，其输入端与智能处理引擎的输出端连接，作为接收端时，其输出端与智能处理引擎的输入端连接。 

所述的前端设有给网络上层提供一致的、定义完整的接口，前端在与上层网络进行通信时，在发送端截获上层网络的请求，建立两个缓冲区构成缓冲池，其中一个缓冲区用于存放应用数据，另外一个用于存放压缩后数据。 

所述的后端设有给网络下层提供一致的、定义完整的接口，后端在与下层网络进行通信时，在接收端截获下层网络提交的请求，建立两个缓冲区构成缓冲池，其中一个缓冲区用于临时存放解压前的数据，另外一个用于存放解压后的数据。 

作为发送端时，智能分析引擎给智能处理引擎提供与数据密切相关和系统密切相关的参数，包括①cpu当前利用率，②内存使用情况，③网络带宽，④来源数据类型，同时，智能处理引擎的实时系统信息如压缩所花费的时间和最终压缩率反馈给智能分析引擎；作为接收端时，智能分析引擎给处理引擎提供一些必备的系统参数。 

作为发送端时，智能处理引擎根据智能分析引擎的分析结果采用合适的压缩算法和压缩深度对数据进行高效快速的压缩，作为接收端 时，智能处理引擎采用数据指定的解压缩算法来对数据进行高效快速的解压处理。 

本发明的有益效果是可有效的利用硬软件配置资源，尽可能的利用有效带宽，提高传输数据的速度和数据量；经过处理对于原有网络结构各层上下透明，在提高效率的基础上不影响原网络结构，高效、安全、可靠；对于对网络有安全性和可靠性方面有特定要求的场合，网络加速层可以提供额外的安全机制，数据经过压缩后，使得黑客即使截获数据也不能威胁到网络安全。从系统性能这个角度来考虑，网络加速层可以做到内核级，可以针对特定的硬软件环境实施优化。 

附图说明

图1是本发明发送端网络加速层结构示意图。 

图2是本发明接收端网络加速层结构示意图。 

图3是本发明以网络加速层放置于传输层与应用层之间为例的网络应用结构原理示意图。 

具体实施方式

网络加速层可加在现有网络结构的数据链路层、网络层、传输层、应用层的不同层次之间。具体加在哪一层需要权衡性能与实现复杂度。越接近底层，可以更好的发挥硬件的性能，但却需要对各异的硬件提供支持，这提高了实现的复杂性；越往上层，更多的机器细节被下层所隐藏，这样针对具体机器环境的优化就会受到限制，性能提升的空间就十分有限，但是可以换来的是实现上的相对简单，因为无需关注更多的细节。因此，为了便于本发明进一步的描述，故将网络加速层放置于表现较好的传输层和应用层之间加以说明。 

如图1所示，在发送端中，加入网络加速层，它主要由前端、智能分析引擎、智能处理引擎和后端构成。前端是在与上层网络进行通信时，在发送端截获上层网络应用层的请求，为网络加速层内部的智能分析引擎和智能处理引擎的工作准备数据缓冲的模块，前端设有给网络上层提供一致的、定义完整的接口，这里的接口指的是接受上层协议栈的数据的一个接口，前端输出端与智能分析引擎和智能处理引 擎的输入端连接，智能分析引擎是在发送端经过前端采样数据，对数据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切相关的参数的模块，其输入端连接前端和智能处理引擎的输出端，接收前端采样数据和智能处理引擎的实时信息，其输出端连接智能处理引擎的输入端，智能分析引擎负责分析系统密切相关的参数和数据流密切相关的参数，包括：①cpu当前利用率，②内存使用情况，③网络带宽，④来源数据类型。智能分析引擎分析这些参数后，调整智能处理引擎的压缩深度和压缩算法。智能分析引擎的分析结果直接影响智能处理引擎的两个参数①压缩算法②压缩深度；智能分析引擎的工作就是根据系统状态去调整这两个参数，它的分析原理如下：1、因为压缩深度越大，压缩比越大，但是耗费cpu时间变多，消耗的内存变大，所以当cpu利用率比较低，或内存剩余较多时，可适当调大压缩深度；反之调小压缩深度；2、当网络带宽较小时，也应该调大压缩比，使得传输数据量减小，以适应小带宽的情况。3、来源数据类型，有分两种：1、普通类型；2、多媒体类型；两种类型各自有适合的压缩算法，智能分析引擎判断数据源属于何种类型，以供智能处理引擎采用不同压缩算法。智能处理引擎是在发送端对智能分析引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵的模块，其输入端连接前端和智能分析引擎的输出端，其输出端连接后端和智能分析引擎的输入端，智能处理引擎采用对x86系列cpu优化过的模块(主要是压缩模块)来对数据进行高效快速的压缩。智能处理引擎本身也具有很好的自适应性。智能处理引擎的核心任务就是要提高数据的信息熵以便传输和恢复原始数据。在智能分析引擎工作的基础上，智能处理引擎已经对要处理数据有了把握，这样可以更有效的权衡各种处理细节，已实施预期的处理。智能处理引擎涉及大量数据处理和计算，因此充分挖掘cpu的性能非常关键，智能处理引擎需要针对不同CPU做不同的优化，以期最大限度的发挥CPU的效能。网络加速层内部是自反馈的，智能处理引擎的一些重要的实时系统信息(包括压缩所花费时间和最终压缩率)会反馈给智能分析引擎，这样 智能分析引擎可以根据当前的压缩率和时间做压缩算法调整，从这一点上来讲，网络加速层是高度自适应的。所述的后端是在与下层网络进行通信时，在接收端截获下层网络传输层提交的请求，为网络加速层内部的处理引擎的工作准备数据缓冲的模块，后端设有给网络下层提供一致的、定义完整的接口，后端输入端与智能处理引擎的输出端连接。经过智能处理引擎处理的数据进入后端的缓冲池，由后端负责向传输层投送。 

如图2所示，在接收端中，加入网络加速层，它由前端、智能分析引擎、智能处理引擎和后端构成，后端输出端与智能处理引擎的输入端连接，智能分析引擎输出端连接智能处理引擎的输入端，智能处理引擎输出端与前端的输入端连接。智能分析引擎除了提供一些必备的系统参数外，参数包括cpu利用率和内存使用情况，无需更多地参与智能处理引擎的工作。而智能处理引擎的工作也相对简单，它只要专注地使经过后端处理过的数据恢复成网络层认为无误的数据形式，并完成校验的工作。 

如图3所示，在实际应用中，应以网络加速层放置在传输层与应用层之间效果最佳。将网络加速层加到传输层之上，位于操作系统核心态，对上层应用透明，这样不失网络加速层的广泛适应性和性能的弹性，又在实现上相对简洁，无需过问系统太多细节，这样可以有效保持系统的健壮性，不至于由于网络加速层的引入带来系统难以捕捉的不稳定和安全漏洞。权衡的结果是系统整体高效可靠。 

数据传输时，具体实现经过以下传输过程(以linux操作系统为例)： 

在发送端，应用程序通过socket接口向内核协议栈发送数据。此时网络加速层以网络过滤驱动程序的形式加入内核，使其介于应用层与传输层之间，但却直接运行于核心态，对应用层以及下层的传输层完全透明。当应用程序调用socket接口的时候，网络加速层知道此时应用程序有网络请求，网络加速层前端需要为这个socket数据建立缓冲区。当网络加速层前端截获socket数据时，为对应socket 数据建立两个缓冲区构成缓冲池，其中一个缓冲区用于存放应用数据，另外一个用于存放压缩后数据。缓冲池中的第一个缓冲区的数据会首先传递给智能分析引擎，由智能分析引擎进行处理。智能分析引擎分析当前的数据类型属于什么类型，选定适当的压缩算法，并根据系统状态选择压缩深度。然后把数据交给智能处理引擎处理。在发送端智能分析引擎的分析过程如下：首先从操作系统中获得cpu使用率、剩余内存量和网络带宽量，根据这些参数选择压缩的深度为几级；然后智能分析引擎随机采样前端缓冲区的数据，根据数据内容的特征判断当前缓冲区中的数据属于什么类型，根据数据类型选定压缩算法，对于普通数据选择1zo算法，对于多媒体数据类型选择mpeg压缩。算法和深度确定后，智能处理引擎开始压缩缓冲区数据。智能处理引擎采用适合的压缩算法和深度来对数据进行压缩。压缩算法可以用通用的算法，如1zo，1z77等，智能处理引擎处理后的压缩率和压缩时间也会反馈给智能分析引擎。经过处理的数据进入后端的缓冲池，由后端负责向传输层投送。 

接收端收到发送端传送的数据，经传输层至网络加速层。网络加速层后端截获传输层的上交数据，并为对应socket数据建立两个缓冲区构成缓冲池，其中一个缓冲区用于临时存放解压前的数据，另外一个用于存放解压后的数据。当第一个缓冲区中的数据满足解压要求时立即送往智能处理引擎进行处理。在这个过程中，智能分析引擎只须向智能处理引擎提供有限的几个系统参数就可以，包括cpu利用率和内存剩余容量。在接收端智能分析引擎的分析过程是：首先获得cpu使用率和内存容量，立即反馈给智能处理引擎，由智能处理引擎解压缩缓冲区中的数据，解压过程中，参考前面两个参数调整解压的速度。发送端压缩数据后把压缩算法传给接收端，接收端依发送端传过来的算法解压，智能处理引擎采用数据指定的解压缩算法来对数据进行高效快速的解压处理，解压数据放入第二个缓冲区。智能处理引擎专一的将数据恢复成应用层认为无误的数据，将数据放入前端的缓冲池。然后由前端负责向上提交数据。 

Claims (4)

1.一种可加在现有网络结构的数据链路层、网络层、传输层、应用层的任意层次之间的计算机硬盘数据网络传输加速层装置，其特征在于：它由前端、智能分析引擎、智能处理引擎和后端构成，所述的前端是在与上层网络进行通信时，在发送端截获上层网络应用层的请求，为网络加速层装置内部的智能分析引擎和智能处理引擎的工作准备数据缓冲的模块，网络传输加速层装置用在发送端时，前端的输出端与智能分析引擎和智能处理引擎的输入端连接，网络传输加速层装置用在接收端时，前端的输入端与智能处理引擎输出端连接，智能分析引擎是在发送端经过前端采样数据，对数据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切相关的参数的模块，网络传输加速层装置用在发送端时，智能分析引擎的输入端连接前端和智能处理引擎的输出端，接收前端采样数据和智能处理引擎的实时信息，智能分析引擎的输出端连接智能处理引擎的输入端，网络传输加速层装置用在接收端时，智能分析引擎的输出端连接智能处理引擎的输入端，智能处理引擎是在发送端对智能分析引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵的模块，网络传输加速层装置用在发送端时，智能处理引擎的输入端连接前端和智能分析引擎的输出端，智能处理引擎的输出端连接后端和智能分析引擎的输入端，网络传输加速层装置用在接收端时，智能处理引擎的输入端连接后端的输出端，智能处理引擎的输出端连接前端的输入端，网络传输加速层装置用在发送端时，智能处理引擎根据智能分析引擎的分析结果采用合适的压缩算法和压缩深度对数据进行高效快速的压缩，网络传输加速层装置用在接收端时，智能处理引擎采用数据指定的解压缩算法来对数据进行高效快速的解压处理，所述的后端是在与下层网络进行通信时，在接收端截获下层网络传输层提交的请求，为网络传输加速层装置内部的处理引擎的工作准备数据缓冲的模块，网络传输加速层装置用在发送端时，后端的输入端与智能处理引擎的输出端连接，网络传输加速层装置用在接收端时，后端的输出端与智能处理引擎的输入端连接。

2.如权利要求1所述的计算机硬盘数据网络传输加速层装置，其特征在于：所述的前端设有给网络上层提供一致的、定义完整的接口，前端在与上层网络进行通信时，在发送端截获上层网络的请求，建立两个缓冲区构成缓冲池，其中一个缓冲区用于存放应用数据，另外一个用于存放压缩后数据。

3.如权利要求1所述的计算机硬盘数据网络传输加速层装置，其特征在于：所述的后端设有给网络下层提供一致的、定义完整的接口，后端在与下层网络进行通信时，在接收端截获下层网络提交的请求，建立两个缓冲区构成缓冲池，其中一个缓冲区用于临时存放解压前的数据，另外一个用于存放解压后的数据。

4.如权利要求1所述的计算机硬盘数据网络传输加速层装置，其特征在于：网络传输加速层装置用在发送端时，智能分析引擎给智能处理引擎提供与数据密切相关和系统密切相关的参数，包括①cpu当前利用率，②内存使用情况，③网络带宽以及④来源数据类型，同时，智能处理引擎的实时系统信息反馈给智能分析引擎；网络传输加速层装置用在接收端时，智能分析引擎给处理引擎提供一些必备的系统参数。

Images