CN102185896A - 面向云服务的远端文件请求感知装置及方法 - Google Patents

Abstract

本发明涉及一种面向云服务的远端文件请求感知装置及方法，当待查询数据在本地磁盘阵列上时，本地磁盘阵列直接将查询的数据推送给待查询数据的主机；当待查询数据不在磁盘阵列上时，数据管理部件首先将查询请求提交给请求感知装置，然后由请求感知装置生成新的远端请求HTTP进行远端查询，邻居或远端数据中心在收到请求后，将待查询数据返回给本地请求感知装置，再由本地请求感知装置将查询的数据一方面直接推送给待查询数据原始目的主机，一方面将此数据经本地数据管理部件更新本地磁盘阵列，不仅能够及时给待查询数据主机提供数据，而且可以及时更新本地磁盘阵列中的数据，进而在加快响应HTTP请求的同时，也节省有限的带宽资源。

Description

面向云服务的远端文件请求感知装置及方法

技术领域

本发明属于Web服务器技术领域，涉及一种面向云服务的远端文件请求感知装置及方法，以实现当待查询数据不在本地磁盘阵列时，能及时提供数据和更新本地磁盘阵列，从而达到快速响应HTTP请求和节省有限带宽资源。

背景技术

云计算是一种新提出的计算模式。是分布式计算、并行计算和网格计算的发展。云计算一词用来同时描述一个系统平台或者一种类型的应用程序。目前，“云计算”还没有一个十分确切和统一的定义，较一致的观点认为云计算(或称云端运算)是在极大规模上将可扩展的信息技术能力向外部客户作为服务来提供的一种网络应用模式；是一种动态的、易扩展的且通常是通过高速互联网提供虚拟化的资源计算方式。它强调了处理无所不在的分布性和社会性，这种新兴的计算模型将任务分布在大量计算机(或具有计算能力的设备)构成的可自我维护和管理的虚拟计算资源池上，使各种应用系统根据需要获取计算能力、存储空间和软硬件服务。云计算将网络上的计算资源(包括计算服务器、存储服务器、宽带资源等)集中起来并由软件实现自动管理，无需人为参与。“云”端可在数秒内处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的计算效能。

云计算既描述了一种新兴的共享基础架构的方法，又描述了建立在这种基础设施之上的应用和扩展服务。“云”是一个由并行的网格所组成的巨大的服务网络，它通过虚拟化技术来扩展云端的计算能力，以使得各个设备发挥最大的效能。数据的处理及存储均通过“云”端的服务器集群来完成，这些集群由大量普通的工业标准服务器组成，并由一个大型的数据处理中心负责管理，数据中心按客户的需要分配计算资源，达到与超级计算机同等的效果。

连接在互联网上的计算设备、存储设备能力有了大幅提升，数据资源呈指数级增长，互联网上的各种服务资源日益丰富，互联网的经典使用环境万维网（Web）已不再是单纯的内容平台，而是朝着提供更强大、丰富的用户交互和体验能力方向发展。互联网（包括正在兴起的移动互联网）和Web已成为构造、运维、使用各类分布式应用系统不可或缺的基础环境，正在演化为迄今人类最大的计算平台。通常情况下，基础架构云可称为基础架构即服务(IaaS)。使用IaaS，各企业可通过Web将更多的基础架构容量作为服务提供。通过Web分配更多的存储或处理容量当然要比供应商在基础环境中引入和安装新硬件要快得多。基础架构云是IT运营的域，在大多数企业中，用户甚至不了解其IT部门是否使用云服务。

Web服务就是一个在网络上，通常是在因特网上运行的应用。典型的说法是，一个Web服务就是一个能够通过因特网访问的API，比如浏览器。用户所请求的服务运行在远端系统上，用户不需要管理或控制底层云计算的基础设施、网络、服务器、操作系统、存储，甚至单个应用程序的功能，而后者充当服务的宿主。这种类型的Web API 使得用户能够利用因特网上共享的功能, 而不是提供自己的完整的应用程序。本发明提出的面向云服务的远端文件请求及感知装置和方法，可以加快HTTP响应请求，节省有限的带宽资源，完成多服务器数据共享，降低数据中心吞吐压力。

在国内发明专利中，目前没有直接面向云服务的远端文件请求及感知方法的专利。相关的专利涉及到的仅仅是普通Web服务器的远端应用的访问和传输。

申请号为03149804.3的专利申请，名称为一种实现门户网站和服务器提供端（SP）之间数据通讯的方法。本发明涉及一种实现门户网站和服务提供端之间数据通讯的方法，该方法通过因特网实现电信运营商的门户网站（Portal）和服务提供商之间实时的数据交互通讯，该方法以超文本传输协议（HTTP）结合扩展标记语言（XML）的形式实现信令交互，或者是以叠加了加密安全套接层（SSL）的超文本传输协议（HTTPS）结合XML的形式实现信令交互，该发明的服务器完全由软件完成，在嵌入式处理器单元上执行，性能低于高性能处理器的软件实现，更远低于本专利提出的专用硬件实现。

申请号为20061037183.7的专利申请，名称为访问远程应用的方法和基础设施。该发明是一种用于由系统B访问运行在系统A上的远程应用的方法和基础设施，其中，系统A和系统B连接到开放网络，且其中，系统A和系统B各自位于防火墙后。所述方法包括以下步骤：系统A经由开放网络向系统B发送第一HTTP请求；阻塞来自系统A的所述第一HTTP请求，直到在系统B上应用请求可用于向系统A传送；系统B经由开放网络向系统A发送HTTP响应，所述HTTP响应包含所述应用请求；系统A处理来自系统B的所述应用请求以生成应用响应；系统A经由开放网络向系统B发送第二HTTP请求，所述第二HTTP请求包含所述应用响应；阻塞来自系统A的所述第二HTTP请求，直到在系统B上另一应用请求可用于向系统A发送。该专利涉及连接在开放网络上的两个系统之间远程应用的访问，不涉及本专利提出的远端文件请求和感知，以及收到正确数据后的更新本地磁盘阵列过程。

申请号为200810085423.2的专利申请，名称为对使用远程文件系统访问协议的数据进行内容过滤的方法与系统。该发明涉及一种对使用远程文件系统访问协议的数据进行内容过滤的方法与系统。根据该发明的一种实施例，运行于一个网关且逻辑上置于用户端与服务器之间的代理截取远程文件系统访问协议请求/回应。作为接收到用户端发出的远程文件系统访问协议请求的响应，网络网关以用户端的名义向服务器发布远程文件系统访问协议请求。网络网关设备将与服务器一共享资源有关的读取自/写入到一文件的数据缓冲入一保护缓冲区。然后，作为对预先设定与远程文件系统访问协议或该保持缓冲区有关的事件的响应，通过在该保持缓冲区内执行内容过滤操作判断该保持缓冲区中是否存在恶意代码、危险或未授权的内容。该专利涉及访问远程文件时对内容进行过滤的方法，和本专利提出的远端文件感知方法在工作原理上是不同的，在智能性和有效性上和本专利还是有差距的。

除了上述专利外，还有一些商用的远端文件传输方法和装置，和本专利相比，在体系架构上有本质区别，多数商用产品都是采用软件实现，而本专利所采用的体系架构由多个专用引擎构成，各引擎功能采用硬件直接完成。本专利在接收到来自邻居或远端数据中心的数据后，有一个匹配感知并且更新本地磁盘阵列的过程，减少了服务器之间数据的传输，一定程度上降低了系统的能耗。

发明内容

本发明的目的在于克服现有技术中存在的不足而提出的，是基于一种Web接入云体系结构的基础上以实现当待查询数据不在本地磁盘阵列时，能及时提供数据和更新本地磁盘阵列，从而达到快速响应HTTP请求和节省有限带宽资源的面向云服务的远端文件请求感知装置及方法。

本发明的目的是这样实现的：

一种面向云服务的远端文件请求感知装置，包括完成数据的感知和更新功能的RFOE模块，其特征在于：RFOE模块包括HTTP请求部件、缓存部件、比较匹配部件、HTTP解析部件，HTTP解析部件通过缓存部件与比较匹配部件相连接，RFOE模块接收输入数据并根据输入信息封装成新的HTTP请求，发送给邻居或远端数据中心，邻居或远端数据中心将待查询数据返回到RFOE模块时，RFOE模块能感知接收到的数据和待查询数据的匹配关系，当接收到的数据和待查询数据匹配不正确的话，RFOE模块不会把接收到的数据丢弃，它会把数据输出到上一级的缓存模块，RFOE模块用来更新本地磁盘阵列，当接收到的数据和待查询数据匹配正确的话，RFOE模块会将此数据直接推送给待查询数据原始目的主机，然后将此数据经本地数据管理部件更新本地磁盘阵列，便于下次数据的获取。

一种面向云服务的远端文件请求感知方法，其特征在于：按如下步骤进行：

1）、RFOE模块在收到来自前端URL（Uniform Resource Locator）解析获得的目的地址、对象URL和待查询数据的信息后，一方面配合原有的目的主机地址信息重新封装，生成新的HTTP请求传送给邻居或远端数据中心；另一方面把待查询的数据信息缓存起来，作为和接收到的远端数据进行匹配的依据；

2）、邻居或远端数据中心在收到HTTP请求后，对其进行解析处理，将待查询数据返回到RFOE模块，RFOE模块在接收到来自邻居或远端数据中心的HTTP响应后，经过RFOE模块中的HTTP解析，然后对得到的数据进行缓存，把缓存的数据和待查询的数据信息进行匹配；

3）、对于匹配不正确的信息，RFOE模块不会把匹配不正确的信息丢弃，它会把数据输出到上一级的缓存模块，用来更新本地磁盘阵列；

4）、如果匹配正确的话，RFOE模块把待查询数据一方面将此数据直接推送给待查询数据原始目的主机，另一方面将此数据经本地数据管理部件更新本地磁盘阵列；

5）、在RFOE模块中，设置一个失效时间t，用失效时间t来感知数据的到达，当远端数据在t内到达时，RFOE模块按照上述1、2、3流程处理，当远端数据在失效t内仍没有到达的话，那么RFOE模块发送一个失效信号作为输出，通知未能在失效时间t内接收到待查询数据。

本发明具有如下积极效果：

1、本发明公开一种面向云服务的远端文件请求及感知的装置与方法，这种装置命名为RFOE，具体英文名称为Remote Filesystem Offload Engine。发明的提出是基于一种Web接入云体系结构的基础上，该体系架构由多个专用引擎构成，各引擎功能采用硬件直接完成，统一挂载到系统CPU处理器总线上，接受CPU的统一控制与管理。引擎之间通过事件驱动，在同一个引擎里，如果同时有多个请求，则采用轮询的方式处理。互联的复杂性，取决于事件的复杂程度。为了使两个引擎之间传递的消息足够简单，引擎之间的消息可以是类似于中断信号，这样具有更好的扩展性，否则要定义消息格式，并通过相对较为复杂的总线传输。为了简单起见，也可以通过写I/O寄存器，说明执行的任务，然后通过中断触发。

2、作为一种资源的组织和表达机制，Web已成为Internet最主要的信息传送媒介。因此Web的性能已经成为判断一个网站成功与否的一个重要评估标准。而Web服务器则是决定Web性能的重要环节。暂不考虑Web服务器的硬件实现，从提供云服务的整体出发，给出云里面基于HTTP的Web服务的一个关键部分的解决方案，主要是前端和后端，以及两端之间的协调策略。从本质上而言，就是一个内容分发网络，能够将内容从源服务请求侧分布到各接入点。完成多服务器数据共享，降低数据中心吞吐压力。假定前端掌握了已知对象的分布信息，前端知道从何处取数据。前端查找对象位置信息，然后通过HTTP协议从目的机器（包括前端和后端）取。

3、在该机制中，只有当待查询数据不在本地磁盘阵列时，数据管理部件会发出查询请求，RFOE在接收到来自前端的查询请求后，生产新的远端HTTP请求进行远端查询，邻居或远端数据中心在收到来自RFOE的远端HTTP请求后，将待查询数据返回给本地RFOE，RFOE在感知到待查询数据已接收后，一方面将此数据直接推送给待查询数据原始目的主机，另一方面将此数据经本地数据管理部件更新本地磁盘阵列。

4、在整个远端文件的请求和感知过程中，RFOE起到了一个很好的桥梁作用。前端向RFOE发送的数据中含有目的地址、对象的URL和待查询数据的信息，例如类型，长度等，RFOE在接收到输入数据以后，可以根据输入信息立刻封装成新的HTTP请求，发送给邻居或远端数据中心；当邻居和远端数据中心将待查询数据返回到本地RFOE时，RFOE能感知接收到的数据和待查询数据的匹配关系，当接收到的数据和待查询数据匹配不正确的话，RFOE模块不会把匹配不正确的信息丢弃，它会把数据输出到上一级的缓存模块，用来更新本地磁盘阵列；当接收到的数据和待查询数据匹配正确的话，RFOE会将此数据直接推送给待查询数据原始目的主机，然后将此数据经本地数据管理部件更新本地磁盘阵列，便于下次数据的获取。由于本地磁盘阵列得到了及时的更新，这种机制降低了数据在服务器之间的传输，实际上降低了系统的能耗和对其它资源的消耗，进一步完成了多服务器数据共享，降低了数据中心的吞吐压力。

5、在RFOE模块的输入端，将目的主机和对象的URL以本服务器为源地址重新进行封装，生产新的HTTP请求发送出去。在RFOE的输出端，当它接收到来自邻居或远端数据中心的HTTP响应数据时，先对响应进行HTTP解析，抽取其中的请求数据对象和对应的URL、目的地址等信息，接着把接收到的信息和输入的待查询数据的信息进行匹配，当接收到的信息即为待查询数据时，将其作为热数据输出；当接收到的数据不是待查询数据时，将其输出给上一级缓存模块。

附图说明

图1为本发明的处理流程图。

图2为本发明的装置的内部结构图。

具体实施方式

本发明公开一种面向云服务的远端文件请求及感知的装置与方法, 装置为RFOE（Remote Filesystem Offload Engine, RFOE）。发明的提出是基于一种Web接入云体系结构的基础上，该体系架构由多个专用引擎构成，各引擎功能采用硬件直接完成，统一挂载到系统CPU处理器总线上，接受CPU的统一控制与管理。引擎之间通过事件驱动，在同一个引擎里，如果同时有多个请求，则采用轮询的方式处理。互联的复杂性，取决于事件的复杂程度。为了使两个引擎之间传递的消息足够简单，引擎之间的消息可以是类似于中断信号，这样具有更好的扩展性，否则要定义消息格式，并通过相对较为复杂的总线传输。为了简单起见，也可以通过写I/O寄存器，说明执行的任务，然后通过中断触发。

从Web接入云体系结构来看，它是一个计算与通信分离；从通信层面看，数据和控制分离，在通信层面采用了9个专用部件进行数据面处理；从数据处理层面看，对数据进行双向流水化可选硬化处理，依据具体的系统功能和性能的需求进行灵活选择。能大大提高现有Web服务器的处理效率和安全性，同时降低功耗。RFOE模块主要完成远程数据传送和共享，降低了数据在服务器之间的传输，从而也降低了系统的能耗和其它资源的消耗，达到高速传输，降低数据中心吞吐压力的目的。

一种面向云服务的远端文件请求感知装置，包括完成数据的感知和更新功能的RFOE模块，其特征在于：RFOE模块包括HTTP请求部件、通过缓存部件与HTTP请求部件相连接的比较匹配部件、与HTTP请求部件相连接的邻居或远端数据中心、与邻居或远端数据中心相连接的HTTP解析部件，HTTP解析部件通过缓存部件与比较匹配部件相连接，RFOE接收输入数据并根据输入信息封装成新的HTTP请求，发送给邻居或远端数据中心，邻居或远端数据中心将待查询数据返回到本地RFOE时，RFOE能感知接收到的数据和待查询数据的匹配关系，当接收到的数据和待查询数据匹配不正确的话，RFOE模块不会把匹配不正确的信息丢弃，它会把数据输出到上一级的缓存模块，用来更新本地磁盘阵列，当接收到的数据和待查询数据匹配正确的话，RFOE会将此数据直接推送给待查询数据原始目的主机，然后将此数据经本地数据管理部件更新本地磁盘阵列，便于下次数据的获取。

图1和图2分别为本发明的处理流程和内部处理过程，下面结合图1和图2，描述本发明在接收到来自前端的查询请求后，完成的步骤如下：

1) RFOE模块在收到来自前端URL（Uniform Resource Locator）解析获得的目的地址、对象URL和待查询数据的信息后，一方面配合原有的目的主机地址信息重新封装，生成新的HTTP请求传送给邻居或远端数据中心；另一方面把待查询的数据信息缓存起来，作为和接收到的远端数据进行匹配的依据。

2) 邻居或远端数据中心在收到HTTP请求后，对其进行解析处理，将待查询数据返回到RFOE，RFOE在接收到来自邻居或远端数据中心的HTTP响应后，经过RFOE模块中的HTTP解析，然后对得到的数据进行缓存，把缓存的数据和待查询的数据信息进行匹配。

3）对于匹配不正确的信息，RFOE模块不会把匹配不正确的信息丢弃，它会把数据输出到上一级的缓存模块，用来更新本地磁盘阵列；

4）如果匹配正确的话，RFOE把待查询数据一方面将此数据直接推送给待查询数据原始目的主机，另一方面将此数据经本地数据管理部件更新本地磁盘阵列。

5）在RFOE模块中，设置一个失效时间t，用失效时间t来感知数据的到达，当远端数据在t内到达时，RFOE模块按照上述1、2、3流程处理，当远端数据在失效t内仍没有到达的话，那么RFOE发送一个失效信号作为输出，通知未能在失效时间t内接收到待查询数据。

本发明当待查询数据在本地磁盘阵列上时，本地磁盘阵列直接将查询的数据推送给待查询数据的主机；当待查询数据不在磁盘阵列上时，数据管理部件首先将查询请求提交给RFOE，然后由RFOE生成新的远端请求HTTP进行远端查询，邻居或远端数据中心在收到请求后，将待查询数据返回给本地RFOE，再由本地RFOE将查询的数据一方面直接推送给待查询数据原始目的主机，一方面将此数据经本地数据管理部件更新本地磁盘阵列，不仅能够及时给待查询数据主机提供数据，而且可以及时更新本地磁盘阵列中的数据，进而在加快响应HTTP请求的同时，也节省有限的带宽资源。

URL是指Uniform Resource Locator。

Claims (2)

1.一种面向云服务的远端文件请求感知装置，包括完成数据的感知和更新功能的RFOE模块，其特征在于：RFOE模块包括HTTP请求部件、缓存部件、比较匹配部件、HTTP解析部件，HTTP解析部件通过缓存部件与比较匹配部件相连接，RFOE模块接收输入数据并根据输入信息封装成新的HTTP请求，发送给邻居或远端数据中心，邻居或远端数据中心将待查询数据返回到RFOE模块时，RFOE模块能感知接收到的数据和待查询数据的匹配关系，当接收到的数据和待查询数据匹配不正确的话，RFOE模块不会把接收到的数据丢弃，它会把数据输出到上一级的缓存模块，RFOE模块用来更新本地磁盘阵列，当接收到的数据和待查询数据匹配正确的话，RFOE模块会将此数据直接推送给待查询数据原始目的主机，然后将此数据经本地数据管理部件更新本地磁盘阵列，便于下次数据的获取。

2.一种面向云服务的远端文件请求感知方法，其特征在于：按如下步骤进行： 

1）、RFOE模块在收到来自前端URL解析获得的目的地址、对象URL和待查询数据的信息后，一方面配合原有的目的主机地址信息重新封装，生成新的HTTP请求传送给邻居或远端数据中心；另一方面把待查询的数据信息缓存起来，作为和接收到的远端数据进行匹配的依据；

2）、邻居或远端数据中心在收到HTTP请求后，对其进行解析处理，将待查询数据返回到RFOE模块，RFOE模块在接收到来自邻居或远端数据中心的HTTP响应后，经过RFOE模块中的HTTP解析，然后对得到的数据进行缓存，把缓存的数据和待查询的数据信息进行匹配；

3）、对于匹配不正确的信息，RFOE模块不会把匹配不正确的信息丢弃，它会把数据输出到上一级的缓存模块，用来更新本地磁盘阵列；

4）、如果匹配正确的话，RFOE模块把待查询数据一方面将此数据直接推送给待查询数据原始目的主机，另一方面将此数据经本地数据管理部件更新本地磁盘阵列；

5）、在RFOE模块中，设置一个失效时间t，用失效时间t来感知数据的到达，当远端数据在t内到达时，RFOE模块按照上述1、2、3流程处理，当远端数据在失效t内仍没有到达的话，那么RFOE模块发送一个失效信号作为输出，通知未能在失效时间t内接收到待查询数据。

Images