CN103002045A - 一种web服务系统 - Google Patents
一种web服务系统 Download PDFInfo
- Publication number
- CN103002045A CN103002045A CN2012105508139A CN201210550813A CN103002045A CN 103002045 A CN103002045 A CN 103002045A CN 2012105508139 A CN2012105508139 A CN 2012105508139A CN 201210550813 A CN201210550813 A CN 201210550813A CN 103002045 A CN103002045 A CN 103002045A
- Authority
- CN
- China
- Prior art keywords
- web service
- web
- service system
- distributed mode
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明涉及一种WEB服务系统,包括嵌入式软核处理器、Web服务处理模块、寄存器互联、存储单元以及其他相关单元,该系统还包括文件管理系统单元,所述文件管理系统单元支持三种工作模式,分别为:内部模式、伪分布式模式和分布式模式。该系统可以有效提高Web缓存的性能,从而解决网络拥塞等网络问题。
Description
技术领域
本发明涉及计算机技术,尤其涉及一种基于WEB服务系统。
背景技术
随着互联网的快速发展,网络用户和网络资源都相应增加,而网络性能却变的相对缓慢,虽然采用了各种办法,但效果并不十分明显。这是因为网络用户与互联网资源间的距离被逐步拉大,如同在两者之间产生了明显的“鸿沟”,所以,如何平衡用户需求与分散的资源之间的关系,对网络运营商提出了新的要求,也更需要底层网络技术对上层网络应用提供实时快速、高吞吐率、稳定可靠的通信支持,其中分布式文件系统和Web缓存机制就是两种解决方案中的典型代表。文件系统是操作系统的一部分,是其中最直观的一层,用户可以通过文件直接和操作系统交互,操作系统也必须为计算机提供数据和存储数据的功能。文件系统的首要作用是管理固定长度的磁盘扇区的顺序数据,并将其映射到变长的文件中。从外部来看,文件系统是一组文件和目录的操作,文件可以被读写,目录可以被创建和删除。而从内部来看,文件系统却迥然不同,文件系统的设计者必须考虑到存储区如何分配以及系统如何记录文件,使用了哪些块,同时文件系统的可靠性和性能也是一个重要问题。文件系统是操作系统的核心,不同的操作系统其文件系统也不尽相同,这主要体现在文件存储空间的动态分配机制上,各个文件系统各有自己的特点。网络用户和网络流量的快速增长及网络固有的物理特性,导致了网络延迟和拥塞现象的发生。Web缓存是一个提高Web性能的非常有效的方法。Web缓存的主要研究方向是提高Web缓存的性能,从而解决网络拥塞等网络问题。
发明内容
为了克服上述背景技术中的不足之处,本发明提出一种WEB服务系统,包括嵌入式软核处理器、Web服务处理模块WPM、寄存器互联、存储单元以及其他相关单元,其特征在于还包括文件管理系统单元,所述文件管理系统单元支持三种工作模式,分别为:内部模式、伪分布式模式和分布式模式,其中,
所述内部模式和所述伪分布式模式运行在同片FPGA芯片上,所述分布式模式可以运行在两片甚至多片FPGA中,并可进行控制信息的交互与实体数据的传输,当系统工作在内部模式时,网页数据和元数据存储在DDR RAM中;当系统工作在伪分布式模式时,网页数据可以被搬移到块状存储器中;当系统工作在分布式模式时,网页数据和元数据随机分布在平台上的DDR RAM和块状存储器中,并且每个WPM均可通过所述文件管理系统单元对其他WPM所属的DDR和块BRAM进行访问,以获得所需要的网页数据切片。
该系统可以有效提高Web缓存的性能,从而解决目前普遍存在的网络拥塞等网络问题。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的WEB服务系统以面向应用为核心出发点,无缝加入文件管理系统单元(FMSU,File Management System Unit),其主要负责获取WPM的访问请求,并根据地址链接向其提供所需网页数据,同时对网页资源进行统一调度和资源管理。基于软硬件协同设计的FMSU主要分为专用嵌入式文件管理系统(ASEFS:Application Specific Embedded File System)、硬件传输单元(Hardware TransferUnit)及相关软硬件接口。其中软件部分主要运行在TCP/IP的应用层,硬件部分主要运行在物理层,二者通过软硬件接口进行连接和协同工作。
基于FPGA的面向应用的Web服务系统的体系结构由六个基本模块组成:嵌入式软核处理器、Web服务处理模块WPM、文件管理系统单元FMSU、寄存器互联Register Bank、存储单元以及其他相关单元。
嵌入式软核处理器是一款嵌入式处理器软核,采用32位RISC(Reduced Instruction Set Computer)优化结构,用以开发Xilinx的FPGA上的嵌入式工程。它符合IBM CoreConnect标准,能够与PPC405系统无缝连接。在FPGA内部可以集成多个MicroBlaze处理器,这极大增加了FPGA开发的灵活性。它是一个非常简化,却具有较高性能的软核,在Spartan3(-E)系列FPGA中,它只占用400个slice资源,相当于10万门FPGA容量的三分之一。
Web服务处理模块(WPM)是由verilog HDL硬件描述语言编写的硬件模块,它以流水化的方式实现了协议栈中的MAC层协议、TCP/IP协议、HTTP协议和链接管理。并且在数据传递方式上采用零拷贝(zero copy)技术,减少了数据处理时间,节省了内存带宽使用。通过将TCP/IP协议和HTTP协议在硬件上实现,WPM解析出用户的URL请求并发送至FMSU,然后等待传回所需的Web内容,并对其封装和发送。FMSU主要由专用嵌入式文件管理系统(ASEFS)、硬件传输单元及相关接口构成,它通过硬件处理的方式将数据块进行跨存储器的搬移,并在软件中进行对数据块的管理和操作,以达到减少等待时间,提高访问速度的目的。
FMSU将网页数据分割成若干slices,这些slices包含真正的网页内容,且slices的大小和数目都可以预先设定。其中软件部分运行在TCP/IP的应用层,硬件部分运行在物理层,二者通过软硬件接口进行连接,且都可访问存储单元。硬件部分主要响应用户请求、解析URL、对网页数据进行存储、搬移和封装。软件部分的主要作用是对整个系统进行初始化、响应WPM的网页文件读取请求,包括向FPGA下载网页数据、在DDR内初始化Web服务相关的数据结构、向硬件模块传递初始化参数等。
寄存器互联是连接硬件与软件的桥梁。寄存器堆内共有两类32位的寄存器,一类叫做配置寄存器,另一类叫做统计寄存器。配置寄存器只能由软件写入,硬件可读;统计寄存器只能由硬件写入,软件可读。在现有系统中,共设置了5个寄存器,主要完成数据搬移开始触发、数据搬移起始地址、数据搬移终止地址、搬移长度、搬移结束,其中前四个为配置寄存器,第五个为统计寄存器。现有的设计平台主要支持BRAM和DDR两种存储类型,在之后的研究中,以无缝延伸到SATA硬盘和SSD硬盘,以适应大容量的数据存储与读取。Block RAM(BRAM)是Xilinx提供的可配置存储模块,每个BRAM都是双端口的,两个端口可以同时对BRAM里面的数据进行读写,而且两个端口可以工作在不同的时钟频率下。两个口都可以在任意时间访问任何的地址,当两个端口同时读一处空间是允许的,对于同时读写一处地址空间是有限制的。在XilinxXC5VLX155T FPGA中,具有424个18Kb BRAM,最大支持7632Kb的数据空间。
为了更好的对WPM提供支持和提高Web系统的性能,FMSU支持三种工作模式,分别为:内部模式、伪分布式模式和分布式模式。这三种模式间存在逐步演化递进的关系,内部模式和伪分布式模式-分布式模式运行在同片FPGA芯片上,分布式模式可以运行在两片甚至多片FPGA中,并可进行控制信息的交互与实体数据的传输。当系统工作在内部模式时,网页数据(web data)和元数据(metadata)存储在DDR RAM中;当系统工作在伪分布式模式伪分布式模式时,网页数据可以被搬移到Block RAM中;当系统工作在分布式模式时,网页数据和元数据随机分布在平台上的DDR RAM和Block RAM中,并且每个WPM均可通过FMSU对其他WPM所属的DDR和BRAM进行访问,以获得所需要的网页数据slices。
需要说明的是,以上实施例仅是对本发明技术方案的示例性描述,而并不是对本发明的限制;尽管参照上面的实施例对本发明进行了详细的说明,但是,本领域的普通技术人员应当可以完全理解的是,在不脱离由本发明的权利要求书限定的保护范围已经精神的前提下,可以对上述实施例所记载的技术方案进行修改或者对其中部分技术特征进行等同替换,这些都应该属于本发明的保护范围。
Claims (6)
1.一种WEB服务系统,包括嵌入式软核处理器、Web服务处理模块、寄存器互联、存储单元以及其他相关单元,其特征在于,还包括文件管理系统单元,所述文件管理系统单元支持三种工作模式,分别为:内部模式、伪分布式模式和分布式模式。
2.根据权利要求1所述的WEB服务系统,其中所述内部模式和所述伪分布式模式运行在同片FPGA芯片上。
3.根据权利要求1或2所述的WEB服务系统,所述分布式模式可以运行在两片甚至多片FPGA中,并可进行控制信息的交互与实体数据的传输。
4.根据权利要求3所述的WEB服务系统,其中当系统工作在内部模式时,网页数据和元数据存储在DDR RAM中。
5.根据权利要求3所述的WEB服务系统,其中当系统工作在伪分布式模式时,网页数据可以被搬移到块状存储器中。
6.根据权利要求3所述的WEB服务系统,其中当系统工作在分布式模式时,网页数据和元数据随机分布在平台上的DDR RAM和块状存储器中,并且每个Web服务处理模块均可通过所述文件管理系统单元对其他Web服务处理模块所属的DDR和块BRAM进行访问,以获得所需要的网页数据切片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105508139A CN103002045A (zh) | 2012-12-18 | 2012-12-18 | 一种web服务系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105508139A CN103002045A (zh) | 2012-12-18 | 2012-12-18 | 一种web服务系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103002045A true CN103002045A (zh) | 2013-03-27 |
Family
ID=47930178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012105508139A Pending CN103002045A (zh) | 2012-12-18 | 2012-12-18 | 一种web服务系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103002045A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1547714A (zh) * | 2001-08-03 | 2004-11-17 | 易斯龙系统公司 | 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 |
CN1921577A (zh) * | 2006-07-21 | 2007-02-28 | 南京航空航天大学 | 基于嵌入式ip存储技术的高性能分布式并行vod系统 |
US20070250552A1 (en) * | 2005-04-25 | 2007-10-25 | Lango Jason A | System and method for caching network file systems |
CN101582089A (zh) * | 2009-07-02 | 2009-11-18 | 北京讯风光通信技术开发有限责任公司 | 一种嵌入式设备的文件管理方法及系统 |
CN102790784A (zh) * | 2011-05-18 | 2012-11-21 | 阿里巴巴集团控股有限公司 | 分布式缓存方法及系统、缓存解析方法及解析系统 |
-
2012
- 2012-12-18 CN CN2012105508139A patent/CN103002045A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1547714A (zh) * | 2001-08-03 | 2004-11-17 | 易斯龙系统公司 | 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 |
US20070250552A1 (en) * | 2005-04-25 | 2007-10-25 | Lango Jason A | System and method for caching network file systems |
CN1921577A (zh) * | 2006-07-21 | 2007-02-28 | 南京航空航天大学 | 基于嵌入式ip存储技术的高性能分布式并行vod系统 |
CN101582089A (zh) * | 2009-07-02 | 2009-11-18 | 北京讯风光通信技术开发有限责任公司 | 一种嵌入式设备的文件管理方法及系统 |
CN102790784A (zh) * | 2011-05-18 | 2012-11-21 | 阿里巴巴集团控股有限公司 | 分布式缓存方法及系统、缓存解析方法及解析系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102518095B1 (ko) | 스토리지 장치 및 시스템 | |
US9792227B2 (en) | Heterogeneous unified memory | |
US20150127691A1 (en) | Efficient implementations for mapreduce systems | |
KR101791901B1 (ko) | 빅데이터의 효율적인 저장·실시간 분석형 스마트 스토리지 플랫폼장치 및 방법 | |
US8943294B2 (en) | Software architecture for service of collective memory and method for providing service of collective memory using the same | |
CN104580437A (zh) | 一种云存储客户端及其高效数据访问方法 | |
US11275721B2 (en) | Adaptive table placement in NUMA architectures | |
WO2015142341A1 (en) | Dynamic memory expansion by data compression | |
US9612975B2 (en) | Page cache device and method for efficient mapping | |
CN103678172A (zh) | 一种本地数据缓存管理方法及装置 | |
CN102523285A (zh) | 一种基于对象分布式文件系统的存储缓存方法 | |
US11093410B2 (en) | Cache management method, storage system and computer program product | |
Wasi-ur-Rahman et al. | A comprehensive study of MapReduce over lustre for intermediate data placement and shuffle strategies on HPC clusters | |
CN105589664A (zh) | 虚拟存储高速传输方法 | |
Xu et al. | Rethink the storage of virtual machine images in clouds | |
CN103605630A (zh) | 一种虚拟服务器系统及其数据读写方法 | |
Liang et al. | Ins-dla: An in-ssd deep learning accelerator for near-data processing | |
Islam et al. | Efficient data access strategies for Hadoop and Spark on HPC cluster with heterogeneous storage | |
Sim et al. | Computational CXL-Memory Solution for Accelerating Memory-Intensive Applications | |
CN102541924A (zh) | 一种检索信息的缓存方法和搜索引擎系统 | |
Kim et al. | Improving small file I/O performance for massive digital archives | |
CN101382955B (zh) | 一种机群文件系统中文件读取的方法及系统 | |
CN101377788A (zh) | 一种机群文件系统中缓存管理的方法及系统 | |
US11221770B2 (en) | Providing a dynamic random-access memory cache as second type memory | |
CN116074179B (zh) | 基于cpu-npu协同的高扩展节点系统及训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130327 |