CN104780228A - 提升网络内容服务器效率的方法 - Google Patents

Abstract

提升网络内容服务器效率的方法涉及信息技术领域，尤其是网络在线内容服务领域，特别涉及一种通过分布式文件系统提升内容更新和检索效率的方法。实现本发明所必须的组成模块包括：客户端，调度模块，存储池；其中客户端是指发起服务请求，连接调度模块，存储池，进行数据更新或者访问的客户端系统；其中调度模块是独立运行的一个io监控分发模块；其中存储池存放实际数据；本发明主要解决了提供大容量数据检索和更新的场景提高服务器效率的需求，具有成本低、架构简单、性能好、容量扩展和回收高度自动化、维护简单等特点。

Description

提升网络内容服务器效率的方法

技术领域

本发明涉及信息技术领域，尤其是网络在线内容服务领域，特别涉及一种通过分布式文件系统提升内容更新和检索效率的方法。

背景技术

目前，市场上有很多提供网络在线内容服务的服务商，主要面向一些在线视频、在线相册、云空间等服务领域。代表性的服务商有：腾讯视频、搜狐视频、百度图片、网易相册、美拍、百度云等。这类领域服务有如下的技术特点：

       1，客户端并发的数据更新和数据检索请求数量巨大，io吞吐量很高；

       2，客户端对数据检索和更新的速度要求很高，无法忍受长时间的等待；

       3，数据量增长很快，服务商必须能够提供动态、快速、透明的容量扩充能力。

 针对网络在线内容服务领域的这些特点，目前常用的一些针对性的技术方法有：

       1，采用大数据Hadoop HDFS架构存储处理客户数据，目前Hadoop架构对于大规模随机数据查询有很好的性能表现，但是对于大量数据更新请求并不具备任何优势。并发大规模数据更新性能会很差；

       2，采购更高性能的存储系统，通过硬件系统的io指标的提升来满足需求。这种方式成本很高，资产购置后配置灵活性较差；

       3，定期进行热点数据的分析、整理、迁移，以期获得更高的性能。这种技术特点是在短期内有效，但是定期需要人工介入分析处理，自动化程度不高，费时费力。

发明内容

针对上述现有技术中的缺陷，本发明提供了一种提升网络内容服务器效率的方法，本发明通过分布式文件系统提升内容更新和检索效率的方法，针对性解决现有技术方法中存在的高成本、自动化程度低、低效率、架构僵化不灵活、数据更新性能差等问题。

提升网络内容服务器效率的方法，其基础是通过分布式文件系统提升内容更新和检索效率，实现本发明所必须的组成模块包括：客户端，调度模块，存储池；其中客户端是指发起服务请求，连接调度模块，存储池，进行数据更新或者访问的客户端系统；其中调度模块是独立运行的一个io监控分发模块；其中存储池存放实际数据；

1）客户端

其中客户端是安装了对应的客户端软件的终端，该软件适应基于windows、linux、移动app应用等不同平台；

2）调度模块的主要功能和功能实现步骤

       1，客户端IO请求的地址返回，客户端向调度模块发起数据读或者写的请求，调度模块根据性能算法自动判断读或者写的最佳存储池内部地址，并且将这个地址返回给客户端，客户端根据这个地址直接访问对应的存储池，完成数据读或者写的操作；

       2，维护多份存储池数据的meta data信息。meta data信息也就是存储池文件的属性信息，包括文件名、文件大小、文件位置等；一份文件会根据访问的频繁程度维护多份的副本，以提高客户端并发访问的速度；

       3，维护多份存储池中访问最频繁卷、最频繁文件、最不频繁卷、最不频繁文件的列表，在客户端IO请求的时候，调动模块会根据这个列表，依据性能算法判断读或者写的信息，从而判断读写的最佳存储池内部地址，并且将这个地址返回给客户端；

       4，在客户有设定存储备用池的前提下，自动根据容量和性能情况，自动将备用池纳入到生产池激活使用，达到容量扩充的目的，并且也能提高性能，这个过程是完全自动、透明和在线的；

       5，在空间需求和访问量下降的情况下，控制模块会自动根据情况迁移数据，回收部分的存储池，转成备用存储池；

3）存储池

       存储池存放实际数据，存储池又分成若干子存储池，每个子存储池内部有若干个存储卷，每个子存储池内部的存储卷数量至少是2个，每个卷上面的数据完全一样，实现数据冗余；多个子存储池存放不同的数据，实现负载均衡的目的。

有益效果

       本发明主要解决的应用场景是：主要提供大容量数据检索和更新的场景，比如：在线视频、在线相册、云空间等服务领域。与现有技术比较，本发明具有成本低、架构简单、性能好、容量扩展和回收高度自动化、维护简单等特点。

附图说明

图1是本发明的基础架构图；

图例

A客户端；     B调度模块；     C存储池；     1存储子池；     2备用子池；

3子卷 。

具体实施方式

参看图1，实现本发明的提升网络内容服务器效率的方法的具体实施例如下：

       系统配置了一个大的存储池C存放数据，这个存储池C由n个的存储子池1和n个的备用子池2组成，一个文件可以放在一个存储子池1或者同时放在多个存储子池1中。每个存储子池1由n(n≧2)个子卷3组成，单个存储子池1中每个子卷3上的数据是完全一致的，构成冗余结构，保护数据安全。备用子池2平常不使用，只在容量不够或者调度模块判断到性能出现问题需要扩充新的子池的时候才会激活使用，同样在容量过剩或者性能足够的前提下，控制模块B也可以自动回收存储子池1，转为备用子池2。

客户端A向控制模块B发起数据请求，提交文件属性信息给控制模块B，控制模块B根据它维护的meta data信息表，返回文件所在存储子池1的子卷3和位置指针给客户端A，接下来客户端A根据控制模块B返回的信息直接连接访问存储池C进行数据访问。

在客户端A和控制模块B不断的交互过程中，控制模块B在不断的更新它的性能数据信息，包括：存储池C中访问最频繁卷、最频繁文件、最不频繁卷、最不频繁文件等信息列表。这样，在后续客户端A IO请求的时候，控制模块B会根据这个列表，依据性能算法判断读写的最佳存储池C内部地址，并且将这个地址返回给客户端A，从而达到自动优化性能的目的。

同样依据算法，控制模块B还可以将访问频率很高的文件在多个存储子池1上维持多份的副本，以提供客户端A并发访问。

在以后数据容量达到阀值后，控制模块B可以自动的将备用子池2激活并且纳入到存储池C使用，并且自动将部分访问频繁的卷数据自动迁移到备用子池2上，以达到自动的容量扩展和负载均衡的目的。

Claims (1)

1.提升网络内容服务器效率的方法，其基础是通过分布式文件系统提升内容更新和检索效率，实现本发明所必须的组成模块包括：客户端，调度模块，存储池；其中客户端是指发起服务请求，连接调度模块，存储池，进行数据更新或者访问的客户端系统；其中调度模块是独立运行的一个io监控分发模块；其中存储池存放实际数据；

1）客户端

其中客户端是安装了对应的客户端软件的终端，该软件适应基于windows、linux、移动app应用等不同平台；

2）调度模块的主要功能和功能实现步骤

       1，客户端IO请求的地址返回，客户端向调度模块发起数据读或者写的请求，调度模块根据性能算法自动判断读或者写的最佳存储池内部地址，并且将这个地址返回给客户端，客户端根据这个地址直接访问对应的存储池，完成数据读或者写的操作；

       2，维护多份存储池数据的meta data信息，meta data信息也就是存储池文件的属性信息，包括文件名、文件大小、文件位置等；一份文件会根据访问的频繁程度维护多份的副本，以提高客户端并发访问的速度；

       3，维护多份存储池中访问最频繁卷、最频繁文件、最不频繁卷、最不频繁文件的列表，在客户端IO请求的时候，调动模块会根据这个列表，依据性能算法判断读或者写的信息，从而判断读写的最佳存储池内部地址，并且将这个地址返回给客户端；

       4，在客户有设定存储备用池的前提下，自动根据容量和性能情况，自动将备用池纳入到生产池激活使用，达到容量扩充的目的，并且也能提高性能，这个过程是完全自动、透明和在线的；

       5，在空间需求和访问量下降的情况下，控制模块会自动根据情况迁移数据，回收部分的存储池，转成备用存储池；

3）存储池

       存储池存放实际数据，存储池又分成若干子存储池，每个子存储池内部有若干个存储卷，每个子存储池内部的存储卷数量至少是2个，每个卷上面的数据完全一样，实现数据冗余；多个子存储池存放不同的数据，实现负载均衡的目的。