CN103024020A - 基于web应用的网络数据文件存储方法及装置 - Google Patents

Abstract

本发明公开了一种基于WEB应用的网络数据文件存储装置，包括WEB应用程序服务器、普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组。WEB应用程序服务器由PHP编写，提供网站的相关信息，当涉及到资源读取的时候，则向资源文件服务器组发送请求。如果是加密数据，则需要读取加密传输资源文件服务器组即可。本发明能有效实现海量数据基于HTTP协议的普通和加密传输，能够对资源数据实现用户权限限制，并实现了负载均衡的目的。根据不同的业务需求选择不同的传输方式，实现普通数据和加密传输数据的统筹管理，让资源上传下载类网站有更灵活，更合适的架构方式。

Description

基于WEB应用的网络数据文件存储方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及基于WEB应用的网络数据文件存储方法及装置。

背景技术

随着WEB时代的兴起，很多个人或者机构对在线文档和视频资源的交换需求增加，但是因为有些资源文档比较大，而且如果是热点文档，很多客户端同时下载的时候，便会产生某一台机流量过大的瓶颈。同时如果有些文档比较重要，传输的时候需要加密，才能确保数据的安全。而这些都是很多企业用户急需的需求。虽然现在有各种实现方案，但是多少存在着一些不足之处。

专利号为02103274.2的发明专利公开了基于网络存储和可扩展体系结构的服务器系统及方法，互连交换网络，系统中的所有服务器和网络存储设备分布式的通过互连交换网络连接；多个运行应用程序的应用服务器通过互连交换网络访问元信息服务器和负载平衡服务器的元数据信息，并通过互连交换网络直接访问存储设备上的数据；多个处理元数据信息的元信息服务器提供元数据的访问和操作服务；至少一个负载平衡服务器，完成文件到元信息服务器的动态映射和系统负载的动态平衡；网络存储设备，存储元数据和数据。

该发明只实现了系统负载动态平衡，但没有解决数据可加密的安全传输。而且每个元数据都需要存储全部的数据，这样便造成存储空间的浪费。上传和下载文件时中间至少需要经过一个负载均衡器。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于WEB应用的网络数据文件存储方法及装置，从而实现对普通数据和加密传输数据的统筹管理。

基于WEB应用的网络数据文件存储装置，包括WEB应用程序服务器、普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组。

WEB应用程序服务器由PHP编写，提供网站的相关信息，当涉及到资源读取的时候，则向资源文件服务器组发送请求；如果是加密数据，则需要读取加密传输资源文件服务器组。

普通资源文件服务器组至少有一台LAMP架构的文件存储服务器，可以不做磁盘陈列，另外至少有一台LAMP架构的文件存储备份服务器做备份，视生产经费决定是在线上，还是在线下；主从服务器用镜像同步软件RSYNC进行同步备份，通过远程实时监控主服务器情况，如果发生故障，则用脚本实现远程登录主从切换服务。

加密数据放在加密传输资源文件服务器组里面，服务器组除了满足LAMP架构之外，仍需要额外安装加密软件OPENSSL，保证加密数据在传输数据的时候是加密的；另外至少需要一台LAMP架构文件存储服务器用作备份，主从复制时同样需要加密传输，并采用镜像同步软件RSYNC进行同步备份，通过远程实时监控主服务器情况，如果发生故障，则用脚本实现远程登录主从切换服务。

热点资源文件服务器组里面的数据都是比较热门的数据，下载量多，筛选热点数据靠人工，把热门的数据通过网站后台进行迁移，如果热点数据是加密数据，则放置至热点资源文件服务器组中的加密传输模块，而如果是一些普通热点数据不需要加密，则将其放置到热点资源文件服务器组中的普通传输模块；该服务器组中的代理服务器采用的是LVS。

基于WEB应用的网络数据文件存储方法，该方法包括普通传输和加密传输；

普通传输时上传文件流程为：WEB应用程序服务器端的用户需要先登录系统，当系统登陆成功之后，用户自主选择或者程序后台预设定可以上传的服务器，再选择相应的普通传输方式；不同子域名的普通资源文件服务器端先用SOAP远程检测一下系统里面是否有此用户，然后再呈现可上传的页面程序，用户即可依照相关流程上传，上传完毕后普通资源文件服务器端WEB程序记录下相关的资源文档附带的信息，然后返回给WEB应用程序服务器端，将相应的信息插入到WEB应用程序服务器端的相关数据库存里面。

普通传输时下载文件流程为：当用户在浏览WEB应用程序服务器端的时候，需要读出与信息相联系的资源文件，于是便发出请求，普通资源文件服务器端WEB程序查看用户有没有登录，如果用户没有登录，则只能读取没有用户权限限制的文件，如果用户登录了，下载相对应权限限制的资源文件，WEB应用程序服务器端里面保存着每一个资源的名称和相关的服务器网址。

加密传输时上传文件流程为：WEB应用程序服务器端的用户需要先登录系统，当系统登陆成功之后，用户自主选择或者程序后台预设定可以上传的服务器，再选择相应的加密传输方式，用户领取密钥后，不同子域名的加密数据服务器端先用SOAP远程检测一下系统里面是否有此用户，如果是，则呈现可上传的页面程序，用户即可依照相关流程上传，上传完毕后加密传输资源文件服务器端WEB程序记录下相关的资源文档附带的信息，然后把相关信息返回给WEB应用程序服务器端，将相应的信息插入到WEB应用程序服务器端的相关数据库存里面。

加密传输时下载文件流程为：当用户在浏览WEB应用程序服务器端的时候，读出与信息相联系的资源文件，需要先登录，然后发出加密传输下载请求，用户领取密钥后，加密传输资源文件服务器端WEB程序查看用户有没有登录，如果用户没有登录，不能读取文件，如果用户登录了，加密下载相对应权限限制的资源文件，WEB应用程序服务器端里面在上传的时候会保存着每一个资源的名称和相关的服务器网址。

本发明技术方案带来的有益效果：本发明能有效实现海量数据基于HTTP协议的普通和加密传输，能够对资源数据实现用户权限限制，并实现了负载均衡的目的。根据不同的业务需求选择不同的传输方式，实现普通数据和加密传输数据的统筹管理，让资源上传下载类网站有更灵活，更合适的架构方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的网络体系架构图；

图2是本发明实施例中普通传输上传流程图；

图3是本发明实施例中普通传输下载流程图；

图4是本发明实施例中加密传输上传流程图；

图5是本发明实施例中加密传输下载流程图；

图6是本发明实施例中普通资源文件服务器组工作原理图；

图7是本发明实施例中加密传输资源文件服务器组工作原理图；

图8是本发明实施例中热点资源文件服务器组工作原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于WEB应用的网络数据文件存储装置，其网络体系架构如图1所示，包括WEB应用程序服务器、普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组。

WEB应用程序服务器由PHP编写，提供网站的相关信息，当涉及到资源读取的时候，则向资源文件服务器组发送请求。如果是加密数据，则需要读取加密传输资源文件服务器组即可。

普通资源文件服务器组至少有一台LAMP架构的文件存储服务器，可以不做磁盘陈列，另外至少有一台LAMP架构的文件存储备份服务器做备份，视生产经费决定是在线上，还是在线下。主从服务器用镜像同步软件RSYNC进行同步备份。普通资源文件服务器组工作原理如图6所示，通过远程实时监控主服务器情况，如果发生故障，则用脚本实现远程登录主从切换服务。

一些加密数据放在加密传输资源文件服务器组里面，服务器组除了满足LAMP架构之外，仍需要额外安装加密软件OPENSSL，保证加密数据在传输数据的时候是加密的。另外至少需要一台LAMP架构文件存储服务器用作备份，主从复制时同样需要加密传输，并采用镜像同步软件RSYNC进行同步备份。加密传输资源文件服务器组工作原理如图7所示，通过远程实时监控主服务器情况，如果发生故障，则用脚本实现远程登录主从切换服务。

热点资源文件服务器组里面的数据都是比较热门的数据，下载量都是比较多，筛选热点数据靠人工，把热门的数据通过网站后台进行迁移。如果热点数据是加密数据，则放置至热点资源文件服务器组中的加密传输模块，而如果是一些普通热点数据不需要加密，则将其放置到热点资源文件服务器组中的普通传输模块。热点资源文件服务器组工作原理如图8所示，该服务器组中的代理服务器采用的是LVS。

对于网络存储系统而言，如果要实现数据整体的存储，要面临流量过大、数据安全和故障恢复的瓶颈。普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组里面的上传和下载实现主要是靠lamp体系组成，服务器组各节点系统可以不相同，只要节点服务器保证能正常运行lamp体系程序的服务，保持里面的WEB服务的目录相同即可，真正实现了跨服务器存储系统。对于一些加密数据，传输的时候可以在APACHE里面加装SSL模块，能起到传输加密的作用。而对于一些热点的数据，可以通过负载均衡的方式存储，这样子便实现了根据不同的存储需要，决定存储到哪一个服务器组的目的。

本发明还提供了一种基于WEB应用的网络数据文件存储方法，该方法包括普通传输和加密传输。

当WEB应用程序服务器组里面的程序需要使用上传文件时，由WEB应用程序服务器端自主选择上传数据传输类型。对于加密数据，需要选择加密传输，其它的选为普通传输。而下载的时候，由于加密数据怕泄漏，所以一定需要用户登陆后才能下载，而一些非加密数据，根据资源的重要性选择是否登陆。

普通传输：

1、上传方式：WEB应用程序服务器端的用户需要先登录系统，当系统登陆成功之后，用户自主选择或者程序后台预设定可以上传的服务器，再选择相应的普通传输方式。不同子域名的普通资源文件服务器端先用SOAP远程检测一下系统里面是否有此用户，然后再呈现可上传的页面程序，用户即可依照相关流程上传。上传完毕后普通资源文件服务器端WEB程序记录下相关的资源文档附带的信息，然后返回给WEB应用程序服务器端，将相应的信息插入到WEB应用程序服务器端的相关数据库存里面。具体流程如图2所示。

2、下载方式：当用户在浏览WEB应用程序服务器端的时候，需要读出与信息相联系的资源文件，于是便发出请求，普通资源文件服务器端WEB程序查看用户有没有登录，如果用户没有登录，则只能读取没有用户权限限制的文件。如果用户登录了，可以下载相对应权限限制的资源文件。WEB应用程序服务器端里面保存着每一个资源的名称和相关的服务器网址。具体流程如图3所示。

加密传输：

1、上传方式：WEB应用程序服务器端的用户需要先登录系统，当系统登陆成功之后，用户自主选择或者程序后台预设定可以上传的服务器，再选择相应的加密传输方式。用户领取密钥后，不同子域名的加密数据服务器端先用SOAP远程检测一下系统里面是否有此用户，如果是，则呈现可上传的页面程序，用户即可依照相关流程上传。上传完毕后加密传输资源文件服务器端WEB程序记录下相关的资源文档附带的信息，然后把相关信息返回给WEB应用程序服务器端，将相应的信息插入到WEB应用程序服务器端的相关数据库存里面。具体流程如图4所示。

2、下载方式：当用户在浏览WEB应用程序服务器端的时候，读出与信息相联系的资源文件，需要先登录，然后发出加密传输下载请求，用户领取密钥后，加密传输资源文件服务器端WEB程序查看用户有没有登录，如果用户没有登录，不能读取文件。如果用户登录了，可以加密下载相对应权限限制的资源文件。WEB应用程序服务器端里面在上传的时候会保存着每一个资源的名称和相关的服务器网址。具体流程如图5所示。

本发明能有效实现海量数据基于HTTP协议的普通和加密传输，能够对资源数据实现用户权限限制，并实现了负载均衡的目的。根据不同的业务需求选择不同的传输方式，实现普通数据和加密传输数据的统筹管理，让资源上传下载类网站有更灵活，更合适的架构方式。

上述技术方案中网络存储系统架构中普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组是以子域名的形式来区分的，WEB程序直接读取普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组，也可以在WEB程序和普通、加密、热点资源文件服务器组中间加一个域名转向代理服务器，该代理器也有LAMP服务，WEB程序需要资源时可向该代理器发送一个固定的域名和可变的参数,（例如：http://all.xx.com/upload.php?（普通、加密、热点服务器组标识参数）&（其它参数）），该代理器翻译出来，再转向到相应的服务器组。但是对于WEB服务器到代理器这一段不能加密传输，安全传输便不能得到保证。

以上对本发明实施例所提供的基于WEB应用的网络数据文件存储方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.基于WEB应用的网络数据文件存储装置，其特征在于，包括WEB应用程序服务器、普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组；

WEB应用程序服务器由PHP编写，提供网站的相关信息，当涉及到资源读取的时候，则向资源文件服务器组发送请求；如果是加密数据，则需要读取加密传输资源文件服务器组；

普通资源文件服务器组至少有一台LAMP架构的文件存储服务器，可以不做磁盘陈列，另外至少有一台LAMP架构的文件存储备份服务器做备份，视生产经费决定是在线上，还是在线下；主从服务器用镜像同步软件RSYNC进行同步备份，通过远程实时监控主服务器情况，如果发生故障，则用脚本实现远程登录主从切换服务；

加密数据放在加密传输资源文件服务器组里面，服务器组除了满足LAMP架构之外，仍需要额外安装加密软件OPENSSL，保证加密数据在传输数据的时候是加密的；另外至少需要一台LAMP架构文件存储服务器用作备份，主从复制时同样需要加密传输，并采用镜像同步软件RSYNC进行同步备份，通过远程实时监控主服务器情况，如果发生故障，则用脚本实现远程登录主从切换服务；

热点资源文件服务器组里面的数据都是比较热门的数据，下载量多，筛选热点数据靠人工，把热门的数据通过网站后台进行迁移，如果热点数据是加密数据，则放置至热点资源文件服务器组中的加密传输模块，而如果是一些普通热点数据不需要加密，则将其放置到热点资源文件服务器组中的普通传输模块；该服务器组中的代理服务器采用的是LVS。

2.根据权利要求1所述的装置，其特征在于，普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组里面文件的上传和下载实现是靠LAMP体系组成，服务器组各节点系统不相同，只要节点服务器保证能正常运行LAMP体系程序的服务，保持里面的WEB服务的目录相同即可，真正实现了跨服务器存储系统。

3.根据权利要求1所述的装置，其特征在于，对于加密数据，传输的时候在APACHE里面加装SSL模块，能起到传输加密的作用。

4.根据权利要求1所述的装置，其特征在于，对于热点的数据，通过负载均衡的方式存储。

5.根据权利要求1所述的装置，其特征在于，普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组是以子域名的形式来区分的，WEB应用程序服务器直接读取普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组。

6.根据权利要求1所述的装置，其特征在于，还能在WEB应用程序服务器和普通资源文件服务器组、加密传输资源文件服务器组、热点资源文件服务器组中间加一个域名转向代理服务器，该代理器也有LAMP服务，WEB应用程序服务器需要资源时向该代理器发送一个固定的域名和可变的参数，该代理器翻译出来，再转向到相应的服务器组，但是对于WEB应用程序服务器到代理器这一段不能加密传输，安全传输便不能得到保证。

7.基于WEB应用的网络数据文件存储方法，其特征在于，该方法包括普通传输和加密传输；

普通传输时上传文件流程为：WEB应用程序服务器端的用户需要先登录系统，当系统登陆成功之后，用户自主选择或者程序后台预设定可以上传的服务器，再选择相应的普通传输方式；不同子域名的普通资源文件服务器端先用SOAP远程检测一下系统里面是否有此用户，然后再呈现可上传的页面程序，用户即可依照相关流程上传，上传完毕后普通资源文件服务器端WEB程序记录下相关的资源文档附带的信息，然后返回给WEB应用程序服务器端，将相应的信息插入到WEB应用程序服务器端的相关数据库存里面；

普通传输时下载文件流程为：当用户在浏览WEB应用程序服务器端的时候，需要读出与信息相联系的资源文件，于是便发出请求，普通资源文件服务器端WEB程序查看用户有没有登录，如果用户没有登录，则只能读取没有用户权限限制的文件，如果用户登录了，下载相对应权限限制的资源文件，WEB应用程序服务器端里面保存着每一个资源的名称和相关的服务器网址；

加密传输时上传文件流程为：WEB应用程序服务器端的用户需要先登录系统，当系统登陆成功之后，用户自主选择或者程序后台预设定可以上传的服务器，再选择相应的加密传输方式，用户领取密钥后，不同子域名的加密数据服务器端先用SOAP远程检测一下系统里面是否有此用户，如果是，则呈现可上传的页面程序，用户即可依照相关流程上传，上传完毕后加密传输资源文件服务器端WEB程序记录下相关的资源文档附带的信息，然后把相关信息返回给WEB应用程序服务器端，将相应的信息插入到WEB应用程序服务器端的相关数据库存里面；

加密传输时下载文件流程为：当用户在浏览WEB应用程序服务器端的时候，读出与信息相联系的资源文件，需要先登录，然后发出加密传输下载请求，用户领取密钥后，加密传输资源文件服务器端WEB程序查看用户有没有登录，如果用户没有登录，不能读取文件，如果用户登录了，加密下载相对应权限限制的资源文件，WEB应用程序服务器端里面在上传的时候会保存着每一个资源的名称和相关的服务器网址。

8.根据权利要求7所述的方法，其特征在于，当WEB应用程序服务器组里面的程序需要使用上传文件时，由WEB应用程序服务器端自主选择上传数据传输类型，对于加密数据，需要选择加密传输，其它的选为普通传输；而下载的时候，由于加密数据怕泄漏，所以一定需要用户登陆后才能下载，而一些非加密数据，根据资源的重要性选择是否登陆。

Images