CN110830522A

CN110830522A - 一种共享存储系统

Info

Publication number: CN110830522A
Application number: CN201810881633.6A
Authority: CN
Inventors: 石悌君
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-08-07
Filing date: 2018-08-07
Publication date: 2020-02-21

Abstract

本发明提供一种共享存储系统，该系统包括控制器、存储器、终端，其中控制器和存储器的所有权分属不同的个人或企业；该系统通过存储器注册、客户注册、终端向控制器获取文件的网络地址、终端向存储器存储文件或访问文件等流程给多个客户提供文件服务。通过上述方式，可以使客户用更低成本获得相同服务；同时可以减少存储器的数量，更加环保。

Description

一种共享存储系统

技术领域

本发明涉及通信技术领域，特别是涉及一种共享存储系统。

背景技术

图1是网络服务系统的逻辑示意图，通信运营商向用户和服务运营商提供基础通信服务，保证用户和服务运营商的连通性；服务运营商向ICP（Internet ContentProvider，互联网内容提供商）提供网络服务基础设施，保证内容服务的可用性。在网络丰富的今天，特别是视频内容越来越多，视频清晰度越来越高，ICP会推动服务运营商扩容：增加存储空间和网络带宽；服务运营商扩容的方法通常就是购买更多存储介质（磁盘），同时向通信运营商租赁更大带宽。

该方法从整个网络上看存在极大资源浪费：1、网络带宽浪费：网络服务的特点是用户从内容提供商（比如视频网站）获取内容（在线看视频），所以网络流量绝大部分都是用户下行（从ICP到用户）方向的流量，极少用户上行（从用户到ICP）方向流量，即用户上行方向带宽没有得到充分利用；2、存储空间浪费：用户终端设备（如个人电脑或家用路由器）都有闲置的存储空间；所以整个网络存在大量闲置资源（存储空间和带宽）。

针对上述问题，P2P（Peer-to-Peer networking，点对点）下载软件做了一些利用：用户在下载资源时同时给其它用户上传该资源，利用了用户上行带宽达到更快的下载速度。但当前P2P软件产品有如下缺点：

1、是一种下载技术，常规用法是把文件从网络下载到本地，无法支持HTML5等更先进的在线播放功能（如video标签）；

2、用户需要使用特定客户端软件而无法使用常见的浏览器获取文件。

因为上述两点，现有P2P相关产品局限较大，无法形成完整的共享存储解决方案，对网络上的闲置资源利用度不高。

发明内容

本发明提供一种共享存储系统，可以通过共享存储器的方法更高效利用闲置的存储空间。

本发明的技术方案是：

一种共享存储系统，包括控制器、存储器、终端，其中控制器和存储器的所有权分属不同的个人或企业；该系统可以给多个客户提供文件服务。

该系统的运营方法包括以下流程：

存储器向所述控制器发送注册信息，注册信息包含存储器标识、可用存储大小、已存储文件列表、带宽信息、提供文件服务的网络地址；控制器收到所述注册信息后保存所述存储器信息；

客户向控制器进行注册获得客户号和权鉴信息；

终端向控制器发送消息请求提供文件服务的网络地址，控制器选择处理文件服务的存储器；

终端向存储器请求存储文件或访问文件，存储器在权鉴成功后提供文件服务。

本发明的有益效果：共享存储系统可以更加高效的利用存储器空间，该系统可以使客户用更低成本获得相同服务；而且可以减少存储器的数量，更加环保。

附图说明

图1是网络服务系统的逻辑示意图。

图2是共享存储系统的逻辑示意图。

图3是共享存储系统运营方法的流程图。

具体实施方式

本发明提供一种共享存储系统，该系统利用internet上的共享存储资源为多个客户提供文件存储和文件访问服务（统称为文件服务）。图2是系统的逻辑示意图，系统中所有设备都接入internet：

共享者：存储资源的所有者，可以是个人或企业；其存储资源加入共享存储系统后称为共享者；

客户：使用共享存储系统存储文件的个人或企业；

控制器：由一个或多个设备组成的控制中心；功能包括记录存储器信息，为客户提供操作界面，提供存储或访问文件的网络地址，对存储器进行调度等。控制器不存储客户文件；

存储器：通过internet提供文件服务的设备，加入共享存储系统后由控制器统一调度存储客户文件或提供文件访问功能，同时可以按文件统计产生的出入流量。本发明中该类设备可以是家用路由器，个人电脑等终端设备，也可以是腾讯/阿里等服务商提供的云服务器等；系统可以包含多个存储器，各存储器可以分属不同的共享者的不同类型设备；

终端：具有网络通信能力的设备，如个人电脑，手机等；通过和控制器/存储器进行消息交互完成客户注册、文件存储、文件访问等功能；

本发明中网络地址可以使用IP地址/端口（49.65.250.102:8080）或网络域名（store.net）/端口的形式；终端上进行文件存储和文件访问操作的应用程序无特殊要求，可以是通用浏览器如IE、firefox等。

图3是共享存储系统的运营方法，具体包括以下流程，通过这些流程配合可以给多个客户提供文件服务：

1、存储器注册：

1.1、存储器在特定时间（如设备启动或控制器主动搜集）向控制器发送注册信息，包括：存储器标识，可用存储大小，已存储文件列表，带宽信息，提供文件服务的网络地址；

其中，

存储器标识：用于控制器唯一识别存储器的信息；具体可以是控制器分配的存储器编号或是本地具有的全球唯一信息（如MAC地址）等；

可用存储大小：存储器用于共享存储的空间大小；

已存储文件列表：共享存储空间内的文件；比如共享者PC的硬盘大小为1T，共享者指定共享20G；共享空间内存储了1G大小文件x.mp4，则可用存储大小为19G，已存储文件列表为x.mp4；

带宽信息：存储器的上下行带宽，带宽信息可以通过预先测试获取；

文件服务的网络地址：存储器提供文件服务的网络地址；如果是IP地址格式，IP地址为连接internet接口的IP地址（IPv4或IPv6）；端口可以是知名端口，如http协议为80端口，https协议为443端口,也可以是自定义端口，如自定义60080作为http协议端口；

上述信息发生变化时存储器应通过重新发送注册消息或更新消息通知控制器；

1.2、控制器收到注册消息或更新消息后，对存储器注册的IP地址/端口进行测试，根据结果分为两类：A类存储器，internet上任意设备都可以访问该IP地址/端口；B类存储器，仅限于部分设备可以访问该IP地址/端口；

1.3、控制器保存存储器信息，包括存储器标识，可用存储大小，已存储文件列表，带宽信息，文件服务的网络地址，存储器类型（A类/B类）。

2、客户注册：客户通过终端向控制器进行注册，注册完成后客户获得唯一识别客户的客户号及其认证信息（如用户名及密码）；注册流程使用现有技术（比如在终端上通过控制器提供的网页注册）。客户通过客户号可以从控制器获取权鉴信息，已存储文件列表，文件访问次数及产生的流量等。权鉴信息主要用于存储文件和访问文件，只要权鉴信息正确，任何人都可以通过终端存储或访问对应文件。权鉴信息可以按照存储和访问分别配置，如存储时需要权鉴，访问时不需要权鉴；权鉴方法可以使用现有技术（如http协议头部的认证信息），后文中不再赘述。

3、获取文件的网络地址：终端向控制器发送消息请求存储/访问文件的网络地址，控制器根据文件大小/终端的网络地址/存储器信息等选择处理文件服务的存储器并返回包含该存储器IP地址/端口的网络地址，存储器IP地址/端口可以采用如下方法获得：

3.1域名解析法：终端使用网络域名存储/访问文件且该域名配置为由控制器进行最终解析，该场景下控制器可以在域名解析阶段选择A类存储器的IP地址应答域名查询消息；

3.2查询法：具体实施步骤如下：

3.2.1、终端和控制器建立消息通道（如TCP或UDP连接）；建立消息通道的控制器IP地址可以是控制器对外公开的IP地址，也可以是通过对外公开的网络域名解析后的IP地址；

3.2.2、终端向控制器发送消息：如果是存储文件，消息中建议包含文件长度（如http协议的post操作）；如果是访问文件，消息中需要包含文件的网络地址（如http协议的get操作）；

3.2.3、控制器返回文件的网络地址：控制器选择合适的存储器后应答包含该存储器IP地址/端口的文件网络地址（如http协议的301/302/307等状态码），存储器的选择因素可能包括终端的网络地址等；

如果终端和控制器之间存在能够截获并修改报文的存储器，控制器可以选择该存储器使文件就近处理从而提高网络效率；其中终端和存储器可能是同一台设备（如个人电脑），存储器功能和终端功能通过不同的软件程序实现，也可能是不同设备（如终端是个人电脑，存储器是家用路由器）。该实施方法的差异点具体如下：

3.2.4上述3.2.1步骤中存储器需截获通道建立消息并插入该存储器信息然后转发到控制器，控制器收到消息后记录该通道上有可用存储器信息；一种http协议细化的实施方法如下：

a、终端发送TCP SYN报文，用于建立传输通道；

b、存储器截获报文并插入存储器信息后转发：存储器收到SYN报文后，在TCP报文头部插入存储器信息（如存储器标识），插入完成后转发SYN报文；

c、存储服务器收到SYN报文后解析TCP报文头部的存储器信息，如果存储器信息正确则记录该TCP连接上有可用存储器；

d、后续的握手流程同现有技术；

3.2.5 上述3.2.3步骤中如果服务器已记录通道上有可用存储器信息，则返回包含该存储器IP地址/端口的文件网络地址；否则按原有方法处理。

4、文件存储：终端通过流程3获取到具体的网络地址后，和对应存储器建立传输通道并发送存储请求，如http协议的post操作，存储器收到消息在权鉴成功后处理流程如下：

4.1、存储器如果因为特殊原因（如存储空间不足）等无法存储文件，可以转发到其它存储器处理；转发文件可以通过存储器间的转发通道发送文件到目标存储器（特别是目标存储器是B类存储器时），也可以回复消息（如包含307状态码的http消息）促使终端向目标存储器重新发送文件；

4.2、存储成功后，由实际存储文件的存储器向控制器发送消息更新存储器信息（主要是可用存储大小和已存储文件列表）；

4.3、存储器向终端返回消息反馈存储结果：如果存储成功，消息中建议包含可用于文件访问的网络地址；如果存储失败，消息中可以包含失败原因便于终端根据原因做后续处理。

5、文件访问：终端通过流程3获取到具体的网络地址后，使用现有技术即可访问文件。

5.1、本发明另外提供一种通过http/https协议实现并行访问的方法，如果同一个文件在网络上有多个备份，该方法可以更加高效的访问文件，具体步骤包括：

5.1.1、终端向服务器发送get消息访问文件：如在个人电脑的浏览器窗口输入http://store.net/ z4d4kWk.jpg，为了兼容不支持并行下载功能的浏览器，可以在http消息中增加支持并行下载功能的标记；

5.1.2、服务器返回该文件的网络地址列表：服务器根据http消息判断终端是否支持并行下载，如果不支持并行下载，则按照现有标准处理；如果支持并行下载，则使用特殊状态码返回网络地址列表，列表中的每个地址可以包含能处理的文件范围；假设自定义310状态码返回消息，s1.store.net/ s2.store.net上都存储了相同的z4d4kWk.jpg文件，服务器应答的消息是如下格式：

HTTP/1.1 310 LOCATIONS

Accept-Ranges: bytes

Content-Length: 146515

Locations: http://s1.store.net/z4d4kWk.jpg, http://s2.store.net/z4d4kWk.jpg 0-146514

其中，Accept-Ranges表示文件传输的最小单位，Content-Length: 146515表示文件大小，Locations表示地址列表；http://s2.store.net/z4d4kWk.jpg为网络地址， 0-146514表示该地址上可以获取的内容范围，如果从该地址可以获取任意范围内容，可以无范围信息；

5.1.3、终端从网络地址列表中选择多个网络地址同时获取文件的不同部分：本例中，终端同时和s1.store.net/ s2.store.net分别建立TCP连接并发送正确的消息获取文件的不同部分。终端发送的消息格式为标准HTTP格式，举例如下：

GET /z4d4kWk.jpg HTTP/1.1

Host: s1.store.net

Range: bytes=0-1023, 2048-70000

GET /z4d4kWk.jpg HTTP/1.1

Host: s2.store.net

Range: bytes=1024-2047,70001-146514

上述实例具体到本发明的共享存储系统中，控制器可以同时作服务器，store.net为控制器网络域名，s1.store.net/s2.store.net分别为两个存储器网络域名。

本领域普通技术人员可以理解实现上述实施方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种可读存储介质中，例如只读存储器，磁盘或光盘等。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，本发明未涉及部分（如带宽测试/文件存储/流量统计等）均与现有技术相同或可采用现有技术加以实现，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，如本发明实施例使用http/https协议实现文件存储和访问，但所述思路可以使用其它协议如ftp等实现；综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种共享存储系统，其特征在于，包括：

所述共享存储系统包含控制器、存储器、终端，其中所述控制器和所述存储器的所有权分属不同个人或企业；

所述共享存储系统可以给多个客户提供文件服务。

2.根据权利要求1所述的共享存储系统，其特征在于，所述共享存储系统的运营方法包括以下流程：

所述存储器向所述控制器发送注册信息，所述注册信息包含存储器标识、可用存储大小、已存储文件列表、带宽信息、提供文件服务的网络地址；控制器收到所述注册信息后保存所述存储器信息；

所述客户向所述控制器进行注册获得客户号和权鉴信息；

所述终端向所述控制器发送消息请求提供文件服务的网络地址，所述控制器选择处理所述文件服务的存储器；

所述终端向所述存储器请求存储文件或访问文件，所述存储器在权鉴成功后提供文件服务。

3.根据权利要求1所述的共享存储系统，其特征在于可以使用通用浏览器进行文件存储和文件访问。

4.根据权利要求1所述的共享存储系统，其特征在于，所述终端和所述控制器之间存在能有截获并修改报文的所述存储器时，所述控制器可以选择所述存储器处理文件。

5.根据权利要求4所述的方法，所述终端和所述控制器建立消息通道时，所述存储器截获通道建立消息并插入所述存储器信，所述控制器记录该通道上有可用存储器信息。

6.一种通过http/https协议实现并行访问的方法，应用于终端和服务器的通信系统中，其特征在于，所述终端可以同时从不同网络地址获取同一文件的不同部分。

7.根据权利要求6所述的方法，其特征在于，同一个文件在internet上有多个备份时所述服务器可以向所述终端返回所述文件的网络地址列表。

8.根据权利要求7所述的方法，其特征在于，文件的网络地址信息还包含所述网络地址能处理的文件范围。