CN108040113A

CN108040113A - 一种大数据存储服务系统

Info

Publication number: CN108040113A
Application number: CN201711377853.7A
Authority: CN
Inventors: 朱璇
Original assignee: Zhuhai Giantion Hui Technology Service Co Ltd
Current assignee: Zhuhai Giantion Hui Technology Service Co Ltd
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2018-05-15

Abstract

本发明公开了一种大数据存储服务系统，包括客户端、信息交互模块、注册模块、服务模块以及存储管理模块，所述信息交互模块，与所述注册模块相连，用于传递所述客户端的IP地址、客户端的设备串号以及互联网业务帐号。能够便捷的实现大数据的存储和客户端的访问。

Description

一种大数据存储服务系统

技术领域

本发明涉及大数据存储技术领域，具体涉及一种大数据存储服务系统。

背景技术

数据来自于一切客观存在，包括宏观到微观的物理世界，各种生物体、人类社会活动、感知、认识和思维的结果。随着信息技术的发展，当通常所说的数据是指经过数字化转换后的信息，是可以被量化、分析和再利用的信息，包含数值、文字、符号、音频、视频等不同形态。对数据的分析都并非新鲜事，如交通规划、宏观经济分析、电力系统规划、气象预测、高能物理、航天航空、基因工程等大规模数据分析和计算早已在人类生产和生活中发挥着关键的作用。2020年所产生的数据量是2009年的44倍。数据存储成本下降：单位信息存储成本的下降，使得对海量数据的分布式存储技术难度降低。30年前，1TB存储的成本为16亿美金，如今通过云存储服务所需不到100美金。

大规模数据处理成为可能：随着计算机技术能发展，对非结构化数据的处理和分析方式组建成熟，MapReduce模型以及云计算模式的出现，是大规模数据处理的成本和技术门槛大大降低。数据采集更为密集和广泛：随着移动互联网和物联网技术的发展，使得数据的采集更加方便。

我国大数据市场规模：2014年规模达到84亿人民币，2015年达到116亿元，2016年达到162.4亿元，年平均增速接近40％大数据软件产值68.2亿元，占市场42％，占比高于国际平均水平。超过95％的企业认为大数据对企业非常重要，企业大数据应用效果明显：超过65％的企业认为提升运营效率是企业大数据应用的最显著效果，随后是智能决策(60％)和风险管控(50％)。绝大部分(78％)的企业数据总数在50TB-500TB之间(1TB＝1024GB＝1024x1024B，Byte字节)，500TB以上的企业只有18％企业内部数据是开展大数据应用的基础，来自内部平台、客户、内部管理平台的数据占企业大数据应用资源总量的60％企业主要数据类型是企业传统结构化数据库表，76％企业认为数据库表是大数据应用当中最主要的数据类型，59％认为是网页数据，37％认为是图片数据。

在当前的互联网应用中，现有的免费网盘服务通常空间较小，而大空间的网盘往往需要较高的费用。用户家庭中的存储设备多种多样，例如，各种存储卡、记忆棒、U盘、移动硬盘以及网络硬盘等，存储卡和记忆棒可以通过类似读卡器的各种电子设备连接到电脑上读取，移动硬盘可以通过连接到网络上或电脑上读取。此外，这些存储设备除了物理接口各异外，其读写的操作方式也各异，例如，USB接口的U盘和移动硬盘是通过电脑的本地目录访问的，以太网接口的网络硬盘和电脑间信息是通过FTP方式或者共享目录方式共享的。由此可见，在家庭网络中连接多种存储设备时，无法通过一个统一的接口对这些存储设备进行访问，使得操作复杂，用户体验差，并且也不便于用户通过公共网络方便地访问这些存储设备，使得这些存储设备形成了信息孤岛。

发明内容

本发明的目的是解决现有技术的缺陷，提供一种大数据存储服务系统，采用的技术方案如下：

一种大数据存储服务系统，包括客户端、信息交互模块、注册模块、服务模块以及存储管理模块，所述信息交互模块，与所述注册模块相连，用于传递所述客户端的IP地址、客户端的设备串号以及互联网业务帐号；

所述注册模块，用于利用所述客户端的IP地址、客户端的设备串号以及互联网业务帐号向公共网络内部的存储服务平台注册所述客户端所提供的存储服务的访问地址；

所述服务模块，与所述存储管理模块相连，用于处理用户对与所述客户端相连的存储设备的服务请求操作，并将所述服务请求操作转发给所述存储管理模块，以及接收所述存储管理模块返回的服务请求操作结果，并将所述服务请求操作结果返回给所述用户；

所述存储管理模块，用于接收所述服务模块发送的服务请求操作，将所述服务请求操作转换为服务请求操作对象所使用的交互协议形式的服务请求指令，并将所述服务请求指令转发到所述服务请求操作对象所在的存储设备上，以及将所述用户的服务请求操作结果返回到所述服务模块。

可选的，所述服务模块包括：

目录服务单元，与所述存储管理模块相连，用于处理用户对存储服务目录的获取指令，并将所述存储服务目录的获取指令转发给所述存储管理模块，以及接收所述存储管理模块返回的目录获取结果，并将所述目录获取结果返回给用户；

文件读服务单元，与所述存储管理模块相连，用于处理用户对与所述客户端相连的存储设备中的文件的读操作指令，并将所述读操作指令转发给所述存储管理模块，以及接收所述存储管理模块返回的读操作结果，并将所述读操作结果返回给用户；

文件写服务单元，与所述存储管理模块相连，用于处理用户对与所述客户端相连的存储设备中的文件的写操作指令，并将所述写操作指令转发给所述存储管理模块，以及接收所述存储管理模块返回的写操作结果，并将所述写操作结果返回给用户。

可选的，所述存储管理模块还用于对与所述客户端相连的存储设备进行定时扫描以查询所述存储设备的状态，并在所述存储设备的状态变化时，对存储服务目录进行更新。

可选的，所述装置还包括：

权限控制模块，与所述服务模块相连，用于记录与所述客户端相连的各存储设备的访问权限、所述各存储设备中各目录的访问权限以及所述各目录中各文件的访问权限，并根据记录的相应访问权限控制对所述各存储设备、所述各存储设备中各目录以及所述各目录中各文件的访问。

可选的，所述装置还包括：

更新模块，与所述信息交互模块相连，用于在所述客户端所提供的存储服务的访问地址发生变更时，向所述公共网络内部的存储服务平台发送更新后的存储服务的访问地址。

可选的，所述装置还包括：

工作指令调度模块，与所述权限控制模块相连，用于接收来自用户的工作指令，并利用所述工作指令触发所述客户端执行与所述工作指令相对应的操作。

可选的，所述存储设备至少包括U盘、移动硬盘以及以太网接口网络硬盘中的一种。

附图说明

图1是本发明的第一种示意图；

图2是本发明的第二种示意图；

图3是本发明的第三种示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。

实施例：

如图1所示，该实施例的装置10置于家庭网关内，可以包括信息交互模块11、注册模块12、服务模块13以及存储管理模块14，其中，

信息交互模块11，与注册模块12相连，是客户端与存储服务装置之间的接口模块，可以通过UNIX SOCKET方式交互，用于传递家庭网关的IP地址、家庭网关的设备串号以及互联网业务帐号；

举例说明，信息交互模块提供了存储服务与家庭网关之间的信息交互，通过该模块存储服务装置可以获取家庭网关的IP地址(包括更新后的IP地址)、家庭网关的设备串号以及互联网业务帐号等信息；

注册模块12，可以通过HTTP+XML方式将注册信息发给公共网络内部的存储服务平台(该平台位于IP网络中，家庭网关通过电信宽带接入连接到公网，通过存储服务平台的IP地址可以访问到存储服务平台)，以注册家庭网关所提供的存储服务的访问地址，其中，注册信息包括家庭网关的IP地址、家庭网关的设备串号以及互联网业务帐号；在进行注册服务时使用家庭网关的IP地址、家庭网关的设备串号以及互联网业务帐号，以便唯一地标识用户和其家庭网关之间的关联关系；

服务模块13，分别与存储管理模块14和注册模块12相连，用于处理用户对与家庭网关相连的存储设备的服务请求操作，并将服务请求操作转发给存储管理模块，以及接收存储管理模块返回的服务请求操作结果，并将服务请求操作结果返回给用户，其中，该服务请求操作可以包括目录浏览、文件夹创建与删除、文件的移动、复制、读写与删除等操作；

存储管理模块14，用于接收服务模块发送的服务请求操作，将服务请求操作转换为服务请求操作对象所使用的交互协议形式的服务请求指令，并将服务请求指令转发到服务请求操作对象所在的存储设备上，以及将用户的服务请求操作结果返回到服务模块，其中，服务请求操作对象所使用的交互协议可以包括FTP、CIFS以及DLNA(DigitalLivingNetwork Alliance)等；

在另一实例中，客户端与家庭网关内嵌的存储服务装置交互，把家庭网关提供的虚拟存储目录映射成用户电脑上的文件夹，与本地硬盘目录的使用方法相同，操作更简单。

该实施例能够利用统一的操作接口(即，存储服务装置)为用户提供对各种家庭存储设备的存储服务，不仅方便了用户从家庭内部访问这些存储设备，而且还方便了用户从公网访问这些存储设备，为用户访问存储设备提供了很大的便利性。

如图2所示，与图1中的实施例相比，该实施例的装置20中的服务模块21可以包括：

目录服务单元211，与存储管理模块14相连，用于处理用户对存储服务目录的获取指令，即，将接收到的获取指令转换为存储管理模块能够识别和处理的数据格式，并将存储服务目录的获取指令转发给存储管理模块，以及接收存储管理模块返回的目录获取结果，再将该目录获取结果转换为用户能够识别的数据格式后返回给用户，其中，目录获取结果的组织形式可以类似于Windows操作系统的盘符+文件夹+文件名的方式，也可以是基于视频、音乐、图片等几个基本文件分类的方式(隐藏了文件实际盘符和文件夹)；

文件读服务单元212，与存储管理模块14相连，用于处理用户对与家庭网关相连的存储设备中的文件的读操作指令，并将读操作指令转发给存储管理模块，以及接收存储管理模块返回的读操作结果，并将读操作结果返回给用户；例如，该单元接收来自用户的CIFS文件的读指令，然后以文件对应的读方式(例如，FTP方式)进行文件读取，并返回读结果；

文件写服务单元213，与存储管理模块14相连，用于处理用户对与家庭网关相连的存储设备中的文件的写操作指令，并将写操作指令转发给存储管理模块，以及接收存储管理模块返回的写操作结果，并将写操作结果返回给用户。

举例说明，如果统一接口数据方式为FTP方式，而实际文件系统为CIFS，则在接收到FTP读操作指令后，首先转换为Linux的VFS文件系统的文件读，然后再转为CIFS的文件读。文件读的结果首先是CIFS的读取结果，然后转换为VFS的读取结果，最后再转换为FTP的读取结果，用户得到的是FTP的读取结果。

在该实施例中，可以通过统一接口为用户提供对多种存储设备的读或写等操作。

在一个实例中，存储管理模块对家庭网关连接的存储设备进行定时扫描，查询设备是否开放或关闭了存储共享服务，只要发现有变化，无论设备开放或关闭了存储共享服务，该模块都会进行存储目录的更新。

图3是本发明存储服务装置的又一实施例的结构示意图。

如图3所示，与图1中的实施例相比，该实施例的装置30还可以包括：

权限控制模块31，与服务模块13相连，用于记录与家庭网关相连的各存储设备的访问权限，各存储设备中各目录的访问权限以及各目录中各文件的访问权限，并根据记录的相应访问权限控制对各存储设备、各存储设备中各目录以及各目录中各文件的访问。

举例说明，权限控制模块可以向用户提供管理接口，用户可以通过该模块配置可用的存储设备、配置哪些设备的哪些目录可以从公共互联网访问以及具体的访问权限等，通过该模块可以增强从公共互联网访问存储设备时的安全性。可选地，该模块能够根据IP地址区分用户是从公网还是从内网访问存储服务，对于来自公网的访问，将采取非常严格的权限控制，例如，禁止公网访问某些盘符、文件夹以及禁止修改某些文件等。

在存储服务装置中内嵌权限控制模块时，可以通过用户认证、数据加密等方式确保用户从公共网络访问家庭存储设备时的信息安全，防止非法用户窃取用户的数据。

此外，本发明还提供了从公网访问家庭存储设备的安全控制机制，例如，动态端口(每次启动后的公网的服务端口是动态分配的，可以防止攻击)；认证后动态地获取家庭存储信息；文件目录的访问权限控制(基于分区目录)；协议的安全性(在HTTP HEAD中加入特定关键字，可以作为密钥)；传输安全性；支持多个访问帐号等。

在该实施例中，用户对存储服务的访问指令将首先由权限控制模块处理，该模块根据用户IP地址、用户名和密码进行权限审核，只有通过权限审核的操作指令，才会进一步交给服务模块进行处理。

Claims

1.一种大数据存储服务系统，其特征在于，包括客户端、信息交互模块、注册模块、服务模块以及存储管理模块，所述信息交互模块，与所述注册模块相连，用于传递所述客户端的IP地址、客户端的设备串号以及互联网业务帐号；

2.根据权利要求1所述的一种大数据存储服务系统，其特征在于，所述服务模块包括：

3.根据权利要求1所述的一种大数据存储服务系统，其特征在于，所述存储管理模块还用于对与所述客户端相连的存储设备进行定时扫描以查询所述存储设备的状态，并在所述存储设备的状态变化时，对存储服务目录进行更新。

4.根据权利要求1所述的一种大数据存储服务系统，其特征在于，所述装置还包括：

5.根据权利要求1所述的一种大数据存储服务系统，其特征在于，所述装置还包括：

6.根据权利要求1所述的一种大数据存储服务系统，其特征在于，所述装置还包括：

7.根据权利要求1所述的一种大数据存储服务系统，其特征在于，所述存储设备至少包括U盘、移动硬盘以及以太网接口网络硬盘中的一种。