CN103973791A - 物联网快速统一存储系统 - Google Patents

Abstract

本发明涉及一种存储系统，尤其是一种物联网快速统一存储系统，属于物联网存储的技术领域。按照本发明提供的技术方案，所述物联网快速统一存储系统，包括能采集并上传物联网的数据文件并能读取已存储物联网数据文件的客户端；所述客户端分别与快速协同管理子系统以及海云分布式文件存储系统连接，快速协同管理子系统与海云分布式存储系统连接；海云分布式存储系统，将客户端上传的数据文件存储，并通过快速协同管理子系统提供客户端所需的实时访问数据。本发明能够实现物联网海量异构数据统一存储，满足存储数据的快速访问，成本低廉，可靠性强，易于扩展。

Description

物联网快速统一存储系统

技术领域

本发明涉及一种存储系统，尤其是一种物联网快速统一存储系统，属于物联网存储的技术领域。

背景技术

目前，随着物联网技术在实践领域的广泛应用，物联网技术的发展对数据的要求越来越高，这主要体现在一下几个方面：

首先，物联网系统所产生的数据增长越来越快，而且以非结构化数据为主。以车联网为例，一个中等发达城市（拥有百万辆汽车）的所有汽车一年采集的车身信息就达到几百TB级，如果把这些汽车行驶记录以及由行驶相关业务所产生的信息记录下来，数据量将达到ZB级别。如此规模的数据量必须有一个易于扩展、容错能力强并且具备良好的用户友好性，否则将无法满足不断增加的物联网应用的需求。

其次，数据处理和分析的实时性要求越来越高，传统的关系型数据模型已经远远无法满足需求。而在车联网中，对数据处理和分析的实时性要求更高，为了达到防撞的目的，整个车联网系统必须在数毫秒的时间内对汽车周围的环境做出预判并提醒司机要注意安全防止事故的发生，所以拥有一个安全可靠高实时性的数据存储系统对于车联网是非常必要的。

最后，随着物联网应用的越来越复杂，为了方便用户，必须消除物联网异构数据的对用户的影响，即必须实现物联网异构数据的统一存储。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种物联网快速统一存储系统，其能够实现物联网海量异构数据统一存储，满足存储数据的快速访问，成本低廉，可靠性强，易于扩展。

按照本发明提供的技术方案，所述物联网快速统一存储系统，包括能采集并上传物联网的数据文件并能读取已存储物联网数据文件的客户端；所述客户端分别与快速协同管理子系统以及海云分布式文件存储系统连接，快速协同管理子系统与海云分布式存储系统连接；海云分布式存储系统，将客户端上传的数据文件存储，并通过快速协同管理子系统提供客户端所需的实时访问数据。

所述海云分布式文件存储系统包括追踪服务器、用于数据存储的存储服务器集群以及用于提供客户端及快速系统管理子系统的连接接口访问控制模块。

所述访问接口控制模块包括共用接口库、大文件管理子模块及小文件管理子模块；通过大文件管理子模块能进行大文件上传、下载的接口，以进行文件分割、验证信息文件的生成及维护、文件搜索、定位及文件合并、验证；小文件管理子模块通过调用共用接口库进行小文件的上传及下载；通过共用接口库进行访问追踪服务器以及存储服务器集群。

所述追踪服务器包括追踪代理服务器集群以及追踪服务器集群，追踪代理服务器集群记录追踪服务器集群的运行信息，并根据追踪服务器集群的运行信息确定追踪服务器集群内响应的追踪服务机；所述追踪代理服务器集群采用双机镜像模式或多机集群模式。

所述快速协同管理子系统包括协同管理模块以及与所述协同管理模块连接的高速缓存子系统；所述协同管理模块包括集群管理模块、数据交换模块以及控制模块。

所述高速缓存子系统包括支持Nosql的内存数据库。所述海云分布式存储系统内以JSON格式存储结构化数据。

本发明的优点：客户端与快速协同管理子系统及海云分布式文件存储系统连接，快速协同管理子系统与海云分布式文件存储系统3连接，并支持Nosql技术，这样既实现物联网海量异构数据的统一存储，又满足了物联网应用系统对数据访问的实时性需求。

附图说明

图1为本发明的结构示意图。

图2为本发明海云分布式文件存储系统的结构框图。

图3为本发明快速协同管理子系统的结构框图。

附图标记说明：1-客户端、2-快速协同管理子系统、3-海云分布式文件存储系统、4-访问控制模块、5-共用接口库、6-大文件管理子模块、7-小文件管理子模块、8-追踪服务器、9-追踪代理服务器集群、10-追踪服务器集群、11-存储服务器集群、12-存储服务器群组、13-协同管理模块、14-集群管理模块、15-数据交互模块、16-控制模块、17-高速缓存子系统及18-缓存服务器群组。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1所示：为了能够实现物联网海量异构数据统一存储，满足存储数据的快速访问，本发明包括能采集并上传物联网的数据文件并能读取已存储物联网数据文件的客户端1；所述客户端1分别与快速协同管理子系统2以及海云分布式文件存储系统3连接，快速协同管理子系统2与海云分布式存储系统3连接；海云分布式存储系统3，将客户端1上传的数据文件存储，并通过快速协同管理子系统2提供客户端1所需的实时访问数据。

具体地，客户端1就是物联网应用系统，是数据的生产者，也是数据访问的主体。通过快速协同管理子系统2，客户端1可以方便快捷的访问海云分布式文件存储系统3中的数据，从而满足自身需求。

海云分布式文件存储系统3克服了以往分布式文件系统的缺陷，对物联网数据中的大文件和小文件的存储效率都很高，海云分布式文件存储系统3将大文件（即超过100M）的文件切割成100M的块文件进行存储，而对于小于100M的小文件直接进行存储。

快速协同管理子系统2的功能是缓存那些最近频繁访问或者不久即将访问的数据（而且任务比较紧急），从而为客户端1提供高效快捷的数据访问服务，是客户端1与海云分布式文件存储系统3间快速通信的桥梁。

如图2所示，所述海云分布式文件存储系统3包括追踪服务器8、用于数据存储的存储服务器集群11以及用于提供客户端1及快速系统管理子系统2的连接接口访问控制模块4。

所述访问接口控制模块4包括共用接口库5、大文件管理子模块6及小文件管理子模块7；通过大文件管理子模块6能进行大文件上传、下载的接口，以进行文件分割、验证信息文件的生成及维护、文件搜索、定位及文件合并、验证；小文件管理子模块7通过调用共用接口库5进行小文件的上传及下载；通过共用接口库5进行访问追踪服务器8以及存储服务器集群11。

所述追踪服务器8包括追踪代理服务器集群9以及追踪服务器集群10，追踪代理服务器集群9记录追踪服务器集群10的运行信息，并根据追踪服务器集群10的运行信息确定追踪服务器集群10内响应的追踪服务机；所述追踪代理服务器集群9采用双机镜像模式或多机集群模式。

具体地，访问控制模块4为快速协同管理子系统2和客户端1提供访问和控制海云分布式文件存储系统3的接口，访问控制模块4具体包括共用接口库5、大文件管理子模块6和小文件管理子模块7。其中，共用接口库5为客户端1提供了访问追踪服务器8和存储服务器集群11的公用接口，通过共用接口库5能获得信息包括获取追踪服务器集群10的信息（本发明实施例中，追踪服务器集群10的信息包括负载、运行时长及系统资源利用率）、获取存储服务器集群11的信息（本发明实施例中，存储服务器集群11的信息包括负载、运行时长、系统资源利用率）、上传文件、下载文件以及修改文件内容等。大文件管理子模块6提供大文件上传和下载等服务的相关接口，包括文件分割、验证信息文件的生成与维护、文件搜索与定位以及文件合并与验证等功能。小文件管理子模块7则相对简单，它不需要提供额外的接口，只要通过调用共用接口库来支持小文件的上传和下载。本发明实施例中，共用接口库5、大文件管理子模块6以及小文件管理子模块7均可以采用本技术领域常规的技术手段实现，具体不再赘述。

本发明实施例中，海云分布式文件存储系统3支持对追踪服务器冗余备份（其他主流的分布式文件系统不支持），海云分布式文件存储系统3的追踪服务器8包括两个部分：追踪代理服务器集群9（Tracker Proxy Cluster）和追踪服务器集群10（Tracker Cluster）。

追踪代理服务器集群9记录了追踪服务器集群10中所有追踪服务机的基本信息（所述基本信息包括负载信息和运行状况等等），当有用户访问时，根据这些基本信息，决定由追踪服务器集群10内响应的追踪服务机。追踪代理服务器集群9的作用是屏蔽追踪服务器集群10的集群结构，让整个追踪服务器8对于访问控制模块4是透明的。追踪代理服务器集群9有两种模式：双机镜像模式和多机集群模式三机及以上）。

所谓双机镜像模式即整个追踪代理服务器集群9在物理上由两台代理服务器组成，两台服务器的内容完全相同，由其中一台作为主追踪代理服务器提供追踪代理服务，并向另一台作为备份追踪代理服务器同步自己的内容；当主追踪代理服务器出现故障时，自动将备份追踪代理服务器作为主追踪代理服务器提供代理服务，并且两台追踪代理服务器角色互换，并通知维护人员对故障设备进行检修。

所谓多机集群模式即整个追踪代理服务器集群9在物理上由三台或者三台以上的代理服务器组成，这些代理服务器的内容完全相同，由其中一台作为主服务器提供追踪代理服务并向其他代理服务器（称为备份代理追踪服务器）同步自己的内容；当主代理服务器出现故障时，系统自动选择（采用轮巡的方法进行选择）一台备份追踪代理服务器作为主代理服务器提供代理服务（角色互换），并报警检修。

追踪代理服务器集群9是外界与追踪服务器集群10之间的桥梁，追踪代理服务器集群9对外共享一个IP地址，即主追踪代理服务器的IP地址，当主追踪代理服务器和某个备份追踪代理服务器角色互换时，他们的IP地址也互换从而保证追踪代理服务器8始终通过一个IP地址与外界通信。追踪服务器集群10的所有服务器都处于对等状态，相互之间保持数据的一致性，由追踪代理服务器集群9决定由响应外界的请求和访问的追踪服务机。

存储服务器集群11是实现物理存储的最终物理归宿，海云分布式文件存储系统3按照用户所制定的规则将所有存储服务器分成相应的组，即存储服务器集群11包括若干存储服务器群组12，每组的存储服务器群组12内容完全一样，而各组的内容是不相关的；每组存储服务器群组12之间是不能通讯的，每组存储服务器群组12别向追踪服务器同步存储信息；当组内出现某台或某些存储服务器出现故障时，立刻有组内的其他存储服务器接替工作，而这些切换工作有追踪服务器8根据存储服务器集群11的同步信息进行判断和完成。

如图3所示，所述快速协同管理子系统2包括协同管理模块13以及与所述协同管理模块13连接的高速缓存子系统17；所述协同管理模块13包括集群管理模块14、数据交换模块15以及控制模块16。

具体地，协同管理模13块提供访问和监控高速缓存子系统17的接口，以及客户端1与快速协同管理子系统2之间、和海云分布式文件存储系统3与快速协同管理子系统2之间通信的接口。协同管理模块13根据功能的不同划分为集群管理模块14、数据交互模块15以及控制模块16等单个子模块。

集群管理模块14是一个支持高速缓存子系统17进行集群管理的组件，它负责高速缓存子系统17的物理结构和逻辑结构的管理，在同组的内存数据库系统之间同步数据。

数据交互模块15的主要功能分为两个部分，与海云分布式文件存储系统3相关的功能是负责数据的加载与迁出，并对数据更新进行信息更新，以加速数据的定位与响应；与客户端1相关的功能是检索高速缓存子系统17中是否有客户端1请求的数据，如果有，直接提供；否则客户端1要从海云分布式文件存储系统3中下载相关的数据文件；当某个文件在较短时间（可配置）内被访问多次，那么数据交互模块15会通知控制模块16进行相关数据文件的加载与迁出。

控制模块16是一个数据加载与迁出的决策者，并根据集群管理模块14的相关监控信息加载或迁出数据文件。

高速缓存子系统17是一个支持Nosql技术的内存数据库。由于内存数据库的容量有限，所以其中存储的数据不会一成不变，快速协同管理子系统2会根据设定的策略将其缓存的数据迁出，清理出足够的空间加载应用系统最近可能频繁访问的新数据。高速缓存子系统17在物理结构上采用分组布局，即高速缓存子系统17包括若干组的缓存服务器群组18，缓存服务器群组18内的内存数据库的数据通过同步保持一致，而组间的数据不需要进行同步。

本发明实施例中，结构化数据都是以JSON格式的文件存储到海云分布式文件存储系统3内，结构化数据的存储包括实时结构化数据存储和非实时结构化数据存储。

所谓实时结构化数据存储，即对实时性要求较高的结构化数据，实行边采集边存储。这种存储模式将应用于实时计算以及一些特殊的实时场景。在存储过程中，实时结构化数据被划分一个一个的数据集分开存储在海云分布式文件存储系统3中。由于实时结构化数据在短时间内可能被频率访问，所以本发明实施例中，将这些数据的数据集划分交给快速协同管理子系统2处理，具体处理流程如下：

1）、客户端1采集实时结构化数据，并将数据先存储到快速协同管理子系统2的高速缓存子系统17（支持NoSql技术的内存数据库）中。

2）、当高速缓存子系统17中缓存的数据集体积达到指定阈值时，高速缓存子系统17会对数据集进行划分，并把划分的信息保存到高速缓存子系统17指定的数据集中（这个数据集在系统空闲或者退出时会以JSON格式文件备份到海云分布式文件存储系统3，并在系统启动时加载到协同管理子模块13中）。所谓数据集划分，就是将采集到的实时结构化数据划分成块，每一数据块作为一个划分，并以JSON格式文件保存到海云分布式文件存储系统3中。

3）、协同管理子模块13会实时向客户端1同步缓存信息；与此同时，客户端1也会判断此时的数据采集情况，如果已经采集完成，结束并退出系统，否则继续采集数据并继续上面的流程。

4）、当高速缓存子系统17的缓存空间不够时，会将缓存的暂时不需频繁访问的数据集划分上传到海云分布式文件存储系统3，并将海云分布式文件存储系统3返回信息保存到高速缓存子系统17指定的数据集中。

所谓非实时结构化数据存储，即将事先已经采集并且归档的结构化数据存储到物联网快速统一存储系统。这种存储模式主要应用非实时计算以及非实时性要求不高的应用系统的数据存储。在存储过程中，非实时结构化数据文件被分成若干个子文件，然后再将这些子文件存储到海云分布式文件存储系统3并将相关的索引信息存储到快速协同管理子系统2指定的数据集，具体流程如下：

1）、将文件的基本信息（包括文件名、文件大小以及描述信息等等）同步到快速协同管理子系统2的指定数据集，等待同步结果（包括一些指定的阈值以及相关的数据集名称）。

2）、当得到同步结果后，开始逐条读取该结构化数据文件中的记录，并添加到新的数据集。

3）、当新的数据集体积达到（由快速协同管理子系统反馈回来的）阈值时，客户端1将该数据集封装成一个JSON格式的文件，以“源文件名+子文件序号”为该文件命名，并通过调用访问控制模块4相关接口，将该文件上传到海云分布式文件存储系统3；海云分布式文件存储系统3会将该文件的存储信息反馈给客户端1。

4）、客户端1将海云分布式文件存储系统3反馈的存储信息同步到快速协同管理子系统1指定的数据集。

5）、当得到快速协同管理子系统2同步结束后，客户端1判断该文件的记录是否遍历完毕，如果没有遍历完成，继续从2）开始的执行；如果已经遍历完毕，则该非实时结构化数据^[26]文件存储完毕。

非结构化数据的存储和结构化数据的存储不同，非结构化数据可以分为两类：可以以记录为单位逐条遍历的非结构化数据和无法以记录为单位逐条遍历的非结构化数据。

第一类非结构化数据（比如监控记录、事务日志等等）的存储可以参考结构化数据的存储。第二类非结构化数据（比如视频、音频、图片等等）的存储过程如下：

1）、当有文件需要上传时，如果本地没有保存于存储相关的信息，客户端1会通过访问快速协同管理子系统2，获取单个文件的体积阈值、保存文件存储信息的数据集等信息，并保存到本地。

2）、如果要上传的文件的大小不超过单个文件的体积阈值，客户端1会将该文件直接上传到海云分布式文件存储系统3，并将海云分布式文件存储系统3反馈回来的存储信息同步到快速协同管理子系统2中的指定数据集。

3）、否则，如果要上传的文件的大小超过了单个文件的体积阈值，客户端1会将文件切割成一系列的文件块（除最后一个文件块外，其余的文件块的大小都等于单个文件的体积阈值），按照一定的规则为这些文件块命名（源文件名+分块序号），并记录切割的总数N。

4）、处理第i个（i的初始值为1）文件分块：将该文件块上传到海云分布式文件存储系统3并生成这个文件分块的验证信息，把海云分布式文件存储系统3反馈的与该文件分块相关的存储信息以及它的验证信息一起存储到快速协同管理子系统2中的指定数据集。

5）、如果所有的文件分块已经处理完毕，将所有的文件验证信息合并成一个验证信息文件，并展示供客户端下载，结束操作；否则继续往下执行。

6）、将i+1赋给i，继续执行步骤4），直至整个过程结束。

为了满足物联网应用越来越高的实时性和复杂性，实现物联网海量异构数据快速访问是物联网快速统一存储系统最重要的考核指标之一。

本发明实施例中，支持Nosql技术来提高物联网应用系统对数据的访问速度，即将物联网应用系统一段时间内频繁访问的数据缓存到（支持Nosql的）内存数据库，物联网应用系统可以直接从内存数据库中获取想要的数据，从而极大的提高数据访问效率。具体实现细节将在下面两节中详细介绍。

结构化数据以JSON格式文件存储在海云分布式文件存储系统3中，而客户端1直接从海云分布式文件存储系统3访问相关的结构化数据的效率远远达不到要求，而通过快速协同管理子系统2（支持Nosql的内存数据库）来缓存最近一段时间频繁访问的数据，包括结构化数据。具体操作流程如下：

1）、当客户端1需要请求数据时，它首先向快速协同管理子系统2发出数据申请。

2）、如果快速协同管理子系统2存在客户端1所需要的数据，快速协同管理子系统2记录本次访问的信息，包括访问时间、客户端1的IP地址等信息，并删除距离当前时间较久（具体时长是一个可设置的阈值K）的访问记录；客户端1从快速协同管理子系统2获取相关数据，并就此结束操作。

3）、如果快速协同管理子系统2中没有客户端1所需要的数据，快速协同管理子系统2会向客户端1反馈无法获取数据的信息，并记录本次访问的信息，包括访问时间、客户端1的IP地址等信息，并删除距离当前时间较久（具体时长是一个可设置的阈值K）的访问记录；如果一段时间（即K）内，该条数据相关的文件被访问的次数超过某个阈值，快速协同管理子系统2将会加载该数据相关的文件。如果该数据相关的文件是某一个大文件的分块，快速协同管理子系统2会加载与该文件分块相邻的分块。

4）、客户端2得到无法访问相关数据的消息后，会通过访问控制模块4向海云分布式文件存储系统3申请数据。

5）、当客户端1获得数据后，结束操作。

物联网非结构化数据的访问与结构化数据的存储不同，非结构化数据可以分为两类：可以以记录为单位逐条遍历的非结构化数据和无法以记录为单位逐条遍历的非结构化数据。

第一类非结构化数据（比如监控记录、事务日志等等）的访问可以参考结构化数据的快速访问。第二类非结构化数据（比如视频、音频、图片等等）的访问过程如下：

1）、当客户端1要下载第二类非结构化数据文件时，先获取该文件验证信息文件，再从快速协同管理子系统2获取文件的索引信息和相关的其他信息（包括文件大小、共有几个分块等等）。

2）、从第j（j的初始值为1）个文件块开始处理，客户端1从海云分布式文件存储系统3下载第j文件（块）；并对其中的验证信息进行验证，如果验证出错，报告文件错误，提醒系统管理员维护；如果验证通过，将文件的内容合并到统一的大文件中。

3）、如果文件（快）尚未下载完成，将j+1赋给j，并跳到2）开始执行，否则结束操作。

4）、如果该数据相关的文件只有一个文件块（即没有切割），则物联网客户端直接从海云分布式文件存储系统下载该文件，并结束操作。

为了客户端1更快的访问海云分布式文件存储系统3中的数据，快速协同管理子系统2会将最近频繁访问的数据从海云分布式文件存储系统中加载到快速协同管理子系统。对于小文件的访问，一次加载就能将整个文件加载到快速协同管理子系统；而大文件被分割成多个100M的文件块，一次加载该文件相关的所有文件块有点不现实（既浪费资源而且可能降低效率），只加载当前访问的数据相关文件块也不能解决效率问题。所以，根据局部性原理，一个文件块被频繁访问，其相邻的文件块也可能即将被频繁访问，所以当一个大文件的某个或某几个文件块被频繁访问时，就将这些文件块相邻的几个文件块（具体数量可以根据应用的实际情况进行配置，默认是加载到快速协同管理子系统2，从而加快物联网应用的后续数据访问速度。

本发明客户端1与快速协同管理子系统2及海云分布式文件存储系统3连接，快速协同管理子系统2与海云分布式文件存储系统3连接，并支持Nosql技术，这样既实现物联网海量异构数据的统一存储，又满足了物联网应用系统对数据访问的实时性需求。

Claims (7)

1.一种物联网快速统一存储系统，包括能采集并上传物联网的数据文件并能读取已存储物联网数据文件的客户端（1）；其特征是：所述客户端（1）分别与快速协同管理子系统（2）以及海云分布式文件存储系统（3）连接，快速协同管理子系统（2）与海云分布式存储系统（3）连接；海云分布式存储系统（3），将客户端（1）上传的数据文件存储，并通过快速协同管理子系统（2）提供客户端（1）所需的实时访问数据。

2.根据权利要求1所述的物联网快速统一存储系统，其特征是：所述海云分布式文件存储系统（3）包括追踪服务器（8）、用于数据存储的存储服务器集群（11）以及用于提供客户端（1）及快速系统管理子系统（2）的连接接口访问控制模块（4）。

3.根据权利要求2所述的物联网快速统一存储系统，其特征是：所述访问接口控制模块（4）包括共用接口库（5）、大文件管理子模块（6）及小文件管理子模块（7）；通过大文件管理子模块（6）能进行大文件上传、下载的接口，以进行文件分割、验证信息文件的生成及维护、文件搜索、定位及文件合并、验证；小文件管理子模块（7）通过调用共用接口库（5）进行小文件的上传及下载；通过共用接口库（5）进行访问追踪服务器（8）以及存储服务器集群（11）。

4.根据权利要求2所述的物联网快速统一存储系统，其特征是：所述追踪服务器（8）包括追踪代理服务器集群（9）以及追踪服务器集群（10），追踪代理服务器集群（9）记录追踪服务器集群（10）的运行信息，并根据追踪服务器集群（10）的运行信息确定追踪服务器集群（10）内响应的追踪服务机；所述追踪代理服务器集群（9）采用双机镜像模式或多机集群模式。

5.根据权利要求1所述的物联网快速统一存储系统，其特征是：所述快速协同管理子系统（2）包括协同管理模块（13）以及与所述协同管理模块（13）连接的高速缓存子系统（17）；所述协同管理模块（13）包括集群管理模块（14）、数据交换模块（15）以及控制模块（16）。

6.根据权利要求5所述的物联网快速统一存储系统，其特征是：所述高速缓存子系统（17）包括支持Nosql的内存数据库。

7.根据权利要求1所述的物联网快速统一存储系统，其特征是：所述海云分布式存储系统（3）内以JSON格式存储结构化数据。