CN109495537B - 物联网监测大数据的存储方法与存储系统 - Google Patents

Abstract

本发明提供了一种物联网监测大数据的存储系统和存储方法。该存储系统包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的相应数据传输到全局数据中心进行存储。本发明的存储系统和存储方法能够对全量数据进行存储并提高存储性能。

Description

物联网监测大数据的存储方法与存储系统

技术领域

本发明涉及物联网大数据领域，尤其涉及一种物联网监测大数据的存储方法与存储系统。

背景技术

近年来，随着物联网技术的发展，监测设备产生了大量的实时数据，充分利用这些数据进行数据挖掘分析与预警具有重要的实用价值。物联网络拥有庞大数量的监测设备，每台设备需实时监测的指标众多，短时间内监测数据总量也很大。例如，对于某电力监测物联网络，其拥有数万个监测点，每个监测点每秒可监测数千个指标，每秒数据总量可达GB级，再以车辆GPS信息采集为例，虽然其只监测位置信息，但一个城市的GPS设备数可超过百万台。物联网监测大数据是一种带有时间戳、多量测周期的数据，具有明显的时间序列数字特征。传统的实时数据库技术或者流式数据处理技术应对如此规模的时序数据时往往采用保存部分数据的策略，如仅保存采样数据、仅保存当前关心的数据或仅保存统计数据等，这种部分数据存储策略会导致最终统计分析或者实时预警的结果出现偏差。随着云计算等技术的发展，全量存储物联设备的原始数据并进行全量数据分析逐渐成为趋势，但是目前单一云数据中心的存储模式必然受到网络性能的限制，无法应对高并发、高吞吐的物联网监测数据实时存储的需求。

因此，需要对现有技术进行改进，依据物联网监测大数据的基本特征，提供适用于物联网检测大数据的全量数据存储方法，从而为数据分析提供支撑。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种物联网监测大数据的存储系统和存储方法。

根据本发明的第一方面，提供了一种物联网监测大数据的存储系统。该系统包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的相应数据传输到全局数据中心进行存储。

在一个实施例中，所述终端网关将从所连接的物联网监测终端接收的数据转换为物联网监测大数据模型，表示为四元组<监测点，监测指标，监测时间戳，监测值>，其中，监测点用于标识物联网监测终端，监测指标用于标识监测的指标类型，监测时间戳用于标识采集数据的时间，监测值为物联网监测终端采集的数据值。

在一个实施例中，在所述区域数据中心和所述全局数据中心，采用列式数据库存储所述物联网监测大数据模型，其中，以监测指标、监测时间戳前缀、监测点组成行键，时间戳前缀偏移量为列名，行键值和列名共同决定监测值。

在一个实施例中，所述全局数据中心采用周期性的数据选择策略，当到达一个周期的起始点时，将连接的区域数据中心保存的前一个周期内的数据传输到所述全局数据中心；和/或

采用动态实时抓取策略将当前需要的相关数据从所连接的区域数据中心传输到所述全网数据中心。

在一个实施例中，在从所述区域数据中心向所述全局数据中心传输数据时，根据数据包的大小、网络可用带宽和实时性要求决定是否压缩数据。

在一个实施例中，在决定进行数据压缩的情况下，传输的数据包由压缩标志，压缩数据包和MD5校验码构成。

根据本发明的第二方面，提供了一种基于本发明的物联网监测大数据的存储系统的数据存储方法，该方法包括以下步骤：

步骤1：通过终端网关将从物联网监测终端接收的数据传输到区域数据中心进行存储；

步骤2：基于用于触发向所述区域数据中心抓取数据的数据选择策略决定将所述区域数据中心所存储的相应数据传输到全局数据中心进行存储。

在一个实施例中，步骤1包括以下子步骤：

步骤11：将从所述物联网监测终端接收的数据转换为物联网监测大数据模型，表示为四元组<监测点，监测指标，监测时间戳，监测值>，其中，检测点用于标识物联网监测终端，监测指标用于标识监测的指标类型，监测时间戳用于标识采集数据的时间，监测值为物联网监测终端采集的数据值。

步骤12：通过终端网关将所述物联网监测大数据模型存储到所述区域数据中心。

在一个实施例中，在步骤2中，采用周期性的数据选择策略，当到达一个周期的起始点时，将所述区域数据中心保存的前一个周期内的数据传输到所述全局数据中心；和/或

采用动态实时抓取策略将当前需要的相关数据从所述区域数据中心传输到所述全网数据中心。

与现有技术相比，本发明的优点在于：通过分层汇集，将数据首先存储在区域数据中心，并延迟存储到全局数据中心，解决了全局唯一数据中心由于网络性能瓶颈所带来的数据存储性能问题；通过采用快速压缩算法，以较低的压缩和解压缩开销大幅降低了高吞吐数据量网络传输开销，可以应对单位时间内网络吞吐量较大的物联网应用场景；基于列式存储数据库的特点，设计了宽列数据存储模型，大幅减少数据行数，能够实现海量数据的快速入库存储，并满足快速检索需求。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了根据本发明一个实施例的物联网监测大数据的存储系统的框架图；

图2示出了根据本发明一个实施例的物联网监测大数据的存储方法的流程图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明的一个实施例，提供了一种物联网监测大数据的存储系统，参见图1所示，该系统包括多个物联网终端监测设备(或称监测终端)，示出为监测终端11至监测终端18，多个终端网关21至24，区域数据中心31、32，全局数据中心41，以及连接区域数据中心31的客户端1和连接全局数据中心的客户端2，其中，监测终端11、12与终端网关21具有通信连接，监测终端13、14与终端网关22具有通信连接，监测终端15、16与终端网关23具有通信连接，监测终端17、18与终端网关24具有通信连接，区域数据中心31与终端网关21和终端网关22具有通信连接，区域数据中心与终端网关23、24具有通信连接，全局数据中心41与区域数据中心31、32具有通信连接。

监测终端11至18用于不断的采集数据，例如，可用于气象监测、电力监测等的数据。

终端网关21至24用于采集和加工监测终端的数据并将数据传输到连接的区域数据中心。

区域数据中心31、32用于汇集和存储来自于连接的终端网关的数据，从而对数据进行持久化存储，获得监测终端的历史数据和当前数据，以对外提供数据存储、分析和挖掘服务，例如通过客户端1对数据进行检索和统计分析，可以对数据进行复杂的趋势预测。

全局数据中心41用于全量存储物联网数据，例如，可存储来自于区域数据中心31，32的数据。

在实际的存储系统部署中，终端网关的数量、终端网关所连接的监测设备数量、区域数据中心所连接的终端网关数量等可以根据实际的数据量、传输实时性要求等因素确定。例如，以某电力传输监测数据的存储系统为例，该系统共有约10000个监测终端(或称监测点)，设置有100台终端网关，每台终端网关可采集100个监测终端的数据，每个监测终端每3秒采集2000个监测指标。

结合图1的系统，本发明提供了一种物联网监测大数据的存储方法，该方法将监测终端的数据首先存储于区域数据中心，然后，根据数据选择策略的不同，在适当时机再将区域数据中心的数据传输到全局数据中心进行存储。参见图2所示，该存储方法具体包括以下步骤：

步骤S210，接收监测终端采集的原始数据并转化为符合物联网监测大数据模型的可用数据。

终端网关负责采集监测终端的原始数据，形成符合物联网监测大数据数据模型的可用数据。

在一个实施例中，所述物联网监测大数据的数据模型表示为四元组<监测点，监测指标，监测时间戳，监测值>，采集的设备原始数据映射为上述四元组。监测点用于标识监测终端，监测指标用于表示采集数据的类型，如，气象指标、电力指标等、监测时间戳用于指示采集数据的时间，监测值是实际采集的数据值。例如，监测点、监测指标和监测时间戳为定长字符，监测时间戳表示为自1970-01-01 00:00:00起的带有可选小数位的UTC秒值，如四元组<1608M00012，100010011001300020010000000001001221EE100000，1511107200.000，50.031>，终端网关收集数据采集与加工生成四元组，形成数据包，数据包的格式为上述四元组的集合。

步骤S220，各个区域数据中心汇集所连接的终端网关的数据。

各个区域数据中心汇集所连接的终端网关的数据，简言之，数据汇集过程包括：将来自于终端网关的数据汇集到区域网关的数据缓存装置；区域数据中心负责从数据缓存装置中接收数据，将接收的数据解压缩(如果在传输时进行了压缩的情况下)，并按照物理数据模型存储到数据库中。具体地，包括以下子步骤：

数据筛选阶段，该阶段以监测时间和监测点、监测指标等信息为条件，在区域数据中心筛选满足条件的数据；

数据传输阶段，该阶段负责将汇集数据打包，根据数据与网络情况进行数据压缩，并通过网络传输，发送到区域数据中心的数据缓存装置；

优选地，数据传输阶段根据数据包大小、网络可用带宽以及实时性要求是否进行数据压缩，如果数据包通过网络传输的时间大于实时性要求，则采用压缩方法进行压缩，形成压缩数据包，压缩方法应采用压缩、解压缩较快的算法，如lz4、snappy等，当进行压缩时，整个数据包由压缩标志，压缩数据包及MD5校验码三部分构成，表示为三元组的集合{<CompressionTag，Data，MD5>}。反之，如果数据包通过网络传输的时间能够满足实时性的要求，则不进行压缩，以便减小压缩和解压的开销。

数据入库阶段：区域数据中心从其数据缓存装置中接收数据，在已进行压缩的情况下，将接收的数据解压缩并存储到区域数据中心的数据库中。

优选地，数据入库采用多线程并行入库的方式，数据库服务器端采用先缓存再批量提交的方式，以减少磁盘I/O开销。

在一个优选实施例中，为提升数据入库性能，采用列式数据库保存物联网监测大数据。物联网监测大数据存储模型采用一种灵活的扁平化网状式逻辑结构存储，以监测指标、时间戳前缀、监测点组成行键，以时间戳偏移量为列名，行键值和列名共同决定监测值。时间戳前缀是指时间戳的前M位数字，M可根据具体业务分析时间段粒度需求指定。时间戳偏移是指紧跟时间戳前缀的剩余数字。与一个监测记录一条记录相比，这种数据模型可显著减少数据记录行的数据，从而提升数据检索性能。列式数据库，能够把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。通过采用列式存储，在查询分析时，只需要读取所需要的列，其他列的数据不需要读取，因而能够降低I/O开销，同时提高每次I/O的效率，从而显著提高查询性能。例如，有两张表，每张表100GB且有100列，大多数查询只关注几个列，采用列式存储，不需要像行式存储数据库一样，将整行数据取出，而只取出需要的列即可。

以一个实际应用系统为力，部署约100台终端网关服务器，30区域数据中心服务器，每台区域数据中心服务器汇集3-4台终端网关服务器的数据，每秒钟总共吞吐量为0.33GB，每区域数据中心服务器每秒汇集的平均数据量为11MB，为了获得更好的性能，在数据传输阶段，选用lz4作为压缩算法，在区域数据中心服务器上对数据进行压缩，实验表明，压缩后吞吐量降为0.12GB，降低了网络开销，提高了传输性能。区域数据中心服务器和全局数据中心服务器可采用HBASE数据库进行列式存储。

步骤S230，全局数据中心基于数据选择策略从区域数据中心抓取相应的数据。

所述数据选择策略用于指示向区域数据中心抓取数据的时机，例如，可进行周期性的抓取(也称为延迟存储)或基于某些事件触发实时地动态抓取(也称为实时抓取)。

在一个实施例中，将抓取周期配置为一天，在这种情况下，在到达抓取周期时，全局数据中心将向区域数据中心抓取前一天的数据。

在另一实施例中，当配置为事件触发的抓取策略时，当全局数据中心要进行当天数据的查询或统计时，如果不存在上述数据，则触发向区域数据中心的实时抓取。

与向区域数据中心汇集数据过程的类似，从区域数据中心向全局数据中心进行数据传输和存储的过程也包括：

数据筛选阶段，该阶段以监测时间和监测点、监测指标等信息为条件，在全局数据中心筛选满足条件的数据；

数据传输阶段，该阶段负责将汇集数据打包，根据数据与网络情况进行数据压缩，并通过网络传输，发送到全局数据中心的数据缓存装置；

数据入库阶段：全局数据中心从其数据缓存装置中接收数据，在已进行压缩的情况下，将接收的数据解压缩并存储到全局数据中心的数据库中。

同理，在全局数据中心也可进行列式存储，向全局数据中心传输的数据也可进行压缩或无压缩。

应理解的是，为了改善存储性能，可对上述实施例进一步改进，例如，在区域数据中心周期性地对获得的数据进行聚合加工，将聚合加工后的数据传输到全局数据中心进行存储，而区域数据中心保存所有的原始数据。具体地，在该实施例中，数据存储和查询的过程包括：

步骤S310，区域数据中心从所连接的终端网关获得原始数据，保存为四元组结构；

由于物联网监测数据的规模非常大，区域数据中心存储原始数据时，需要设置较大的存储空间，以避免影响存储性能并且通过向区域数据中心传输汇集数据时，也可以根据情况选择进行压缩。

步骤S320，区域数据中心周期性地对本地数据进行聚合加工。

区域数据中心以预定的周期对本地以存储的数据进行聚合加工，例如，以天为周期求取某一天数据的最大值、最小值、中位数等。通过这种方式能够降低数据规模，从而节省区域数据中心的存储空间，并且数据由区域数据中心向全局数据中心传输时，也能够提高传输效率。

步骤S330，区域数据中心将聚合加工后的数据传输到全局数据中心。

在该步骤中，区域数据中心可以周期性地或根据全局数据中心的请求将聚合加工后的数据传输给全局数据中心，由全局数据中心汇总到数据表保存。由于聚合加工之后的数据规模显著降低，在向全局数据中心传输时，可以无需进行压缩。

步骤S340，全局数据中心根据用户查询请求返回结果。

在全局数据中心接收用户查询数据的请求时，判断请求种类，如果请求的是某区域中心的聚合结果，则查询本地数据表得到结果，返回给用户。如果用户请求的是全局数据中心的聚合结果，则对查询本地数据表得到的数据进行聚合；如果用户请求某区域数据中心的四元组数据，则将请求转发给相关的区域数据中心，由区域数据中心查询本地数据库，得到结果后返回；如果用户请求跨区域数据中心的四元组数据，则由各相关区域数据中心分布查询后将结果返回给全局数据中心。

应理解的是，在涉及到由区域数据中心向全局数据中心传输数据的情况下，均可以根据所传输的数据规模和对传输效率的要求决定是否进行压缩。

在该实施例中，原始数据只保存在区域数据中心，而全局数据中心保存由区域数据中心聚合加工之后的数据，根据统计大部分用户(典型地80％)都是关心聚合数据，通过这种方式，能够提供存储和查询效率。

综上所述，本发明的存储方法和存储系统，终端网关-区域数据中心-全局数据中心的分层汇集，解决了全局唯一数据中心由于网络性能瓶颈所带来的数据存储性能问题。进一步地，通过采用快速压缩算法，以较低的压缩和解压缩开销大幅降低了高吞吐数据量网络传输开销，能够应对单位时间内网络吞吐量较大的物联网应用场景；此外，通过采用列式存储数据库，能够显著减少数据行数，从而实现海量数据的快速入库存储并满足快速检索需求。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种物联网监测大数据的存储系统，包括一个全局数据中心，至少一个区域数据中心、至少一个终端网关以及至少一个物联网监测终端，其中，所述终端网关用于汇集所连接的至少一个物联网监测终端采集的数据，所述区域数据中心用于汇集接收所连接的至少一个终端网关的数据并进行存储，所述区域数据中心周期性地对本地存储的数据进行聚合加工，并将聚合加工后的数据传输到全局数据中心；所述全局数据中心用于基于触发向所连接的区域数据中心抓取数据的数据选择策略决定将所连接的区域数据中心所存储的所述聚合加工后的数据传输到全局数据中心进行存储；

所述全局数据中心接收用户查询数据的请求时，判断请求种类，当用户请求的是区域数据中心的聚合结果，则查询区域数据中心的数据表得到结果，返回给用户；当用户请求的是全局数据中心的聚合结果，则对查询全局数据中心的数据表得到的数据进行聚合。

2.根据权利要求1所述的系统，其特征在于，所述终端网关将从所连接的物联网监测终端接收的数据转换为物联网监测大数据模型，表示为四元组<监测点，监测指标，监测时间戳，监测值>，其中，监测点用于标识物联网监测终端，监测指标用于标识监测的指标类型，监测时间戳用于标识采集数据的时间，监测值为物联网监测终端采集的数据值。

3.根据权利要求2所述的系统，其特征在于，在所述区域数据中心和所述全局数据中心，采用列式数据库存储所述物联网监测大数据模型，其中，以监测指标、监测时间戳前缀、监测点组成行键，时间戳前缀偏移量为列名，行键值和列名共同决定监测值。

4.根据权利要求1所述的系统，其特征在于，所述全局数据中心采用周期性的数据选择策略，当到达一个周期的起始点时，将连接的区域数据中心保存的前一个周期内的数据传输到所述全局数据中心；和/或

采用动态实时抓取策略将当前需要的相关数据从所连接的区域数据中心传输到所述全局 数据中心。

5.根据权利要求1所述的系统，其特征在于，在从所述区域数据中心向所述全局数据中心传输数据时，根据数据包的大小、网络可用带宽和实时性要求决定是否压缩数据。

6.根据权利要求5所述的系统，其特征在于，在决定进行数据压缩的情况下，传输的数据包由压缩标志，压缩数据包和MD5校验码构成。

7.根据权利要求1所述的系统，其特征在于，所述区域数据中心还用于周期性地将获得的数据通过求取最大值、最小值或中位数进行聚合加工并将聚合加工后的数据传输到所述全局数据中心进行存储。

8.一种基于权利要求1-7之一的物联网监测大数据的存储系统的数据存储方法，包括以下步骤：

步骤1：通过终端网关将从物联网监测终端接收的数据传输到区域数据中心进行存储；

步骤2：基于用于触发向所述区域数据中心抓取数据的数据选择策略决定将所述区域数据中心所存储的相应数据传输到全局数据中心进行存储。

9.根据权利要求8所述的方法，其中，在步骤2中，采用周期性的数据选择策略，当到达一个周期的起始点时，将所述区域数据中心保存的前一个周期内的数据传输到所述全局数据中心；和/或

采用动态实时抓取策略将当前需要的相关数据从所述区域数据中心传输到所述全局数据中心。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求8至9中任一项所述方法的步骤。

Images