CN117193674A - 一种提升物联网设备海量数据存取效能的方法及装置 - Google Patents

Abstract

本发明公开一种提升物联网设备海量数据存取效能的方法及装置,涉及物联网技术领域；构建物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层；分布式消息队列引擎使采集数据有序的写入主时序数据存储器，避免了数据写入时的拥堵现象，通过索引数据存储器将设备采集数据分流，有效降低了主数据库的存储和读取的压力，对于使用频率比较高的数据使用缓存数据存储器存储，降低了主数据库的存储和读取压力，保证了物联网场景下海量数据存储效率及稳定性的大幅提升。

Description

一种提升物联网设备海量数据存取效能的方法及装置

技术领域

本发明公开一种方法及装置,涉及物联网技术领域,具体地说是一种提升物联网设备海量数据存取效能的方法及装置。

背景技术

随着物联网技术的快速发展，物联网设备产生的数据呈爆炸式增长。根据知名咨询机构IDC的研究，2020年全球创造了大约64ZB的数据，而到2025年，全球数据总量将达到163ZB，这五年内产生的数据将是自1947年引入数字储存量概念以来创建数据总量的两倍多。同时，IDC预测，到2025年，物联网设备生成的数据量预计将达到73.1ZB。物联网数据规模还体现在不断增长的物联网设备上。物联网用户没有天花板，还在持续增长，到2025年，全球每分钟将有超过15万台物联网设备连接入网。海量的物联网连接，未来产生的数据量可能会超过互联网。

在典型的物联网场景中，通过对物联网数据的分析得出，数据的生成和访问具有明显的规律和许多共性，具备相对结构化、数据时序性、写多读少、存储量大等特点，结合物联网数据的诸多特征，为了应对海量数据的存储与处理的挑战，从2014年开始，陆续有针对时序数据存储设计的数据库诞生，陆续出现了InfluxDB、TDengine、TSDB等专有时序数据库， 虽然时序数据库在物联网场景中，对于海量数据的处理和分析确实有着不错的表现，但随着接入的设备越来越多，设备量级达到万级时，现有的时序数据库处理海量数据容易出现一些问题，比如：

（1）缺乏分布式能力，现有时序数据库通常为单节点部署，缺乏分布式处理能力；

（2）适用范围受限，仅专注于时序数据处理，在其他类型的数据存储和查询方面相对较弱，如果应用场景涉及非时序数据或频繁读取的监控数据时，时序数据库就无法满足；

（3）索引和存储开销大，为了支持高效的时序数据查询，需要维护较大的索引和数据存储结构，导致占用较多的存储空间和内存；

（4）服务启动时加剧内存占用，当时序数据库启动时，需要将索引加入到内存中，如果库中使用了大量的tag，索引数据超过了机器内存，会引起服务节点内存溢出(OOM)，导致节点崩溃；

因此，时序数据库虽然在物联网中处理时序数据表现出色，但仅凭时序数据库来处理海量数据，仍显得力不从心。

发明内容

本发明针对现有技术的问题，提供一种提升物联网设备海量数据存取效能的方法及装置，尤其适用于物联网场景下，通过对数据存储架构的优化改进，提供一套具备分布式、高负载、多副本、多租户等技术特性的数据驱动器，实现对海量数据的存取效能提升。

本发明提出的具体方案是：

本发明提供一种提升物联网设备海量数据存取效能的方法，构建物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层，

采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器，采用数据库集群方式部署缓存数据存储器和索引数据存储器，通过主时序数据存储器存储采集的数据中关键字段数据，所述关键字段数据为物联网设备唯一标识，通过索引数据存储器存储完整字段数据，根据物联网设备唯一标识与关键字段数据进行匹配检索，通过缓存数据存储器存储超过预设使用频率的数据；

通过数据写入协议层提供数据写入的入口：分别根据缓存数据消息队列的接口、主时序数据消息队列的接口和索引数据消息队列的接口将采集的数据推送至对应队列的消息通道中，再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器，将主时序数据消息队列中数据有序写入主时序数据存储器，将索引数据消息队列中数据有序写入索引数据存储器；

通过数据访问协议层提供数据访问的出口：分别根据缓存数据访问接口、主时序数据访问接口和索引数据访问接口提供对应的数据访问。

进一步，所述的一种提升物联网设备海量数据存取效能的方法中采用开源分布式协调器ZooKeeper集群和开源数据队列Kakfa集群部署分布式消息队列引擎，通过ZooKeeper对分布式消息队列引擎进行分布式协调管理，存放Kafka集群的元数据及配置信息，负责Kafka集群节点的寻址与转发。

进一步，所述的一种提升物联网设备海量数据存取效能的方法中采用开源数据库Elasticsearch部署索引数据存储器，通过索引数据存储器存储完整字段数据，所述完整字段数据包括物联网设备唯一标识和其他字段数据，通过索引数据存储器将其他字段数据用普通列进行存储。

进一步，所述的一种提升物联网设备海量数据存取效能的方法中通过开源的缓存数据库Redis按照哨兵模式部署缓存数据存储器，通过键值对Key-Value的方式进行数据缓存，根据业务实际需求定义key值。

进一步，所述的一种提升物联网设备海量数据存取效能的方法中通过数据访问协议层提供的缓存数据访问接口访问缓存数据存储器，读取缓存数据并返回，通过数据访问协议层提供的主时序数据访问接口访问主时序数据存储器，读取关键字段数据并返回，通过数据访问协议层提供的索引数据访问接口访问索引数据存储器，读取完整字段数据并返回。

本发明还提供一种提升物联网设备海量数据存取效能的装置，包括物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层，

所述装置采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器，采用数据库集群方式部署缓存数据存储器和索引数据存储器，

主时序数据存储器存储采集的数据中关键字段数据，所述关键字段数据为物联网设备唯一标识，索引数据存储器存储完整字段数据，根据物联网设备唯一标识与关键字段数据进行匹配检索，缓存数据存储器存储超过预设使用频率的数据；

通过数据写入协议层提供数据写入的入口：分别根据缓存数据消息队列的接口、主时序数据消息队列的接口和索引数据消息队列的接口将采集的数据推送至对应队列的消息通道中，再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器，将主时序数据消息队列中数据有序写入主时序数据存储器，将索引数据消息队列中数据有序写入索引数据存储器；

通过数据访问协议层提供数据访问的出口：分别根据缓存数据访问接口、主时序数据访问接口和索引数据访问接口提供对应的数据访问。

进一步，所述的一种提升物联网设备海量数据存取效能的装置中采用开源分布式协调器ZooKeeper集群和开源数据队列Kakfa集群部署分布式消息队列引擎，通过ZooKeeper对分布式消息队列引擎进行分布式协调管理，存放Kafka集群的元数据及配置信息，负责Kafka集群节点的寻址与转发。

进一步，所述的一种提升物联网设备海量数据存取效能的装置中采用开源数据库Elasticsearch部署索引数据存储器，通过索引数据存储器存储完整字段数据，所述完整字段数据包括物联网设备唯一标识和其他字段数据，通过索引数据存储器将其他字段数据用普通列进行存储。

进一步，所述的一种提升物联网设备海量数据存取效能的装置中通过开源的缓存数据库Redis按照哨兵模式部署缓存数据存储器，通过键值对Key-Value的方式进行数据缓存，根据业务实际需求定义key值。

进一步，所述的一种提升物联网设备海量数据存取效能的装置中通过数据访问协议层提供的缓存数据访问接口访问缓存数据存储器，读取缓存数据并返回，通过数据访问协议层提供的主时序数据访问接口访问主时序数据存储器，读取关键字段数据并返回，通过数据访问协议层提供的索引数据访问接口访问索引数据存储器，读取完整字段数据并返回。

本发明的有益之处是：

本发明提供一种提升物联网设备海量数据存取效能的方法，提升海量数据处理的时效性、安全性和可靠性，解决了物联网设备接入过多引起的海量数据存取效能低下，且经常引起物联网数据采集平台的核心数据库崩溃等问题。本发明方法通过物联网数据驱动器(iOTD)构建前置的分布式消息队列引擎(DMQE)，避免了采集设备数量过多时导致的大并发写入问题，起到削峰填谷的作用，使采集数据有序的写入主时序数据存储器(TDS)，避免了数据写入时的拥堵现象；通过构建索引数据存储器(IDS)，将设备采集到的监控数据进行分流，保证主时序数据存储器(TDS)只存储关键的索引信息，将海量的监控数据转存至索引数据库(IDS)中，有效降低了主数据库的存储和读取的压力；对于使用频率比较高的数据，通过构建缓存数据存储器(CDS)进行存储，当访问该部分数据时，只需要读写缓存数据存储器(CDS)即可，也进一步降低了主数据库的存储和读取压力；通过对传统物联网数据存取架构的优化改造，实现了主时序数据存储器(TDS)写入和存取压力的分发，有效解决了设备过多引起的主数据库不堪压力而崩溃的问题，充分保证了物联网场景下海量数据存储效率及稳定性的大幅提升。

附图说明

图1是本发明中分布式消息队列引擎DMQE应用架构示意图。

图2是本发明中缓存数据存储器CDS应用架构示意图。

图3是本发明中数据写入协议层DW-Protocol应用示意图。

图4是本发明中数据访问协议层DR-Protocol应用示意图。

图5是本发明物联网数据驱动器iOTD应用架构示意图。

图6是主时序数据存储器TDS的数据结构示意图。

图7是索引数据存储器IDS的数据结构示意图。

图8是现有技术物联网数据存储架构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明提供一种提升物联网设备海量数据存取效能的方法，构建物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层，

采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器，采用数据库集群方式部署缓存数据存储器和索引数据存储器，通过主时序数据存储器存储采集的数据中关键字段数据，所述关键字段数据为物联网设备唯一标识，通过索引数据存储器存储完整字段数据，根据物联网设备唯一标识与关键字段数据进行匹配检索，通过缓存数据存储器存储超过预设使用频率的数据；

通过数据写入协议层提供数据写入的入口：分别根据缓存数据消息队列的接口、主时序数据消息队列的接口和索引数据消息队列的接口将采集的数据推送至对应队列的消息通道中，再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器，将主时序数据消息队列中数据有序写入主时序数据存储器，将索引数据消息队列中数据有序写入索引数据存储器；

通过数据访问协议层提供数据访问的出口：分别根据缓存数据访问接口、主时序数据访问接口和索引数据访问接口提供对应的数据访问。

其中本发明涉及的物联网数据驱动器IoT-Data Driver，简称iOTD；分布式消息队列引擎Distributed Message Queuing Engine，简称DMQE；主时序数据存储器Time-Sequence-Data Storage，简称TDS；缓存数据存储器Cache-Data Storage，简称CDS)；索引数据存储器Index-Data Storage，简称IDS；数据写入协议层Data-Write Protocol，简称DW-Protocol；数据访问协议层Data-Read Protocol，简称DR-Protocol。

本发明方法尤其适用于物联网场景下，通过对数据存储架构的优化改进，提供分布式、高负载、多副本、多租户等技术特性的数据驱动器，实现对海量数据的存取效能提升。

具体应用中，在本发明方法的一些实施例中，提升物联网设备海量数据存取效能的过程可参考如下：

构建物联网数据驱动器iOTD，所述物联网数据驱动器iOTD包括分布式消息队列引擎DMQE、主时序数据存储器TDS、缓存数据存储器CDS、索引数据存储器IDS，根据物联网数据驱动器iOTD建立数据写入协议层DW-Protocol和数据访问协议层DR-Protocol，

采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器TDS，采用数据库集群方式部署缓存数据存储器CDS和索引数据存储器IDS。

具体地，搭建分布式消息队列引擎DMQE时，结合图1，采用开源分布式协调器ZooKeeper集群和开源数据队列Kakfa集群架构模式部署分布式消息队列引擎DMQE。其中Zookeeper集群作为分布式协调管理，存放Kafka集群的元数据及配置信息，负责Kafka集群节点的寻址与转发，为了满足ZooKeeper的选举机制，Zookeeper集群的节点数可保证单数，Kafka集群节点数量视业务量需求来定，部署完kafka集群，通过对server.properties等配置文件修改实现zookeeper集群与kafka集群的联动；

其中，生产者Producer是MQTT或HTTP服务请求，消费者Consumer是时序数据库InfluxDB，通过分布式消息队列Kafka达到削峰填谷的作用。

搭建主时序数据存储器TDS，采用开源的InfluxDB时序数据库进行部署，InfluxDB作为主数据库，负责物联终端采集的关键字段数据，由于终端数据是海量的，InfluxDB承载的数据存储压力巨大的，严重消耗硬盘和内存资源。本发明方法优化InfluxDB中标签tag和字段field的定义，降低数据库存储压力和内存加载压力，其中标签tag定义设备ID，通过设备类型和设备编码进行唯一区分；字段field指标列保留极少的列，只存储关键字段数据，可参考图6中主时序数据存储器TDS的数据结构，比如物联网的设备唯一标识字段，将完整字段数据，转存至索引数据库ElasticSearch中。

搭建索引数据存储器IDS，用于分摊主时序数据存储器TDS的海量数据，降低主数据库的数据存取压力，索引数据存储器IDS采用开源的索引数据库(Elasticsearch)进行部署，其中索引编码以设备ID进行定义，设备唯一标识对应主时序数据存储器TDS中的设备唯一标识，其他数据部分用普通列进行存储，目的是通过索引编码和物联网的设备唯一标识组合列，与主时序数据存储器TDS的索引数据进行快速匹配检索，，可参考图7中索引数据存储器IDS的数据结构。

搭建缓存数据存储器CDS，存储超出预设使用频率的数据，如配置数据或设备数据。缓存数据存储器CDS采用开源的缓存数据库Redis集群，可参考图2，按照哨兵模式进行部署，主要通过键值对Key-Value的方式进行存储，具体的key值可根据业务实际需求进行定义。Redis中数据直接写入内存的，所以Redis中存放的数据是少量的。

通过数据写入协议层DW-Protocol为设备数据采集方提供数据写入的入口，结合图3：比如数据写入协议层提供3个协议接口，分别是缓存数据消息队列CDS-Topic的接口、主时序数据消息队列TDS-Topic的接口、索引数据消息队列IDS-Topic的接口，开发者可以通过与不同的消息通道Topic进行协议对接，实现将数据推送至不同的队列通道中。再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器CDS，将主时序数据消息队列中数据有序写入主时序数据存储器TDS，将索引数据消息队列中数据有序写入索引数据存储器IDS。

通过数据访问协议层主要为上层应用开发者提供数据访问的出口，结合图4：比如数据访问协议层DR-Protocol提供3类数据库访问的RestAPI接口，分别是缓存数据访问接口CDS-Api、主时序数据访问接口TDS-Api和索引数据访问接口IDS-Api，应用开发者可以通过访问这三类API接口，实现对物联网数据驱动器中3类数据存储器的数据获取，并将数据应用到实际业务中。其中，通过缓存数据访问接口CDS-Api访问缓存数据存储器CDS，读取缓存数据并返回，通过主时序数据访问接口TDS-Api访问主时序数据存储器TDS，读取关键字段数据并返回，通过索引数据访问接口IDS-Api访问索引数据存储器IDS，读取完整字段数据并返回。

综合上述内容，结合图3和图4，获得图5中物联网数据驱动器iOTD应用架构。说明本发明方法通过对分布式消息队列引擎DMQE、主时序数据存储器TDS、缓存数据存储器CDS、索引数据存储器IDS、数据写入协议层DW-Protocol、数据访问协议层DR-Protocol的参数配置，使各个集群之间相互配合，最终实现分布式消息队列引擎DMQE通过Kafka集群降低大并发访问压力，起到削峰填谷的作用；通过索引数据库ElasticSearch分摊主数据库的数据存储压力，将大量物联网数据转存至ElasticSearch库中，并能更好的利用ElasticSearch数据库的索引能力；通过缓存数据库Redis存储一些常用数据，从而也减少了主数据库的频繁访问所带来的压力。

本发明还提供一种提升物联网设备海量数据存取效能的装置，包括物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层，

所述装置采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器，采用数据库集群方式部署缓存数据存储器和索引数据存储器，

主时序数据存储器存储采集的数据中关键字段数据，所述关键字段数据为物联网设备唯一标识，索引数据存储器存储完整字段数据，根据物联网设备唯一标识与关键字段数据进行匹配检索，缓存数据存储器存储超过预设使用频率的数据；

通过数据写入协议层提供数据写入的入口：分别根据缓存数据消息队列的接口、主时序数据消息队列的接口和索引数据消息队列的接口将采集的数据推送至对应队列的消息通道中，再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器，将主时序数据消息队列中数据有序写入主时序数据存储器，将索引数据消息队列中数据有序写入索引数据存储器；

通过数据访问协议层提供数据访问的出口：分别根据缓存数据访问接口、主时序数据访问接口和索引数据访问接口提供对应的数据访问。

上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

同样地，本发明装置提升海量数据处理的时效性、安全性和可靠性，解决了物联网设备接入过多引起的海量数据存取效能低下，且经常引起物联网数据采集平台的核心数据库崩溃等问题。本发明装置通过物联网数据驱动器iOTD构建前置的分布式消息队列引擎DMQE，避免了采集设备数量过多时导致的大并发写入问题，起到削峰填谷的作用，使采集数据有序的写入主时序数据存储器TDS，避免了数据写入时的拥堵现象；通过构建索引数据存储器IDS，将设备采集到的监控数据进行分流，保证主时序数据存储器TDS只存储关键的索引信息，将海量的监控数据转存至索引数据库IDS中，有效降低了主数据库的存储和读取的压力；对于使用频率比较高的数据，通过构建缓存数据存储器CDS进行存储，当访问该部分数据时，只需要读写缓存数据存储器CDS即可，也进一步降低了主数据库的存储和读取压力；通过对传统物联网数据存取架构的优化改造，实现了主时序数据存储器TDS写入和存取压力的分发，有效解决了设备过多引起的主数据库不堪压力而崩溃的问题，充分保证了物联网场景下海量数据存储效率及稳定性的大幅提升。

需要说明的是，上述各流程和各装置结构中不是所有的流程和模块都是必须的，可以根据实际的需要忽略某些流程或模块。各流程的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种提升物联网设备海量数据存取效能的方法，其特征是构建物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层，

采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器，采用数据库集群方式部署缓存数据存储器和索引数据存储器，通过主时序数据存储器存储采集的数据中关键字段数据，所述关键字段数据为物联网设备唯一标识，通过索引数据存储器存储完整字段数据，根据物联网设备唯一标识与关键字段数据进行匹配检索，通过缓存数据存储器存储超过预设使用频率的数据；

通过数据写入协议层提供数据写入的入口：分别根据缓存数据消息队列的接口、主时序数据消息队列的接口和索引数据消息队列的接口将采集的数据推送至对应队列的消息通道中，再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器，将主时序数据消息队列中数据有序写入主时序数据存储器，将索引数据消息队列中数据有序写入索引数据存储器；

通过数据访问协议层提供数据访问的出口：分别根据缓存数据访问接口、主时序数据访问接口和索引数据访问接口提供对应的数据访问。

2.根据权利要求1所述的一种提升物联网设备海量数据存取效能的方法，其特征是采用开源分布式协调器ZooKeeper集群和开源数据队列Kakfa集群部署分布式消息队列引擎，通过ZooKeeper对分布式消息队列引擎进行分布式协调管理，存放Kafka集群的元数据及配置信息，负责Kafka集群节点的寻址与转发。

3.根据权利要求1所述的一种提升物联网设备海量数据存取效能的方法，其特征是采用开源数据库Elasticsearch部署索引数据存储器，通过索引数据存储器存储完整字段数据，所述完整字段数据包括物联网设备唯一标识和其他字段数据，通过索引数据存储器将其他字段数据用普通列进行存储。

4.根据权利要求1所述的一种提升物联网设备海量数据存取效能的方法，其特征是通过开源的缓存数据库Redis按照哨兵模式部署缓存数据存储器，通过键值对Key-Value的方式进行数据缓存，根据业务实际需求定义key值。

5.根据权利要求3所述的一种提升物联网设备海量数据存取效能的方法，其特征是通过数据访问协议层提供的缓存数据访问接口访问缓存数据存储器，读取缓存数据并返回，通过数据访问协议层提供的主时序数据访问接口访问主时序数据存储器，读取关键字段数据并返回，通过数据访问协议层提供的索引数据访问接口访问索引数据存储器，读取完整字段数据并返回。

6.一种提升物联网设备海量数据存取效能的装置，其特征是包括物联网数据驱动器，所述物联网数据驱动器包括分布式消息队列引擎、主时序数据存储器、缓存数据存储器和索引数据存储器，根据物联网数据驱动器建立数据写入协议层和数据访问协议层，

所述装置采用单节点方式基于时序数据库InfluxDB部署主时序数据存储器，采用数据库集群方式部署缓存数据存储器和索引数据存储器，

主时序数据存储器存储采集的数据中关键字段数据，所述关键字段数据为物联网设备唯一标识，索引数据存储器存储完整字段数据，根据物联网设备唯一标识与关键字段数据进行匹配检索，缓存数据存储器存储超过预设使用频率的数据；

通过数据写入协议层提供数据写入的入口：分别根据缓存数据消息队列的接口、主时序数据消息队列的接口和索引数据消息队列的接口将采集的数据推送至对应队列的消息通道中，再通过分布式消息队列引擎将缓存数据消息队列中数据有序写入缓存数据存储器，将主时序数据消息队列中数据有序写入主时序数据存储器，将索引数据消息队列中数据有序写入索引数据存储器；

通过数据访问协议层提供数据访问的出口：分别根据缓存数据访问接口、主时序数据访问接口和索引数据访问接口提供对应的数据访问。

7.根据权利要求6所述的一种提升物联网设备海量数据存取效能的装置，其特征是采用开源分布式协调器ZooKeeper集群和开源数据队列Kakfa集群部署分布式消息队列引擎，通过ZooKeeper对分布式消息队列引擎进行分布式协调管理，存放Kafka集群的元数据及配置信息，负责Kafka集群节点的寻址与转发。

8.根据权利要求6所述的一种提升物联网设备海量数据存取效能的装置，其特征是采用开源数据库Elasticsearch部署索引数据存储器，通过索引数据存储器存储完整字段数据，所述完整字段数据包括物联网设备唯一标识和其他字段数据，通过索引数据存储器将其他字段数据用普通列进行存储。

9.根据权利要求6所述的一种提升物联网设备海量数据存取效能的装置，其特征是通过开源的缓存数据库Redis按照哨兵模式部署缓存数据存储器，通过键值对Key-Value的方式进行数据缓存，根据业务实际需求定义key值。

10.根据权利要求8所述的一种提升物联网设备海量数据存取效能的装置，其特征是通过数据访问协议层提供的缓存数据访问接口访问缓存数据存储器，读取缓存数据并返回，通过数据访问协议层提供的主时序数据访问接口访问主时序数据存储器，读取关键字段数据并返回，通过数据访问协议层提供的索引数据访问接口访问索引数据存储器，读取完整字段数据并返回。