CN108121776A - 一种数据读取方法及装置 - Google Patents

Abstract

本申请公开了一种数据读取方法及装置，方便了查询者读取数据，提高了数据读取效率，而且分布式存储服务器可以改善存储容量的限制。本申请实施例系统包括：当设备数据存储至分布式存储服务器时，获取设备数据的数据存储表，数据存储表用于表示设备数据的关键参数与存储服务器的关系；接收目标设备的数据读取请求，数据读取请求包括查询关键参数；根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息，存储地址信息包括至少一个地址信息；根据存储地址信息确定目标存储服务器，目标存储服务器至少为一个。

Description

一种数据读取方法及装置

技术领域

本申请涉及数据读取领域，具体涉及一种数据读取方法及装置。

背景技术

在目前需要存储大量数据的场景下，例如，物联网系统中，由于需要采集的设备数量庞大，并且由于服务器作为设备和应用之间的数据中心，不仅起到数据转发的作用，而且还需要具备数据存储的功能。

但是，传统物联网系统的服务器在存储设备数据时，采用的是关系型数据库，那么在存储设备数据就需要建立索引表，以便后续查询设备数据时，根据索引从关系型数据库中提取出设备数据，而且在物联网系统中，设备数据是非常庞大的，索引表也会占用大量的存储资源，并且在读取设备数据时，需要遍历索引表才能查询得到设备数据的存储地址，影响数据提取的效率，而且对于查询者来说操作复杂。

发明内容

本申请提供一种数据读取方法及装置，方便了查询者读取数据，提高了数据读取效率，而且分布式存储服务器可以改善存储容量的限制。

本申请第一方面提供一种数据读取方法，包括：

当设备数据存储至分布式存储服务器时，获取所述设备数据的数据存储表，所述数据存储表用于表示所述设备数据与存储服务器的关系；

接收目标设备的数据读取请求，所述数据读取请求包括查询关键参数；

根据所述查询关键参数及所述数据存储表，得到所述目标设备的设备数据的存储地址信息；

根据所述存储地址信息确定目标存储服务器。

结合本申请第一方面，本申请第一方面第一实施方式中，所述分布式存储服务器包括时序数据库，所述设备数据包括设备标识及时间信息，所述查询关键参数包括所述目标设备的目标设备标识及读取时间信息，所述读取时间信息为时间点信息或时间段信息。

结合本申请第一方面第一实施方式，本申请第一方面第二实施方式中，所述根据所述查询关键参数及所述数据存储表，得到所述目标设备的设备数据的存储地址信息，包括：

根据所述查询关键参数得到目标设备标识及读取时间信息；

根据所述目标设备标识及所述读取时间信息，查询所述数据存储表得到所述目标设备的设备数据的存储地址信息。

结合本申请第一方面第二实施方式，本申请第一方面第三实施方式中，所述存储地址为存储服务器的IP地址，

所述根据所述存储地址信息确定目标存储服务器，包括：

根据所述存储地址信息得到对应的存储服务器的IP地址；

根据所述IP地址确定目标存储服务器。

结合本申请第一方面、第一方面第一实施方式、第一方面第二实施方式或第一方面第三实施方式，本申请第一方面第四实施方式中，所述根据所述存储地址信息确定目标存储服务器之后，还包括：

根据所述读取时间信息按照时序规则从所述目标存储服务器的时序数据库中，读取得到所述目标设备的设备数据。

本申请第二方面提供一种数据读取装置，包括：

获取模块，用于当设备数据存储至分布式存储服务器时，获取所述设备数据的数据存储表，所述数据存储表用于表示所述设备数据的关键参数与存储服务器的关系；

所述获取模块，还用于接收目标设备的数据读取请求，所述数据读取请求包括查询关键参数；

处理模块，用于根据所述查询关键参数及所述数据存储表，得到所述目标设备的设备数据的存储地址信息；

所述处理模块，还用于根据所述存储地址信息确定目标存储服务器。

结合本申请第二方面，本申请第二方面第一实施方式中，所述分布式存储服务器包括时序数据库，所述设备数据包括设备标识及时间信息，所述查询关键参数包括所述目标设备的目标设备标识及读取时间信息，所述读取时间信息为时间点信息或时间段信息。

结合本申请第二方面第一实施方式，本申请第二方面第二实施方式中，

所述处理模块，还用于根据所述查询关键参数得到目标设备标识及读取时间信息；

所述处理模块，还用于根据所述目标设备标识及所述读取时间信息，查询所述数据存储表得到所述目标设备的设备数据的存储地址信息。

结合本申请第二方面第二实施方式，本申请第二方面第三实施方式中，所述存储地址为存储服务器的IP地址，

所述处理模块，还用于根据所述存储地址信息得到对应的存储服务器的IP地址；

所述处理模块，还用于根据所述IP地址确定目标存储服务器。

结合本申请第二方面、第二方面第一实施方式、第二方面第二实施方式或第二方面第三实施方式，本申请第一方面第四实施方式中，所述装置还包括：

读取模块，用于根据所述读取时间信息按照时序规则从所述目标存储服务器的时序数据库中，读取得到所述目标设备的设备数据。

综上所述，在本申请实施例中设备数据是存储在分布式存储服务器中的，在存储时，会生成数据存储表，数据读取装置获取设备数据的数据存储表，数据存储表用于表示设备数据的关键参数与存储服务器的关系；当接收到数据查询者发送的目标设备的数据读取请求时，数据读取请求包括查询关键参数；根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息；根据存储地址信息确定目标存储服务器。因此，在分布式存储服务器中，使用数据读取装置就能统一处理的处理所有数据查询者的读取请求，对于查询者并不需要知道不同的数据存在哪个分布式存储服务器上，只需要查询者提供查询关键参数即可，方便了查询者读取数据，提高了数据读取效率，而且分布式存储服务器可以改善存储容量的限制。

附图说明

图1为本申请提供的数据读取方法的一个实施例流程示意图；

图2为本申请提供的数据读取装置的一个实施例结构示意图；

图3为本申请提供的数据读取装置的另一个实施例结构示意图。

具体实施方式

本申请提供一种数据读取方法及装置，方便了查询者读取数据，提高了数据读取效率，而且分布式存储服务器可以改善存储容量的限制。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本申请保护的范围。

下面通过实施例对本申请提供的数据读取方法进行详细的说明。

请参阅图1，本申请实施例提供一种数据读取方法，包括：

101、获取设备数据的数据存储表；

本实施例中，主要应用于物联网系统中，存储服务器的布局方式为分布式结构，分布式结构的特点为将数据分散存储在多个独立的存储服务器中，传统存储方式为集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储数据的需要。而物联网系统正是存在数据量庞大的特点，因此，采用的是分布式存储服务器，当设备数据存储至分布式存储服务器时，数据存储表用于表示设备数据的关键参数与存储服务器的关系，设备数据可能分别存储到不同的存储服务器中，也可能作为整体保存在一个存储服务器中，不做具体限定。由于设备数据是由物联网系统中的物联网设备产生的，并且是掌控物联网设备状态的重要指标，那么设备数据的关键参数中可以包括设备标识，设备标识表示的是用于唯一标识该物联网设备。数据存储表表示的是设备数据的关键参数与存储服务器的关系，可以以二维表来描述，存储服务器可以用于唯一标识来标注，例如IP地址。在存储完设备数据之后，需要将数据存储表发送到数据读取装置中，以实现数据读取装置的汇总操作。

102、接收目标设备的数据读取请求；

本实施例中，在设备数据存储完成之后，应用端(即查询者)在需要查看物联网设备的运行状态时，就需要通过物联网系统从存储服务器获得设备数据，因此，通过物联网应用平台发起数据读取请求，数据读取装置接收目标设备的数据读取请求，由于目标设备是确定的，可以是一个，也可以是一类，也可以是多类，数据读取请求包括查询关键参数，查询关键参数可以是目标设备的目标设备标识。

103、根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息；

本实施例中，数据读取装置根据数据读取请求中的查询关键参数和设备数据存储时生成的数据存储表进行匹配，就能得到存储目标设备的设备数据的存储地址信息。

104、根据存储地址信息确定目标存储服务器。

本实施例中，由于存储地址信息是与存储服务器相关的，那么根据存储地址信息就能够确定目标存储服务器，目标存储服务器的数据至少为一个。

本申请实施例中，设备数据是存储在分布式存储服务器中的，在存储时，会生成数据存储表，数据读取装置获取设备数据的数据存储表，数据存储表用于表示设备数据的关键参数与存储服务器的关系；当接收到数据查询者发送的目标设备的数据读取请求时，数据读取请求包括查询关键参数；根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息；根据存储地址信息确定目标存储服务器。因此，在分布式存储服务器中，使用数据读取装置就能统一处理的处理所有数据查询者的读取请求，对于查询者并不需要知道不同的数据存在哪个分布式存储服务器上，只需要查询者提供查询关键参数即可，方便了查询者读取数据，提高了数据读取效率，而且分布式存储服务器可以改善存储容量的限制。

可选的，本申请的一些实施例中，分布式存储服务器包括时序数据库，设备数据包括设备标识及时间信息，查询关键参数包括目标设备的目标设备标识及读取时间信息，读取时间信息为时间点信息或时间段信息。

本申请实施例中，由于物联网系统的物联网设备的设备数据的特征是，需要定期或不定期地上报，所以在分布式存储服务器中采用了时序数据库Influxdb，而且InfluxDB是一个开源分布式时序、事件和指标数据库，使用Go语言编写，无需外部依赖，其设计目标是实现分布式和水平伸缩扩展。有三大特性：1、Time Series(时间序列)：可以使用与时间有关的相关函数(如最大，最小，求和等)；2、Metrics(度量)：可以实时对大量数据进行计算；3、Eevents(事件)：它支持任意的事件数据。使用该数据存储这种时序数据有许多优点，如占用磁盘空间小，数据易统计易展示，读取速度快。既然采用的是时序数据库存储设备数据，而且设备数据必然包括设备标识及时间信息，数据读取请求中的查询关键参数就应该包括目标设备的目标设备标识及读取时间信息，读取时间信息按照需求可以是某个时间点的时间点信息，或某一段时间内的时间段信息。

可选的，本申请的一些实施例中，根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息，包括：

根据查询关键参数得到目标设备标识及读取时间信息；

根据目标设备标识及读取时间信息，查询数据存储表得到目标设备的设备数据的存储地址信息。

本申请实施例中，查询关键参数中包括目标设备标识及读取时间信息，那么按照目标设备标识及读取时间信息对数据存储表的二维表中所有的项进行匹配，把符合目标设备标识及读取时间信息的所有项集合，然后得到了对应的存储服务器的存储地址信息，这些存储地址信息至少指向一个存储服务器。

可选的，本申请的一些实施例中，存储地址信息为存储服务器的IP地址，

根据存储地址信息确定目标存储服务器，包括：

根据存储地址信息得到对应的存储服务器的IP地址；

根据IP地址确定目标存储服务器。

本申请实施例中，存储地址信息具体为存储服务器的IP地址，由于在网络中任何一个服务器的IP地址都是唯一的，那么就能按照存储地址信息得到IP地址，根据IP地址就能确定目标存储服务器，目标存储服务器就是存储有目标设备的设备数据的存储服务器，目标存储服务器的数量至少是一个。

可选的，本申请的一些实施例中，根据存储地址信息确定目标存储服务器之后，还包括：

根据读取时间信息按照时序规则从目标存储服务器的时序数据库中，读取得到目标设备的设备数据。

本申请实施例中，在已经确定了目标存储服务器之后，又已知存储服务器采用的都是时序数据库Influxdb，那么根据读取时间信息按照时序规则就能从时序数据库Influxdb中读取出目标设备的设备数据，正是基于物联网系统中设备数据的时序特点，又结合了时序数据库Influxdb的特点，使得时序数据库Influxdb存储这种时序数据有许多优点，如占用磁盘空间小，数据易统计易展示，读取速度快等等。

请参阅图2，本申请实施例提供一种数据读取装置，包括：

获取模块201，用于当设备数据存储至分布式存储服务器时，获取设备数据的数据存储表，数据存储表用于表示设备数据的关键参数与存储服务器的关系；

获取模块201，还用于接收目标设备的数据读取请求，数据读取请求包括查询关键参数；

处理模块202，用于根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息；

处理模块202，还用于根据存储地址信息确定目标存储服务器。

本申请实施例中，设备数据是存储在分布式存储服务器中的，在存储时，会生成数据存储表，获取模块201获取设备数据的数据存储表，数据存储表用于表示设备数据的关键参数与存储服务器的关系；当获取模块201接收到数据查询者发送的目标设备的数据读取请求时，数据读取请求包括查询关键参数；处理模块202根据查询关键参数及数据存储表，得到目标设备的设备数据的存储地址信息；处理模块202根据存储地址信息确定目标存储服务器。因此，在分布式存储服务器中，使用数据读取装置就能统一处理的处理所有数据查询者的读取请求，对于查询者并不需要知道不同的数据存在哪个分布式存储服务器上，只需要查询者提供查询关键参数即可，方便了查询者读取数据，提高了数据读取效率，而且分布式存储服务器可以改善存储容量的限制。

可选的，本申请的一些实施例中，分布式存储服务器包括时序数据库，设备数据包括设备标识及时间信息，查询关键参数包括目标设备的目标设备标识及读取时间信息，读取时间信息为时间点信息或时间段信息。

本申请实施例中，由于物联网系统的物联网设备的设备数据的特征是，需要定期或不定期地上报，所以在分布式存储服务器中采用了时序数据库Influxdb，而且InfluxDB是一个开源分布式时序、事件和指标数据库，使用Go语言编写，无需外部依赖，其设计目标是实现分布式和水平伸缩扩展。有三大特性：1、Time Series：可以使用与时间有关的相关函数(如最大，最小，求和等)；2、Metrics：可以实时对大量数据进行计算；3、Eevents：它支持任意的事件数据。使用该数据存储这种时序数据有许多优点，如占用磁盘空间小，数据易统计易展示，读取速度快。既然采用的是时序数据库存储设备数据，而且设备数据必然包括设备标识及时间信息，数据读取请求中的查询关键参数就应该包括目标设备的目标设备标识及读取时间信息，读取时间信息按照需求可以是某个时间点的时间点信息，或某一段时间内的时间段信息。

可选的，本申请的一些实施例中，

处理模块202，还用于根据查询关键参数得到目标设备标识及读取时间信息；

处理模块202，还用于根据目标设备标识及读取时间信息，查询数据存储表得到目标设备的设备数据的存储地址信息。

本申请实施例中，查询关键参数中包括目标设备标识及读取时间信息，那么处理模块202按照目标设备标识及读取时间信息对数据存储表的二维表中所有的项进行匹配，把符合目标设备标识及读取时间信息的所有项集合，然后得到了对应的存储服务器的存储地址信息，这些存储地址信息至少指向一个存储服务器。

可选的，本申请的一些实施例中，存储地址为存储服务器的IP地址，

处理模块202，还用于根据存储地址信息得到对应的存储服务器的IP地址；

处理模块202，还用于根据IP地址确定目标存储服务器。

本申请实施例中，存储地址信息具体为存储服务器的IP地址，由于在网络中任何一个服务器的IP地址都是唯一的，那么就能处理模块202按照存储地址信息得到IP地址，根据IP地址就能确定目标存储服务器，目标存储服务器就是存储有目标设备的设备数据的存储服务器，目标存储服务器的数量至少是一个。

可选的，如图3所示，本申请的一些实施例中，装置还包括：

读取模块301，用于根据读取时间信息按照时序规则从目标存储服务器的时序数据库中，读取得到目标设备的设备数据。

本申请实施例中，在已经确定了目标存储服务器之后，又已知存储服务器采用的都是时序数据库Influxdb，那么读取模块301根据读取时间信息按照时序规则就能从时序数据库Influxdb中读取出目标设备的设备数据，正是基于物联网系统中设备数据的时序特点，又结合了时序数据库Influxdb的特点，使得时序数据库Influxdb存储这种时序数据有许多优点，如占用磁盘空间小，数据易统计易展示，读取速度快等等。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据读取方法，其特征在于，包括：

当设备数据存储至分布式存储服务器时，获取所述设备数据的数据存储表，所述数据存储表用于表示所述设备数据与存储服务器的关系；

接收目标设备的数据读取请求，所述数据读取请求包括查询关键参数；

根据所述查询关键参数及所述数据存储表，得到所述目标设备的设备数据的存储地址信息；

根据所述存储地址信息确定目标存储服务器。

2.根据权利要求1所述的方法，其特征在于，所述分布式存储服务器包括时序数据库，所述设备数据包括设备标识及时间信息，所述查询关键参数包括所述目标设备的目标设备标识及读取时间信息，所述读取时间信息为时间点信息或时间段信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述查询关键参数及所述数据存储表，得到所述目标设备的设备数据的存储地址信息，包括：

根据所述查询关键参数得到目标设备标识及读取时间信息；

根据所述目标设备标识及所述读取时间信息，查询所述数据存储表得到所述目标设备的设备数据的存储地址信息。

4.根据权利要求3所述的方法，其特征在于，所述存储地址信息为存储服务器的互联网协议IP地址，

所述根据所述存储地址信息确定目标存储服务器，包括：

根据所述存储地址信息得到对应的存储服务器的IP地址；

根据所述IP地址确定目标存储服务器。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述存储地址信息确定目标存储服务器之后，还包括：

根据所述读取时间信息按照时序规则从所述目标存储服务器的时序数据库中，读取得到所述目标设备的设备数据。

6.一种数据读取装置，其特征在于，包括：

获取模块，用于当设备数据存储至分布式存储服务器时，获取所述设备数据的数据存储表，所述数据存储表用于表示所述设备数据的关键参数与存储服务器的关系；

所述获取模块，还用于接收目标设备的数据读取请求，所述数据读取请求包括查询关键参数；

处理模块，用于根据所述查询关键参数及所述数据存储表，得到所述目标设备的设备数据的存储地址信息；

所述处理模块，还用于根据所述存储地址信息确定目标存储服务器。

7.根据权利要求6所述的装置，其特征在于，所述分布式存储服务器包括时序数据库，所述设备数据包括设备标识及时间信息，所述查询关键参数包括所述目标设备的目标设备标识及读取时间信息，所述读取时间信息为时间点信息或时间段信息。

8.根据权利要求7所述的装置，其特征在于，

所述处理模块，还用于根据所述查询关键参数得到目标设备标识及读取时间信息；

所述处理模块，还用于根据所述目标设备标识及所述读取时间信息，查询所述数据存储表得到所述目标设备的设备数据的存储地址信息。

9.根据权利要求8所述的装置，其特征在于，所述存储地址为存储服务器的互联网协议IP地址，

所述处理模块，还用于根据所述存储地址信息得到对应的存储服务器的IP地址；

所述处理模块，还用于根据所述IP地址确定目标存储服务器。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述装置还包括：

读取模块，用于根据所述读取时间信息按照时序规则从所述目标存储服务器的时序数据库中，读取得到所述目标设备的设备数据。