CN108932324A - 数据存储方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种数据存储方法、装置、设备及存储介质，其中，该方法包括：接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间；基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。本发明实施例提供的技术方案能够减少数据存储的总条数，缩短数据查询的响应时间。

Description

数据存储方法、装置、设备及存储介质

技术领域

本发明实施例涉及存储技术领域，尤其涉及一种数据存储方法、装置、设备及存储介质。

背景技术

目前物联网的发展现状是设备接入数量多，设备上报频率高，设备使用周期年限长，基于这种现状，随着时间的积累，很容易积攒下大量的历史数据。传统的关系型数据库很难应对这种海量数据的存储和查询问题，以MySQL为例，当单张表的规模到达千万条记录时，查询数据和插入数据的性能就已经会明显下降，查询一条数据的响应时间至少在秒级以上了。而即使是使用目前较为流行的分布式数据库HBase，如果不能对数据存储结构进行合理的设计，查询响应时间仍然不尽人意。

发明内容

本发明实施例提供一种数据存储方法、装置、设备及存储介质，用以减少数据存储的总条数，缩短数据查询的响应时间。

本发明实施例第一方面提供一种数据存储方法，包括：

接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间；

基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。

在一种可能的设计中，所述基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，包括：

基于所述第一设备的标识和所述第一上报时间，在数据库中查找第一目标数据行，所述第一目标数据行中存储所述第一设备在第二上报时间上报的第二数据，所述第一上报时间和所述第二上报时间属于同一预设时间段；

若查找到所述第一目标数据行，则在所述第一目标数据行中增加数据列，将所述第一数据存储在所述数据列中；

若未查找到所述第一目标数据行，则在所述数据库中增加数据行，将所述第一数据存储在增加的数据行中。

在又一种可能的设计中，所述方法还包括：

接收第二设备发送的查询请求，所述查询请求中包括所述第一设备的标识；

基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据。

在又一种可能的设计中，所述查询请求还包括目标时间段；

所述基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据，包括：

基于所述第一设备的标识和所述目标时间段，从数据库中查找第二目标数据行，所述第二目标数据行存储所述第一设备在所述目标时间段内上报的数据；

从所述第二目标数据行中获取数据。

本发明实施例第二方面提供一种数据存储装置，包括：

第一接收模块，用于接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间；

存储模块，用于基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。

在一种可能的设计中，所述存储模块，包括：

查找子模块，用于基于所述第一设备的标识和所述第一上报时间，在数据库中查找第一目标数据行，所述第一目标数据行中存储所述第一设备在第二上报时间上报的第二数据，所述第一上报时间和所述第二上报时间属于同一预设时间段；

第一存储子模块，用于在查找到所述第一目标数据行时，在所述第一目标数据行中增加数据列，将所述第一数据存储在所述数据列中；

第二存储子模块，用于在未查找到所述第一目标数据行时，在所述数据库中增加数据行，将所述第一数据存储在增加的数据行中。

在又一种可能的设计中，所述装置还包括：

第二接收模块，用于接收第二设备发送的查询请求，所述查询请求中包括所述第一设备的标识；

获取模块，用于基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据。

在又一种可能的设计中，所述查询请求还包括目标时间段；

所述获取模块，具体用于：

基于所述第一设备的标识和所述目标时间段，从数据库中查找第二目标数据行，所述第二目标数据行存储所述第一设备在所述目标时间段内上报的数据；

从所述第二目标数据行中获取数据。

本发明实施例第三方面提供一种计算机设备，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

当所述处理器执行所述可执行指令时，可以执行上述第一方面所述的方法。

本发明实施例第四方面提供一种计算机可读存储介质，包括指令，当所述指令在所述计算机上运行时，所述计算机可以执行上述第一方面所述的方法。

本发明实施例中，通过接收第一设备上报的第一数据，基于第一数据包括的第一设备的标识和第一上报时间，将第一数据和第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行上，其中第一上报时间和第二上报时间属于同一预设时间段。从而本发明实施例通过将上报时间属于同一预设时间段的数据存储在同一数据行上，减少了数据存储的总条数，在数据查询时，由于数据存储的总条数减少了，进而能够缩短数据查询的响应时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据存储方法的流程图；

图2是本发明实施例提供的一种步骤102的执行方法流程图；

图3是本发明实施例提供的一种数据存储的结构图；

图4是本发明实施例提供的一种数据存储装置的结构示意图；

图5是本发明实施例提供的一种存储模块42的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤的过程或结构的装置不必限于清楚地列出的那些结构或步骤而是可包括没有清楚地列出的或对于这些过程或装置固有的其它步骤或结构。

在现有的物联网中，设备每上报一条数据，就在数据库中增加一行来存储该条数据。但是随着物联网中接入的设备越来越多，设备上报数据的频率越来越高，导致数据库中积累的数据行越来越多，很容易积攒下大量的历史数据，这会导致数据存储和查询性能下降。

针对现有技术存在的上述问题，本发明实施例提供了一种数据存储方法，该方法通过将同一设备在同一预设时间段内上报的数据存储在同一数据行中以减少数据存储的总条数，从而在数据查询时，由于数据存储的总条数降低了，进而能够有效缩短数据查询的响应时间。

下面结合附图以及具体实施例对本发明的技术方案进行详细的描述：

图1是本发明实施例提供的一种数据存储方法的流程图，该方法可以由一种数据存储装置来执行。如图1所示，本实施例提供的数据存储方法包括：

步骤101、接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间。

其中，本实施例关于“第一设备”的命名仅是为了将上报数据的设备与网络中的其他设备进行区分，不具有其他含义。本实施例中所称的第一设备可以是接入网络(比如，物联网，但不局限于物联网)的任意一种设备。本实施例不限定第一设备的具体形式或具体用途，为了便于理解本实施例的技术方案，可以示例性的将第一设备理解为如下设备中的任意一种：手机、电视、RFID设备、汽车。

本实施例中第一设备定期或不定期的向数据存储装置上报数据，该数据中至少包括第一设备的标识和数据的上报时间。

步骤102、基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。

其中，在存储第一数据时，可选择的方法包括如下几种：

在一种可能的存储方式中，数据库中的每个数据行均对应一个设备标识和一个预设时间段，在存储第一数据时，首先根据第一数据中包括的第一设备的标识和第一上报时间，在数据库中查找对应的数据行，该数据行中用于存储第一设备在第一上报时间所属的预设时间段(比如，以日期为单位)内上报的数据，再将第一数据存储在该数据行中。

另外，若是数据库中没有查找到同时与第一设备的标识和第一上报时间所属时间段对应的数据行，则添加一个新的数据行用来存储第一数据，并建立第一设备的标识、第一上报时间所属时间段与该数据行之间的对应关系。

在另一种可能的存储方式中，数据库中的每个数据行均对应一个设备标识和若干个上报时间，其中，数据行对应的每个上报时间，均为数据行中存储的数据的上报时间。在存储第一数据时，首先根据第一数据中包括的第一设备的标识查找该标标识对应的一个或多个数据行，再从查找到的数据行中确定对应的所有上报时间均与第一上报时间属于同一预设时间段(比如同一天)的数据行，将第一数据存储在该数据行中，并建立该数据行与第一上报时间之间的对应关系。类似的，若在数据库中没有查找到满足前述条件的数据行，则添加一个新的数据行存储第一数据，并建立第一设备的标识、第一上报时间与该数据行之间的对应关系。

进一步的，在上述数据存储方法的基础上，当接收到第二设备的查询请求时，首先从该查询请求中获取设备标识，为便于理解，这里假设查询请求中携带有第一设备的标识，则在获得第一设备标识后，就可以基于第一设备标识从数据库中提取出与第一设备的标识对应的所有数据行的数据。或者，在另一种可能设计中，还可以在查询请求中携带第二目标时间段，在这种设计中，还需要根据第二目标时间段对前述获得的所有数据行进行进一步的筛选，获得同时与第一设备标识和第二目标时间段对应的第二目标数据行，从第二目标数据行中提取数据。

本实施例中，通过接收第一设备上报的第一数据，基于第一数据包括的第一设备的标识和第一上报时间，将第一数据和第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行上，其中第一上报时间和第二上报时间属于同一预设时间段。从而本实施例通过将上报时间属于同一预设时间段的数据存储在同一数据行上，减少了数据存储的总条数，在数据查询时，由于数据存储的总条数减少了，进而能够缩短数据查询的响应时间。

图2是本发明实施例提供的一种步骤102的执行方法流程图，如图2所示，在图1实施例的基础上，该方法包括：

步骤201、基于所述第一设备的标识和所述第一上报时间，在数据库中查找第一目标数据行，所述第一目标数据行中存储所述第一设备在第二上报时间上报的第二数据，所述第一上报时间和所述第二上报时间属于同一预设时间段。

步骤202、若查找到所述第一目标数据行，则在所述第一目标数据行中增加数据列，将所述第一数据存储在所述数据列中。

步骤203、若未查找到所述第一目标数据行，则在所述数据库中增加数据行，将所述第一数据存储在增加的数据行中。

示例的，图3是本发明实施例提供的一种数据存储的结构图，如图3所示，在将第一数据存储在数据行中时，可以直接在数据行中添加数据列，将第一数据添加到数据列中，也可以先判断第一数据中除第一设备的标识和第一上报时间以外的其他数据(图3中data的部分)的有效性，比如当第一数据中的其他数据的格式和/或数据量大小符合预设要求时，则判断数据判断有效，将第一数据添加到前述新添加的数据列中。

当然上述仅是以图3为例所进行的示例说明而不是对本发明的唯一限定。

本实施例中，通过接收第一设备上报的第一数据，基于第一数据包括的第一设备的标识和第一上报时间，将第一数据和第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行上，其中第一上报时间和第二上报时间属于同一预设时间段。从而本实施例通过将上报时间属于同一预设时间段的数据存储在同一数据行上，减少了数据存储的总条数，在数据查询时，由于数据存储的总条数减少了，进而能够缩短数据查询的响应时间。

图4是本发明实施例提供的一种数据存储装置的结构示意图，如图4所示，该装置40包括：

第一接收模块41，用于接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间；

存储模块42，用于基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。

在一种可能的设计中，所述装置40还包括：

第二接收模块，用于接收第二设备发送的查询请求，所述查询请求中包括所述第一设备的标识；

获取模块，用于基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据。

在又一种可能的设计中，所述查询请求还包括目标时间段；

所述获取模块，具体用于：

基于所述第一设备的标识和所述目标时间段，从数据库中查找第二目标数据行，所述第二目标数据行存储所述第一设备在所述目标时间段内上报的数据；

从所述第二目标数据行中获取数据。

本实施例提供的数据存储装置能够用于执行图1实施例的方法，其执行方式和有益效果类似，在这里不再赘述。

图5是本发明实施例提供的一种存储模块42的结构示意图，如图5所示，在图4实施例的基础上，存储模块42包括：

查找子模块421，用于基于所述第一设备的标识和所述第一上报时间，在数据库中查找第一目标数据行，所述第一目标数据行中存储所述第一设备在第二上报时间上报的第二数据，所述第一上报时间和所述第二上报时间属于同一预设时间段；

第一存储子模块422，用于在查找到所述第一目标数据行时，在所述第一目标数据行中增加数据列，将所述第一数据存储在所述数据列中；

第二存储子模块423，用于在未查找到所述第一目标数据行时，在所述数据库中增加数据行，将所述第一数据存储在增加的数据行中。

本实施例提供的数据存储装置能够用于执行图2实施例的方法，其执行方式和有益效果类似，在这里不再赘述。

本发明实施例还提供一种计算机设备，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

当所述处理器执行所述可执行指令时，可以用于实现上述实施例的技术方案。

本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在所述计算机上运行时，所述计算机可以用于实现上述实施例的技术方案。

最后需要说明的是，本领域普通技术人员可以理解上述实施例方法中的全部或者部分流程，是可以通过计算机程序来指令相关的硬件完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可以为磁盘、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

本发明实施例中的各个功能单元可以集成在一个处理模块中，也可以是各个单元单独的物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现，并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。上述提到的存储介质可以是只读存储器、磁盘或光盘等。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据存储方法，其特征在于，包括：

接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间；

基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，包括：

基于所述第一设备的标识和所述第一上报时间，在数据库中查找第一目标数据行，所述第一目标数据行中存储所述第一设备在第二上报时间上报的第二数据，所述第一上报时间和所述第二上报时间属于同一预设时间段；

若查找到所述第一目标数据行，则在所述第一目标数据行中增加数据列，将所述第一数据存储在所述数据列中；

若未查找到所述第一目标数据行，则在所述数据库中增加数据行，将所述第一数据存储在增加的数据行中。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

接收第二设备发送的查询请求，所述查询请求中包括所述第一设备的标识；

基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据。

4.根据权利要求3所述的方法，其特征在于，所述查询请求还包括目标时间段；

所述基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据，包括：

基于所述第一设备的标识和所述目标时间段，从数据库中查找第二目标数据行，所述第二目标数据行存储所述第一设备在所述目标时间段内上报的数据；

从所述第二目标数据行中获取数据。

5.一种数据存储装置，其特征在于，包括：

第一接收模块，用于接收第一设备上报的第一数据，所述第一数据中包括所述第一设备的标识和所述第一数据的第一上报时间；

存储模块，用于基于所述第一设备的标识和所述第一数据的第一上报时间，将所述第一数据与所述第一设备在第二上报时间上报的第二数据存储在数据库的同一数据行，其中，所述第一上报时间和所述第二上报时间属于同一预设时间段。

6.根据权利要求5所述的装置，其特征在于，所述存储模块，包括：

查找子模块，用于基于所述第一设备的标识和所述第一上报时间，在数据库中查找第一目标数据行，所述第一目标数据行中存储所述第一设备在第二上报时间上报的第二数据，所述第一上报时间和所述第二上报时间属于同一预设时间段；

第一存储子模块，用于在查找到所述第一目标数据行时，在所述第一目标数据行中增加数据列，将所述第一数据存储在所述数据列中；

第二存储子模块，用于在未查找到所述第一目标数据行时，在所述数据库中增加数据行，将所述第一数据存储在增加的数据行中。

7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

第二接收模块，用于接收第二设备发送的查询请求，所述查询请求中包括所述第一设备的标识；

获取模块，用于基于所述第一设备的标识，从数据库中获取所述第一设备上报的数据。

8.根据权利要求7所述的装置，其特征在于，所述查询请求还包括目标时间段；

所述获取模块，具体用于：

基于所述第一设备的标识和所述目标时间段，从数据库中查找第二目标数据行，所述第二目标数据行存储所述第一设备在所述目标时间段内上报的数据；

从所述第二目标数据行中获取数据。

9.一种计算机设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

当所述处理器执行所述可执行指令时，可以执行上述权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，包括指令，当所述指令在所述计算机上运行时，所述计算机可以执行上述权利要求1-4中任一项所述的方法。