CN110704439B - 数据存储方法及装置 - Google Patents

数据存储方法及装置 Download PDF

Info

Publication number
CN110704439B
CN110704439B CN201910922634.5A CN201910922634A CN110704439B CN 110704439 B CN110704439 B CN 110704439B CN 201910922634 A CN201910922634 A CN 201910922634A CN 110704439 B CN110704439 B CN 110704439B
Authority
CN
China
Prior art keywords
data
time period
stored
piece
reporting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910922634.5A
Other languages
English (en)
Other versions
CN110704439A (zh
Inventor
张益宁
于乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhidao Hechuang Technology Co ltd
Original Assignee
Beijing Zhidao Hechuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhidao Hechuang Technology Co ltd filed Critical Beijing Zhidao Hechuang Technology Co ltd
Priority to CN201910922634.5A priority Critical patent/CN110704439B/zh
Publication of CN110704439A publication Critical patent/CN110704439A/zh
Application granted granted Critical
Publication of CN110704439B publication Critical patent/CN110704439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种数据存储方法及装置,其中方法应用于设备端,方法包括:获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;将各条数据存储到设备端的内部存储空间;判断是否到达设备端的上报时间点;在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端,该方法通过将所有采集数据存储到设备端的内部存储空间,在到达上报时间点时将最新的采集数据上报给服务端,从而减少了服务端上的数据存储量,降低了服务端的维护成本、确保了服务端的数据查询效率。

Description

数据存储方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据存储方法及装置。
背景技术
随着物联网、5G的大规模应用,可联网的设备逐年增多、向服务器传递数据的频次也逐渐提高。目前,各个设备采集的所有数据,是全部上报给服务器进行存储的,导致服务器上存储的数据量过大,导致服务端的维护成本高,数据的计算、查询效率降低。
发明内容
本申请的目的旨在至少在一定程度上解决上述技术问题之一。
为此,本申请的第一个目的在于提出一种数据存储方法,该方法通过将所有采集数据存储到设备端的内部存储空间,在到达上报时间点时将最新的采集数据上报给服务端,从而减少了服务端上的数据存储量,降低了服务端的维护成本、确保了服务端的数据查询效率。
本申请的第二个目的在于提出另一种数据存储方法。
本申请的第三个目的在于提出一种数据存储装置。
本申请的第四个目的在于提出另一种数据存储装置。
本申请的第五个目的在于提出一种设备端。
本申请的第六个目的在于提出一种服务端。
本申请的第七个目的在于提出一种非临时性计算机可读存储介质。
本申请的第八个目的在于提出另一种非临时性计算机可读存储介质。
为达上述目的,本申请第一方面实施例提出了一种数据存储方法,应用于设备端,包括:获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;将各条数据存储到设备端的内部存储空间;判断是否到达设备端的上报时间点;在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。
本申请实施例的数据存储方法,应用于设备端,该方法通过获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;将各条数据存储到设备端的内部存储空间;判断是否到达设备端的上报时间点;在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。该方法通过将所有采集数据存储到设备端的内部存储空间,在到达上报时间点时将最新的采集数据上报给服务端,从而减少了服务端上的数据存储量,降低了服务端的维护成本、确保了服务端的数据查询效率。
为达上述目的,本申请第二方面实施例提出了另一种数据存储方法,应用于服务端,该方法包括:接收设备端在上报时间点上报的数据,所述数据为所述上报时间点之前设备端采集的最新数据,所述数据包括:设备端标识、时间戳、数据识别码和数据内容;所述设备端采集的各个数据存储在设备端中;将所述数据存储到服务端中与所述时间戳对应的分表中。
本申请实施例的数据存储方法,通过接收设备端在上报时间点上报的数据,所述数据为所述上报时间点之前设备端采集的最新数据,所述数据包括:设备端标识、时间戳、数据识别码和数据内容;所述设备端采集的各个数据存储在设备端中;将所述数据存储到服务端中与所述时间戳对应的分表中。该方法降低了服务端的维护成本、确保了服务端的数据查询效率。
为达上述目的,本申请第三方面实施例提出了一种数据存储装置,应用于设备端,该数据存储装置包括:获取模块,用于获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;存储模块,用于将所述各条数据存储到设备端的内部存储空间;判断模块,用于判断是否到达所述设备端的上报时间点;上报模块,用于在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将所述最新数据上报给服务端。
本申请实施例的数据存储装置,应用于设备端,通过获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;将各条数据存储到设备端的内部存储空间;判断是否到达设备端的上报时间点;在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。由此,通过将所有采集数据存储到设备端的内部存储空间,在到达上报时间点时将最新的采集数据上报给服务端,从而减少了服务端上的数据存储量,降低了服务端的维护成本、确保了服务端的数据查询效率。
为达上述目的,本申请第四方面实施例提出了另一种数据存储装置,应用于服务端,该数据存储装置包括:接收模块,用于接收设备端在上报时间点上报的数据,所述数据为所述上报时间点之前设备端采集的最新数据,所述数据包括:设备端标识、时间戳、数据识别码和数据内容;所述设备端采集的各个数据存储在设备端中;存储模块,用于将所述数据存储到服务端中与所述时间戳对应的分表中。
本申请实施例的另一种数据存储装置,应用于服务端,通过接收设备端在上报时间点上报的数据,所述数据为所述上报时间点之前设备端采集的最新数据,所述数据包括:设备端标识、时间戳、数据识别码和数据内容;所述设备端采集的各个数据存储在设备端中;将所述数据存储到服务端中与所述时间戳对应的分表中。该装置降低了服务端的维护成本、确保了服务端的数据查询效率。
为达上述目的,本申请第五方面实施例提出了一种设备端,该设备端包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行程序时实现本申请第一方面实施例所述的数据存储方法。
为达上述目的,本申请第六方面实施例提出了一种服务端,该服务端包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行程序时实现本申请第二方面实施例所述的数据存储方法。
为达上述目的,本申请第七方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请第一方面实施例所述的数据存储方法。
为达上述目的,本申请第八方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第二方面实施例所述的数据存储方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请一个实施例的数据存储方法的流程示意图;
图2为根据本申请另一个实施例的数据存储方法的流程示意图;
图3为根据本申请又一个实施例的数据存储方法的流程示意图;
图4为根据本申请再一个实施例的数据存储方法的流程示意图;
图5为根据本申请设备端缓冲区数据存储示意图;
图6为根据本申请一个实施例的另一种数据存储方法的流程示意图;
图7为根据本申请另一个实施例的另一种数据存储方法的流程示意图;
图8为根据本申请一个实施例的数据存储装置的结构示意图;
图9为根据本申请一个实施例的另一种数据存储装置的结构示意图。
图10为根据本申请一个实施例的设备端的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的数据存储方法及装置。
图1为本申请实施例提供的一种数据存储方法的流程示意图。需要说明的是,本申请实施例的数据存储方法应用于设备端。如图1所示,该数据存储方法包括以下步骤:
步骤101,获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容。
在本申请实施例中,设备端指的是数据采集设备,例如温度采集设备、电压采集设备、电流采集设备等。其中,温度采集设备例如温度传感器等。电压采集设备例如电压传感器等。设备端采集的数据例如可以为温度、电压、电流等。本实施例中,设备端采集的数据可以为设备端自身采集的外界数据、用户在设备端输入的数据、或者设备端根据需求从其他设备导入的外界数据等。其中每条数据可包括但不限于时间戳、数据识别码和数据内容等。其中,时间戳可表示数据的获取时间;数据识别码用于表示数据的类别。时间戳相同的数据,数据识别码不同则为不同的数据;数据内容可为数据的具体内容。
另外,每条数据中还可以包括:预留指纹特征位置、结束符等。步骤102,将各条数据存储到设备端的内部存储空间。
在本申请实施例中,获取设备端采集的各条数据之后,将各条数据存储到设备端的内部存储空间。其中,内部存储空间可为内部循环存储空间。内部存储空间的存储量例如可以为32G、64G等,以便能够存储足够量的数据。
其中,将各条数据存储到设备端的内部存储空间时,为了设备端可以更好地对获取的数据进行整理,各条数据可以按批存储。作为一种示例,可根据各条数据的时间戳,当各个时间戳的最大时间差值等于预设存储周期时,确定所述各条数据可以作为一批,获取所述各条数据在内部循环存储空间中的待存储区域,如果待存储区域存在已存数据,根据已存数据的总权重以及各条数据的总权重确定是否将所述各条数据存储到待存储区域。
其中,将各条数据存储到设备端的内部存储空间后,为了减少在设备端查询数据时的查询速度,可以将内部存储空间中命中率较高的数据存储到缓存区。作为一种示例,在内存存储空间中各个存储周期的数据差分编码存储的情况下,可根据内部存储空间的被访问记录生成被检索时间列表,并对被检索时间列表对应的命中率大于预设命中率阈值的第一存储周期的数据进行差分解码,将差分解码后的数据存储到设备端的缓存区中。具体详见后续实施例的描述。
步骤103,判断是否到达设备端的上报时间点。
在本申请实施例中,可实时判断是否到达设备端的上报时间点。其中,上报时间点是根据上报周期确定的,每隔一个上报周期设置一个上报时间点。其中,上报周期可由服务端进行配置。比如,上报周期为一天、两天等。在上报周期为一天的情况下,上报时间点为每天的固定时间点。
步骤104,在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。
进一步地,当达到上报时间点时,可获取上报时间点之前设备端采集的最新数据,并将最新数据上报给服务端。
可选地,当达到上报时间点时,可获取上报时间点之前设备端采集的最新数据,并在最新数据中添加设备端标识,并将添加设备端标识的最新数据上报给服务端。其中,该设备端标识可唯一标识设备端,以便服务端通过设备端标识确定进行数据上报的设备端是哪个设备端。
作为一种示例,设备端可通过2G、3G、4G、5G等运营商网络或其他网络连接手段与服务端建立传输控制协议(Transmission Control Protocol,简称TCP)连接,以进行数据上报或者其他数据通信。
进一步地,在上述实施例的基础上,每条数据还可以包括:指纹特征;对应的,所述的方法还可以包括:判断各条数据中是否存在对应的指纹特征与预设特征匹配的第一数据;若存在第一数据,则将第一数据上报给服务端。
其中,指纹特征可以为对时间戳等进行指纹运算得到的特征。其中,指纹运算,是指通过某种规则对一段或一个数据进行特征提取,产生的特征矩阵。其中,指纹运算方法可以由服务端配置;预设特征,也可以由服务端配置。其中,指纹特征例如可以为数据大小范围、时间点、时间段、或者数据的某个或者某些参数等。本实施例中,当某条数据的指纹特征与预设特征匹配时,表示该条数据为服务端需要存储的数据。
本申请实施例的数据存储方法,应用于设备端,该方法通过获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;将各条数据存储到设备端的内部存储空间;判断是否到达设备端的上报时间点;在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。该方法通过将所有采集数据存储到设备端的内部存储空间,在到达上报时间点时将最新的采集数据上报给服务端,从而减少了服务端上的数据存储量,降低了服务端的维护成本、确保了服务端的数据查询效率。
进一步地,结合参考图2,在图1所示实施例的基础上,步骤102具体可以包括以下步骤:
步骤201,根据各条数据的时间戳,确定各个时间戳的最大时间差值是否等于预设存储周期。
不难理解的是,设备端采集的数据,每条数据可包括但不限于时间戳、数据识别码和数据内容,其中,针对各条数据中的每两条数据,获取该两条数据的时间戳的差值;将该差值作为该两条数据的时间差值;从每条数据的时间差值中选择最大时间差值;将最大时间差值与预设存储周期进行比对,确定最大时间差值是否等于预设存储周期。其中,存储周期可预先进行设置或调整,比如,一天、6小时、12小时等。
步骤202,若各个时间戳的最大时间差值等于预设存储周期,则获取各条数据在内部循环存储空间中的待存储区域。
在本申请实施例中,若各个时间戳的最大时间差值等于预设存储周期,表示所述各条数据可以作为一批待存储数据,则设备端可自动分配各条数据在内部循环存储空间中的待存储区域地址,通过预设的内存地址获取指令可返回各条数据在内部循环存储空间中的待存储区域地址,以获取各条数据在内部循环存储空间中的待存储区域;若各个时间戳的最大时间差值小于预设存储周期,则不作处理。
步骤203,判断待存储区域是否存在已存数据。
在本申请实施例中,在获取到各条数据在内部循环存储空间中的待存储区域后,可判断待存储区域是否存在已存数据。
作为一种示例,设备端可预先设置数据判断指令,在判断待存储区域是否存在已存数据时,对待存储区域发出数据判断指令,如果数据判断指令返回值不为空,则表示待存储区域已经存在已存数据;如果数据判断指令返回值为空,则表示待存储区域不存在已存数据。
步骤204,若待存储区域存在已存数据,则确定已存数据的总权重,以及各条数据的总权重。
其中,可选地,如图3所示,各条数据的总权重的其中一种确定方法的具体步骤如下:
步骤301,获取当前时间与各条数据中第一时间戳的时间差值;第一时间戳为各条数据中的最小时间戳或者最大时间戳。
步骤302,获取各条数据的总命中率。
步骤303,对时间差值和总命中率加权求和,得到各条数据的总权重。
在本申请实施例中,将设备端当前时间与各条数据中第一时间戳进行比对,获取当前时间与各条数据中第一时间戳的时间差值;之后,数据存储装置可统计设备端采集的各条数据中的总访问次数,各条数据的总命中率可根据各条数据中的总访问次数以及内部存储空间中所有数据的总访问次数确定,比如,总命中率=各条数据的总访问次数/内部存储空间中所有数据的总访问次数*100%。最后,对时间差值和总命中率加权求和,得到各条数据的总权重。
为了更清楚地说明根据第一时间戳的时间差值和总命中率加权求和,得到各条数据的总权重,可通过如下公式进行说明,
Figure BDA0002218010930000061
其中,wi表示第i批数据的权重,Tnow表示当前时间,Ti表示第i批数据的第一时间戳,ci表示第i批数据的总访问次数,wT表示时间差值对应的权重、wp表示总命中率对应的权重。
步骤205,在各条数据的总权重,大于等于已存数据的总权重时,将各条数据存储至所述待存储区域。
在本申请实施例中,在获取到已存数据的总权重和各条数据的总权重之后,将已存数据的总权重和各条数据的总权重进行比对,如果各条数据的总权重,大于等于已存数据的总权重时,将各条数据存储至待存储区域。如果各条数据的总权重小于已存数据的总权重时,也就是该各条数据的时间比较久或者命中率较低,则数据存储装置将该各条数据丢弃。
其中,当各条数据的总权重大于等于已存数据的总权重,确定将各条数据存储至待存储区域时,可选地,获取各条数据中时间戳最小的数据;将时间戳最小的数据存储至待存储区域中;获取各条数据中时间戳次小的数据,根据时间戳最小的数据对时间戳次小的数据进行差分编码,将差分编码后的数据存储至待存储区域中,重复上述步骤,直至各条数据存储至待存储区域中。
也就是说,当各条数据的总权重,大于等于已存数据的总权重,将各条数据存储至待存储区域时,可先存储时间较新的数据,也就是先存储时间戳最小的数据,接着,为了降低存储区域的空间占用,将时间戳次小的数据与时间戳最小的数据进行差分编码,将差分编码后的数据存储至待存储区域中,重复上述步骤,直至各条数据全部存储至待存储区域中。
在本申请实施例中,根据各条数据的时间戳,当各个时间戳的最大时间差值等于预设存储周期时,获取内部循环存储空间中的待存储区域,如果内部循环存储空间中的待存储区域存在已存数据,根据已存数据的总权重以及各条数据的总权重确定是否数据存储,由此,设备端存储时间较新或者命中率较高的数据,降低了设备端的存储空间和内存要求。
不难理解的是,数据访问时需对数据进行差分解码,高频次的数据访问需频繁对数据进行差分解码,因此,为了减少每次数据的差分解码的计算负担,作为另一种示例,将各条数据存储到设备端的内部存储空间时,可根据内部存储空间的被访问记录生成被检索时间列表,并对被检索时间列表中对应的命中率大于预设命中率阈值的第一存储周期的数据进行差分解码,将差分解码后的数据存储到设备端的缓存区中。如图4所示,具体步骤如下,
步骤401,获取内部存储空间的被访问记录,被访问记录包括:起始时间戳、终止时间戳和访问时间。
在本申请实施例中,为了将高频次访问数据存储至设备端的缓冲区中,可先获取内部存储空间的被访问记录,其中,访问记录可包括但不限于起始时间戳、终止时间戳和访问时间。
步骤402,根据被访问记录,生成被检索时间列表,被检索时间列表中包括:各个存储周期内数据的被访问次数。
进一步地,获取内部存储空间的被访问记录之后,可根据内部存储空间的被访问记录,生成被检索时间列表,需要说明的是,被检索时间列表中可包括但不限于各个存储周期内数据的被访问次数。其中,存储周期内可为预先设置的时间周期内,比如,第一天内、第二天内、第三天内等。
步骤403,根据被检索时间列表,确定内部存储空间中是否存在对应的命中率大于预设命中率阈值的第一存储周期。
在本申请实施例中,可根据各个存储周期内数据的被访问次数确定各个存储周期内数据的命中率,将各个存储周期内数据的命中率与预设命中率进行比对,如果各个存储周期内数据的命中率中,存在大于预设命中率阈值的命中率,则该命中率对应的存储周期确定为第一存储周期。
步骤404,若存在第一存储周期,则对内部存储空间中第一存储周期内的数据进行差分解码,将差分解码后的数据存储到设备端的缓存区中。
具体地,如果存在第一存储周期,也就是该存储周期对应的数据的访问次数较高,为了降低数据解压缩频次、节省相关边缘算力以及降低空间占用,对内部存储空间中第一存储周期内的数据进行差分解码,将差分解码后的数据存储到设备端的缓存区中。
举例而言,如图5所示,将数据的命中率大于预设命中率阈值的天数范围内的数据差分解码后放入缓存区,缓存区的大小可根据需要进行设置,缓存区中的数据是可设置为先进先出。
在本申请实施例中,可先获取内部存储空间的被访问记录,根据被访问记录,生成被检索时间列表,之后,根据被检索时间列表,确定内部存储空间中是否存在对应的命中率大于预设命中率阈值的第一存储周期。若存在第一存储周期,则对内部存储空间中第一存储周期内的数据进行差分解码,将差分解码后的数据存储到设备端的缓存区中。由此,将高频次访问数据存储至设备端的缓冲区中,减少了数据解压缩频次、节省了相关边缘算力以及降低空间占用。
作为又一种示例,设备端接收到服务端的查询请求时,可对查询请求进行解析,获取到查询请求中的待查询的时间段,并对查询请求中的待查询时间段进行判断,如果待查询的时间段为非当日时间段,则根据该时间段查询设备端的缓存区,判断缓存区内是否缓存有该时间段内的数据,如果缓存区内缓存有该时间段内的数据,则将缓存的该时间段内的数据上报给服务端。如果缓存区中没有该时间段内的数据,则对设备端的内部存储空间该时间段内的数据进行差分解码并查询,将获取到的该时间段内的数据并上报给服务端。如果待查询的数据时间段为当日时间段,可对当日时间段内的数据进行判断,如果当日时间段内的数据还未采集完成,该时间段内的数据存在设备端的临时缓存区中,没有存储到设备端的内部存储空间中,则待查询数据可以直接获取并返回。如果当日时间段内的数据已存储到设备端的内部存储空间中,则对设备端的内部存储空间该时间段内的数据进行差分解码并查询,将获取到的该时间段内的数据并上报给服务端。
另外,接收服务端的查询请求之后,可根据查询请求的时间段,确定与时间段匹配的存储周期;根据查询请求,对被检索时间列表中匹配的存储周期内数据的被访问次数进行更新。
在本申请实施例中,不同的待查询数据时间段对应不同的数据获取方式和查询区域,由此,提高了数据查询的效率和降低了服务器的压力。
为了实现上述实施例,本申请还提出另一种数据存储方法,如图6所示,该方法应用于服务端,具体步骤如下:
步骤601,接收设备端在上报时间点上报的数据,数据为上报时间点之前设备端采集的最新数据,数据包括:设备端标识、时间戳、数据识别码和数据内容;设备端采集的各个数据存储在设备端中。
在本申请实施例中,设备端在到达上报时间点时,将上报时间点之前采集的最新数据,上报给服务端,设备端在未到达上报时间点时,将采集的各个数据存储在设备端中。同时,服务端接收设备端在上报时间点上报的数据,其中,数据为上报时间点之前设备端采集的最新数据,数据包括:设备端标识、时间戳、数据识别码和数据内容。
另外,服务端还可以接收设备端在数据的指纹特征与预设特征匹配时上报的数据。其中,指纹特征可以采用指纹运算对时间戳等运算得到。
步骤602,将数据存储到服务端中与时间戳对应的分表中。
具体地,接收设备端在上报时间点上报的数据之后,可将数据存储到服务端中与时间戳对应的分表中。
在本申请实施例中,服务端接收的是设备端在上报时间点上报的数据或者是满足预设特征的上报的数据,作为一种示例,服务端对接收的设备端上报的数据进行存储时,可以与时间戳对应的分表中进行存储,以便加快数据库读写速度。
举例而言,在与时间戳对应的分表中以元数据方式进行各个数据的存储,存储格式为:
Id(主键)-设备识别码–数据识别码–数据值–数据时间戳(Long长整型);
另外,服务端可以周期数据库进行与时间戳对应的分表的存储。周期数据库可以按照预设周期来划分得到各个分表,每个分表用于存储一个周期内的数据。其中,各个分表以关系型数据库的结构进行实现(如底层驱动为SQL)。其中,周期数据库的周期可以在服务端预先设定,比如,一天,两天等,如果周期为一天,服务器每天可以存储一张新的分表。
作为一种示例,服务端将设备端上报的数据进行存储后,可接收用户的查询请求,并根据用户查询请求中的数据频率与目标设备端的上报频率比较,以确定要查询的是采集数据还是上报数据,比如,当数据频率小于等于目标设备端的上报频率时,根据待查询数据的时间段确定与服务端的时间段匹配的分表;从匹配的分表中获取时间段内的数据,并将时间段内的数据提供给用户。当数据频率大于目标设备端的上报频率时,查询服务端的缓存区,该缓存区内存储有服务端向各个设备端发送查询请求获取到的数据;进而可以判断出服务端的缓存区内是否缓存有该待查询时间段内的数据;如果服务端的缓存区内缓存有该待查询时间段内的数据,则将该待查询时间段内的数据提供给用户;如果服务端的缓存区内未缓存有待查询时间段内的数据,则向目标设备端发送携带有待查询时间段的查询请求,以获取目标设备端返回的时间段内的数据,并将目标设备端返回的数据存储到服务端的缓存区中,并将待查询时间段内的数据提供给用户。其中,需要说明的是,查询请求可包括但不限于待查询的时间段、目标设备端的标识以及数据频率。一个服务端可连接多个设备端。
另外,在本申请实施例中,如果服务端缓存区内缓存的数据没有完全包含待查询时间段的数据,比如,服务端缓存区内缓存有第一部分时间段内的数据,未缓存有时间段内除第一部分时间段之外的第二部分时间段内的数据,则向目标设备端发送携带有第二部分时间段的查询请求,以获取目标设备端返回的第二部分时间段内的数据;并将目标设备端返回的数据存储到服务端的缓存区中,之后,将第一部分时间段内的数据以及第二部分时间段内的数据进行整合,得到待查询时间段内的数据,并将待查询时间段内的数据提供给用户。
可选地,如图7所示,服务端将目标设备端返回的数据存储到缓存区时,根据缓存区中待存储位置是否存在已存数据和已存数据的优先级指标进行存储,具体步骤如下:
步骤701,针对目标设备端的每条返回数据,确定返回数据在缓存区中的待存储位置。
在本申请实施例中,针对目标设备端的每条返回数据,服务端自动为目标设备端的每条返回数据分配内存地址,通过内存地址获取指令获取返回数据在缓存区中的待存储地址,根据返回数据在缓存区中的待存储地址可确定出返回数据在缓存区中的待存储位置。
步骤702,判断待存储位置是否存在已存数据。
在本申请实施例中,服务端预先设置数据判断指令,在判断待存储位置是否存在已存数据时,可对待存储位置发出数据判断指令,如果数据判断指令返回值不为空,则表示待存储位置已经存在已存数据;如果数据判断指令返回值为空,则表示待存储位置不存在已存数据。
步骤703,若待存储位置存在已存数据,则确定已存数据的优先级指标,以及返回数据的优先级指标。
其中,可选地,通过获取返回数据的各个参数信息,根据各个参数信息以及对应的权重,确定返回数据的优先级指标。需要说明的是参数信息可包括但不限于被访问次数、请求用户数量、数据长度等。为了更加清晰地描述本申请实施例中的如何根据返回数据的参数信息确定返回数据的优先级指标,具体可通过如下公式进行描述,
wi=f(ci)×wP+g(ui)×wU-h(li)×wL (2)
其中,wi表示第i批数据的优先级指标、wP表示被访问次数权重、wU表示请求用户数量权重、wL表示数据长度权重,ci、ui、li分别表示第i批数据的被访问次数、请求用户数量、数据长度。f、g、h分别为单调函数,比如,函数f可以为log函数,函数g、函数h分别可以为g(x)=x、h(x)=x,另外,由于不同场景下对于数据优化的目标不同,也可选择不同的f、g、h。选择函数f、g、h的规则如下:
Figure BDA0002218010930000111
其中,函数argmax表示在第i批数据中寻找使得优先级指标最大的参数信息,E为最常访问的数据组的集合。
步骤704,在返回数据的优先级指标,大于等于已存数据的优先级指标时,将返回数据存储至待存储位置。
在本申请实施例中,根据返回数据的参数信息确定返回数据的优先级指标,当返回数据的优先级指标大于等于已存数据的优先级指标时,说明返回数据的参数信息优于已存数据的参数信息,比如,返回数据的被访问次数大于已存数据的被访问次数、和/或返回数据的请求用户数量大于已存数据的请求用户数量、和/或返回数据的数据长度小于已存数据的数据长度。因此,将返回数据存储至待存储位置。
在本申请实施例中,根据返回数据的参数信息确定返回数据的优先级指标,当大于等于已存数据的优先级指标时对返回数据进行存储,从而,可以优先存储被访问次数多、请求用户数量大、数据包长度较小的数据,有效地降低了服务器的维护成本、确保了服务端的数据查询效率。
本申请实施例的数据存储方法,通过接收设备端在上报时间点上报的数据,数据为上报时间点之前设备端采集的最新数据,数据包括:设备端标识、时间戳、数据识别码和数据内容;设备端采集的各个数据存储在设备端中;将数据存储到服务端中与时间戳对应的分表中。该方法降低了服务器的维护成本、存储空间和内存要求,并且查询处理方式灵活和处理效率大幅提高。
与图1至图5实施例提供的数据存储方法相对应,本申请的一种实施例还提供一种数据存储装置,由于本申请实施例提供的数据存储装置与图1至图5实施例提供的数据存储方法相对应,因此在前述数据存储方法的实施方式也适用于本实施例提供的数据存储装置,在本实施例中不再详细描述。图8为根据本申请一个实施例的数据存储装置的结构示意图。如图8所示,该数据存储装置应用于设备端,该数据存储装置包括:获取模块810、存储模块820、判断模块830、上报模块840。
其中,获取模块810,用于获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;存储模块820,用于将各条数据存储到设备端的内部存储空间;判断模块830,用于判断是否到达设备端的上报时间点;上报模块840,用于在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。
本申请实施例的数据存储装置,应用于设备端,通过获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;将各条数据存储到设备端的内部存储空间;判断是否到达设备端的上报时间点;在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将最新数据上报给服务端。由此,通过将各条数据存储到设备端的内部存储空间,在到达上报时间点将最新数据上报给服务端,从而减少了服务端上的数据存储量,降低了服务端的维护成本、确保了服务端的数据查询效率。
与图6至图7实施例提供的数据存储方法相对应,本申请的一种实施例还提供另一种数据存储装置,由于本申请实施例提供的数据存储装置与图6至图7实施例提供的数据存储方法相对应,因此在前述数据存储方法的实施方式也适用于本实施例提供的数据存储装置,在本实施例中不再详细描述。图9为根据本申请一个实施例的数据存储装置的结构示意图。如图9所示,该数据存储装置应用于服务端,该数据存储装置包括:接收模块910、存储模块920。
其中,接收模块910,用于接收设备端在上报时间点上报的数据,数据为上报时间点之前设备端采集的最新数据,数据包括:设备端标识、时间戳、数据识别码和数据内容;设备端采集的各个数据存储在设备端中;存储模块920,用于将数据存储到服务端中与时间戳对应的分表中。
本申请实施例的另一种数据存储装置,应用于服务端,通过接收设备端在上报时间点上报的数据,数据为上报时间点之前设备端采集的最新数据,数据包括:设备端标识、时间戳、数据识别码和数据内容;设备端采集的各个数据存储在设备端中;将数据存储到服务端中与时间戳对应的分表中。该装置降低了服务器的维护成本、确保了服务端的数据查询效率。
为了实现上述图1至图5所示实施例,本申请还提出一种设备端,图10为本申请实施例提供的一种设备端的结构示意图。该设备端包括:
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现本申请图1至图5所示实施例中提供的数据存储方法。
进一步地,设备端还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器1002,用于执行所述程序时实现本申请图1至图5实施例所述的数据存储方法。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
为了实现上述图6至图7所示实施例,本申请还提出一种服务端,该服务端包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行程序时实现本申请图6至图7所示的数据存储方法。
为了实现图1至图5所示实施例,本申请实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请图1至图5实施例所述的数据存储方法。
为了实现图6至图7所示实施例,本申请实施例还提出另一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请图6至图7所示实施例所述的数据存储方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种数据存储方法,应用于设备端,其特征在于,包括:
获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;
将所述各条数据存储到设备端的内部存储空间;
判断是否到达所述设备端的上报时间点;
在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将所述最新数据上报给服务端;
所述内部存储空间,为内部循环存储空间;
所述将所述各条数据存储到设备端的内部存储空间,包括:
根据所述各条数据的时间戳,确定各个时间戳的最大时间差值是否等于预设存储周期;
若各个时间戳的最大时间差值等于预设存储周期,则获取所述各条数据在所述内部循环存储空间中的待存储区域;
判断所述待存储区域是否存在已存数据;
若所述待存储区域存在已存数据,则确定所述已存数据的总权重,以及所述各条数据的总权重;
在所述各条数据的总权重,大于等于所述已存数据的总权重时,将所述各条数据存储至所述待存储区域。
2.根据权利要求1所述的方法,其特征在于,所述每条数据还包括:指纹特征;
所述的方法还包括:
判断所述各条数据中是否存在对应的指纹特征与预设特征匹配的第一数据;
若存在所述第一数据,则将所述第一数据上报给服务端。
3.根据权利要求1所述的方法,其特征在于,所述将所述各条数据存储到设备端的内部存储空间,还包括:
在所述各条数据的总权重,小于所述已存数据的总权重时,丢弃所述各条数据。
4.根据权利要求1所述的方法,其特征在于,所述各条数据的总权重的确定方法为,
获取当前时间与所述各条数据中第一时间戳的时间差值;所述第一时间戳为所述各条数据中的最小时间戳或者最大时间戳;
获取所述各条数据的总命中率;
对所述时间差值和所述总命中率加权求和,得到所述各条数据的总权重。
5.根据权利要求1所述的方法,其特征在于,所述在所述各条数据的总权重,大于等于所述已存数据的总权重时,将所述各条数据存储至所述待存储区域,包括:
在所述各条数据的总权重,大于等于所述已存数据的总权重时,获取所述各条数据中时间戳最小的数据;
将时间戳最小的数据存储至待存储区域中;
获取所述各条数据中时间戳次小的数据,根据时间戳最小的数据对时间戳次小的数据进行差分编码,将差分编码后的数据存储至待存储区域中,重复上述步骤,直至所述各条数据存储至待存储区域中。
6.根据权利要求1所述的方法,其特征在于,还包括:
获取所述内部存储空间的被访问记录,所述被访问记录包括:起始时间戳、终止时间戳和访问时间;
根据所述被访问记录,生成被检索时间列表,所述被检索时间列表中包括:各个存储周期内数据的被访问次数;
根据所述被检索时间列表,确定所述内部存储空间中是否存在对应的命中率大于预设命中率阈值的第一存储周期;
若存在所述第一存储周期,则对所述内部存储空间中所述第一存储周期内的数据进行差分解码,将差分解码后的数据存储到设备端的缓存区中。
7.根据权利要求6所述的方法,其特征在于,还包括:
接收服务端的查询请求,所述查询请求包括:待查询的时间段;
判断所述待查询的时间段是否为当日内时间段;
若所述待查询的时间段为非当日时间段,则根据所述时间段查询设备端的缓存区,判断所述缓存区内是否缓存有所述时间段内的数据;
若所述缓存区内缓存有所述时间段内的数据,则将缓存的所述时间段内的数据上报给服务端;
若所述缓存区内未缓存有所述时间段内的数据,则根据所述时间段查询设备端的内部存储空间,获取所述时间段内的数据并上报给服务端。
8.根据权利要求7所述的方法,其特征在于,所述接收服务端的查询请求之后,还包括:
根据所述查询请求的时间段,确定与所述时间段匹配的存储周期;
根据所述查询请求,对所述被检索时间列表中所述匹配的存储周期内数据的被访问次数进行更新。
9.一种数据存储方法,应用于服务端,其特征在于,包括:
接收设备端在上报时间点上报的数据,所述数据为所述上报时间点之前设备端采集的最新数据,所述数据包括:设备端标识、时间戳、数据识别码和数据内容;所述设备端采集的各个数据存储在设备端中;
将所述数据存储到服务端中与所述时间戳对应的分表中;
接收用户的查询请求,所述查询请求包括:待查询的时间段、目标设备端的标识以及数据频率;
在所述数据频率小于等于目标设备端的上报频率时,根据所述时间段确定与所述时间段匹配的分表;
从匹配的分表中获取所述时间段内的数据,并将所述时间段内的数据提供给用户;
在所述数据频率大于目标设备端的上报频率时,查询所述服务端的缓存区,判断缓存区内是否缓存有所述时间段内的数据;所述缓存区内存储有所述服务端向各个设备端发送查询请求获取到的数据;
若所述缓存区内缓存有所述时间段内的数据,则将所述时间段内的数据提供给用户;
若所述缓存区内未缓存有所述时间段内的数据,则向所述目标设备端发送携带有所述时间段的查询请求,以获取目标设备端返回的所述时间段内的数据,将所述时间段内的数据提供给用户;
若所述缓存区内缓存有第一部分时间段内的数据,未缓存有所述时间段内除所述第一部分时间段之外的第二部分时间段内的数据,则向所述目标设备端发送携带有所述第二部分时间段的查询请求,以获取所述目标设备端返回的所述第二部分时间段内的数据;将所述第一部分时间段内的数据以及所述第二部分时间段内的数据进行整合,得到所述时间段内的数据,将所述时间段内的数据提供给用户。
10.根据权利要求9所述的方法,其特征在于,还包括:
将所述目标设备端返回的数据存储到所述缓存区中。
11.根据权利要求10所述的方法,其特征在于,所述将所述目标设备端返回的数据存储到所述缓存区中,包括:
针对所述目标设备端的每条返回数据,确定所述返回数据在所述缓存区中的待存储位置;
判断所述待存储位置是否存在已存数据;
若所述待存储位置存在已存数据,则确定所述已存数据的优先级指标,以及所述返回数据的优先级指标;
在所述返回数据的优先级指标,大于等于所述已存数据的优先级指标时,将所述返回数据存储至所述待存储位置。
12.根据权利要求11所述的方法,其特征在于,所述返回数据的优先级指标的确定方法为,
获取所述返回数据的各个参数信息,所述参数信息包括:被访问次数、请求用户数量、数据长度;
根据各个参数信息以及对应的权重,确定所述返回数据的优先级指标。
13.一种数据存储装置,应用于设备端,其特征在于,包括:
获取模块,用于获取设备端采集的各条数据,每条数据包括:时间戳、数据识别码和数据内容;
存储模块,用于将所述各条数据存储到设备端的内部存储空间;
判断模块,用于判断是否到达所述设备端的上报时间点;
上报模块,用于在到达上报时间点时,获取上报时间点之前设备端采集的最新数据,将所述最新数据上报给服务端;
所述内部存储空间,为内部循环存储空间;
所述将所述各条数据存储到设备端的内部存储空间,包括:
根据所述各条数据的时间戳,确定各个时间戳的最大时间差值是否等于预设存储周期;
若各个时间戳的最大时间差值等于预设存储周期,则获取所述各条数据在所述内部循环存储空间中的待存储区域;
判断所述待存储区域是否存在已存数据;
若所述待存储区域存在已存数据,则确定所述已存数据的总权重,以及所述各条数据的总权重;
在所述各条数据的总权重,大于等于所述已存数据的总权重时,将所述各条数据存储至所述待存储区域。
14.一种数据存储装置,应用于服务端,其特征在于,包括:
接收模块,用于接收设备端在上报时间点上报的数据,所述数据为所述上报时间点之前设备端采集的最新数据,所述数据包括:设备端标识、时间戳、数据识别码和数据内容;所述设备端采集的各个数据存储在设备端中;
存储模块,用于将所述数据存储到服务端中与所述时间戳对应的分表中;
所述数据存储装置还用于:
接收用户的查询请求,所述查询请求包括:待查询的时间段、目标设备端的标识以及数据频率;
在所述数据频率小于等于目标设备端的上报频率时,根据所述时间段确定与所述时间段匹配的分表;
从匹配的分表中获取所述时间段内的数据,并将所述时间段内的数据提供给用户;
在所述数据频率大于目标设备端的上报频率时,查询所述服务端的缓存区,判断缓存区内是否缓存有所述时间段内的数据;所述缓存区内存储有所述服务端向各个设备端发送查询请求获取到的数据;
若所述缓存区内缓存有所述时间段内的数据,则将所述时间段内的数据提供给用户;
若所述缓存区内未缓存有所述时间段内的数据,则向所述目标设备端发送携带有所述时间段的查询请求,以获取目标设备端返回的所述时间段内的数据,将所述时间段内的数据提供给用户;
若所述缓存区内缓存有第一部分时间段内的数据,未缓存有所述时间段内除所述第一部分时间段之外的第二部分时间段内的数据,则向所述目标设备端发送携带有所述第二部分时间段的查询请求,以获取所述目标设备端返回的所述第二部分时间段内的数据;将所述第一部分时间段内的数据以及所述第二部分时间段内的数据进行整合,得到所述时间段内的数据,将所述时间段内的数据提供给用户。
15.一种设备端,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的数据存储方法。
16.一种服务端,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求9-12中任一所述的数据存储方法。
17.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的数据存储方法。
18.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求9-12中任一所述的数据存储方法。
CN201910922634.5A 2019-09-27 2019-09-27 数据存储方法及装置 Active CN110704439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910922634.5A CN110704439B (zh) 2019-09-27 2019-09-27 数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910922634.5A CN110704439B (zh) 2019-09-27 2019-09-27 数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN110704439A CN110704439A (zh) 2020-01-17
CN110704439B true CN110704439B (zh) 2022-07-29

Family

ID=69196611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910922634.5A Active CN110704439B (zh) 2019-09-27 2019-09-27 数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN110704439B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510497A (zh) * 2020-04-17 2020-08-07 上海七牛信息技术有限公司 一种边缘存储的处理方法和系统
CN113918578B (zh) * 2020-07-10 2024-05-24 成都秦川物联网科技股份有限公司 一种物联网智能燃气表掉电数据补齐存储方法
CN112487095B (zh) * 2020-12-09 2023-03-28 浪潮云信息技术股份公司 一种分布式数据库事务数据存储优化的方法
CN117896035B (zh) * 2024-03-14 2024-06-04 杭州义益钛迪信息技术有限公司 边缘控制器的数据获取方法和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870394A (zh) * 2012-12-13 2014-06-18 Arm有限公司 基于保留优先级的缓存替换策略
CN104410692A (zh) * 2014-11-28 2015-03-11 上海爱数软件有限公司 一种用于重复文件上传的方法和系统
CN106657292A (zh) * 2016-12-05 2017-05-10 腾讯科技(深圳)有限公司 一种数据处理方法及装置
CN107943808A (zh) * 2016-10-13 2018-04-20 北京京东尚科信息技术有限公司 处理设备上报数据的方法和装置
CN109618331A (zh) * 2019-02-01 2019-04-12 深圳乐信软件技术有限公司 数据上报方法、装置、设备及存储介质
CN109933294A (zh) * 2019-03-26 2019-06-25 努比亚技术有限公司 数据处理方法、装置、可穿戴设备及存储介质
CN110110018A (zh) * 2018-01-30 2019-08-09 普天信息技术有限公司 存储的处理方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870394A (zh) * 2012-12-13 2014-06-18 Arm有限公司 基于保留优先级的缓存替换策略
CN104410692A (zh) * 2014-11-28 2015-03-11 上海爱数软件有限公司 一种用于重复文件上传的方法和系统
CN107943808A (zh) * 2016-10-13 2018-04-20 北京京东尚科信息技术有限公司 处理设备上报数据的方法和装置
CN106657292A (zh) * 2016-12-05 2017-05-10 腾讯科技(深圳)有限公司 一种数据处理方法及装置
CN110110018A (zh) * 2018-01-30 2019-08-09 普天信息技术有限公司 存储的处理方法、装置、电子设备和存储介质
CN109618331A (zh) * 2019-02-01 2019-04-12 深圳乐信软件技术有限公司 数据上报方法、装置、设备及存储介质
CN109933294A (zh) * 2019-03-26 2019-06-25 努比亚技术有限公司 数据处理方法、装置、可穿戴设备及存储介质

Also Published As

Publication number Publication date
CN110704439A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110704439B (zh) 数据存储方法及装置
CN111078755B (zh) 时序数据的存储查询方法、装置、服务器及存储介质
KR101653692B1 (ko) 데이터 오브젝트 처리 방법 및 장치
WO2021091489A1 (en) Method and apparatus for storing time series data, and server and storage medium thereof
CN111813756B (zh) 一种日志检索系统、方法、装置、电子设备及存储介质
CN114817651B (zh) 数据存储方法、数据查询方法、装置和设备
CN111803917B (zh) 资源的处理方法和装置
CN115442439A (zh) 分布式缓存集群管理方法、系统、终端及存储介质
CN110727682A (zh) 数据存储方法及装置
CN106934066B (zh) 一种元数据处理方法、装置和存储设备
CN115391355B (zh) 数据处理方法、装置、设备及存储介质
CN110928902A (zh) 针对分页获取云平台终端数据的查询方法和系统
CN113448747B (zh) 数据传输方法、装置、计算机设备和存储介质
CN109446162B (zh) 确定移动互联网内目标移动终端的数据状态的方法及系统
CN113411364B (zh) 资源获取方法、装置及服务器
CN111680014B (zh) 共享文件的获取方法、装置、电子设备及存储介质
CN110489378B (zh) 一种在互联网中进行文件迁移的方法及系统
CN118132520B (zh) 存储系统文件处理方法、电子设备、存储介质及程序产品
CN111104528A (zh) 图片获取方法、装置及客户端
CN110677463A (zh) 并行数据传输方法、装置、介质及电子设备
CN113722286B (zh) 时空数据压缩方法、装置、服务器及存储介质
US20240248626A1 (en) Method, device, and computer program product for data deduplication
JP2013246550A (ja) 画像検索システム及び画像検索方法
CN116455996A (zh) 报文解析方法、装置、计算机可读介质及终端设备
CN118551081A (zh) 一种数据查询方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant