CN108287668A - 设备数据的处理方法及装置、计算机装置及可读存储介质 - Google Patents

设备数据的处理方法及装置、计算机装置及可读存储介质 Download PDF

Info

Publication number
CN108287668A
CN108287668A CN201810071762.9A CN201810071762A CN108287668A CN 108287668 A CN108287668 A CN 108287668A CN 201810071762 A CN201810071762 A CN 201810071762A CN 108287668 A CN108287668 A CN 108287668A
Authority
CN
China
Prior art keywords
device data
file
data
memory system
distributed memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810071762.9A
Other languages
English (en)
Other versions
CN108287668B (zh
Inventor
陈凯
张涛
国承斌
吴刚
唐力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mixlinker Network Co Ltd
Original Assignee
Shenzhen Mixlinker Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mixlinker Network Co Ltd filed Critical Shenzhen Mixlinker Network Co Ltd
Priority to CN201810071762.9A priority Critical patent/CN108287668B/zh
Publication of CN108287668A publication Critical patent/CN108287668A/zh
Application granted granted Critical
Publication of CN108287668B publication Critical patent/CN108287668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明实施例公开了一种设备数据的处理方法及装置、计算机装置及可读存储介质,用于解决现有技术中物联网的数据查询效率较低的问题。本发明实施例方法包括:分布式存储系统获取设备数据,设备数据包括标识和消息体payload,标识包括设备数据的来源设备的设备标识ID和时间戳;根据获取到的设备数据的设备ID和时间戳将获取到的设备数据存储在第一存储单元中;当接收到数据查询请求时,根据查询请求中的目的设备的设备ID和目的时间区间查询对应的设备数据,并返回查询结果。

Description

设备数据的处理方法及装置、计算机装置及可读存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种设备数据的处理方法及装置、计算机装置及可读存储介质。
背景技术
设备上的性能数据每间隔较短的时长便会产生一次,并且设备上的性能数据需要长期的保存,以通过对保存的历史数据进行分析来对设备进行运营维护。与设备相关的数据,简称设备数据,通常和时间相关,是一种典型的时间序列数据,简称时序数据。随着业务量的增加,物联网中连接的设备越来越多,物联网中存储的设备数据数量巨大,导致物联网上的数据存储与查询效率极低。
现有技术通过时序数据库来存储设备数据,以提高物联网上的数据查询效率。
但是,现有技术仅考虑设备数据的时间属性来对设备数据进行存储,对物联网的数据查询效率的提高效果是有限的,难以满足对大规模设备数据的有效存储与处理的需求。
发明内容
本发明提供一种设备数据的处理方法及装置、计算机装置及可读存储介质,用于解决现有技术中物联网的数据查询效率较低的问题。
本发明实施例的一方面提供了一种设备数据的处理方法,包括:
分布式存储系统获取设备数据,所述设备数据包括标识和消息体payload,所述标识包括所述设备数据的来源设备的设备标识ID和时间戳;
所述分布式存储系统根据预存的对应关系确定获取到的所述设备数据的设备ID在所述分布式存储系统中对应于第一存储单元;
所述分布式存储系统根据获取到的所述设备数据的时间戳将获取到的所述设备数据存储在所述第一存储单元中;
所述分布式存储系统为获取到的所述设备数据建立索引条目,并将所述索引条目添加至索引信息中,所述索引条目包括所述设备数据的设备ID和时间戳;
当接收到数据查询请求时,其中,所述数据查询请求包括目的设备的设备ID和目的时间区间,所述分布式存储系统根据所述对应关系确定所述目的设备的设备ID在所述分布式存储系统中对应于第二存储单元;
所述分布式存储系统在所述第二存储单元中根据所述索引信息查找所述目的时间区间对应的所述设备数据,并返回查询结果。
可选的,所述分布式存储系统根据获取到的所述设备数据的时间戳将获取到的所述设备数据存储在所述第一存储单元中包括:
所述分布式存储系统在所述第一存储单元中确定获取到的所述设备数据的时间戳对应于第一文件,所述第一文件用于存储第一时间区间内的若干个设备数据,所述第一时间区间包括所述时间戳对应的时刻;
所述分布式存储系统将获取到的所述设备数据存储于所述第一文件中。
可选的,所述分布式存储系统在所述第二存储单元中根据所述索引信息查找所述目的时间区间对应的所述设备数据包括:
所述分布式存储系统在所述第二存储单元中确定所述目的时间区间对应于第二文件,所述第二文件用于存储第二时间区间内的若干个设备数据,所述第二时间区间包括所述目的时间区间;
所述分布式存储系统根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据。
可选的,所述分布式存储系统将获取到的所述设备数据存储于所述第一文件中之后,所述方法还包括:
所述分布式存储系统对所述第一文件进行压缩存储;
在所述分布式存储系统在所述第二存储单元中确定所述目的时间区间对应于第二文件之后,在所述分布式存储系统根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据之前,所述方法还包括:
若第二文件为压缩文件,所述分布式存储系统对所述第二文件进行解压缩。
可选的,所述分布式存储系统将获取到的所述设备数据存储于所述第一文件中包括:
所述分布式存储系统将获取到的所述设备数据中的payload存储于所述第一文件中。
本发明实施例的第二方面提供了一种设备数据的处理装置,包括:
获取模块,用于获取设备数据,所述设备数据包括标识和消息体payload,所述标识包括所述设备数据的来源设备的设备标识ID和时间戳;
第一确定模块,用于根据预存的对应关系确定获取到的所述设备数据的设备ID在所述分布式存储系统中对应于第一存储单元;
存储模块,用于根据获取到的所述设备数据的时间戳将获取到的所述设备数据存储在所述第一存储单元中;
索引生成模块,用于为获取到的所述设备数据建立索引条目,并将所述索引条目添加至索引信息中,所述索引条目包括所述设备数据的设备ID和时间戳;
第二确定模块,用于当接收到数据查询请求时,其中,所述数据查询请求包括目的设备的设备ID和目的时间区间,根据所述对应关系确定所述目的设备的设备ID在所述分布式存储系统中对应于第二存储单元;
查找模块,用于在所述第二存储单元中根据所述索引信息查找所述目的时间区间对应的所述设备数据,并返回查询结果。
可选的,所述存储模块包括:
第一确定单元,用于在所述第一存储单元中确定获取到的所述设备数据的时间戳对应于第一文件,所述第一文件用于存储第一时间区间内的若干个设备数据,所述第一时间区间包括所述时间戳对应的时刻;
存储单元,用于将获取到的所述设备数据存储于所述第一文件中。
可选的,所述查找模块包括:
第二确定单元,用于在所述第二存储单元中确定所述目的时间区间对应于第二文件,所述第二文件用于存储第二时间区间内的若干个设备数据,所述第二时间区间包括所述目的时间区间;
查找单元,用于根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据。
可选的,在存储单元将获取到的所述设备数据存储于所述第一文件中之后,所述装置还包括:
压缩存储模块,用于对所述第一文件进行压缩存储;
在所述第二确定单元在所述第二存储单元中确定所述目的时间区间对应于第二文件之后,在所述查找单元根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据之前,所述装置还包括:
解压模块,用于当第二文件为压缩文件时,对所述第二文件进行解压缩。
可选的,所所述存储单元具体包括:
存储子单元,用于将获取到的所述设备数据中的payload存储于所述第一文件中。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例提供了一种设备数据的处理方法,应用于分布式存储系统,分布式存储系统首先获取设备数据,设备数据包括标识和消息体payload,标识包括设备数据的来源设备的标识设备ID和时间戳。之后,可以根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应于第一存储单元。之后根据获取到的设备数据的时间戳将获取到的设备数据存储在第一存储单元中,并为获取到的设备数据建立索引条目,并将索引条目添加至索引信息中,索引条目包括设备数据的设备ID和时间戳。当接收到数据查询请求时,其中,数据查询请求包括目的设备的设备ID和目的时间区间,分布式存储系统根据对应关系确定目的设备的设备ID在分布式存储系统中对应于第二存储单元,之后在第二存储单元中根据索引信息查找目的时间区间对应的设备数据,并返回查询结果。和现有技术相比,本发明综合考虑设备数据的设备属性和时间属性对设备数据进行存储,进一步提高了对物联网的数据查询效率。
附图说明
图1是物联网架构的示意图;
图2是本发明设备数据的处理方法一个实施例示意图;
图3是本发明设备数据的处理方法另一个实施例示意图;
图4是本发明设备数据的处理装置一个实施例示意图;
图5是本发明设备数据的处理装置另一个实施例示意图;
图6是本发明计算机装置一个实施例示意图。
具体实施方式
本发明实施例提供了一种设备数据的处理方法及装置、计算机装置及可读存储介质,用于提高物联网的数据查询效率。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,为物联网系统架构的示意图,物联网系统可以包括基础数据平台101、存储系统102和查询系统103,基础数据平台101用于收集设备数据,并将收集到的设备数据存储在存储系统102中,存储系统102向查询系统103提供查询接口,在接收到客户端的查询请求时,查询系统103可以通过查询接口向存储系统102获取相应的查询结果。通过物联网系统,客户能够对物联网中的设备进行历史报文查询,或者对设备某一参数的历史变化进行查询,或者对设备参数历史聚合分段查询。
基于上述物联网架构,本发明实施例提供了一种设备数据的处理方法,应用于存储系统,为了提高存储与查询效率,采用分布式存储系统,请参阅图2,本发明实施例中设备数据的处理方法一个实施例包括:
201、获取设备数据;
分布式存储系统可以向基础数据平台获取设备数据,获取到的设备数据包括标识和消息体payload,标识一般包括设备数据的来源设备的设备标识ID和时间戳。设备ID用于唯一标识物联网中的设备,时间戳用于标识设备数据的时间属性,比如,可以用于指示设备数据的产生时刻,也可以用于指示分布式存储系统接收到设备数据的时刻。在实际使用中,设备数据的标识还可以包括设备数据的主题,设备数据的主题可以用于表明设备数据为报警数据,还是状态数据,还是流量数据等。
202、根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应于第一存储单元;
分布式存储系统预存有对应关系,用于规定设备ID与分布式存储系统中的存储单元(或者称作分布式存储系统中的存储节点)之间的对应关系。可以对物联网中的设备进行分组,优选的,可以将同组设备的设备数据存储在分布式存储系统中的同一个存储单元中,因此,预存的对应关系中,可以规定同组设备的设备ID对应于同一个存储单元。分布式存储系统获取到设备数据之后,可以根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应的存储单元,为了方便描述,将获取到的设备数据的设备ID对应的存储单元称作第一存储单元。
203、根据获取到的设备数据的时间戳将获取到的设备数据存储在第一存储单元中;
分布式存储系统确定获取到的设备数据的设备ID对应于第一存储单元之后,可以根据获取到的设备数据的时间戳将获取到的设备数据存储在第一存储单元中,由于设备数据通常是时序数据,因此可以综合考虑设备数据的时间属性和设备属性对设备数据进行存储,以提高数据查询效率。
204、为获取到的设备数据建立索引条目,并将索引条目添加至索引信息中;
分布式存储系统将获取到的设备数据存储在第一存储单元中之后,可以为获取到的设备数据建立索引条目,索引条目包括设备数据的设备ID和时间戳,索引条目用于方便在分布式存储系统中定位到相应的设备数据。为获取到的设备数据建立索引条目之后,可以将索引条目添加至索引信息中。在实际使用中,索引条目还可以包括设备数据的主题,设备数据的主题可以用于表明设备数据为报警数据,还是状态数据,还是流量数据等。
205、当接收到数据查询请求时,根据对应关系确定目的设备的设备ID在分布式存储系统中对应于第二存储单元;
用户在查询设备数据,通常会对希望查询的设备的设备ID和希望查询的设备数据的时间区间进行限定。当接收到数据查询请求时,其中,数据查询请求包括目的设备的设备ID和目的时间区间,分布式存储系统可以根据前述的对应关系确定目的设备的设备ID在分布式存储系统中对应的存储单元,为了方便描述,将目的设备的设备ID在分布式存储系统中对应的存储单元称作第二存储单元。
206、在第二存储单元中根据索引信息查找目的时间区间对应的设备数据,并返回查询结果。
分布式存储系统确定第二存储单元之后,可以在第二存储单元中根据分布式存储系统中的索引信息查找目的时间区间对应的设备数据,并返回查询结果。
本发明实施例提供了一种设备数据的处理方法,应用于分布式存储系统,根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应于第一存储单元,之后根据获取到的设备数据的时间戳将获取到的设备数据存储在第一存储单元中,和现有技术相比,本发明综合考虑了设备数据的设备属性和时间属性对设备数据进行存储,进一步提高了对物联网的数据查询效率。
请参阅图3,本发明设备数据的处理方法另一个实施例包括:
301、获取设备数据;
分布式存储系统可以向基础数据平台获取设备数据,获取到的设备数据包括标识和消息体payload,标识一般包括设备数据的来源设备的设备标识ID和时间戳。设备ID用于唯一标识物联网中的设备,时间戳用于标识设备数据的时间属性,比如,可以用于指示设备数据的产生时刻,也可以用于指示分布式存储系统接收到设备数据的时刻。在实际使用中,设备数据的标识还可以包括设备数据的主题,设备数据的主题可以用于表明设备数据为报警数据,还是状态数据,还是流量数据等。
302、根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应于第一存储单元;
分布式存储系统预存有对应关系,用于规定设备ID与分布式存储系统中的存储单元(或者称作分布式存储系统中的存储节点)之间的对应关系。可以对物联网中的设备进行分组,优选的,可以将同组设备的设备数据存储在分布式存储系统中的同一个存储单元中,因此,预存的对应关系中,可以规定同组设备的设备ID对应于同一个存储单元。分布式存储系统获取到设备数据之后,可以根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应的存储单元,为了方便描述,将获取到的设备数据的设备ID对应的存储单元称作第一存储单元。
303、在第一存储单元中确定获取到的设备数据的时间戳对应于第一文件;
分布式存储系统的各个存储单元中的设备数据可以按照时间戳存储在不同文件中,每个文件用于存储时间戳对应于同一个时间区间内的多个设备数据。分布式存储系统中各个存储单元中文件的时间区间的时长跨度可以设置为同一时长,优选的,各个存储单元中文件的时间区间的时长跨度可以根据该存储单元对应的设备或者设备组进行区别性设置,比如,若某个存储单元对应的设备或者一组设备产生的设备数据比较频繁,那么可以减小该存储单元中文件的时间区间的时长跨度,反之,则增大该存储单元中文件的时间区间的时长跨度。更优的,同一存储单元中文件的时间区间的时长跨度在不同时间可以发生变化,比如分布式存储系统可以自动统计各个存储单元接收到设备数据的频率,并根据接收频率自动调整文件的时间区间的时长跨度。
分布式存储系统确定获取到的设备数据的设备ID对应于第一存储单元之后,可以在第一存储单元中确定获取到的设备数据的时间戳对应的文件,为了方便描述,将获取到的设备数据对应的文件称作第一文件,第一文件用于存储第一时间区间内的若干个设备数据,第一时间区间包括时间戳对应的时刻。
304、将获取到的设备数据存储于第一文件中。
分布式存储系统确定获取都的设备数据对应于第一文件之后,可以将获取到的设备数据存储于第一文件中,由于设备数据通常是时序数据,因此通过步骤302和步骤304可以综合考虑设备数据的时间属性和设备属性对设备数据进行存储,以提高数据查询效率。
为了减少设备数据在分布式存储系统中占用的存储空间,可以只将设备数据的payload部分存储在第一文件中。
305、对第一文件进行压缩存储;
分布式存储系统将获取到的设备数据存储在第一文件中后,可以对第一文件进行压缩存储,以减少设备数据对分布式存储系统中存储空间的占用。具体的,假设第一文件用于存储时刻A至时刻B的设备数据,当存储完毕后,便可以对第一文件进行压缩存储。或者,可以在存储完毕后经过预设时长,再对第一文件进行压缩存储。
306、为获取到的设备数据建立索引条目,并将索引条目添加至索引信息中;
分布式存储系统将获取到的设备数据存储在第一存储单元的第一文件中之后,可以为获取到的设备数据建立索引条目,索引条目包括设备数据的设备ID和时间戳,索引条目用于方便在分布式存储系统中定位到相应的设备数据。为获取到的设备数据建立索引条目之后,可以将索引条目添加至索引信息中。在实际使用中,索引条目还可以包括设备数据的主题,设备数据的主题可以用于表明设备数据为报警数据,还是状态数据,还是流量数据等。
307、当接收到数据查询请求时,根据对应关系确定目的设备的设备ID在分布式存储系统中对应于第二存储单元;
用户在查询设备数据,通常会对希望查询的设备的设备ID和希望查询的设备数据的时间区间进行限定。当接收到数据查询请求时,其中,数据查询请求包括目的设备的设备ID和目的时间区间,分布式存储系统可以根据前述的对应关系确定目的设备的设备ID在分布式存储系统中对应的存储单元,为了方便描述,将目的设备的设备ID在分布式存储系统中对应的存储单元称作第二存储单元。
308、在第二存储单元中确定目的时间区间对应于第二文件;
分布式存储系统确定第二存储单元之后,可以在第二存储单元中确定目的时间区间对应于第二文件,第二文件用于存储第二时间区间内的若干个设备数据,第二时间区间包括目的时间区间。假设目的时间区间为2017年12月2日10:00am~10:00pm,第二存储单元中包括文件A、文件B、文件C、……,各个文件对应的时间区间分别为2017年12月1日0:00am~12:00pm、2017年12月2日0:00am~12:00pm、2017年12月3日0:00am~12:00pm、……,那么目的时间区间对应的第二文件为文件B。
309、若第二文件为压缩文件,对第二文件进行解压缩;
分布式存储系统确定第二文件之后,可以判断第二文件是否为压缩文件,若是,则可以对第二文件进行解压缩。
步骤305和步骤309用于减少设备数据在分布式存储系统中占用的存储空间,在实际使用中,也可以不执行。
310、根据索引信息在第二文件中查找目的时间区间对应的设备数据;
分布式存储系统确定第二文件之后,或者对第二文件进行解压缩之后,可以根据索引信息在第二文件中查找目的时间区间对应的设备数据,作为举例,也就是根据第二文件中的设备数据的索引信息从文件B中筛选出时间戳在2017年12月2日10:00am~10:00pm中的设备数据。
311、返回查询结果。
分布式存储系统从第二文件中查找到目的时间区间对应的设备数据之后,可以向查询系统返回查询结果,查询结果包括查询到的设备数据。
本发明实施例通过将同一设备或者同一组设备在同一时间区间中产生的设备数据存储在同一存储单元中的同一文件中,能够进一步提高物联网的数据查询效率。
上面对本发明实施例中的设备数据的处理方法进行了描述,下面对本发明实施例中的设备数据的处理装置进行描述。
请参阅图4,本发明实施例中设备数据的处理装置的一个实施例包括:
获取模块401,用于获取设备数据,设备数据包括标识和消息体payload,标识包括设备数据的来源设备的设备标识ID和时间戳;
第一确定模块402,用于根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应于第一存储单元;
存储模块403,用于根据获取到的设备数据的时间戳将获取到的设备数据存储在第一存储单元中;
索引生成模块404,用于为获取到的设备数据建立索引条目,并将索引条目添加至索引信息中,索引条目包括设备数据的设备ID和时间戳;
第二确定模块405,用于当接收到数据查询请求时,其中,数据查询请求包括目的设备的设备ID和目的时间区间,根据对应关系确定目的设备的设备ID在分布式存储系统中对应于第二存储单元;
查找模块406,用于在第二存储单元中根据索引信息查找目的时间区间对应的设备数据,并返回查询结果。
优选的,请参阅图5,本发明实施例中设备数据的处理装置5的另一个实施例包括:
获取模块501,用于获取设备数据,设备数据包括标识和消息体payload,标识包括设备数据的来源设备的设备标识ID和时间戳;
第一确定模块502,用于根据预存的对应关系确定获取到的设备数据的设备ID在分布式存储系统中对应于第一存储单元;
存储模块503,用于根据获取到的设备数据的时间戳将获取到的设备数据存储在第一存储单元中;
压缩存储模块504,用于对第一文件进行压缩存储;
索引生成模块505,用于为获取到的设备数据建立索引条目,并将索引条目添加至索引信息中,索引条目包括设备数据的设备ID和时间戳;
第二确定模块506,用于当接收到数据查询请求时,其中,数据查询请求包括目的设备的设备ID和目的时间区间,根据对应关系确定目的设备的设备ID在分布式存储系统中对应于第二存储单元;
解压模块507,用于当第二文件为压缩文件时,对第二文件进行解压缩;
查找模块508,用于在第二存储单元中根据索引信息查找目的时间区间对应的设备数据,并返回查询结果。
在实际使用中,设备数据的处理装置也可以不包括压缩存储模块504和解压模块507。
其中,存储模块503包括:
第一确定单元,用于在第一存储单元中确定获取到的设备数据的时间戳对应于第一文件,第一文件用于存储第一时间区间内的若干个设备数据,第一时间区间包括时间戳对应的时刻;
存储单元,用于将获取到的设备数据存储于第一文件中。
存储单元具体包括:
存储子单元,用于将获取到的设备数据中的payload存储于第一文件中。
查找模块508包括:
第二确定单元,用于在第二存储单元中确定目的时间区间对应于第二文件,第二文件用于存储第二时间区间内的若干个设备数据,第二时间区间包括目的时间区间;
查找单元,用于根据索引信息在第二文件中查找目的时间区间对应的设备数据。
上面从模块化功能实体的角度对本发明实施例中的设备数据的处理装置进行了描述,下面从硬件处理的角度对本发明实施例中的计算机装置进行描述:
本发明实施例还提供了一种计算机装置6,如图6所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机装置6一般指服务器等处理能力较强的计算机设备。
参考图6,计算机装置6包括:电源610、存储器620、处理器630、有线或无线网络接口640以及存储在存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述各个设备数据的处理方法实施例中的步骤,例如图2所示的步骤201至206。或者,处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述计算机装置中的执行过程。
本领域技术人员可以理解,图6中示出的结构并不构成对计算机装置6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,例如所述计算机装置还可以包括输入输出设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种设备数据的处理方法,其特征在于,包括:
分布式存储系统获取设备数据,所述设备数据包括标识和消息体payload,所述标识包括所述设备数据的来源设备的设备标识ID和时间戳;
所述分布式存储系统根据预存的对应关系确定获取到的所述设备数据的设备ID在所述分布式存储系统中对应于第一存储单元;
所述分布式存储系统根据获取到的所述设备数据的时间戳将获取到的所述设备数据存储在所述第一存储单元中;
所述分布式存储系统为获取到的所述设备数据建立索引条目,并将所述索引条目添加至索引信息中,所述索引条目包括所述设备数据的设备ID和时间戳;
当接收到数据查询请求时,其中,所述数据查询请求包括目的设备的设备ID和目的时间区间,所述分布式存储系统根据所述对应关系确定所述目的设备的设备ID在所述分布式存储系统中对应于第二存储单元;
所述分布式存储系统在所述第二存储单元中根据所述索引信息查找所述目的时间区间对应的所述设备数据,并返回查询结果。
2.根据权利要求1所述的方法,其特征在于,所述分布式存储系统根据获取到的所述设备数据的时间戳将获取到的所述设备数据存储在所述第一存储单元中包括:
所述分布式存储系统在所述第一存储单元中确定获取到的所述设备数据的时间戳对应于第一文件,所述第一文件用于存储第一时间区间内的若干个设备数据,所述第一时间区间包括所述时间戳对应的时刻;
所述分布式存储系统将获取到的所述设备数据存储于所述第一文件中。
3.根据权利要求2所述的方法,其特征在于,所述分布式存储系统在所述第二存储单元中根据所述索引信息查找所述目的时间区间对应的所述设备数据包括:
所述分布式存储系统在所述第二存储单元中确定所述目的时间区间对应于第二文件,所述第二文件用于存储第二时间区间内的若干个设备数据,所述第二时间区间包括所述目的时间区间;
所述分布式存储系统根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据。
4.根据权利要求2或3所述的方法,其特征在于,所述分布式存储系统将获取到的所述设备数据存储于所述第一文件中之后,所述方法还包括:
所述分布式存储系统对所述第一文件进行压缩存储;
在所述分布式存储系统在所述第二存储单元中确定所述目的时间区间对应于第二文件之后,在所述分布式存储系统根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据之前,所述方法还包括:
若第二文件为压缩文件,所述分布式存储系统对所述第二文件进行解压缩。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述分布式存储系统将获取到的所述设备数据存储于所述第一文件中包括:
所述分布式存储系统将获取到的所述设备数据中的payload存储于所述第一文件中。
6.一种设备数据的处理装置,其特征在于,包括:
获取模块,用于获取设备数据,所述设备数据包括标识和消息体payload,所述标识包括所述设备数据的来源设备的设备标识ID和时间戳;
第一确定模块,用于根据预存的对应关系确定获取到的所述设备数据的设备ID在所述分布式存储系统中对应于第一存储单元;
存储模块,用于根据获取到的所述设备数据的时间戳将获取到的所述设备数据存储在所述第一存储单元中;
索引生成模块,用于为获取到的所述设备数据建立索引条目,并将所述索引条目添加至索引信息中,所述索引条目包括所述设备数据的设备ID和时间戳;
第二确定模块,用于当接收到数据查询请求时,其中,所述数据查询请求包括目的设备的设备ID和目的时间区间,根据所述对应关系确定所述目的设备的设备ID在所述分布式存储系统中对应于第二存储单元;
查找模块,用于在所述第二存储单元中根据所述索引信息查找所述目的时间区间对应的所述设备数据,并返回查询结果。
7.根据权利要求6所述的装置,其特征在于,所述存储模块包括:
第一确定单元,用于在所述第一存储单元中确定获取到的所述设备数据的时间戳对应于第一文件,所述第一文件用于存储第一时间区间内的若干个设备数据,所述第一时间区间包括所述时间戳对应的时刻;
存储单元,用于将获取到的所述设备数据存储于所述第一文件中。
8.根据权利要求7所述的装置,其特征在于,所述查找模块包括:
第二确定单元,用于在所述第二存储单元中确定所述目的时间区间对应于第二文件,所述第二文件用于存储第二时间区间内的若干个设备数据,所述第二时间区间包括所述目的时间区间;
查找单元,用于根据所述索引信息在所述第二文件中查找所述目的时间区间对应的所述设备数据。
9.一种计算机装置,其特征在于,所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5中任意一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-5中任意一项所述方法的步骤。
CN201810071762.9A 2018-01-25 2018-01-25 设备数据的处理方法及装置、计算机装置及可读存储介质 Active CN108287668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810071762.9A CN108287668B (zh) 2018-01-25 2018-01-25 设备数据的处理方法及装置、计算机装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810071762.9A CN108287668B (zh) 2018-01-25 2018-01-25 设备数据的处理方法及装置、计算机装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN108287668A true CN108287668A (zh) 2018-07-17
CN108287668B CN108287668B (zh) 2021-05-18

Family

ID=62835840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810071762.9A Active CN108287668B (zh) 2018-01-25 2018-01-25 设备数据的处理方法及装置、计算机装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN108287668B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032527A (zh) * 2018-07-27 2018-12-18 深圳华大北斗科技有限公司 数据处理方法、存储介质及计算机设备
CN109783538A (zh) * 2018-12-28 2019-05-21 陆明 数据处理系统
CN110456986A (zh) * 2019-07-30 2019-11-15 北京智睿博信息技术有限公司 存储区域网络设备的性能数据存储方法及系统
CN111177077A (zh) * 2018-11-09 2020-05-19 杭州海康威视数字技术股份有限公司 数据存储及数据查询方法、装置、设备、介质
CN111259010A (zh) * 2020-01-14 2020-06-09 北京智睿博信息技术有限公司 一种存储区域网络设备关联配置信息的管理方法及系统
CN111782588A (zh) * 2019-11-22 2020-10-16 西安宇视信息科技有限公司 一种文件读取方法、装置、设备和介质
CN112637151A (zh) * 2020-12-11 2021-04-09 深圳市英威腾电气股份有限公司 数据消息的传输方法、终端设备、服务器及存储介质
CN112866640A (zh) * 2021-01-08 2021-05-28 珠海研果科技有限公司 数据存储方法和装置
CN113535734A (zh) * 2021-07-26 2021-10-22 安徽容知日新科技股份有限公司 一种数据存储方法、数据查询方法和计算设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080183737A1 (en) * 2007-01-25 2008-07-31 Kosmix Corporation Compression of timestamps
US20090287662A1 (en) * 2004-12-24 2009-11-19 International Business Machines Corporation Database system, method, program for the database system, and a method for updating indexing tables in a database system
CN102446184A (zh) * 2010-10-12 2012-05-09 上海可鲁系统软件有限公司 一种基于时间序列的工业数据存储及索引方法
CN102646130A (zh) * 2012-03-12 2012-08-22 华中科技大学 一种海量历史数据的存储及索引方法
CN104516894A (zh) * 2013-09-27 2015-04-15 国际商业机器公司 用于管理时间序列数据库的方法和装置
CN104572936A (zh) * 2014-12-30 2015-04-29 苏州驰声信息科技有限公司 一种线性可动态扩展的数据管理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287662A1 (en) * 2004-12-24 2009-11-19 International Business Machines Corporation Database system, method, program for the database system, and a method for updating indexing tables in a database system
US20080183737A1 (en) * 2007-01-25 2008-07-31 Kosmix Corporation Compression of timestamps
CN102446184A (zh) * 2010-10-12 2012-05-09 上海可鲁系统软件有限公司 一种基于时间序列的工业数据存储及索引方法
CN102646130A (zh) * 2012-03-12 2012-08-22 华中科技大学 一种海量历史数据的存储及索引方法
CN104516894A (zh) * 2013-09-27 2015-04-15 国际商业机器公司 用于管理时间序列数据库的方法和装置
CN104572936A (zh) * 2014-12-30 2015-04-29 苏州驰声信息科技有限公司 一种线性可动态扩展的数据管理方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032527B (zh) * 2018-07-27 2021-07-27 深圳华大北斗科技有限公司 数据处理方法、存储介质及计算机设备
CN109032527A (zh) * 2018-07-27 2018-12-18 深圳华大北斗科技有限公司 数据处理方法、存储介质及计算机设备
CN111177077A (zh) * 2018-11-09 2020-05-19 杭州海康威视数字技术股份有限公司 数据存储及数据查询方法、装置、设备、介质
CN111177077B (zh) * 2018-11-09 2023-05-26 杭州海康威视数字技术股份有限公司 数据存储及数据查询方法、装置、设备、介质
CN109783538A (zh) * 2018-12-28 2019-05-21 陆明 数据处理系统
CN110456986A (zh) * 2019-07-30 2019-11-15 北京智睿博信息技术有限公司 存储区域网络设备的性能数据存储方法及系统
CN111782588A (zh) * 2019-11-22 2020-10-16 西安宇视信息科技有限公司 一种文件读取方法、装置、设备和介质
CN111259010A (zh) * 2020-01-14 2020-06-09 北京智睿博信息技术有限公司 一种存储区域网络设备关联配置信息的管理方法及系统
CN112637151A (zh) * 2020-12-11 2021-04-09 深圳市英威腾电气股份有限公司 数据消息的传输方法、终端设备、服务器及存储介质
CN112637151B (zh) * 2020-12-11 2023-05-05 深圳市英威腾电气股份有限公司 数据消息的传输方法、终端设备、服务器及存储介质
CN112866640A (zh) * 2021-01-08 2021-05-28 珠海研果科技有限公司 数据存储方法和装置
CN113535734A (zh) * 2021-07-26 2021-10-22 安徽容知日新科技股份有限公司 一种数据存储方法、数据查询方法和计算设备
CN113535734B (zh) * 2021-07-26 2023-07-07 安徽容知日新科技股份有限公司 一种数据存储方法、数据查询方法和计算设备

Also Published As

Publication number Publication date
CN108287668B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN108287668A (zh) 设备数据的处理方法及装置、计算机装置及可读存储介质
CN104866366B (zh) 应用程序清理方法及装置
CN106446049A (zh) 一种页面数据交互装置及方法
CN105989076A (zh) 一种数据统计方法以及装置
CN104778178B (zh) 一种应用分类方法、装置、及业务服务器
CN106130972B (zh) 资源访问控制方法和装置
CN110290168A (zh) 数据发送方法、装置、服务器及存储介质
CN111355816B (zh) 服务器选取方法、装置、设备及分布式服务系统
CN103023693A (zh) 一种行为日志数据管理系统及方法
CN110365536A (zh) 一种物联网设备的故障提示方法及相关装置
CN110020086A (zh) 一种用户画像查询方法及装置
CN105224560A (zh) 缓存数据的查找方法和装置
CN110928681A (zh) 数据的处理方法和装置、存储介质及电子装置
CN104765596A (zh) 请求处理方法和装置
CN106446289B (zh) 基于Pinpoint的信息查询方法和装置
CN110198227B (zh) 日志文件的处理方法、装置、存储介质及电子装置
CN112822289A (zh) 数据上传读取方法、系统、设备及存储介质
CN109246282B (zh) 通话信息的存储方法及装置、存储介质、电子装置
CN101715202A (zh) 一种监测无线网络用户行为的方法及系统
CN107493181B (zh) 虚拟扩展端口的指示方法和装置
CN111130921B (zh) 核心网网元的性能指标处理方法及装置
CN108400901A (zh) 应用的测试方法、终端设备及计算机可读存储介质
CN106326470A (zh) 流式大数据的处理方法和装置
CN106909612A (zh) 一种跟随行为数据的处理方法和装置
CN113741889A (zh) 异构数据库智能存取数据的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant