CN107193869A - 工业物联网云平台中数据存取的方法及装置 - Google Patents

工业物联网云平台中数据存取的方法及装置 Download PDF

Info

Publication number
CN107193869A
CN107193869A CN201710229266.7A CN201710229266A CN107193869A CN 107193869 A CN107193869 A CN 107193869A CN 201710229266 A CN201710229266 A CN 201710229266A CN 107193869 A CN107193869 A CN 107193869A
Authority
CN
China
Prior art keywords
storage server
access
mark
data
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710229266.7A
Other languages
English (en)
Inventor
张涛
国承斌
吴刚
冯晓龙
党君利
明晨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mixlinker Network Co Ltd
Original Assignee
Shenzhen Mixlinker Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mixlinker Network Co Ltd filed Critical Shenzhen Mixlinker Network Co Ltd
Priority to CN201710229266.7A priority Critical patent/CN107193869A/zh
Publication of CN107193869A publication Critical patent/CN107193869A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明适用于信息技术领域,提供了一种工业物联网云平台中数据存取的方法及装置,包括:根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。本发明解决了在大数据快速增长下现有存储技术导致的存储容量不足的问题,且实现了根据客户需求进行数据存储。

Description

工业物联网云平台中数据存取的方法及装置
技术领域
本发明属于信息技术领域,尤其涉及一种工业物联网云平台中数据存取的方法及装置。
背景技术
随着工业物联网的发展,连接到物联网云平台的工业设备越来越多,上报到物联网云平台的数据信息呈现爆炸式增长,用于存储这些数据信息的服务器CPU和磁盘消耗极快。现有技术主要采用在服务器上增加磁盘的方式来缓解数据量突发性大量增长的问题。然而这只是临时的解决方案,在上报的数据信息不停止增长的情况下,服务器最终也会承受不了。且对于不同客户的存储需求,来自工业设备的数据信息有些存储时间长,有些存储时间短,现有技术也无法根据不同客户实现按需存储,在一定程度上也使得服务器存储容量不足的问题更突出。
发明内容
鉴于此,本发明实施例提供了一种工业物联网云平台中数据存取的方法及装置,以解决在大数据快速增长下现有存储技术导致的存储容量不足的问题,并实现按客户需求进行数据存储。
第一方面,提供了一种工业物联网云平台中数据存取的方法,所述方法包括:
根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;
设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;
在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。
进一步地,所述方法还包括:
在进行数据读取时,获取查询条件,所述查询条件包括采集设备标识和时间信息;
根据所述采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息。
进一步地,所述时间信息为起始月份/截止月份;
所述根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息包括:
从所述目标存储服务器中的所述起始月份/截止月份对应的存储空间中读取数据信息;
若所述存储空间中的数据信息未达到目标数据量时,从下一个月份/上一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
输出所读取的数据信息。
进一步地,所述时间信息为起始月份和截止月份;
所述根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息包括:
根据所述起始月份和截止月份,读取所述目标存储服务器中的所述起始月份对应的存储空间至所述截止月份对应的存储空间中的数据信息;
输出所读取的数据信息。
进一步地,所述方法还包括:
设置存取索引表的更新接口;
通过所述更新接口加载并更新所述存取索引表。
第二方面,提供了一种工业物联网云平台中数据存取的装置,所述装置包括:
建立模块,用于根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;
设置模块,用于设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;
存储查询模块,用于在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
存储模块,用于将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。
进一步地,所述装置还包括:
获取模块,用于在进行数据读取时,获取查询条件,所述查询条件包括采集设备标识和时间信息;
读取查询模块,用于根据所述采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
读取模块,用于根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息。
进一步地,所述时间信息为起始月份/截止月份;
所述读取模块包括:
第一读取单元,用于从所述目标存储服务器中的所述起始月份/截止月份对应的存储空间中读取数据信息;若所述存储空间中的数据信息未达到目标数据量时,从下一个月份/上一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
第一输出单元,用于输出所读取的数据信息。
进一步地,所述时间信息为起始月份和截止月份;
所述读取模块包括:
第二读取单元,用于根据所述起始月份和截止月份,读取所述目标存储服务器中的所述起始月份对应的存储空间至所述截止月份对应的存储空间中的数据信息;
第二输出单元,用于输出所读取的数据信息。
进一步地,所述装置还包括:
更新模块,用于设置存取索引表的更新接口;通过所述更新接口加载并更新所述存取索引表。
与现有技术相比,本发明实施例通过根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;然后设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;在进行数据存储时,首先获取待存储的数据信息,然后根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;最后将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间;从而提出了一种新的数据存储方式,实现了灵活的分布式按需存储,可以根据客户需求以及时间信息分区进行存储,解决了在大数据快速增长下现有存储技术导致的存储容量不足的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1是本发明实施例一提供的工业物联网云平台中数据存取的方法的实现流程图;
图2是本发明实施例二提供的工业物联网云平台中数据存取的方法的实现流程图;
图3是本发明实施例三提供的工业物联网云平台中数据存取的装置的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例通过根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;然后设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;在进行数据存储时,首先获取待存储的数据信息,然后根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;最后将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间;从而提出了一种新的数据存储方式,实现了灵活的分布式按需存储,可以根据客户需求以及时间信息分区进行存储,解决了在大数据快速增长下现有存储技术导致的存储容量不足的问题。本发明实施例还提供了相应的装置,以下分别进行详细的说明。
图1示出了本发明实施例一提供的工业物联网云平台中数据存取的方法的实现流程。
在本发明实施例中,所述工业物联网云平台中数据存取的方法应用于工业物联网的计算机、存储服务器。
参阅图1,所述工业物联网云平台中数据存取的方法包括:
在步骤S101中,根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间。
在本发明实施例中,所述物联网应用系统标识为物联网应用系统的标识。每一个需要存储数据的客户都对应一个物联网应用系统,该物联网应用系统用于管理该客户所关注的设备数据或设备信息。每一个物联网应用系统具有唯一的系统标识,即所述物联网应用系统标识,缩写为FIDIS ID,以用于区分不同的物联网应用系统。
本发明实施例按照所述物联网应用系统标识划分数据库,建立每一个物联网应用系统对应的存储服务器。再按照时间信息将所述存储服务器分割为多个存储空间。
作为本发明的一个优选示例,假设有11个物联网应用系统,其对应的物联网应用系统标识分别为:
F001、F002、F003、F004、F005、F006、F007、F008、F009、F010、F011;
则根据上述物联网应用系统标识建立对应的存储服务器,所述存储服务器标识为:
NO01、NO02、NO03、NO04、NO05、NO06、NO07、NO08、NO09、NO10、NO11。
然后针对每个存储服务器,按照时间信息对该存储服务器的存储空间进行分割。可选地,在实际操作中,可以按照月份来对存储服务器的存储空间进行分割。以物联网应用系统标识F001的客户对应的存储服务器NO01为例,可以划分为:F001_201701、F001_201702、F001_201703、F001_201704、F001_201705、F001_201706、F001_201707、F001_201708、F001_201709、F001_2017010、F001_2017011、F001_201712。
物联网应用系统标识F001的工业设备从2月到6月份的数据信息则分别存放在以下存储空间中:F001_201702、F001_201703、F001_201704、F001_201705、F001_201706。
以此类推,物联网应用系统标识F002的客户对应的存储服务器NO02可以划分为:
F002_201701、F002_201702、F002_201703、F002_201704、F002_201705、F002_201706、F002_201707、F002_201708、F002_201709、F002_2017010、F002_2017011、F002_201712。
需要说明的是,以上物联网应用系统标识仅作为本发明的一个具体示例,并不用于限制本发明,实际的物联网应用系统标识按实际需求及规则生成。对所述存储服务器,开发人员可以在开源的面向文档的数据库管理系统couchdb中建立所述存储服务器。
在步骤S102中,设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系。
在完成对存储服务器的建立及划分之后,本发明实施例使用Redis高速内存数据库,设计了两个key-value哈希表作为存取索引表,分别用于采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系。在这里,所述采集设备为物联网应用系统中的数据采集设备,用于采集工业设备数据并进行上报,包括但不限于适配器。每一个数据采集设备对应一个唯一的采集设备标识,用于对物联网应用系统中的数据采集设备进行相互区分。
在步骤S103中,在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器。
在存储数据时,本发明获取待存储的数据信息,即获取从数据采集设备上报上来的数据信息,并获取所述采集设备标识,依据所述采集设备标识从采集设备标识与物联网应用系统标识之间的对应关系中获取与所述采集设备标识对应的物联网应用系统标识,以确定当前进行数据存储的客户;然后依据所述物联网应用系统标识从所述物联网应用系统标识与存储服务器标识之间的对应关系获取存储服务器标识,以得到目标存储服务器,确定本次存储操作的对象。
在步骤S104中,将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。
获取当前时间信息,根据所述时间信息确定在所述目标存储服务器中的对应存储空间,并将所述数据信息保存至所述存储空间中。
示例性地,如前所述,对于从物联网应用系统标识F001的工业设备中获取的数据信息,若当前时间信息为2017年3月17日,属于三月份,则确定存储空间为3月份对应的存储空间F001_201703,则将所述获取的数据信息保存到该存储空间F001_201703中,从而完成了将数据信息按不同客户进行分库存储。针对不同的客户,数据信息存放在不同的存储服务器上,有效地避免了单一服务器的计算和存储压力。每个存储服务器又可以按照时间信息分库存储,实现了灵活的分布式按需存储。且可以针对不同的客户分别设置存储服务器中数据的保存时间,也可以针对单个客户的存储服务器中的不同存储空间设置不同的保存时间,在保存有效数据的同时可以及时清除无用的数据,有利于腾出最大限度的存储容量,从而有效地解决了在大数据快速增长下现有存储技术导致的存储容量不足的问题。
可选地,在图1所示实施例的基础上,本发明实施例还提供了相应的数据读取的过程。参阅图2,示出了本发明实施例二提供的数据存取方法的实现流程,包括:
步骤S201至步骤S204,其中,步骤S201至步骤S204与图1实施例中所述的步骤S101至步骤S104相同,具体请参见上述实施例的叙述,此处不再赘述。
所述方法还包括:
在步骤S205中,在进行数据读取时,获取查询条件,所述查询条件包括采集设备标识和时间信息。
在本发明实施例中,所述时间信息为待读取的数据信息的存储时间,本发明依据所述采集设备标识确定待读取的数据信息所在的存储服务器,以及依据所述时间信息从所述存取索引表中确定指针需要到该存储服务器的哪个存储空间进行数据读取。
在步骤S206中,根据所述采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器。
具体地,本发明实施例依据所述采集设备标识从采集设备标识与物联网应用系统标识之间的对应关系中,获取对应的物联网应用系统标识,以确定当前进行数据存储的客户,然后依据所述物联网应用系统标识从所述物联网应用系统标识与存储服务器标识之间的对应关系中,获取对应的存储服务器标识,以确定本次数据读取的对象,即目标存储服务器。
在步骤S207中,根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息。
在得到目标存储服务器之后,则依据所获取的时间信息,从对应的存储空间中读取数据信息,并返回组织好的数据信息。
如前所述,所述存储服务器按照月份来分割存储空间。作为本发明的一个优选示例,所述时间信息可以为起始月份。
相应地,所述步骤S207具体为:
从所述目标存储服务器中的所述起始月份对应的存储空间中读取数据信息;
若所述存储空间中的数据信息未达到目标数据量时,从下一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
输出所读取的数据信息。
可选地,在根据起始月份读取数据信息时,若从起始月份起至当前月份(最近月份)对应的存储空间中所读取的数据信息仍未达到目标数据量,也输出所读取的数据信息。
作为本发明的另一个优选示例,所述时间信息可以为截止月份;
相应地,所述步骤S207具体为:
从所述目标存储服务器中的所述截止月份对应的存储空间中读取数据信息;
若所述存储空间中的数据信息未达到目标数据量时,从上一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
输出所读取的数据信息。输出所读取的数据信息。
作为本发明的另一个优选示例,所述时间信息还可以为起始月份和截止月份;
相应地,所述步骤S207具体为:
根据所述起始月份和截止月份,读取所述目标存储服务器中的所述起始月份对应的存储空间至所述截止月份对应的存储空间中的数据信息;
输出所读取的数据信息。
本发明实施例通过采用时间信息来分割存储服务器,然后基于所述存取索引表以及所划分的存储空间来完成数据读取的操作,有效地提高了数据读取的效率以及准确率。
可选地,本发明实施例还设置了所述存取索引表的更新接口。在存储数据及读取数据时,通过所述更新接口加载并更新所述存取索引表。具体地,在存储数据时,只要查询一次所述存取索引表,则通知存储处理程序加载所述存取索引表中的所有内容,并在所述存取索引表中的对应关系发生变化时通知存储处理程序重新加载所述存取索引表,以提高查询的效率。
综上所述,本发明实施例通过根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;然后设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;在进行数据存储时,首先获取待存储的数据信息,然后根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;最后将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间;从而提出了一种新的数据存储方式,实现了灵活的分布式按需存储,可以根据客户需求以及时间信息分区进行存储,解决了在大数据快速增长下现有存储技术导致的存储容量不足的问题。
应理解,在上述实施例中,各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图3示出了本发明实施例三提供的工业物联网云平台中数据存取的装置的组成结构,为了便于说明,仅示出了与本发明实施例相关的部分。
在本发明实施例中,所述装置用于实现上述图1至图2实施例中所述的工业物联网云平台中数据存取的方法,可以是内置于计算机、服务器的软件单元、硬件单元或者软硬件结合的单元。
参阅图3,所述装置包括:
建立模块31,用于根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;
设置模块32,用于设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;
存储查询模块33,用于在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
存储模块34,用于将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。
进一步地,所述装置还包括:
获取模块35,用于在进行数据读取时,获取查询条件,所述查询条件包括采集设备标识和时间信息;
读取查询模块36,用于根据所述采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
读取模块37,用于根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息。
进一步地,所述时间信息为起始月份/截止月份;
相应地,所述读取模块37包括:
第一读取单元371,用于从所述目标存储服务器中的所述起始月份/截止月份对应的存储空间中读取数据信息;若所述存储空间中的数据信息未达到目标数据量时,从下一个月份/上一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
第一输出单元372,用于输出所读取的数据信息。
进一步地,所述时间信息为起始月份和截止月份;
相应地,所述读取模块37包括:
第二读取单元373,用于根据所述起始月份和截止月份,读取所述目标存储服务器中的所述起始月份对应的存储空间至所述截止月份对应的存储空间中的数据信息;
第二输出单元374,用于输出所读取的数据信息。
进一步地,所述装置还包括:
更新模块38,用于设置存取索引表的更新接口;通过所述更新接口加载并更新的存取索引表。
在存储数据及读取数据时,由所述更新模块38通过所述更新接口加载并更新所述存取索引表。具体地,在存储数据时,只要查询一次所述存取索引表,所述更新模块38则通知存储处理程序加载所述存取索引表中的所有内容,并在所述存取索引表中的对应关系发生变化时通知存储处理程序重新加载所述存取索引表,以提高查询的效率。
需要说明的是,本发明实施例中的装置可以用于实现上述方法实施例中的全部技术方案,其各个功能模块的功能可以根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述实例中的相关描述,此处不再赘述。
综上所述,本发明实施例通过根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;然后设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;在进行数据存储时,首先获取待存储的数据信息,然后根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;最后将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间;从而提出了一种新的数据存储方式,针对不同的客户,数据信息存放在不同的存储服务器上,有效地避免了单一服务器的计算和存储压力。且可以针对不同的客户分别设置存储服务器中数据的保存时间,也可以针对单一客户的存储服务器中的不同存储空间设置不同的保存时间,在保存有效数据的同时可以及时清除无用的数据,有利于腾出最大限度的存储容量,从而有效地解决了在大数据快速增长下现有存储技术导致的存储容量不足的问题。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法及装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块、单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元、模块单独物理存在,也可以两个或两个以上单元、模块集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种工业物联网云平台中数据存取的方法,其特征在于,所述方法包括:
根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;
设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;
在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。
2.如权利要求1所述的工业物联网云平台中数据存取的方法,其特征在于,所述方法还包括:
在进行数据读取时,获取查询条件,所述查询条件包括采集设备标识和时间信息;
根据所述采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息。
3.如权利要求2所述的工业物联网云平台中数据存取的方法,其特征在于,所述时间信息为起始月份/截止月份;
所述根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息包括:
从所述目标存储服务器中的所述起始月份/截止月份对应的存储空间中读取数据信息;
若所述存储空间中的数据信息未达到目标数据量时,从下一个月份/上一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
输出所读取的数据信息。
4.如权利要求2所述的工业物联网云平台中数据存取的方法,其特征在于,所述时间信息为起始月份和截止月份;
所述根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息包括:
根据所述起始月份和截止月份,读取所述目标存储服务器中的所述起始月份对应的存储空间至所述截止月份对应的存储空间中的数据信息;
输出所读取的数据信息。
5.如权利要求1至4任一项所述的工业物联网云平台中数据存取的方法,其特征在于,所述方法还包括:
设置存取索引表的更新接口;
通过所述更新接口加载并更新所述存取索引表。
6.一种工业物联网云平台中数据存取的装置,其特征在于,所述装置包括:
建立模块,用于根据物联网应用系统标识建立对应的存储服务器,并将所述存储服务器按照时间信息划分为若干个存储空间;
设置模块,用于设置存取索引表,所述存取索引表中包括采集设备标识与物联网应用系统标识之间的对应关系、物联网应用系统标识与存储服务器标识之间的对应关系;
存储查询模块,用于在进行数据存储时,获取待存储的数据信息,根据所述数据信息的采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
存储模块,用于将所述数据信息保存至所述目标存储服务器中当前时间信息对应的存储空间。
7.如权利要求6所述的工业物联网云平台中数据存取的装置,其特征在于,所述装置还包括:
获取模块,用于在进行数据读取时,获取查询条件,所述查询条件包括采集设备标识和时间信息;
读取查询模块,用于根据所述采集设备标识从所述存取索引表中获取对应的存储服务器标识,以确定目标存储服务器;
读取模块,用于根据所述时间信息从所述目标存储服务器中的对应存储空间中读取数据信息。
8.如权利要求7所述的工业物联网云平台中数据存取的装置,其特征在于,所述时间信息为起始月份/截止月份;
所述读取模块包括:
第一读取单元,用于从所述目标存储服务器中的所述起始月份/截止月份对应的存储空间中读取数据信息;若所述存储空间中的数据信息未达到目标数据量时,从下一个月份/上一个月份对应的存储空间中读取数据信息,直至达到所述目标数据量为止;
第一输出单元,用于输出所读取的数据信息。
9.如权利要求7所述的工业物联网云平台中数据存取的装置,其特征在于,所述时间信息为起始月份和截止月份;
所述读取模块包括:
第二读取单元,用于根据所述起始月份和截止月份,读取所述目标存储服务器中的所述起始月份对应的存储空间至所述截止月份对应的存储空间中的数据信息;
第二输出单元,用于输出所读取的数据信息。
10.如权利要求6至9任一项所述的工业物联网云平台中数据存取的装置,其特征在于,所述装置还包括:
更新模块,用于设置存取索引表的更新接口;通过所述更新接口加载并更新所述存取索引表。
CN201710229266.7A 2017-04-10 2017-04-10 工业物联网云平台中数据存取的方法及装置 Pending CN107193869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710229266.7A CN107193869A (zh) 2017-04-10 2017-04-10 工业物联网云平台中数据存取的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710229266.7A CN107193869A (zh) 2017-04-10 2017-04-10 工业物联网云平台中数据存取的方法及装置

Publications (1)

Publication Number Publication Date
CN107193869A true CN107193869A (zh) 2017-09-22

Family

ID=59871251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710229266.7A Pending CN107193869A (zh) 2017-04-10 2017-04-10 工业物联网云平台中数据存取的方法及装置

Country Status (1)

Country Link
CN (1) CN107193869A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222078A (zh) * 2019-06-03 2019-09-10 中国工商银行股份有限公司 一种数据处理方法及装置
CN110417818A (zh) * 2019-09-04 2019-11-05 巢湖学院 工业物联网云平台系统
CN112099449A (zh) * 2020-09-10 2020-12-18 南京柏瑞斯特智能科技有限公司 一种基于工业物联网云平台的设备数据采集系统
CN113282582A (zh) * 2021-05-21 2021-08-20 海南超船电子商务有限公司 一种船位数据的高效存储方法及系统
CN113794781A (zh) * 2021-11-16 2021-12-14 佛山技研智联科技有限公司 数据采集方法、装置、设备及存储介质
CN115208826A (zh) * 2021-04-12 2022-10-18 中移(上海)信息通信科技有限公司 一种数据处理方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212420A1 (en) * 2012-02-09 2013-08-15 Rockwell Automation Technologies, Inc. Time-stamping of industrial cloud data for synchronization
CN103647686A (zh) * 2013-12-19 2014-03-19 北京伊神华虹系统工程技术有限公司 一种数据监控管理系统及方法
CN105868071A (zh) * 2016-03-23 2016-08-17 乐视网信息技术(北京)股份有限公司 监测数据的处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212420A1 (en) * 2012-02-09 2013-08-15 Rockwell Automation Technologies, Inc. Time-stamping of industrial cloud data for synchronization
CN103647686A (zh) * 2013-12-19 2014-03-19 北京伊神华虹系统工程技术有限公司 一种数据监控管理系统及方法
CN105868071A (zh) * 2016-03-23 2016-08-17 乐视网信息技术(北京)股份有限公司 监测数据的处理方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222078A (zh) * 2019-06-03 2019-09-10 中国工商银行股份有限公司 一种数据处理方法及装置
CN110222078B (zh) * 2019-06-03 2021-05-28 中国工商银行股份有限公司 一种数据处理方法及装置
CN110417818A (zh) * 2019-09-04 2019-11-05 巢湖学院 工业物联网云平台系统
CN112099449A (zh) * 2020-09-10 2020-12-18 南京柏瑞斯特智能科技有限公司 一种基于工业物联网云平台的设备数据采集系统
CN115208826A (zh) * 2021-04-12 2022-10-18 中移(上海)信息通信科技有限公司 一种数据处理方法、装置及系统
CN115208826B (zh) * 2021-04-12 2023-12-01 中移(上海)信息通信科技有限公司 一种数据处理方法、装置及系统
CN113282582A (zh) * 2021-05-21 2021-08-20 海南超船电子商务有限公司 一种船位数据的高效存储方法及系统
CN113794781A (zh) * 2021-11-16 2021-12-14 佛山技研智联科技有限公司 数据采集方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107193869A (zh) 工业物联网云平台中数据存取的方法及装置
CN102968498B (zh) 数据处理方法及装置
CN102867071B (zh) 一种网管海量历史数据管理方法
CN106407207B (zh) 一种实时新增数据更新方法和装置
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN103631933B (zh) 一种面向分布式去重系统的数据路由方法
CN108399186A (zh) 一种数据采集方法及装置
CN101799808A (zh) 一种数据处理方法及其系统
US20130006996A1 (en) Clustering E-Mails Using Collaborative Information
CN107402950A (zh) 基于分库分表的文件处理方法和装置
CN106815254A (zh) 一种数据处理方法和装置
CN104407879A (zh) 一种电网时序大数据并行加载方法
CN108520471A (zh) 重叠社区发现方法、装置、设备及存储介质
CN104021088B (zh) 日志存储方法和装置
CN110399096A (zh) 分布式文件系统元数据缓存重删的方法、装置以及设备
CN103248636B (zh) 离线下载的系统及方法
CN115665284A (zh) 基于分布式配置中心的报文处理方法、装置及计算机设备
CN106933644A (zh) 数据处理方法和装置
CN107506284A (zh) 日志处理方法及装置
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN112465321B (zh) 一种任务分析方法、装置、设备及存储介质
CN109285015B (zh) 一种虚拟资源的分配方法及系统
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN102761617B (zh) 一种工作流队列服务器、工作流调度系统及其方法
CN102571381B (zh) 一种信息存储方法以及信息存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922