CN113986913A - 基于实时数据库的物联网设备数据处理方法及相关装置 - Google Patents
基于实时数据库的物联网设备数据处理方法及相关装置 Download PDFInfo
- Publication number
- CN113986913A CN113986913A CN202111131396.XA CN202111131396A CN113986913A CN 113986913 A CN113986913 A CN 113986913A CN 202111131396 A CN202111131396 A CN 202111131396A CN 113986913 A CN113986913 A CN 113986913A
- Authority
- CN
- China
- Prior art keywords
- time
- data
- real
- internet
- things equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 3
- 230000006855 networking Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 239000000306 component Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开提供一种基于实时数据库的物联网设备数据处理方法及相关装置，包括：获取知识元数据；根据所述知识元数据，获取目标物联网设备的基础数据；获取所述目标物联网设备的历史数据；获取所述目标物联网设备对应的实时任务；根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。本公开通过设计的实时数据库，能够有效对于物联网设备数据进行处理。
Description
技术领域
本公开涉及物联网技术领域，尤其涉及一种基于实时数据库的物联网设备数据处理方法及相关装置。
背景技术
随着通信、传感和信息等技术的融合，促进了物联网应用快速发展。物联网本质上传统工业控制系统在internet网络的一个后续的发展。物联网与传统的工业控制系统一样，都具备数据采集、实时运算、实时监控、远程控制、统计分析等功能。
物联网总体功能范围虽然和工业控制系统是大体相同的，但运行环境和应用目的还是有很大的区别，物联网运行在internet等通信不稳定的网络环境，并且物联网应用需要管理广阔范围内的各类设备，设备数量可能会很庞大。并且需要能简单的添减设备；同时，物联网应用非常注重数据的统计分析功能，需要封装大量的业务运算规则，传统的数据库显然不能很好的满足上述需求。
发明内容
有鉴于此，本公开的目的在于提出一种基于实时数据库的物联网设备数据处理方法及相关装置。
基于上述目的，本公开提供了一种基于实时数据库的物联网设备数据处理方法，包括：
获取知识元数据；
根据所述知识元数据，获取目标物联网设备的基础数据；
获取所述目标物联网设备的历史数据；
获取所述目标物联网设备对应的实时任务；
根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
基于同一发明构思，本公开提供了一种基于实时数据库的物联网设备数据处理装置，包括：
知识元数据获取模块，被配置为获取知识元数据；
基础数据获取模块，被配置为根据所述知识元数据，获取目标物联网设备的基础数据；
历史数据获取模块，被配置为获取所述目标物联网设备的历史数据；
实时任务获取模块，被配置为获取所述目标物联网设备对应的实时任务；
实时数据存储模块，被配置为根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
基于同一发明构思，本公开提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。
基于同一发明构思，本公开提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述方法。
从上面所述可以看出，本公开提供的基于实时数据库的物联网设备数据处理方法及相关装置，包括：获取知识元数据；根据所述知识元数据，获取目标物联网设备的基础数据；获取所述目标物联网设备的历史数据；获取所述目标物联网设备对应的实时任务；根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。本公开通过设计的实时数据库，能够有效对于物联网设备数据进行处理。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的基于实时数据库的物联网设备数据处理方法的一种流程示意图；
图2为本公开实施例提供的基于实时数据库的物联网设备数据处理装置的一种结构示意图；
图3为本公开实施例提供的一种更为具体的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，具体的，物联网总体功能范围虽然和工业控制系统是大体相同的，但两者还是有明显的区别，工业控制系统一般运行在可靠实时连接上，主要运行环境为工业控制网，而物联网可能运行在慢速不可靠网络，一般为internet；工业控制系统一般采用windows风格界面，物联网一般采用浏览器+app用户界面；工业控制系统强调控制和稳定运行，一般情况都采用下位机来分离控制，物联网强调监控、统计分析，物联网应用一般没有独立的下位机，工业控制系统可以作为物联网的控制端和数据采集部分；工业控制系统管理的设备数量有限，一般在几百规模；而物联网应用管理的设备数量则更加庞大，上百万数量也是经常的。
实时数据库是工业控制系统的核心组件。实时数据库功能包括实时数据采集与外部服务，设备实时数据设备在内存中的映射、实时任务调度、历史数据管理四大功能；物联网应用也离不开实时数据库的支撑。每个商用的工业控制系统，一般情况都自带一个实时数据库产品，当前也有独立的实时数据库软件产品。
相关技术中的实时数据库产品，实现的功能目标范围大体是相同的，实现的技术体系架构也相差不大。实时数据库产品最核心的部分设备内存映射，都是采用变量方式。即每个设备的某个指标的值，在实时数据库中都是一个变量。变量本质上是一个结构体，主要属性包括名称、值、数据类型、数据质量。所有采用这种数据结构类型的实时数据库，公开统一称为变量型实时数据库。
变量本身不具备设备和指标属性，某个具体的应用，需要根据实际的现场环境来设置变量，而某个具体应用，现场环境又是不一样的。如果要实现产品级别的开发无法直接基于变量来编写抽象的算法，因此，采用变量实时数据库的的应用，一般都是项目性质的，因为变量一定是某个具体项目相关的。难以实现大规模的应用，当变量个数达到一定的量，比如达到一万的时候，变量本身的管理就会变得很困难。为了维护变量的逻辑关系，一般都有一张excel的说明表。要在一个excel表内维护几十万条记录，其后果一定是灾难性的。采集时间属性，当前实时数据库一般都没有数据采集时间，造成判断通信中断困难。在工业控制系统，通信一般是稳定可靠的，但物联网应用，通信不一定是稳定可靠的，因此，需要有采集时间属性来进行相应的处理。
有鉴于此，本公开提出一种基于实时数据库的物联网设备数据处理方法及相关装置。
图1为本公开实施例提供的基于实时数据库的物联网设备数据处理方法的一种流程示意图；基于实时数据库的物联网设备数据处理方法，包括：
S110、获取知识元数据。
在一些实施例中，所述知识元数据包括：
物联网设备类型、计量单位、数据指标和算法库。
S120、根据所述知识元数据，获取目标物联网设备的基础数据。
S130、获取所述目标物联网设备的历史数据。
在物联网应用中，设备的实时数据变化很快，一般是毫秒级别的。如果将这些数据存在传统的关系数据库中，由于需要跨进程访问，一般跨进程访问会有几十毫秒的时延，即使物联网对实时性要求有所降低，也时不符合实时性的要求，因此，要较好的满足实时性要求，需要将设备的实时数据放在内存中，并且实时数据库最好与主应用程序是共享进程的。在内存中的实时数据，当新数据到来后，就直接覆盖原来的老数据。但老数据还是有很重要的分析统计意义，需要采用一定的策略，对实时数据进行归档处理。由于设备实时数据变化很快，并且有些数据归档保存也没有必要。因此，需要采用一定的策略来对实时数据进行归档，归档数据需要有较高的采集频率，一般不大大于一分钟一次，因此，在运行一段时间后，归档数据的量就很大，往往能达到TB级别以上，传统的数据库查询往往不能满足性能要求。
本公开提出了一套实时数据的定义、利用方法及策略。用户和实施人员可以以设备为单元对实时数据进行定义。归档策略分为定期归档和遇变归档两种方式。定期归档经过一点时间内，如果有新数据，则对数据进行归档；遇变归档用于变化不频繁的设备或特殊时间，比较报警发生时间和问题诊断时间。归档以设备为单位，每次归档将采集时间和该设备的实时数据以压缩的方式，进行保存，归档数据主要包括三个数据，设备ID，采集时间、指标值压缩串。具体的归档目的本发明专利未做限制，可以是文件，也可以是关系数据库。但归档数据要以时间顺序进行存储，方便后面的快速访问。
本公开对历史数据提供一种称为时间戳方式的数据访问。时间戳也可以称为设备快照。数据访问者，可以访问到设备在离某个历史时刻点最近的数据。时间戳数据访问方法，特别适用于根据累计量，来生成区间量的运算。比如计算你能源用量，在某个历史时刻点库存量等。本公开提供了一条可以快速访问到时间戳数据的方法。快速访问历史快照数据分为定期装载和按需访问两部分组成。
在一些实施例中，所述获取所述目标物联网设备的历史数据，包括：
初始化所述目标物联网设备的历史快照字典；所述历史快照字典为快照建立时间、物联网设备身份标识号、物联网设备归档数据的嵌套字典；
获取所述目标物联网设备的运行时间；
确定时间区间粒度，将所述运行时间作为区间开始时间，并根据所述时间区间粒度，得到下一个时间区间；
按照所述目标物联网设备的区间最晚时间归档记录；响应于确定所述目标物联网设备没有记录，取上个时间区段的记录；
将所述记录作为快照数据，载入所述目标物联网设备的历史快照字典，并返回所需所述快照数据。
在一些实施例中，所述获取所述目标物联网设备的历史数据，包括：
响应于接收到快照请求，在内存快照中查询快照时间钥匙；
根据所述快照时间钥匙，从快照字典中查询最近快照时间；
将所述最近快照时间与请求时间组成时间区间；
按照所述目标物联网设备的区间最晚时间归档记录；响应于确定所述目标物联网设备没有记录，取上个时间区段的记录；
将所述记录作为快照数据，载入所述目标物联网设备的历史快照字典，并返回所需所述快照数据。
S140、获取所述目标物联网设备对应的实时任务。
在一些实施例中，所述实时任务包括：
实时报警、数据归档、数据清洗和数据增值。
S150、根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
在一些实施例中，所述根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典，包括：
将所述实时数据以物联网设备身份标识号、指标身份标识号、值的嵌套字典进行存储；其中，所述物联网设备身份标识号为所述嵌套字典的外层字典的钥匙，所述指标身份标识号为所述嵌套字典的内层字典的钥匙。
本公开提出了一种新型的实时数据库产品类型，对象实时数据库。其中最核心的理念是将设备和指标融入到实时数据库中。本公开的核心部分之一是设备在内存中的映射部分，不再采用变量方式，而是采用面向对象形式。对设备实时数据的访问不再通过变量名，而是通过物联网设备身份标识号ID+指标身份标识号ID的方式来进行访问。
为了提高访问效率，方便封装算法，方便项目实施，设备实时数据在内存中的映射采用嵌套字典方式，外层字典钥匙为物联网设备身份标识号，内存字典的钥匙为指标身份标识号，同时在外层字典增加采集时间属性。
为了高效的根据物联网设备身份标识号和指标身份标识号访问到具体的设备信息和指标数据，设备和指标也以单层字典的形式，常驻内存。为了提高算法的通用性，将设备类型数据也常驻内存，并且建议在不同的项目之间公用统一的指标编码和设备类型编码。
在一些实施例中，在所述将所述实时数据存储至内存字典之前，还包括：
对所述实时数据进行清洗和增值。
从上面所述可以看出，本公开提供的基于实时数据库的物联网设备数据处理方法及相关装置，包括：获取知识元数据；根据所述知识元数据，获取目标物联网设备的基础数据；获取所述目标物联网设备的历史数据；获取所述目标物联网设备对应的实时任务；根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。本公开通过设计的实时数据库，能够有效对于物联网设备数据进行处理。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种基于实时数据库的物联网设备数据处理装置。
参考图2，所述基于实时数据库的物联网设备数据处理装置，包括：
知识元数据获取模块210，被配置为获取知识元数据；
基础数据获取模块220，被配置为根据所述知识元数据，获取目标物联网设备的基础数据；
历史数据获取模块230，被配置为获取所述目标物联网设备的历史数据；
实时任务获取模块240，被配置为获取所述目标物联网设备对应的实时任务；
实时数据存储模块250，被配置为根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于实时数据库的物联网设备数据处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于实时数据库的物联网设备数据处理方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的基于实时数据库的物联网设备数据处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于实时数据库的物联网设备数据处理方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于实时数据库的物联网设备数据处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
需要说明的是，本公开的实施例还可以以下方式进一步描述：
一种基于实时数据库的物联网设备数据处理方法，包括：
获取知识元数据；
根据所述知识元数据，获取目标物联网设备的基础数据；
获取所述目标物联网设备的历史数据；
获取所述目标物联网设备对应的实时任务；
根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
可选的，其中，所述知识元数据包括：
物联网设备类型、计量单位、数据指标和算法库。
可选的，其中，所述实时任务包括：
实时报警、数据归档、数据清洗和数据增值。
可选的，其中，所述根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典，包括：
将所述实时数据以物联网设备身份标识号、指标身份标识号、值的嵌套字典进行存储；其中，所述物联网设备身份标识号为所述嵌套字典的外层字典的钥匙，所述指标身份标识号为所述嵌套字典的内层字典的钥匙。
可选的，其中，在所述将所述实时数据存储至内存字典之前，还包括：
对所述实时数据进行清洗和增值。
可选的，其中，所述获取所述目标物联网设备的历史数据，包括：
初始化所述目标物联网设备的历史快照字典；所述历史快照字典为快照建立时间、物联网设备身份标识号、物联网设备归档数据的嵌套字典；
获取所述目标物联网设备的运行时间；
确定时间区间粒度，将所述运行时间作为区间开始时间，并根据所述时间区间粒度，得到下一个时间区间；
按照所述目标物联网设备的区间最晚时间归档记录；响应于确定所述目标物联网设备没有记录，取上个时间区段的记录；
将所述记录作为快照数据，载入所述目标物联网设备的历史快照字典，并返回所需所述快照数据。
可选的，其中，所述获取所述目标物联网设备的历史数据，包括：
响应于接收到快照请求，在内存快照中查询快照时间钥匙；
根据所述快照时间钥匙，从快照字典中查询最近快照时间；
将所述最近快照时间与请求时间组成时间区间；
按照所述目标物联网设备的区间最晚时间归档记录；响应于确定所述目标物联网设备没有记录，取上个时间区段的记录；
将所述记录作为快照数据，载入所述目标物联网设备的历史快照字典，并返回所需所述快照数据。
一种基于实时数据库的物联网设备数据处理装置，包括：
知识元数据获取模块，被配置为获取知识元数据；
基础数据获取模块，被配置为根据所述知识元数据，获取目标物联网设备的基础数据；
历史数据获取模块，被配置为获取所述目标物联网设备的历史数据；
实时任务获取模块，被配置为获取所述目标物联网设备对应的实时任务；
实时数据存储模块，被配置为根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述方法。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于实时数据库的物联网设备数据处理方法，包括：
获取知识元数据；
根据所述知识元数据，获取目标物联网设备的基础数据；
获取所述目标物联网设备的历史数据；
获取所述目标物联网设备对应的实时任务；
根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
2.根据权利要求1所述的方法，其中，所述知识元数据包括：
物联网设备类型、计量单位、数据指标和算法库。
3.根据权利要求1所述的方法，其中，所述实时任务包括：
实时报警、数据归档、数据清洗和数据增值。
4.根据权利要求1所述的方法，其中，所述根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典，包括：
将所述实时数据以物联网设备身份标识号、指标身份标识号、值的嵌套字典进行存储；其中，所述物联网设备身份标识号为所述嵌套字典的外层字典的钥匙，所述指标身份标识号为所述嵌套字典的内层字典的钥匙。
5.根据权利要求1所述的方法，其中，在所述将所述实时数据存储至内存字典之前，还包括：
对所述实时数据进行清洗和增值。
6.根据权利要求1所述的方法，其中，所述获取所述目标物联网设备的历史数据，包括：
初始化所述目标物联网设备的历史快照字典；所述历史快照字典为快照建立时间、物联网设备身份标识号、物联网设备归档数据的嵌套字典；
获取所述目标物联网设备的运行时间；
确定时间区间粒度，将所述运行时间作为区间开始时间，并根据所述时间区间粒度，得到下一个时间区间；
按照所述目标物联网设备的区间最晚时间归档记录；响应于确定所述目标物联网设备没有记录，取上个时间区段的记录；
将所述记录作为快照数据，载入所述目标物联网设备的历史快照字典，并返回所需所述快照数据。
7.根据权利要求1所述的方法，其中，所述获取所述目标物联网设备的历史数据，包括：
响应于接收到快照请求，在内存快照中查询快照时间钥匙；
根据所述快照时间钥匙，从快照字典中查询最近快照时间；
将所述最近快照时间与请求时间组成时间区间；
按照所述目标物联网设备的区间最晚时间归档记录；响应于确定所述目标物联网设备没有记录，取上个时间区段的记录；
将所述记录作为快照数据，载入所述目标物联网设备的历史快照字典，并返回所需所述快照数据。
8.一种基于实时数据库的物联网设备数据处理装置，包括：
知识元数据获取模块，被配置为获取知识元数据；
基础数据获取模块，被配置为根据所述知识元数据，获取目标物联网设备的基础数据；
历史数据获取模块，被配置为获取所述目标物联网设备的历史数据；
实时任务获取模块，被配置为获取所述目标物联网设备对应的实时任务；
实时数据存储模块，被配置为根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131396.XA CN113986913A (zh) | 2021-09-26 | 2021-09-26 | 基于实时数据库的物联网设备数据处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131396.XA CN113986913A (zh) | 2021-09-26 | 2021-09-26 | 基于实时数据库的物联网设备数据处理方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113986913A true CN113986913A (zh) | 2022-01-28 |
Family
ID=79736737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111131396.XA Pending CN113986913A (zh) | 2021-09-26 | 2021-09-26 | 基于实时数据库的物联网设备数据处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113986913A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122422A (zh) * | 2017-04-06 | 2017-09-01 | 山东建筑大学 | 面向服务的智慧住区实时数据库系统及其工作方法 |
| US20190251000A1 (en) * | 2018-02-15 | 2019-08-15 | Wipro Limited | Method and system for restoring historic data of an enterprise |
| CN111984741A (zh) * | 2020-07-28 | 2020-11-24 | 智维云图(上海)智能科技有限公司 | 一种消防物联网中的多层数据存储方法及系统 |
| CN113297339A (zh) * | 2021-07-27 | 2021-08-24 | 阿里云计算有限公司 | 数据存储的方法、设备、存储介质及产品 |
-
2021
- 2021-09-26 CN CN202111131396.XA patent/CN113986913A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122422A (zh) * | 2017-04-06 | 2017-09-01 | 山东建筑大学 | 面向服务的智慧住区实时数据库系统及其工作方法 |
| US20190251000A1 (en) * | 2018-02-15 | 2019-08-15 | Wipro Limited | Method and system for restoring historic data of an enterprise |
| CN111984741A (zh) * | 2020-07-28 | 2020-11-24 | 智维云图(上海)智能科技有限公司 | 一种消防物联网中的多层数据存储方法及系统 |
| CN113297339A (zh) * | 2021-07-27 | 2021-08-24 | 阿里云计算有限公司 | 数据存储的方法、设备、存储介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10176208B2 (en) | Processing time series data from multiple sensors | |
| JP7279266B2 (ja) | 時系列データを保存および照会するための方法および装置、並びにそれらのサーバーおよび記憶媒体 | |
| US11494339B2 (en) | Multi-level compression for storing data in a data store | |
| US10339121B2 (en) | Data compression | |
| US9450602B2 (en) | Efficiently query compressed time-series data in a database | |
| US9483533B2 (en) | Method and apparatus for processing time series data | |
| JP2022551011A (ja) | データを格納するための方法および装置、並びにそれらのコンピュータデバイスおよび記憶媒体 | |
| CN111061758B (zh) | 数据存储方法、装置及存储介质 | |
| CN110109899B (zh) | 物联网数据填补方法、装置及系统 | |
| CN110389967B (zh) | 数据存储方法、装置、服务器及存储介质 | |
| CN112613271A (zh) | 数据分页方法、装置、计算机设备及存储介质 | |
| CN116049153B (zh) | 数据库的数据处理方法、装置、电子设备及存储介质 | |
| CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115994144A (zh) | 数据存储方法、装置和存储介质及电子设备 | |
| CN115380267A (zh) | 数据压缩方法及装置、数据压缩设备和可读存储介质 | |
| CN114691723A (zh) | 工业数据处理方法、装置、设备及介质 | |
| WO2020159397A1 (en) | Method and computerized device for processing numeric time series data | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN112800054A (zh) | 数据模型的确定方法、装置、设备及存储介质 | |
| CN113986913A (zh) | 基于实时数据库的物联网设备数据处理方法及相关装置 | |
| CN114510525B (zh) | 数据格式转换方法、装置、计算机设备和存储介质 | |
| CN113849524B (zh) | 一种数据处理方法及装置 | |
| CN115454353A (zh) | 一种面向空间应用数据的高速写入及查询方法 | |
| CN114500272A (zh) | 一种配置信息采集处理方法及装置 | |
| WO2019218677A1 (zh) | 电网仿真分析数据存储方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |