CN115098507B - 一种基于工业互联网数据的存储方法及相关设备 - Google Patents

一种基于工业互联网数据的存储方法及相关设备 Download PDF

Info

Publication number
CN115098507B
CN115098507B CN202210762624.1A CN202210762624A CN115098507B CN 115098507 B CN115098507 B CN 115098507B CN 202210762624 A CN202210762624 A CN 202210762624A CN 115098507 B CN115098507 B CN 115098507B
Authority
CN
China
Prior art keywords
data
equipment
index
storage
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210762624.1A
Other languages
English (en)
Other versions
CN115098507A (zh
Inventor
王晓峰
邓秀东
康凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfang Hezhi Data Technology Guangdong Co ltd
Original Assignee
Dongfang Hezhi Data Technology Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfang Hezhi Data Technology Guangdong Co ltd filed Critical Dongfang Hezhi Data Technology Guangdong Co ltd
Priority to CN202210762624.1A priority Critical patent/CN115098507B/zh
Publication of CN115098507A publication Critical patent/CN115098507A/zh
Application granted granted Critical
Publication of CN115098507B publication Critical patent/CN115098507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于工业互联网数据的存储方法及相关设备，所述方法包括：根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。本发明解决了物联网设备在采集指标的频繁变动的易维护性下同时保证海量数据的高效存储和查询，保证海量设备数据的高效存储和查询的同时能应对设备查询指标的频繁变换，从而降低系统维护的工作量。

Description

一种基于工业互联网数据的存储方法及相关设备
技术领域
本发明涉及数据存储技术领域，尤其涉及一种基于工业互联网数据的存储方法、系统、终端及计算机可读存储介质。
背景技术
通过对工厂设备数据的采集，实时传送到服务器端存入时序数据库的TDengine(TDengine是一款开源、高性能、分布式、支持SQL的时序空间大数据引擎，除时序存储外还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度；TDengine虽然能提供海量数据的实时高效存储和查询，但是TDengine需要预先定义好数据结构，而这对于工业设备采集指标会频繁变动的情况下增加了系统的开发工作和维护工作量)中，同时建立灵活的数据表结构，既能将海量的数据按照时序数据能够实现高性能查询的规则特点存储数据，同时又可以固定表结构设计预先定义好表结构，又可以在要采集的设备指标变动后无需修改表结构，做到高性能又易维护的数据存储和查询。
使用传统的关系型数据库，虽然在采集设备指标发生变动时可以很容易的修改表结构，但是无法满足高吞吐量的数据写入和海量数据的查询分析，即使数据量较小，能满足实时数据写入的需求，但是无法满足实时计算分析的需求；如使用非关系型数据库，虽然能灵活的应对后续采集设备数据指标的变动而无需修改表结构，但存在的问题和关系型数据库一样，无法满足海量数据的实时写入和计算分析，而且也存在另外一个巨大的缺陷，其需要保存大量的冗余数据，这对于需要存储海量数据的工业物联网来说明显是不适合的，浪费大量的存储空间，使企业投入成本巨大；而传统的Hadoop生态的大数据架构虽然提供了消息引擎、实时数据的写入、流数据计算、离线数据仓库、离线数据计算等多个部件，通过对这些部件的综合应用能够实现工业互联网平台海量数据的实时存储和计算分析，但是由于所使用的部件多，流程复杂，导致这套方案过于庞大和臃肿，实施和维护的成本非常之高。
使用TDengine存储物联网设备数据，可以解决高效存储和查询的问题，但是目前TDengine使用的建表方案主要有两种方式，一是同时上报的数据存储在一个超级表中，一个设备的数据存储在一个子表中；二是每一个设备采集指标建一个超级表，一个设备一个采集指标的数据存储在一个子表中。这两种方案所存在的问题是当需要添加设备采集指标时，第一种方案需要添加字段，第二种方案需要新增一个超级表。两种方案在变更或者新增数据采集指标时都需要修改数据库表结构和更新数据存储和查询的代码，对于物联网设备采集指标频繁变动和增加且对于多租户平台，每个租户采集的指标有很大差别的情况下无疑是一个巨大的挑战。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于工业互联网数据的存储方法、系统、终端及计算机可读存储介质，旨在解决现有技术中由于设备采集指标的频繁变换，海量设备数据无法高效存储，系统维护工作量大的问题。
为实现上述目的，本发明提供一种基于工业互联网数据的存储方法，所述基于工业互联网数据的存储方法包括如下步骤：
根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；
从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；
从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。
可选地，所述的基于工业互联网数据的存储方法，其中，所述基础类型表示数据库内置的定义数据表字段的数据类型。
可选地，所述的基于工业互联网数据的存储方法，其中，所述设备指标参数包括：温度、湿度、设备用水量、电压和设备运行状态。
可选地，所述的基于工业互联网数据的存储方法，其中，通过设备名和指标名确定一个子表。
可选地，所述的基于工业互联网数据的存储方法，其中，所述指标参数包括：指标参数名、指标参数值以及采集时间。
可选地，所述的基于工业互联网数据的存储方法，其中，所述基于工业互联网数据的存储方法还包括：
当设备需要新增一个采集指标时，无需添加或者修改表结构，无需修改数据存储的代码，只需要在设备端配置添加一个采集的指标参数，传输到数据存储平台时，数据平台将指标参数的名称作为标签的方式存储。
可选地，所述的基于工业互联网数据的存储方法，其中，所述按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中，具体包括：
对解析后的所述消费数据进行筛选过滤，筛选出需要的数据后对数据结构进行转换，转换成数据库存储的结构，并存储到目标数据引擎中；
其中，所述目标数据引擎为TDengine。
此外，为实现上述目的，本发明还提供一种基于工业互联网数据的存储系统，其中，所述基于工业互联网数据的存储系统包括：
数据采集模块，用于根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；
数据传输模块，用于从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；
数据存储模块，用于从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于工业互联网数据的存储程序，所述基于工业互联网数据的存储程序被所述处理器执行时实现如上所述的基于工业互联网数据的存储方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于工业互联网数据的存储程序，所述基于工业互联网数据的存储程序被处理器执行时实现如上所述的基于工业互联网数据的存储方法的步骤。
本发明中，根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。本发明解决了物联网设备在采集指标的频繁变动的易维护性下同时保证海量数据的高效存储和查询，保证海量设备数据的高效存储和查询的同时能应对设备查询指标的频繁变换，从而降低系统维护的工作量。
附图说明
图1是本发明基于工业互联网数据的存储方法的较佳实施例的流程图；
图2是本发明基于工业互联网数据的存储方法的较佳实施例中数据整体处理的示意图；
图3是本发明基于工业互联网数据的存储系统的较佳实施例的原理示意图；
图4为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于工业互联网数据的存储方法，如图1所示，所述基于工业互联网数据的存储方法包括以下步骤：
步骤S10、根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中。
具体地，根据采集的设备指标的基础类型(数据库内置的定义数据表字段的数据类型，如整形、浮点型、字符串类型等)创建超级表(相当于定义表结构的一个模板，此模板即称为超级表，而根据此模板创建的表即为此超级表的子表)，每种基础类型创建一个对应的超级表，超级表名形如“参数名_基础数据类型”，每一个设备指标参数(比如温度、湿度、设备用水量、电压、设备运行状态等)存储在一个子表中，但是通过设备名和指标名确定一个子表。
进一步地，当设备需要新增一个采集指标时，无需添加或者修改表结构，也无需修改数据存储的代码，只需要在设备端配置添加一个采集的指标参数，传输到数据存储平台时，数据平台会将此指标参数的名称作为标签的方式存储，而无需修改表结构，增加一个此指标参数的字段，减少了代码的维护量，同时又能保证数据在单个子表中是按时间顺序存储的。当要查询具体某个指标的值时，通过设备名和指标名就可以查询到(子表中存储了指标参数的值和以标签值的方式存储了指标名称)。
步骤S20、从物联网设备网关获取的设备上采集的指标参数发布到Kafka中。
具体地，从物联网设备网关获取的数据发布到Kafka中(这里的数据指的是从设备上采集的指标参数，包含指标参数名和指标参数值以及采集时间等信息)；将数据发送到Kafka的目的是用Kafka作为一个数据缓冲，防止数据处理程序处理不过来；另外一个作用就是可以其它一些应用程序可能需要实时处理一些从设备上采集过来的数据，这些应用就可以直接从Kafka订阅这些数据直接处理，以提升数据的实时性。
需要说明的是，要能存储数据必须有数据来源，这里相当于一个数据传输通道，连接设备与数据存储平台；Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高可用、高并发、高性能的特性。在本发明中Kafka可以作为数据缓冲，也可以解耦ETL跟其它一下业务服务。
步骤S30、从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。
具体地，从Kafka中获取的消费数据(一般将写入数据到Kafka中称为生产数据，将从Kafka中读取数据称为消费数据)解析后按照一定的规则处理后(因为从设备上采集不一定都是需要的数据，数据结构也是不规则的，所以要对数据进行筛选过滤，筛选出需要的数据之后要对数据结构进行转换，转换成数据库可以存储的结构)按前面第一条定义的表结构存储到TDengine中。
进一步地，如图2所示，ETL(Extract-Transform-Load)用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)到目的端的过程。数据转换服务就是将从设备采集的数据进行过滤，筛选出需要的数据，然后根据前面定义的数据模型结构，转换成适合模型存储的结构。例如从物联网设备网关获取数据，将数据传输至Kafka中进行缓存，然后通过ETL对数据进行数据转换服务，再存储到TDengine中，进一步进行数据计算和数据建模。
例如，模型设计举例：
从上面的表模型可以看出，如果采集的数据类型有5种，那只要建立5个超级表就可以了，即使定义全部的TDengine数据类型的表模型也就定义几个超级表，在表定义好之后不管怎么增加和变更设备指标都无需再修改表模型结构。注意此方案既能保证在设备指标频繁新增或者变动的情况下无需修改表结构和存储代码，同时也能保证每个子表数据按时间有序存储而不影响性能。
由于物联网数据量特别大，并且要采集的指标会经常变换，导致数据的存储维护特别困难，既要保证可以应对设备采集指标的频繁变换的维护难题，同时又要保证海量数据的高性能查询，本发明的创新点在于解决了物联网设备在采集指标的频繁变动的易维护性下同时保证海量数据的高效存储和查询，需要保护的是数据从采集到存储的整体实现思路和数据模型的设计。本发明的目的是保证海量设备数据的高效存储和查询的同时能应对设备查询指标的频繁变换，从而降低系统维护的工作量。
进一步地，如图3所示，基于上述基于工业互联网数据的存储方法，本发明还相应提供了一种基于工业互联网数据的存储系统，其中，所述基于工业互联网数据的存储系统包括：
数据采集模块51，用于根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；
数据传输模块52，用于从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；
数据存储模块53，用于从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。
进一步地，如图4所示，基于上述基于工业互联网数据的存储方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图4仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于工业互联网数据的存储程序40，该基于工业互联网数据的存储程序40可被处理器10所执行，从而实现本申请中基于工业互联网数据的存储方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于工业互联网数据的存储方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于工业互联网数据的存储程序40时实现以下步骤：
根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；
从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；
从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。
其中，所述基础类型表示数据库内置的定义数据表字段的数据类型。
其中，所述设备指标参数包括：温度、湿度、设备用水量、电压和设备运行状态。
其中，通过设备名和指标名确定一个子表。
其中，所述指标参数包括：指标参数名、指标参数值以及采集时间。
其中，所述基于工业互联网数据的存储方法还包括：
当设备需要新增一个采集指标时，无需添加或者修改表结构，无需修改数据存储的代码，只需要在设备端配置添加一个采集的指标参数，传输到数据存储平台时，数据平台将指标参数的名称作为标签的方式存储。
其中，所述按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中，具体包括：
对解析后的所述消费数据进行筛选过滤，筛选出需要的数据后对数据结构进行转换，转换成数据库存储的结构，并存储到目标数据引擎中；
其中，所述目标数据引擎为TDengine。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于工业互联网数据的存储程序，所述基于工业互联网数据的存储程序被处理器执行时实现如上所述的基于工业互联网数据的存储方法的步骤。
综上所述，本发明提供一种基于工业互联网数据的存储方法及相关设备，所述方法包括：根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中。本发明解决了物联网设备在采集指标的频繁变动的易维护性下同时保证海量数据的高效存储和查询，保证海量设备数据的高效存储和查询的同时能应对设备查询指标的频繁变换，从而降低系统维护的工作量。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于工业互联网数据的存储方法，其特征在于，所述基于工业互联网数据的存储方法包括：
根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；
所述基础类型表示数据库内置的定义数据表字段的数据类型，所述数据类型包括：整形、浮点型和字符串类型；
所述设备指标参数包括：温度、湿度、设备用水量、电压和设备运行状态；
通过设备名和指标名确定一个子表；
从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；
所述指标参数包括：指标参数名、指标参数值以及采集时间；
从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中；
所述按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中，具体包括：
对解析后的所述消费数据进行筛选过滤，筛选出需要的数据后对数据结构进行转换，转换成数据库存储的结构，并存储到目标数据引擎中；
所述转换为通过ETL对数据进行数据转换服务，所述ETL用来描述将数据从来源端经过抽取、转换、加载到目的端的过程；
其中，所述目标数据引擎为TDengine；
所述基于工业互联网数据的存储方法还包括：
当设备需要新增一个采集指标时，无需添加或者修改表结构，无需修改数据存储的代码，只需要在设备端配置添加一个采集的指标参数，传输到数据存储平台时，数据平台将指标参数的名称作为标签的方式存储，通过设备名和指标名查询具体指标的值，通过增加指标参数的字段来新增采集指标，既减少了代码的维护量，同时又能保证数据在单个子表中按时间顺序存储。
2.一种基于工业互联网数据的存储系统，其特征在于，所述基于工业互联网数据的存储系统包括：
数据采集模块，用于根据采集的设备指标的基础类型创建超级表，每种基础类型创建一个对应的超级表，每一个设备指标参数存储在一个超级表的子表中；
所述基础类型表示数据库内置的定义数据表字段的数据类型，所述数据类型包括：整形、浮点型和字符串类型；
所述设备指标参数包括：温度、湿度、设备用水量、电压和设备运行状态；
通过设备名和指标名确定一个子表；
数据传输模块，用于从物联网设备网关获取的设备上采集的指标参数发布到Kafka中；
所述指标参数包括：指标参数名、指标参数值以及采集时间；
数据存储模块，用于从Kafka中获取消费数据进行解析，并按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中；
所述按照预设规则进行处理后按定义好的表结构存储到目标数据引擎中，具体包括：
对解析后的所述消费数据进行筛选过滤，筛选出需要的数据后对数据结构进行转换，转换成数据库存储的结构，并存储到目标数据引擎中；
所述转换为通过ETL对数据进行数据转换服务，所述ETL用来描述将数据从来源端经过抽取、转换、加载到目的端的过程；
其中，所述目标数据引擎为TDengine；
所述基于工业互联网数据的存储方法还包括：
当设备需要新增一个采集指标时，无需添加或者修改表结构，无需修改数据存储的代码，只需要在设备端配置添加一个采集的指标参数，传输到数据存储平台时，数据平台将指标参数的名称作为标签的方式存储，通过设备名和指标名查询具体指标的值，通过增加指标参数的字段来新增采集指标，既减少了代码的维护量，同时又能保证数据在单个子表中按时间顺序存储。
3.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于工业互联网数据的存储程序，所述基于工业互联网数据的存储程序被所述处理器执行时实现如权利要求1所述的基于工业互联网数据的存储方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于工业互联网数据的存储程序，所述基于工业互联网数据的存储程序被处理器执行时实现如权利要求1所述的基于工业互联网数据的存储方法的步骤。
CN202210762624.1A 2022-06-30 2022-06-30 一种基于工业互联网数据的存储方法及相关设备 Active CN115098507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210762624.1A CN115098507B (zh) 2022-06-30 2022-06-30 一种基于工业互联网数据的存储方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210762624.1A CN115098507B (zh) 2022-06-30 2022-06-30 一种基于工业互联网数据的存储方法及相关设备

Publications (2)

Publication Number Publication Date
CN115098507A CN115098507A (zh) 2022-09-23
CN115098507B true CN115098507B (zh) 2023-08-18

Family

ID=83294939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210762624.1A Active CN115098507B (zh) 2022-06-30 2022-06-30 一种基于工业互联网数据的存储方法及相关设备

Country Status (1)

Country Link
CN (1) CN115098507B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0604405A (pt) * 2006-09-29 2008-05-20 Univ Sao Paulo peptìdeos ligantes de dlc1 e dlc2 derivados de motores moleculares ou construções de dna recombinante que os codificam e induzem apoptose em células tumorais
JP2012010319A (ja) * 2010-05-28 2012-01-12 Hitachi Ltd 時系列データの圧縮方法および圧縮装置
CN104090850A (zh) * 2014-06-24 2014-10-08 上海铀尼信息科技有限公司 在线表格系统及其数据管理方法
CN106170784A (zh) * 2013-11-18 2016-11-30 杰尼坎普贝埃尔公司 用于分析、存储和再生信息的方法和系统
CN110029125A (zh) * 2019-03-20 2019-07-19 南京农业大学 水稻基因ORYsa;SQD1的基因工程应用
CN110352415A (zh) * 2016-12-16 2019-10-18 华为技术有限公司 大规模数据管理系统中利用图团体监测的预测表预连接
CN111930751A (zh) * 2020-08-31 2020-11-13 成都四方伟业软件股份有限公司 一种时序数据的存储方法及装置
CN112783901A (zh) * 2021-03-01 2021-05-11 合沃物联技术（南京）有限公司 一种基于物联网中间件的物联网时序大数据处理方法
CN113610432A (zh) * 2021-08-23 2021-11-05 中建材信息技术股份有限公司 一种基于bs版本的数据采集分析式光伏站控系统
CN114488128A (zh) * 2022-01-10 2022-05-13 南京理工大学 一种抗多基地雷达探测的伪装超表面构建方法
CN114647650A (zh) * 2022-05-18 2022-06-21 苏州琞能能源科技有限公司 数据存储方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0604405A (pt) * 2006-09-29 2008-05-20 Univ Sao Paulo peptìdeos ligantes de dlc1 e dlc2 derivados de motores moleculares ou construções de dna recombinante que os codificam e induzem apoptose em células tumorais
JP2012010319A (ja) * 2010-05-28 2012-01-12 Hitachi Ltd 時系列データの圧縮方法および圧縮装置
CN106170784A (zh) * 2013-11-18 2016-11-30 杰尼坎普贝埃尔公司 用于分析、存储和再生信息的方法和系统
CN104090850A (zh) * 2014-06-24 2014-10-08 上海铀尼信息科技有限公司 在线表格系统及其数据管理方法
CN110352415A (zh) * 2016-12-16 2019-10-18 华为技术有限公司 大规模数据管理系统中利用图团体监测的预测表预连接
CN110029125A (zh) * 2019-03-20 2019-07-19 南京农业大学 水稻基因ORYsa;SQD1的基因工程应用
CN111930751A (zh) * 2020-08-31 2020-11-13 成都四方伟业软件股份有限公司 一种时序数据的存储方法及装置
CN112783901A (zh) * 2021-03-01 2021-05-11 合沃物联技术（南京）有限公司 一种基于物联网中间件的物联网时序大数据处理方法
CN113610432A (zh) * 2021-08-23 2021-11-05 中建材信息技术股份有限公司 一种基于bs版本的数据采集分析式光伏站控系统
CN114488128A (zh) * 2022-01-10 2022-05-13 南京理工大学 一种抗多基地雷达探测的伪装超表面构建方法
CN114647650A (zh) * 2022-05-18 2022-06-21 苏州琞能能源科技有限公司 数据存储方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于时序数据库的 CPS 实时监控系统设计;钟子涵 等;《现代计算机》;第27卷(第25期);第102-103页 *

Also Published As

Publication number Publication date
CN115098507A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
US11630830B2 (en) Background format optimization for enhanced queries in a distributed computing cluster
CN109684352B (zh) 数据分析系统、方法、存储介质及电子设备
El-Sappagh et al. A proposed model for data warehouse ETL processes
Geng et al. Big data-based improved data acquisition and storage system for designing industrial data platform
US9460188B2 (en) Data warehouse compatibility
CN104298760B (zh) 一种应用于数据仓库的数据处理方法和数据处理装置
Stadler et al. Making interoperability persistent: A 3D geo database based on CityGML
US20130311454A1 (en) Data source analytics
WO2010042238A1 (en) System and method for data warehousing and analytics on a distributed file system
US9563650B2 (en) Migrating federated data to multi-source universe database environment
CN110597851B (zh) 一种基于大数据的数据处理及报表展示方法
Das et al. A study on big data integration with data warehouse
CN116383238B (zh) 基于图结构的数据虚拟化系统、方法、装置、设备及介质
Zou et al. From a stream of relational queries to distributed stream processing
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN103761265A (zh) 一种基于NoSQL的医疗信息系统数据库实现方法
US9589036B2 (en) Query-level access to external petabyte-scale distributed file systems
CN110119391A (zh) 一种基于服务数据的数据仓库创建方法及数据仓库
CN115098507B (zh) 一种基于工业互联网数据的存储方法及相关设备
CN107357919A (zh) 行为日志查询系统及方法
CN103809915A (zh) 一种磁盘文件的读写方法和装置
CN112817930A (zh) 一种数据迁移的方法和装置
US8713015B2 (en) Expressive grouping for language integrated queries
Murthy et al. Peregrine: Low-latency queries on hive warehouse data
CN110647518A (zh) 一种数据源融合计算方法、组件及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant