CN112783901B - 一种基于物联网中间件的物联网时序大数据处理方法 - Google Patents

一种基于物联网中间件的物联网时序大数据处理方法 Download PDF

Info

Publication number
CN112783901B
CN112783901B CN202110222653.4A CN202110222653A CN112783901B CN 112783901 B CN112783901 B CN 112783901B CN 202110222653 A CN202110222653 A CN 202110222653A CN 112783901 B CN112783901 B CN 112783901B
Authority
CN
China
Prior art keywords
data
sub
database
internet
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110222653.4A
Other languages
English (en)
Other versions
CN112783901A (zh
Inventor
石守业
蔡明涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewo Wulian Technology Nanjing Co ltd
Original Assignee
Hewo Wulian Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewo Wulian Technology Nanjing Co ltd filed Critical Hewo Wulian Technology Nanjing Co ltd
Priority to CN202110222653.4A priority Critical patent/CN112783901B/zh
Publication of CN112783901A publication Critical patent/CN112783901A/zh
Application granted granted Critical
Publication of CN112783901B publication Critical patent/CN112783901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于物联网中间件的物联网时序大数据处理方法，包括数据库、入库服务和查询服务三部分；数据库基于TDengine时序数据库进行设计，存储在一个数据库内的数据具有相同的数据特征；对每个采集点的每个变量建立一张子表，子表的第一列为时间戳，子表的第二列为变量数据，将变量数据的字段类型设置为保证数据存储范围的最小格式；各数据库内，将变量数据的字段类型相同的子表建立在一张超级表内，采集点的静态属性作为标签通过超级表保存在元数据节点中。本发明能满足物联网数据采集场景中不断增长且容量巨大的存储和时序数据的管理的业务需求；采用本发明提供时序数据处理架构，并发入库和查询统计的效果明显提升。

Description

一种基于物联网中间件的物联网时序大数据处理方法
技术领域
本发明涉及一种基于物联网中间件的物联网时序大数据处理方法，属于物联网时序数据的存储和查询技术。
背景技术
随着物联网技术广泛应用，物联网特征数据急速增长，数据量变的越来越大，类型也越来越多，传统结构化数据库已无法满足具有物联网特征的时序数据存储和查询要求。因此使用时序数据库处理物联网特征数据成为必然，时序数据是带时间标签的时间序列数据，其典型特点是产生频率快、依赖于采集时间、采集点多信息量大。为了保证设备安全、稳定、高效地运行，通常会对各类设备的运行状态进行实时监测，采集获得大量的时序数据（常规的实时监测系统均有上万个监测点，每天产生几十GB甚至更大的数据量）可作为设备运行状态评估、设备运行故障预警、设备可靠性分析等高级应用的基础，因而，如何快速、高效、及时地处理海量实时数据，成为工业、电力、环保、水务暖通等行业面临的一项重大挑战。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于物联网中间件的物联网时序大数据处理方法，解决现在市面上大多基于结构化数据库对时序数据存储和查询速度慢、效率低和实时性差的问题。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于物联网中间件的物联网时序大数据处理方法，包括数据库、入库服务和查询服务三部分；
所述数据库基于TDengine时序数据库进行设计，不同项目场景的数据存储在不同的数据库内，存储在一个数据库内的数据具有相同的数据特征（使得不同项目场景下的数据都能最大效率的存储），数据库基于项目场景命名；对每个采集点的每个变量建立一张子表，子表的第一列为时间戳，子表的第二列为变量数据，将变量数据的字段类型（整型、浮点型、字符串等）设置为保证数据存储范围的最小格式，子表基于变量名称命名；各数据库内，将变量数据的字段类型相同的子表建立在一张超级表内，采集点的静态属性没有直接存储在子表中，而是作为标签（这些标签将作为过滤条件，便于采集点之间的聚合统计操作）通过超级表保存在元数据节点中，超级表基于字段类型命名；在子表和数据库之间设立超级表是为了保证数据特征的一致性，并且也便于采集点聚合统计操作；
所述入库服务基于微服务架构、支持数据存储策略配置、采用分库分表的设计方式；物联网采集点提供的数据经物联网中间件进行格式统一后存储在目标子表内，按照项目场景、数据类型、字段类型、变量的顺序循迹或建立目标子表；
所述查询服务基于微服务架构、采用项目场景为单位的分库查询方式；使用预统计方法提前设定统计数据的时间范围和统计数据的显示方式，在统计数据收集完成后自动显示统计数据。
本案创造性地将TDengine时序数据库引入到物联网或工控设备场景中，打破了一直以来使用SQL、NoSQL数据库的惯例。TDengine时序数据库与目前多数物联网或工控设备场景中使用的SQL、NoSQL数据库相比需要定义schema，会降低数据插入的灵活性；但是，物联网或工控设备场景中的schema是极少会发生变动的，因而，这种插入灵活性的损失就可以忽视了；同时，TDengine时序数据库采用结构化数据来进行处理的方式，会让数据库查询、分析的性能得到了数量级的提升。
本案对子表的建立也采用更为新颖的方式，而非传统的、单一的基于采集点建立数据库或基于变量建立数据库；我们将项目场景、数据类型、字段类型和变量进行融合，对不同的项目场景建立不同的数据库，让同一个数据库内的数据类型保持相同，对不同字段类型的变量数据建立不同的超级表，对不同的变量建立不同的子表。这种设计能够大幅减少随机读取操作，成数量级地提升读取和查询速度。而且由于不同数据采集设备产生数据的过程完全独立，每个数据采集设备只产生属于自己的数据，子表中的每一列也就只有一个写入者。这样每个子表就可以采用无锁方式来写，写入速度就能大幅提升。同时，对于一个数据采集点而言，其产生的数据是时序的，因此写的操作可用追加的方式实现，进一步大幅提高数据写入速度。
入库服务采用微服务架构，根据数据处理量大小可支持单机或集群部署，入库服务通过获取中间件上报的各种传感器、仪表、PLC（可编程逻辑控制器）等设备采集数据，实时的将数据写入数据库。入库服务支持数据存储策略配置，数据库创建时可设置数据保留天数、每个虚拟节点允许创建表的最大数目、内存块大小、每张表最大的内存块数以及每张表的内存块数，保证数据存储必要和合理性，对于使用者在有限的存储空间内保留最关注的数据的场景有极强实用性。入库服务数据处理层采用分库分表设计方式，根据项目场景划分数据库，首先定义场景编号，根据场景编号创建数据库，保证每个数据库中只处理一种项目场景下的数据，每个采集点的每个变量存储在一张子表中，能够提高入库的效率，也能够极大地减少数据入库检索的范围。
查询服务采用微服务架构，根据用户查询请求的多少可支持单机或集群部署，查询服务按照分库分表的方式查询，先根据项目场景选择对应的数据库，然后根据要查询的数据条件进行数据查询或统计，以此方式降低检索和聚合查询范围从而使查询速度更快。查询服务根据使用场景的各种查询条件，可以按条件选择对应库，查询数据并可以做数据分析处理，比如要查询查询最近一月每天每4小时设备采集数据平均值，后台查询方式为：SELECT AVG(value) as avg FROM superTable WHERE dataid=30 ts > now-1m INTERVAL(4h)；同样条件10亿条数据查询，使用基于传统数据库查询方案，统计平均值为76秒，而使用时序数据库查询方案，统计平均值只需要6秒。查询服务也为用户提供便捷的条件录入和丰富图表，使用户对数据分析时可以便捷的选择条件维度，并通过各种图表（指标卡、表格、柱状图、折线图、饼图等）直观展示。
在字段类型的选择上，我们选择保证数据存储范围的最小格式，能够大量节省数据存储空间。比如：一个开关量存储，字段类型可设置为Bool类型，存储空间只占1Byte；再比如：一个浮点数变量，字段类型则可设置为Float类型，存储空间只占4Byte。
综上，本案基于物联网或工控设备场景对数据处理速度的高要求，从数据库设计、表格设计、入库设计和查询设计等各个方面进行了优化，极大地提高了数据处理速度。
具体的，所述数据特征包括还包括保留时长、备份份数、单个字段大小、文件块大小、是否压缩中的一个或两个以上。
具体的，所述入库服务过程中：若对物联网采集点采集到的变量已经定义对应的子表，则直接将变量数据储到子表中；若没有定义对应的子表，则先在对应的超级表下建立子表，然后将变量数据储到子表中；若没有定义对应的超级表，则先在对应的数据库下建立超级表，然后在超级表下建立子表，然后将变量数据储到子表中；若没定义对应的数据库，则先建立数据库，然后在数据库下建立超级表，然后在超级表下建立子表，然后将变量数据储到子表中。
具体的，所述采集点的静态属性包括地理位置、设备型号、设备组ID和管理员ID中的一个以上。
具体的，所述查询服务提供条件录入和图表展示功能，数据查询服务能够为用户提供便捷的条件录入和丰富图表，使用户对数据分析时可以便捷的选择条件维度，并通过各种图表（指标卡、表格、柱状图、折线图、饼图等）直观展示。
有益效果：本发明提供的基于物联网中间件的物联网时序大数据处理方法，能够满足物联网数据采集场景中不断增长且容量巨大的存储和时序数据的管理的业务需求；采用本发明提供时序数据处理架构，并发入库和查询统计的效果明显提升，10亿条数据检索、统计都在2秒内完成，服务器单核每秒处理数据指示2万次请求，插入百万条数据，读取千万以上数据点，比传统结构化和非结构化数据库速度提升10倍以上。
附图说明
图1为本发明的逻辑框架示意图；
图2为本发明的时序数据库读写数据的流程示意图；
图3为本发明的数据库、超级表和子表的关系示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
如图1所示为一种基于物联网中间件的物联网时序大数据处理方法，首先建立数据库，物联网将在采集点采集到的变量数据经中间件进行格式标准化后实时写入数据库中，用户通过查询服务获取数据库中的数据。具体实施方式如下：
一、数据库部分
创建数据库：创建数据库时，除SQL标准的选项外，应用还可以指定保留时长、数据备份的份数、cache大小、文件块大小、是否压缩等多种数据特征。例如：create databasedb_userId keep 30 tables 20000 cache 10240 ablocks 4 tblocks 50，keep为数据保留天数，tables为每个vnode允许创建表的最大数目，cache为内存块的大小，单位为字节，tblocks为每张表最大的内存块数，ablocks为每张表平均的内存块数，每张表占用内存的计算公式为：cache×ablocks + tblocks×8 + 1000。
创建超级表：创建超级表时，需要提供表名，表结构schema，第一列必须为时间戳，其他列为采集数据，数据类型可以为整型、浮点型、字符串等。采集点的静态属性往往可以作为标签，比如采集点的地理位置、设备型号、设备组ID、管理员ID等等。标签的schema可以用于增加、删除、修改。在物联网中，一个设备就可能有多个采集点（比如一台风力发电的风机，有的采集点采集电流、电压等电参数，有的采集点采集温度、湿度、风向等环境参数），这个时候，对这一类型的设备，可能需要建立多张超级表。一张超级表里包含的采集物理量必须是同时采集的（时间戳是一致的）。创建超级表示例：CREATE TABLE meters (tstimestamp, value1 float, value2 int, value3 float) TAGS (location binary(64),dataId int) 。
创建子表：对每个采集点的每个变量创建一张子表，数据类型可以是整型、浮点型、字符串等。除此之外，表的第一列必须是时间戳。
二、入库服务部分
入库服务采用SpringCloud的微服务架构，根据数据处理量大小可支持单机或集群部署。入库服务通过中间件的kafka消息队列上报各种传感器、仪表、PLC（可编程逻辑控制器）等设备的采集数据，入库服务将数据接收后进行解析处理，并且实时的将数据写入数据库。
入库服务过程中：若对物联网采集点采集到的变量已经定义对应的子表，则直接将变量数据储到子表中；若没有定义对应的子表，则先在对应的超级表下建立子表，然后将变量数据储到子表中；若没有定义对应的超级表，则先在对应的数据库下建立超级表，然后在超级表下建立子表，然后将变量数据储到子表中；若没定义对应的数据库，则先建立数据库，然后在数据库下建立超级表，然后在超级表下建立子表，然后将变量数据储到子表中。
在创建时序数据库时可设置数据保留天数、每个虚拟节点允许创建表的最大数目、内存块大小、每张表最大的内存块数以及每张表评价的内存块数，保证数据存储必要和合理性，对于使用者在有限的存储空间内保留最关注的数据的场景有极强实用性。
入库服务的数据处理层采用分库分表设计方式，根据项目场景划分数据库，首先定义场景编号，根据场景编号创建数据库，保证每个数据库中只处理一种项目场景下的数据，相同字段类型的变量数据存储在一张超级表中，从而提高数据入库的效率。
三、查询服务部分
数据查询服务也采用SpringCloud的微服务架构，根据用户查询请求的多少可支持单机或集群部署。查询服务根据使用场景的各种查询条件，可以按条件查询数据并可以做数据分析处理，比如要查询查询最近一月每天每4小时设备采集数据平均值，后台查询方式为：SELECT AVG(value) as avg FROM superTable WHERE dataid=30 ts > now-1mINTERVAL(4h)；同样条件10亿条数据查询，使用基于传统数据库查询方案，统计平均值为76秒，而使用时序数据库查询方案，统计平均值只需要6秒。
查询服务也能够为用户提供便捷的条件录入和丰富图表，使用户对数据分析时可以便捷的选择条件维度，并通过各种图表（指标卡、表格、柱状图、折线图、饼图等）直观展示；数据查询时基于数据库缓存机制，最新数据默认保存在缓存中，对于最新实时数据查询直接从缓存中获取查询速度都在毫秒级。
数据的查询场景多种多样，总的来说时序数据的查询分为两种：原始数据的查询和时序数据聚合运算的查询，对于普通条件查询，基于时序数据库本身具有的特殊性能就可以完成原始数据和一般聚合查询，但对于复杂条件比如多个场景下各种维度的统计，就需要使用预统计功能，预统计功能是根据场景中常用的查询规则统计抽象出的模型，定期执行将预先统计出的数据进行保存，当查询条件满足时从预统计结果表中直接查询数据从而达到秒级返回的效果。预统计模型配置通过后台配置文件配置统计规则，采用定时任务方式周期性统计数据并入库。例如：查询5个温度采集场景每天的温度最大值、最小值和平均值，则是先在mybatis中配置按天统计SQL语句及调用方法，然后在spring的xml中配置定时任务为每天0点执行统计，最终当用户查询条件为按天统计时走预统计结果分支，直接获取按天统计数据，避免每个场景下都按天统计一次最终返回结果这种耗时较长查询，从而达到秒级响应。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (3)

1.一种基于物联网中间件的物联网时序大数据处理方法，其特征在于：包括数据库、入库服务和查询服务三部分；
所述数据库基于TDengine时序数据库进行设计，不同项目场景的数据存储在不同的数据库内，存储在一个数据库内的数据具有相同的数据特征，数据库基于项目场景命名；对每个采集点的每个变量建立一张子表，子表的第一列为时间戳，子表的第二列为变量数据，将变量数据的字段类型设置为保证数据存储范围的最小格式，子表基于变量名称命名；各数据库内，将变量数据的字段类型相同的子表建立在一张超级表内，采集点的静态属性作为标签通过超级表保存在元数据节点中，超级表基于字段类型命名；
所述入库服务基于微服务架构、支持数据存储策略配置、采用分库分表的设计方式；物联网采集点提供的数据经物联网中间件进行格式统一后存储在目标子表内，按照项目场景、数据类型、字段类型、变量的顺序循迹或建立目标子表；
所述查询服务基于微服务架构、采用项目场景为单位的分库查询方式；使用预统计方法提前设定统计数据的时间范围和统计数据的显示方式，在统计数据收集完成后自动显示统计数据；
所述数据特征还包括保留时长、备份份数、单个字段大小、文件块大小、是否压缩中的一个以上；所述采集点的静态属性包括地理位置、设备型号、设备组ID和管理员ID中的一个以上。
2.根据权利要求1所述的基于物联网中间件的物联网时序大数据处理方法，其特征在于：所述入库服务过程中：若对物联网采集点采集到的变量已经定义对应的子表，则直接将变量数据储到子表中；若没有定义对应的子表，则先在对应的超级表下建立子表，然后将变量数据储到子表中；若没有定义对应的超级表，则先在对应的数据库下建立超级表，然后在超级表下建立子表，然后将变量数据储到子表中；若没定义对应的数据库，则先建立数据库，然后在数据库下建立超级表，然后在超级表下建立子表，然后将变量数据储到子表中。
3.根据权利要求1所述的基于物联网中间件的物联网时序大数据处理方法，其特征在于：所述查询服务提供条件录入和图表展示功能。
CN202110222653.4A 2021-03-01 2021-03-01 一种基于物联网中间件的物联网时序大数据处理方法 Active CN112783901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222653.4A CN112783901B (zh) 2021-03-01 2021-03-01 一种基于物联网中间件的物联网时序大数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222653.4A CN112783901B (zh) 2021-03-01 2021-03-01 一种基于物联网中间件的物联网时序大数据处理方法

Publications (2)

Publication Number Publication Date
CN112783901A CN112783901A (zh) 2021-05-11
CN112783901B true CN112783901B (zh) 2023-09-01

Family

ID=75762029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222653.4A Active CN112783901B (zh) 2021-03-01 2021-03-01 一种基于物联网中间件的物联网时序大数据处理方法

Country Status (1)

Country Link
CN (1) CN112783901B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990835B (zh) * 2021-05-12 2021-09-21 明品云(北京)数据科技有限公司 一种线下入库检索方法、系统、设备和介质
CN114647650A (zh) * 2022-05-18 2022-06-21 苏州琞能能源科技有限公司 数据存储方法、装置、电子设备及存储介质
CN115098507B (zh) * 2022-06-30 2023-08-18 东方合智数据科技(广东)有限责任公司 一种基于工业互联网数据的存储方法及相关设备
CN115757427B (zh) * 2022-12-01 2023-12-29 北京空间飞行器总体设计部 一种航天器测试数据的存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122243A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 用于半结构化数据的可扩展分析平台
CN111190597A (zh) * 2019-12-27 2020-05-22 天津浪淘科技股份有限公司 一种数据ue可视化设计系统
CN111222089A (zh) * 2020-04-14 2020-06-02 苏宁云计算有限公司 数据处理方法、装置、计算机设备和存储介质
CN111858615A (zh) * 2020-08-04 2020-10-30 中国工商银行股份有限公司 数据库表生成方法、系统、计算机系统和可读存储介质
CN112214547A (zh) * 2020-09-24 2021-01-12 百度国际科技（深圳）有限公司 数据处理方法、数据服务器、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050210263A1 (en) * 2001-04-25 2005-09-22 Levas Robert G Electronic form routing and data capture system and method
US7401104B2 (en) * 2003-08-21 2008-07-15 Microsoft Corporation Systems and methods for synchronizing computer systems through an intermediary file system share or device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122243A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 用于半结构化数据的可扩展分析平台
CN111190597A (zh) * 2019-12-27 2020-05-22 天津浪淘科技股份有限公司 一种数据ue可视化设计系统
CN111222089A (zh) * 2020-04-14 2020-06-02 苏宁云计算有限公司 数据处理方法、装置、计算机设备和存储介质
CN111858615A (zh) * 2020-08-04 2020-10-30 中国工商银行股份有限公司 数据库表生成方法、系统、计算机系统和可读存储介质
CN112214547A (zh) * 2020-09-24 2021-01-12 百度国际科技（深圳）有限公司 数据处理方法、数据服务器、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字孪生的智能车间管控;刘义等;制造业自动化;第42卷(第7期);148-152 *

Also Published As

Publication number Publication date
CN112783901A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112783901B (zh) 一种基于物联网中间件的物联网时序大数据处理方法
CN103345518B (zh) 基于数据块的自适应数据存储管理方法及系统
CN102446184B (zh) 一种基于时间序列的工业数据存储及索引方法
US20200117663A1 (en) Managed query execution platform, and methods thereof
CN111475509A (zh) 一种基于大数据的用户画像和多维分析系统
US20060156967A1 (en) Alarm analysis methods and systems capable of multi-purpose function
CN103177094B (zh) 一种物联网数据清洗方法
CN109542892A (zh) 一种实时数据库的关系化实现方法、装置及系统
CN103383690A (zh) 分布式数据存储方法及系统
CN107656971A (zh) 一种基于Redis的智能电网采集监测数据存储方法
CN113986824B (zh) 一种高效存储和检索时序数据的方法
CN105574074A (zh) 一种基于智能电网wams的时序大数据存储方法
CN114443656A (zh) 一种可定制的自动化数据模型分析工具及其使用方法
CN107341198B (zh) 一种基于主题实例的电力海量数据存储和查询方法
CN110502543B (zh) 设备性能数据存储方法、装置、设备和存储介质
CN117312308A (zh) 时序数据库中索引的创建方法、装置及时序数据库系统
CN105528274A (zh) 一种优化加速的磁盘监控方法及系统
CN110134690B (zh) Oracle数据库超大数据快速存储方法及系统
CN103955492A (zh) 一种电力系统中数据存储的方法
CN116028572A (zh) 通信业务数据的处理方法、装置和计算机存储介质
CN112214493A (zh) 一种历史记录存储方法、装置、电子设备以及存储介质
CN111026759A (zh) 基于Hbase的报表生成方法及装置
CN110727750A (zh) 海洋时空过程对象提取与多尺度数据映射方法、介质及设备
Zhang et al. Research and optimization of meteorological big data storage technology
CN110377624B (zh) 一种对具有时间空间多维属性的地理信息数据的存储和查询方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant