CN115237923A - 一种基于云平台的数字数据库存储方法 - Google Patents

一种基于云平台的数字数据库存储方法 Download PDF

Info

Publication number
CN115237923A
CN115237923A CN202210928685.0A CN202210928685A CN115237923A CN 115237923 A CN115237923 A CN 115237923A CN 202210928685 A CN202210928685 A CN 202210928685A CN 115237923 A CN115237923 A CN 115237923A
Authority
CN
China
Prior art keywords
data
storage
factory
time
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210928685.0A
Other languages
English (en)
Inventor
许婷芳
高嗣超
苏昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Vocational Institute of Textile and Garment
Original Assignee
Changzhou Vocational Institute of Textile and Garment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Vocational Institute of Textile and Garment filed Critical Changzhou Vocational Institute of Textile and Garment
Priority to CN202210928685.0A priority Critical patent/CN115237923A/zh
Publication of CN115237923A publication Critical patent/CN115237923A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于云平台的数字数据库存储方法，属于数据存储技术领域，该存储方法具体步骤如下：步骤(1)：传感器实时数据获取；步骤(2)：构建时序数据库；步骤(3)：存储集群搭建；步骤(4)：云平台处理及存储；本发明基于时间属性和标签属性为数字孪生系统中的海量工厂动态数据构建时序数据库，同时利用标签属性为每一数据类别的工厂动态数据进行分布式集群部署和存储，其相较于传统的集中型关系型数据库而言，有利于实现对海量工厂动态数据进行实时存储，保证其存储效率，有利于满足现有工厂数字孪生的存储需求；此外，基于标签属性构建一、二级存储索引，有利于提高工厂动态数据检索效率。

Description

一种基于云平台的数字数据库存储方法
技术领域
本发明涉及数据存储技术领域，尤其涉及一种基于云平台的数字数据库存储方法。
背景技术
数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程；其目前主要应用于工厂监控领域，通过对海量工厂设备数据进行集成建模，工厂数字孪生系统就可以在虚拟场景中持续地展示物理实体工厂的状态，预测设备或系统的健康状况以及剩余使用寿命；在工厂数字孪生系统中数据主要分为两类，分别为工厂静态数据和工厂动态数据；其中，工厂静态数据包括各种机械设备以及厂间的基本信息、几何模型、材料参数和仿真模型等，这类数据通常相对稳定，短时间内不会存在显著变化；而工厂动态数据主要包括设备测试和使用过程中各类传感器记录的大量实测数据，这些数据随时间连续更新，体量通常极其庞大，是设备虚拟空间的数字模型对物理实体进行精确映射，是实现虚实融合、以虚控实的关键；为了实现对物理实体的全生命周期进行持续动态映射，工厂数字孪生系统需要实时接收、存储和处理传感器测量值等这类工厂动态数据；目前，对于动态数据主要通过集中型关系型数据库进行存储，然而集中型关系型数据库很难处理海量的存储数据，在面对海量数据时关系型数据库对数据的读写速度会下降，效率低，难以满足现有工厂数字孪生的存储和检索需求；因此，发明出一种基于云平台的数字数据库存储方法变得尤为重要。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于云平台的数字数据库存储方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于云平台的数字数据库存储方法，该存储方法具体步骤如下：
步骤(1)：传感器实时数据获取，逐时获取工厂数字孪生系统中各类传感器采集到的大量工厂动态数据，所述工厂动态数据包括时间属性和标签属性；
步骤(2)：构建时序数据库，根据所述时间属性以及标签属性构建关于工厂动态数据的时序数据库，并对其进行分类处理，同时构建存储索引；
步骤(3)：存储集群搭建，基于云平台存储功能，并根据所述时序数据库构建分布式存储集群，并进行存储索引更新；
步骤(4)：云平台处理及存储，根据所述时序数据库和分布式存储集群对所述工厂动态数据进行分布式存储。
进一步地，步骤(1)所述时间属性具体为所采集到工厂动态数据的时间戳；所述标签属性包括数据类别和数据结构，所述数据类别包括设备状态数据、人员状态数据、产品状态数据、物流状态数据和能源状态数据，所述数据结构具体为所述数据结构的二级划分。
进一步地，步骤(2)所述时序数据库的具体构建过程如下：
S1：实时获取带有时间戳的工厂动态数据；
S2：根据标签属性中的数据类别对所述带有时间戳的工厂动态数据进行分类处理，形成一级分类结果，同时根据标签属性中的数据结构进行二级分类划分，形成二级分类结果；所述二级分类结果中的每组动态数据与每组采集传感器一一对应；
S3：根据所述一级分类结果构建时序数据库一级存储索引，构建得到时序数据库。
进一步地，所述二级分类结果采用键-键值采用键值形式进行二级存储索引构建，所述键包括对应传感器序号和数据局部结构名称；所述键值具体为字符串形式的传感器数据。
进一步地，步骤(3)所述分布式存储集群基于一级存储索引进行构建，其每一组存储集群用于存储每一大类索引的工厂动态数据；所述存储索引更新用于根据每组存储集群的序号对所述一级存储索引进行更新，使每组存储集群与每一大类索引一一对应。
进一步地，步骤(4)所述云平台处理用于对工厂动态数据进行预处理，所述预处理包括数据去重、数据去噪和数据格式统一；所述数据存储用于根据一级索引将所述工厂动态数据进行分布式集群存储。
相比于现有技术，本发明的有益效果在于：
本申请提出的一种基于云平台的数字数据库存储方法，其基于时间属性和标签属性为数字孪生系统中的海量工厂动态数据构建时序数据库，同时利用标签属性为每一数据类别的工厂动态数据进行分布式集群部署和存储，其相较于传统的集中型关系型数据库而言，有利于实现对海量工厂动态数据进行实时存储，保证其存储效率，有利于满足现有工厂数字孪生的存储需求；此外，基于标签属性构建一、二级存储索引，有利于提高工厂动态数据检索效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的一种基于云平台的数字数据库存储方法的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
参照图1，本实施例公开了一种基于云平台的数字数据库存储方法，该存储方法具体步骤如下：
步骤(1)：传感器实时数据获取，逐时获取工厂数字孪生系统中各类传感器采集到的大量工厂动态数据，工厂动态数据包括时间属性和标签属性；
具体的，该时间属性具体为所采集到工厂动态数据的时间戳；标签属性包括数据类别和数据结构，数据类别包括设备状态数据、人员状态数据、产品状态数据、物流状态数据和能源状态数据，数据结构具体为数据结构的二级划分。
步骤(2)：构建时序数据库，根据时间属性以及标签属性构建关于工厂动态数据的时序数据库，并对其进行分类处理，同时构建存储索引；
具体的，该时序数据库的具体构建过程如下：实时获取带有时间戳的工厂动态数据；根据标签属性中的数据类别对带有时间戳的工厂动态数据进行分类处理，形成一级分类结果，同时根据标签属性中的数据结构进行二级分类划分，形成二级分类结果；二级分类结果中的每组动态数据与每组采集传感器一一对应；根据一级分类结果构建时序数据库一级存储索引，构建得到时序数据库。
具体的，该二级分类结果采用键-键值采用键值形式进行二级存储索引构建，该键包括对应传感器序号和数据局部结构名称；该键值具体为字符串形式的传感器数据。
步骤(3)：存储集群搭建，基于云平台存储功能，并根据时序数据库构建分布式存储集群，并进行存储索引更新；
具体的，该分布式存储集群基于一级存储索引进行构建，其每一组存储集群用于存储每一大类索引的工厂动态数据；该存储索引更新用于根据每组存储集群的序号对一级存储索引进行更新，使每组存储集群与每一大类索引一一对应；
在这需要说明一点的是：每一组存储集群由多个集群服务器组成，每一组存储集群可根据对应动态数据的体量大小进行服务器增减，从而有利于满足海量工厂动态数据的存储需求。
步骤(4)：云平台处理及存储，根据时序数据库和分布式存储集群对工厂动态数据进行分布式存储。
具体的，该云平台处理用于对工厂动态数据进行预处理，该预处理包括数据去重、数据去噪和数据格式统一；数据存储用于根据一级索引将工厂动态数据进行分布式集群存储。
本实施例将结合实例对本申请一种基于云平台的数字数据库存储方法的工作原理进行具体阐述，其具体过程如下：
逐时获取工厂数字孪生系统中各类传感器采集到的大量工厂动态数据，对该工厂动态数据赋予时间属性，即进行时间戳标记；
根据标签属性中的数据类别对带有时间戳的工厂动态数据中的设备状态数据、人员状态数据、产品状态数据、物流状态数据和能源状态数据进行分类处理，形成一级分类结果，同时根据标签属性中的数据结构进行二级分类划分，形成二级分类结果；根据一级分类结果构建时序数据库一级存储索引，构建得到时序数据库；
在本实例中，标签属性中的数据结构具体为工厂动态数据的局部结构，如：产品状态数据包括原料加工、产品制作、产品质检和产品包装等一系列的局部结构。
在本实施例中，二级分类结果采用键-键值采用键值形式进行二级存储索引构建，该键包括对应传感器序号和数据局部结构名称；该键值具体为字符串形式的传感器数据；
基于一级存储索引进行构建分布式存储集群，其每一组存储集群用于存储每一大类索引的工厂动态数据；
根据云平台处理对工厂动态数据进行数据去重、数据去噪和数据格式统一；同时根据一级索引将处理后的工厂动态数据分别存储于对应分布式集群，其中每分布式集群中均存储有经过二级分类的传感器数据。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于云平台的数字数据库存储方法，其特征在于，该存储方法具体步骤如下：
步骤(1)：传感器实时数据获取，逐时获取工厂数字孪生系统中各类传感器采集到的大量工厂动态数据，所述工厂动态数据包括时间属性和标签属性；
步骤(2)：构建时序数据库，根据所述时间属性以及标签属性构建关于工厂动态数据的时序数据库，并对其进行分类处理，同时构建存储索引；
步骤(3)：存储集群搭建，基于云平台存储功能，并根据所述时序数据库构建分布式存储集群，并进行存储索引更新；
步骤(4)：云平台处理及存储，根据所述时序数据库和分布式存储集群对所述工厂动态数据进行分布式存储。
2.根据权利要求1所述的一种基于云平台的数字数据库存储方法，其特征在于，步骤(1)所述时间属性具体为所采集到工厂动态数据的时间戳；所述标签属性包括数据类别和数据结构，所述数据类别包括设备状态数据、人员状态数据、产品状态数据、物流状态数据和能源状态数据，所述数据结构具体为所述数据结构的二级划分。
3.根据权利要求1所述的一种基于云平台的数字数据库存储方法，其特征在于，步骤(2)所述时序数据库的具体构建过程如下：
S1：实时获取带有时间戳的工厂动态数据；
S2：根据标签属性中的数据类别对所述带有时间戳的工厂动态数据进行分类处理，形成一级分类结果，同时根据标签属性中的数据结构进行二级分类划分，形成二级分类结果；所述二级分类结果中的每组动态数据与每组采集传感器一一对应；
S3：根据所述一级分类结果构建时序数据库一级存储索引，构建得到时序数据库。
4.根据权利要求3所述的一种基于云平台的数字数据库存储方法，其特征在于，所述二级分类结果采用键-键值采用键值形式进行二级存储索引构建，所述键包括对应传感器序号和数据局部结构名称；所述键值具体为字符串形式的传感器数据。
5.根据权利要求1所述的一种基于云平台的数字数据库存储方法，其特征在于，步骤(3)所述分布式存储集群基于一级存储索引进行构建，其每一组存储集群用于存储每一大类索引的工厂动态数据；所述存储索引更新用于根据每组存储集群的序号对所述一级存储索引进行更新，使每组存储集群与每一大类索引一一对应。
6.根据权利要求1所述的一种基于云平台的数字数据库存储方法，其特征在于，步骤(4)所述云平台处理用于对工厂动态数据进行预处理，所述预处理包括数据去重、数据去噪和数据格式统一；所述数据存储用于根据一级索引将所述工厂动态数据进行分布式集群存储。
CN202210928685.0A 2022-08-03 2022-08-03 一种基于云平台的数字数据库存储方法 Withdrawn CN115237923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210928685.0A CN115237923A (zh) 2022-08-03 2022-08-03 一种基于云平台的数字数据库存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210928685.0A CN115237923A (zh) 2022-08-03 2022-08-03 一种基于云平台的数字数据库存储方法

Publications (1)

Publication Number Publication Date
CN115237923A true CN115237923A (zh) 2022-10-25

Family

ID=83677260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210928685.0A Withdrawn CN115237923A (zh) 2022-08-03 2022-08-03 一种基于云平台的数字数据库存储方法

Country Status (1)

Country Link
CN (1) CN115237923A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436444A (zh) * 2023-12-20 2024-01-23 深圳市智慧城市科技发展集团有限公司 基于标签的数据处理方法、设备及计算机可读存储介质
CN117640700A (zh) * 2024-01-18 2024-03-01 深圳市宏大联合实业有限公司 一种数字孪生方法、系统以及第一节点

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436444A (zh) * 2023-12-20 2024-01-23 深圳市智慧城市科技发展集团有限公司 基于标签的数据处理方法、设备及计算机可读存储介质
CN117436444B (zh) * 2023-12-20 2024-04-02 深圳市智慧城市科技发展集团有限公司 基于标签的数据处理方法、设备及计算机可读存储介质
CN117640700A (zh) * 2024-01-18 2024-03-01 深圳市宏大联合实业有限公司 一种数字孪生方法、系统以及第一节点
CN117640700B (zh) * 2024-01-18 2024-04-30 深圳市宏大联合实业有限公司 一种数字孪生方法、系统以及第一节点

Similar Documents

Publication Publication Date Title
CN115237923A (zh) 一种基于云平台的数字数据库存储方法
CN111680025B (zh) 面向自然资源多源异构数据时空信息智能同化的方法及系统
CN106294887B (zh) 基于四维空间的对客观世界存在的物体和事件的描述方法
CN108509483A (zh) 基于知识图谱的机械故障诊断知识库构建方法
CN108885634B (zh) 一种基于时空数据库的对数据对象的检索方法
CN104866590B (zh) 基于ifc标准的监测数据表达方法及集成方法
CN116578040B (zh) 一种面向机床故障诊断的数字孪生模型构建方法、系统及终端
CN108959353B (zh) 一种对象数据的组织方法
CN112527944A (zh) 基于bim和gis数据集成构建空间语义数据库的方法
CN112633822A (zh) 基于数字孪生技术的资产管理方法、存储介质和移动终端
CN116703303A (zh) 基于多层感知机与rbf的仓储可视化监管系统及方法
CN113742357A (zh) 一种跨平台设计数据自动归集并关联的方法和系统
CN108875087B (zh) 一种描述事物空间属性并基于所述描述进行查找的方法
CN104182456B (zh) 一种基于mrs‑mm目标匹配模型的空间实体增量提取方法
CN115062164A (zh) 一种基于产品制造过程多领域信息的知识图谱构建方法
CN115809833A (zh) 基于画像技术的基建项目智能监督方法、装置
CN117892820A (zh) 一种基于大语言模型的多级数据建模方法及系统
CN106815320B (zh) 基于拓展三维直方图的调研大数据可视化建模方法及系统
CN115935292A (zh) 一种复杂装备全生命周期多源异构数据融合模式构建方法
CN115952914A (zh) 一种基于大数据的电力计量运维工作判别规划方法
CN114881513A (zh) 一种3d打印机产品质量分析管控系统
CN107967301A (zh) 一种电力电缆隧道监控数据的存储、查询方法及装置
CN114493088A (zh) 一种面向电力物联终端设备的信息模型构建方法
CN112380783B (zh) 基于三维建模仿真软件的工业大数据实时采集及分析方法
CN115033690B (zh) 一种通信缺陷研判知识库构建方法、缺陷识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221025

WW01 Invention patent application withdrawn after publication