CN117171961A - 一种用于工业互联网的数据流实时处理方法和系统 - Google Patents
一种用于工业互联网的数据流实时处理方法和系统 Download PDFInfo
- Publication number
- CN117171961A CN117171961A CN202310975787.2A CN202310975787A CN117171961A CN 117171961 A CN117171961 A CN 117171961A CN 202310975787 A CN202310975787 A CN 202310975787A CN 117171961 A CN117171961 A CN 117171961A
- Authority
- CN
- China
- Prior art keywords
- data
- carrying
- internet
- rendering
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000009877 rendering Methods 0.000 claims abstract description 57
- 238000007726 management method Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000011161 development Methods 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000005065 mining Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000013523 data management Methods 0.000 claims abstract description 12
- 238000007405 data analysis Methods 0.000 claims description 17
- 238000013079 data visualisation Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000007418 data mining Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 8
- 238000012550 audit Methods 0.000 claims description 7
- 210000001503 joint Anatomy 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005111 flow chemistry technique Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 11
- 230000002829 reductive effect Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据管理技术领域，具体公开了一种用于工业互联网的数据流实时处理方法和系统。本发明通过接入多个传感器和多个智能设备，构建物联网资产模型，采集多个点位数据流；对多个点位数据流进行边缘计算处理，生成多源数据；对多源数据与物理实体进行融合建模与管理；挖掘得到数据价值并进行可视化展示；进行数字孪生开发与3D渲染，构建工业数据孪生模型库，进行全生命周期的管理控制。能够构建物联网资产模型，采集多个点位数据流，进行边缘计算处理、数据融合与数据价值挖掘，进而进行数字孪生开发与3D渲染，能够对工业互联网中数据的有效采集与处理，实现对数据的深度挖掘和分析，进而提高生产效率、降低成本、提升产品质量。
Description
技术领域
本发明属于数据管理技术领域，尤其涉及一种用于工业互联网的数据流实时处理方法和系统。
背景技术
随着物联网、云计算、大数据、人工智能、增强现实、虚拟仿真、5G通信等技术的快速发展，企业正逐步认识到数字化转型和互联网思维对传统产业的重要性和影响，纷纷开始转型和升级，以适应数字化时代的商业模式和竞争环境。智能制造是未来制造业发展的重要趋势之一，它将数字化和制造业紧密结合起来，整合了整个产业链上的生产、供应与消费，提升了整个产业链的效率和质量。企业必须积极拥抱数字化转型，并利用数字技术实现生产创新与商业创新，实现企业的长期可持续发展。
在企业数智化转型的实施过程中，对于数据管理，具有以下问题：工业企业通常拥有大量的数据，这些数据来源于生产线、设备、配件等。随着企业业务规模的不断扩大，数据量也不断增加。数据分散、格式不统一、存储成本高等问题给数据的管理和分析带来了很大的挑战。
发明内容
本发明实施例的目的在于提供一种用于工业互联网的数据流实时处理方法和系统，旨在解决背景技术中提出的问题。
为实现上述目的，本发明实施例提供如下技术方案：
一种用于工业互联网的数据流实时处理方法，所述方法具体包括以下步骤：
基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流；
确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据；
对所述多源数据与物理实体进行融合建模与管理，生成数据集；
对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示；
对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制。
作为本发明实施例技术方案进一步的限定，所述基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流具体包括以下步骤：
基于工业互联网，接入多个传感器和多个智能设备；
通过配置界面，维护采集点位和属性信息，构建物联网资产模型；
基于所述物联网资产模型，采集多个点位数据流。
作为本发明实施例技术方案进一步的限定，所述确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据具体包括以下步骤：
确定多个边缘节点；
在多个所述边缘节点之间进行协同通信，交互响应获取多个所述点位数据流；
对多个所述点位数据流进行边缘计算处理，进行预测、识别的机器学习任务；
生成多源数据，并上传至数据中心或云端。
作为本发明实施例技术方案进一步的限定，所述对所述多源数据与物理实体进行融合建模与管理，生成数据集具体包括以下步骤：
通过配置化的方式，对所述多源数据与物理实体进行融合建模；
按照数据匹配、数据关联和数据聚合的处理过程，将数据级、特征级、决策级的数据融合，生成数据集。
作为本发明实施例技术方案进一步的限定，所述对所述多源数据与物理实体进行融合建模与管理，生成数据集中：支持包括数据库、文件和文本的多种多源数据，且支持包括结构化数据、半结构化数据和非结构化数据的多种多源数据；对所述多源数据进行去重、错误校正和格式标准化的清洗处理，还对多源数据中的相同数据进行归一化处理；对所述多源数据中的不同数据进行数据转换和语义映射；对所述多源数据提供多种数据接入适配和图形化界面配置管理。
作为本发明实施例技术方案进一步的限定，所述对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示具体包括以下步骤：
建立统一的数据标准，统一统计口径，对所述数据集进行数据集成、数据治理、数据分析、数据监控、安全管控及审计分析；
对所述数据集进行数据完整性、数据一致性、数据准确性和数据安全性的质量管理；
对所述数据集进行深度分析和挖掘，得到数据价值并进行可视化展示。
作为本发明实施例技术方案进一步的限定，所述对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制具体包括以下步骤：
对所述数据集进行模型搭建、场景渲染、数据聚合和素材匹配，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口；
基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升所述数据可视化交互窗口的显示细节；
存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
一种用于工业互联网的数据流实时处理系统，所述系统包括设备数据采集单元、边缘智能计算单元、数据融合处理单元、数据挖掘处理单元和数字孪生渲染单元，其中：
设备数据采集单元，用于基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流；
边缘智能计算单元，用于确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据；
数据融合处理单元，用于对所述多源数据与物理实体进行融合建模与管理，生成数据集；
数据挖掘处理单元，用于对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示；
数字孪生渲染单元，用于对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制。
作为本发明实施例技术方案进一步的限定，所述设备数据采集单元具体包括：
采集接入模块，用于基于工业互联网，接入多个传感器和多个智能设备；
模型构建模块，用于通过配置界面，维护采集点位和属性信息，构建物联网资产模型；
点位采集模块，用于基于所述物联网资产模型，采集多个点位数据流。
作为本发明实施例技术方案进一步的限定，所述数字孪生渲染单元具体包括：
数字孪生模块，用于对所述数据集进行模型搭建、场景渲染、数据聚合和素材匹配，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口；
优化渲染模块，用于基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升所述数据可视化交互窗口的显示细节；
模型库构建模块，用于存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
与现有技术相比，本发明的有益效果是：
本发明实施例通过接入多个传感器和多个智能设备，构建物联网资产模型，采集多个点位数据流；对多个点位数据流进行边缘计算处理，生成多源数据；对多源数据与物理实体进行融合建模与管理；挖掘得到数据价值并进行可视化展示；进行数字孪生开发与3D渲染，构建工业数据孪生模型库，进行全生命周期的管理控制。能够构建物联网资产模型，采集多个点位数据流，进行边缘计算处理、数据融合与数据价值挖掘，进而进行数字孪生开发与3D渲染，能够对工业互联网中数据的有效采集与处理，实现对数据的深度挖掘和分析，进而提高生产效率、降低成本、提升产品质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1示出了本发明实施例提供的方法的流程图。
图2示出了本发明实施例提供的系统的应用架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解的是，在企业数智化转型的实施过程中，对于数据管理，具有以下问题：工业企业通常拥有大量的数据，这些数据来源于生产线、设备、配件等。随着企业业务规模的不断扩大，数据量也不断增加。数据分散、格式不统一、存储成本高等问题给数据的管理和分析带来了很大的挑战。
为解决上述问题，本发明实施例通过接入多个传感器和多个智能设备，构建物联网资产模型，采集多个点位数据流；对多个点位数据流进行边缘计算处理，生成多源数据；对多源数据与物理实体进行融合建模与管理；挖掘得到数据价值并进行可视化展示；进行数字孪生开发与3D渲染，构建工业数据孪生模型库，进行全生命周期的管理控制。能够构建物联网资产模型，采集多个点位数据流，进行边缘计算处理、数据融合与数据价值挖掘，进而进行数字孪生开发与3D渲染，能够对工业互联网中数据的有效采集与处理，实现对数据的深度挖掘和分析，进而提高生产效率、降低成本、提升产品质量。
图1示出了本发明实施例提供的方法的流程图。
具体的，在本发明提供的一个优选实施方式中，一种用于工业互联网的数据流实时处理方法，所述方法具体包括以下步骤：
步骤S101，基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流。
在本发明实施例中，基于工业互联网，接入多个传感器和多个智能设备，按照HTTP、MQTT、CoAP、OPC-UA、Modbus等解析协议，并通过配置界面维护采集设备的点位、属性等信息来建立物联网资产模型，进而采集多个点位数据流，具体的，能够接入各类传感器、建筑物、装备与车联网设备等，管理IOT资产和设备，实现巡检与OTA升级，能够进行IOT数据预处理、规则引擎和窗口计算，且提供IOT数据检查及自动化数据标记，以支持数据治理，并在具有视频信号接入时，识别接入场景，对时序数据采集、存储与流处理，基于RPC实现反向控制。
具体的，在本发明提供的优选实施方式中，所述基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流具体包括以下步骤：
基于工业互联网，接入多个传感器和多个智能设备；
通过配置界面，维护采集点位和属性信息，构建物联网资产模型；
基于所述物联网资产模型，采集多个点位数据流。
进一步的，所述用于工业互联网的数据流实时处理方法还包括以下步骤：
步骤S102，确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据。
在本发明实施例中，将计算任务下沉到数据源节点附近的边缘节点中进行处理，避免了数据集中传输到数据中心或云端进行处理，减小数据传输的延迟和带宽压力，提高系统的响应速度和稳定性，通过确定多个边缘节点，在边缘节点的边缘设备上完成数据处理、预测、识别等机器学习任务，并进行数据传输和互联网访问，使得边缘节点能够相互通信、协作，生成多源数据，再将多源数据上传到数据中心或云端，且通过多种协议解析和设备接入，实现综合指令下发、指令执行监控、工作流+规则引擎、RPA自动化机器人等功能，保证通信通道安全和设备安全防护。
具体的，在本发明提供的优选实施方式中，所述确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据具体包括以下步骤：
确定多个边缘节点；
在多个所述边缘节点之间进行协同通信，交互响应获取多个所述点位数据流；
对多个所述点位数据流进行边缘计算处理，进行预测、识别的机器学习任务；
生成多源数据，并上传至数据中心或云端。
进一步的，所述用于工业互联网的数据流实时处理方法还包括以下步骤：
步骤S103，对所述多源数据与物理实体进行融合建模与管理，生成数据集。
在本发明实施例中，通过将多源数据与物理实体融合在一起，进行一体化的数据建模和管理，形成一个完整、准确、有价值的数据集，其中，在数据融合前，通过配置化的方式对实体进行数据的建模，实现数据级、特征级、决策级等不同层次的数据融合，提高数据的质量，降低数据的冗余性和错误率；在数据融合中，根据预设的规则和条件，对不同的数据对象进行数据匹配、关联和融合，保证数据融合的准确性和完整性；在数据融合后，将融合后的数据信息可视化展现，以帮助用户更好地理解和利用数据。
可以理解的是，在对多源数据与物理实体进行融合建模与管理，生成数据集中：支持包括数据库、文件和文本的多种多源数据，且支持包括结构化数据、半结构化数据和非结构化数据的多种多源数据；对多源数据进行去重、错误校正和格式标准化的清洗处理，还对多源数据中的相同数据进行归一化处理；对多源数据中的不同数据进行数据转换和语义映射；对多源数据提供多种数据接入适配和图形化界面配置管理。
具体的，在本发明提供的优选实施方式中，所述对所述多源数据与物理实体进行融合建模与管理，生成数据集具体包括以下步骤：
通过配置化的方式，对所述多源数据与物理实体进行融合建模；
按照数据匹配、数据关联和数据聚合的处理过程，将数据级、特征级、决策级的数据融合，生成数据集。
进一步的，所述用于工业互联网的数据流实时处理方法还包括以下步骤：
步骤S104，对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示。
在本发明实施例中，提供可视化流程与设计的功能，用户可以创建、管理和维护数据处理流程，通过模块化、流程化、标准化的大数据应用分析，进行高效、准确、可靠的数据处理，进行流计算配置，实时处理和分析数据集对应的大规模的数据流，同时也支持对流运行数据的实时监控，再对数据集进行深度分析和挖掘，帮助用户发现数据中的潜在信息和价值，并进行包括数据完整性、数据一致性、数据准确性和数据安全性数据质量管理，同时支持可视化图形展示，向用户呈现数据分析结果。具体的，将数据集成、数据治理、数据分析、数据监控、安全管控和审计分析整合；进行从数据采集、治理、存储，到融合分析、交互查询和安全审计的全面处理；提供可视化的数据管理和操作界面，用户可以直观地进行数据处理、分析和管理，提高工作效率和准确性；建立统一的数据标准，解决不同数据源之间的数据壁垒和数据不一致性问题；提供数据共享机制，用于数据资源分享和使用，包括安全性、权限控制、数据交换和数据服务；进行数据挖掘、机器学习、人工智能的多种数据分析方式，挖掘数据潜力，从数据中发现更多的价值。
具体的，在本发明提供的优选实施方式中，所述对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示具体包括以下步骤：
建立统一的数据标准，统一统计口径，对所述数据集进行数据集成、数据治理、数据分析、数据监控、安全管控及审计分析；
对所述数据集进行数据完整性、数据一致性、数据准确性和数据安全性的质量管理；
对所述数据集进行深度分析和挖掘，得到数据价值并进行可视化展示。
进一步的，所述用于工业互联网的数据流实时处理方法还包括以下步骤：
步骤S105，对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制。
在本发明实施例中，以数据集对应的地理信息、建筑信息、传感器数据、物理模型、系统运营数据等为基础，建筑、工厂、设备等物理实体的特征、行为、状态及性能等进行描述和建模，在数字空间中建立高度还原物理世界的虚拟模型，通过集成模型搭建、场景渲染、数据聚合、素材匹配，进行快速数字孪生，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口，基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升数据可视化交互窗口的显示细节，再存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
具体的，在本发明提供的优选实施方式中，所述对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制具体包括以下步骤：
对所述数据集进行模型搭建、场景渲染、数据聚合和素材匹配，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口；
基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升所述数据可视化交互窗口的显示细节；
存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
进一步的，图2示出了本发明实施例提供的系统的应用架构图。
其中，在本发明提供的又一个优选实施方式中，一种用于工业互联网的数据流实时处理系统，包括：
设备数据采集单元101，用于基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流。
在本发明实施例中，设备数据采集单元101基于工业互联网，接入多个传感器和多个智能设备，按照HTTP、MQTT、CoAP、OPC-UA、Modbus等解析协议，并通过配置界面维护采集设备的点位、属性等信息来建立物联网资产模型，进而采集多个点位数据流，具体的，能够接入各类传感器、建筑物、装备与车联网设备等，管理IOT资产和设备，实现巡检与OTA升级，能够进行IOT数据预处理、规则引擎和窗口计算，且提供IOT数据检查及自动化数据标记，以支持数据治理，并在具有视频信号接入时，识别接入场景，对时序数据采集、存储与流处理，基于RPC实现反向控制。
具体的，在本发明提供的优选实施方式中，所述设备数据采集单元101具体包括：
采集接入模块，用于基于工业互联网，接入多个传感器和多个智能设备；
模型构建模块，用于通过配置界面，维护采集点位和属性信息，构建物联网资产模型；
点位采集模块，用于基于所述物联网资产模型，采集多个点位数据流。
进一步的，所述用于工业互联网的数据流实时处理系统还包括：
边缘智能计算单元102，用于确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据。
在本发明实施例中，边缘智能计算单元102将计算任务下沉到数据源节点附近的边缘节点中进行处理，避免了数据集中传输到数据中心或云端进行处理，减小数据传输的延迟和带宽压力，提高系统的响应速度和稳定性，通过确定多个边缘节点，在边缘节点的边缘设备上完成数据处理、预测、识别等机器学习任务，并进行数据传输和互联网访问，使得边缘节点能够相互通信、协作，生成多源数据，再将多源数据上传到数据中心或云端，且通过多种协议解析和设备接入，实现综合指令下发、指令执行监控、工作流+规则引擎、RPA自动化机器人等功能，保证通信通道安全和设备安全防护。
数据融合处理单元103，用于对所述多源数据与物理实体进行融合建模与管理，生成数据集。
在本发明实施例中，数据融合处理单元103通过将多源数据与物理实体融合在一起，进行一体化的数据建模和管理，形成一个完整、准确、有价值的数据集，其中，在数据融合前，通过配置化的方式对实体进行数据的建模，实现数据级、特征级、决策级等不同层次的数据融合，提高数据的质量，降低数据的冗余性和错误率；在数据融合中，根据预设的规则和条件，对不同的数据对象进行数据匹配、关联和融合，保证数据融合的准确性和完整性；在数据融合后，将融合后的数据信息可视化展现，以帮助用户更好地理解和利用数据。
数据挖掘处理单元104，用于对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示。
在本发明实施例中，数据挖掘处理单元104提供可视化流程与设计的功能，用户可以创建、管理和维护数据处理流程，通过模块化、流程化、标准化的大数据应用分析，进行高效、准确、可靠的数据处理，进行流计算配置，实时处理和分析数据集对应的大规模的数据流，同时也支持对流运行数据的实时监控，再对数据集进行深度分析和挖掘，帮助用户发现数据中的潜在信息和价值，并进行包括数据完整性、数据一致性、数据准确性和数据安全性数据质量管理，同时支持可视化图形展示，向用户呈现数据分析结果。具体的，将数据集成、数据治理、数据分析、数据监控、安全管控和审计分析整合；进行从数据采集、治理、存储，到融合分析、交互查询和安全审计的全面处理；提供可视化的数据管理和操作界面，用户可以直观地进行数据处理、分析和管理，提高工作效率和准确性；建立统一的数据标准，解决不同数据源之间的数据壁垒和数据不一致性问题；提供数据共享机制，用于数据资源分享和使用，包括安全性、权限控制、数据交换和数据服务；进行数据挖掘、机器学习、人工智能的多种数据分析方式，挖掘数据潜力，从数据中发现更多的价值。
数字孪生渲染单元105，用于对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制。
在本发明实施例中，数字孪生渲染单元105以数据集对应的地理信息、建筑信息、传感器数据、物理模型、系统运营数据等为基础，建筑、工厂、设备等物理实体的特征、行为、状态及性能等进行描述和建模，在数字空间中建立高度还原物理世界的虚拟模型，通过集成模型搭建、场景渲染、数据聚合、素材匹配，进行快速数字孪生，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口，基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升数据可视化交互窗口的显示细节，再存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
具体的，在本发明提供的优选实施方式中，所述数字孪生渲染单元105具体包括：
数字孪生模块，用于对所述数据集进行模型搭建、场景渲染、数据聚合和素材匹配，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口；
优化渲染模块，用于基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升所述数据可视化交互窗口的显示细节；
模型库构建模块，用于存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于工业互联网的数据流实时处理方法，其特征在于，所述方法具体包括以下步骤：
基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流；
确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据；
对所述多源数据与物理实体进行融合建模与管理，生成数据集；
对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示；
对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制。
2.根据权利要求1所述的用于工业互联网的数据流实时处理方法，其特征在于，所述基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流具体包括以下步骤：
基于工业互联网，接入多个传感器和多个智能设备；
通过配置界面，维护采集点位和属性信息，构建物联网资产模型；
基于所述物联网资产模型，采集多个点位数据流。
3.根据权利要求1所述的用于工业互联网的数据流实时处理方法，其特征在于，所述确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据具体包括以下步骤：
确定多个边缘节点；
在多个所述边缘节点之间进行协同通信，交互响应获取多个所述点位数据流；
对多个所述点位数据流进行边缘计算处理，进行预测、识别的机器学习任务；
生成多源数据，并上传至数据中心或云端。
4.根据权利要求1所述的用于工业互联网的数据流实时处理方法，其特征在于，所述对所述多源数据与物理实体进行融合建模与管理，生成数据集具体包括以下步骤：
通过配置化的方式，对所述多源数据与物理实体进行融合建模；
按照数据匹配、数据关联和数据聚合的处理过程，将数据级、特征级、决策级的数据融合，生成数据集。
5.根据权利要求4所述的用于工业互联网的数据流实时处理方法，其特征在于，所述对所述多源数据与物理实体进行融合建模与管理，生成数据集中：支持包括数据库、文件和文本的多种多源数据，且支持包括结构化数据、半结构化数据和非结构化数据的多种多源数据；对所述多源数据进行去重、错误校正和格式标准化的清洗处理，还对多源数据中的相同数据进行归一化处理；对所述多源数据中的不同数据进行数据转换和语义映射；对所述多源数据提供多种数据接入适配和图形化界面配置管理。
6.根据权利要求1所述的用于工业互联网的数据流实时处理方法，其特征在于，所述对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示具体包括以下步骤：
建立统一的数据标准，统一统计口径，对所述数据集进行数据集成、数据治理、数据分析、数据监控、安全管控及审计分析；
对所述数据集进行数据完整性、数据一致性、数据准确性和数据安全性的质量管理；
对所述数据集进行深度分析和挖掘，得到数据价值并进行可视化展示。
7.根据权利要求1所述的用于工业互联网的数据流实时处理方法，其特征在于，所述对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制具体包括以下步骤：
对所述数据集进行模型搭建、场景渲染、数据聚合和素材匹配，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口；
基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升所述数据可视化交互窗口的显示细节；
存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
8.一种用于工业互联网的数据流实时处理系统，其特征在于，所述系统包括设备数据采集单元、边缘智能计算单元、数据融合处理单元、数据挖掘处理单元和数字孪生渲染单元，其中：
设备数据采集单元，用于基于工业互联网，接入多个传感器和多个智能设备，构建物联网资产模型，基于所述物联网资产模型，采集多个点位数据流；
边缘智能计算单元，用于确定多个边缘节点，在多个所述边缘节点之间进行协同通信，对多个所述点位数据流进行边缘计算处理，生成多源数据；
数据融合处理单元，用于对所述多源数据与物理实体进行融合建模与管理，生成数据集；
数据挖掘处理单元，用于对所述数据集进行数据分析与质量管理，挖掘得到数据价值并进行可视化展示；
数字孪生渲染单元，用于对所述数据集进行数字孪生开发与3D渲染，并构建工业数据孪生模型库，对多个智能设备进行全生命周期的管理控制。
9.根据权利要求8所述的用于工业互联网的数据流实时处理系统，其特征在于，所述设备数据采集单元具体包括：
采集接入模块，用于基于工业互联网，接入多个传感器和多个智能设备；
模型构建模块，用于通过配置界面，维护采集点位和属性信息，构建物联网资产模型；
点位采集模块，用于基于所述物联网资产模型，采集多个点位数据流。
10.根据权利要求8所述的用于工业互联网的数据流实时处理系统，其特征在于，所述数字孪生渲染单元具体包括：
数字孪生模块，用于对所述数据集进行模型搭建、场景渲染、数据聚合和素材匹配，并提供集成式开发环境，接收图形化拖放操作，构建数据可视化交互窗口；
优化渲染模块，用于基于三维图形引擎和Z-Engine实时渲染技术，进行深度优化渲染，提升所述数据可视化交互窗口的显示细节；
模型库构建模块，用于存储、管理和分享开发渲染对象，构建工业数据孪生模型库，并采用标准化的数据结构和数据格式，对多个智能设备进行互相匹配和对接的全生命周期管理控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310975787.2A CN117171961A (zh) | 2023-08-04 | 2023-08-04 | 一种用于工业互联网的数据流实时处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310975787.2A CN117171961A (zh) | 2023-08-04 | 2023-08-04 | 一种用于工业互联网的数据流实时处理方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117171961A true CN117171961A (zh) | 2023-12-05 |
Family
ID=88940303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310975787.2A Pending CN117171961A (zh) | 2023-08-04 | 2023-08-04 | 一种用于工业互联网的数据流实时处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171961A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117393076A (zh) * | 2023-12-13 | 2024-01-12 | 山东三岳化工有限公司 | 耐热环氧树脂生产过程智能监测方法及系统 |
-
2023
- 2023-08-04 CN CN202310975787.2A patent/CN117171961A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117393076A (zh) * | 2023-12-13 | 2024-01-12 | 山东三岳化工有限公司 | 耐热环氧树脂生产过程智能监测方法及系统 |
| CN117393076B (zh) * | 2023-12-13 | 2024-02-09 | 山东三岳化工有限公司 | 耐热环氧树脂生产过程智能监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nakagawa et al. | Industry 4.0 reference architectures: State of the art and future trends | |
| Pan et al. | Integrating BIM and AI for smart construction management: Current status and future directions | |
| El-Diraby et al. | BIM-based collaborative design and socio-technical analytics of green buildings | |
| Quinn et al. | Building automation system-BIM integration using a linked data structure | |
| CN113673948A (zh) | 一种基于工业互联网的数字孪生基础开发平台 | |
| CN110083119A (zh) | 一种基于数字孪生的可视化电力系统机房监控系统和方法 | |
| CN113325816A (zh) | 面向工业互联网的数字孪生体数据管理方法 | |
| CA3068185C (en) | Systems and methods for sustainability and social interaction analysis in building information modeling | |
| CN111125808B (zh) | 智慧工地管理模型构建方法与装置 | |
| CN117171961A (zh) | 一种用于工业互联网的数据流实时处理方法和系统 | |
| Li et al. | Towards big data driven construction industry | |
| CN116843028A (zh) | 多模态知识图谱构建方法、系统、存储介质及电子设备 | |
| Yitmen et al. | Towards a digital twin-based smart built environment | |
| Qassimi et al. | Disruptive innovation in mining industry 4.0 | |
| CN113516331A (zh) | 一种建筑数据处理方法及装置 | |
| Ignatov et al. | Data formating and visualization of BIM and sensor data in building management systems | |
| Harode et al. | A tool-based system architecture for a digital twin: a case study in a healthcare facility | |
| Kosicki et al. | Big Data and Cloud Computing for the Built Environment | |
| Chopade et al. | Real-time large-scale big data networks analytics and visualization architecture | |
| Al Furjani et al. | Enabling the city information modeling CIM for urban planning with OpenStreetMap OSM | |
| CN117744914A (zh) | 基于bim的施工数字化管理方法、平台及计算机设备 | |
| CN115439015B (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 | |
| Leng et al. | A data integration and simplification framework for improving site planning and building design | |
| CN114047729A (zh) | 天然植物加工控制方法、系统、计算机设备和存储介质 | |
| Lam et al. | Semantic 3D City Model Data Visualization for Smar t City Digital Twin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |