CN115511695A - 一种基于AIoT和数字孪生的智慧工业实现方法及系统 - Google Patents

一种基于AIoT和数字孪生的智慧工业实现方法及系统 Download PDF

Info

Publication number
CN115511695A
CN115511695A CN202211134635.1A CN202211134635A CN115511695A CN 115511695 A CN115511695 A CN 115511695A CN 202211134635 A CN202211134635 A CN 202211134635A CN 115511695 A CN115511695 A CN 115511695A
Authority
CN
China
Prior art keywords
industrial
model
industrial field
digital twin
aiot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211134635.1A
Other languages
English (en)
Inventor
王明圣
李锐
朱翔宇
胡佳
姜凯
胡雷钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Science Research Institute Co Ltd
Original Assignee
Shandong Inspur Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Science Research Institute Co Ltd filed Critical Shandong Inspur Science Research Institute Co Ltd
Priority to CN202211134635.1A priority Critical patent/CN115511695A/zh
Publication of CN115511695A publication Critical patent/CN115511695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于AIoT和数字孪生的智慧工业实现方法及系统，涉及物联网自动控制技术领域；部署微型机器学习TinyML于终端设备中，通过终端设备的微型机器学习TinyML对工业现场采集的图像进行目标识别，并通过终端设备的传感器采集工业现场环境数据，将目标识别结果和工业现场环境数据通过MQTT协议发送到服务器端，通过浏览器端从服务器端请求目标识别结果和工业现场环境数据，并解析目标识别结果和工业现场环境数据，根据解析后目标识别结果和工业现场环境数据驱动工业现场物理实体对应的数字孪生体模型，通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制。

Description

一种基于AIoT和数字孪生的智慧工业实现方法及系统
技术领域
本发明公开一种方法及系统，涉及物联网自动控制技术领域，具体地说是一种基于AIoT和数字孪生的智慧工业实现方法及系统。
背景技术
目前工厂中有大量的老式机器依然不具备现代化的状态监控和数据传输能力，而大批量的更换工业设备不仅会带来财力的大量消耗，在设备升级过程中还会严重影响到公司的产能。但目前还没有对工业现场的有效的实时监控方法能够实时监控及分析现场数据并控制现场终端进行更为有效的现场数据采集。
发明内容
本发明针对现有技术的问题，提供一种基于AIoT和数字孪生的智慧工业实现方法及系统，通过人工智能、机器学习与目标识别和数字孪生技术在B/S系统架构与终端设备的框架之上实现传统工业的智能化和信息化管理。
本发明提出的具体方案是：
本发明提供一种基于AIoT和数字孪生的智慧工业实现方法，部署微型机器学习TinyML于终端设备中，通过终端设备的微型机器学习TinyML对工业现场采集的图像进行目标识别，并通过终端设备的传感器采集工业现场环境数据，将目标识别结果和工业现场环境数据通过MQTT协议发送到服务器端，通过浏览器端从服务器端请求目标识别结果和工业现场环境数据，并解析目标识别结果和工业现场环境数据，根据解析后目标识别结果和工业现场环境数据驱动工业现场物理实体对应的数字孪生体模型，通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制。
进一步，所述的一种基于AIoT和数字孪生的智慧工业实现方法中利用ARM架构的处理器、图形处理器GPU及传感器组成终端设备，通过ARM架构的处理器收集工业现场图像和传感器采集的工业现场环境数据，并将工业现场图像和工业现场环境数据推送至图形处理器GPU，通过图形处理器GPU中TinyML对采集的工业现场图像进行目标识别，通过ARM架构的处理器将目标识别结果和工业现场环境数据利用MQTT协议发送到服务器端。
进一步，所述的一种基于AIoT和数字孪生的智慧工业实现方法中终端设备通过I/O口拓展与传感器的物理连接，采集工业现场环境数据。
进一步，所述的一种基于AIoT和数字孪生的智慧工业实现方法中通过浏览器端部署工业现场现有的数字孪生体模型，或者搭建工业现场对应的数字孪生体模型。
进一步，所述的一种基于AIoT和数字孪生的智慧工业实现方法中所述搭建工业现场对应的数字孪生体模型，包括：
依据工业现场的物理实体使用WebGL和Three.js技术在浏览器端搭建数字孪生体模型中几何模型、物理模型、行为模型和规则模型，按照规则模型与行为模型对几何模型和物理模型进行模型组装以及模型间融合的调试。
进一步，所述的一种基于AIoT和数字孪生的智慧工业实现方法中所述通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制，包括：
调整数字孪生体模型的参数，根据调整的参数向终端设备发送相应的控制数据反向驱动控制终端设备与传感器运行。
进一步，所述的一种基于AIoT和数字孪生的智慧工业实现方法中所述进行监控，包括：
通过浏览器端利用VR与AR技术显示工业现场物理实体的数字孪生体模型，实现工业现场的实时状态展示。
本发明还提供基于AIoT和数字孪生的智慧工业实现的计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于AIoT和数字孪生的智慧工业实现方法。
本发明的有益之处是：
本发明提供一种基于AIoT和数字孪生的智慧工业实现方法，通过终端设备进行数据采集，通过终端设备的机器学习进行图像处理，并且实现数据项服务器端的传输，通过服务器端实现现场视频流以及采集数据的转发，通过浏览器端部署工业现场对应的数字孪生体模型，浏览器端通过解析服务器端的图像识别和传感器采集结果，以数据驱动的方式在数字孪生体模型中实现现场环境状态的展现，从而使用户可以在远端浏览器中能够直观的观察到工业现场的运行状态，本发明方法可以在任何拥有浏览器功能的终端设备上进行使用，更为准确地进行工业现场展示，并可以通过模型驱动的方式实现对终端设备的反向控制，也摆脱了传统监控和管理系统只能在PC端安装客户端软件进行使用的弊端，更加便捷，应用性更强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法应用架构示意图。
图2是本发明方法应用流程示意图。
图3是本发明方法实施工作流程示意图。
图4是数字孪生体模型构建流程图。
图5是本发明系统数据传递流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种基于AIoT和数字孪生的智慧工业实现方法，部署微型机器学习TinyML于终端设备中，通过终端设备的微型机器学习TinyML对工业现场采集的图像进行目标识别，并通过终端设备的传感器采集工业现场环境数据，将目标识别结果和工业现场环境数据通过MQTT协议发送到服务器端，通过浏览器端从服务器端请求目标识别结果和工业现场环境数据，并解析目标识别结果和工业现场环境数据，根据解析后目标识别结果和工业现场环境数据驱动工业现场物理实体对应的数字孪生体模型，通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制。
本发明方法旨在通过终端设备部署微型机器学习TinyML、并进行多传感器融合，还结合数字孪生和B/S架构相融合实现传统工业向智能化和信息化管理的转型。本发明方法通过终端设备采集和传输各种传感器数据，并且打包成固定的数据格式通过mqtt协议发送到服务器端，并且通过终端设备对终端摄像头采集到的现场视频通过微型机器学习TinyML进行图像识别，主要通过服务端进行数据的中转、历史数据的存储和现场摄像头监控视频流的传输，通过浏览器端实现工业现场该物理实体的孪生体模型的显示，以增强虚拟实体模型的真实性和交互性。
具体应用中，在本发明方法的一些实施例中，采用B/S架构与终端设备相结合的方式，对工业现场中的工作状况进行实时监控和管理。其可参考图2及图3所示，利用ARM架构的处理器、图形处理器GPU及传感器组成终端设备，通过ARM架构的处理器收集工业现场图像和传感器采集的工业现场环境数据，将工业现场的视频流推送到GPU进行推理和图像识别，ARM架构的处理器通过I/O口功能与温度、湿度、继电器与速度控制器进行连接，实现现场中环境数据的采集以及反向驱动控制，
通过图形处理器GPU中TinyML对采集的工业现场图像进行目标识别，通过ARM架构的处理器将目标识别结果和工业现场环境数据利用MQTT协议发送到服务器端，浏览器端通过HTTP协议从服务器端获取采集和推理数据，用于驱动web中的数字孪生体模型，当进行反向驱动控制时，如当现场温度过高时，可在浏览器端数字孪生体模型中通过颜色的变化提示用户进行通风散热；当超出阈值之后，系统自动向终端设备发送PID调速参数控制速度控制器实现现场的散热操作。
在本发明方法的另一些实施例中，说明了通过浏览器端部署工业现场现有的数字孪生体模型，或者搭建工业现场对应的数字孪生体模型。
其中进一步地，可参考图4，搭建工业现场对应的数字孪生体模型时，可形成web端数字孪生体模型的构建流程，包括：模型构建、模型组装、模型融合与模型管理，
其中依据工业现场的物理实体使用WebGL和Three.js技术在浏览器端搭建数字孪生体模型中几何模型、物理模型、行为模型和规则模型，按照规则模型与行为模型对几何模型和物理模型进行模型组装以及模型间融合的调试。按照模型管理规则实现web端智慧工业数字孪生体模型的管理。通过数据驱动和模型驱动数字孪生体的方式来实现工业现场的监控和优化的方式是进行传统工业数字化转型和智能化升级的重要使能。
通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制时，调整数字孪生体模型的参数，根据调整的参数向终端设备发送相应的控制数据反向驱动控制终端设备与传感器运行。
如数字孪生体模型按照工业现场物理实体进行构建，可由大量的几何模块组成，对数字孪生体中的每个模型进行相应的数据绑定，当传感器采集的数据发生变化时，数字孪生体中的模块状态也会发生变，如位置移动、颜色渲染发生变化和数据显示发生变化等。同样通过改变数字孪生体中模块的位置或者参数可以通过HTTP协议向设备终端发送一组控制数据实现终端中继电器的通断和调节PID参数实现速度控制器的速度调节。通过以上方式可以在web端的数字孪生体模型中实现数字孪生的数据驱动和模型驱动。通过数字孪生体模型的数据驱动和模型驱动实现对工业现场运行状态的监控和远程控制。物联网终端设备可以进行工业现场的视频采集与图像处理和环境数据采集，使用MQTT协议通过服务器将数据发送到web端用于孪生体模型的数据驱动，实现数据的视觉化。进行视觉化可以通过浏览器端利用VR与AR技术显示工业现场物理实体的数字孪生体模型，实现工业现场的实时状态展示。
本发明方法可以很好的适应各种传统工业环境，在不同的应用场景中起到较好的管理和控制效果。
本发明还提供基于AIoT和数字孪生的智慧工业实现的计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于AIoT和数字孪生的智慧工业实现方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于AIoT和数字孪生的智慧工业实现方法，其特征是部署微型机器学习TinyML于终端设备中，通过终端设备的微型机器学习TinyML对工业现场采集的图像进行目标识别，并通过终端设备的传感器采集工业现场环境数据，将目标识别结果和工业现场环境数据通过MQTT协议发送到服务器端，通过浏览器端从服务器端请求目标识别结果和工业现场环境数据，并解析目标识别结果和工业现场环境数据，根据解析后目标识别结果和工业现场环境数据驱动工业现场物理实体对应的数字孪生体模型，通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制。
2.根据权利要求1所述的一种基于AIoT和数字孪生的智慧工业实现方法，其特征是利用ARM架构的处理器、图形处理器GPU及传感器组成终端设备，通过ARM架构的处理器收集工业现场图像和传感器采集的工业现场环境数据，并将工业现场图像和工业现场环境数据推送至图形处理器GPU，通过图形处理器GPU中TinyML对采集的工业现场图像进行目标识别，通过ARM架构的处理器将目标识别结果和工业现场环境数据利用MQTT协议发送到服务器端。
3.根据权利要求1或2所述的一种基于AIoT和数字孪生的智慧工业实现方法，其特征是终端设备通过I/O口拓展与传感器的物理连接，采集工业现场环境数据。
4.根据权利要求1所述的一种基于AIoT和数字孪生的智慧工业实现方法，其特征是通过浏览器端部署工业现场现有的数字孪生体模型，或者搭建工业现场对应的数字孪生体模型。
5.根据权利要求4所述的一种基于AIoT和数字孪生的智慧工业实现方法，其特征是所述搭建工业现场对应的数字孪生体模型，包括：
依据工业现场的物理实体使用WebGL和Three.js技术在浏览器端搭建数字孪生体模型中几何模型、物理模型、行为模型和规则模型，按照规则模型与行为模型对几何模型和物理模型进行模型组装以及模型间融合的调试。
6.根据权利要求1所述的一种基于AIoT和数字孪生的智慧工业实现方法，其特征是所述通过数字孪生体模型的数据驱动和模型驱动对工业现场运行状态进行监控和远程控制，包括：
调整数字孪生体模型的参数，根据调整的参数向终端设备发送相应的控制数据反向驱动控制终端设备与传感器运行。
7.根据权利要求1或6所述的一种基于AIoT和数字孪生的智慧工业实现方法，其特征是所述进行监控，包括：
通过浏览器端利用VR与AR技术显示工业现场物理实体的数字孪生体模型，实现工业现场的实时状态展示。
8.基于AIoT和数字孪生的智慧工业实现的计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至7任一项所述的一种基于AIoT和数字孪生的智慧工业实现方法。
CN202211134635.1A 2022-09-19 2022-09-19 一种基于AIoT和数字孪生的智慧工业实现方法及系统 Pending CN115511695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211134635.1A CN115511695A (zh) 2022-09-19 2022-09-19 一种基于AIoT和数字孪生的智慧工业实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211134635.1A CN115511695A (zh) 2022-09-19 2022-09-19 一种基于AIoT和数字孪生的智慧工业实现方法及系统

Publications (1)

Publication Number Publication Date
CN115511695A true CN115511695A (zh) 2022-12-23

Family

ID=84504039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211134635.1A Pending CN115511695A (zh) 2022-09-19 2022-09-19 一种基于AIoT和数字孪生的智慧工业实现方法及系统

Country Status (1)

Country Link
CN (1) CN115511695A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452152A (zh) * 2023-05-15 2023-07-18 哈尔滨商业大学 一种基于物联网的工程管理系统
CN116823072A (zh) * 2023-06-27 2023-09-29 深圳翌万信息技术有限公司 一种基于物联网数据孪生的智能运营平台

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452152A (zh) * 2023-05-15 2023-07-18 哈尔滨商业大学 一种基于物联网的工程管理系统
CN116823072A (zh) * 2023-06-27 2023-09-29 深圳翌万信息技术有限公司 一种基于物联网数据孪生的智能运营平台
CN116823072B (zh) * 2023-06-27 2024-04-09 深圳翌万信息技术有限公司 一种基于物联网数据孪生的智能运营平台

Similar Documents

Publication Publication Date Title
CN115511695A (zh) 一种基于AIoT和数字孪生的智慧工业实现方法及系统
US20220130275A1 (en) Snapshot management architecture for process control operator training system lifecycle
CN208754331U (zh) 一种基于物联网和工业云的纺织机械远程运维系统
CN108287533A (zh) 一种基于vr全景展示的工业制造数据采集系统
CN116841262A (zh) 基于机器视觉的智慧工厂生产在线监测分析系统
JP2021528777A (ja) 拡張現実を用いた自動動的診断ガイド
CN114372341A (zh) 基于数字孪生的钢铁热轧管控系统及方法
CN112462723B (zh) 一种增强现实环境下实时控制及可视化数字工厂的系统
CN112424702B (zh) 过程控制器及其方法和系统
KR102536763B1 (ko) 인공 지능을 위한 프로그래밍가능 로직 제어기-기반 모듈식 가속 모듈
CN111037574A (zh) 用于通信站点巡检的交互式机器人系统及其控制方法
CN106886204B (zh) 燃煤烟气污染治理设施远程综合控制系统
CN116127821A (zh) 一种运维数据的三维可视化呈现方法及平台
Digitemie et al. A comprehensive review of Building Energy Management Systems (BEMS) for improved efficiency
CN109392192B (zh) 用于快速通信的scada系统的装置连接的方法以及系统
CN111783184B (zh) 虚拟组态系统及方法
CN116523475B (zh) 基于bim的水务工程设备管理方法和系统
CN117709647A (zh) 一种基于数字孪生的生态矿山动态决策方法
CN117150778A (zh) 一种用于植物工厂多环境变量映射的数字孪生建模方法
CN219164591U (zh) 一种工业互联网边缘平台的数据采集系统
KR20190070428A (ko) 클라우드 기반 상황인지 융합처리엔진을 이용한 산업용 공정장비 시스템 관리 방법
CN116742519B (zh) 一种基于全景监控的gis设备无尘化安装环境智能管理系统
CN114415575B (zh) 实时数据驱动的焊接车间三维虚拟监控与智能预警系统
KR20190016370A (ko) 고속통신을 위한 ｓｃａｄａ 시스템의 디바이스 연결 방법 및 그 장치
JP4934288B2 (ja) 制御システムおよびパーソナルコンピュータ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination