CN117319439A - 一种ai工业边缘计算系统及其实施方法 - Google Patents

一种ai工业边缘计算系统及其实施方法 Download PDF

Info

Publication number
CN117319439A
CN117319439A CN202311256069.6A CN202311256069A CN117319439A CN 117319439 A CN117319439 A CN 117319439A CN 202311256069 A CN202311256069 A CN 202311256069A CN 117319439 A CN117319439 A CN 117319439A
Authority
CN
China
Prior art keywords
equipment
data
industrial
health
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311256069.6A
Other languages
English (en)
Inventor
肖艳军
宁甫安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kored Intelligent Control Tianjin Technology Co ltd
Hebei University of Technology
Original Assignee
Kored Intelligent Control Tianjin Technology Co ltd
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kored Intelligent Control Tianjin Technology Co ltd, Hebei University of Technology filed Critical Kored Intelligent Control Tianjin Technology Co ltd
Priority to CN202311256069.6A priority Critical patent/CN117319439A/zh
Publication of CN117319439A publication Critical patent/CN117319439A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/59—Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明为一种AI工业边缘计算系统及其实施方法，包括智能边缘网关、人机交互终端，多个工业设备控制器搭载多传感器采集模块，通过高速工业总线通信模块与智能边缘网关通讯；智能边缘网关搭载轻量级嵌入式AI框架，用于直接运行用于对工业设备进行健康监测的复杂神经网络，复杂神经网络得到推断结果保存至智能边缘网关本地诊断信息存储模块，智能边缘网关从诊断信息存储模块中筛选隐私数据后上传到人机交互终端；所述轻量级嵌入式AI框架包括嵌入式神经网络环境与用于对工业设备进行健康监测的复杂神经网络、优先级仲裁模块。能直接在智能边缘网关运行健康监测神经网络模型，提高智能运维系统的数据隐私性和设备健康诊断效率。

Description

一种AI工业边缘计算系统及其实施方法
技术领域：
本发明涉及智能工业运维领域，具体为一种AI工业边缘计算系统及其实施方法。
背景技术：
边缘计算是一种将数据处理和分析推向网络边缘的计算模式，它有助于降低数据传输延迟，提高系统的实时性和效率。在智能工业运维中，大量的传感器和设备生成大量的数据，传统的云——边模式可能会面临数据传输延迟、隐私安全等问题。
在智能工业运维中，设备的健康状况对生产效率和安全性至关重要。为了实现设备健康状态的实时监测和预测，神经网络技术被广泛应用。神经网络是一种模仿人脑神经元之间连接方式的数学模型，通过训练可以识别数据中的模式和特征。在设备健康监测中，神经网络可以分析设备传感器数据，检测异常模式，并预测设备故障的可能性，从而实现提前维护和减少停机时间，对于设备健康状态的识别需要进一步提高推断效率和推断精度。
智能工业运维需要从多个维度对设备和生产环境进行全面监测。传感器是实现这一目标的关键技术之一。多传感器信息采集指的是同时采集多种类型的传感器数据，如温度、湿度、振动、压力等。这些数据可以提供关于设备运行状况和生产环境的综合信息。通过整合多源异构数据，可以实现更精准的设备状态监测和预测，帮助企业做出及时决策，提高生产效率和安全性。对于采集到的多源异构数据需要更加有效的处理和解析使用。
现有技术存在以下缺点：
1.“基于机器学习与边缘计算的工业互联网节能系统及方法”(专利号202010185628.9)利用预测算法降低了传感器功耗，但其AI边缘计算系统方案采用云—边模式，边缘计算网关位于数据源和云端之间，具有一定的计算和存储能力，可以对数据进行初步的处理和分析，但当涉及复杂神经网络模型运行时，需要将部分关键数据传输到云端，在云端运行复杂神经网络算法，在数据传输过程中会降低决策效率并且使关键采集数据隐私性降低。
2.对于工业现场异构设备，在现有运维模式中，对于多源异构数据处理采取边缘设备进行预处理，云服务器进行计算的模式，不仅无法对敏感设备数据进行优先级仲裁及快速处理，而且无法充分发挥边缘设备的算力优势，导致整个运维系统面临成本高、效率低等问题。
3.“一种AI边缘计算故障诊断器”(专利号202011002985.3)中对于AI软件库的选取使用结构繁琐，处理过程复杂，现有技术中的边缘侧AI框架适配性低，传统AI软件框架无法适配32位系统，需要占用边缘设备大量系统资源，从而难以保证实时性甚至无法运行模型，边缘设备需要更加轻量级的专用AI模型框架才能真正保证模型准确运行。
4.现有边缘设备上运行的算法模型只能处理简单逻辑问题，无法应对复杂算法应用，神经网络模型只能映射成数组等形式，而不是一套完整的模型架构，复杂神经网络算法的应用性很低。
因此，如何在保证模型运行以及数据隐私性的情况下将边缘计算系统的数据处理效率提高以解决上述问题是本领域技术人员目前需要解决的问题。
发明内容：
本发明的目的在于克服现有技术中存在工业边缘设备无法直接运行复杂神经网络模型，避免由于AI技术依赖于云服务器，数据隐私性差、推断效率差的问题，提供一种AI工业边缘计算系统及其实施方法，通过智能边缘网关构建轻量级嵌入式AI框架并定制复杂神经网络，从而直接在智能边缘网关运行健康监测神经网络模型，分析多传感器采集的多源异构数据，并反馈给工业设备和人机交互终端，从而达到轻量化、节能化、高效化的效果，提高智能运维系统的数据隐私性和设备健康诊断效率。
为实现以上发明目的，本发明提供了以下技术方案：
第一方面，本发明提供一种AI工业边缘计算系统，包括多传感器采集模块、高速工业总线通信模块、智能边缘网关、人机交互终端，其特征在于，多个工业设备控制器搭载多传感器采集模块，通过高速工业总线通信模块与智能边缘网关通讯；智能边缘网关搭载轻量级嵌入式AI框架，用于直接运行用于对工业设备进行健康监测的复杂神经网络，复杂神经网络得到推断结果保存至智能边缘网关本地诊断信息存储模块，智能边缘网关从诊断信息存储模块中筛选隐私数据后上传到人机交互终端；
所述轻量级嵌入式AI框架包括嵌入式神经网络环境与用于对工业设备进行健康监测的复杂神经网络、优先级仲裁模块，实现智能边缘网关直接运行复杂神经网络，分析多传感器采集的多源异构数据，并反馈给工业设备和人机交互终端。
所述轻量级嵌入式AI框架的构建过程是：使用CMake工具及交叉编译工具链在Tensorflow Lite基础上进行软件环境搭建，首先，在Lite顶层CMakeLists中添加Pthreadpool(线程池)库，在顶层文件夹中下载Pthreadpool相关依赖文件，添加Pthreadpool编译选项，将线程池技术嵌入至智能边缘网关软件框架内，实现多线程并发功能；其次，在Tensorflow Lite框架中添加libmodbus编译选项，下载libmodbus软件库，将配置文件config.h移动至源文件夹下并使用CMake工具将实现Modbus RTU/TCP的必要依赖链接为静态库，随后将库路径添加至Lite顶层CMakeLists中，使软件适配工业Modbus传输协议；最后，保留框架核心模块，包括C/C++核心、模型加速器Acceleration、模型解释器Interpreter，编译嵌入式端序列库Flatbuffers以提供语言接口，取消GPU加速，裁剪掉稀疏神经网络模型Xnnpack支持，防止与模型解释器冲突；
所述推断模块包括模型加速器Acceleration、模型解释器Interpreter，推断模块用于初始化推断类，检验模型格式，调用interpreter->invoke唤醒模型解释器，利用模型加速器进行快速推断并输出复杂神经网络的诊断结果，即推断出工业设备健康状态。
所述优先级仲裁模块用于根据用户设定的设备的优先级，将输入数据按优先级分别开辟线程输入复杂神经网络。
第二方面，本发明提供一种AI工业边缘计算系统的实施方法，所述实施方法包括以下步骤：
步骤1、搭建轻量级嵌入式AI框架：
使用CMake工具及交叉编译工具链在Tensorflow Lite基础上进行软件环境搭建，首先，在Lite顶层CMakeLists中添加Pthreadpool(线程池)库，在顶层文件夹中下载Pthreadpool相关依赖文件，添加Pthreadpool编译选项，将线程池技术嵌入至智能边缘网关软件框架内，实现多线程并发功能；其次，在Tensorflow Lite框架中添加libmodbus编译选项，下载libmodbus软件库，将配置文件config.h移动至源文件夹下并使用CMake工具将实现Modbus RTU/TCP的必要依赖链接为静态库，随后将库路径添加至Lite顶层CMakeLists中，使软件适配工业Modbus传输协议；
最后，保留框架核心模块，包括C/C++核心、模型加速器Acceleration、模型解释器Interpreter，编译嵌入式端序列库Flatbuffers以提供语言接口，取消GPU加速，裁剪掉稀疏神经网络模型Xnnpack支持，防止与模型解释器冲突；
步骤2、在轻量级嵌入式AI框架上定制针对不同工业现场设备进行健康监测的复杂神经网络，所述复杂神经网络包括多模态特征提取层、时间序列预测层、故障分类层，能同时处理多源异构数据，实现短时间的故障预测和健康监测分类识别；
步骤3、构建数据集
将多个异构模拟量传感器安装在相应工业设备现场，通过设备控制器A/D转换模块得到数字量数据，并通过CAN有线形式传输到边缘计算网关中，实时获取现场工业设备数据，以获取的多种类工业现场设备运行的多传感器数据作为原始数据集，对原始数据集进行数据预处理，预处理后对每个样本进行打标签操作，获得含有工业设备健康状态标签信息的数据集；
对于工业设备健康诊断数据具有多个特征，根据不同情况为特征数据添加时间点特征，T1为起始时间点，Tn为终止时间点，M为该设备特征数量，样本数量N为N＝(Tn-T1)*M，并对样本进行健康状态标注，标注四类健康状态标签0、1、2、3，其中健康状态标签0表示健康工况；健康状态标签1代表一般工况，此状态下部分设备部位出现受损倾向；健康状态标签2代表轻微受损工况，此状态下部分设备部位已出现轻微受损，并有加重受损的倾向；健康状态标签3代表故障工况，此时部分设备部位已出现故障；
数据集中每一类健康状态类别样本占比相同，将数据集转换为.csv格式等待模型训练；
步骤4、将获得的数据集利用Tensorflow训练定制的复杂神经网络，获得健康监测神经网络模型；
步骤5、实际使用时，用户设定健康监测设备优先级，将实时采集的现场工业设备数据根据设定的设备优先级进行优先级仲裁，利用线程池为高优先级设备数据优先开辟进程进行数据预处理，并添加至线程池中，开始并发运行同时再按优先级高低顺序依次添加其它设备处理线程；
将预处理好当前优先级的输入数据读入健康监测神经网络模型当中，利用推断模块初始化推断类，检验模型格式，调用interpreter->invoke唤醒模型解释器，利用模型加速器进行快速推断并输出结果，整个过程在边缘网关操作系统内独立完成；
步骤6、健康标签分类：
健康监测神经网络模型的输出结果为四类健康标签，根据健康标签的不同进行分类，重新确定工业设备的健康优先级，故障程度越严重更新后的优先程度越高，利用线程池更新此时的健康优先级，并反馈至工业现场设备的设备控制器，发送相应控制指令以调整设备工作模式，更改控制逻辑，最大程度保证设备健康和安全性；
步骤7、利用智能边缘网关的诊断信息存储模块将健康监测神经网络模型输出的健康诊断信息进行保存并将非敏感数据上传至云服务器和现场工控屏幕进行备份。
步骤5中，将输出为标签3故障工况的设备优先级更新为0，0为最高优先级，线程池优先为其开辟新的线程，并立即发送停止命令给故障工况设备控制器；将输出为标签2轻微受损工况的设备优先级更新为1，反馈状态报文并降低该设备控制器控制负载；将输出标签为标签1一般工况的设备优先级更新为2，此时仅向交互终端反馈出现受损倾向设备状态报文；将输出标签为标签0健康工况的设备优先级更新为3，3为最低优先级，此时人机交互终端默认设备为健康状态，不做该健康设备的报文反馈，以降低通信总线占用率。
对于工业现场设备健康监测，用户通过人机交互终端为现场设备设定健康监测设备优先级，所述人机交互终端包括现场工控屏幕与云服务器；所述预处理用于去除噪声，包括卡尔曼滤波或中值滤波中的至少一种。
所述多模态特征提取层：对于每个传感器数据，使用1DCNN(一维卷积神经网络)子模块，提取每个传感器的特征表示，将各传感器的特征在某个维度上进行整合，得到整合后的多模态特征表示，使用ReLU激活函数来引入非线性性；
所述时间序列预测层：使用LSTM(长短时记忆网络)对整合后的多模态特征进行序列建模，在该层中，预测未来一段短时间内设备故障的概率分布，作为短时间故障预测，对于每个时间步，输出一个故障预测概率，使用Sigmoid激活函数；
所述故障分类层：从多模态特征提取层获取的特征中，派生出用于故障分类的表示，添加一个全连接神经网络层，将提取的特征映射到不同故障类别的概率向量，使用ReLU激活函数以引入非线性，最后一层使用Softmax激活函数，输出每个故障类别的概率向量；
故障预测和分类任务分别使用二元交叉熵损失和多类交叉熵损失，损失函数的组合使用加权求和，根据任务的重要性来调整权重，使用Adam优化器来进行模型训练，将训练好的模型利用Tensorflow Lite Converter转换为压缩平面缓冲区等待模型加载。
本发明将线程池并行处理的任务分成了四个部分：
任务一：监听通信总线报文并处理报文信息，并进行输入数据预处理，利用全局变量保存输入数据；
任务二：用于做模型推断，首先利用轻量级嵌入式AI框架对模型进行初始化，等待全局变量的数据更新，如果发生更新则将保存好的全局变量输入信息传入模型解释器中，运行模型，生成推断结果，并将推断结果保存至全局变量中；若全局变量没有发生变化，则不进行输入信息更新，并一直轮询；
任务三：初始化诊断信息存储模块，等待输出信息更新，判断输出信息是否更新，若果更新，则从全局变量中获得健康状态信息，将结果按时间先后存储至本地，并优先处理健康状态高危设备信息，将根据标签再次判断后按优先级先后反馈回设备控制器，任务三的优先级默认高于任务一，可随时打断报文监听并使用总线进行传输，传输报文过程利用自旋锁防止被其他线程打断；输出信息为健康标签的信息，若没有收到新的输出信息则继续轮询等待输出信息更新；
任务四：监听人机交互终端的命令，将健康监测数据按需发送到云服务器供相关人员分析使用。
与现有技术相比，本发明具有以下有益效果：
1)本发明AI工业边缘计算系统直接进行复杂模型推断及数据流解析；将输出信息按优先级反馈给工业设备及人机交互终端等。解决了传统工业系统无法在边缘网关运行复杂神经网络推断，无法准确预测故障，平台架构复杂且模型输入输出数据需要往返服务器的问题，提高了智能运维系统整体的健康监测效率、采集数据隐私性，提升了故障预测能力，以降低运维系统功耗与成本。
2)本发明从系统架构层面解决了传统边缘系统架构无法直接运行复杂神经网络算法的问题，充分利用智能边缘网关算力资源，引入优先级仲裁模块，提升网关设备管理能力，提高运行效率。
3)本发明在智能边缘网关中嵌入轻量级嵌入式AI框架，充分利用边缘计算的优势，这使得智能边缘网关能够高效地直接运行复杂神经网络，消除了与传统服务器间的数据传输延迟，大幅提高了响应速度，解决了传统边缘计算系统中存在的响应迟缓、推断效率低以及资源占用过高等问题，为智能工业运维场景提供了切实可行的解决方案。此外，数据采集和处理都在智能边缘网关内完成，有效保护了工业现场的数据隐私性，避免了敏感信息的外泄风险。
4)本发明引入的复杂神经网络具备高度的灵活性和适应性，在人机交互终端可针对设备进行自行定制各层具体结构及层数。无论是何种类型的工业现场，都能实现设备健康监测与管理的升级。这种普适性为各类工业现场提供了一种通用而高效的智能化解决方案。
附图说明：
图1为本发明的系统应用层次图；
图2为本发明的系统整体架构示意图；
图3为本发明的实施方法流程图；
图4为本发明复杂神经网络的结构示意图；
图5为本发明健康监测神经网络模型的输出层及标签对应处理方式示意图。
图6为本发明线程池并行处理的软件流程图。
具体实施方式：
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明为一种AI工业边缘计算系统，整体系统应用层次如图1所示，包括人机交互终端、边缘层、设备层，设备层为多种类工业现场设备的传感器组，设备自带设备控制器，边缘层包括智能边缘网关和各设备对应的健康监测神经网络模型，将设备端、边缘端、云端三者有机结合，将传统智能云-边-端层次简化为智能边-端模式，将云服务器作为交互和存储终端，充分释放云服务器计算压力，充分利用边缘设备性能，极大地保护了工业现场采集数据的隐私性，由于无需模型输入输出数据的云-边通信，极大地提高了健康监测效率。
系统的整体架构如图2所示，多种类工业现场设备通过多传感器采集模块将多源异构数据通过高速工业通信总线传递给智能边缘网关；智能边缘网关包括优先级仲裁模块、轻量级嵌入式AI框架、诊断信息存储模块，所述轻量级嵌入式AI框架包括健康监测神经网络模型、推断模块以及Tensorflow Lite框架，输出结果将保存至本地诊断信息存储模块中，并筛选隐私数据后上传至人机交互终端，人机交互终端包括现场工控屏幕终端以及云服务器。
本发明一种AI工业边缘计算系统，包括多传感器采集模块，智能边缘网关和人机交互终端，且多传感器采集模块、智能边缘网关、以及人机交互终端依序连接：
所述多传感器采集模块包括若干多源异构数据采集节点，集成于工业设备控制器中；
所述智能边缘网关包括神经网络运行环境、推断模块以及优先级仲裁模块，；
所述人机交互终端包括现场工控终端模块与云服务器；
所述神经网络运行环境，用于为边缘网关提供直接运行复杂神经网络算法的条件，通过轻量级嵌入式AI框架缩减模型解释与推断时间。
所述推断模块用于推断健康监测神经网络模型，用于处理多源异构数据，根据复杂多维传感器信号推断出工业设备健康状态。推断模块包括模型加速器Acceleration、模型解释器Interpreter。
通过多传感器采集模块采集多源异构数据，通过综合分析这些数据，系统可以获得对设备状态和生产环境的全面认知；设备控制器将采集数据通过高速工业总线传输至智能边缘网关中；智能边缘网关通过优先级仲裁模块将输入数据按用户设定的优先级分别开辟线程输入复杂神经网络。
智能边缘网关搭载的轻量级嵌入式AI框架运行已训练好的复杂神经网络，即定制的健康监测神经网络模型，通过轻量级嵌入式AI框架中的推断模块解析数据流并得出健康监测结果；
利用智能边缘网关的诊断信息存储模块保存健康监测数据，智能边缘网关内配备诊断信息存储模块，用于保存健康监测的结果数据。这样的设计使得历史数据得以保留，同时也为进一步的数据分析和趋势预测提供了依据。
利用高速工业总线反馈健康监测结果，这使得设备操作员、工程师或管理人员能够及时了解设备状态，采取必要的行动以维护设备的正常运行，同时设备也会对应响应健康状态结果运行相应控制逻辑。本实施例中智能边缘网关高速工业总线配置为CAN，不同种类多个工业设备接入网关时，利用CAN通信的高速性和多连接性提升各类设备的适配效果；CAN协议能够在复杂的工业环境中保证稳定、可靠的数据传输。当智能边缘网关需要应对多种类工业设备健康监测问题时，由网关利用CAN通信开辟线程监听各设备报文，而不需要使用单独的通信方式过度占用系统空间，有效地提高了AI工业边缘计算系统柔性。
所述优先级仲裁模块通过线程池管理不同优先级设备对应线程的方式进行数据输入优先级仲裁。
所述轻量级嵌入式AI框架配置为Tensorflow Lite，Tensorflow Lite是一款为移动和嵌入式设备设计的轻量级嵌入式AI框架，适用于边缘设备的计算资源有限的情况，能够高效运行神经网络模型，相较于其它非轻量级框架，选择Tensorflow Lite能适应32位系统架构且在此基础上可以进行定制化裁剪。
优选地，所述健康监测神经网络模型采用多层结构，针对工业现场设备的神经网络模型分成以下几个主要组件：多模态特征提取层、时间序列预测层、故障分类层。本发明实现了在智能边缘网关上建立健康监测信息传输和存储平台，适合于工业智能运维。智能边缘网关的存储和信息交互利用轻量级嵌入式AI框架的保密性，原始数据和关键数据会保留在本地，诊断结果和非敏感诊断数据会传输给人机交互终端，数据不会往返于云服务器，极大地提高了系统的隐私性。
在智能边缘网关中为不同工业设备定制不同功能的复杂神经网络，利用智能边缘网关的高算力以及AI框架的高效性，在线程池中开辟多个线程以并发运行多个复杂神经网络，面对复杂工业现场环境，在智能边缘网关线程池中应用互斥锁等相关软件技术为健康监测设备添加优先级，优先监听处理用户定义为高优先级的设备。
在人机交互终端中配置用户设定的健康监测优先级，并为不同种类工业设备选择复杂神经网络模型，显示并选择上传设备存储的历史关键数据和诊断信息，包括传感器采集的异常信号，和出现异常的时间节点。
本发明AI工业边缘计算系统的实施方法流程，如图3所示，包括以下步骤：
步骤1、搭建轻量级嵌入式AI框架：
利用Tensorflow Lite适配于32位嵌入式操作系统的优点，使用CMake工具及交叉编译工具链在Tensorflow Lite基础上进行软件环境搭建，
首先，在Lite顶层CMakeLists中添加Pthreadpool(线程池)库，在顶层文件夹中下载Pthreadpool相关依赖文件，添加Pthreadpool编译选项，将线程池技术嵌入至智能边缘网关软件框架内，实现多线程并发功能，提高软件实时性；使用线程池技术代替传统线程管理方式，将线程池技术嵌入至边缘网关软件框架内，为优先级仲裁功能提供必要条件。
其次，在Tensorflow Lite框架中添加libmodbus编译选项，下载libmodbus软件库，将配置文件config.h移动至源文件夹下并使用CMake工具将实现Modbus RTU/TCP的必要依赖链接为静态库，随后将库路径添加至Lite顶层CMakeLists中，使软件适配工业Modbus传输协议，精简编译过程；
最后，保留框架核心模块，包括C/C++核心、模型加速器Acceleration、模型解释器Interpreter，编译嵌入式端序列库Flatbuffers以提供语言接口，取消GPU加速，裁剪掉稀疏神经网络模型Xnnpack支持，防止与模型解释器冲突；以达到裁剪镜像，降低系统占用资源的目的。
步骤2、在轻量级嵌入式AI框架上定制针对不同工业现场设备进行健康监测的复杂神经网络，所述复杂神经网络包括多模态特征提取层、时间序列预测层、故障分类层，如图4所示。能同时处理多源异构数据，实现短时间的故障预测和健康监测分类识别；
多模态特征提取层：对于每个传感器数据，使用1DCNN(一维卷积神经网络)子模块，提取每个传感器的特征表示。将各传感器的特征在某个维度上进行整合，得到整合后的多模态特征表示，使用ReLU激活函数来引入非线性性。
时间序列预测层：使用LSTM(长短时记忆网络)适用于时间序列数据的神经网络，对整合后的多模态特征进行序列建模。在该层中，可以预测未来一段短时间内设备故障的概率分布，作为短时间故障预测。对于每个时间步，输出一个故障预测概率，使用Sigmoid激活函数。
故障分类层：从多模态特征提取层获取的特征中，派生出用于故障分类的表示。添加一个全连接神经网络层，将提取的特征映射到不同故障类别的概率向量。使用ReLU激活函数以引入非线性，最后一层使用Softmax激活函数，输出每个故障类别的概率向量。
故障预测和分类任务分别使用二元交叉熵损失和多类交叉熵损失。损失函数的组合使用加权求和，根据任务的重要性来调整权重。使用Adam优化器来进行模型训练。将训练好的模型利用Tensorflow Lite Converter转换为压缩平面缓冲区等待模型加载。
步骤3、构建数据集
将多个异构模拟量传感器(如加速度传感器、张力传感器、温湿度传感器等)安装在相应工业设备现场，通过设备控制器A/D转换模块得到数字量数据，并通过CAN有线形式传输到边缘计算网关中，实时获取现场工业设备数据，以获取的多种类工业现场设备运行的多传感器数据作为原始数据集，对原始数据集进行数据预处理，预处理后对每个样本进行打标签操作，获得含有工业设备健康状态标签信息的数据集；
对于工业设备健康诊断数据具有多个特征，根据不同情况为特征数据添加时间点特征，T1为起始时间点，Tn为终止时间点，M为该设备特征数量，样本数量N为N＝(Tn-T1)*M，并对样本进行健康状态标注，标注四类健康状态标签0、1、2、3，其中健康状态标签0表示健康工况；健康状态标签1代表一般工况，此状态下部分设备部位出现受损倾向；健康状态标签2代表轻微受损工况，此状态下部分设备部位已出现轻微受损，并有加重受损的倾向；健康状态标签3代表故障工况，此时部分设备部位已出现故障；
数据集中每一类健康状态类别样本占比相同，将数据集转换为.csv格式等待模型训练；
步骤4、将获得的数据集利用Tensorflow训练定制的复杂神经网络，获得健康监测神经网络模型；
步骤5、实际使用时，用户设定健康监测设备优先级，将实时采集的现场工业设备数据根据设定的设备优先级进行优先级仲裁，利用线程池为高优先级设备数据优先开辟线程进行数据预处理，并添加至线程池中，开始并发运行同时再按优先级高低顺序依次添加其它设备处理线程，实现高效管理；
将预处理好当前优先级的输入数据读入健康监测神经网络模型当中，利用推断模块初始化推断类，检验模型格式，调用interpreter->invoke唤醒模型解释器，利用模型加速器进行快速推断并输出结果，整个过程在边缘网关操作系统内独立完成，不涉及数据流动，极大加快了推断速度和隐私性；
对于工业现场设备健康监测，用户设定健康监测设备优先级可通过人机交互终端(现场工控屏幕与云服务器)为现场设备配置诊断优先级。
数据预处理过程包括卡尔曼滤波、中值滤波等方式。
步骤6、健康标签分类：
健康监测神经网络模型的输出结果为四类健康标签，根据健康标签的不同进行分类，重新确定工业设备的健康优先级，故障程度越严重更新后的优先程度越高，利用线程池更新此时的健康优先级，并反馈至工业现场设备的设备控制器，发送相应控制指令以调整设备工作模式，更改控制逻辑，最大程度保证设备健康和安全性；
将输出为标签3故障工况的设备优先级更新为0，0为最高优先级，线程池优先为其开辟新的线程，并立即发送停止命令给故障工况设备控制器；将输出为标签2轻微受损工况的设备优先级更新为1，反馈状态报文并降低该设备控制器控制负载；将输出标签为标签1一般工况的设备优先级更新为2，此时仅向交互终端反馈出现受损倾向设备状态报文；将输出标签为标签0健康工况的设备优先级更新为3，3为最低优先级，此时人机交互终端默认设备为健康状态，不做该健康设备的报文反馈，以降低通信总线占用率。
健康监测神经网络模型的输出层及标签对应处理方式如图5所示。
步骤7、利用智能边缘网关的诊断信息存储模块将健康监测神经网络模型输出的健康诊断信息进行保存并将非敏感数据上传至云服务器和现场工控屏幕进行备份。
本发明中软件程序整体利用线程池进行多线程应用开发，线程池的引入可以根据系统的需求和硬件环境灵活的控制线程的数量，且可以对所有线程进行统一的管理和控制，从而提高系统的运行效率，降低系统的运行压力。本发明利用了多线程并发的优势，将线程池并行处理的任务分成了四个部分，如图6所示：
任务一：监听通信总线报文并处理报文信息，并进行输入数据预处理，利用全局变量保存输入数据；
任务二：用于做模型推断，首先利用轻量级嵌入式AI框架对模型进行初始化，等待全局变量的数据更新，如果发生更新则将保存好的全局变量输入信息传入模型解释器中，运行模型，生成推断结果，并将推断结果保存至全局变量中；若全局变量没有发生变化，则不进行输入信息更新，并一直轮询；
任务三：初始化诊断信息存储模块，等待输出信息更新，判断输出信息是否更新，如果更新，则从全局变量中获得健康状态信息，将结果按时间先后存储至本地，并优先处理健康状态高危设备信息，将根据标签再次判断后按优先级先后反馈回设备控制器，任务三的优先级默认高于任务一，可随时打断报文监听并使用总线进行传输，传输报文过程利用自旋锁防止被其他线程打断；输出信息为健康标签的信息，若没有收到新的输出信息则继续轮询等待输出信息更新；
现场工控屏幕用于显示健康状态，能用于输入设备设定优先级，显示设备的工作状况等，健康监测数据按需发送到云服务器存储后，可以通过远程下载等方式在远程端或客户端进行显示等，实现远程监控。
本发明未述及之处适用于现有技术。

Claims (8)

1.一种AI工业边缘计算系统，包括多传感器采集模块、高速工业总线通信模块、智能边缘网关、人机交互终端，其特征在于，多个工业设备控制器搭载多传感器采集模块，通过高速工业总线通信模块与智能边缘网关通讯；智能边缘网关搭载轻量级嵌入式AI框架，用于直接运行用于对工业设备进行健康监测的复杂神经网络，复杂神经网络得到推断结果保存至智能边缘网关本地诊断信息存储模块，智能边缘网关从诊断信息存储模块中筛选隐私数据后上传到人机交互终端；
所述轻量级嵌入式AI框架包括嵌入式神经网络环境与用于对工业设备进行健康监测的复杂神经网络、优先级仲裁模块，实现智能边缘网关直接运行复杂神经网络，分析多传感器采集的多源异构数据，并反馈给工业设备和人机交互终端。
2.根据权利要求1所述的AI工业边缘计算系统，其特征在于，所述轻量级嵌入式AI框架的构建过程是：使用CMake工具及交叉编译工具链在Tensorflow Lite基础上进行软件环境搭建，首先，在Lite顶层CMakeLists中添加Pthreadpool(线程池)库，在顶层文件夹中下载Pthreadpool相关依赖文件，添加Pthreadpool编译选项，将线程池技术嵌入至智能边缘网关软件框架内，实现多线程并发功能；其次，在Tensorflow Lite框架中添加libmodbus编译选项，下载libmodbus软件库，将配置文件config.h移动至源文件夹下并使用CMake工具将实现Modbus RTU/TCP的必要依赖链接为静态库，随后将库路径添加至Lite顶层CMakeLists中，使软件适配工业Modbus传输协议；最后，保留框架核心模块，包括C/C++核心、模型加速器Acceleration、模型解释器Interpreter，编译嵌入式端序列库Flatbuffers以提供语言接口，取消GPU加速，裁剪掉稀疏神经网络模型Xnnpack支持，防止与模型解释器冲突；
所述推断模块包括模型加速器Acceleration、模型解释器Interpreter，推断模块用于初始化推断类，检验模型格式，调用interpreter->invoke唤醒模型解释器，利用模型加速器进行快速推断并输出复杂神经网络的诊断结果，即推断出工业设备健康状态。
3.根据权利要求1所述的AI工业边缘计算系统，其特征在于，所述优先级仲裁模块用于根据用户设定的设备的优先级，将输入数据按优先级分别开辟线程输入复杂神经网络。
4.一种AI工业边缘计算系统的实施方法，其特征在于，所述实施方法包括以下步骤：
步骤1、搭建轻量级嵌入式AI框架：
使用CMake工具及交叉编译工具链在Tensorflow Lite基础上进行软件环境搭建，首先，在Lite顶层CMakeLists中添加Pthreadpool(线程池)库，在顶层文件夹中下载Pthreadpool相关依赖文件，添加Pthreadpool编译选项，将线程池技术嵌入至智能边缘网关软件框架内，实现多线程并发功能；其次，在Tensorflow Lite框架中添加libmodbus编译选项，下载libmodbus软件库，将配置文件config.h移动至源文件夹下并使用CMake工具将实现Modbus RTU/TCP的必要依赖链接为静态库，随后将库路径添加至Lite顶层CMakeLists中，使软件适配工业Modbus传输协议；
最后，保留框架核心模块，包括C/C++核心、模型加速器Acceleration、模型解释器Interpreter，编译嵌入式端序列库Flatbuffers以提供语言接口，取消GPU加速，裁剪掉稀疏神经网络模型Xnnpack支持，防止与模型解释器冲突；
步骤2、在轻量级嵌入式AI框架上定制针对不同工业现场设备进行健康监测的复杂神经网络，所述复杂神经网络包括多模态特征提取层、时间序列预测层、故障分类层，能同时处理多源异构数据，实现短时间的故障预测和健康监测分类识别；
步骤3、构建数据集
将多个异构模拟量传感器安装在相应工业设备现场，通过设备控制器A/D转换模块得到数字量数据，并通过CAN有线形式传输到边缘计算网关中，实时获取现场工业设备数据，以获取的多种类工业现场设备运行的多传感器数据作为原始数据集，对原始数据集进行数据预处理，预处理后对每个样本进行打标签操作，获得含有工业设备健康状态标签信息的数据集；
对于工业设备健康诊断数据具有多个特征，根据不同情况为特征数据添加时间点特征，T1为起始时间点，Tn为终止时间点，M为该设备特征数量，样本数量N为N＝(Tn-T1)*M，并对样本进行健康状态标注，标注四类健康状态标签0、1、2、3，其中健康状态标签0表示健康工况；健康状态标签1代表一般工况，此状态下部分设备部位出现受损倾向；健康状态标签2代表轻微受损工况，此状态下部分设备部位已出现轻微受损，并有加重受损的倾向；健康状态标签3代表故障工况，此时部分设备部位已出现故障；
数据集中每一类健康状态类别样本占比相同，将数据集转换为.csv格式等待模型训练；
步骤4、将获得的数据集利用Tensorflow训练定制的复杂神经网络，获得健康监测神经网络模型；
步骤5、实际使用时，用户设定健康监测设备优先级，将实时采集的现场工业设备数据根据设定的设备优先级进行优先级仲裁，利用线程池为高优先级设备数据优先开辟进程进行数据预处理，并添加至线程池中，开始并发运行同时再按优先级高低顺序依次添加其它设备处理线程；
将预处理好当前优先级的输入数据读入健康监测神经网络模型当中，利用推断模块初始化推断类，检验模型格式，调用interpreter->invoke唤醒模型解释器，利用模型加速器进行快速推断并输出结果，整个过程在边缘网关操作系统内独立完成；
步骤6、健康标签分类：
健康监测神经网络模型的输出结果为四类健康标签，根据健康标签的不同进行分类，重新确定工业设备的健康优先级，故障程度越严重更新后的优先程度越高，利用线程池更新此时的健康优先级，并反馈至工业现场设备的设备控制器，发送相应控制指令以调整设备工作模式，更改控制逻辑，最大程度保证设备健康和安全性；
步骤7、利用智能边缘网关的诊断信息存储模块将健康监测神经网络模型输出的健康诊断信息进行保存并将非敏感数据上传至云服务器和现场工控屏幕进行备份。
5.根据权利要求4所述的实施方法，其特征在于，步骤5中，将输出为标签3故障工况的设备优先级更新为0，0为最高优先级，线程池优先为其开辟新的线程，并立即发送停止命令给故障工况设备控制器；将输出为标签2轻微受损工况的设备优先级更新为1，反馈状态报文并降低该设备控制器控制负载；将输出标签为标签1一般工况的设备优先级更新为2，此时仅向交互终端反馈出现受损倾向设备状态报文；将输出标签为标签0健康工况的设备优先级更新为3，3为最低优先级，此时人机交互终端默认设备为健康状态，不做该健康设备的报文反馈，以降低通信总线占用率。
6.根据权利要求4所述的实施方法，其特征在于，对于工业现场设备健康监测，用户通过人机交互终端为现场设备设定健康监测设备优先级，所述人机交互终端包括现场工控屏幕与云服务器；所述预处理用于去除噪声，包括卡尔曼滤波或中值滤波中的至少一种。
7.根据权利要求4所述的实施方法，其特征在于，所述多模态特征提取层：对于每个传感器数据，使用1DCNN子模块，提取每个传感器的特征表示，将各传感器的特征在某个维度上进行整合，得到整合后的多模态特征表示，使用ReLU激活函数来引入非线性性；
所述时间序列预测层：使用LSTM对整合后的多模态特征进行序列建模，在该层中，预测未来一段短时间内设备故障的概率分布，作为短时间故障预测，对于每个时间步，输出一个故障预测概率，使用Sigmoid激活函数；
所述故障分类层：从多模态特征提取层获取的特征中，派生出用于故障分类的表示，添加一个全连接神经网络层，将提取的特征映射到不同故障类别的概率向量，使用ReLU激活函数以引入非线性，最后一层使用Softmax激活函数，输出每个故障类别的概率向量；
故障预测和分类任务分别使用二元交叉熵损失和多类交叉熵损失，损失函数的组合使用加权求和，根据任务的重要性来调整权重，使用Adam优化器来进行模型训练，将训练好的模型利用Tensorflow Lite Converter转换为压缩平面缓冲区等待模型加载。
8.根据权利要求4所述的实施方法，其特征在于，将线程池并行处理的任务分成了四个部分：
任务一：监听通信总线报文并处理报文信息，并进行输入数据预处理，利用全局变量保存输入数据；
任务二：用于做模型推断，首先利用轻量级嵌入式AI框架对模型进行初始化，等待全局变量的数据更新，如果发生更新则将保存好的全局变量输入信息传入模型解释器中，运行模型，生成推断结果，并将推断结果保存至全局变量中；若全局变量没有发生变化，则不进行输入信息更新，并一直轮询；
任务三：初始化诊断信息存储模块，等待输出信息更新，判断输出信息是否更新，若果更新，则从全局变量中获得健康状态信息，将结果按时间先后存储至本地，并优先处理健康状态高危设备信息，将根据标签再次判断后按优先级先后反馈回设备控制器，任务三的优先级默认高于任务一，可随时打断报文监听并使用总线进行传输，传输报文过程利用自旋锁防止被其他线程打断；输出信息为健康标签的信息，若没有收到新的输出信息则继续轮询等待输出信息更新；
任务四：监听人机交互终端的命令，将健康监测数据按需发送到云服务器供相关人员分析使用。
CN202311256069.6A 2023-09-27 2023-09-27 一种ai工业边缘计算系统及其实施方法 Pending CN117319439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311256069.6A CN117319439A (zh) 2023-09-27 2023-09-27 一种ai工业边缘计算系统及其实施方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311256069.6A CN117319439A (zh) 2023-09-27 2023-09-27 一种ai工业边缘计算系统及其实施方法

Publications (1)

Publication Number Publication Date
CN117319439A true CN117319439A (zh) 2023-12-29

Family

ID=89296592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311256069.6A Pending CN117319439A (zh) 2023-09-27 2023-09-27 一种ai工业边缘计算系统及其实施方法

Country Status (1)

Country Link
CN (1) CN117319439A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117896417A (zh) * 2024-01-17 2024-04-16 西安交通大学城市学院 一种嵌入式工业物联网控制器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117896417A (zh) * 2024-01-17 2024-04-16 西安交通大学城市学院 一种嵌入式工业物联网控制器

Similar Documents

Publication Publication Date Title
CN109709811B (zh) 一种面向智能制造的边缘计算控制器及其工作方法
CN107193271B (zh) 用于工业信息物理系统的前置服务适配和故障诊断装置
US10037443B2 (en) Industrial simulation using redirected I/O module configurations
US9467347B2 (en) Systems and methods that utilize scalable vector graphics to provide web-based visualization of a device
Teslyuk et al. Architecture and models for system-level computer-aided design of the management system of energy efficiency of technological processes at the enterprise
CN109920295A (zh) 一种智能工业互联网教学实训系统及方法
CN117319439A (zh) 一种ai工业边缘计算系统及其实施方法
CN103995777A (zh) 嵌入式软件黑盒自动化测试系统及测试方法
CN204883710U (zh) 一种基于规则的电网故障诊断智能系统
CN111917634B (zh) 基于pmml的工业网关机器学习模型容器式部署系统及方法
EP3671571A1 (en) A method and system for generating an artificial intelligence model
EP3002649A2 (en) Industrial simulation using redirected i/o module configurations
CN111666572B (zh) 一种自动化渗透测试框架系统
TWI676148B (zh) 整合ｉｃｔ服務供裝與虛實資源監控之系統
TWI751387B (zh) 軟體定義驅動的ｉｃｔ服務端對端協作系統
Vieira et al. Low-cost industrial controller based on the raspberry pi platform
CN113949703A (zh) 一种电力人工智能的云边协同系统
CN111338247A (zh) 一种基于物联网的模拟控制系统及方法
CN115562199A (zh) 工业互联网操作系统和产品的处理方法
CN115794106A (zh) 一种轨道交通二进制协议数据配置式解析的方法及系统
KR20210147594A (ko) 에너지 데이터 수집 및 관리에 최적화 기능을 제공하는 엣지 컴퓨팅 장치의 통신시스템 및 데이터베이스 운영방법
CN114584429A (zh) 工业智能物联网网关
CN108600357A (zh) 一种基于soa的油气设备维养管理系统及工作方法
Ma et al. A hybrid modeling methodology for cyber physical production systems: Framework and key techniques
Scholze et al. Reliable self-learning production systems based on context aware services

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination