CN116150253A - 一种基于多模态信号的生产设备预测性维护方法和系统 - Google Patents
一种基于多模态信号的生产设备预测性维护方法和系统 Download PDFInfo
- Publication number
- CN116150253A CN116150253A CN202211500636.3A CN202211500636A CN116150253A CN 116150253 A CN116150253 A CN 116150253A CN 202211500636 A CN202211500636 A CN 202211500636A CN 116150253 A CN116150253 A CN 116150253A
- Authority
- CN
- China
- Prior art keywords
- data
- signal
- database
- model
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Factory Administration (AREA)
Abstract
本发明提出一种基于多模态信号的生产设备预测性维护方法及系统，包括以下步骤：采集多模态信号数据到数据库；通过数据库中的数据制作训练模型的数据集；使用卷积神经网络搭建预测模型，预测模型包括数据融合层、特征提取层和全连接分类层；训练模型至满足精度要求的收敛状态，完成在线推理任务；读取多模态信号到预测模型，将预测模型推理结果存入数据库；读取数据库中的多模态信号和预测结果，向用户提供统计分析报表，预警邮件提醒功能。本发明中采用微服务架构设计，各个服务之间完全解耦，适用于工业生产中对系统稳定性要求高的场景，同时具有良好的可扩展性，方便用户分阶段建设。
Description
技术领域
本发明属于智慧工厂技术领域，具体涉及一种基于多模态信号的生产设备预测性维护方法和系统。
背景技术
在全国积极推进制造业数字化智能化转型的时代浪潮中，大量企业通过引进自动化设备来提高生产效率，改善产品质量，极大的减少了简单体力劳动的用工人数，取得了不错的经济效益。当生产环节广泛依赖机器设备时，设备故障给生产带来的不利影响愈发明显，因此设备维护成为了生产部门的一项重要工作，当下的维护方式主要是定期维护，这种粗放的维护方式不能帮助设备维护人员了解设备运行过程中各种因素对故障的作用机理，不能发现设备数据的潜在价值。
发明内容
本发明提供一种基于多模态信号的生产设备预测性维护方法和系统，以期解决背景技术中存在的技术问题。
本发明采用以下技术方案：
一种基于多模态信号的生产设备预测性维护方法，包括以下步骤：
采集多模态信号数据到数据库；
通过数据库中的数据制作训练模型的数据集；
使用卷积神经网络搭建预测模型，预测模型包括数据融合层、特征提取层和全连接分类层；
训练模型至满足精度要求的收敛状态，完成在线推理任务；
读取多模态信号到预测模型，将预测模型推理结果存入数据库；
读取数据库中的多模态信号和预测结果，向用户提供统计分析报表，预警邮件提醒功能。
在一些实施例中，所述多模态信号通过信号采集传感器采集，信号采集传感器包括振动信号、温度信号、电压信号和电流信号，传感器具有数字信号输出，支持Modbus通讯协议。
在一些实施例中，所述通过数据库中的数据制作训练模型的数据集，其中，每种模态的数据处理为128*128*1的维度，每个训练样本由多种模态的数据组成。
在一些实施例中，所述数据采集服务通过Modbus TCP协议读取传感器或采集控制器存储地址上信号数据；将时序信号分片存储在MySQL数据库中。
在一些实施例中，预测模型的数据融合层采用自注意力机制融合多模态数据，采用空间、通道及其混合的多种形式的自注意力网络结构达到自适应融合多模态数据的目的。
在一些实施例中，使用卷积神经网络搭建预测模型，包括构建训练模型的数据集，然后通过反向传播和梯度下降算法训练模型至收敛状态，最后使用模型根据设备实时数据推理结果。
本实施例还提供了一种基于多模态信号的生产设备预测性维护系统，包括：
信号采集服务模块，支持通过多种工业通讯协议读取多种模态信号传感器的检测数据，包括振动、温度、电压和电流信号，并将检测数据持久化保存在数据库中，对信号处理服务模块提供获取数据的接口；
信号处理服务模块，用于读取原始信号到预测模型，将模型推理结果存入数据库；
设备健康状态可视化服务模块，用于定时向预测结果数据库查询设备健康状态，并通知设备维护人员。
在一些实施例中，所述信号处理服务模块包括数据接入模块、数据预处理模块和设备健康状态预测模块；数据接入模块采用HTTP协议从信号采集服务按照配置的时间间隔获取数据，数据预处理模块将获取的振动、温度、电压和电流信号变换为128*128的二维数据，再将预处理后的数据输入设备健康状态预测模块，预测模块的预测结果存入数据库。
本发明与现有技术相比具有的有益效果是：
本技术方案采集多种模态的信号用于预测设备健康状态，使用卷积神经网络自适应学习设备数据中对于判断设备状态具有主要作用的特征，神经网络模型具有更好的先进性和准确性。采用微服务设计架构，能够更加便捷的融入智慧工厂的整体框架。
图1为本发明的系统架构图；
图2为本发明的预测模型网络结构图；
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
以下将结合图1-2对本申请实施例所涉及的一种基于多模态信号的生产设备预测性维护方法及系统进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。
实施例1：
如图1所示，一种基于多模态信号的生产设备预测性维护方法，包括以下步骤：
采集多模态信号数据到数据库；使用具有数字信号输出和支持Modbus通讯协议的传感器采集设备关键部位的信号。
通过数据库中的数据制作训练模型的数据集；使用Modbus客户端按照配置的时间间隔读取传感器的信号，然后将信号存储在MySQL数据库中持久化保存，便于信号处理服务和设备健康状态可视化服务获取数据。
使用卷积神经网络搭建预测模型，预测模型包括数据融合层、特征提取层和全连接分类层；在数据规模达到一定的数量时制作用于预测模型训练的数据集，将每种模态的信号采样16384个数据点，再变换为128*128的二维矩阵，每种模态的数据按照振动、温度、电压和电流的顺序拼接成128*128*4的三维数据，标注上对应的健康状态，可以是正常和异常两种，也可以根据专家经验划分更多的种类。对于异常样本很少的情况可以使用对抗生成网络等样本增强的技术产生部分异常样本。
训练模型至满足精度要求的收敛状态，完成在线推理任务；读取多模态信号到预测模型，将预测模型推理结果存入数据库；使用Python编程语言开发一个Web服务，通过Http协议向信号采集服务请求数据，将请求到的数据进行处理。处理方式为，按时间倒序，设置的间隔采样16384个数据点，再变换为128*128的二维矩阵，每种模态的数据按照振动、温度、电压和电流的顺序拼接成128*128*4的三维数据。将拼接好的数据输入预测模型。预测模型网络结构如图2所示，输入数据先经过一个卷积、池化和激活运算，接着通过自注意力特征融合网络，再经过深度残差网络进一步提取特征，最后经过全连接层得到预测结果。预测模型使用深度学习框架Pytorch构建、训练模型，推理阶段使用TensorRT加速推理速度。推理的结果保存到MySQL数据库中。
设备健康状态可视化服务向用户提供多维度的数据报表，达到预警条件时向用户发送邮件提醒。
读取数据库中的多模态信号和预测结果，向用户提供统计分析报表，预警邮件提醒功能。
在一些实施例中，所述多模态信号通过信号采集传感器采集，信号采集传感器包括振动信号、温度信号、电压信号和电流信号，传感器具有数字信号输出，支持Modbus通讯协议。
在一些实施例中，预测模型的数据融合层采用自注意力机制融合多模态数据，采用空间、通道及其混合的多种形式的自注意力网络结构达到自适应融合多模态数据的目的。
在一些实施例中，使用卷积神经网络搭建预测模型，包括构建训练模型的数据集，然后通过反向传播和梯度下降算法训练模型至收敛状态，最后使用模型根据设备实时数据推理结果。
本实施例还提供了一种基于多模态信号的生产设备预测性维护系统，包括：
信号采集服务模块，支持通过多种工业通讯协议读取多种模态信号传感器的检测数据，包括振动、温度、电压和电流信号，并将检测数据持久化保存在数据库中，对信号处理服务模块提供获取数据的接口；
信号处理服务模块，用于读取原始信号到预测模型，将模型推理结果存入数据库；
设备健康状态可视化服务模块，用于定时向预测结果数据库查询设备健康状态，并通知设备维护人员。
在一些实施例中，所述信号处理服务模块包括数据接入模块、数据预处理模块和设备健康状态预测模块；数据接入模块采用HTTP协议从信号采集服务按照配置的时间间隔获取数据，数据预处理模块将获取的振动、温度、电压和电流信号变换为128*128的二维数据，再将预处理后的数据输入设备健康状态预测模块，预测模块的预测结果存入数据库。
预测模块使用卷积神经网络搭建预测模型，首先要构建训练模型的数据集，然后通过反向传播和梯度下降算法训练模型至收敛状态，最后使用模型根据设备实时数据推理结果。预测模型采用自注意力机制融合多模态数据，深度残差网络作为提取特征的主干网络，有效地增强了显著特征的提取能力，提高预测的准确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多模态信号的生产设备预测性维护方法，其特征在于，包括以下步骤：
采集多模态信号数据到数据库；
通过数据库中的数据制作训练模型的数据集；
使用卷积神经网络搭建预测模型，预测模型包括数据融合层、特征提取层和全连接分类层；
训练模型至满足精度要求的收敛状态，完成在线推理任务；
读取多模态信号到预测模型，将预测模型推理结果存入数据库；
读取数据库中的多模态信号和预测结果，向用户提供统计分析报表。
2.根据权利要求1所述的一种基于多模态信号的生产设备预测性维护方法，其特征在于，所述多模态信号通过信号采集传感器采集，信号采集传感器包括振动信号、温度信号、电压信号和电流信号，传感器具有数字信号输出，支持Modbus通讯协议。
3.根据权利要求1所述的一种基于多模态信号的生产设备预测性维护方法，其特征在于，
所述通过数据库中的数据制作训练模型的数据集，其中，每种模态的数据处理为128*128*1的维度，每个训练样本由多种模态的数据组成。
4.根据权利要求1所述的一种基于多模态信号的生产设备预测性维护方法，其特征在于，所述数据采集服务通过Modbus TCP协议读取传感器或采集控制器存储地址上信号数据；将时序信号分片存储在MySQL数据库中。
5.根据权利要求1所述的一种基于多模态信号的生产设备预测性维护方法，其特征在于，预测模型的数据融合层采用自注意力机制融合多模态数据，采用空间、通道及其混合的多种形式的自注意力网络结构达到自适应融合多模态数据的目的。
6.根据权利要求1所述的一种基于多模态信号的生产设备预测性维护方法，其特征在于，使用卷积神经网络搭建预测模型，包括构建训练模型的数据集，然后通过反向传播和梯度下降算法训练模型至收敛状态，最后使用模型根据设备实时数据推理结果。
7.一种基于多模态信号的生产设备预测性维护系统，其特征在于，包括：
信号采集服务模块，支持通过多种工业通讯协议读取多种模态信号传感器的检测数据，包括振动、温度、电压和电流信号，并将检测数据持久化保存在数据库中，对信号处理服务模块提供获取数据的接口；
信号处理服务模块，用于读取原始信号到预测模型，将模型推理结果存入数据库；
设备健康状态可视化服务模块，用于定时向预测结果数据库查询设备健康状态，并通知设备维护人员。
8.根据权利要求7所述的一种基于多模态信号的生产设备预测性维护系统，其特征在于，所述信号处理服务模块包括数据接入模块、数据预处理模块和设备健康状态预测模块；数据接入模块采用HTTP协议从信号采集服务按照配置的时间间隔获取数据，数据预处理模块将获取的振动、温度、电压和电流信号变换为128*128的二维数据，再将预处理后的数据输入设备健康状态预测模块，预测模块的预测结果存入数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211500636.3A CN116150253A (zh) | 2022-11-28 | 2022-11-28 | 一种基于多模态信号的生产设备预测性维护方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211500636.3A CN116150253A (zh) | 2022-11-28 | 2022-11-28 | 一种基于多模态信号的生产设备预测性维护方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116150253A true CN116150253A (zh) | 2023-05-23 |
Family
ID=86339748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211500636.3A Pending CN116150253A (zh) | 2022-11-28 | 2022-11-28 | 一种基于多模态信号的生产设备预测性维护方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116150253A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117572295A (zh) * | 2024-01-12 | 2024-02-20 | 山东和兑智能科技有限公司 | 一种高压套管多模态在线监测及预警方法 |
-
2022
- 2022-11-28 CN CN202211500636.3A patent/CN116150253A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117572295A (zh) * | 2024-01-12 | 2024-02-20 | 山东和兑智能科技有限公司 | 一种高压套管多模态在线监测及预警方法 |
| CN117572295B (zh) * | 2024-01-12 | 2024-04-12 | 山东和兑智能科技有限公司 | 一种高压套管多模态在线监测及预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11301759B2 (en) | Detective method and system for activity-or-behavior model construction and automatic detection of the abnormal activities or behaviors of a subject system without requiring prior domain knowledge | |
| CN112765768B (zh) | 基于物联网的离散型车间数字溯源方法 | |
| CN111080775A (zh) | 一种基于人工智能的服务器巡检方法及系统 | |
| US20230221684A1 (en) | Explaining Machine Learning Output in Industrial Applications | |
| CN116150253A (zh) | 一种基于多模态信号的生产设备预测性维护方法和系统 | |
| CN114418177B (zh) | 基于生成对抗网络的数字孪生车间的新产品物料配送预测方法 | |
| KR102366787B1 (ko) | 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템 | |
| CN115994184B (zh) | 一种基于大数据自动化运维平台的运维方法及系统 | |
| Kaur et al. | Machine Learning Approach to Recommender System for Web Mining | |
| CN108170825B (zh) | 基于云平台的分布式能源数据监控清洗方法 | |
| CN113835387A (zh) | 运维管理方法、系统及介质 | |
| Chernyshev et al. | Integration of building information modeling and artificial intelligence systems to create a digital twin of the construction site | |
| CN114638379A (zh) | 边缘侧多智能体opc ua信息解析和决策方法 | |
| Gaikwad et al. | Machine learning amalgamation of Mathematics, Statistics and Electronics | |
| CN111221805B (zh) | 一种基于细胞质量保证的信息控制与动态放行方法及系统 | |
| CN116993734B (zh) | 基于视觉成像进行分析的电池隔热棉裁切质量预测系统 | |
| CN117648890B (zh) | 一种基于人工智能的半导体器件建模方法及系统 | |
| CN115953724B (zh) | 一种用户数据分析以及管理方法、装置、设备及存储介质 | |
| CN117078232B (zh) | 一种基于大数据的加工设备故障预防系统及方法 | |
| Anitha et al. | Analysing High Dimensional Data using Rough Tolerance Relation | |
| CN117151314B (zh) | 透明质酸钠的生产管理方法及相关装置 | |
| Ling | AHP Evaluation Software for Intelligent Reform based on Interactive Intelligent Testing Algorithm | |
| Chernyshev et al. | Digital Object Detection of Construction Site Based on Building Information Modeling and Artificial Intelligence Systems. | |
| CN115907093A (zh) | 一种基于价格波动数据的股票走势分析方法 | |
| Lokesh | Probability of a Device Failure using Support Vector Machine by comparing with Random Forest Algorithm to improve the accuracy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |