CN116843662A - 一种基于动态视觉与类脑计算的非接触式故障诊断方法 - Google Patents
一种基于动态视觉与类脑计算的非接触式故障诊断方法 Download PDFInfo
- Publication number
- CN116843662A CN116843662A CN202310843067.0A CN202310843067A CN116843662A CN 116843662 A CN116843662 A CN 116843662A CN 202310843067 A CN202310843067 A CN 202310843067A CN 116843662 A CN116843662 A CN 116843662A
- Authority
- CN
- China
- Prior art keywords
- event
- pulse
- sample
- data
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 230000036541 health Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 239000012528 membrane Substances 0.000 claims description 12
- 210000000225 synapse Anatomy 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 7
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005096 rolling process Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012421 spiking Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于动态视觉与类脑计算的非接触式故障诊断方法，首先采用事件相机采集旋转机械的健康状态信息，对采集的事件流数据进行区域筛选，将筛选后事件流数据转化为脉冲神经网络读取的脉冲数据；然后将样本对应的标签与样本进行关联，构建旋转机械智能诊断数据集，划分训练集与测试集；再构建用于提取旋转机械脉冲数据特征的脉冲神经网络，并且将旋转机械智能诊断数据集送入进行深层特征提取；最后将深层旋转机械健康状态脉冲数据表征与对应标签计算MSE损失，并且通过损失函数更新对应的模型参数；本发明完善了类脑计算式的深度学习方法在旋转机械故障诊断中的应用流程，为智能诊断模型在边缘计算硬件上的部署提供了思路。
Description
技术领域
本发明属于旋转机械故障诊断技术领域，具体涉及一种基于动态视觉与类脑计算的非接触式故障诊断方法。
背景技术
旋转机械的种类繁多、应用广泛，在工业化的发展中起着至关重要的作用，然而旋转机械构造精密，长时间在高速、重载的条件下工作，容易发生故障，从而影响机械设备整体的性能甚至造成严重的安全事故，因而开发高效的旋转机械故障诊断技术尤为重要。
深度智能诊断方法具有的深层网络结构可以直接从原始数据信号中学习特征，从而避免了手动提取特征的过程，减少了对专家知识的依赖，因而逐渐成为旋转机械故障诊断领域的主流方法。但是在工程实际中，随着故障诊断任务的复杂程度日趋增加，模型所需的训练数据量同样急剧增多。许多深度智能诊断方法已经逐渐触及瓶颈，模型的表现能力难以进一步得到提升，此外还需要耗费大量的运算资源进行训练，并且模型难以部署到边缘计算硬件上，工程实用性较低。近年来，随着类脑计算研究的不断发展，为了进一步提升模型的表现能力、降低模型训练时的功耗以及部署在边缘计算硬件上的难度，在旋转机械故障诊断领域，现有的依托于第二代神经网络以及传统传感器的旋转机械智能故障诊断方法([1]Zhang B,Pang X,Zhao P,et al.Anew method based on encoding dataprobability density andconvolutional neural network for rotating machineryfault diagnosis[J].IEEE Access,2023,11,26099-26113；[2]Yu Z,Zhang C,Liu J,etal.SKND-TSACNN:Anovel time-scale adaptive CNN framework for faultdiagnosis ofrotating machinery[J].Knowledge-Based Systems,2023,275,110682；[3]胡爱军,孙俊豪,邢磊,等.基于冲击特征提取的旋转机械智能故障诊断[J].航空动力学报,2023,38(X)：1-9.)模型表现能力难以继续提升，训练模型时的功耗高，工程实用价值有待提升；并且现有的类脑计算式的故障诊断研究([4]Zhang C,Xiao Z,Sheng Z.Abearing faultdiagnosis method based on a convolutional spiking neuralnetwork with spatial–temporal feature-extraction capability[J].Transportation Safety andEnvironment,2022,5(2),tdac050；[5]Cao S,Li H,Zhang K,et al.ANovel SpikingGraph Attention Network forIntelligent Fault Diagnosis of Planetary Gearboxes[J].IEEE SensorsJournal,2023,23(12),13140-13154；[6]电子科技大学.基于LMD和脉冲神经网络的轴承故障诊断方法:CN202010105681.3[P].2022-10-11.)仅在传统智能故障诊断流程的基础上进行了局部改进，整体流程还不够完善。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于动态视觉与类脑计算的非接触式故障诊断方法，采用事件相机作为传感器采集旋转机械的健康状态，并且用脉冲神经网络完成旋转机械的智能故障诊断，从而完善类脑计算式的深度学习方法在旋转机械故障诊断中的应用流程。
为了达到上述目的，本发明采用的技术方案如下：
一种基于动态视觉与类脑计算的非接触式故障诊断方法，包括以下步骤：
步骤1：采用事件相机采集旋转机械在规定时间T内的健康状态信息，即原始事件流数据；
步骤2：对事件相机采集的原始事件流数据进行ROI区域筛选，得到目标区域事件流；
步骤3：将目标区域事件流转化为脉冲神经网络读取的脉冲数据；
步骤4：得到步骤3转化完成的旋转机械脉冲数据集后，将样本对应的标签与样本进行关联，构建旋转机械智能诊断数据集，并且将数据集划分为训练集与测试集/>其中lj表示样本sj对应的标签，Ntrain表示训练集的样本总数，Ntest表示测试集的样本总数；
步骤5：构建用于提取旋转机械脉冲数据特征的脉冲神经网络智能诊断模型，网络由两个线性网络层进行连接，并且在两个线性网络层之后均设置了LIF脉冲神经元层，用于接收并且继续向后输出脉冲信号；第一个线性层的输入输出维度分别为(Vinput，Vhidden)，第二个线性层的输入输出维度分别为(Vhid，Voutput)，其中Vinput为原始样本的总通道数，Vhid为隐藏层通道数，Voutput为输出类别数；
步骤6：将步骤4获得的旋转机械智能诊断数据集送入步骤5构建的脉冲神经网络智能诊断模型进行深层特征提取；
步骤7：采用步骤6获得的深层旋转机械健康状态脉冲数据表征与样本对应的标签数据计算均方误差损失，并且通过损失函数更新对应的模型参数；
步骤8：重复执行步骤6以及步骤7迭代优化旋转机械智能诊断模型，直至训练完成，得到最终脉冲神经网络智能诊断模型；
步骤9：将未做标签的测试集输入已经训练完成的最终脉冲神经网络智能诊断模型，输出对应数据所属的健康状态标签。
所述的步骤1具体为：
事件流中的事件按事件发生的时间顺序进行储存，事件流表示为：
其中E表示规定时间T内事件相机采集的所有事件信号，ei表示第i个发生的事件，NT表示在规定时间T内事件相机所记录区域发生的事件总数；事件流E由单个事件ei组成，单个事件ei表示为：
ei＝(ti，xi，yi，pi)
其中ti表示第i个事件发生的时间，xi表示第i个事件发生的位置在横坐标上相对于事件相机坐标原点像素距离，yi表示第i个事件发生的位置在纵坐标上相对于事件相机坐标原点像素距离，pi表示第i个事件的极性，分别为0和1，当pi为0时，代表该事件为一个负事件，即在ti时刻，在相对于事件相机坐标原点的(xi，yi)位置发生了亮度减小的事件，且该位置亮度减小的程度超过了事件相机的阈值；当pi为1时，代表该事件为一个正事件，即在ti时刻，在相对于事件相机坐标原点的(xi，yi)位置发生了亮度增大的事件，且该位置亮度增大的程度超过了事件相机的阈值。
所述的步骤2具体为：
针对步骤1中事件相机采集的原始事件流数据，选定一个设置范围的矩形区域作为筛选边界，并且将矩形区域外的所有事件全部舍去，只保留矩形区域内的事件；由步骤1获得的原始事件流数据表示为其中单个事件相对于事件相机坐标原点的位置表示为(xi，yi)，原始事件流中事件发生的矩形区域范围表示为：
其中xc为事件相机所能采集事件相对于事件相机坐标原点的最大横向像素距离，yc为事件相机所能采集事件相对于事件相机坐标原点的最大横向像素距离；采用矩形区域进行区域筛选后，事件发生的矩形区域范围表示为：
其中xL与yL为所设置的矩形区域的下边界值，其中xU与yU为所设置的矩形区域的上边界值，经过矩形区域筛选后的事件流表示为：
其中EROI表示经过矩形区域筛选后的事件流，NROI表示经过矩形区域筛选后的事件总数。
所述的步骤3具体为：
对于步骤2获得的经过矩形区域筛选后的事件流EROI，取相同时间间隔的事件流作为单个样本，获得每个样本所需得事件流；设置单个样本的持续时间为ts，需要生成的样本总数为N0，则所有样本所需要事件流的总时间长度为T0＝ts*N0，第j单个样本所需的事件流表示为：
其中Ej表示获得第j个样本所需的事件流，Nj表示在该样本的持续时间ts内发生的事件总数；第j个样本中的第k个事件表示为：
其中表示第j个样本中第k个事件发生的时间，(xi，yi)表示第j个样本中第k个事件发生的位置，pi表示第j个样本中第k个事件的极性，其中/>需要满足：
获得每个样本所需得事件流后，将其转化为脉冲神经网络读取的数据形式，将每个样本表示为一个拥有两个维度的张量，其中张量的第一个维度表示事件的时间信息，第二个维度表示事件的空间信息；对于第j个样本，首先生成对应形状的全0值的二维张量，张量的形状为(Nsteps，C)，其中Nsteps为时间步骤，C为尖峰输入通道数目，将步骤2的矩形事件相机输入通道压缩到一个维度中，并且将同时体现正负事件，则C＝2*(xU-xL)*(yU-yL)；
生成对应形状的全0值的二维张量后，将根据事件发生的时间以及位置对张量中的值进行置1处理，对于第j个样本中第k个事件，若为正事件则：
对于第j个样本中第k个事件，若为负事件则：
其中sj表示第j个样本数据，将所有事件数据均转化为脉冲神经网络读取的数据形式，形成旋转机械脉冲数据集。
所述的步骤6具体为：
旋转机械脉冲数据首先通过线性层，将对应输入脉冲序列求和后再送入之后的LIF神经层进行脉冲特征提取：
其中t代表时间步长，τ为时间常数，u和Os分别代表LIF神经元的膜电位以及输出，ur1为LIF神经元膜静息电位，ur2为LIF神经元膜重置电位，ωm是第m个突触的权重，Tω为积分时间窗口，是当第m个突触的第n个脉冲在Tω窗口内所激发的时刻，K(·)代表延时核函数，uth是点火阈值；经过两个线性层以及LIF神经元层后，即获得深层旋转机械健康状态脉冲数据表征。
所述的步骤7具体为：
其中LMSE是均方误差损失函数，Ot为脉冲神经网络最后一层输出的脉冲序列，L为标签序列，表示第p层网络的的第m个突触在时间步长t时的脉冲输出，/>表示第p层网络的的第m个突出在时间步长t时的膜电位，/>代表第p层网络的第m个突触的第n个脉冲权重的梯度，得到每层网络权重的梯度后反向更新网络层的所有参数。
本发明的有益效果如下：
本发明提出了一种基于动态视觉与类脑计算的非接触式故障诊断方法，采用事件相机这一脉冲式的视觉传感器采集了旋转机械在不同健康状态下的振动事件，并且对事件数据进行预处理后输入脉冲神经网络，实现了针对旋转机械健康状态的故障诊断，该方法完善了类脑计算式的深度学习方法在旋转机械故障诊断中的应用流程，初步验证了完全采用事件相机以及脉冲神经网络网络模型进行旋转机械的故障诊断是可行的，并且还为智能诊断模型在边缘计算硬件上的部署提供了思路。
附图说明
图1为本发明实施例方法的流程图。
图2为本发明实施例脉冲神经网络智能诊断模型优化示意图。
具体实施方式
下面结合实施例和附图对本发明做详细描述。
参照图1，一种基于动态视觉与类脑计算的非接触式故障诊断方法，包括以下步骤：
步骤1：采用事件相机采集旋转机械在规定时间T内的健康状态信息，即原始事件流数据，其中，事件相机所采集的健康状态信息为事件流这一数据形式，事件流中的事件按事件发生的时间顺序进行储存，事件流可以表示为：
其中E表示规定时间T内事件相机采集的所有事件信号，ei表示第i个发生的事件，NT表示在规定时间T内事件相机所记录区域发生的事件总数；事件流E由单个事件ei组成，单个事件ei可以表示为：
ei＝(ti，xi，yi，pi)
其中ti表示第i个事件发生的时间，xi表示第i个事件发生的位置在横坐标上相对于事件相机坐标原点像素距离，yi表示第i个事件发生的位置在纵坐标上相对于事件相机坐标原点像素距离，pi表示第i个事件的极性，pi只有两个可取值，分别为0和1，当pi为0时，代表该事件为一个负事件，即在ti时刻，在相对于事件相机坐标原点的(xi，yi)位置发生了亮度减小的事件，且该位置亮度减小的程度超过了事件相机的阈值；当pi为1时，代表该事件为一个正事件，即在ti时刻，在相对于事件相机坐标原点的(xi，yi)位置发生了亮度增大的事件，且该位置亮度增大的程度超过了事件相机的阈值；
步骤2：对事件相机采集的原始事件流数据进行ROI区域筛选，得到目标区域事件流；针对步骤1中事件相机采集的原始事件流数据，选定一个特定范围的矩形区域作为筛选边界，并且将矩形区域外的所有事件全部舍去，只保留矩形区域内的事件；由步骤1获得的原始事件流数据可以表示为其中单个事件相对于事件相机坐标原点的位置可以表示为(xi，yi)，原始事件流中事件发生的矩形区域范围可以表示为：
其中xc为事件相机所能采集事件相对于事件相机坐标原点的最大横向像素距离，yc为事件相机所能采集事件相对于事件相机坐标原点的最大横向像素距离；采用矩形区域进行区域筛选后，事件发生的区域范围可以表示为：
其中xL与yL为所设置的矩形区域的下边界值，其中xU与yU为所设置的矩形区域的上边界值，经过矩形区域筛选后的事件流可以表示为：
其中EROI表示经过矩形区域筛选后的事件流，NROI表示经过矩形区域筛选后的事件总数；
步骤3：将目标区域事件流转化为脉冲神经网络可以读取的脉冲数据；对于步骤2获得的经过矩形区域筛选后的事件流EROI，取相同时间间隔的事件流作为单个样本，获得每个样本所需得事件流；设置单个样本的持续时间为ts，需要生成的样本总数为N0，则所有样本所需要事件流的总时间长度为T0＝ts*N0，第j单个样本所需的事件流可以表示为：
其中Ej表示获得第j个样本所需的事件流，Nj表示在该样本的持续时间ts内发生的事件总数。第j个样本中的第k个事件可以表示为：
其中表示第j个样本中第k个事件发生的时间，(xi，yi)表示第j个样本中第k个事件发生的位置，pi表示第j个样本中第k个事件的极性，其中/>需要满足：
获得每个样本所需得事件流后，将其转化为脉冲神经网络可以读取的数据形式，将每个样本表示为一个拥有两个维度的张量，其中张量的第一个维度表示事件的时间信息，第二个维度表示事件的空间信息；对于第j个样本，首先生成对应形状的全0值的二维张量，张量的形状为(Nsteps，C)；其中Nsteps为时间步骤，C为尖峰输入通道数目，将步骤2的矩形事件相机输入通道压缩到一个维度中，并且将同时体现正负事件，则C＝2*(xU-xL)*(yU-yL)。
生成对应形状的全0值的二维张量后，将根据事件发生的时间以及位置对张量中的值进行置1处理，对于第j个样本中第k个事件，若为正事件则：
对于第j个样本中第k个事件，若为负事件则：
其中sj表示第j个样本数据，根据步骤3将所有事件数据均转化为脉冲神经网络可以读取的数据形式，形成旋转机械脉冲数据集；
步骤4：得到步骤3转化完成的旋转机械脉冲数据集后，将样本对应的标签与样本进行关联，构建旋转机械智能诊断数据集，并且将数据集划分为训练集与测试集/>其中lj表示样本sj对应的标签，Ntrain表示训练集的样本总数，Ntest表示测试集的样本总数；
步骤5：构建用于提取旋转机械脉冲数据特征的脉冲神经网络智能诊断模型，网络由两个线性网络层进行连接，并且在两个线性网络层之后均设置了LIF脉冲神经元层，用于接收并且继续向后输出脉冲信号；第一个线性层的输入输出维度分别为(Vinput，Vhidd)，第二个线性层的输入输出维度分别为(Vhidde，Voutput)，其中Vinput为原始样本的总通道数，Vhidden为隐藏层通道数，Voutput为输出类别数；
步骤6：将步骤4获得的旋转机械智能诊断数据集送入步骤5构建的脉冲神经网络智能诊断模型进行深层特征提取；旋转机械脉冲数据首先通过线性层，将对应输入脉冲序列求和后再送入之后的LIF神经层进行脉冲特征提取：
其中t代表时间步长，τ为时间常数，u和Os分别代表LIF神经元的膜电位以及输出，ur1为LIF神经元膜静息电位，ur2为LIF神经元膜重置电位，ωm是第m个突触的权重，Tω为积分时间窗口，是当第m个突触的第n个脉冲在Tω窗口内所激发的时刻，K(·)代表延时核函数，uth是点火阈值；经过两个线性层以及LIF神经元层后，即可获得深层旋转机械健康状态脉冲数据表征；
步骤7：如图2所示，采用步骤6获得的深层旋转机械健康状态脉冲数据表征与样本对应的标签数据计算均方误差损失，并且通过损失函数更新对应的模型参数：
其中LMsE是均方误差损失函数，Ot为脉冲神经网络最后一层输出的脉冲序列，L为标签序列，表示第p层网络的的第m个突触在时间步长t时的脉冲输出，/>表示第p层网络的的第m个突出在时间步长t时的膜电位，/>代表第p层网络的第m个突触的第n个脉冲权重的梯度，得到每层网络权重的梯度后即可反向更新网络层的所有参数；
步骤8：重复执行步骤6以及步骤7迭代优化旋转机械智能诊断模型，直至训练完成，得到最终脉冲神经网络智能诊断模型；
步骤9：将未做标签的测试集输入已经训练完成的最终脉冲神经网络智能诊断模型，即可输出对应数据所属的健康状态标签。
实施例：以旋转机械设备中的滚动轴承为案例，基于滚动轴承实验数据，对本发明方法的有效性进行验证。
使用的事件相机型号为Prophesee 3.1版本事件相机，共采集了两类滚动轴承的健康状态信息，包括正常工作以及内圈故障，滚动轴承的运行工况是2500rpm，事件相机的基本参数如表1所示，采用事件相机采集滚动轴承的健康状态信息，采集后的数据针对目标区域进行区域筛选，筛选框为一个30×30像素大小的矩形框，筛选后的数据进过预处理后将划分为训练集与测试集，划分样本的时间步骤设置为1000，单个时间步骤的持续时间长度为1ms，数据集中训练集共1000个样本，两类样本每类各500个，测试集共200个样本，两类样本每类各100个。
表1实施例所用的事件相机参数
数据集处理完毕后，送入设计的脉冲神经网络智能诊断模型进行训练，脉冲神经网络的输入层通道数为1800，隐藏层通道数为64，输出层的通道数为4；训练扩散模型的基础参数如下：训练小批量为64，训练总次数为200次；损失函数为MSE损失函数函数，优化方法采用小批量梯度下降方法，优化器采用Adam优化器；脉冲神经网络智能诊断模型在每一次小批量迭代完毕时，都将获得深层滚动轴承健康状态脉冲数据表征，并且将根据样本对应的标签计算MSE损失，最后根据损失值更新模型参数，直至训练迭代完成后即可获得最终脉冲神经网络智能诊断模型；获得最终脉冲神经网络智能诊断模型后，即可使用该模型对事件相机输出的诊断脉冲数据进行诊断。
实验在测试集下进行了五次，以尽可能排除深度学习随机性的影响，实验结果如表2所示。跟据五次实验的结果可以得出，每次实验的精度均可以达到94％以上，五次实验的平均精度可以达到94.4％，最高精度可以达到95％。
表2不同方法的诊断结果对比
通过表2的实验结果，可以证明完全采用事件相机以及脉冲神经网络进行旋转机械的故障诊断是可行的，本发明完善了类脑计算式的深度学习方法在旋转机械故障诊断中的应用流程，为智能诊断模型在边缘计算硬件上的部署提供了思路，提升了智能故障诊断模型的工程实用性。
Claims (6)
1.一种基于动态视觉与类脑计算的非接触式故障诊断方法，其特征在于，包括以下步骤：
步骤1：采用事件相机采集旋转机械在规定时间T内的健康状态信息，即原始事件流数据；
步骤2：对事件相机采集的原始事件流数据进行ROI区域筛选，得到目标区域事件流；
步骤3：将目标区域事件流转化为脉冲神经网络读取的脉冲数据；
步骤4：得到步骤3转化完成的旋转机械脉冲数据集后，将样本对应的标签与样本进行关联，构建旋转机械智能诊断数据集，并且将数据集划分为训练集与测试集/>其中lj表示样本sj对应的标签，Ntrain表示训练集的样本总数，Ntest表示测试集的样本总数；
步骤5：构建用于提取旋转机械脉冲数据特征的脉冲神经网络智能诊断模型，网络由两个线性网络层进行连接，并且在两个线性网络层之后均设置了LIF脉冲神经元层，用于接收并且继续向后输出脉冲信号；第一个线性层的输入输出维度分别为(Vinput,Vhidden)，第二个线性层的输入输出维度分别为(Vhidden,Voutput)，其中Vinput为原始样本的总通道数，Vhidde为隐藏层通道数，Voutput为输出类别数；
步骤6：将步骤4获得的旋转机械智能诊断数据集送入步骤5构建的脉冲神经网络智能诊断模型进行深层特征提取；
步骤7：采用步骤6获得的深层旋转机械健康状态脉冲数据表征与样本对应的标签数据计算均方误差损失，并且通过损失函数更新对应的模型参数；
步骤8：重复执行步骤6以及步骤7迭代优化旋转机械智能诊断模型，直至训练完成，得到最终脉冲神经网络智能诊断模型；
步骤9：将未做标签的测试集输入已经训练完成的最终脉冲神经网络智能诊断模型，输出对应数据所属的健康状态标签。
2.根据权利要求1所述的方法，其特征在于，所述的步骤1具体为：
事件流中的事件按事件发生的时间顺序进行储存，事件流表示为：
其中E表示规定时间T内事件相机采集的所有事件信号，ei表示第i个发生的事件，NT表示在规定时间T内事件相机所记录区域发生的事件总数；事件流E由单个事件ei组成，单个事件ei表示为：
ei＝(ti,xi,yi,pi)
其中ti表示第i个事件发生的时间，xi表示第i个事件发生的位置在横坐标上相对于事件相机坐标原点像素距离，yi表示第i个事件发生的位置在纵坐标上相对于事件相机坐标原点像素距离，pi表示第i个事件的极性，分别为0和1，当pi为0时，代表该事件为一个负事件，即在ti时刻，在相对于事件相机坐标原点的(xi,yi)位置发生了亮度减小的事件，且该位置亮度减小的程度超过了事件相机的阈值；当pi为1时，代表该事件为一个正事件，即在ti时刻，在相对于事件相机坐标原点的(xi,yi)位置发生了亮度增大的事件，且该位置亮度增大的程度超过了事件相机的阈值。
3.根据权利要求1所述的方法，其特征在于，所述的步骤2具体为：
针对步骤1中事件相机采集的原始事件流数据，选定一个设置范围的矩形区域作为筛选边界，并且将矩形区域外的所有事件全部舍去，只保留矩形区域内的事件；由步骤1获得的原始事件流数据表示为其中单个事件相对于事件相机坐标原点的位置表示为(xi,yi)，原始事件流中事件发生的矩形区域范围表示为：
其中xc为事件相机所能采集事件相对于事件相机坐标原点的最大横向像素距离，yc为事件相机所能采集事件相对于事件相机坐标原点的最大横向像素距离；采用矩形区域进行区域筛选后，事件发生的矩形区域范围表示为：
其中xL与yL为所设置的矩形区域的下边界值，其中xU与yU为所设置的矩形区域的上边界值，经过矩形区域筛选后的事件流表示为：
其中EROI表示经过矩形区域筛选后的事件流，NROI表示经过矩形区域筛选后的事件总数。
4.根据权利要求1所述的方法，其特征在于，所述的步骤3具体为：
对于步骤2获得的经过矩形区域筛选后的事件流EROI，取相同时间间隔的事件流作为单个样本，获得每个样本所需得事件流；设置单个样本的持续时间为ts，需要生成的样本总数为N0，则所有样本所需要事件流的总时间长度为T0＝ts*N0，第j单个样本所需的事件流表示为：
其中Ej表示获得第j个样本所需的事件流，Nj表示在该样本的持续时间ts内发生的事件总数；第j个样本中的第k个事件表示为：
其中表示第j个样本中第k个事件发生的时间，(xi,yi)表示第j个样本中第k个事件发生的位置，pi表示第j个样本中第k个事件的极性，其中/>需要满足：
获得每个样本所需得事件流后，将其转化为脉冲神经网络读取的数据形式，将每个样本表示为一个拥有两个维度的张量，其中张量的第一个维度表示事件的时间信息，第二个维度表示事件的空间信息；对于第j个样本，首先生成对应形状的全0值的二维张量，张量的形状为(Nsteps,C)，其中Nsteps为时间步骤，C为尖峰输入通道数目，将步骤2的矩形事件相机输入通道压缩到一个维度中，并且将同时体现正负事件，则C＝2*(xU-xL)*(yU-yL)；
生成对应形状的全0值的二维张量后，将根据事件发生的时间以及位置对张量中的值进行置1处理，对于第j个样本中第k个事件，若为正事件则：
对于第j个样本中第k个事件，若为负事件则：
其中sj表示第j个样本数据，将所有事件数据均转化为脉冲神经网络读取的数据形式，形成旋转机械脉冲数据集。
5.根据权利要求1所述的方法，其特征在于，所述的步骤6具体为：
旋转机械脉冲数据首先通过线性层，将对应输入脉冲序列求和后再送入之后的LIF神经层进行脉冲特征提取：
其中t代表时间步长，τ为时间常数，u和Os分别代表LIF神经元的膜电位以及输出，ur1为LIF神经元膜静息电位，ur2为LIF神经元膜重置电位，ωm是第m个突触的权重，Tω为积分时间窗口，是当第m个突触的第n个脉冲在Tω窗口内所激发的时刻，K(·)代表延时核函数，uth是点火阈值；经过两个线性层以及LIF神经元层后，即获得深层旋转机械健康状态脉冲数据表征。
6.根据权利要求1所述的方法，其特征在于，所述的步骤7具体为：
其中LMSE是均方误差损失函数，Ot为脉冲神经网络最后一层输出的脉冲序列，L为标签序列，表示第p层网络的的第m个突触在时间步长t时的脉冲输出，/>表示第p层网络的的第m个突出在时间步长t时的膜电位，/>代表第p层网络的第m个突触的第n个脉冲权重的梯度，得到每层网络权重的梯度后反向更新网络层的所有参数。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843067.0A CN116843662A (zh) | 2023-07-10 | 2023-07-10 | 一种基于动态视觉与类脑计算的非接触式故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843067.0A CN116843662A (zh) | 2023-07-10 | 2023-07-10 | 一种基于动态视觉与类脑计算的非接触式故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843662A true CN116843662A (zh) | 2023-10-03 |
Family
ID=88161420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310843067.0A Pending CN116843662A (zh) | 2023-07-10 | 2023-07-10 | 一种基于动态视觉与类脑计算的非接触式故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843662A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117232638A (zh) * | 2023-11-15 | 2023-12-15 | 常州检验检测标准认证研究院 | 机器人振动检测方法及系统 |
-
2023
- 2023-07-10 CN CN202310843067.0A patent/CN116843662A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117232638A (zh) * | 2023-11-15 | 2023-12-15 | 常州检验检测标准认证研究院 | 机器人振动检测方法及系统 |
| CN117232638B (zh) * | 2023-11-15 | 2024-02-20 | 常州检验检测标准认证研究院 | 机器人振动检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149316B (zh) | 基于改进的cnn模型的航空发动机剩余寿命预测方法 | |
| CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
| CN112629863B (zh) | 变工况下动态联合分布对齐网络的轴承故障诊断方法 | |
| CN106124212B (zh) | 基于稀疏编码器和支持向量机的滚动轴承故障诊断方法 | |
| CN108304927A (zh) | 基于深度学习的轴承故障模式诊断方法及系统 | |
| CN111523081B (zh) | 一种基于增强门控循环神经网络的航空发动机故障诊断方法 | |
| CN108960077A (zh) | 一种基于循环神经网络的智能故障诊断方法 | |
| CN112084974A (zh) | 一种基于元学习的多标签滚动轴承故障诊断方法 | |
| CN107341504A (zh) | 一种基于时序数据流行学习的机械设备故障诊断方法 | |
| CN116843662A (zh) | 一种基于动态视觉与类脑计算的非接触式故障诊断方法 | |
| CN110008898A (zh) | 基于符号和卷积神经网络的工业设备数据边缘处理方法 | |
| CN113567131A (zh) | 基于s变换与微型卷积神经网络模型的轴承故障诊断方法 | |
| CN113392881A (zh) | 一种基于迁移学习的旋转机械故障诊断方法 | |
| Huang et al. | Deep residual networks-based intelligent fault diagnosis method of planetary gearboxes in cloud environments | |
| CN112508242A (zh) | 一种风力发电机轴承故障定位及分类模型的构建方法 | |
| CN110307981B (zh) | 基于pnn-ifa的轴承故障诊断方法 | |
| CN115146842A (zh) | 基于深度学习的多元时间序列趋势预测方法和系统 | |
| CN114897138A (zh) | 基于注意力机制和深度残差网络的系统故障诊断方法 | |
| CN110728377A (zh) | 一种面向机电设备的智能故障诊断方法及系统 | |
| CN107016440B (zh) | 机械传动故障的多分辨率深度神经网络智能诊断方法 | |
| Kumar et al. | Knowledge addition for improving the transfer learning from the laboratory to identify defects of hydraulic machinery | |
| CN114152442A (zh) | 基于迁移卷积神经网络的滚动轴承跨工况故障检测方法 | |
| CN117592543A (zh) | 一种基于自监督学习的航空发动机滚动轴承故障诊断方法 | |
| CN116861343A (zh) | 一种轴承故障诊断方法 | |
| CN116070128A (zh) | 一种基于对比自监督学习的时间序列设备故障诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |