CN115293212A - 一种基于音频感知和数字孪生的设备运行状态监测方法 - Google Patents
一种基于音频感知和数字孪生的设备运行状态监测方法 Download PDFInfo
- Publication number
- CN115293212A CN115293212A CN202210973504.6A CN202210973504A CN115293212A CN 115293212 A CN115293212 A CN 115293212A CN 202210973504 A CN202210973504 A CN 202210973504A CN 115293212 A CN115293212 A CN 115293212A
- Authority
- CN
- China
- Prior art keywords
- signal
- sound source
- matrix
- sound
- doa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008447 perception Effects 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 49
- 238000001228 spectrum Methods 0.000 claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 230000005236 sound signal Effects 0.000 claims abstract description 27
- 238000000926 separation method Methods 0.000 claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000000227 grinding Methods 0.000 description 59
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
- G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Biophysics (AREA)
Abstract
本发明公开了一种基于音频感知和数字孪生的设备运行状态监测方法，包括：首先基于自回归模型AR的卡尔曼滤波结合的QLKF滤波算法对设备音频信号进行在线滤波降噪，通过特征值分布法估计设备音频信号中的声源个数，使用非负矩阵分解解卷积算法将混合信号进行盲分离，对分离得到的声源信号通过ISM算法进行波达方向角DOA估计，对摄像头进行标定，获得其内、外参矩阵，结合摄像头采集图像信息将环境中声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合，通过分类网络实现对设备声源信号状态的分类，并通过数字孪生技术显示。该方法解决了多声源情况下的设备声源定位与状态监测。
Description
技术领域
本发明涉及设备状态声学监测技术领域，更具体的涉及一种基于音频感知和数字孪生的设备运行状态监测方法。
背景技术
设备在运行过程中通常会在多个位置产生声信号，而当设备声学监测信号中存在多个声源时，各声源的位置信息以及其与设备运行状态之间的联系往往十分关键，但是目前的声学监测技术的研究大多都仅仅集中于设备声学信号的特征提取与分类上，对这方面的研究却少见相关的报道。在面对大型复杂机械设备进行监测时，往往会因缺乏设备声源信号的具体位置信息导致故障位置无法确定，从而影响设备后续的故障排查与维护。
目前的设备数字孪生监测的系统应用、框架和软件体系仍处在概念或理论研究阶段。对于需要实现信号数据高速采集、传输与处理情形下的设备数字孪生监测系统的研究在现阶段仍然比较欠缺。
目前针对设备声学状态监测与设备数字孪生监测的研究取得了诸多研究成果，但同时也存在一些遗留问题亟待解决其包括：
1.在复杂噪声背景多声源情况下，设备音频信号降噪效果不理想，无法实现声源的准确定位；
2.对设备运行状态监测无法实时动态的直观展示。
发明内容
本发明实施例提供一种基于音频感知和数字孪生的设备运行状态监测方法，包括：
降噪处理设备声学监测信号，获得多声源混合信号；
采用非负矩阵分解解卷积NMFD算法将多声源混合信号进行盲源分离；
对分离得到的各个声源信号通过ISM算法进行波达方向角DOA估计，获各个声源的DOA角度谱；
将各个声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合，获得空间中声源所在位置；
采用分类网络对空间中声源分类，获得分类后的设备声学监测信号；
构建设备的数字孪生体，在数字孪生体中显示设备运行时声源位置、种类的监测信息。
优选地，采用强化学习与基于自回归AR模型的卡尔曼滤波结合的QLKF滤波算法对设备声学监测信号进行在线滤波降噪，获得多声源混合信号，其步骤包括：
输入信号数据，进行平稳性检验；
对信号时间序列进行分段建模，包括模型识别与模型参数的计算，建立信号的ARp模型；
将ARp模型转化为离散系统状态空间模型；
卡尔曼滤波状态空间模型初始化：
参数初始化：Agent状态s←s0，Q(s,a)←0，回报函数r←0；
基于ε-贪婪策略选择当前状态s对应的动作a；
执行动作a并获得下一个状态s'；
执行第一卡尔曼滤波算法KF1：
执行第二卡尔曼滤波算法KF2：
更新累积回报：
基于贪婪策略更新值函数：
执行状态转移：s←s'；
重置回报：r←0；
重置第二卡尔曼滤波算法KF2状态估计值与估计均方差：
输出滤波结果
优选地，还包括采用特征值分布法估计多声源混合信号中的声源个数，当声源个数大于1时，采用非负矩阵分解解卷积NMFD算法将多声源混合信号进行盲源分离，其包括：
输入经过降噪处理的环境音频阵列信号数据，计算阵列信号自相关矩阵R；
将信号自相关矩阵R进行特征值分解，将所得的特征值进行降序排列得到λ1,λ2,…,λn；
求取相邻特征值的最大下降速率δε＝max{δ1,δ2,…,δM-1}，得到信号源个数估计值ε，如果ε>1，执行基于NMFD算法的盲源分离：
将信号进行短时傅里叶变换变换到频域得到初始混合矩阵V0，并计算其功率谱值V'；
随机初始化非负矩阵W与H，将V',W和H代入以下公式所示的更新规则中：
式中：⊙为Hadamard矩阵；V代表重构的非负矩阵；1表示中所有元素均为1的矩阵，当目标函数小于设定的阈值时算法收敛退出，得到编码矩阵H即为分离得到的源信号S。
通过更新得到的W和H，得到K-L散度E：
持续迭代更新，直到E小于设定的收敛阈值后停止，得到最终的Wfinal和Hfinal；
令
根据信号初始混合矩阵V0的恢复
的相位得到
对
进行短时傅里叶逆变换得到分离信号。
优选地，将各个声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合，获得空间中声源所在位置，包括：
对盲源分离得到的声源阵列信号通过ISM算法进行波达方向角DOA估计，获得环境中声源的DOA角度谱；
将声源的DOA角度谱转换到三维坐标空间得到声源的DOA空间谱；
根据摄像机内外参矩阵将声源的DOA空间谱转换到像素坐标系下得到声源的DOA像素谱；
将声源的DOA像素谱与摄像机拍摄的环境图像进行半透明叠加，从而实现声源的定位成像。
优选地，根据摄像机内外参矩阵将声源的DOA空间谱转换到像素坐标系下得到声源的DOA像素谱，包括：
输入分离得到的各声源阵列信号X(t)，目标物与摄像头距离d，摄像头内参矩阵A与外参矩阵T；
划分频域带宽fband与频域快拍数J，将单声源阵列信号进行短时傅里叶变换得到信号时频域窄带分量Xk(fj)；
利用公式
求取信号频域分量间的互谱密度RX(fi)，并对每个子带的互谱密度矩阵进行特征分解；
根据分解的特征值划分信号子空间US＝[u1,u1,…,uP]与噪声子空间Un(fi)＝[uP+1,…,uM]；
信号子空间与噪声子空间的正交性构造声源的DOA空间谱，并根据公式X(f)＝A(f,θ)S(f)+N(f)求得所有子带空间平均空间谱P(θ)；
通过寻找P(θ)曲线的波峰确定第i个声源的DOA估计结果θi和
根据θi,
与d通过公式Dk＝d确定声源空间谱位置三维坐标pw；
结合摄像头内、外参矩阵A,T通过公式k＝(DTD)-1DTd确定声源DOA空间谱P(θ)对应的像素坐标pu；
根据pu与P(θ)生成DOA估计结果在像素坐标下的像素谱矩阵Pu(θ)。
优选地，分类网络，包括：
在SSAE自编码器网络中的最上层的自编码器的隐藏层与softmax层进行堆叠，将softmax层作为输出层，构建用于分类的堆叠自编码器网络，其中，softmax分类器使用Logistic回归对数据进行分类。
优选地，还包括对分类网络的训练，其包括：
将不同运行状态的磨床音频数据进行分组，构造训练集和测试集，同时设置相应的标签。将无标签训练集作为输入，完成编码和解码，得到第1个隐藏层输出；
以当前自动编码器的隐藏层作为下一层稀疏自动编码器的输入，并进行归一化操作，逐层使用重构误差训练网络参数，直到所有隐藏层全部训练完成；
用上一步的输出作为多分类器softmax的输入，然后利用训练集标签来训练出softmax分类器的网络参数；
计算隐藏层与softmax分类器的损失函数，利用训练集标签对整个网络进行微调；
利用训练好的网络模型对测试集进行分类测试，输出分类结果，验证本方法的有效性。
优选地，构建被监测设备的数字孪生体，包括：
采用SolidWorks软件与3dsMax软件协作建模的方式完成被监测设备的3D建模与模型渲染；
利用Unity3D作为数字孪生监测的软件实现平台，编写C#脚本连接MySQL数据库获取被监测设备状态信息，构建数字孪生体。
本发明实施例提供一种基于音频感知和数字孪生的设备运行状态监测方法，与现有技术相比，其有益效果如下：
1、针对传统的设备监测方案，提出了基于数字孪生技术与声学信号监测相结合的设备运行状态监测方法，实现了在非接触式条件下对设备进行立体、实时动态的可视化监测。
2、结合Netty、Kafka与Spark Streaming构建了基于云边端架构的流式音频信号感知、传输与处理系统，并将其应用到了设备运行状态的实时监测。
3、将AR建模与Q-learning强化学习算法与卡尔曼滤波相结合，克服了传统卡尔曼滤波由于对滤波系统对象数学模型不明确以及时变随机噪声造成的滤波精度下降的问题，实现了噪声自适应的卡尔曼滤波降噪算法。
附图说明
图1为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法流程图；
图2为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法监测设备数字孪生平台结构图；
图3为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床不同工作状态音频信号波形图；
图4为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床音频信号降噪结果；
图5为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的经过SSAE训练前后数据集的特征三维可视化结果；
图6为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的Kafka消息队列接收的磨床音频信号数据；
图7为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的Spark Streaming程序输出结果；
图8为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的声源定位成像结果；
图9为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的Spark Streaming程序输出结果；
图10为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床状态信息equip_info数据表结构；
图11为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床状态信息equip_info数据表局部内容；
图12为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床工作状态指示灯效果图；
图13为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床数字孪生监测界面按钮效果图；
图14为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床数字孪生监测系统登录界面；
图15为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床数字孪生第一状态监测结果；
图16为本发明实施例提供的一种基于音频感知和数字孪生的设备运行状态监测方法的砂轮磨床数字孪生第二状态监测结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1～16，本发明实施例提供一种基于音频感知和数字孪生的设备运行状态监测方法，该方法包括：
对设备运行过程产生的声学信号进行分析处理与信号分类是实现设备状态声学监测的重要环节。本发明设计了对设备声学监测信号的处理算法。首先利用强化学习与基于自回归(AR)模型的卡尔曼滤波结合的QLKF滤波算法对设备音频信号进行在线滤波降噪。通过特征值分布法估计设备音频信号中的声源个数，使用非负矩阵分解解卷积(NMFD)算法将混合信号进行盲分离。对分离得到的声源信号通过ISM算法进行波达方向角(DOA)估计。根据张正友标定法对摄像头进行标定，获得其内、外参矩阵，结合摄像头采集图像信息将环境中声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合，实现多声源定位并成像。最后通过堆叠式稀疏自动编码器(Stacked Sparse AutoEncoder，SSAE)与softmax分类器堆叠而成的分类网络实现对设备声源信号状态的分类，完成设备健康状态监测的信号处理。
Step1、基于AR模型的QLKF降噪算法
标准的卡尔曼滤波需要在精确的系统模型和噪声统计特性的基础上才能获得理想的滤波效果，而在设备健康状态声学监测系统的实际工程应用中，一方面由于机械设备所处的复杂生产环境与其自身不确定性的因素存在，使得我们建立的数学模型往往不够准确，从而无法真实反映实际的物理过程；另一方面麦克风传感器等测量设备自身存在的器件误差会导致量测系统误差的不确定性，从而导致滤波精度降低，甚至导致滤波器发散。
本发明利用Q-learning强化学习方法自适应地对Kalman滤波中系统噪声与量测噪声方差进行调整，提出一种基于AR模型与Q-learning强化学习算法的卡尔曼滤波(QLKF)降噪算法用于设备声学监测信号在线降噪。
首先需要对传感器采集的信号进行去除均值、趋势项等干扰，接着对信号时间序列进行平稳性检验，若不满足平稳性则需要对信号进行分段处理，分段长度的选择需以满足短时平稳的要求为准，然后对信号进行模型识别与参数估计，建立信号的AR(p)模型。算法具体流程如表1所示：
表1基于AR模型的QLKF算法流程
Step2、多声源混合信号分离
在实际工厂生产环境下，麦克风传感器采集到的机械设备运行时信号多数情况下都为多个声源的混合信号，并且随着设备运行状态的改变，设备中发声源的数量和位置都在发生变化，因此，首先需要对信号进行信号源数量的估计，若存在多个信号，则需要将各声源的信号从混合信号中进行分离提取。
Step2.1、基于特征值分布的声源个数估计
实现声源个数的准确估计是进行混合信号盲源分离的前提，信号矩阵的特征值中蕴含着信号的主成分特征信息，本文根据特征值分布法估计空间中的声源数量。将麦克风阵列接收到的多通道观测信号矩阵形式表示为：
Y(t)＝[y1(t),y2(t),…,yM(t)]T (1)
式中：yi(t)为阵列中第i个麦克风在t时刻采集的信号；M为麦克风的数量。
求得阵列信号的自相关矩阵：
R＝E[Y(t)Y(t)H] (2)
式中：Y(t)H表示信号Y(t)的共轭转置。
将自相关矩阵R进行特征值分解得到其特征值并将所有特征值进行降序排列可得：
λ1≥λ2≥…≥λn＝λn+1＝…＝λM＝σ2I (3)
其中：自相关矩阵R包含n个主特征值，剩余的为残余噪声特征值，σ2是残余噪声功率，I为单位矩阵。
将信号主特征值归类为占优特征值，噪声特征值对应为非占优特征值，根据特征值分布的特征，这两者的值之间一般存在较大的差异，可以据此区分信号成分与残余噪声成分，最后根据相邻特征值的最大下降速率来确定占优特征值的个数：
δε＝max{δ1,δ2,…,δM-1} (4)
其中：δn＝λn/λn+1表示第n个特征值与第n+1个特征值比值的下降速率。
由此可求得信号源的个数k的估计值如下：
Step2.2、基于NMFD算法的信号盲分离
当声源数量估计值大于1时，需要对采集到的多个声源混合信号进行分离，使用非负矩阵解卷积(NMFD)算法对信号进行盲源分离。
非负矩阵分解(Nonnegative matrix factorization,NMF)最早由Lee和Seung等人提出，该算法要求待分解矩阵所有元素均为非负的数值，这种特性与多源混合信号的混合矩阵相一致，因此NMF算法被应用于混合信号的盲分离提出了一种新的解决办法。然而NMF只适用于线形瞬时混合情形下的信号盲源分离，当信号为卷积混合时却无能为力。
设备运行时声音信号由于受周围密闭生产环境的影响，会有比较大的混响，麦克风传感器采集到的多声源信号属于卷积混合信号。针对此问题，本发明采用非负矩阵分解解卷积(NMFD)算法进行信号的分离，NMFD通过STFT变换获得混合信号的时频域信息作为非负矩阵的输入，反复迭代分解得到的两个非负矩阵，然后添加相位信息转换为复数形式后通过短时傅里叶逆变换(ISTFT)变换得到分离结果。
NMFD算法可具体描述为：针对一个非负矩阵V∈Rm×n，寻找一组非负矩阵和满足如下关系：
式中：W(τ)∈R≥0,m×R为基矩阵；
为编码矩阵，τ为时延分量；T为卷积滤波器的阶数；
操作表示将矩阵列向量右移τ列后补0。
具有m个阵元的麦克风阵列接收到环境中n个声源S(t)的卷积混合信号观测信号X(t)，其数学模型可描述为如下形式：
式中：其中卷积混合矩阵的混合系数aij(i＝1,2,…,m；j＝1,2,…,n)为系数向量，如下所示：
aij＝[aij(0),aij(1),…,aij(T-1)] (8)
式中：T为卷积滤波器的阶数。
可将卷积混合信号公式简化为：
式中：A(τ)为混合矩阵；S为源信号。比较公式(6)与公式(9)可得：NMFD算法求得的基矩阵W(τ)对于混合矩阵A(τ)，编码矩阵H对应源信号S。
非负矩阵解卷积的目标为寻找矩阵W与H使得尽可能逼近V。目标函数为K-L散度，此时目标矩阵的求解转换为如下所示的优化问题：
每次迭代过程中，对每一个τ都要更新W与H使用梯度下降法更新基矩阵与编码矩阵并计算最优解，更新公式如下：
式中：⊙为Hadamard矩阵；1表示中所有元素均为1的矩阵，当目标函数小于设定的阈值时算法收敛退出，得到编码矩阵H即为分离得到的源信号S。
3.多声源混合信号盲分离算法流程
将经过降噪处理的声学监测信号首先进行信号源个数估计，当估计出的信号源个数大于1时，利用NMFD算法对混合信号进行分离。多声源混合信号盲分离算法流程如表2所示：
表2多声源混合信号盲分离算法流程
Step3、声源定位与成像
将ISM算法估计得到的DOA角度谱转换到三维坐标空间得到DOA空间谱，进而根据摄像机内外参矩阵将DOA空间谱转换到像素坐标系下得到DOA估计结果像素谱，即每个像素对应的DOA估计谱值，最后将其与摄像机拍摄的环境图像进行叠加，从而实现声源信号的定位与成像。算法具体流程如表3所示：
表3声源定位成像算法流程
Step4、设备声源信号状态判断与分类
实现设备声源信号的状态分类是设备健康状态监测系统中的重要环节，利用堆叠式稀疏自编码器(SSAE)对砂轮磨床设备运行时产生的音频信号的特征进行多层逐步抽象与降维，并以softmax分类器作为输出层进行分类，从而实现砂轮磨床在空程、磨削、碰撞状态下的音频信号分类与判别。
本发明选择softmax分类器进行训练分类。在SSAE自编码器网络中的最上层的自编码器的隐藏层与softmax层进行堆叠，将softmax层作为输出层以形成用于分类的堆叠自编码器网络。softmax分类器使用Logistic回归对数据进行分类，通过扩展Logistic回归具备了执行多类分类的能力，Logistic回归类似于线性回归，可表示为如下形式：
式中：hθ(x)表示y＝1的概率；θ是模型参数。
softmax回归模型将传统的Logistic回归推广到多元回归模型，通过堆叠自编码器网络中对参数θ不断的逐层优化使softmax回归模型损失函数达到最小，其损失函数表达式如下：
式中：1{y(i)＝j}为指示性函数；表示当y(i)分类结果为j时取值为1，否则为0。
对砂轮磨床设备在不同状态运行时的音频信号进行分类识别，采集多组不同状态下的信号作为训练数据集，利用本节提出的堆叠自动编码器网络模型逐层对数据集进行无监督的预训练，逐步抽取分类特征，然后将得到的特征向量输入softmax分类模型进行有监督的训练，最后针对模型进行整体微调，具体步骤如下所示：
1、将不同运行状态的磨床音频数据进行分组，构造训练集和测试集，同时设置相应的标签。将无标签训练集作为输入，完成编码和解码，得到第1个隐藏层输出；
2、以当前自动编码器的隐藏层作为下一层稀疏自动编码器的输入，并进行归一化操作，逐层使用重构误差训练网络参数，直到所有隐藏层全部训练完成；
3、用步骤2的输出作为多分类器softmax的输入，然后利用训练集标签来训练出softmax分类器的网络参数；
4、计算隐藏层与softmax分类器的损失函数，利用训练集标签对整个网络进行微调；
5、利用训练好的网络模型对测试集进行分类测试，输出分类结果，验证本方法的有效性。
Step5、设备监测的数字孪生实现方案
对数字孪生的关键技术进行分析，设计基于数字孪生的设备监测方案。采用SolidWorks软件与3dsMax软件协作建模的方式完成砂轮磨床设备的3D建模与模型渲染，利用Unity3D作为数字孪生监测的软件实现平台，编写C#脚本连接MySQL数据库获取设备状态信息，实现基于数字孪生技术的设备监测。
基于数字孪生仿真的数字模型需要在保证模型真实性的同时还必须符合建模对象的客观运行规则，包括其状态、动作行为和物理信息，从而能够客观真实的在虚拟空间中完成对设备的动态监测。本发明依据数字孪生建模准则采用多软件平台协作建模的方式，设计了设备数字孪生体监测的总体方案，设备数字孪生体总体设计方案流程如下图2所示：
(1)在SolidWorks软件中绘制各零部件的三维模型，再将各个零部件进行装配从而得到完整装配体3D模型，选择砂轮磨床设备作为系统监测对象，首先需要建立其3D模型。砂轮磨床设备实物图所示。由于砂轮磨床设备存在比较复杂的零部件结构，因此在建模的过程中，采取将设备分解为零部件后再分别建模的方案，从而强3D模型的整体细节效果，提高其逼真程度。
完成各个零部件的建模工作后，需要将这些零散的结构件添加装配关系，包括同心、同轴、点线面的重合、平行等等，从而构建出完整的装配体模型，最后将装配体模型导出为.wrl格式文件，便于在3dsMax软件中对模型进行进一步处理。
将装配体模型导入3dsMax软件进行模型轻量化处理、UV贴图与模型渲染增强模型的真实质感SolidWorks这样的机械建模软件与Unity3D这样的三维动画软件对特征识别的原理不同，前者是基于实体，将三维模型按照拉伸、旋转、放样、钻孔等一个个实体特征来识别，其组件均为实体特征；后者按照模型的表面特征来识别，仅识别模型经过网格化处理的顶点位置与三角面位置，其组件为网格文件而非实体，因此在用Unity3D进行动态仿真之前，需要对模型进行一定的优化处理，同时为了提高所建立模型的真实性，本发明利用3dsMax软件对模型进行表面材质、纹理贴图与模型渲染，最后将模型导出为Unity3D所需的格式。完成贴图后对模型进行渲染。将模型进行格式转换之后导入Unity3D搭建的环境场景中利用脚本连接数据库获取数据驱动模型执行相应的动作。
设备的数字孪生体需要通过数据驱动设备虚拟模型进行相应的动作运动，驱动设备数字孪生体模型的数据来源于MySQL数据库，因此需要建立Unity3D与MySQL数据库的连接，具体流程如下：
1、安装MySQL对应.NET驱动程序MySQL Connector/NET。
2、新建Unity3D工程。并向工程内的Plugins目录中导入连接MySQL所需的动态链接库文件,包括驱动Connector/NET中的MySql.Data.dll以及Unity安装目录下的I18N.dll、I18N.CJK.dll、I18N.West.dll文件。
3、编写C#脚本建立与MySQL数据库的连接。
根据数字孪生监测所需的驱动数据生成相应的仿真监测数据，在MySQL中创建数据表存储虚拟设备实时运行数据，最后利用生成的仿真监测数据驱动砂轮磨床虚拟模型进行动态仿真。
实施例：
砂轮磨床设备数字孪生声学监测应用测试
设计针对砂轮磨床设备的健康状态声学监测实验，以检验本发明所提出的设备监测方案的有效性。完成对砂轮磨床声源信号定位成像与状态分类测试。搭建了云-边-端架构的流式数据处理平台，对平台的数据采集与处理性能进行了测试。最后对砂轮磨床数字孪生体监测系统进行了测试，并编译发布为可在web页面进行浏览的webGL形式，实现了砂轮磨床运行状态的网络化在线监测。
基于数字孪生技术对砂轮磨床工作状态进行监测，实验过程主要分为两个部分。
第一部分：对磨床运行过程中的音频数据进行处理，从而得到砂轮磨床声源信号的信息的与磨床工作状态，这一部分包含两个阶段。1、磨床音频信号离线分析处理。利用麦克风传感器分别采集砂轮磨床在空程、正常磨削工作、磨削碰撞三种不同状态下的音频信号数据集，利用QLKF算法进行降噪，利用降噪后的信号构造训练样本集，训练堆叠稀疏自编码器(SSAE)分类网络；首先利用麦克风阵列采集砂轮磨床在上述三种不同状态下的音频信号。
利用自回归AR模型QLKF算法对信号进行降噪处理。收集多组3种磨床不同状态信号进行短时傅里叶变换得到信号时频谱，抽取其中100段频率构造训练样本集，样本初始维度为100。将训练样本集输入SSAE网络逐层进行训练，得到用于分类的高度抽象提取的信号特征，将训练样本集初始数据与经过SSAE逐层网络训得到的信号特征均利用流型学习(T-SNE)方法投影到三维空间进行可视化。
原始训练样本数据集经过降维之后三种类型数据分布较为散乱，且存在相互混杂的样本，经过SSAE网络特征提取之后，SSAE网络输出特征降维结果显示同类的数据特征显示出了维度聚集，表现出了明显的可分性，为进一步磨床运行声源信号的状态分类提供了依据。
2、使用本发明设计的流式数据处理平台将麦克风阵列采集到的音频数据流进行实时在线处理。
利用云边端架构下的流式音频处理平台对磨床音频信号进行实时处理。首先通过本发明构建的流式数据传输通道将磨床音频信号数据流进行传输。数据采集终端上的麦克风阵列采集砂轮磨床运行时的音频信号，并以16进制字符串的形式通过边缘计算平台上运行的Netty服务端程序发送到云平台上的Netty客户端程序，Netty客户端再将数据流推送到Kafka集群中指定Topic的消息队列中。
利用SparkStreaming设计流式数据处理程序对磨床音频信号数据流进行处理，监测到砂轮磨床处于不同状态阶段下的SparkStreaming程序的输出结果如下：
从上述几幅图中显示的Spark Streaming程序的输出结果来看，本发明设计的流式数据处理程序能够比较及时的对砂轮磨床的状态做出判断，同时可实现磨床声源位置的可视化成像结果，并得到磨床音频信号的实时信息，包括声源数量、位置与信号分类结果。Spark Streaming程序的实时处理结果存入MySQL数据库。在MySQL中创建数据表equip_info用于存储磨床实时状态信息。
将Spark Streaming程序输出的砂轮磨床运行状态信息结果存储至MySQL数据库中的equip_info表中。
在equip_info数据表中将sign_id字段设为主键作为某一时刻磨床音频信号流片段的唯一标识，设置sign_num字段磨床存储音频信号中信号源个数，sign_state字段存储磨床当前工作状态，angle_x与angle_y字段分别存储音频信号中声源相对麦克风X方向与Y方向阵列的入射角，curtime字段存储当前时间。
第二部分：构建砂轮磨床数字孪生体，基于Unity3D软件环境连接MySQL数据库中的磨床运行状态数据驱动磨床数字孪生体实现对砂轮磨床物理实体的动态跟踪。本实验使用SolidWorks建立磨床设备的3D模型，利用3dsMax软件对砂轮磨床3D模型进行轻量化处理，并对模型进行材质贴图渲染后导出；利用Unity3D作为数字孪生仿真引擎工具将模型导入场景中，连接MySQL数据库，从equip_info数据表中根据时间戳curtime字段获取砂轮磨床设备运行状态相关数据，建立数据与模型的通信，对磨床设备虚拟模型进行驱动。使用Unity3D的GUI界面系统进行砂轮磨床综合状态信息的展示，新建C#脚本，并向其中添加GUI类中的label标签，并将脚本文件绑定至Unity3D中的camera组件中实现GUI界面展示设备的状态与声源位置等数据。在砂轮磨床数字孪生监测场景中添加磨床工作状态指示灯，在场景中创建3个球形对象模型作为指示灯主体，并为三个指示灯模型分别创建各自的材质球，设置金属平滑度与反射率模拟指示灯表明材质，新建另一组材质球添加Emission属性，模拟指示灯发光效果，完成磨床数字孪生体工作指示灯。
添加数据源选择按钮、模型激活与复位按钮控制磨床数字孪生体监测系统的驱动数据来源以及数字孪生体的激活状态。
将砂轮磨床数字孪生监测系统Unity3D工程打包为WebGL形式，将Unity3D项目以JavaScript程序形式发布使用HTML5技术和WebGL渲染API，实现在web网页浏览器中运行。在云平台服务器中安装Tomcat作为web服务器，将打包好webGL文件部署至tomcat服务器中webapp目录下完成项目部署，并向砂轮磨床数字孪生监测系统中添加登录界面，输入正确的用户名和密码即可跳转至监测系统主页面。
启动Tomcat服务器，在局域网环境下通过浏览器访问服务器ip+端口号(8080)+项目名称文件夹下的index.HTML即可访问砂轮磨床数字孪生状态监测系统。
输入用户名与密码进入砂轮磨床数字孪生监测界面，点击数据源选择按钮连接后台服务器中MySQL数据库的磨床设备状态信息表equip_info，获取相应的数据驱动模型对砂轮磨床工作状态进行实时监测。
从上述图片显示的不同时刻下的监测结果表明，本发明设计的磨床数字孪生监测系统实现了在数字空间中对磨床运行状态进行实时、动态的监测，并且对磨床运行过程中产生的声源数量、方位信息实现了实时监控与可视化显示，验证了设备数字孪生声学监测系统的有效性与实用性。
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。
Claims (8)
1.一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，包括：
获取设备不同运行状态下多声源混合信号；
采用非负矩阵分解卷积NMFD算法将多声源混合信号进行盲源分离；
对分离得到的各个声源信号通过ISM算法进行波达方向角DOA估计，获各个声源的DOA角度谱；
将各个声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合，获得空间中声源在环境图像中的位置；
根据多声源混合信号，按照设备运行时产生的音频信号的特征对空间中声源分类，获得分类结果；
构建设备的数字孪生体，在数字孪生体中显示设备运行时声源的位置和种类。
2.如权利要求1所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，还包括：采用强化学习与基于自回归AR模型的卡尔曼滤波结合的QLKF滤波算法对不同运行状态下多声源混合信号进行在线滤波降噪，获得多声源混合信号，其步骤包括：
输入信号数据，进行平稳性检验；
对信号时间序列进行分段建模，包括模型识别与模型参数的计算，建立信号的ARp模型；
将ARp模型转化为离散系统状态空间模型；
卡尔曼滤波状态空间模型初始化：
参数初始化：Agent状态s←s0，Q(s,a)←0，回报函数r←0；
基于ε-贪婪策略选择当前状态s对应的动作a；
执行动作a并获得下一个状态s'；
执行第一卡尔曼滤波算法KF1：
执行第二卡尔曼滤波算法KF2：
更新累积回报：
基于贪婪策略更新值函数：
执行状态转移：s←s'；
重置回报：r←0；
重置第二卡尔曼滤波算法KF2状态估计值与估计均方差：
输出滤波结果
Pt。
3.如权利要求2所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，还包括采用特征值分布法估计多声源混合信号中的声源个数，当声源个数大于1时，采用非负矩阵分解解卷积NMFD算法将多声源混合信号进行盲源分离，其包括：
输入经过降噪处理的环境音频阵列信号数据，计算阵列信号自相关矩阵R；
将信号自相关矩阵R进行特征值分解，将所得的特征值进行降序排列得到λ1,λ2,…,λn；
求取相邻特征值的最大下降速率δε＝max{δ1,δ2,…,δM-1}，得到信号源个数估计值ε，如果ε>1，执行基于NMFD算法的盲源分离：
将信号进行短时傅里叶变换变换到频域得到初始混合矩阵V0，并计算其功率谱值V'；
随机初始化非负矩阵W与H，将V',W和H代入以下公式所示的更新规则中：
式中：⊙为Hadamard矩阵；V代表重构的非负矩阵；1表示中所有元素均为1的矩阵，当目标函数小于设定的阈值时算法收敛退出，得到编码矩阵H即为分离得到的源信号S；
通过更新得到的W和H，得到K-L散度E：
持续迭代更新，直到E小于设定的收敛阈值后停止，得到最终的Wfinal和Hfinal；
令
根据信号初始混合矩阵V0的恢复
的相位得到
对
进行短时傅里叶逆变换得到分离信号。
4.如权利要求3所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，所述将各个声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合，获得空间中声源在环境图像中的位置，包括：
对盲源分离得到的声源阵列信号通过ISM算法进行波达方向角DOA估计，获得环境中声源的DOA角度谱；
将声源的DOA角度谱转换到三维坐标空间得到声源的DOA空间谱；
根据摄像机内外参矩阵将声源的DOA空间谱转换到像素坐标系下得到声源的DOA像素谱；
将声源的DOA像素谱与摄像机拍摄的环境图像进行半透明叠加，从而实现声源的定位成像。
5.如权利要求4所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，所述根据摄像机内外参矩阵将声源的DOA空间谱转换到像素坐标系下得到声源的DOA像素谱，包括：
输入分离得到的各声源阵列信号X(t)，目标物与摄像头距离d，摄像头内参矩阵A与外参矩阵T；
划分频域带宽fband与频域快拍数J，将单声源阵列信号进行短时傅里叶变换得到信号时频域窄带分量Xk(fj)；
利用公式
求取信号频域分量间的互谱密度RX(fi)，并对每个子带的互谱密度矩阵进行特征分解；
根据分解的特征值划分信号子空间US＝[u1,u1,…,uP]与噪声子空间Un(fi)＝[uP+1,…,uM]；
信号子空间与噪声子空间的正交性构造声源的DOA空间谱，并根据公式X(f)＝A(f,θ)S(f)+N(f)求得所有子带空间平均空间谱P(θ)；
通过寻找P(θ)曲线的波峰确定第i个声源的DOA估计结果θi和
根据θi,
与d通过公式Dk＝d确定声源空间谱位置三维坐标pw；
结合摄像头内、外参矩阵A,T通过公式k＝(DTD)-1DTd确定声源DOA空间谱P(θ)对应的像素坐标pu；
根据pu与P(θ)生成DOA估计结果在像素坐标下的像素谱矩阵Pu(θ)。
6.如权利要求1所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，所述分类网络，包括：
在SSAE自编码器网络中的最上层的自编码器的隐藏层与softmax层进行堆叠，将softmax层作为输出层，构建用于分类的堆叠自编码器网络，其中，softmax分类器使用Logistic回归对数据进行分类。
7.如权利要求6所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，采用分类网络，按照设备运行时产生的音频信号的特征对空间中声源分类，获得分类结果，包括：
将不同运行状态的磨床音频数据进行分组，构造训练集和测试集，同时设置相应的标签，将无标签训练集作为输入，完成编码和解码，得到第1个隐藏层输出；
以当前自动编码器的隐藏层作为下一层稀疏自动编码器的输入，并进行归一化操作，逐层使用重构误差训练网络参数，直到所有隐藏层全部训练完成；
用上一步的输出作为多分类器softmax的输入，然后利用训练集标签来训练出softmax分类器的网络参数；
计算隐藏层与softmax分类器的损失函数，利用训练集标签对整个网络进行微调；
利用训练好的网络模型对测试集进行分类测试，输出分类结果，验证本方法的有效性。
8.如权利要求1所述的一种基于音频感知和数字孪生的设备运行状态监测方法，其特征在于，所述构建被监测设备的数字孪生体，包括：
采用SolidWorks软件与3dsMax软件协作建模的方式完成被监测设备的3D建模与模型渲染；
利用Unity3D作为数字孪生监测的软件实现平台，编写C#脚本连接MySQL数据库获取被监测设备状态信息，构建数字孪生体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973504.6A CN115293212A (zh) | 2022-08-15 | 2022-08-15 | 一种基于音频感知和数字孪生的设备运行状态监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973504.6A CN115293212A (zh) | 2022-08-15 | 2022-08-15 | 一种基于音频感知和数字孪生的设备运行状态监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115293212A true CN115293212A (zh) | 2022-11-04 |
Family
ID=83829375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210973504.6A Pending CN115293212A (zh) | 2022-08-15 | 2022-08-15 | 一种基于音频感知和数字孪生的设备运行状态监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115293212A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116341396A (zh) * | 2023-05-30 | 2023-06-27 | 青岛理工大学 | 一种基于多源数据融合的复杂装备数字孪生建模方法 |
| CN116453526A (zh) * | 2023-04-24 | 2023-07-18 | 中国长江三峡集团有限公司 | 基于声音识别的水轮发电机组多工况异常监测方法及装置 |
| CN116935883A (zh) * | 2023-09-14 | 2023-10-24 | 北京探境科技有限公司 | 声源定位方法、装置、存储介质及电子设备 |
| CN117194900A (zh) * | 2023-09-25 | 2023-12-08 | 中国铁路成都局集团有限公司成都供电段 | 一种基于自适应感知的设备运行轻量化监测方法及系统 |
| CN117574691A (zh) * | 2024-01-17 | 2024-02-20 | 湘江实验室 | 虚拟实体数据系统构建方法及相关设备 |
-
2022
- 2022-08-15 CN CN202210973504.6A patent/CN115293212A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116453526A (zh) * | 2023-04-24 | 2023-07-18 | 中国长江三峡集团有限公司 | 基于声音识别的水轮发电机组多工况异常监测方法及装置 |
| CN116453526B (zh) * | 2023-04-24 | 2024-03-08 | 中国长江三峡集团有限公司 | 基于声音识别的水轮发电机组多工况异常监测方法及装置 |
| CN116341396A (zh) * | 2023-05-30 | 2023-06-27 | 青岛理工大学 | 一种基于多源数据融合的复杂装备数字孪生建模方法 |
| CN116341396B (zh) * | 2023-05-30 | 2023-08-11 | 青岛理工大学 | 一种基于多源数据融合的复杂装备数字孪生建模方法 |
| CN116935883A (zh) * | 2023-09-14 | 2023-10-24 | 北京探境科技有限公司 | 声源定位方法、装置、存储介质及电子设备 |
| CN116935883B (zh) * | 2023-09-14 | 2023-12-29 | 北京探境科技有限公司 | 声源定位方法、装置、存储介质及电子设备 |
| CN117194900A (zh) * | 2023-09-25 | 2023-12-08 | 中国铁路成都局集团有限公司成都供电段 | 一种基于自适应感知的设备运行轻量化监测方法及系统 |
| CN117574691A (zh) * | 2024-01-17 | 2024-02-20 | 湘江实验室 | 虚拟实体数据系统构建方法及相关设备 |
| CN117574691B (zh) * | 2024-01-17 | 2024-05-14 | 湘江实验室 | 虚拟实体数据系统构建方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115293212A (zh) | 一种基于音频感知和数字孪生的设备运行状态监测方法 | |
| Li et al. | The emerging graph neural networks for intelligent fault diagnostics and prognostics: A guideline and a benchmark study | |
| CN110132598B (zh) | 旋转设备滚动轴承故障噪声诊断算法 | |
| US9906963B2 (en) | Big-data-mining-based wireless channel modeling method | |
| KR20220113881A (ko) | 사전 훈련 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
| CN108399248A (zh) | 一种时序数据预测方法、装置及设备 | |
| CN111046787A (zh) | 一种基于改进YOLO v3模型的行人检测方法 | |
| JP6783443B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラム、及び記録媒体 | |
| CN109459235B (zh) | 基于集成学习增强型齿轮单故障类别诊断方法 | |
| CN114237046B (zh) | 一种基于sift数据特征提取算法与bp神经网络模型的局部放电模式识别方法 | |
| CN112766140A (zh) | 一种基于核函数极限学习机的变压器故障辨识方法 | |
| Zhao et al. | A novel deep fuzzy clustering neural network model and its application in rolling bearing fault recognition | |
| CN106529563A (zh) | 基于双图稀疏非负矩阵分解的高光谱波段选择方法 | |
| Chen et al. | Structure from silence: Learning scene structure from ambient sound | |
| CN110458071B (zh) | 一种基于dwt-dfpa-gbdt的光纤振动信号特征提取与分类方法 | |
| CN116423924A (zh) | 纸板线湿部生产速度模型构建方法及生产速度预测方法 | |
| Tamosiunas et al. | Investigating cosmological GAN emulators using latent space interpolation | |
| CN110782041B (zh) | 一种基于机器学习的结构模态参数识别方法 | |
| CN116011507A (zh) | 融合元学习与图神经网络的稀有故障诊断方法 | |
| CN117011583A (zh) | 一种基于特征数据聚类分析的状态评估方法及系统 | |
| CN117219124A (zh) | 一种基于深度神经网络的开关柜声纹故障检测方法 | |
| CN110555483B (zh) | 基于fw-dcgan特征生成的极化sar分类方法 | |
| Papayiannis et al. | Data augmentation of room classifiers using generative adversarial networks | |
| US20230230348A1 (en) | Method and system performing pattern clustering | |
| CN105989370B (zh) | 基于属性层次的视音频融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |