CN114131202A - 激光-电弧复合焊时异常声信号的提取方法、系统及装置 - Google Patents
激光-电弧复合焊时异常声信号的提取方法、系统及装置 Download PDFInfo
- Publication number
- CN114131202A CN114131202A CN202111657010.9A CN202111657010A CN114131202A CN 114131202 A CN114131202 A CN 114131202A CN 202111657010 A CN202111657010 A CN 202111657010A CN 114131202 A CN114131202 A CN 114131202A
- Authority
- CN
- China
- Prior art keywords
- map
- model
- sub
- segment
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 97
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000005236 sound signal Effects 0.000 title claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims abstract description 95
- 238000000605 extraction Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 61
- 239000012634 fragment Substances 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 description 31
- 230000033001 locomotion Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 5
- 230000002547 anomalous effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010891 electric arc Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 229910052723 transition metal Inorganic materials 0.000 description 2
- 150000003624 transition metals Chemical class 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/346—Working by laser beam, e.g. welding, cutting or boring in combination with welding or cutting covered by groups B23K5/00 - B23K25/00, e.g. in combination with resistance welding
- B23K26/348—Working by laser beam, e.g. welding, cutting or boring in combination with welding or cutting covered by groups B23K5/00 - B23K25/00, e.g. in combination with resistance welding in combination with arc heating, e.g. TIG [tungsten inert gas], MIG [metal inert gas] or plasma welding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/70—Auxiliary operations or equipment
- B23K26/702—Auxiliary equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于焊接技术领域，并具体公开了一种激光‑电弧复合焊时异常声信号的提取方法、系统及装置，包括：获取激光‑电弧复合焊过程中的声信号图谱，确定激光‑电弧复合焊过程中对应的基值周期；将声信号图谱划分为M个图谱片段；基于训练好的声谱特征提取模型获取M个图谱片段对应的M个片段特征；至少基于训练好的判别模型处理M个片段特征，以从M个图谱片段中筛选得到异常声音片段，其中，声谱特征提取模型是训练好的卷积神经网络模型，判别模型是训练好的分类器模型，声谱特征提取模型和判别模型基于联合训练的方式得到。本发明从整体声信号图谱中先筛选出异常声信号片段，在减少声信号分析计算量的同时，保证计算精度。
Description
技术领域
本发明属于焊接技术领域，更具体地，涉及一种激光-电弧复合焊时异常声信号的提取方法、系统及装置。
背景技术
激光-电弧复合焊作为重要的材料成形和加工技术，已在石油化工、机械制造、交通运输、航空航天、建筑工程、微电子等领域得到快速应用和发展。激光-电弧复合焊过程中，由于焊接参数设置不当和环境因素的影响会产生缺陷，严重影响焊接件的产品质量，危害生产安全。随着焊接技术不断向智能化方向发展，对激光-电弧复合焊过程监测技术也提出了更高的要求。
在激光-电弧复合焊过程中，会产生丰富的声信号信息，这些声信号信息主要是由于熔池的持续冲击和电弧内部自身的高频震荡而产生，是焊接结构裂纹、冲击和摩擦等多种多样因素作用的综合产物。对激光-电弧复合焊过程中的声信号进行检测对复合焊过程的质量监测有很大的研究价值。但是目前对激光-电弧复合焊的声信号进行分析时，通常采用时频域等分析方式对采集的声信号的整体图谱进行分析，计算量很大。为了提升计算效率，通常的做法是通过卡尔曼滤波等滤波方式对声信号图谱进行简化，这一做法虽然提升了计算速度，但也丢失了部分波形特征，丢失了部分处理精度。
因此，亟需一种激光-电弧复合焊过程中异常声信号的提取方法，以在减少声信号分析计算量的同时，保证计算精度。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种激光-电弧复合焊时异常声信号的提取方法、系统及装置，其目的在于，从整体声信号图谱中先筛选出异常声信号片段，进而基于异常声信号进行分析，在减少声信号分析计算量的同时，保证计算精度。
为实现上述目的，按照本发明的第一方面，提出了一种激光-电弧复合焊时异常声信号的提取方法，包括如下步骤：
S1、获取激光-电弧复合焊过程中的声信号图谱；
S2、确定激光-电弧复合焊过程中对应的基值周期，所述基值周期至少基于焊接电流或焊接电压变化周期预设值确定；
S3、获取第一个基值周期对应的声信号图谱，并将其划分为N个时长相同的子图谱，基于训练好的声谱特征提取模型处理所述子图谱，生成对应的N个子图谱特征；
S4、按时间顺序对所述N个子图谱特征进行排序，将每个子图谱特征与其相邻右接的子图谱特征进行对比，获取N-1个子图谱相似度，依此确定子图谱相似度最小值；
S5、将所述子图谱相似度最小值对应的左侧子图谱确定为跳变点，以所述跳变点为起点，以所述基值周期为划分阈值，将所述声信号图谱划分为M个图谱片段；
S6、基于训练好的声谱特征提取模型获取所述M个图谱片段对应的M个片段特征；
S7、至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段；
其中，所述声谱特征提取模型是训练好的卷积神经网络模型，所述判别模型是训练好的分类器模型，所述声谱特征提取模型和所述判别模型基于联合训练的方式得到。
作为进一步优选的，所述至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段，包括：
多次使用聚类算法对所述M个片段特征进行聚类，直至所述聚类簇中包括第一预设阈值以上数量的片段特征，并获取所述聚类簇中心特征表示；
将所述聚类簇外的图谱片段确定为候选异常图谱片段；
基于训练好的判别模型对任意一个所述候选异常图谱片段以及所述聚类簇中心特征表示进行处理，获取对应的候选异常图谱的差异度；
基于所述差异度从所述M个图谱片段中筛选得到所述异常声音片段。
作为进一步优选的，所述至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段，包括：
基于训练好的判别模型对任意两个所述片段特征进行处理，获取对应的片段特征差异度；
获取差异度大于第二预设阈值的异常片段特征候选集合；
基于词频-逆向文件频率算法对所述异常片段特征候选集合进行处理，将频率出现高于第三预设阈值的图谱片段确定为所述异常声音片段。
作为进一步优选的，所述声谱特征提取模型和判别模型为神经网络模型的子模型，所述神经网络模型包括第一声谱特征提取模型、第二声谱特征提取模型以及判别模型，所述第一声谱特征提取模型、第二声谱特征提取模型具有相同的模型结构；所述神经网络模型基于以下步骤进行训练：
获取训练集，所述训练集中包括多个声信号图谱对，且每个所述声信号图谱对中包含对应的第一图谱片段对应的片段特征、第二图谱片段对应的片段特征以及标签值，所述标签值反映第一图谱片段和第二图谱片段之间的差异度；
基于所述训练集，通过多轮迭代来训练第一初始模型，以生成训练好的神经网络模型；
其中，所述第一初始模型包括初始化的第一声谱特征提取模型、初始化的第二声谱特征提取模型以及初始化的判别模型。
作为进一步优选的，所述多轮迭代训练得到训练好的神经网络模型，其中每轮迭代包括：
获取前一轮迭代中更新后的第一初始模型；
对每个所述声信号图谱对，
利用更新后的第一声谱特征提取模型处理第一图谱片段，获得对应的第一片段特征；
利用更新后的第二声谱特征提取模型处理第二图谱片段，获得对应的第二片段特征；
利用更新后的判别模型处理所述第一片段特征和所述第二片段特征，生成判别结果，所述判别结果用以反映第一片段特征和第二片段特征的差异度；
基于所述判别结果以及所述标签值判断是否进行下一轮迭代或者就此确定训练好的神经网络模型。
作为进一步优选的，所述基值周期还基于所述激光脉冲周期确定。
按照本发明的第二方面，提出了一种激光-电弧复合焊时异常声信号的提取系统，包括声信号图谱获取模块、基值周期确定模块、子图谱特征获取模块、子图谱相似度确认模块、声信号图谱划分模块、图谱片段特征获取模块和异常声音片段获取模块，其中：
所述声信号图谱获取模块用于获取激光-电弧复合焊过程中的声信号图谱；
所述基值周期确定模块用于确定激光-电弧复合焊过程中对应的基值周期，所述基值周期至少基于焊接电流变化周期预设值确定；
所述子图谱特征获取模块用于获取第一个基值周期对应的声信号图谱，并将其划分为N个时长相同的子图谱，基于训练好的声谱特征提取模型处理所述子图谱，生成对应的N个子图谱特征；
所述子图谱相似度确认模块用于按时间顺序对所述N个子图谱特征进行排序，将每个子图谱特征与其相邻右接的子图谱特征进行对比，获取(N-1)个子图谱相似度，依此确定子图谱相似度最小值；
所述声信号图谱划分模块用于将所述子图谱相似度最小值对应的左侧子图谱确定为跳变点，以所述跳变点为起点，以所述基值周期为划分阈值，将所述声信号图谱划分为M个图谱片段；
所述图谱片段特征获取模块用于基于训练好的声谱特征提取模型获取所述M个图谱片段对应的片段特征；
所述异常声音片段获取模块用于至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段，其中，所述声谱特征提取模型是训练好的卷积神经网络模型，所述判别模型是训练好的分类器模型，所述声谱特征提取模型和所述判别模型基于联合训练的方式得到。
按照本发明的第三方面，提出了一种激光-电弧复合焊时异常声信号的提取装置，包括处理器，所述处理器用于执行激光-电弧复合焊时异常声信号的提取方法。
按照本发明的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现激光-电弧复合焊时异常声信号的提取方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
1、本发明基于焊接电流或者焊接电压的基值周期进行整体声信号的划分，可以更加快速地进行声信号的划分；然后通过子图谱相似度确定跳变点，重新划分图谱片段，进而根据片段特征确定异常声音片段；从而从一个整体声信号图谱中筛选出了异常声信号片段，进而基于异常声信号进行分析，在减少声信号分析计算量的同时，还保证了计算精度。
2、本发明多次基于聚类算法对片段特征进行聚类，直至聚类簇中包括第一预设阈值以上数量的片段特征，以此进行异常声信号片段的初筛，提升计算效率。
3、本发明构建包括第一声谱特征提取模型、第二声谱特征提取模型以及判别模型的神经网络模型，采用第一声谱特征模型、第二声谱特征模型以及判别模型联合训练的方式采用统一的损失函数进行训练，具有更高的训练效率。
附图说明
图1是根据本发明一些实施例所示的一个示例性的激光-电弧复合焊声信号采集系统的应用场景示意图；
图2是根据本发明一些实施例所示的一个示例性的激光-电弧复合焊过程中异常声信号提取系统的系统框图；
图3是根据本发明一些实施例所示的激光-电弧复合焊过程中异常声信号提取方法的示意性流程图；
图4是根据本发明一些实施例所示的声谱特征提取模型和判别模型联合训练的示意性流程图；
图5是根据本发明一些实施例所示的一个典型的声信号、焊接电流、焊接电压变化曲线示意图；
图6是根据本发明一些实施例所示的声谱特征提取模型和判别模型联合的结构示意图；
图7是根据本发明一些实施例所示的基于判别模型处理片段特征以得到异常声音片段的示例性流程图；
图8是根据本发明另一些实施例所示的基于判别模型处理片段特征以得到异常声音片段的示例性流程图。
在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：110-1、110-2-焊接板材，120-处理设备，120-2-存储设备，130-焊缝，132-熔池，140-X光接收器，140-激光器，150-送丝装置，160-弧焊枪，170-声音检测机构，210-声信号图谱获取模块，220-基值周期确定模块，230-子图谱特征获取模块，240-子图谱相似度确认模块，250-声信号图谱划分模块，260-图谱片段特征获取模块，270-异常声音片段获取模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1是根据本说明书一些实施例所示的一个示例性的激光-电弧复合焊声信号采集系统的应用场景示意图。
如图1所示，激光-电弧复合焊声信号采集系统场景中可以包括焊接板材(图中110-1和110-2所示)、处理设备120、激光器140、送丝装置150、弧焊枪160、声音检测机构170以及第一运动机构(图中未示出)、第二运动机构(图中未示出)。其中，激光器140用于发生激光，弧焊枪160用于发生电弧，送丝装置150用于送给焊丝，这三个单元构成了基本焊接单元，可将焊接板材110-1和焊接板材110-2焊接在一起，并形成焊缝130。
第一运动机构可以用于与激光器140相连，以控制激光照射位置。在一些实施例中，第一运动机构(图中未示出)可以是任意的运动结构。示例性地，第一运动机构可以是一个6轴机器人。
第二运动机构可以用于与弧焊枪160相连，以控制焊接时电弧的移动。在一些实施例中，第二运动机构(图中未示出)可以是任意的运动结构。示例性地，第二运动机构也可以是一个6轴机器人。
送丝装置150可以与第一运动机构和第二运动机构耦合连接在一起，也可以由单独的运动机构进行连接，本说明书在此不做限制。
在一些实施例中，第一运动机构和第二运动机构控制激光器140、送丝装置150、弧焊枪160三者协同形成熔池132，进而控制熔池132向着如图1所示的焊接方向移动以形成焊缝130。
需要说明的是，本说明书一个及多个实施例所提及的运动机构(如第一运动机构和第二运动机构)可以是本领域技术人员所熟知的任意的可执行运动/转动的机构。例如，第一运动机构和第二运动机构可以是3轴、4轴、5轴、6轴、7轴机器臂。又例如，第一运动机构和第二运动机构可以是如龙门结构、桁架结构等可运动的机构。再例如，第一运动机构和第二运动机构可以是一体的，也可以是独立设置的。在一些实施例中，第一运动机构和第二运动机构可以是相同的结构，也可以是不同的结构。诸如此类的变化，仍然在本说明书的保护范围之内。
声音检测机构170可以是任意形式的声波探测装置。示例性地，声音检测机构170可以为设置在焊接板材110的固定高度上方的麦克风。又例如，声音检测机构170可以为若干麦克风阵列的组合，用于进行激光-电弧复合焊过程中声信号图谱的采集。
场景100中还包括处理设备120，处理设备120可以与场景100中的其他组件(如激光器140、送丝装置150、弧焊枪160、声音检测机构170、第一运动机构以及第二运动机构中的一个或多个)进行连接以获取并处理数据和/或信息。例如，处理设备120可以获取激光-电弧复合焊过程中的声信号图谱。再例如，处理设备120可以确定激光-电弧复合焊过程中对应的基值周期。还例如，处理设备120可以基于训练好的声谱特征提取模型获取M个图谱片段对应的M个片段特征。还例如，处理设备120可以至少基于训练好的判别模型处理M个片段特征，并从M个图谱片段中筛选得到异常声音片段。
在一些实施例中，处理设备120可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如：处理设备可以是分布系统)。在一些实施例中，处理设备120可以是本地的或者远程的。在一些实施例中，处理设备120可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
在一些实施例中，处理设备120上还可以包括存储设备120-2，存储设备120-2可以存储数据和/或指令。在一些实施例中，存储设备120-2可以存储操作指示信息。在一些实施例中，存储设备120-2还可以存储激光-电弧复合焊过程中的声信号图谱的历史信息。在一些实施例中，存储设备120-2可以存储处理设备120用于执行或使用来完成本说明书中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备120-2可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。
在一些实施例中，场景100中还可以包括网络(图中未示出)。网络可以与场景100中的一个或多个组件进行连接，以促进信息和/或数据的交换。在一些实施例中，网络可以为任意形式的有线或无线网络或其任意组合。仅作为示例，网络可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通讯(NFC)网络、全球移动通讯系统(GSM)网络、码分多址(CDMA)网络、时分多址(TDMA)网络、通用分组无线服务(GPRS)网络、增强数据速率GSM演进(EDGE)网络、宽带码分多址接入(WCDMA)网络、高速下行分组接入(HSDPA)网络、长期演进(LTE)网络、用户数据报协议(UDP)网络、传输控制协议/互联网协议(TCP/IP)网络、短讯息服务(SMS)网络、无线应用协议(WAP)网络、超宽带(UWB)网络、移动通信(1G、2G、3G、4G、5G)网络、Wi-Fi、Li-Fi、窄带物联网(NB-IoT)等或其任意组合。
图2是根据本说明书一些实施例所示的一个示例性的激光-电弧复合焊过程中异常声信号提取系统的系统框图。在一些实施例中，系统200具体地可以设置在处理设备120上。
如图2所示，系统200可以包括：声信号图谱获取模块210、基值周期确定模块220、子图谱特征获取模块230、子图谱相似度确认模块240、声信号图谱划分模块250、图谱片段特征获取模块260、异常声音片段获取模块270。在一些实施例中，系统200可以设置在处理设备120上。
声信号图谱获取模块210，用于获取激光-电弧复合焊过程中的声信号图谱；
基值周期确定模块220，用于确定激光-电弧复合焊过程中对应的基值周期，基值周期至少基于焊接电流变化周期预设值确定；
子图谱特征获取模块230，用于获取时间长度为一个基值周期对应的声信号图谱，并将其划分为N个时长相同的子图谱，基于训练好的声谱特征提取模型处理子图谱，生成对应的N个子图谱特征；
子图谱相似度确认模块240，用于按时间顺序对N个子图谱特征进行排序，将每个子图谱特征与其相邻右接的子图谱特征进行对比，获取(N-1)个子图谱相似度，依此确定子图谱相似度最小值；
声信号图谱划分模块250，用于将子图谱相似度最小值对应的左侧子图谱确定为跳变点，以跳变点为起点，以基值周期为划分阈值，将声信号图谱划分为M个图谱片段；
图谱片段特征获取模块260，用于基于训练好的声谱特征提取模型获取M个图谱片段对应的片段特征；
异常声音片段获取模块270，用于至少基于训练好的判别模型处理M个片段特征，以从M个图谱片段中筛选得到异常声音片段。
在一些实施例中，异常声音片段获取模块270还用于：多次使用聚类算法对M个片段特征进行聚类，直至聚类簇中包括第一预设阈值以上数量的片段特征，并获取聚类簇中心特征表示；将聚类簇外的图谱片段确定为候选异常图谱片段；基于训练好的判别模型对任意一个候选异常图谱片段以及聚类簇中心特征表示进行处理，获取对应的候选异常图谱的差异度；基于差异度从M个图谱片段中筛选得到异常声音片段。
在一些实施例中，异常声音片段获取模块270还用于：基于训练好的判别模型对任意两个片段特征进行处理，获取对应的片段特征差异度；获取差异度大于第二预设阈值的异常片段特征候选集合；基于词频-逆向文件频率算法对异常片段特征候选集合进行处理，将频率出现高于第三预设阈值的图谱片段确定为异常声音片段。
在一些实施例中，基值周期还基于激光脉冲周期确定。
在一些实施例中，声谱特征提取模型和判别模型为神经网络模型的子模型，神经网络模型包括第一声谱特征提取模型、第二声谱特征提取模型以及判别模型，第一声谱特征提取模型、第二声谱特征提取模型的具有相同的模型结构；神经网络模型基于以下步骤进行训练：获取训练集，训练集中包括多个声信号图谱对，且每个声信号图谱对中包含对应的第一图谱片段对应的片段特征、第二图谱片段对应的片段特征以及标签值，标签值反映第一图谱片段和第二图谱片段之间的差异度；以及基于训练集，通过多轮迭代来训练第一初始模型，以生成训练好的神经网络模型；其中，第一初始模型包括初始化的第一声谱特征提取模型、初始化的第二声谱特征提取模型以及初始化的判别模型。
在一些实施例中，多轮迭代训练得到训练好的神经网络模型，其中每轮迭代包括：获取前一轮迭代中更新后的第一初始模型；对每个声信号图谱对，利用更新后的第一声谱特征提取模型处理第一图谱片段，获得对应的第一片段特征；利用更新后的第二声谱特征提取模型处理第二图谱片段，获得对应的第二片段特征；利用更新后的判别模型处理第一片段特征和第二片段特征，生成判别结果，判别结果用以反映第一片段特征和第二片段特征的差异度；基于判别结果以及标签值判断是否进行下一轮迭代或者就此确定训练好的神经网络模型。
应当理解，本说明书一个或多个实施中的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
图3是根据本说明书一些实施例所示的激光-电弧复合焊过程中异常声信号提取方法的示意性流程图。在一些实施例中，方法300可以由处理设备120执行。在一些实施例中，方法300可以进一步由系统200执行。
步骤310(即S1)，获取激光-电弧复合焊过程中的声信号图谱。
在一些实施例中，步骤310可以由声信号图谱获取模块210执行。在一些实施例中，声信号图谱获取模块210可以从如图1所示的声音检测机构170处获取激光-电弧复合焊过程中的声信号图谱。如图5所示为一个典型的声信号、电弧的焊接电流、焊接电压变化曲线图，图中，Tn、Tn+1表示两个相邻的基值周期，T’表示第一个基值周期。
在一些实施例中，声信号图谱获取模块210也可以从如图1所示的存储设备120-2处获取已经存储好的声信号图谱的历史数据。
步骤320(即S2)，确定激光-电弧复合焊过程中对应的基值周期。
在一些实施例中，步骤320可以由基值周期确定模块220执行。
所述基值周期至少基于焊接电流或焊接电压变化周期预设值确定
基值周期是指激光-电弧复合焊过程中的声信号图谱随着设定频率规律性变化的周期。可以理解，激光-电弧复合焊接过程的声音信号主要来自于焊接过程中过渡金属对焊缝的持续冲击以及电弧内部自身的高频震荡。由于激光-电弧复合焊中的电弧的焊接电流、焊接电压是随着一个变化周期预设值进行周期性变化时(如采用30Hz的脉冲电流进行焊接)，所得的声信号图谱也应是按照对应周期(即按照基值周期)变化的。示例性地，如电弧的焊接电流、焊接电压的变化周期预设值是T1，则对应的声信号图谱的基值周期也应为T1。换言之，声信号图谱是一个周期为T1的重复的波形图组成。
在一些实施例场景中，激光-电弧复合焊过程中的激光也是周期性脉冲变化的。脉冲变化的激光会约束电弧的等离子体，使等离子体周期性地膨胀或者收窄，影响过渡金属熔滴过渡的周期，从而对声信号的周期性变化产生影响。具体地，假设电弧的电流、电压变化周期是T1，激光的脉冲周期为T2，则所获得的声信号图谱的基值周期可以示例性地设置为T1和T2的公倍数。优选地，声信号图谱的基值周期可以设定为T1和T2的最小公倍数。
在一些实施例中，基值周期可以由相关工艺人员在进行复合焊接前预先设置好，并在需要时被调用。例如，基值周期确定模块220可以与弧焊枪160通信，调取其中设定的电流电压变化的设定周期作为基值周期。又例如，基值周期确定模块220可以分别与弧焊枪160、激光器140进行通信，调取其中设定的电流电压变化的设定周期以及激光脉冲周期以获得基值周期。再例如，基值周期确定模块220可以从存储设备120-2出获取预先设置好的基值周期。
步骤330(即S3)，获取第一个基值周期对应的声信号图谱，并将其划分为N个时长相同的子图谱，基于训练好的声谱特征提取模型处理子图谱，生成对应的N个子图谱特征。
在一些实施例中，步骤330可以由子图谱特征获取模块230执行。
如图5所示，子图谱特征获取模块230可以获取第一个基值周期对应的声信号图谱T’，并将其划分为N个时长相同的子图谱。进而基于训练好的声谱特征提取模型处理子图谱，生成对应的N个子图谱特征。假设声谱特征提取模型处理过程用y＝A(x)表示，x为输入，y为输出，则划分的N个子谱图特征分别表示为α1、α2、…、αi、…、αn，则对应的N个子图谱特征可以表示为y1、y2、…、yi、…、yn，其中，yi＝A(αi)。
步骤340(即S4)，按时间顺序对N个子图谱特征进行排序，将每个子图谱特征与其相邻右接的子图谱特征进行对比，获取(N-1)个子图谱相似度，依此确定子图谱相似度最小值。
在一些实施例中，步骤340可以由子图谱相似度确认模块240执行。
子图谱相似度确认模块240可以按时间顺序对N个子图谱特征进行排序，并将每个子图谱特征与其相邻右接的子图谱特征进行对比。承上例，可以将子图谱特征yi与相邻右接的另一子图谱特征yi-1进行对比，确定子图谱相似度ζi-1。在一些实施例中，子图谱相似度ζi-1可以基于yi与yi-1之间的向量距离来进行判断。如可以用范数、2-范数、标准范数等方式衡量两个子图谱特征之间的向量距离。在一些实施例中，还可以使用差异系数来衡量yi与yi-1之间的子图谱相似度ζi-1。所述差异系数指的是利用算式计算样本间的差异程度，差异系数的值越大，说明个体间差异越大，则相似度越小。示例性地，所使用的差异系数包括但不限于简单匹配系数、Jaccard系数、余弦相似度、调整余弦相似度、皮尔森相关系数等。在一些实施例中，子图谱相似度确认模块240还可以使用相似度系数和向量距离共同判断子图谱相似度ζi-1。
如此，通过将N个子图谱特征y1、y2、…、yi、…、yn与其右接的子图谱特征进行对比，获取(N-1)个子图谱相似度ζ1、ζ2、…、ζi、…、ζn-1，并从中选取到最小值。在本说明书的一个或多个实施例中，不妨假设子图谱特征yi-1、yi对应的子图谱相似度ζi-1为相似度中的最小值。
步骤350(即S5)，将子图谱相似度最小值对应的左侧子图谱确定为跳变点，以跳变点为起点，以基值周期为划分阈值，将声信号图谱划分为M个图谱片段。
在一些实施例中，步骤350可以由声信号图谱划分模块250执行。
承上例，如ζi-1为(N-1)个子图谱相似度中的最小值，则将ζi-1对应的左侧子图谱yi-1确定为跳变点。如图5所示，跳变点可以理解为声信号显著变化的点，可以理解为电弧每个脉冲对应的起点。
进一步地，声信号图谱划分模块250基于跳变点yi-1为起点，以上述基值周期(如T1)为划分阈值，将声信号图谱划分为M个图谱片段。
步骤360(即S6)，基于训练好的声谱特征提取模型获取M个图谱片段对应的M个片段特征。
在一些实施例中，步骤360可以由图谱片段特征获取模块260执行。
图谱片段特征获取模块260可以基于训练好的声谱特征提取模型获取M个图谱片段对应的片段特征。在本说明书的一个及多个实施例中，M个片段特征可以表示为{L1、L2、…、Li、…、LM}。有关训练好的声谱特征提取模型的更多描述可参见图4的相应说明，在此不再赘述。
步骤370(即S7)，至少基于训练好的判别模型处理M个片段特征，以从M个图谱片段中筛选得到异常声音片段。
在一些实施例中，步骤370可以由异常声音片段获取模块270执行。在一些实施例中，异常声音片段获取模块270可以基于如图7所示的子流程实现步骤370的具体过程：
S21，多次使用聚类算法对M个片段特征进行聚类，直至聚类簇中包括第一预设阈值以上数量的片段特征，并获取聚类簇中心特征表示。
具体地，假定第一预设阈值为P，对M个片段特征{L1、L2、…、Li、…、LM}进行聚类，聚类中所包含的片段特征的数量为Q。若第一预设阈值P小于或者等于Q，则获取此时聚类簇中心特征表示γ；若第一预设阈值P大于Q，则执行进一步的聚类算法使得第一预设阈值P小于Q为止。在一些实施例中，异常声音片段获取模块270可以基于密度的聚类算法(如DBSCAN密度聚类算法)获得多个片段特征聚类簇。具体地，异常声音片段获取模块270确定第一预设阈值(数量为P)；进一步地，确定聚类的邻域参数(∈，MinPts)，其中，∈对应聚类簇在向量空间中的半径，MinPts对应形成聚类簇所需的样本个数的最小值，多次调整邻域参数(∈，MinPts)并对M个片段特征进行聚类处理，直至片段特征的数量Q大于等于第一预设阈值P为止。
S22，将聚类簇外的其余(M-Q)个图谱片段特征确定为候选异常图谱特征。示例性地，候选异常图谱特征的集合可以为{L2、…、Lk、…、Lj}，其中，Lk表示候选异常图谱特征集合中的任意一个。
S23，基于训练好的判别模型对任意一个候选异常图谱特征以及聚类簇中心特征表示γ进行处理，获取对应的候选异常图谱的差异度。
示例性地，判别模型可以对候选异常图谱片段yk以及聚类簇中心特征表示γ进行处理，以得到他们之间的差异度ρk。类似地，可以将{L2、…、Lk、…、Lj}集合中的每一个特征与聚类簇中心特征表示γ进行对比，以得到对应的差异度集合{ρ2、…、ρk、…、ρj}。
S24，基于差异度从候选异常图谱特征中筛选得到异常声音片段。例如，异常声音片段获取模块270可以从差异度集合{ρ2、…、ρk、…、ρj}中筛选出差异度偏离超出阈值的若干个候选异常图谱特征，并将选出的若干异常图谱特征对应的图谱片段作为异常声音片段。又例如，异常声音片段获取模块270可以筛选出差异度大小排列在前的若干个候选异常图谱特征，并将选出的若干异常图谱特征对应的图谱片段作为异常声音片段。
在一些实施例中，异常声音片段获取模块270还可以基于如图8所示的子流程实现步骤370的具体过程：
S11，基于训练好的判别模型对任意两个片段特征进行处理，获取对应的片段特征差异度。
异常声音片段获取模块270可以选择M个片段特征{L1、L2、…、Li、…、LM}的其中一个(如选择片段特征Lc)，分别计算Lc与另外(M-1)个片段特征的差异度，得到所有的差异度对比结果。
S12，获取差异度大于第二预设阈值的异常片段特征候选集合。
S13，基于词频-逆向文件频率算法对异常片段特征候选集合进行处理，将频率出现高于第三预设阈值的图谱片段确定为异常声音片段。词频-逆向文件频率算法(tf-idf算法)属于现有技术，在此不在赘述。
图4是根据本说明书一些实施例所示的声谱特征提取模型和判别模型联合训练的示意性流程图。
如图6所示为声谱特征提取模型和判别模型的结构示意图。图中，第一声谱特征提取模型和第二声谱特征提取模型具有相同的结构，第一声谱特征提取模型包括卷积层1、卷积层2、…、卷积层k、卷积层j以及共用的卷积层i、卷积层i+1；第二声谱特征提取模型包括卷积层1’、卷积层2’、…、卷积层k’、卷积层j’以及共用的卷积层i、卷积层i+1。下面结合步骤410～460的描述，对声谱特征提取模型和判别模型联合训练过程进行说明。
步骤410，获取训练集。
训练集中包括多个声信号图谱对，且每个声信号图谱对中包含对应的第一图谱片段对应的片段特征、第二图谱片段对应的片段特征以及标签值，所述标签值反映第一图谱片段和第二图谱片段之间的差异度。
步骤420，获取上一轮迭代对应的神经网络模型。在第一轮迭代中，上一轮迭代的神经网络模型为第一初始模型，包括初始化的第一声谱特征提取模型、初始化的第二声谱特征提取模型以及初始化的判别模型。在一些实施例中，第一声谱特征提取模型和第二声谱特征提取模型可以分别为一个卷积神经网络CNN，且两个卷积神经网络之间共用部分相同的卷积层。
步骤430，利用更新后的第一声谱特征提取模型处理第一图谱片段，获得对应的第一片段特征；
步骤440，利用更新后的第二声谱特征提取模型处理第二图谱片段，获得对应的第二片段特征；
可以理解，步骤430和步骤440中的第一声谱特征模型和第二声谱特征提取模型可以将图谱片段转化为相应的图像向量。
步骤450，利用更新后的判别模型处理所述第一片段特征和所述第二片段特征，生成判别结果。判别结果用以反映第一片段特征和第二片段特征的差异度。在一些实施例中，判别模型可以是一个分类器模型。
步骤460，判断是否进行下一轮迭代或者就此确定训练好的神经网络模型。
在判别模型前向传播获取到判别结果后，可以基于判别结果以及样本标签构建损失函数，基于损失函数反向传播以更新模型参数。在一些实施例中，可以将训练样本标签数据表示为H1，判别结果表示为
计算得到的损失函数值表示为Loss1。在一些实施例中，根据模型的类型可以选择不同的损失函数，如将均方差损失函数或交叉熵损失函数作为损失函数等，在本说明书中不做限制。示例性地，
在一些实施例中，可以采用梯度反传算法更新模型参数。反向传播算法会对特定训练样本的预测结果与标签数据进行比较，确定模型的每个权重的更新幅度。也就是说，反向传播算法用于确定损失函数相对每个权重的变化情况(亦可称为梯度或误差导数)，记为
更进一步地，梯度反传算法可以将损失函数的值通过输出层，向隐层、输入层逐层反传，依次确定各层的模型参数的修正值(或梯度)。其中，各层的模型参数的修正值(或梯度)包括多个矩阵元素(如梯度元素)，其与模型参数一一对应，每个梯度元素反映参数的修正方向(增加或减小)以及修正量。在本说明书涉及的一个或多个实施例中，判别模型反传完成梯度后，其进一步向第一声谱特征模型，第二声谱特征模型逐层反传模型参数，以完成一轮迭代更新。相比于各个模型单独训练而言，采用第一声谱特征模型、第二声谱特征模型以及判别模型联合训练的方式采用统一的损失函数进行训练，训练效率更高。
在一些实施例中，可以基于判别结果以及标签值判断是否进行下一轮迭代或者就此确定训练好的神经网络模型。判断的标准可以是迭代次数是否已经达到预设迭代次数、更新后的模型是否满足预设的性能指标阈值等又或者是否收到终止训练的指示。若确定需要进行下一次迭代，则可基于当前次迭代过程更新后的模型进行下一次迭代。若确定不需要进行下一次迭代，则可将当前次迭代过程中获取的更新后的模型作为最终训练好的模型。
本说明书实施例还提供一种计算机可读存储介质。存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机实现前述基于特征化数据确定目标设备运行状态的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种激光-电弧复合焊时异常声信号的提取方法，其特征在于，包括如下步骤：
S1、获取激光-电弧复合焊过程中的声信号图谱；
S2、确定激光-电弧复合焊过程中对应的基值周期，所述基值周期至少基于焊接电流或焊接电压变化周期预设值确定；
S3、获取第一个基值周期对应的声信号图谱，并将其划分为N个时长相同的子图谱，基于训练好的声谱特征提取模型处理所述子图谱，生成对应的N个子图谱特征；
S4、按时间顺序对所述N个子图谱特征进行排序，将每个子图谱特征与其相邻右接的子图谱特征进行对比，获取N-1个子图谱相似度，依此确定子图谱相似度最小值；
S5、将所述子图谱相似度最小值对应的左侧子图谱确定为跳变点，以所述跳变点为起点，以所述基值周期为划分阈值，将所述声信号图谱划分为M个图谱片段；
S6、基于训练好的声谱特征提取模型获取所述M个图谱片段对应的M个片段特征；
S7、至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段；
其中，所述声谱特征提取模型是训练好的卷积神经网络模型，所述判别模型是训练好的分类器模型，所述声谱特征提取模型和所述判别模型基于联合训练的方式得到。
2.如权利要求1所述的激光-电弧复合焊时异常声信号的提取方法，其特征在于，所述至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段，包括：
多次使用聚类算法对所述M个片段特征进行聚类，直至所述聚类簇中包括第一预设阈值以上数量的片段特征，并获取所述聚类簇中心特征表示；
将所述聚类簇外的图谱片段确定为候选异常图谱片段；
基于训练好的判别模型对任意一个所述候选异常图谱片段以及所述聚类簇中心特征表示进行处理，获取对应的候选异常图谱的差异度；
基于所述差异度从所述M个图谱片段中筛选得到所述异常声音片段。
3.如权利要求1所述的激光-电弧复合焊时异常声信号的提取方法，其特征在于，所述至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段，包括：
基于训练好的判别模型对任意两个所述片段特征进行处理，获取对应的片段特征差异度；
获取差异度大于第二预设阈值的异常片段特征候选集合；
基于词频-逆向文件频率算法对所述异常片段特征候选集合进行处理，将频率出现高于第三预设阈值的图谱片段确定为所述异常声音片段。
4.如权利要求1所述的激光-电弧复合焊时异常声信号的提取方法，其特征在于，所述声谱特征提取模型和判别模型为神经网络模型的子模型，所述神经网络模型包括第一声谱特征提取模型、第二声谱特征提取模型以及判别模型，所述第一声谱特征提取模型、第二声谱特征提取模型具有相同的模型结构；所述神经网络模型基于以下步骤进行训练：
获取训练集，所述训练集中包括多个声信号图谱对，且每个所述声信号图谱对中包含对应的第一图谱片段对应的片段特征、第二图谱片段对应的片段特征以及标签值，所述标签值反映第一图谱片段和第二图谱片段之间的差异度；
基于所述训练集，通过多轮迭代来训练第一初始模型，以生成训练好的神经网络模型；
其中，所述第一初始模型包括初始化的第一声谱特征提取模型、初始化的第二声谱特征提取模型以及初始化的判别模型。
5.如权利要求4所述的激光-电弧复合焊时异常声信号的提取方法，其特征在于，所述多轮迭代训练得到训练好的神经网络模型，其中每轮迭代包括：
获取前一轮迭代中更新后的第一初始模型；
对每个所述声信号图谱对，
利用更新后的第一声谱特征提取模型处理第一图谱片段，获得对应的第一片段特征；
利用更新后的第二声谱特征提取模型处理第二图谱片段，获得对应的第二片段特征；
利用更新后的判别模型处理所述第一片段特征和所述第二片段特征，生成判别结果，所述判别结果用以反映第一片段特征和第二片段特征的差异度；
基于所述判别结果以及所述标签值判断是否进行下一轮迭代或者就此确定训练好的神经网络模型。
6.如权利要求1-5任一项所述的激光-电弧复合焊时异常声信号的提取方法，其特征在于，所述基值周期还基于所述激光脉冲周期确定。
7.一种激光-电弧复合焊时异常声信号的提取系统，其特征在于，包括声信号图谱获取模块、基值周期确定模块、子图谱特征获取模块、子图谱相似度确认模块、声信号图谱划分模块、图谱片段特征获取模块和异常声音片段获取模块，其中：
所述声信号图谱获取模块用于获取激光-电弧复合焊过程中的声信号图谱；
所述基值周期确定模块用于确定激光-电弧复合焊过程中对应的基值周期，所述基值周期至少基于焊接电流变化周期预设值确定；
所述子图谱特征获取模块用于获取第一个基值周期对应的声信号图谱，并将其划分为N个时长相同的子图谱，基于训练好的声谱特征提取模型处理所述子图谱，生成对应的N个子图谱特征；
所述子图谱相似度确认模块用于按时间顺序对所述N个子图谱特征进行排序，将每个子图谱特征与其相邻右接的子图谱特征进行对比，获取(N-1)个子图谱相似度，依此确定子图谱相似度最小值；
所述声信号图谱划分模块用于将所述子图谱相似度最小值对应的左侧子图谱确定为跳变点，以所述跳变点为起点，以所述基值周期为划分阈值，将所述声信号图谱划分为M个图谱片段；
所述图谱片段特征获取模块用于基于训练好的声谱特征提取模型获取所述M个图谱片段对应的片段特征；
所述异常声音片段获取模块用于至少基于训练好的判别模型处理所述M个片段特征，以从所述M个图谱片段中筛选得到异常声音片段，其中，所述声谱特征提取模型是训练好的卷积神经网络模型，所述判别模型是训练好的分类器模型，所述声谱特征提取模型和所述判别模型基于联合训练的方式得到。
8.一种激光-电弧复合焊时异常声信号的提取装置，其特征在于，包括处理器，所述处理器用于执行如权利要求1-6任一项所述的激光-电弧复合焊时异常声信号的提取方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的激光-电弧复合焊时异常声信号的提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111657010.9A CN114131202B (zh) | 2021-12-30 | 2021-12-30 | 激光-电弧复合焊时异常声信号的提取方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111657010.9A CN114131202B (zh) | 2021-12-30 | 2021-12-30 | 激光-电弧复合焊时异常声信号的提取方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114131202A true CN114131202A (zh) | 2022-03-04 |
| CN114131202B CN114131202B (zh) | 2022-09-20 |
Family
ID=80383867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111657010.9A Active CN114131202B (zh) | 2021-12-30 | 2021-12-30 | 激光-电弧复合焊时异常声信号的提取方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114131202B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015129868A (ja) * | 2014-01-08 | 2015-07-16 | Ｐｓソリューションズ株式会社 | 音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラム |
| CN105810213A (zh) * | 2014-12-30 | 2016-07-27 | 浙江大华技术股份有限公司 | 一种典型异常声音检测方法及装置 |
| CN106583927A (zh) * | 2016-12-13 | 2017-04-26 | 苏州大学 | 一种激光‑电弧复合焊接在线监测方法 |
| CN106950482A (zh) * | 2017-05-09 | 2017-07-14 | 广东电网有限责任公司珠海供电局 | 一种基于相间信号图谱相似关系的电晕干扰排除方法 |
| US20180174302A1 (en) * | 2015-06-11 | 2018-06-21 | Mirada Medical Limited | Selection of a subset of atlases from a set of candidate atlases |
| CN109473120A (zh) * | 2018-11-14 | 2019-03-15 | 辽宁工程技术大学 | 一种基于卷积神经网络的异常声音信号识别方法 |
| US20200251127A1 (en) * | 2019-02-06 | 2020-08-06 | Hitachi, Ltd. | Abnormal sound detection device and abnormal sound detection method |
| CN112560822A (zh) * | 2021-02-23 | 2021-03-26 | 江苏聆世科技有限公司 | 一种基于卷积神经网络的道路声信号分类方法 |
-
2021
- 2021-12-30 CN CN202111657010.9A patent/CN114131202B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015129868A (ja) * | 2014-01-08 | 2015-07-16 | Ｐｓソリューションズ株式会社 | 音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラム |
| CN105810213A (zh) * | 2014-12-30 | 2016-07-27 | 浙江大华技术股份有限公司 | 一种典型异常声音检测方法及装置 |
| US20180174302A1 (en) * | 2015-06-11 | 2018-06-21 | Mirada Medical Limited | Selection of a subset of atlases from a set of candidate atlases |
| CN106583927A (zh) * | 2016-12-13 | 2017-04-26 | 苏州大学 | 一种激光‑电弧复合焊接在线监测方法 |
| CN106950482A (zh) * | 2017-05-09 | 2017-07-14 | 广东电网有限责任公司珠海供电局 | 一种基于相间信号图谱相似关系的电晕干扰排除方法 |
| CN109473120A (zh) * | 2018-11-14 | 2019-03-15 | 辽宁工程技术大学 | 一种基于卷积神经网络的异常声音信号识别方法 |
| US20200251127A1 (en) * | 2019-02-06 | 2020-08-06 | Hitachi, Ltd. | Abnormal sound detection device and abnormal sound detection method |
| CN112560822A (zh) * | 2021-02-23 | 2021-03-26 | 江苏聆世科技有限公司 | 一种基于卷积神经网络的道路声信号分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114131202B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472418B (zh) | 基于卡尔曼滤波的机动目标状态预测优化方法 | |
| CN106529701B (zh) | 基于改进的萤火虫算法优化神经网络的光纤状态预测方法 | |
| US20210064995A1 (en) | Method, device and computer program for creating a pulsed neural network | |
| CN112437451B (zh) | 一种基于生成对抗网络的无线网络流量预测方法和设备 | |
| CN109991591B (zh) | 基于深度学习的定位方法、装置、计算机设备及存储介质 | |
| CN114131202B (zh) | 激光-电弧复合焊时异常声信号的提取方法、系统及装置 | |
| Edelen et al. | Machine learning models for optimization and control of x-ray free electron lasers | |
| Kemna et al. | Adaptive informative sampling with autonomous underwater vehicles: Acoustic versus surface communications | |
| CN107273692B (zh) | 一种传感器感知能力受限的随机集理论的分布式融合方法 | |
| Cipriani et al. | A bi-level gradient approximation method for dynamic traffic demand estimation: sensitivity analysis and adaptive approach | |
| Gupta et al. | Optimal path planning for UAV using NSGA-II based metaheuristic for sensor data gathering application in wireless sensor networks | |
| CN113222250A (zh) | 基于卷积神经网络的大功率激光装置输出波形预测方法 | |
| US20220376802A1 (en) | Communication speed prediction apparatus, communication speed prediction method and recording medium | |
| CN106406082B (zh) | 一种系统控制方法、装置，控制器及控制系统 | |
| Mezaache et al. | Optimization of welding input parameters using PSO technique for minimizing HAZ width in GMAW | |
| CN108875245B (zh) | 基于glmb滤波器的多传感器自适应角度控制方法 | |
| RU2019145038A (ru) | Способы и процессоры для управления рулением беспилотным автомобилем | |
| Sato et al. | People flow prediction by multi-agent simulator | |
| KR20230072793A (ko) | 미세먼지 및 초미세먼지 예측을 위한 서비스 제공 장치 및 방법 | |
| Garcia et al. | Alfvén eigenmode detection using Long-Short Term Memory Networks and CO 2 Interferometer data on the DIII-D National Fusion Facility | |
| US11323858B2 (en) | Position delegation for improved vehicular cloud operation | |
| CN114912653A (zh) | 一种基于自适应啁啾模态分解和SSA-BiLSTM的短期负荷组合预测方法 | |
| CN113435083A (zh) | 基于机器学习的增材制造残余应力与变形预测方法和系统 | |
| Manjunath et al. | Adaptive Task Scheduling Procedure By Using Improvised Q-Learning Technique In Internet Of Things | |
| Sharma et al. | Optimizing QoS parameters using computational intelligence in MANETS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |