CN113571092B - 一种发动机异响识别方法及其相关设备 - Google Patents

一种发动机异响识别方法及其相关设备 Download PDF

Info

Publication number
CN113571092B
CN113571092B CN202110796048.8A CN202110796048A CN113571092B CN 113571092 B CN113571092 B CN 113571092B CN 202110796048 A CN202110796048 A CN 202110796048A CN 113571092 B CN113571092 B CN 113571092B
Authority
CN
China
Prior art keywords
abnormal sound
audio
feature
audio data
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110796048.8A
Other languages
English (en)
Other versions
CN113571092A (zh
Inventor
陈野
张骞
杨明
葛一帆
郝佰田
邰冲
周欣如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN202110796048.8A priority Critical patent/CN113571092B/zh
Publication of CN113571092A publication Critical patent/CN113571092A/zh
Application granted granted Critical
Publication of CN113571092B publication Critical patent/CN113571092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M15/00Testing of engines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本申请实施例公开了一种发动机异响识别方法及其相关设备,该方法包括:在获取到待识别声音信号之后,先按照预设窗口参数从该待识别声音信号中提取出至少一个待使用音频数据;再对该至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;最后,根据该至少一个待使用音频特征和预先构建的异响识别模型,确定该待识别声音信号的异响识别结果,以使该异响识别结果能够准确地表示出该待识别声音信号中是否存在异响,如此能够尽可能地克服避免人工识别发动机异响存在的缺陷,从而能够提高发动机异响识别的准确性,进而有利于提高车辆故障诊断的准确性。

Description

一种发动机异响识别方法及其相关设备
技术领域
本申请涉及车辆技术领域,具体涉及一种发动机异响识别方法及其相关设备。
背景技术
当车辆发生一些故障时,该车辆的发动机将会发出异响。例如,若车辆处于机油耗尽或润滑不到位的故障状态,则在该车辆怠速时该车辆的发动机会发出“嗒嗒”的异响声,这是由于零件碰撞而产生的。可见,发动机异响识别的准确性可以影响车辆故障诊断的准确性。
目前,发动机异响通常是由车辆维修人员凭借工作经验进行识别的,使得发动机异响识别的准确性较低,如此导致车辆故障诊断的准确性也较低。
发明内容
有鉴于此,本申请实施例提供一种发动机异响识别方法及其相关设备,能够提高发动机异响识别的准确性,如此有利于提高车辆故障诊断的准确性。
为解决上述问题,本申请实施例提供的技术方案如下:
本申请实施例提供了一种发动机异响识别方法,所述方法包括:
获取待识别声音信号;
按照预设窗口参数从所述待识别声音信号中提取出至少一个待使用音频数据;
对所述至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;
根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果;其中,所述异响识别模型是根据至少一个样本声音信号和所述至少一个样本声音信号对应的标签信息进行构建的;所述样本声音信号对应的标签信息用于标记所述样本声音信号中是否存在异响。
在一种可能的实施方式中,所述异响识别模型包括N个识别层,且第m个识别层的输入数据包括第m-1个识别层的输出数据;其中,m为正整数,2≤m≤N,N为正整数;
所述根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果,包括:
从所述至少一个待使用音频特征中筛选出N个待识别音频特征;
将所述N个待识别音频特征输入所述异响识别模型,得到所述异响识别模型输出的所述待识别声音信号的异响识别结果。
在一种可能的实施方式中,所述待识别声音信号的异响识别结果的确定过程,包括:
将第1个待识别音频特征输入第1个识别层,得到所述第1个识别层输出的异响识别结果;
将第m-1个识别层输出的异响识别结果和第m个待识别音频特征输入第m个识别层,得到所述第m个识别层输出的异响识别结果;其中,m为正整数,2≤m≤N,N为正整数;
将所述第N个识别层输出的异响识别结果,确定为所述待识别声音信号的异响识别结果。
在一种可能的实施方式中,若第m个待识别音频特征包括C个通道特征,则所述第m个识别层输出的异响识别结果的确定过程,包括:
根据所述第m-1个识别层输出的异响识别结果、预设状态转移矩阵和所述第m个待识别音频特征中第c个通道特征,得到所述第c个通道特征对应的异响识别结果;其中,c为正整数,c≤C,C为正整数;
根据所述第m个待识别音频特征中第1个通道特征对应的异响识别结果至所述第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定所述第m个识别层输出的异响识别结果。
在一种可能的实施方式中,若所述异响识别结果包括正常预测概率和异响预测概率,则所述根据所述第m个待识别音频特征中第1个通道特征对应的异响识别结果至所述第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定所述第m个识别层输出的异响识别结果,包括:
对所述第m个待识别音频特征中第1个通道特征对应的正常预测概率至所述第m个待识别音频特征中第C个通道特征对应的正常预测概率进行最大值筛选,得到所述第m个识别层输出的正常预测概率;
对所述第m个待识别音频特征中第1个通道特征对应的异响预测概率至所述第m个待识别音频特征中第C个通道特征对应的异响预测概率进行最大值筛选,得到所述第m个识别层输出的异响预测概率。
在一种可能的实施方式中,若所述异响识别结果包括正常预测概率和异响预测概率,则所述第c个通道特征对应的异响识别结果的确定过程,包括:
确定所述第c个通道特征对应的第一条件概率和所述第c个通道特征对应的第二条件概率;其中,所述第c个通道特征对应的第一条件概率用于表示在发动机正常状态下出现所述第c个通道特征的发生概率;所述第c个通道特征对应的第二条件概率用于表示在发动机异响状态下出现所述第c个通道特征的发生概率;
根据所述第m-1个识别层输出的正常预测概率、预设状态转移矩阵和所述第c个通道特征对应的第一条件概率,确定所述第c个通道特征对应的正常预测概率;
根据所述第m-1个识别层输出的异响预测概率、预设状态转移矩阵和所述第c个通道特征对应的第二条件概率,确定所述第c个通道特征对应的异响预测概率。
在一种可能的实施方式中,若所述预设状态转移矩阵包括正正转移概率和异异转移概率,则所述根据所述第m-1个识别层输出的正常预测概率、预设状态转移矩阵和所述第c个通道特征对应的第一条件概率,确定所述第c个通道特征对应的正常预测概率,包括:
将所述第m-1个识别层输出的正常预测概率、所述正正转移概率和所述第c个通道特征对应的第一条件概率之间的乘积,确定为所述第c个通道特征对应的正常预测概率;
所述根据所述第m-1个识别层输出的异响预测概率、预设状态转移矩阵和所述第c个通道特征对应的第二条件概率,确定所述第c个通道特征对应的异响预测概率,包括:
将所述第m-1个识别层输出的异响预测概率、所述异异转移概率和所述第c个通道特征对应的第二条件概率之间的乘积,确定为所述第c个通道特征对应的异响预测概率。
在一种可能的实施方式中,若所述第m个识别层的层参数包括正常状态对应的均值特征和所述正常状态对应的协方差特征,则所述第c个通道特征对应的第一条件概率是根据所述第c个通道特征与所述正常状态对应的均值特征之间的差值、以及所述正常状态对应的协方差特征进行确定的;
和/或,
若所述第m个识别层的层参数包括异响状态对应的均值特征和所述异响状态对应的协方差特征,则所述第c个通道特征对应的第二条件概率是根据所述第c个通道特征与所述异响状态对应的均值特征之间的差值、以及所述异响状态对应的协方差特征进行确定的。
在一种可能的实施方式中,所述异响识别模型的构建过程,包括:
按照所述预设窗口参数从所述至少一个样本声音信号中提取至少一个样本音频数据;
对所述至少一个样本音频数据分别进行特征提取,得到所述至少一个样本音频数据的音频特征;
根据所述至少一个样本声音信号对应的标签信息,确定所述至少一个样本音频数据对应的标签信息;
根据所述至少一个样本音频数据的音频特征和所述至少一个样本音频数据对应的标签信息,构建所述异响识别模型。
在一种可能的实施方式中,所述异响识别模型包括N个识别层,且所述根据所述至少一个样本音频数据的音频特征和所述至少一个样本音频数据对应的标签信息,构建所述异响识别模型,包括:
按照所述至少一个样本音频数据对应的标签信息,从所述至少一个样本音频数据的音频特征中筛选出至少一个正常音频特征和至少一个异响音频特征;
根据所述至少一个正常音频特征,确定所述正常状态对应的协方差特征以及所述正常状态对应的均值特征;
根据所述至少一个异响音频特征,确定所述异响状态对应的协方差特征以及所述异响状态对应的均值特征;
根据所述正常状态对应的协方差特征、所述正常状态对应的均值特征、所述异响状态对应的协方差特征以及所述异响状态对应的均值特征,确定所述第n个识别层;其中,n为正整数,n≤N,N为正整数;
根据第1个识别层至第N个识别层,确定所述异响识别模型。
在一种可能的实施方式中,若所述至少一个样本声音信号包括至少一个正常声音信号和至少一个异响声音信号,则所述按照所述预设窗口参数从所述至少一个样本声音信号中提取至少一个样本音频数据,包括:
按照所述预设窗口参数从所述至少一个正常声音信号中提取至少一个正常音频数据;
按照所述预设窗口参数从所述至少一个异响声音信号中提取至少一个待筛选音频数据;
从所述至少一个待筛选音频数据中筛选出至少一个异响音频数据;
根据所述至少一个正常音频数据和所述至少一个异响音频数据,确定所述至少一个样本音频数据。
在一种可能的实施方式中,若所述至少一个样本音频数据包括所述至少一个正常音频数据和所述至少一个异响音频数据,则所述根据所述至少一个样本声音信号对应的标签信息,确定所述至少一个样本音频数据对应的标签信息,包括:
根据所述至少一个正常声音信号对应的标签信息,确定所述至少一个正常音频数据对应的标签信息;
根据所述至少一个异响声音信号对应的标签信息,确定所述至少一个异响音频数据对应的标签信息。
在一种可能的实施方式中,所述预设窗口参数包括窗口尺寸和相邻位置间隔,且所述相邻位置间隔为所述窗口尺寸与预设系数之间的乘积,且0<所述预设系数≤1。
在一种可能的实施方式中,所述方法还包括:
对所述待识别声音信号进行预处理,得到预处理后音频数据;
所述按照预设窗口参数从所述待识别声音信号中提取出至少一个待使用音频数据,包括:
按照预设窗口参数从所述预处理后音频数据中提取出至少一个待使用音频数据。
在一种可能的实施方式中,若所述预处理包括数字化处理和滤波处理,则所述对所述待识别声音信号进行预处理,得到预处理后音频数据,包括:
对所述待识别声音信号进行数字化处理,得到所述待识别声音信号对应的数字化音频数据;
对所述待识别声音信号对应的数字化音频数据进行滤波处理,得到所述预处理后音频数据。
本申请实施例还提供了一种发动机异响识别装置,包括:
信号获取单元,用于获取待识别声音信号;
数据提取单元,用于按照预设窗口参数从所述待识别声音信号中提取出至少一个待使用音频数据;
特征提取单元,用于对所述至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;
异响识别单元,用于根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果;其中,所述异响识别模型是根据至少一个样本声音信号和所述至少一个样本声音信号对应的标签信息进行构建的;所述样本声音信号对应的标签信息用于标记所述样本声音信号中是否存在异响。
本申请实施例还提供了一种发动机异响识别设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请实施例提供的发动机异响识别方法的任一实施方式。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行本申请实施例提供的发动机异响识别方法的任一实施方式。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行本申请实施例提供的发动机异响识别方法的任一实施方式。
由此可见,本申请实施例具有如下有益效果:
本申请实施例提供的技术方案中,在获取到待识别声音信号之后,先按照预设窗口参数从该待识别声音信号中提取出至少一个待使用音频数据;再对该至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;最后,根据该至少一个待使用音频特征和预先构建的异响识别模型,确定该待识别声音信号的异响识别结果,以使该异响识别结果能够准确地表示出该待识别声音信号中是否存在异响。
可见,因异响识别模型是根据至少一个样本声音信号和该至少一个样本声音信号对应的标签信息进行构建的,使得该异响识别模型具有较好的异响识别性能,从而使得由该异响识别模型针对该待识别声音信号确定的异响识别结果能够准确地表示出该待识别声音信号中是否存在异响,如此能够尽可能地克服避免人工识别发动机异响存在的缺陷,从而能够提高发动机异响识别的准确性,进而有利于提高车辆故障诊断的准确性。
附图说明
图1为本申请实施例提供的一种发动机异响识别方法的流程图;
图2为本申请实施例提供的一种待使用音频数据的提取过程示意图;
图3为本申请实施例提供的一种异响识别模型的结构示意图;
图4为本申请实施例提供的一种适用于异响识别模型的隐马尔可夫链示意图;
图5为本申请实施例提供的一种发动机异响识别装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在针对发动机异响识别的研究中发现,在一些情况下,可以由车辆维修人员凭借工作经验进行发动机异响识别。但是,因不同车辆维修人员所具有的工作经验不同,导致不同车辆维修人员针对同一个发动机给出的异响识别结果也不同,如此导致发动机异响识别的准确性较低,从而导致车辆故障诊断的准确性也较低。
基于上述发现,为了解决背景技术部分的技术问题,本申请实施例提供了一种发动机异响识别方法,该方法包括:获取待识别声音信号;按照预设窗口参数从该待识别声音信号中提取出至少一个待使用音频数据;对该至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;根据该至少一个待使用音频特征和预先构建的异响识别模型,确定该待识别声音信号的异响识别结果,以使该异响识别结果能够准确地表示出该待识别声音信号中是否存在异响,如此能够尽可能地克服人工识别发动机异响存在的缺陷,从而能够提高发动机异响识别的准确性,进而有利于提高车辆故障诊断的准确性。
另外,本申请实施例不限定发动机异响识别方法的执行主体,例如,本申请实施例提供的发动机异响识别方法可以应用于终端设备或服务器等数据处理设备。其中,终端设备可以为智能手机、计算机、个人数字助理(Personal Digital Assitant,PDA)或平板电脑等。服务器可以为独立服务器、集群服务器或云服务器。
为了便于理解本申请,下面结合附图对本申请实施例提供的发动机异响识别方法进行说明。
参见图1,该图为本申请实施例提供的一种发动机异响识别方法的流程图,该发动机异响识别方法可以包括S1-S4:
S1:获取待识别声音信号。
其中,待识别声音信号是指针对待识别车辆采集的发动机声音信号;而且该待识别车辆是指需要进行发动机异响识别处理的车辆。需要说明的是,待识别声音信号可以是模拟信号,也可以是数字信号,本申请实施例对此不做具体限定。
另外,本申请实施例不限定待识别声音信号,例如,该待识别声音信号可以包括C个通道的声音信号。其中,C为正整数。例如,若待识别声音信号是由双声道拾音设备采集的,则该待识别声音信号可以包括2个通道的声音信号(如,左声道的声音信号和右声道的声音信号)。
此外,本申请实施例不限定待识别声音信号的获取方式,例如,其具体可以包括:先由预设拾音设备采集待识别车辆的发动机声音;再由该预设拾音设备将采集到的发动机声音信号作为待识别声音信号,发送给用于执行“发动机异响识别方法”的电子设备(如,终端设备或服务器等),以使该电子设备能够依据该待识别声音信号,确定该待识别车辆的发动机声音信号中是否存在异响。
S2:按照预设窗口参数从待识别声音信号中提取出至少一个待使用音频数据。
其中,预设窗口参数用于描述针对待识别声音信号进行音频数据提取时所使用的滑动窗口的相关信息;而且该滑动窗口可以通过在该待识别声音信号进行滑动的方式(如图2所示)提取出各个待使用音频数据。
另外,本申请实施例不限定预设窗口参数,例如,在一种可能的实施方式中,预设窗口参数可以包括窗口尺寸和相邻位置间隔。
窗口尺寸用于表示滑动窗口的大小。例如,若窗口尺寸为Wsize,且待识别声音信号对应的音频采样率为f,则一个滑动窗口可以包括Wsize×f帧音频数据。
另外,本申请实施例不限定窗口尺寸,例如,因一次发动机异响通常会持续一段时间,故为了避免利用滑动窗口采集到不完整的异响信号,该窗口尺寸可以为异响持续时长与预设倍数之间的乘积。其中,异响持续时长可以利用大数据挖掘的方式从大量发动机异响信号中确定出。预设倍数可以预先设定(例如,预设倍数可以为2倍)。
相邻位置间隔用于表示滑动窗口在待识别声音信号中相邻两次出现位置之间的间隔(如图2所示的Winterval)。
本申请实施例不限定窗口尺寸与相邻位置间隔之间的大小关系,例如,为了避免遗漏声音信息,相邻位置间隔可以不大于窗口尺寸(也就是,Winterval≤Wsize),也就是,提取位置相邻的两个待使用音频数据之间存在重叠部分。又如,为了避免利用滑动窗口采集到不完整的异响信号,相邻位置间隔可以为窗口尺寸与预设系数之间的乘积,且0<预设系数≤1(也就是,Winterval=Wsize×RWindow)。其中,RWindow表示预设系数。
其中,预设系数可以预先设定;而且预设系数与利用滑动窗口采集到不完整的异响信号的可能性之间呈反比,其具体为:若预设系数越大,则利用滑动窗口采集到不完整的异响信号的可能性越小;若预设系数越小,则利用滑动窗口采集到不完整的异响信号的可能性越大。基于此,为了兼顾异响识别效率以及异响识别准确性,预设系数可以是0.5。
待使用音频数据是指利用滑动窗口从待识别声音信号中提取出来的音频数据;而且该待使用音频数据的大小是由窗口尺寸确定的。例如,若窗口尺寸为Wsize,且待识别声音信号对应的音频采样率为f,则该待使用音频数据可以包括Wsize×f帧音频数据。
另外,本申请实施例不限定待使用音频数据的个数,例如,该待使用音频数据的个数可以根据待识别声音信号中音频数据的个数和预设窗口参数确定,以使所有待使用音频数据能够全部覆盖该待识别声音信号携带的所有声音信息。
此外,本申请实施例不限定上文“至少一个待使用音频数据”的获取方式,例如,可以采用图2所示的提取方式进行实施。又如,可以采用下文S5-S6所示的过程进行实施。
基于上述S2的相关内容可知,在获取到待识别声音信号之后,可以由滑动窗口按照预设窗口参数从该待识别声音信号中提取出至少一个待使用音频数据,以使该至少一个待使用音频数据能够准确地表示出该待识别声音信号携带的所有声音信息,从而使得后续能够基于该至少一个待使用音频数据携带的声音信息,确定该待识别声音信号中是否存在异响。
S3:对至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征。
其中,第q个待使用音频特征用于表示第q个待使用音频数据携带的声音信息。q为正整数,q≤Q,Q为正整数,Q表示待使用音频数据的个数。
另外,本申请实施例不限定第q个待使用音频特征的确定过程,例如,该第q个待使用音频特征的确定过程具体可以包括步骤11-步骤12:
步骤11:针对第q个待使用音频数据进行统计分析,得到该第q个待使用音频数据对应的统计特征。
其中,统计分析用于分析一个音频数据的预设统计信息(如,均值、方差、偏度、峰度及离散傅立叶变换频谱图中6个最大峰值)。另外,本申请实施例不限定“统计分析”的实施方式。
第q个待使用音频数据对应的统计特征是指该第q个待使用音频数据的预设统计信息(如,均值、方差、偏度、峰度及离散傅立叶变换频谱图中6个最大峰值)。
另外,本申请实施例不限定第q个待使用音频数据对应的统计特征,例如,该第q个待使用音频数据对应的统计特征可以包括该第q个待使用音频数据的均值、该第q个待使用音频数据的方差、该第q个待使用音频数据的偏度、该第q个待使用音频数据的峰度以及该第q个待使用音频数据的离散傅立叶变换频谱图中6个最大峰值。
此外,本申请实施例不限定第q个待使用音频数据对应的统计特征的表示方式,例如,该第q个待使用音频数据对应的统计特征可以利用向量的方式进行表示。
步骤12:针对第q个待使用音频数据对应的统计特征进行归一化处理,得到第q个待使用音频特征。
本申请实施例不限定“归一化处理”的实施方式,可以采用现有的或者未来出现的任一种能够针对多个数据进行归一化处理的方法进行实施。
基于上述步骤11至步骤12的相关内容可知,在获取到第q个待使用音频数据之后,可以先对该第q个待使用音频数据进行统计分析,得到该第q个待使用音频数据对应的统计特征;再对该统计特征进行归一化处理,得到第q个待使用音频特征,以使该第q个待使用音频特征能够准确地表示出该第q个待使用音频数据携带的声音信息。其中,q为正整数,q≤Q,Q为正整数,Q表示待使用音频数据的个数。
基于上述S3的相关内容可知,在获取到至少一个待使用音频数据之后,可以针对各个待使用音频数据分别进行特征提取(如,步骤11-步骤12所示的特征提取过程),得到各个待使用音频数据的提取特征,并将各个待使用音频数据的提取特征均确定为待使用音频特征,以便后续能够从这些待使用音频特征中识别出待识别声音信号中是否存在异响。
S4:根据至少一个待使用音频特征和预先构建的异响识别模型,确定待识别声音信号的异响识别结果。
其中,异响识别模型用于针对该异响识别模型的输入数据进行异响识别处理;而且该异响识别模型可以根据至少一个样本声音信号和该至少一个样本声音信号对应的标签信息进行构建。
一个样本声音信号对应的标签信息用于标记该样本声音信号中是否存在异响。另外,本申请实施例不限定标签信息,例如,若一个样本声音信号中不存在异响,则可以将字符“a”确定为该样本声音信号对应的标签信息;若一个样本声音信号中存在异响,则可以将字符“b”确定为该样本声音信号对应的标签信息。
本申请实施例不限定异响识别模型的模型结构,例如,其可以采用下文图3所示的模型结构进行实施。另外,本申请实施例也不限定异响识别模型的构建过程,例如,其可以采用下文步骤51-步骤54所示的构建过程进行实施。
待识别声音信号的异响识别结果用于表示该待识别声音信号中是否存在异响。
另外,本申请实施例不限定“异响识别结果”的表示方式,例如,当“异响识别结果”包括正常预测概率和异响预测概率时,若正常预测概率高于异响预测概率,则表示该待识别声音信号中不存在异响;若正常预测概率不高于(也就是,等于或者低于)异响预测概率,则表示该待识别声音信号中存在异响。其中,“正常预测概率”用于表示一个声音信号(如,待识别声音信号)中不存在异响的可能性。“异响预测概率”用于表示一个声音信号(如,待识别声音信号)中存在异响的可能性。
本申请实施例不限定S4的实施方式,例如,S4具体可以包括:将至少一个待使用音频特征输入预先构建的异响识别模型,得到该异响识别模型输出的待识别声音信号的异响识别结果。又如,S4可以采用下文步骤21-步骤22所示的过程进行实施。
基于上述S1至S4的相关内容可知,对于本申请实施例提供的发动机异响识别方法中,在获取到待识别声音信号之后,先按照预设窗口参数从该待识别声音信号中提取出至少一个待使用音频数据;再对该至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;最后,根据该至少一个待使用音频特征和预先构建的异响识别模型,确定该待识别声音信号的异响识别结果,以使该异响识别结果能够准确地表示出该待识别声音信号中是否存在异响。
可见,因异响识别模型是根据至少一个样本声音信号和该至少一个样本声音信号对应的标签信息进行构建的,使得该异响识别模型具有较好的异响识别性能,从而使得由该异响识别模型针对该待识别声音信号确定的异响识别结果能够准确地表示出该待识别声音信号中是否存在异响,如此能够尽可能地克服避免人工识别发动机异响存在的缺陷,从而能够提高发动机异响识别的准确性,进而有利于提高车辆故障诊断的准确性。
在一种可能的实施方式中,为了提高发动机异响识别的准确性,可以在针对待识别声音信号进行发动机异响识别处理之前,先对该待识别声音信号进行预处理,以使预处理后的声音信号能够更准确地表示出该待识别声音信号中是否存在异响。基于此,本申请实施例还提供了另外一种发动机异响识别方法,该方法除了包括上述S1、S3以及S4以外,还包括S5和S6:
S5:对待识别声音信号进行预处理,得到预处理后音频数据。
其中,预处理是指预先设定的用于处理待识别声音信号的过程;而且,本申请实施例不限定预处理,例如,预处理包括数字化处理和/或滤波处理。
另外,本申请实施例不限定S5的实施方式,例如,若待识别声音信号为模拟信号,且预处理包括数字化处理和滤波处理,则S5具体可以包括S51-S52:
S51:对待识别声音信号进行数字化处理,得到该待识别声音信号对应的数字化音频数据。
本申请实施例不限定数字化处理的实施方式,可以采用现有的或者未来出现的任一种能够针对模拟声音信号进行数字化处理的方法进行实施。
S52:对待识别声音信号对应的数字化音频数据进行滤波处理,得到预处理后音频数据。
本申请实施例不限定滤波处理的实施方式,可以采用现有的或者未来出现的任一种能够针对数字声音信号进行滤波处理的方法(例如,公式(1)所示的5阶移动平均滤波方法)进行实施。
式中,表示预处理后音频数据/>中第l帧音频数据;/>表示预处理后音频数据,且/> 表示待识别声音信号对应的数字化音频数据/>中第l帧音频数据;/>表示待识别声音信号对应的数字化音频数据,且/>l为正整数,l≤L,L为正整数,L表示预处理后音频数据中音频数据的帧数。
基于上述S5的相关内容可知,在获取到待识别声音信号之后,可以针对该待识别声音信号进行预处理(如,数字化处理和/或滤波处理),得到预处理后音频数据,以使该预处理后音频数据能够更准确地表示出该待识别声音信号携带的声音信息,从而使得基于该预处理后音频数据确定出的异响识别结果能够更准确地表示出该待识别声音信号中是否存在异响,如此有利于提高异响识别准确性。
S6:按照预设窗口参数从预处理后音频数据中提取出至少一个待使用音频数据。
需要说明的是,S6的相关内容请参见上文S2的相关内容,只需将上文S2的相关内容中“待识别声音信号”替换为“预处理后音频数据”即可。
基于上述S5至S6的相关内容可知,在获取到待识别声音信号之后,可以先针对该待识别声音信号进行预处理,得到预处理后音频数据,以使该预处理后音频数据能够更准确地表示出该待识别声音信号携带的声音信息;再针对该预处理后音频数据依次进行音频数据提取、音频特征提取以及异响识别处理等,得到该待识别声音信号的异响识别结果,以使该异响识别结果能够更准确地表示出该待识别声音信号中是否存在异响,如此有利于提高异响识别准确性。
在一种可能的实施方式中,因待识别声音信号(或者预处理后音频数据)中各个音频数据具有时间顺序,使得从该待识别声音信号(或者预处理后音频数据)提取的至少一个待使用音频特征也具有时间顺序,故为了提高发动机异响识别准确性,可以参考隐马尔可夫链设计异响识别模型的模型结构,以使该异响识别模型能够参考至少一个待使用音频特征之间的时间顺序进行异常识别处理。
基于此,本申请实施例还提供了一种异响识别模型,如图3所示,该异响识别模型包括N个识别层,且第m个识别层的输入数据包括第m-1个识别层的输出数据;其中,m为正整数,2≤m≤N,N为正整数。
为了便于理解图3所示的异响识别模型的工作原理,下面以待识别声音信号的异响识别结果的确定过程为例进行说明。
作为示例,利用图3所示的异响识别模型确定待识别声音信号的异响识别结果的过程,具体可以包括步骤21-步骤22:
步骤21:从至少一个待使用音频特征中筛选出N个待识别音频特征。
实际上,待识别声音信号中可能存在多段异响,故为了提高发动机异响识别效率,可以利用待识别声音信号中部分音频数据进行发动机异响识别处理。基于此可知,在获取到至少一个待使用音频特征之后,可以从该至少一个待使用音频特征中筛选出N个待识别音频特征(例如,将该至少一个待使用音频特征中前N个待使用音频特征,确定为N个待识别音频特征),以使该N个待识别音频特征用于代表该待识别声音信号,从而使得后续能够从该N个待识别音频特征中确定出该待识别声音信号中是否存在异响。需要说明的是,本申请实施例不限定N,例如,N=3。
另外,为了提高异响识别准确性,上述“N个待识别音频特征”可以满足以下条件:第m个待识别音频特征对应的提取位置与第m-1个待识别音频特征对应的提取位置相邻,且该第m个待识别音频特征对应的提取时间晚于该第m-1个待识别音频特征对应的提取时间;其中,m为正整数,2≤m≤N,N为正整数。
其中,“第m个待识别音频特征对应的提取位置”用于表示第m个待识别音频数据在待识别声音信号(或者,预处理后音频数据)中所处位置。“第m-1个待识别音频特征对应的提取位置”用于表示第m-1个待识别音频数据在待识别声音信号(或者,预处理后音频数据)中所处位置。“第m个待识别音频特征对应的提取时间”用于表示从待识别声音信号(或者,预处理后音频数据)中提取出第m个待识别音频数据的发生时间。“第m-1个待识别音频特征对应的提取时间”用于表示从待识别声音信号(或者,预处理后音频数据)中提取出第m-1个待识别音频数据的发生时间。
也就是,满足上述条件的“N个待识别音频特征”能够符合待识别声音信号中不同声音信息的出现次序以及连续性,以便后续异响识别模型能够参考待识别声音信号中不同声音信息的出现次序以及连续性进行异响识别处理。
步骤22:将N个待识别音频特征输入异响识别模型,得到该异响识别模型输出的待识别声音信号的异响识别结果。
作为示例,步骤22具体可以包括步骤221-步骤223:
步骤221:将第1个待识别音频特征输入第1个识别层,得到该第1个识别层输出的异响识别结果。
其中,第1个识别层输出的异响识别结果用于表示第1个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据中是否存在异响)。需要说明的是,一个待识别音频特征是针对该待识别音频特征对应的待使用音频数据进行特征提取得到的。
另外,第1个识别层用于针对该第1个识别层的输入数据进行异响识别处理。为了便于解释第1个识别层的工作原理,下面以“第1个识别层输出的异响识别结果”的确定过程为例进行说明。
作为示例,若第1个待识别音频特征包括C个通道特征,则“第1个识别层输出的异响识别结果”的确定过程可以包括步骤31-步骤32:
步骤31:根据初始状态概率和第1个待识别音频特征中第c个通道特征,确定该第1个待识别音频特征中第c个通道特征对应的异响识别结果。其中,c为正整数,c≤C,C为正整数。
初始状态概率可以包括正常初始概率和异响初始概率。其中,正常初始概率用于表示发动机声音中不存在异响的发生概率。异响初始概率用于表示发动机声音中存在异响的发生概率。另外,本申请实施例不限定初始状态概率的获取方式,例如,初始状态概率可以是利用大量发动机声音信号进行统计分析得到的。
“第1个待识别音频特征中第c个通道特征对应的异响识别结果”用于描述该第1个待识别音频特征中第c个通道特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据中第c个通道音频数据是否存在异响)。
本申请实施例不限定步骤31的实施方式,例如,在一种可能的实施方式下,若异响识别结果包括正常预测概率和异响预测概率,则步骤31具体可以包括步骤311-步骤314:
步骤311:确定第1个待识别音频特征中第c个通道特征对应的第一条件概率。
其中,“第1个待识别音频特征中第c个通道特征对应的第一条件概率”用于表示在发动机正常状态下出现“第1个待识别音频特征中第c个通道特征”的发生概率。
另外,本申请实施例不限定“第1个待识别音频特征中第c个通道特征对应的第一条件概率”的确定过程,例如,其可以利用公式(2)进行确定。
式中,表示第1个待识别音频特征中第c个通道特征对应的第一条件概率;表示第1个待识别音频特征中第c个通道特征;ua表示正常状态对应的均值特征;Qa表示正常状态对应的协方差特征;d表示/>中特征个数(例如,若/>包括均值、方差、偏度、峰度及离散傅立叶变换频谱图的6个最大峰值,则d为10)。
另外,ua和Qa均是第1个识别层的层参数,故ua和Qa均可以在异响识别模型的构建过程确定。
步骤312:确定第1个待识别音频特征中第c个通道特征对应的第二条件概率。
其中,“第1个待识别音频特征中第c个通道特征对应的第二条件概率”用于表示在发动机异响状态下出现“第1个待识别音频特征中第c个通道特征”的发生概率。
另外,本申请实施例不限定“第1个待识别音频特征中第c个通道特征对应的第二条件概率”的确定过程,例如,其可以利用公式(3)进行确定。
式中,表示第1个待识别音频特征中第c个通道特征对应的第二条件概率;表示第1个待识别音频特征中第c个通道特征;ub表示异响状态对应的均值特征;Qb表示异响状态对应的协方差特征;d表示/>中特征个数。
另外,ub和Qb均是第1个识别层的层参数,故ub和Qb均可以在异响识别模型的构建过程确定。
步骤313:根据正常初始概率和第1个待识别音频特征中第c个通道特征对应的第一条件概率,确定该第1个待识别音频特征中第c个通道特征对应的正常预测概率。
本申请实施例中,在获取到“第1个待识别音频特征中第c个通道特征对应的第一条件概率”之后,可以根据该“第1个待识别音频特征中第c个通道特征对应的第一条件概率”和正常初始概率,确定该第1个待识别音频特征中第c个通道特征对应的正常预测概率(例如,可以将正常初始概率与该“第1个待识别音频特征中第c个通道特征对应的第一条件概率”之间的乘积,确定为该第1个待识别音频特征中第c个通道特征对应的正常预测概率),以使该正常概率能够准确地表示出该第1个待识别音频特征中第c个通道特征没有携带异响信息的可能性。
步骤314:根据异响初始概率和第1个待识别音频特征中第c个通道特征对应的第二条件概率,确定该第1个待识别音频特征中第c个通道特征对应的异响预测概率。
本申请实施例中,在获取到“第1个待识别音频特征中第c个通道特征对应的第二条件概率”之后,可以根据该“第1个待识别音频特征中第c个通道特征对应的第二条件概率”和异响初始概率,确定该第1个待识别音频特征中第c个通道特征对应的异响预测概率(例如,可以将异响初始概率与该“第1个待识别音频特征中第c个通道特征对应的第一条件概率”之间的乘积,确定为该第1个待识别音频特征中第c个通道特征对应的异响预测概率),以使该异响概率能够准确地表示出该第1个待识别音频特征中第c个通道特征携带有异响信息的可能性。
基于上述步骤31的相关内容可知,在获取到第1个待识别音频特征中第c个通道特征之后,可以参考初始状态概率来确定该第c个通道特征对应的异响识别结果,以使该异响识别结果能够准确地表示出该第c个通道特征是否携带有异响信息,以便后续能够基于该第c个通道特征对应的异响识别结果,确定出该第1个待识别音频特征是否携带有异响信息。其中,c为正整数,c≤C,C为正整数。
步骤32:根据第1个待识别音频特征中第1个通道特征对应的异响识别结果至该第1个待识别音频特征中第C个通道特征对应的异响识别结果,确定第1个识别层输出的异响识别结果。
作为示例,若异响识别结果包括正常预测概率和异响预测概率,则步骤32具体可以包括步骤321-步骤322:
步骤321:对第1个待识别音频特征中第1个通道特征对应的正常预测概率至该第1个待识别音频特征中第C个通道特征对应的正常预测概率进行最大值筛选,得到该第1个识别层输出的正常预测概率。
其中,第1个识别层输出的正常预测概率用于表示第1个待识别音频特征没有携带异响信息的可能性(也就是,第1个待识别音频特征对应的待使用音频数据中不存在异响的可能性)。
作为示例,若第1个待识别音频特征中第1个通道特征对应的正常预测概率为 该第1个待识别音频特征中第2个通道特征对应的正常预测概率为/> ……(以此类推)、第1个待识别音频特征中第C个通道特征对应的正常预测概率为则第1个识别层输出的正常预测概率可以利用公式(4)进行计算。
式中,表示第1个识别层输出的正常预测概率;max(·)表示取最大值;/>表示第1个待识别音频特征中第c个通道特征对应的第一条件概率,c为正整数,c≤C,C为正整数;θ表示正常初始概率。
步骤322:对第1个待识别音频特征中第1个通道特征对应的异响预测概率至第1个待识别音频特征中第C个通道特征对应的异响预测概率进行最大值筛选,得到第1个识别层输出的异响预测概率。
其中,第1个识别层输出的异响预测概率用于表示第1个待识别音频特征携带有异响信息的可能性(也就是,第1个待识别音频特征对应的待使用音频数据中存在异响的可能性)。
作为示例,若第1个待识别音频特征中第1个通道特征对应的异响预测概率为 该第1个待识别音频特征中第2个通道特征对应的异响预测概率为/> ……(以此类推)、第1个待识别音频特征中第C个通道特征对应的异响预测概率为则第1个识别层输出的异响预测概率可以利用公式(5)进行计算。
式中,表示第1个识别层输出的异响预测概率;max(·)表示取最大值;/>表示第1个待识别音频特征中第c个通道特征对应的第二条件概率,c为正整数,c≤C,C为正整数;β表示异响初始概率。
基于上述步骤32的相关内容可知,在获取到第1个待识别音频特征中第1个通道特征对应的异响识别结果至第C个通道特征对应的异响识别结果之后,可以综合该C个通道特征对应的异响识别结果,确定该第1个识别层输出的异响识别结果,以使该第1个识别层输出的异响识别结果能够准确地表示出第1个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据中是否存在异响)。
基于上述步骤221的相关内容可知,对于图3所示的异响识别模型来说,在该异响识别模型中第1个识别层获取到第1个待识别音频特征之后,该第1个识别层能够参考初始状态概率对该第1个待识别音频特征进行异响识别处理,得到该第1个识别层输出的异响识别结果,以使该第1个识别层输出的异响识别结果能够准确地表示出第1个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据中是否存在异响),以便后续能够基于该第1个识别层输出的异响识别结果,确定待识别声音信号的异响识别结果。
步骤222:将第m-1个识别层输出的异响识别结果和第m个待识别音频特征输入第m个识别层,得到该第m个识别层输出的异响识别结果。其中,m为正整数,2≤m≤N,N为正整数。
其中,“第m-1个识别层输出的异响识别结果”用于表示第1个待识别音频特征至第m-1个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据至第m-1个待识别音频特征对应的待使用音频数据中是否存在异响)。
“第m个识别层输出的异响识别结果”用于表示第1个待识别音频特征至第m个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据至第m个待识别音频特征对应的待使用音频数据中是否存在异响)。
第m个识别层用于针对该第m个识别层的输入数据进行异响识别处理。为了便于解释第m个识别层的工作原理,下面以“第m个识别层输出的异响识别结果”的确定过程为例进行说明。
作为示例,若第m个待识别音频特征包括C个通道特征,则“第m个识别层输出的异响识别结果”的确定过程可以包括步骤41-步骤42:
步骤41:根据第m-1个识别层输出的异响识别结果、预设状态转移矩阵和第m个待识别音频特征中第c个通道特征,得到该第m个待识别音频特征中第c个通道特征对应的异响识别结果。其中,c为正整数,c≤C,C为正整数。
其中,预设状态转移矩阵用于描述不同状态之间的转移概率;而且本申请实施例不限定预设状态转移矩阵的表示方式,例如,该预设状态转移矩阵可以采用隐马尔可夫链所使用的状态转移矩阵进行表示。
另外,本申请实施例不限定预设状态转移矩阵,例如,该预设状态转移矩阵可以包括正正转移概率和异异转移概率。其中,正正转移概率用于表示正常状态向正常状态转移的可能性。异异转移概率用于表示异响状态向异响状态转移的可能性。
此外,本申请实施例也不限定预设状态转移矩阵的确定方式,例如,该预设状态转移矩阵可以从大量发动机声音信号中统计分析得到。
“第m个待识别音频特征中第c个通道特征对应的异响识别结果”用于表示第1个待识别音频特征至第m-1个待识别音频特征、以及第m个待识别音频特征中第c个通道特征是否携带有异响信息。
本申请实施例不限定步骤41的实施方式,例如,在一种可能的实施方式下,若异响识别结果包括正常预测概率和异响预测概率,则步骤41具体可以包括步骤411-步骤414:
步骤411:确定第m个待识别音频特征中第c个通道特征对应的第一条件概率。
其中,“第m个待识别音频特征中第c个通道特征对应的第一条件概率”用于表示在发动机正常状态下出现“第m个待识别音频特征中第c个通道特征”的发生概率。
另外,“第m个待识别音频特征中第c个通道特征对应的第一条件概率”可以根据该第m个待识别音频特征中第c个通道特征与正常状态对应的均值特征之间的差值、以及正常状态对应的协方差特征进行确定(如公式(6)所示)。
式中,表示第m个待识别音频特征中第c个通道特征对应的第一条件概率;表示第m个待识别音频特征中第c个通道特征;ua表示正常状态对应的均值特征;Qa表示正常状态对应的协方差特征;d表示/>中特征个数(例如,若/>包括均值、方差、偏度、峰度及离散傅立叶变换频谱图的6个最大峰值,则d为10)。
步骤412:确定第m个待识别音频特征中第c个通道特征对应的第二条件概率。
其中,“第m个待识别音频特征中第c个通道特征对应的第二条件概率”用于表示在发动机异响状态下出现“第m个待识别音频特征中第c个通道特征”的发生概率。
另外,“第m个待识别音频特征中第c个通道特征对应的第二条件概率”可以根据该第m个待识别音频特征中第c个通道特征与异响状态对应的均值特征之间的差值、以及异响状态对应的协方差特征进行确定(如公式(7)所示)。
式中,表示第1个待识别音频特征中第c个通道特征对应的第二条件概率;表示第m个待识别音频特征中第c个通道特征;ub表示异响状态对应的均值特征;Qb表示异响状态对应的协方差特征;d表示/>中特征个数。
步骤413:根据第m-1个识别层输出的正常预测概率、预设状态转移矩阵和第m个待识别音频特征中第c个通道特征对应的第一条件概率,确定该第m个待识别音频特征中第c个通道特征对应的正常预测概率。
其中,“第m-1个识别层输出的正常预测概率”用于表示第1个待识别音频特征至第m-1个待识别音频特征没有携带异响信息的可能性。
“第m个待识别音频特征中第c个通道特征对应的正常预测概率”用于表示第1个待识别音频特征至第m-1个待识别音频特征、以及该第m个待识别音频特征中第c个通道特征没有携带异响信息的可能性。
作为示例,若预设状态转移矩阵包括正正转移概率,则步骤413具体可以包括:将第m-1个识别层输出的正常预测概率、正正转移概率和第m个待识别音频特征中第c个通道特征对应的第一条件概率之间的乘积,确定为该第m个待识别音频特征中第c个通道特征对应的正常预测概率。
可见,在获取到“第m个待识别音频特征中第c个通道特征对应的第一条件概率”之后,可以根据该“第m个待识别音频特征中第c个通道特征对应的第一条件概率”、正正转移概率以及第m-1个识别层输出的正常预测概率之间的乘积,确定该第m个待识别音频特征中第c个通道特征对应的正常预测概率,以使该正常概率能够准确地表示出第1个待识别音频特征至第m-1个待识别音频特征、以及该第m个待识别音频特征中第c个通道特征没有携带异响信息的可能性。
步骤414:根据第m-1个识别层输出的正常预测概率、预设状态转移矩阵和第m个待识别音频特征中第c个通道特征对应的第二条件概率,确定该第m个待识别音频特征中第c个通道特征对应的异响预测概率。
其中,“第m-1个识别层输出的异响预测概率”用于表示第1个待识别音频特征至第m-1个待识别音频特征携带有异响信息的可能性。
“第m个待识别音频特征中第c个通道特征对应的异响预测概率”用于表示第1个待识别音频特征至第m-1个待识别音频特征、以及该第m个待识别音频特征中第c个通道特征携带有异响信息的可能性。
作为示例,若预设状态转移矩阵包括异异转移概率,则步骤414具体可以包括:将第m-1个识别层输出的异响预测概率、异异转移概率和第m个待识别音频特征中第c个通道特征对应的第二条件概率之间的乘积,确定为该第m个待识别音频特征中第c个通道特征对应的异响预测概率。
可见,在获取到“第m个待识别音频特征中第c个通道特征对应的第二条件概率”之后,可以根据该“第m个待识别音频特征中第c个通道特征对应的第二条件概率”、异异转移概率以及第m-1个识别层输出的异响预测概率之间的乘积,确定该第m个待识别音频特征中第c个通道特征对应的异响预测概率,以使该异响概率能够准确地表示出第1个待识别音频特征至第m-1个待识别音频特征、以及该第m个待识别音频特征中第c个通道特征携带有异响信息的可能性。
基于上述步骤41的相关内容可知,在获取到第m个待识别音频特征中第c个通道特征之后,可以参考第m-1个识别层输出的异响识别结果和预设状态转移矩阵,确定该第c个通道特征对应的异响识别结果,以使该异响识别结果能够准确地表示出第1个待识别音频特征至第m-1个待识别音频特征、以及第m个待识别音频特征中第c个通道特征是否携带有异响信息,以便后续能够基于该第c个通道特征对应的异响识别结果,确定出第1个待识别音频特征至第m个待识别音频特征是否携带有异响信息。其中,c为正整数,c≤C,C为正整数。
步骤42:根据第m个待识别音频特征中第1个通道特征对应的异响识别结果至该第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定第m个识别层输出的异响识别结果。
作为示例,若异响识别结果包括正常预测概率和异响预测概率,则步骤42具体可以包括步骤421-步骤422:
步骤421:对第m个待识别音频特征中第1个通道特征对应的正常预测概率至该第m个待识别音频特征中第C个通道特征对应的正常预测概率进行最大值筛选,得到该第m个识别层输出的正常预测概率。
其中,第m个识别层输出的正常预测概率用于表示第1个待识别音频特征至第m个待识别音频特征没有携带异响信息的可能性(也就是,第1个待识别音频特征对应的待使用音频数据至第m个待识别音频特征对应的待使用音频数据中不存在异响的可能性)。
作为示例,若第m个待识别音频特征中第1个通道特征对应的正常预测概率为该第m个待识别音频特征中第2个通道特征对应的正常预测概率为/>……(以此类推)、第m个待识别音频特征中第C个通道特征对应的正常预测概率为/>则第m个识别层输出的正常预测概率可以利用公式(8)进行计算。
式中,表示第m个识别层输出的正常预测概率;max(·)表示取最大值;表示第m个待识别音频特征中第c个通道特征对应的第一条件概率,c为正整数,c≤C,C为正整数;/>表示第m-1个识别层输出的正常预测概率;δa→a表示正正转移概率。
步骤422:对第m个待识别音频特征中第1个通道特征对应的异响预测概率至第m个待识别音频特征中第C个通道特征对应的异响预测概率进行最大值筛选,得到第m个识别层输出的异响预测概率。
其中,第m个识别层输出的异响预测概率用于表示第1个待识别音频特征至第m个待识别音频特征携带有异响信息的可能性(也就是,第1个待识别音频特征对应的待使用音频数据至第m个待识别音频特征对应的待使用音频数据中存在异响的可能性)。
作为示例,若第m个待识别音频特征中第1个通道特征对应的异响预测概率为该第m个待识别音频特征中第2个通道特征对应的异响预测概率为/>……(以此类推)、第m个待识别音频特征中第C个通道特征对应的异响预测概率为/>则第m个识别层输出的异响预测概率可以利用公式(9)进行计算。
式中,表示第m个识别层输出的异响预测概率;max(·)表示取最大值;表示第m个待识别音频特征中第c个通道特征对应的第一条件概率,c为正整数,c≤C,C为正整数;/>表示第m-1个识别层输出的异响预测概率;δb→b表示异异转移概率。
基于上述步骤42的相关内容可知,在获取到第m个待识别音频特征中第1个通道特征对应的异响识别结果至第C个通道特征对应的异响识别结果之后,可以综合该C个通道特征对应的异响识别结果,确定该第m个识别层输出的异响识别结果,以使该第m个识别层输出的异响识别结果能够准确地表示出第1个待识别音频特征至第m个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据至第m个待识别音频特征对应的待使用音频数据中是否存在异响)。
基于上述步骤222的相关内容可知,对于图3所示的异响识别模型来说,在该异响识别模型中第m个识别层获取到第m个待识别音频特征以及第m-1个识别层输出的异响识别结果之后,该第m个识别层能够参考预设状态转移矩阵和该第m-1个识别层输出的异响识别结果,对该第m个待识别音频特征进行异响识别处理,得到该第m个识别层输出的异响识别结果,以使该第m个识别层输出的异响识别结果能够准确地表示出第1个待识别音频特征至第m个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据至第m个待识别音频特征对应的待使用音频数据中是否存在异响),以便后续能够基于该第m个识别层输出的异响识别结果,确定待识别声音信号的异响识别结果。其中,m为正整数,2≤m≤N,N为正整数。
步骤223:将第N个识别层输出的异响识别结果,确定为待识别声音信号的异响识别结果。
本申请实施例中,因第N个识别层输出的异响识别结果用于表示第1个待识别音频特征至第N个待识别音频特征是否携带有异响信息(也就是,第1个待识别音频特征对应的待使用音频数据至第N个待识别音频特征对应的待使用音频数据中是否存在异响),且第1个待识别音频特征至第N个待识别音频特征用于代表待识别声音信号(详情请见上文步骤21的相关解释),使得该第N个识别层输出的异响识别结果能够表示出该待识别声音信号中是否存在异响,故在获取到第N个识别层输出的异响识别结果之后,可以直接将该第N个识别层输出的异响识别结果,确定为该待识别声音信号的异响识别结果,以使该待识别声音信号的异响识别结果能够准确地表示出该待识别声音信号中是否存在异响。
基于上述异响识别模型的相关内容可知,对于图3所示的异响识别模型来说,该异响识别模型可以参考隐马尔可夫链的决策方式来确定待识别声音信号的异响识别结果。其中,因图3所示的异响识别模型参考一个待识别音频特征中C个通道特征分别对应的异响识别结果,确定该待识别音频特征对应的异响识别结果(如图4所示的基于隐马尔可夫链的决策过程),使得该待识别音频特征对应的异响识别结果的更准确,如此有利于提高待识别声音信号的异响识别结果的准确性。
需要说明的是,对于图4所示的基于隐马尔可夫链的决策过程来说,隐藏状态可以包括正常状态和异响状态。上文“通道特征”可以作为观测值。
在一种可能的实施方式中,为了提高异响识别模型的异响识别性能,本申请实施例还提供了一种异响识别模型的构建过程,其具体可以包括步骤51-步骤54:
步骤51:按照预设窗口参数从至少一个样本声音信号中提取至少一个样本音频数据。
其中,样本声音信号是指构建异响识别模型所需使用的发动机声音信号。
另外,本申请实施例不限定“至少一个样本声音信号”,例如,“至少一个样本声音信号”可以包括至少一个正常声音信号和至少一个异响声音信号。其中,正常声音信号是指不存在异响的发动机声音信号。异响声音信号是指存在异响的发动机声音信号。
此外,本申请实施例不限定“至少一个样本声音信号”的采集过程,例如,为了提高异响识别模型的异响识别性能,可以从同一品牌的发动机上采集到“至少一个样本声音信号”,以使基于该“至少一个样本声音信号”构建的异响识别模型能够更准确地识别出该品牌的发动机是否发出异响。
样本音频数据是指利用滑动窗口从样本声音信号中提取出来的音频数据。
另外,样本音频数据的获取过程可以采用上文“待使用音频数据”的获取过程的任一实施方式进行实施,只需将上文“待使用音频数据”的获取过程的任一实施方式中“待识别声音信号”替换为“样本声音信号”、以及“待使用音频数据”替换为“样本音频数据”即可。
在一些情况下,因异响声音信号中不仅存在异响信号片段还存在正常信号片段,使得从该异响声音信号中提取的样本音频数据可能包括异响,也可能不包括异响,故为了保证根据异响声音信号确定的各个样本音频数据中均存在异响,本申请实施例还提供了步骤51的一种可能的实施方式,在该实施方式中,若上述“至少一个样本声音信号”包括至少一个正常声音信号和至少一个异响声音信号,则步骤51具体可以包括步骤511-步骤514:
步骤511:按照预设窗口参数从至少一个正常声音信号中提取至少一个正常音频数据。
其中,正常音频数据是指利用滑动窗口从正常声音信号中提取出来的音频数据;而且该正常音频数据中不存在异响。
另外,正常音频数据的获取过程可以采用上文“待使用音频数据”的获取过程的任一实施方式进行实施,只需将上文“待使用音频数据”的获取过程的任一实施方式中“待识别声音信号”替换为“正常声音信号”、以及“待使用音频数据”替换为“正常音频数据”即可。
步骤512:按照预设窗口参数从至少一个异响声音信号中提取至少一个待筛选音频数据。
其中,待筛选音频数据是指利用滑动窗口从异响声音信号中提取出来的音频数据。
另外,待筛选音频数据的获取过程可以采用上文“待使用音频数据”的获取过程的任一实施方式进行实施,只需将上文“待使用音频数据”的获取过程的任一实施方式中“待识别声音信号”替换为“异响声音信号”、以及“待使用音频数据”替换为“待筛选音频数据”即可。
此外,上文“至少一个待筛选音频数据”包括至少一个存在异响的音频数据(也就是,下文“异响音频数据”)。
步骤513:从至少一个待筛选音频数据中筛选出至少一个异响音频数据。
其中,异响音频数据是指利用滑动窗口从异响声音信号中提取出来的存在异响的音频数据。
另外,本申请实施例不限定异响音频数据的筛选过程,为了便于理解,下面结合两个示例进行说明。
示例1,步骤513具体可以包括:从至少一个待筛选音频数据中筛选出至少一个满足预设异响条件的异响音频数据。
其中,预设异响条件用于描述存在异响的音频数据所达到的条件;而且预设异响条件可以预先设定,也可以利用大数据挖掘技术从大量存在异响的发动机声音信号中挖掘得到。
示例2,步骤513具体可以包括:先将至少一个待筛选音频数据发送给终端用户,以使该终端用户能够从该至少一个待筛选音频数据中查找出各个存在异响的音频数据,并根据查找到的各个存在异响的音频数据进行反馈;再根据终端用户的反馈信息,从至少一个待筛选音频数据中筛选出至少一个异响音频数据。其中,终端用户的反馈信息用于描述上述“至少一个待筛选音频数据”中存在异响的音频数据。
基于上述步骤513的相关内容可知,在获取到至少一个待筛选音频数据之后,可以将该至少一个待筛选音频数据中存在异响的各个音频数据,均确定为异响音频数据,以便后续能够从这些异响音频数据中分析出存在异响的发动机声音信号所具有的特点。
步骤514:根据至少一个正常音频数据和至少一个异响音频数据,确定至少一个样本音频数据。
本申请实施例中,在获取到至少一个正常音频数据和至少一个异响音频数据之后,可以将这些正常音频数据和这些异响音频数据分别确定为样本音频数据,以使这些样本音频数据即包括存在异响的发动机声音信号,也包括不存在异响的发动机声音信号,以便后续能够从这些样本音频数据中准确地学习到存在异响的发动机声音信号所具有的特点、以及不存在异响的发动机声音信号所具有的特点。
基于上述步骤51的相关内容可知,在获取到至少一个样本声音信号之后,可以从这些样本声音信号中提取出至少一个样本音频数据,以使这些样本音频数据即包括存在异响的发动机声音信号,也包括不存在异响的发动机声音信号,以便后续能够从这些样本音频数据中准确地学习到存在异响的发动机声音信号所具有的特点、以及不存在异响的发动机声音信号所具有的特点。
步骤52:对至少一个样本音频数据分别进行特征提取,得到该至少一个样本音频数据的音频特征。
其中,第y个样本音频数据的音频特征用于表示该第y个样本音频数据携带的声音信息。y为正整数,y≤Y,Y为正整数,Y表示样本音频数据的个数。
需要说明的是,第y个样本音频数据的音频特征的确定过程可以采用上文S3中“第q个待使用音频特征的确定过程”的任一实施方式进行实施,只需将上文S3中“第q个待使用音频特征的确定过程”的任一实施方式中“第q个待使用音频数据”替换为“第y个样本音频数据”、以及“第q个待使用音频特征”替换为“第y个样本音频数据的音频特征”即可。
步骤53:根据至少一个样本声音信号对应的标签信息,确定至少一个样本音频数据对应的标签信息。
其中,第y个样本音频数据对应的标签信息用于标记该第y个样本音频数据中是否存在异响。y为正整数,y≤Y,Y为正整数,Y表示样本音频数据的个数。
作为示例,若“至少一个样本音频数据”是按照上文步骤511-步骤514进行确定的,且该“至少一个样本音频数据”包括上述“至少一个正常音频数据”和上述“至少一个异响音频数据”,则步骤53具体可以包括步骤531-步骤532:
步骤531:根据至少一个正常声音信号对应的标签信息,确定至少一个正常音频数据对应的标签信息。
其中,一个正常音频数据对应的正常标签用于标记该正常音频数据中不存在异响。
作为示例,若第h个正常音频数据是从第k个正常声音信号中提取得到的,则步骤531具体可以为:将第k个正常声音信号对应的标签信息,确定为第h个正常音频数据对应的标签信息。其中,h为正整数,h≤H,H为正整数,H表示正常音频数据的个数;k为正整数,k≤K,K为正整数,K表示正常声音信号的个数。
可见,因第h个正常音频数据是从第k个正常声音信号中提取得到的,且该第h个正常音频数据中不存在异响,使得该第h个正常音频数据可以用于代表该第k个正常声音信号所具有的音频特点;又因该第k个正常声音信号对应的标签信息用于标记不存在异响,故可以直接将该第k个正常声音信号对应的标签信息,确定为该第h个正常音频数据对应的标签信息,以使该第h个正常音频数据对应的标签信息能够标记出该第h个正常音频数据中不存在异响。
步骤532:根据至少一个异响声音信号对应的标签信息,确定至少一个异响音频数据对应的标签信息。
其中,一个异响音频数据对应的标签信息用于标记该异响音频数据中存在异响。
作为示例,若第i个异响音频数据是从第j个异响声音信号中提取得到的,则步骤531具体可以为:将第j个异响声音信号对应的标签信息,确定为第i个异响音频数据对应的标签信息。其中,i为正整数,i≤I,I为正整数,I表示异响音频数据的个数;j为正整数,j≤J,J为正整数,J表示异响声音信号的个数。
可见,因第i个异响音频数据是从第j个异响声音信号中提取得到的,且该第i个异响音频数据中存在异响,使得该第i个异响音频数据可以用于代表该第j个异响声音信号所具有的音频特点;又因该第j个异响声音信号对应的标签信息用于标记存在异响,故可以直接将该第j个异响声音信号对应的标签信息,确定为该第i个异响音频数据对应的标签信息,以使该第i个异响音频数据对应的标签信息能够标记出该第i个异响音频数据中存在异响。
基于上述步骤53的相关内容可知,在获取到至少一个样本音频数据之后,可以参考各个样本音频数据所属的样本声音信号对应的标签信息,分别确定各个样本音频数据对应的标签信息,以使各个样本音频数据对应的标签信息能够分别与各个样本音频数据所属的样本声音信号对应的标签信息保持一致。
步骤54:根据至少一个样本音频数据的音频特征和至少一个样本音频数据对应的标签信息,构建异响识别模型。
本申请实施例不限定步骤54的实施方式,例如,在一种可能的实施方式中,若异响识别模型包括N个识别层(如图3所示),且各个识别层的层参数均包括正常状态对应的协方差特征、正常状态对应的均值特征、异响状态对应的协方差特征以及异响状态对应的均值特征,则步骤54具体可以包括步骤541-步骤545:
步骤541:按照至少一个样本音频数据对应的标签信息,从该至少一个样本音频数据的音频特征中筛选出至少一个正常音频特征和至少一个异响音频特征。
其中,正常音频特征是指没有携带异响信息的音频特征。
异响音频特征是指携带有异响信息的音频特征。
本申请实施例不限定步骤541的实施方式,例如,若样本音频数据的个数为V,则步骤541具体可以包括:若确定第v个样本音频数据对应的标签信息用于表示该第v个样本音频数据中不存在异响,则可以将该第v个样本音频数据的音频特征确定为正常音频特征;若确定第v个样本音频数据对应的标签信息用于表示该第v个样本音频数据中存在异响,则可以将该第v个样本音频数据的音频特征确定为异响音频特征。其中,v为正整数,v≤V,V为正整数。
步骤542:根据至少一个正常音频特征,确定正常状态对应的协方差特征以及该正常状态对应的均值特征。
本申请实施例中,在获取到至少一个正常音频特征之后,可以将这些正常音频特征之间的协方差确定为正常状态对应的协方差特征,并将这些正常音频特征之间的均值确定为正常状态对应的均值特征,以便后续能够利用该正常状态对应的协方差特征以及该正常状态对应的均值特征,确定各个识别层的层参数。
步骤543:根据至少一个异响音频特征,确定异响状态对应的协方差特征以及该异响状态对应的均值特征。
本申请实施例中,在获取到至少一个异响音频特征之后,可以将这些异响音频特征之间的协方差确定为异响状态对应的协方差特征,并将这些异响音频特征之间的均值确定为异响状态对应的均值特征,以便后续能够利用该异响状态对应的协方差特征以及该异响状态对应的均值特征,确定各个识别层的层参数。
步骤544:根据正常状态对应的协方差特征、正常状态对应的均值特征、异响状态对应的协方差特征以及异响状态对应的均值特征,确定第n个识别层。其中,n为正整数,n≤N,N为正整数。
本申请实施例中,在获取到正常状态对应的协方差特征、正常状态对应的均值特征、异响状态对应的协方差特征以及异响状态对应的均值特征之后,可以将上述四个特征均确定为第n个识别层的层参数,以便后续该第n个识别层能够按照上述四个特征进行异响识别处理。其中,n为正整数,n≤N,N为正整数。
步骤545:根据第1个识别层至第N个识别层,确定异响识别模型。
本申请实施例中,在获取到第1个识别层至第N个识别层之后,可以将该第1个识别层至该第N个识别层按照图3所示的连接关系进行连接,得到异响识别模型(如图3所示),以使该异响识别模型具有较好的异响识别性能。
基于上述步骤51至步骤54的相关内容可知,在获取到至少一个样本声音信号和该至少一个样本声音信号对应的标签信息之后,可以先利用该至少一个样本声音信号及其对应的标签信息,构建异响识别模型,以使构建好的异响识别模型具有较好的异响识别性能;再利用构建好的异响识别模型针对后续获取的发动机发音信号进行异响识别处理,得到并输出该发动机发音信号的异响识别结果,以使该异响识别结果能够准确地表示出该发动机发音信号中是否存在异响。
基于上述发动机异响识别方法的相关内容,本申请实施例还提供了一种发动机异响识别装置,下面结合附图进行说明。
参见图5,该图为本申请实施例提供的一种发动机异响识别装置的结构示意图。
本申请实施例提供的发动机异响识别装置500,包括:
信号获取单元501,用于获取待识别声音信号;
数据提取单元502,用于按照预设窗口参数从所述待识别声音信号中提取出至少一个待使用音频数据;
特征提取单元503,用于对所述至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;
异响识别单元504,用于根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果;其中,所述异响识别模型是根据至少一个样本声音信号和所述至少一个样本声音信号对应的标签信息进行构建的;所述样本声音信号对应的标签信息用于标记所述样本声音信号中是否存在异响。
在一种可能的实施方式中,所述异响识别模型包括N个识别层,且第m个识别层的输入数据包括第m-1个识别层的输出数据;其中,m为正整数,2≤m≤N,N为正整数;
所述异响识别单元504,包括:
第一筛选子单元,用于从所述至少一个待使用音频特征中筛选出N个待识别音频特征;
异响识别子单元,用于将所述N个待识别音频特征输入所述异响识别模型,得到所述异响识别模型输出的所述待识别声音信号的异响识别结果。
在一种可能的实施方式中,所述异响识别子单元,包括:
第一识别子单元,用于将第1个待识别音频特征输入第1个识别层,得到所述第1个识别层输出的异响识别结果;
第二识别子单元,用于将第m-1个识别层输出的异响识别结果和第m个待识别音频特征输入第m个识别层,得到所述第m个识别层输出的异响识别结果;其中,m为正整数,2≤m≤N,N为正整数;
第一确定子单元,用于将所述第N个识别层输出的异响识别结果,确定为所述待识别声音信号的异响识别结果。
在一种可能的实施方式中,所述第二识别子单元,包括:
第三识别子单元,用于若第m个待识别音频特征包括C个通道特征,则根据所述第m-1个识别层输出的异响识别结果、预设状态转移矩阵和所述第m个待识别音频特征中第c个通道特征,得到所述第c个通道特征对应的异响识别结果;其中,c为正整数,c≤C,C为正整数;
第二确定子单元,用于根据所述第m个待识别音频特征中第1个通道特征对应的异响识别结果至所述第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定所述第m个识别层输出的异响识别结果。
在一种可能的实施方式中,所述第二确定子单元,具体用于:若所述异响识别结果包括正常预测概率和异响预测概率,则对所述第m个待识别音频特征中第1个通道特征对应的正常预测概率至所述第m个待识别音频特征中第C个通道特征对应的正常预测概率进行最大值筛选,得到所述第m个识别层输出的正常预测概率;对所述第m个待识别音频特征中第1个通道特征对应的异响预测概率至所述第m个待识别音频特征中第C个通道特征对应的异响预测概率进行最大值筛选,得到所述第m个识别层输出的异响预测概率。
在一种可能的实施方式中,所述第三识别子单元,包括:
第三确定子单元,用于若所述异响识别结果包括正常预测概率和异响预测概率,则确定所述第c个通道特征对应的第一条件概率和所述第c个通道特征对应的第二条件概率;其中,所述第c个通道特征对应的第一条件概率用于表示在发动机正常状态下出现所述第c个通道特征的发生概率;所述第c个通道特征对应的第二条件概率用于表示在发动机异响状态下出现所述第c个通道特征的发生概率;
第四确定子单元,用于根据所述第m-1个识别层输出的正常预测概率、预设状态转移矩阵和所述第c个通道特征对应的第一条件概率,确定所述第c个通道特征对应的正常预测概率;
第五确定子单元,用于根据所述第m-1个识别层输出的异响预测概率、预设状态转移矩阵和所述第c个通道特征对应的第二条件概率,确定所述第c个通道特征对应的异响预测概率。
在一种可能的实施方式中,所述第四确定子单元,具体用于:若所述预设状态转移矩阵包括正正转移概率和异异转移概率,则将所述第m-1个识别层输出的正常预测概率、所述正正转移概率和所述第c个通道特征对应的第一条件概率之间的乘积,确定为所述第c个通道特征对应的正常预测概率;
所述第五确定子单元,具体用于:将所述第m-1个识别层输出的异响预测概率、所述异异转移概率和所述第c个通道特征对应的第二条件概率之间的乘积,确定为所述第c个通道特征对应的异响预测概率。
在一种可能的实施方式中,若所述第m个识别层的层参数包括正常状态对应的均值特征和所述正常状态对应的协方差特征,则所述第c个通道特征对应的第一条件概率是根据所述第c个通道特征与所述正常状态对应的均值特征之间的差值、以及所述正常状态对应的协方差特征进行确定的;和/或,若所述第m个识别层的层参数包括异响状态对应的均值特征和所述异响状态对应的协方差特征,则所述第c个通道特征对应的第二条件概率是根据所述第c个通道特征与所述异响状态对应的均值特征之间的差值、以及所述异响状态对应的协方差特征进行确定的。
在一种可能的实施方式中,所述异响识别模型的构建过程,包括:
按照所述预设窗口参数从所述至少一个样本声音信号中提取至少一个样本音频数据;对所述至少一个样本音频数据分别进行特征提取,得到所述至少一个样本音频数据的音频特征;根据所述至少一个样本声音信号对应的标签信息,确定所述至少一个样本音频数据对应的标签信息;根据所述至少一个样本音频数据的音频特征和所述至少一个样本音频数据对应的标签信息,构建所述异响识别模型。
在一种可能的实施方式中,所述异响识别模型包括N个识别层,且所述根据所述至少一个样本音频数据的音频特征和所述至少一个样本音频数据对应的标签信息,构建所述异响识别模型,包括:
按照所述至少一个样本音频数据对应的标签信息,从所述至少一个样本音频数据的音频特征中筛选出至少一个正常音频特征和至少一个异响音频特征;根据所述至少一个正常音频特征,确定所述正常状态对应的协方差特征以及所述正常状态对应的均值特征;根据所述至少一个异响音频特征,确定所述异响状态对应的协方差特征以及所述异响状态对应的均值特征;根据所述正常状态对应的协方差特征、所述正常状态对应的均值特征、所述异响状态对应的协方差特征以及所述异响状态对应的均值特征,确定所述第n个识别层;其中,n为正整数,n≤N,N为正整数;根据第1个识别层至第N个识别层,确定所述异响识别模型。
在一种可能的实施方式中,若所述至少一个样本声音信号包括至少一个正常声音信号和至少一个异响声音信号,则所述按照所述预设窗口参数从所述至少一个样本声音信号中提取至少一个样本音频数据,包括:
按照所述预设窗口参数从所述至少一个正常声音信号中提取至少一个正常音频数据;按照所述预设窗口参数从所述至少一个异响声音信号中提取至少一个待筛选音频数据;从所述至少一个待筛选音频数据中筛选出至少一个异响音频数据;根据所述至少一个正常音频数据和所述至少一个异响音频数据,确定所述至少一个样本音频数据。
在一种可能的实施方式中,若所述至少一个样本音频数据包括所述至少一个正常音频数据和所述至少一个异响音频数据,则所述根据所述至少一个样本声音信号对应的标签信息,确定所述至少一个样本音频数据对应的标签信息,包括:
根据所述至少一个正常声音信号对应的标签信息,确定所述至少一个正常音频数据对应的标签信息;根据所述至少一个异响声音信号对应的标签信息,确定所述至少一个异响音频数据对应的标签信息。
在一种可能的实施方式中,所述预设窗口参数包括窗口尺寸和相邻位置间隔,且所述相邻位置间隔为所述窗口尺寸与预设系数之间的乘积,且0<所述预设系数≤1。
在一种可能的实施方式中,所述发动机异响识别装置500还包括:
预处理单元,用于对所述待识别声音信号进行预处理,得到预处理后音频数据;
所述数据提取单元502,具体用于:按照预设窗口参数从所述预处理后音频数据中提取出至少一个待使用音频数据。
在一种可能的实施方式中,所述预处理单元,具体用于:若所述预处理包括数字化处理和滤波处理,则对所述待识别声音信号进行数字化处理,得到所述待识别声音信号对应的数字化音频数据;对所述待识别声音信号对应的数字化音频数据进行滤波处理,得到所述预处理后音频数据。
基于上述发动机异响识别装置500的相关内容可知,对于发动机异响识别装置500来说,在获取到待识别声音信号之后,先按照预设窗口参数从该待识别声音信号中提取出至少一个待使用音频数据;再对该至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;最后,根据该至少一个待使用音频特征和预先构建的异响识别模型,确定该待识别声音信号的异响识别结果,以使该异响识别结果能够准确地表示出该待识别声音信号中是否存在异响。
可见,因异响识别模型是根据至少一个样本声音信号和该至少一个样本声音信号对应的标签信息进行构建的,使得该异响识别模型具有较好的异响识别性能,从而使得由该异响识别模型针对该待识别声音信号确定的异响识别结果能够准确地表示出该待识别声音信号中是否存在异响,如此能够尽可能地克服避免人工识别发动机异响存在的缺陷,从而能够提高发动机异响识别的准确性,进而有利于提高车辆故障诊断的准确性。
另外,本申请实施例还提供了一种发动机异响识别设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请实施例提供的发动机异响识别方法的任一实施方式。
另外,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行本申请实施例提供的发动机异响识别方法的任一实施方式。
另外,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行本申请实施例提供的发动机异响识别方法的任一实施方式。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种发动机异响识别方法,其特征在于,所述方法包括:
获取待识别声音信号;
按照预设窗口参数从所述待识别声音信号中提取出至少一个待使用音频数据;
对所述至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;
根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果;其中,所述异响识别模型是根据至少一个样本声音信号和所述至少一个样本声音信号对应的标签信息进行构建的;所述样本声音信号对应的标签信息用于标记所述样本声音信号中是否存在异响;
所述异响识别模型包括N个识别层,且第m个识别层的输入数据包括第m-1个识别层的输出数据;其中,m为正整数,2≤m≤N,N为正整数;
所述根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果,包括:
从所述至少一个待使用音频特征中筛选出N个待识别音频特征;所述N个待识别音频特征符合所述待识别声音信号中不同声音信息的出现次序以及连续性;
将所述N个待识别音频特征输入所述异响识别模型,得到所述异响识别模型输出的所述待识别声音信号的异响识别结果;
所述待识别声音信号的异响识别结果的确定过程,包括:
将第1个待识别音频特征输入第1个识别层,得到所述第1个识别层输出的异响识别结果;
将第m-1个识别层输出的异响识别结果和第m个待识别音频特征输入第m个识别层,得到所述第m个识别层输出的异响识别结果;其中,m为正整数,2≤m≤N,N为正整数;
将所述第N个识别层输出的异响识别结果,确定为所述待识别声音信号的异响识别结果;
若第m个待识别音频特征包括C个通道特征,则所述第m个识别层输出的异响识别结果的确定过程,包括:
根据所述第m-1个识别层输出的异响识别结果、预设状态转移矩阵和所述第m个待识别音频特征中第c个通道特征,得到所述第c个通道特征对应的异响识别结果;其中,c为正整数,c≤C,C为正整数;
根据所述第m个待识别音频特征中第1个通道特征对应的异响识别结果至所述第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定所述第m个识别层输出的异响识别结果。
2.根据权利要求1所述的方法,其特征在于,若所述异响识别结果包括正常预测概率和异响预测概率,则所述根据所述第m个待识别音频特征中第1个通道特征对应的异响识别结果至所述第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定所述第m个识别层输出的异响识别结果,包括:
对所述第m个待识别音频特征中第1个通道特征对应的正常预测概率至所述第m个待识别音频特征中第C个通道特征对应的正常预测概率进行最大值筛选,得到所述第m个识别层输出的正常预测概率;
对所述第m个待识别音频特征中第1个通道特征对应的异响预测概率至所述第m个待识别音频特征中第C个通道特征对应的异响预测概率进行最大值筛选,得到所述第m个识别层输出的异响预测概率。
3.根据权利要求1所述的方法,其特征在于,若所述异响识别结果包括正常预测概率和异响预测概率,则所述第c个通道特征对应的异响识别结果的确定过程,包括:
确定所述第c个通道特征对应的第一条件概率和所述第c个通道特征对应的第二条件概率;其中,所述第c个通道特征对应的第一条件概率用于表示在发动机正常状态下出现所述第c个通道特征的发生概率;所述第c个通道特征对应的第二条件概率用于表示在发动机异响状态下出现所述第c个通道特征的发生概率;
根据所述第m-1个识别层输出的正常预测概率、预设状态转移矩阵和所述第c个通道特征对应的第一条件概率,确定所述第c个通道特征对应的正常预测概率;
根据所述第m-1个识别层输出的异响预测概率、预设状态转移矩阵和所述第c个通道特征对应的第二条件概率,确定所述第c个通道特征对应的异响预测概率。
4.根据权利要求3所述的方法,其特征在于,若所述预设状态转移矩阵包括正正转移概率和异异转移概率,则所述根据所述第m-1个识别层输出的正常预测概率、预设状态转移矩阵和所述第c个通道特征对应的第一条件概率,确定所述第c个通道特征对应的正常预测概率,包括:
将所述第m-1个识别层输出的正常预测概率、所述正正转移概率和所述第c个通道特征对应的第一条件概率之间的乘积,确定为所述第c个通道特征对应的正常预测概率;
所述根据所述第m-1个识别层输出的异响预测概率、预设状态转移矩阵和所述第c个通道特征对应的第二条件概率,确定所述第c个通道特征对应的异响预测概率,包括:
将所述第m-1个识别层输出的异响预测概率、所述异异转移概率和所述第c个通道特征对应的第二条件概率之间的乘积,确定为所述第c个通道特征对应的异响预测概率。
5.根据权利要求3所述的方法,其特征在于,若所述第m个识别层的层参数包括正常状态对应的均值特征和所述正常状态对应的协方差特征,则所述第c个通道特征对应的第一条件概率是根据所述第c个通道特征与所述正常状态对应的均值特征之间的差值、以及所述正常状态对应的协方差特征进行确定的;
和/或,
若所述第m个识别层的层参数包括异响状态对应的均值特征和所述异响状态对应的协方差特征,则所述第c个通道特征对应的第二条件概率是根据所述第c个通道特征与所述异响状态对应的均值特征之间的差值、以及所述异响状态对应的协方差特征进行确定的。
6.根据权利要求1所述的方法,其特征在于,所述异响识别模型的构建过程,包括:
按照所述预设窗口参数从所述至少一个样本声音信号中提取至少一个样本音频数据;
对所述至少一个样本音频数据分别进行特征提取,得到所述至少一个样本音频数据的音频特征;
根据所述至少一个样本声音信号对应的标签信息,确定所述至少一个样本音频数据对应的标签信息;
根据所述至少一个样本音频数据的音频特征和所述至少一个样本音频数据对应的标签信息,构建所述异响识别模型。
7.根据权利要求6所述的方法,其特征在于,所述异响识别模型包括N个识别层,且所述根据所述至少一个样本音频数据的音频特征和所述至少一个样本音频数据对应的标签信息,构建所述异响识别模型,包括:
按照所述至少一个样本音频数据对应的标签信息,从所述至少一个样本音频数据的音频特征中筛选出至少一个正常音频特征和至少一个异响音频特征;
根据所述至少一个正常音频特征,确定正常状态对应的协方差特征以及所述正常状态对应的均值特征;
根据所述至少一个异响音频特征,确定异响状态对应的协方差特征以及所述异响状态对应的均值特征;
根据所述正常状态对应的协方差特征、所述正常状态对应的均值特征、所述异响状态对应的协方差特征以及所述异响状态对应的均值特征,确定所述第n个识别层;其中,n为正整数,n≤N,N为正整数;
根据第1个识别层至第N个识别层,确定所述异响识别模型。
8.根据权利要求6所述的方法,其特征在于,若所述至少一个样本声音信号包括至少一个正常声音信号和至少一个异响声音信号,则所述按照所述预设窗口参数从所述至少一个样本声音信号中提取至少一个样本音频数据,包括:
按照所述预设窗口参数从所述至少一个正常声音信号中提取至少一个正常音频数据;
按照所述预设窗口参数从所述至少一个异响声音信号中提取至少一个待筛选音频数据;
从所述至少一个待筛选音频数据中筛选出至少一个异响音频数据;
根据所述至少一个正常音频数据和所述至少一个异响音频数据,确定所述至少一个样本音频数据。
9.根据权利要求8所述的方法,其特征在于,若所述至少一个样本音频数据包括所述至少一个正常音频数据和所述至少一个异响音频数据,则所述根据所述至少一个样本声音信号对应的标签信息,确定所述至少一个样本音频数据对应的标签信息,包括:
根据所述至少一个正常声音信号对应的标签信息,确定所述至少一个正常音频数据对应的标签信息;
根据所述至少一个异响声音信号对应的标签信息,确定所述至少一个异响音频数据对应的标签信息。
10.根据权利要求1所述的方法,其特征在于,所述预设窗口参数包括窗口尺寸和相邻位置间隔,且所述相邻位置间隔为所述窗口尺寸与预设系数之间的乘积,且0<所述预设系数≤1。
11.一种发动机异响识别装置,其特征在于,包括:
信号获取单元,用于获取待识别声音信号;
数据提取单元,用于按照预设窗口参数从所述待识别声音信号中提取出至少一个待使用音频数据;
特征提取单元,用于对所述至少一个待使用音频数据分别进行特征提取,得到至少一个待使用音频特征;
异响识别单元,用于根据所述至少一个待使用音频特征和预先构建的异响识别模型,确定所述待识别声音信号的异响识别结果;其中,所述异响识别模型是根据至少一个样本声音信号和所述至少一个样本声音信号对应的标签信息进行构建的;所述样本声音信号对应的标签信息用于标记所述样本声音信号中是否存在异响;
所述异响识别模型包括N个识别层,且第m个识别层的输入数据包括第m-1个识别层的输出数据;其中,m为正整数,2≤m≤N,N为正整数;
所述异响识别单元,包括:
第一筛选子单元,用于从所述至少一个待使用音频特征中筛选出N个待识别音频特征;所述N个待识别音频特征符合所述待识别声音信号中不同声音信息的出现次序以及连续性;
异响识别子单元,用于将所述N个待识别音频特征输入所述异响识别模型,得到所述异响识别模型输出的所述待识别声音信号的异响识别结果;
所述异响识别子单元,包括:
第一识别子单元,用于将第1个待识别音频特征输入第1个识别层,得到所述第1个识别层输出的异响识别结果;
第二识别子单元,用于将第m-1个识别层输出的异响识别结果和第m个待识别音频特征输入第m个识别层,得到所述第m个识别层输出的异响识别结果;其中,m为正整数,2≤m≤N,N为正整数;
第一确定子单元,用于将所述第N个识别层输出的异响识别结果,确定为所述待识别声音信号的异响识别结果;
所述第二识别子单元,包括:
第三识别子单元,用于若第m个待识别音频特征包括C个通道特征,则根据所述第m-1个识别层输出的异响识别结果、预设状态转移矩阵和所述第m个待识别音频特征中第c个通道特征,得到所述第c个通道特征对应的异响识别结果;其中,c为正整数,c≤C,C为正整数;
第二确定子单元,用于根据所述第m个待识别音频特征中第1个通道特征对应的异响识别结果至所述第m个待识别音频特征中第C个通道特征对应的异响识别结果,确定所述第m个识别层输出的异响识别结果。
12.一种发动机异响识别设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-10任一项所述的发动机异响识别方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1-10任一项所述的发动机异响识别方法。
14.一种计算机程序产品,其特征在于,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行权利要求1-10任一项所述的发动机异响识别方法。
CN202110796048.8A 2021-07-14 2021-07-14 一种发动机异响识别方法及其相关设备 Active CN113571092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796048.8A CN113571092B (zh) 2021-07-14 2021-07-14 一种发动机异响识别方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796048.8A CN113571092B (zh) 2021-07-14 2021-07-14 一种发动机异响识别方法及其相关设备

Publications (2)

Publication Number Publication Date
CN113571092A CN113571092A (zh) 2021-10-29
CN113571092B true CN113571092B (zh) 2024-05-17

Family

ID=78164906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796048.8A Active CN113571092B (zh) 2021-07-14 2021-07-14 一种发动机异响识别方法及其相关设备

Country Status (1)

Country Link
CN (1) CN113571092B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115602196B (zh) * 2022-12-12 2023-04-07 杭州兆华电子股份有限公司 一种固定转速电机的异响声识别系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980336A (zh) * 2010-10-18 2011-02-23 福州星网视易信息系统有限公司 一种基于隐马尔可夫模型的汽车声音识别方法
CN106596123A (zh) * 2016-11-22 2017-04-26 东软集团股份有限公司 设备故障诊断的方法、装置及系统
CN108256173A (zh) * 2017-12-27 2018-07-06 南京航空航天大学 一种航空发动机动态过程的气路故障诊断方法及系统
CN108710889A (zh) * 2018-04-02 2018-10-26 天津大学 一种汽车发动机缺缸故障诊断方法
CN109086888A (zh) * 2018-09-05 2018-12-25 北京机械设备研究所 基于声音识别的汽车发动机故障判定方法及其装置
WO2019079972A1 (zh) * 2017-10-24 2019-05-02 深圳和而泰智能控制股份有限公司 特定声音识别方法、设备和存储介质
CN109949823A (zh) * 2019-01-22 2019-06-28 江苏大学 一种基于dwpt-mfcc与gmm的车内异响识别方法
CN110362065A (zh) * 2019-07-17 2019-10-22 东北大学 一种航空发动机防喘控制系统的状态诊断方法
CN110890102A (zh) * 2019-09-07 2020-03-17 创新奇智(重庆)科技有限公司 一种基于rnn声纹识别的发动机缺陷检测算法
CN111076809A (zh) * 2019-12-31 2020-04-28 四川长虹电器股份有限公司 基于卷积神经网络的设备异常声音识别方法及系统
CN111710329A (zh) * 2020-06-12 2020-09-25 重庆瑞尔科技发展有限公司 基于深度学习的船舶发动机声纹故障判别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868325B2 (en) * 2003-03-07 2005-03-15 Honeywell International Inc. Transient fault detection system and method using Hidden Markov Models
US8484514B2 (en) * 2009-05-15 2013-07-09 Nec Corporation Fault cause estimating system, fault cause estimating method, and fault cause estimating program
US20190311558A1 (en) * 2018-04-10 2019-10-10 GM Global Technology Operations LLC Method and apparatus to isolate an on-vehicle fault
US20210049444A1 (en) * 2019-08-12 2021-02-18 Micron Technology, Inc. Predictive maintenance of automotive engines

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980336A (zh) * 2010-10-18 2011-02-23 福州星网视易信息系统有限公司 一种基于隐马尔可夫模型的汽车声音识别方法
CN106596123A (zh) * 2016-11-22 2017-04-26 东软集团股份有限公司 设备故障诊断的方法、装置及系统
WO2019079972A1 (zh) * 2017-10-24 2019-05-02 深圳和而泰智能控制股份有限公司 特定声音识别方法、设备和存储介质
CN108256173A (zh) * 2017-12-27 2018-07-06 南京航空航天大学 一种航空发动机动态过程的气路故障诊断方法及系统
CN108710889A (zh) * 2018-04-02 2018-10-26 天津大学 一种汽车发动机缺缸故障诊断方法
CN109086888A (zh) * 2018-09-05 2018-12-25 北京机械设备研究所 基于声音识别的汽车发动机故障判定方法及其装置
CN109949823A (zh) * 2019-01-22 2019-06-28 江苏大学 一种基于dwpt-mfcc与gmm的车内异响识别方法
CN110362065A (zh) * 2019-07-17 2019-10-22 东北大学 一种航空发动机防喘控制系统的状态诊断方法
CN110890102A (zh) * 2019-09-07 2020-03-17 创新奇智(重庆)科技有限公司 一种基于rnn声纹识别的发动机缺陷检测算法
CN111076809A (zh) * 2019-12-31 2020-04-28 四川长虹电器股份有限公司 基于卷积神经网络的设备异常声音识别方法及系统
CN111710329A (zh) * 2020-06-12 2020-09-25 重庆瑞尔科技发展有限公司 基于深度学习的船舶发动机声纹故障判别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于DHMM的航空发动机故障诊断方法研究;吴双;杨海成;常智勇;莫蓉;;微处理机(第01期);全文 *
基于PCA与DHMM的发动机故障诊断研究;黄家善;张平均;;厦门大学学报(自然科学版)(第05期);全文 *
基于声强信号分析和组合神经网络的发动机故障诊断;李增芳;何勇;徐高欢;;农业机械学报(第12期);全文 *
基于轨迹平行测量的发动机异响诊断方法;徐光华, 贾维银, 侯成刚, 梁霖, 刘弹;西安交通大学学报;20020520(05);全文 *

Also Published As

Publication number Publication date
CN113571092A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN108648748B (zh) 医院噪声环境下的声学事件检测方法
CN111508480B (zh) 音频识别模型的训练方法、音频识别方法、装置及设备
DE112020004052T5 (de) Sequenzmodelle zur audioszenenerkennung
CN109658921B (zh) 一种语音信号处理方法、设备及计算机可读存储介质
Venier et al. Comparison of semiautomated bird song recognition with manual detection of recorded bird song samples
CN113571092B (zh) 一种发动机异响识别方法及其相关设备
Colonna et al. Feature evaluation for unsupervised bioacoustic signal segmentation of anuran calls
CN111986699A (zh) 基于全卷积网络的声音事件检测方法
CN112015779A (zh) 学生偏好预测的方法、系统和装置
CN115659185A (zh) 一种运维系统的时序数据的处理方法及装置
CN115034315A (zh) 基于人工智能的业务处理方法、装置、计算机设备及介质
CN112994960A (zh) 业务数据异常检测方法、装置及计算设备
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
EP2382587B1 (en) Method for a pattern discovery and recognition
CN113421590B (zh) 异常行为检测方法、装置、设备及存储介质
CN113139561B (zh) 一种垃圾分类方法、装置、终端设备及存储介质
CN114171057A (zh) 基于声纹的变压器事件检测方法及系统
EP4078621A1 (en) Diagnosing respiratory maladies from subject sounds
CN113343699A (zh) 日志安全风险的监测方法、装置、电子设备及介质
CN111796173A (zh) 局部放电模式识别方法、计算机设备和存储介质
CN115936431B (zh) 再犯罪风险评估方法、装置、计算机设备及可读存储介质
CN113571085B (zh) 语音分离方法、系统、装置和存储介质
CN113473124B (zh) 信息获取方法、装置、电子设备及存储介质
CN114119066A (zh) 一种基于数据处理的商场购物指引方法及系统
CN114140871A (zh) 一种基于数据处理的商场购物行为分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant