CN117316184B - 一种基于音频信号的事件检测反馈处理系统 - Google Patents
一种基于音频信号的事件检测反馈处理系统 Download PDFInfo
- Publication number
- CN117316184B CN117316184B CN202311628916.7A CN202311628916A CN117316184B CN 117316184 B CN117316184 B CN 117316184B CN 202311628916 A CN202311628916 A CN 202311628916A CN 117316184 B CN117316184 B CN 117316184B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- audio
- noise
- fault
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 287
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 230000005856 abnormality Effects 0.000 claims abstract description 30
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 230000003313 weakening effect Effects 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000003672 processing method Methods 0.000 claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 230000001052 transient effect Effects 0.000 claims description 11
- 238000001228 spectrum Methods 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005314 correlation function Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明公开了一种基于音频信号的事件检测反馈处理方法，包括：步骤一：音频信号检测系统接收到原始音频信号，根据需要检测的故障问题提取对应的音频信号特征和信号参数；步骤二：利用噪声估计对待检测的音频信号进行估计和增强；步骤三：通过端点检测在连续的音频信号流中定位出噪音段和静音段的起始时刻和结束时刻，并削弱或消除检测音频信号中的静音段与噪声段；步骤四：对预处理后的音频信号进行分析，根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断；步骤五：基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测，本发明，具有提高音频信号处理精度故障检测精度的特点。
Description
技术领域
本发明涉及音频信号故障检测技术领域，具体为一种基于音频信号的事件检测反馈处理系统。
背景技术
越来越多的企业在生产中应用音频识别技术来提高生产效率和产品质量，主要的原理是通过音频识别技术对不同音频信号进行处理和分析，检测并定位出故障源，从而提高生产效率和产品质量，现有的音频信号检测系统通过将采集得到的目标音频信号传入识别系统中来对其内部所含有的有用信息进行提取、定位与分类，但是音频信号在采集与传播的过程中会不可避免地受到不同工作场景下的人为噪声、环境噪声等各类背景噪声的干扰，这些无用的噪声信号往往会使得检测系统对目标音频信号的识别准确率大大降低，音频检测系统的检测精准度达不到企业的要求，同时现有的系统针对音频事件检测方法主要通过特征提取，而存在的噪声信号同样会使得故障检测过程中获取的原始音频的特征信息发生形变，在强噪声背景下会出现漏检、虚检率较高的问题，导致最终的事件检测反馈精度较低，因此，设计提高音频信号处理精度和提高故障检测精度的一种基于音频信号的事件检测反馈处理系统是很有必要的。
发明内容
本发明的目的在于提供一种基于音频信号的事件检测反馈处理系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于音频信号的事件检测反馈处理方法，包括以下步骤：
步骤一：音频信号检测系统接收到原始音频信号，根据需要检测的故障问题提取对应的音频信号特征和信号参数；
步骤二：利用噪声估计对待检测的音频信号进行估计和增强；
步骤三：通过端点检测在连续的音频信号流中定位出噪声段和静音段的起始时刻和结束时刻，并削弱或消除检测音频信号中的静音段与噪声段；
步骤四：对预处理后的音频信号进行分析，根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断；
步骤五：基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测。
根据上述技术方案，所述提取对应的音频信号特征和信号参数的步骤，包括：
系统基于经验参数建立针对故障检测的正常音频信号事件和异常故障音频信号事件，利用传感设备对原始的音频数据进行采集，通过将音频的原始采样点按时间先后顺序排列成二维图结构后进行音频信号的传输；系统接收到原始音频信号后，音频信号检测端将收集到的音频模拟信号经过量化采样转化成数字信号，并选取音频信号中的时域、频域的特征参数作为分析值。
根据上述技术方案，所述利用噪声估计对待检测的音频信号进行估计和增强的步骤，包括：
通过对音频信号中噪声分量的单位噪声频率进行估计，判断其中是否包含瞬态信号，通过噪声的噪声频率判断期望的音频信号是否存在，每段音频信号之间存在短时间的无音频区，而处在无音频区的信号噪声频率是趋近于噪声水平的，因此利用音频信号的这一特性在每个频段内计算带噪音频信号噪声频率的最小值，并通过跟踪其最小值实现对噪声分量噪声频率的估计；
进一步对每个频段中音频信号的存在概率进行估计，通过判断当前音频信号是否包含期望音频分量进行噪声频谱的更新，通过最小值统计得到几个频段中带噪信号噪声频率的最小值，并将其作为噪声信号的噪声频率，然后计算带噪信号与噪声信号的噪声频率之比得到音频信号的存在概率，即通过判断当前音频信号是否包含期望音频分量，在期望音频分量不存在时对噪声的噪声频率进行估计和更新，从而对不含期望音频分量的瞬态进行抑制，而对含有期望音频分量的瞬态进行增强。
根据上述技术方案，所述削弱或消除检测音频信号中的静音段与噪声段的步骤，包括：
针对故障检测的正常音频信号事件中的音频信号，定义正常音频信号事件和异常故障音频信号事件中的时域信息指标阈值，设定当时域指标达到指定阈值时，将数据进行时域向频域的转换的规则；
当时域指标达到指定阈值时，将数据进行时域向频域转换，音频信号段的对数能量波形是上凸形状，谱熵值波形则相反为下凹状，因此利用对数能量值除以谱熵值得到能熵比特征，进行噪声段和音频段的区分；且无噪声的音频信号在不同的时间点存在固定范围内的变化相似性，而存在噪声的音频信号存在被噪声掩盖的周期信号以及隐含在信号谐波频率的形式，会形成两帧音频信号之间的相似度随时间周期变化的相关函数，因此通过比较提取到的音频信号特征值与按照过往经验设定的阈值的数值大小，利用比较结果进行目标音频信号中是否包含噪声分量的判断；对判断结果为含有噪音分量的音频信号使用噪音模型对原始音频进行分析，获得噪音的统计特征和频谱信息，并基于噪音估计的结果，通过将音频转换到频域，利用频谱信息对原始音频中的噪音进行减弱与消除；
当某一帧音频信号的幅值小于设定的阈值时，判断音频信号中该帧为静音帧，将音频信号内静音帧与所有帧的比值定义为静音帧率，确定音频信号的起始点和结束点，将音频信号的音频段和静音段区分开来，进而判断音频信号开始有效采集的时间，最后利用端点检测对音频信号中的静音段进行过滤输出。
根据上述技术方案，所述根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断的步骤，包括：
通过利用音频信号频域上的特征参数对预处理后的音频信号进行故障异常的识别，对处理后的音频信号数据从时域图和频谱图上进行分析，按照需要检测的故障问题反馈出的音频信号标准提取故障特征参数及进行特征向量构建，并作为故障异常识别的匹配模板，将不同故障程度和类型的特征参数进行整理后放入建立的识别模板库中；
采用低阶建模方法，对基于特征向量分类后音频信号的每帧音频信号的一维特征序列顺序排放生成高维的特征集合，通过特征选择得到每个特征参数的最终表现形式，并添加对应的描述性标签信息；
故障异常检测识别模型基于选取的音频信号中的时域、频域的特征参数，在识别模板中采集连续的x个数据，构成一个波形，然后在待检测的音频信号中采集连续y个数据，对识别模板中的音频信号进行补零后，与待检测的音频信号中y个数据进行相关性计算，得到一组相关系数，通过相关系数与系统阈值的比较，判断音频信号是否存在故障异常。
根据上述技术方案，所述基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测的步骤，包括：
提取故障异常音频信号的声谱图作为特征输入循环神经网络模型，卷积层自动从每个输入声谱图中提取特征序列，并构建循环网络对卷积层的输出特征序列进行声学建模，建立内部序列关系，然后利用弱标签预测强标签的算法模型，将按描述性对每一段独立的异常音频信号进行标签分类，通过只给定其整段音频信号的标签，而不给定其每一帧的帧标签，因为一段被标记类别的音频信号中并不是每一帧都是目标类别，通过循环神经网络算法预测得到一段异常音频信号中每一帧或者每几帧音频帧的标签，并在最后通过所有帧级标签给定整段音频的类别标签，通过分类函数对音频信号的每一帧或者每几帧音频信号进行标签预测，输出最终的预测结果。
根据上述技术方案，所述一种基于音频信号的事件检测反馈处理系统包括：
音频信号事件参数模块，用于根据需要检测的故障问题定义并提取对应的音频信号特征和信号参数；
音频信号处理增强模块，用于对待检测的音频信号中的噪声以及静音等进行处理，增强音频信号的可用率；
故障异常判断预测模块，用于根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断，以及对故障异常对应标签的预测。
与现有技术相比，本发明所达到的有益效果是：本发明，利用噪声估计对待检测的音频信号进行估计和增强，通过判断当前音频信号是否包含期望音频分量，在期望音频分量不存在时对噪声的噪声频率进行估计和更新，从而对不含期望音频分量的瞬态进行抑制，而对含有期望音频分量的瞬态进行增强，进一步通过比较提取到的音频信号特征值与按照过往经验设定的阈值的数值大小，利用比较结果进行目标音频信号中是否包含噪声分量的判断，然后通过将音频转换到频域，利用频谱信息对原始音频中的噪音进行减弱与消除，实现了对音频信号的噪声的降低且增强了音频信号，使得后期的故障检测和标签预测的处理精度更高。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一提供的一种基于音频信号的事件检测反馈处理方法的流程图；
图2为本发明实施例二提供的一种基于音频信号的事件检测反馈处理系统的模块组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：图1为本发明实施例一提供的一种基于音频信号的事件检测反馈处理方法的流程图，本实施例可应用音频信号故障检测的场景，该方法可以由本实施例提供的一种基于音频信号的事件检测反馈处理系统来执行，如图1所示，该方法具体包括以下步骤：
步骤一：音频信号检测系统接收到原始音频信号，根据需要检测的故障问题提取对应的音频信号特征和信号参数；
在本发明实施例中，系统基于经验参数建立针对故障检测的正常音频信号事件和异常故障音频信号事件，利用传感设备对原始的音频数据进行采集，通过将音频的原始采样点按时间先后顺序排列成二维图结构后进行音频信号的传输；系统接收到原始音频信号后，音频信号检测端将收集到的音频模拟信号经过量化采样转化成数字信号，并选取音频信号中的时域、频域的特征参数作为分析值。
步骤二：利用噪声估计对待检测的音频信号进行估计和增强。
在本发明实施例中，通过对音频信号中噪声分量的单位噪声频率进行估计，判断其中是否包含瞬态信号，通过噪声的噪声频率判断期望的音频信号是否存在，每段音频信号之间存在短时间的无音频区，而处在无音频区的信号噪声频率是趋近于噪声水平的，因此利用音频信号的这一特性在每个频段内计算带噪音频信号噪声频率的最小值，并通过跟踪其最小值实现对噪声分量噪声频率的估计；
示例性的，进一步对每个频段中音频信号的存在概率进行估计，通过判断当前音频信号是否包含期望音频分量进行噪声频谱的更新，通过最小值统计得到几个频段中带噪信号噪声频率的最小值，并将其作为噪声信号的噪声频率，然后计算带噪信号与噪声信号的噪声频率之比得到音频信号的存在概率，即通过判断当前音频信号是否包含期望音频分量，在期望音频分量不存在时对噪声的噪声频率进行估计和更新，从而对不含期望音频分量的瞬态进行抑制，而对含有期望音频分量的瞬态进行增强，实现降低音频信号的噪声和增强音频信号的效果。
步骤三：通过端点检测在连续的音频信号流中定位出噪声段和静音段的起始时刻和结束时刻，并削弱或消除检测音频信号中的静音段与噪声段；
在本发明实施例中，针对故障检测的正常音频信号事件中的音频信号，定义正常音频信号事件和异常故障音频信号事件中的时域信息指标阈值，设定当时域指标达到指定阈值时，将数据进行时域向频域的转换的规则；
示例性的，当时域指标达到指定阈值时，将数据进行时域向频域转换，音频信号段的对数能量波形是上凸形状，谱熵值波形则相反为下凹状，因此利用对数能量值除以谱熵值得到能熵比特征，进行噪声段和音频段的区分；且无噪声的音频信号在不同的时间点存在固定范围内的变化相似性，而存在噪声的音频信号存在被噪声掩盖的周期信号以及隐含在信号谐波频率的形式，会形成两帧音频信号之间的相似度随时间周期变化的相关函数，因此通过比较提取到的音频信号特征值与按照过往经验设定的阈值的数值大小，利用比较结果进行目标音频信号中是否包含噪声分量的判断；对判断结果为含有噪音分量的音频信号使用噪音模型对原始音频进行分析，获得噪音的统计特征和频谱信息，并基于噪音估计的结果，通过将音频转换到频域，利用频谱信息对原始音频中的噪音进行减弱与消除；
示例性的，当某一帧音频信号的幅值小于设定的阈值时，判断音频信号中该帧为静音帧，将音频信号内静音帧与所有帧的比值定义为静音帧率，确定音频信号的起始点和结束点，将音频信号的音频段和静音段区分开来，进而判断音频信号开始有效采集的时间，最后利用端点检测对音频信号中的静音段进行过滤输出。
步骤四：对预处理后的音频信号进行分析，根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断；
在本发明实施例中，通过利用音频信号频域上的特征参数对预处理后的音频信号进行故障异常的识别，对处理后的音频信号数据从时域图和频谱图上进行分析，按照需要检测的故障问题反馈出的音频信号标准提取故障特征参数及进行特征向量构建，并作为故障异常识别的匹配模板，将不同故障程度和类型的特征参数进行整理后放入建立的识别模板库中；
示例性的，采用低阶建模方法，对基于特征向量分类后音频信号的每帧音频信号的一维特征序列顺序排放生成高维的特征集合，通过特征选择得到每个特征参数的最终表现形式，并添加对应的描述性标签信息；
示例性的，故障异常检测识别模型基于选取的音频信号中的时域、频域的特征参数，在识别模板中采集连续的x个数据，构成一个波形，然后在待检测的音频信号中采集连续y个数据，对识别模板中的音频信号进行补零后，与待检测的音频信号中y个数据进行相关性计算，得到一组相关系数，通过相关系数与系统阈值的比较，判断音频信号是否存在故障异常。
步骤五：基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测；
在本发明实施例中，提取故障异常音频信号的声谱图作为特征输入循环神经网络模型，卷积层自动从每个输入声谱图中提取特征序列，并构建循环网络对卷积层的输出特征序列进行声学建模，建立内部序列关系，然后利用弱标签预测强标签的算法模型，将按描述性对每一段独立的异常音频信号进行标签分类，通过只给定其整段音频信号的标签，而不给定其每一帧的帧标签，因为一段被标记类别的音频信号中并不是每一帧都是目标类别，通过循环神经网络算法预测得到一段异常音频信号中每一帧或者每几帧音频帧的标签，并在最后通过所有帧级标签给定整段音频的类别标签，通过分类函数对音频信号的每一帧或者每几帧音频信号进行标签预测，输出最终的预测结果。
实施例二：本发明实施例二提供了一种基于音频信号的事件检测反馈处理系统，图2为本发明实施例二提供的一种基于音频信号的事件检测反馈处理系统的模块组成示意图，如图2所示，该系统包括：
音频信号事件参数模块，用于根据需要检测的故障问题定义并提取对应的音频信号特征和信号参数；
音频信号处理增强模块，用于对待检测的音频信号中的噪声以及静音等进行处理，增强音频信号的可用率；
故障异常判断预测模块，用于根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断，以及对故障异常对应标签的预测。
在本发明的一些实施例中，音频信号事件参数模块包括：
音频信号事件定义模块，用于系统基于经验参数建立针对故障检测的正常音频信号事件和异常故障音频信号事件；
音频数据采集模块，用于利用传感设备对原始的音频数据进行采集；
特征参数选取模块，用于系统选取音频信号中的时域、频域的特征参数作为分析值。
在本发明的一些实施例中，音频信号处理增加模块包括：
音频信号噪声估计模块，用于利用噪声估计对待检测的音频信号进行估计；
音频信号增强模块，用于通过判断当前音频信号是否包含期望音频分量，并对含有期望音频分量的瞬态进行增强；
噪声减弱消除模块，用于系统对待检测音频信号中的噪声段进行削弱或消除；
静音段定位过滤模块，用于通过端点检测在连续的音频信号流中定位出静音段的起始时刻和结束时刻。
在本发明的一些实施例中，故障异常判断预测模块包括：
故障异常识别模块，用于利用音频信号频域上的特征参数对预处理后的音频信号进行故障异常的识别；
特征向量构建模块，用于基于提取的特征参数进行特征向量构建；
故障标签类型预测模块，用于基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于音频信号的事件检测反馈处理方法，其特征在于：该方法包括以下步骤：
步骤一：音频信号检测系统接收到原始音频信号，根据需要检测的故障问题提取对应的音频信号特征和信号参数；
步骤二：利用噪声估计对待检测的音频信号进行估计和增强；
步骤三：通过端点检测在连续的音频信号流中定位出噪声段和静音段的起始时刻和结束时刻，并削弱或消除检测音频信号中的静音段与噪声段；
步骤四：对预处理后的音频信号进行分析，根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断；
步骤五：基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测；
所述利用噪声估计对待检测的音频信号进行估计和增强的步骤，包括：
通过对音频信号中噪声分量的单位噪声频率进行估计，判断其中是否包含瞬态信号，通过噪声的噪声频率判断期望的音频信号是否存在，每段音频信号之间存在短时间的无音频区，而处在无音频区的信号噪声频率是趋近于噪声水平的，因此利用音频信号的这一特性在每个频段内计算带噪音频信号噪声频率的最小值，并通过跟踪其最小值实现对噪声分量噪声频率的估计；
进一步对每个频段中音频信号的存在概率进行估计，通过判断当前音频信号是否包含期望音频分量进行噪声频谱的更新，通过最小值统计得到几个频段中带噪信号噪声频率的最小值，并将其作为噪声信号的噪声频率，然后计算带噪信号与噪声信号的噪声频率之比得到音频信号的存在概率，即通过判断当前音频信号是否包含期望音频分量，在期望音频分量不存在时对噪声的噪声频率进行估计和更新，从而对不含期望音频分量的瞬态进行抑制，而对含有期望音频分量的瞬态进行增强；
所述削弱或消除检测音频信号中的静音段与噪声段的步骤，包括：
针对故障检测的正常音频信号事件中的音频信号，定义正常音频信号事件和异常故障音频信号事件中的时域信息指标阈值，设定当时域指标达到指定阈值时，将数据进行时域向频域的转换的规则；
当时域指标达到指定阈值时，将数据进行时域向频域转换，音频信号段的对数能量波形是上凸形状，谱熵值波形则相反为下凹状，因此利用对数能量值除以谱熵值得到能熵比特征，进行噪声段和音频段的区分；且无噪声的音频信号在不同的时间点存在固定范围内的变化相似性，而存在噪声的音频信号存在被噪声掩盖的周期信号以及隐含在信号谐波频率的形式，会形成两帧音频信号之间的相似度随时间周期变化的相关函数，因此通过比较提取到的音频信号特征值与按照过往经验设定的阈值的数值大小，利用比较结果进行目标音频信号中是否包含噪声分量的判断；对判断结果为含有噪音分量的音频信号使用噪音模型对原始音频进行分析，获得噪音的统计特征和频谱信息，并基于噪音估计的结果，通过将音频转换到频域，利用频谱信息对原始音频中的噪音进行减弱与消除；
当某一帧音频信号的幅值小于设定的阈值时，判断音频信号中该帧为静音帧，将音频信号内静音帧与所有帧的比值定义为静音帧率，确定音频信号的起始点和结束点，将音频信号的音频段和静音段区分开来，进而判断音频信号开始有效采集的时间，最后利用端点检测对音频信号中的静音段进行过滤输出。
2.根据权利要求1所述的一种基于音频信号的事件检测反馈处理方法，其特征在于：所述提取对应的音频信号特征和信号参数的步骤，包括：
系统基于经验参数建立针对故障检测的正常音频信号事件和异常故障音频信号事件，利用传感设备对原始的音频数据进行采集，通过将音频的原始采样点按时间先后顺序排列成二维图结构后进行音频信号的传输；系统接收到原始音频信号后，音频信号检测端将收集到的音频模拟信号经过量化采样转化成数字信号，并选取音频信号中的时域、频域的特征参数作为分析值。
3.根据权利要求2所述的一种基于音频信号的事件检测反馈处理方法，其特征在于：所述根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断的步骤，包括：
故障异常检测识别模型基于选取的音频信号中的时域、频域的特征参数，在识别模板中采集连续的x个数据，构成一个波形，然后在待检测的音频信号中采集连续y个数据，对识别模板中的音频信号进行补零后，与待检测的音频信号中y个数据进行相关性计算，得到一组相关系数，通过相关系数与系统阈值的比较，判断音频信号是否存在故障异常。
4.根据权利要求3所述的一种基于音频信号的事件检测反馈处理方法，其特征在于：所述基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测的步骤，包括：
提取故障异常音频信号的声谱图作为特征输入循环神经网络模型，卷积层自动从每个输入声谱图中提取特征序列，并构建循环网络对卷积层的输出特征序列进行声学建模，建立内部序列关系，然后利用弱标签预测强标签的算法模型，将按描述性对每一段独立的异常音频信号进行标签分类，通过只给定其整段音频信号的标签，而不给定其每一帧的帧标签，因为一段被标记类别的音频信号中并不是每一帧都是目标类别，通过循环神经网络算法预测得到一段异常音频信号中每一帧或者每几帧音频帧的标签，并在最后通过所有帧级标签给定整段音频的类别标签，通过分类函数对音频信号的每一帧或者每几帧音频信号进行标签预测，输出最终的预测结果。
5.执行如权利要求1所述的一种基于音频信号的事件检测反馈处理方法的一种基于音频信号的事件检测反馈处理系统，其特征在于：该系统包括：
音频信号事件参数模块，用于根据需要检测的故障问题定义并提取对应的音频信号特征和信号参数；
音频信号处理增强模块，用于对待检测的音频信号中的噪声以及静音进行处理，增强音频信号的可用率；
故障异常判断预测模块，用于根据音频信号的声学信息对待检测的音频信号事件进行是否存在故障异常的判断，以及对故障异常对应标签的预测。
6.根据权利要求5所述的一种基于音频信号的事件检测反馈处理系统，其特征在于：所述音频信号事件参数模块包括：
音频信号事件定义模块，用于系统基于经验参数建立针对故障检测的正常音频信号事件和异常故障音频信号事件；
音频数据采集模块，用于利用传感设备对原始的音频数据进行采集；
特征参数选取模块，用于系统选取音频信号中的时域、频域的特征参数作为分析值。
7.根据权利要求6所述的一种基于音频信号的事件检测反馈处理系统，其特征在于：所述音频信号处理增加模块包括：
音频信号噪声估计模块，用于利用噪声估计对待检测的音频信号进行估计；
音频信号增强模块，用于通过判断当前音频信号是否包含期望音频分量，并对含有期望音频分量的瞬态进行增强；
噪声减弱消除模块，用于系统对待检测音频信号中的噪声段进行削弱或消除；
静音段定位过滤模块，用于通过端点检测在连续的音频信号流中定位出静音段的起始时刻和结束时刻。
8.根据权利要求7所述的一种基于音频信号的事件检测反馈处理系统，其特征在于：所述故障异常判断预测模块包括：
故障异常识别模块，用于利用音频信号频域上的特征参数对预处理后的音频信号进行故障异常的识别；
特征向量构建模块，用于基于提取的特征参数进行特征向量构建；
故障标签类型预测模块，用于基于故障异常的检测判断结果进行音频信号对应的故障检测的故障标签类型预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311628916.7A CN117316184B (zh) | 2023-12-01 | 2023-12-01 | 一种基于音频信号的事件检测反馈处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311628916.7A CN117316184B (zh) | 2023-12-01 | 2023-12-01 | 一种基于音频信号的事件检测反馈处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117316184A CN117316184A (zh) | 2023-12-29 |
| CN117316184B true CN117316184B (zh) | 2024-02-09 |
Family
ID=89285281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311628916.7A Active CN117316184B (zh) | 2023-12-01 | 2023-12-01 | 一种基于音频信号的事件检测反馈处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117316184B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140145293A (ko) * | 2013-06-13 | 2014-12-23 | 현대자동차주식회사 | 차량의 멀티미디어 기기 진단 방법 |
| CN110223713A (zh) * | 2019-06-11 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 声音事件检测模型训练方法及声音事件检测方法 |
| CN110718235A (zh) * | 2019-09-20 | 2020-01-21 | 精锐视觉智能科技（深圳）有限公司 | 异常声音检测的方法、电子设备及存储介质 |
| CN111998936A (zh) * | 2020-08-25 | 2020-11-27 | 四川长虹电器股份有限公司 | 一种基于迁移学习的设备异音检测方法及系统 |
| CN112349298A (zh) * | 2019-08-09 | 2021-02-09 | 阿里巴巴集团控股有限公司 | 声音事件识别方法、装置、设备和存储介质 |
| CN113566948A (zh) * | 2021-07-09 | 2021-10-29 | 中煤科工集团沈阳研究院有限公司 | 机器人化煤机故障音频识别及诊断方法 |
| CN114530166A (zh) * | 2022-01-29 | 2022-05-24 | 国网福建省电力有限公司电力科学研究院 | 基于背景声纹理的变压器有载分接开关故障诊断方法 |
| WO2022116420A1 (zh) * | 2020-12-01 | 2022-06-09 | 平安科技（深圳）有限公司 | 语音事件检测方法、装置、电子设备及计算机存储介质 |
| CN115062678A (zh) * | 2022-08-19 | 2022-09-16 | 山东能源数智云科技有限公司 | 设备故障检测模型的训练方法、故障检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9666183B2 (en) * | 2015-03-27 | 2017-05-30 | Qualcomm Incorporated | Deep neural net based filter prediction for audio event classification and extraction |
-
2023
- 2023-12-01 CN CN202311628916.7A patent/CN117316184B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140145293A (ko) * | 2013-06-13 | 2014-12-23 | 현대자동차주식회사 | 차량의 멀티미디어 기기 진단 방법 |
| CN110223713A (zh) * | 2019-06-11 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 声音事件检测模型训练方法及声音事件检测方法 |
| CN112349298A (zh) * | 2019-08-09 | 2021-02-09 | 阿里巴巴集团控股有限公司 | 声音事件识别方法、装置、设备和存储介质 |
| CN110718235A (zh) * | 2019-09-20 | 2020-01-21 | 精锐视觉智能科技（深圳）有限公司 | 异常声音检测的方法、电子设备及存储介质 |
| CN111998936A (zh) * | 2020-08-25 | 2020-11-27 | 四川长虹电器股份有限公司 | 一种基于迁移学习的设备异音检测方法及系统 |
| WO2022116420A1 (zh) * | 2020-12-01 | 2022-06-09 | 平安科技（深圳）有限公司 | 语音事件检测方法、装置、电子设备及计算机存储介质 |
| CN113566948A (zh) * | 2021-07-09 | 2021-10-29 | 中煤科工集团沈阳研究院有限公司 | 机器人化煤机故障音频识别及诊断方法 |
| CN114530166A (zh) * | 2022-01-29 | 2022-05-24 | 国网福建省电力有限公司电力科学研究院 | 基于背景声纹理的变压器有载分接开关故障诊断方法 |
| CN115062678A (zh) * | 2022-08-19 | 2022-09-16 | 山东能源数智云科技有限公司 | 设备故障检测模型的训练方法、故障检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117316184A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chatlani et al. | Local binary patterns for 1-D signal processing | |
| CN109905270B (zh) | 定位根因告警的方法、装置和计算机可读存储介质 | |
| CN109034046B (zh) | 一种基于声学检测的电能表内异物自动识别方法 | |
| CN109599120B (zh) | 一种基于大规模养殖场厂哺乳动物异常声音监测方法 | |
| US8680386B2 (en) | Signal processing device, signal processing method, and program | |
| CN111279414B (zh) | 用于声音场景分类的基于分段的特征提取 | |
| De Seixas et al. | Preprocessing passive sonar signals for neural classification | |
| CN116559598B (zh) | 一种智慧配电网故障定位方法及系统 | |
| CN101995437A (zh) | 一种拉深件裂纹声发射信号的特征提取方法 | |
| CN111429935A (zh) | 一种语音话者分离方法和装置 | |
| Colonna et al. | Feature evaluation for unsupervised bioacoustic signal segmentation of anuran calls | |
| CN117456428A (zh) | 基于视频图像特征分析的垃圾投放行为检测方法 | |
| CN111933148A (zh) | 基于卷神经网络的年龄识别方法、装置及终端 | |
| CN115510909A (zh) | 一种dbscan进行异常声音特征的无监督算法 | |
| CN117076955A (zh) | 一种高压变频器的故障检测方法及系统 | |
| CN116304751A (zh) | 用于动车组部件检修的运行数据处理方法 | |
| CN110988137A (zh) | 一种基于时频域特征的异音检测系统及方法 | |
| CN112992153B (zh) | 音频处理方法、声纹识别方法、装置、计算机设备 | |
| US8108164B2 (en) | Determination of a common fundamental frequency of harmonic signals | |
| CN117316184B (zh) | 一种基于音频信号的事件检测反馈处理系统 | |
| CN108280950B (zh) | 一种基于高频能量分布的防区型光纤周界防护算法 | |
| CN104036785A (zh) | 语音信号的处理方法和装置、以及语音信号的分析系统 | |
| CN115223584B (zh) | 音频数据处理方法、装置、设备及存储介质 | |
| CN112033656A (zh) | 一种基于宽带谱处理的机械系统故障检测方法 | |
| Tran et al. | Denoising induction motor sounds using an autoencoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |